目前市场中所使用的与数据质量管理相关的核心技术有如下几种。2）设置文件这是数据质量管理的基础技术，不需经过与业务相关的特别事先培训，即可了解数据质量的基本情况，即为理解数据质量问题，取得各种有效统计的数据分析方法。与上述数据质量管理主要技术同样重要的是数据质量管理方法论。这不是使用区区几个技术就能够确保数据质量的，还需要专业咨询，采用适合各组织的流程，并提出各阶段的最佳运行和技术。......
2023-11-16
数据质量管理实用案例：提升数据质量与安全
【摘要】：最近以数据治理、数据法规遵守为题的项目渐渐增多，下面介绍几个企业进行数据质量管理的案例。在这类项目中，数据质量管理被认为是必要而必需的。而且数据质量管理在数据质量问题发生后的原因追查中，作为决定性因素，以减少项目数据层面的危险为目标实施。通过第1阶段初步质量管理标准可以看出我国企业的数据质量管理现状。目前为止，因受数据质量管理的几处制约，在IT组织中，投资优先顺序已下降。
最近以数据治理、数据法规遵守为题的项目渐渐增多，下面介绍几个企业进行数据质量管理的案例。
1）数据治理实用案例
目前明确以“data governance”之名推进项目的例子并不多，区分数据质量管理相关项目的成果时，此范畴内相应案例也在增加。应用到数据质量管理的数据治理成果案例，数据标准化、元数据管理、数据质量管理及应用程序影响分析方面与企业内部的管理流程紧密结合，以元数据门户形态进行整合。在这样的项目中，可以见到数据质量管理咨询和数据技术咨询先行或并驾齐驱、共同促进。
2）数据法规遵守实用案例
受美国SOX法案的影响，以金融圈为中心的遵守数据法规问题引出了数据质量管理构建。
国内在构建BIS（巴塞尔协议II）系统时，同步使用了数据质量管理的案例越来越多。对于RDM（risk data mart）数据源区别管理，发生错误时可以追踪错误数据来源。
3）下一代部分实用案例
近来，国内以金融圈为中心构建下一代系统势头正猛。在这类项目中，数据质量管理被认为是必要而必需的。
在现行（根源）数据质量分析、执行数据相关的质量验证中使用质量管理，分析下一代系统的数据质量，作为数据监理材料提供。而且数据质量管理在数据质量问题发生后的原因追查中，作为决定性因素，以减少项目数据层面的危险为目标实施。另外，下一代中导出的业务规则或数据规则在开放后继续使用并努力将其资产化也在日渐增多。(www.chuimin.cn)
4） ERP/EDW部分实用案例
ERP构建阶段的企业中，进行现行数据相关的品质分析的案例也越来越多。这种趋势下构建ERP，存在着数据没有问题却违背客户期望的案例。
企业现存的数据不完备，通过ERP转移开放后，导致了相当程度的混乱，此类情况时有发生。在EDW的情况中，许多企业构建完成后随即运营数据集市（data mart）和风险集市（risk mart）。即使这样，数据质量层面依然出现很多问题。
据说，因错误数据导致的费用损失，浪费了每年数十亿人民币以上的预算。根据特定市场报告书称，近期以国内外数百家企业为对象所做的“数据质量管理成熟标准调查结果”显示，国内企业的数据质量管理标准刚刚超过“入门”的第1阶段。
通过第1阶段初步质量管理标准可以看出我国企业的数据质量管理现状。这就反映了企业信用评价中的“数据质量”，数据质量管理作为企业竞争力评价的标尺，正在得到重新审视。
数据质量的问题，受到相当复杂的因素作用。与此相比，要求确保数据质量或复杂过程的是大多数。进一步来说，因为程序变更、数据库构造变更、业务规则变更、多个系统间数据交换、数据收集通道的多样化等各种原因一度得到保证的数据质量，随时都可能轻易发生损毁。
目前为止，因受数据质量管理的几处制约，在IT组织中，投资优先顺序已下降。数据质量管理诊断组织的缺乏、相关技术或解决方案未成熟、数据错误原因追查过程困难、数据质量标准的量化操作困难、需要以咨询和专业解决方案为主的改善操作、投资应对改善效果的可视化及效果持续性低等，成为投资犹豫不决的原因。
有时候，解决方案提供商会吹嘘说只要导入数据质量管理解决方案就能够改正低质量数据，但是数据质量不是一次性操作或凭借一部分解决方案就能够保证的。因为综合构建系统性组织、流程、适当的系统，只有持续进行数据质量管理活动，才能持续拥有高质量数据。
有关数据质量管理与安全管理的文章
- 详细阅读
-
大数据安全管理与数据质量管理详细阅读
因为没有大数据平台安全技术，所以应尽早解决此问题。网络应用程序、数据库的安全或大数据集群仍是安全保护的重要对象，需要保证大数据的保密性、可用性、完整性。与此同时，各个产业群中，致命的数据安全事故激增。大数据平台也成为重要的数据安全对象，针对数据的机密性、完整性、可用性的安全目标以及能够防御来自数据的掠夺、伪造等外部威胁的体系和标准测定模型图的开发是必要的。......
2023-11-16
-
数据质量管理与云环境，保障大数据安全详细阅读
最终，信息所有者必须负责他们的敏感信息的安全性，并应该构成他们的数据库安全战略和合伙人。这导致数据分离和义务规则的违反，数据分离和义务规则的违反使内部人员盗窃或伪造敏感数据成为可能。不建议某些企业因为这样的原因，将数据移动到云或虚拟化环境中。在这里，数据库安全问题对于云引进来说是一块相当大的绊脚石。......
2023-11-16
-
数据库安全构建案例：数据质量与安全管理详细阅读
为察觉外部安全威胁，在60余个业务中应用了DB快速检查系统，内部人员追加使用了门禁系统。此次下一代DB安全系统构建过程中，掌握公共账户使用现状将成为可能。即使职员没有DB方面的知识，在这种环境下有恶意的DB攻击、信息泄露危险，需要通过DB安全系统进行更改，本案例中将其果断更改。......
2023-11-16
-
大数据质量管理与安全管理详细阅读
大数据无法通过RDBMS存储和管理。因此，很多人认为大数据质量管理是一项“没有实际意义”、“浪费时间”的工作。现在这种烦恼已经全球化，超越了大数据技术，在质量管理领域中的相关研究正在进行。从大数据的三大特质来看质量管理的考虑事项。尤其相对于结构化数据质量管理，非结构化数据的质量管理及质量测定标准是以后要大力发展的领域。在数据流动层面上，质量管理非常必要，连大数据也不例外。......
2023-11-16
-
数据质量管理与安全：大数据运维观点详细阅读
谈到大数据安全时，数据和基础结构安全都很重要。除了与Hadoop类似的平台结构性安全问题，许多IT管理团队对其他数据管理平台的一般安全控制不足。根据所选NoSQL运营种类，很有可能提供一种或两种安全控制。设置或管理大数据集群时，集群管理人员应考虑以下各领域的安全控制。虽然Kerberos可极大提高安全性，也仍然需谨慎对待。通常安全控制包括API服务器中匹配令牌邀请、输入有效性检查、节点管理政策过滤、与目录服务的整合等。......
2023-11-16
-
数据质量管理：元数据与质量关系详细阅读
元数据是与数据有关的信息，将数据质量认为是与线性数据相关的部分，可视为互相无关。实际上，既有仅仅进行元数据管理的程序，也有不需说明元数据也可进行数据质量管理的程序。质量的对象虽然是数据，但在质量管理和数据间发挥媒介作用的是元数据。进行数据质量管理时，根据企业自身对必要性的认识，包括元数据在内的各种数据和事务以及内容都可进行管理，可采用自己探索的解决方法，也可引入数据质量管理的专业工具。......
2023-11-16
-
数据值诊断示例及流程|数据质量管理与安全管理详细阅读
图5-1数据值诊断示例数据值诊断的顺序是首先选定诊断对象，收集元数据，利用收集的元数据分析数据文件、诊断数据值、分析文件结果、导出业务规则、进行品质测定，随后确认错误数据及进行原因分析后、整合质量诊断结果、提出改善方案等一连串的质量诊断流程。在数据值诊断中处于核心的数据文件分析与犯罪心理分析官（侧写员）从事的工作有很多相似的部分。......
2023-11-16
相关推荐