业务规则过少管理的重要原因是,将数据质量管理当作一次性工作,疏于发掘与扩张测定数据质量的业务规则。数据库的表和行列以物理数据模型呈现。图4-2数据模型2②业务规则2:商品交付单位表的商品交付合作单位代码是Not Null,且必须为在合作单位表中登录的公司。原因是作为业务规则1和业务规则2导出基础的数据模型2是物理数据模型,而物理数据模型要充分表现其数据业务特性是有局限性的。......
2023-11-16
“元数据”的意思是“用与数据有关的结构化数据,对其他数据进行说明的数据”。从系统构建时创建的文件中实质说明书、属性(attribute)说明书、表说明书等可见,数据名称中有说明,列名称中也有说明,可见为构成表而管理多种信息。简单来说,这里说明的全部资料都可视为元数据的一部分。在该表中存储的信息虽然只是数据,但指代该表的表名就是元数据。
企业建立管理了大量数据库,各个数据库中不断生成数量庞大的表,各个表又由多个列构成。各个数据库、表、列内信息管理是基础,各自的说明、表间的连接关系、列间连接关系及各种信息在其他仓库(repository)中存储管理,叫做“元数据管理”。
如果正确管理元数据,当使用者需要在系统中查找信息时,不必问负责人员,只需在元数据管理系统中查找就可轻松知道在哪里以及怎样取得信息。ETL操作中,感知到表变更相关的错误后,任何人都可以轻松知道何时、因谁引起、表如何变更,可在短时间内恢复错误操作。
元数据是与数据有关的信息,将数据质量认为是与线性数据相关的部分,可视为互相无关。实际上,既有仅仅进行元数据管理的程序,也有不需说明元数据也可进行数据质量管理的程序。
企业中要构建全部管理数据相应的信息,虽然可以使用只管理元数据的程序,没有元数据,那么数据质量程序也就不可能存在。从数据质量管理分析阶段就应开始收集元数据相关信息,进行以元数据为中心的数据质量管理。
要进行数据质量管理,首先进行的基本管理就是元数据管理。首先要将企业内存在的全部数据相关信息登录一个仓库内管理,按各自不同的表、不同列利用工具一并将质量管理所需的信息存储在同一仓库内。质量的对象虽然是数据,但在质量管理和数据间发挥媒介作用的是元数据。(www.chuimin.cn)
数据质量可认为是种IT问题。实际上,数据质量管理程序依靠IT部门实施和维护,最大的受益者却是现行部门。并且,现行部门最了解各个应用软件中正在使用的数据用途和意义。因此,理解了企业内部数据质量管理的作用,想要达到期望值就要取得现有部门和IT部门的同意。
大部分企业数据质量管理解决方案构建失败的原因是,多个部门间互相推卸共用的数据质量管理责任。进行数据质量管理项目时,动员各部门的人员一同参与应该是解决这一问题的好方法。
IT部门和现行部门共同承担程序设计和执行的责任是成功的重要因素。
进行数据质量管理时,根据企业自身对必要性的认识,包括元数据在内的各种数据和事务以及内容都可进行管理,可采用自己探索的解决方法,也可引入数据质量管理的专业工具。品质管理的主要问题多在数据治理、法规遵守、MDM、大型项目推进、数据迁移时发生。
有关数据质量管理与安全管理的文章
业务规则过少管理的重要原因是,将数据质量管理当作一次性工作,疏于发掘与扩张测定数据质量的业务规则。数据库的表和行列以物理数据模型呈现。图4-2数据模型2②业务规则2:商品交付单位表的商品交付合作单位代码是Not Null,且必须为在合作单位表中登录的公司。原因是作为业务规则1和业务规则2导出基础的数据模型2是物理数据模型,而物理数据模型要充分表现其数据业务特性是有局限性的。......
2023-11-16
最近以数据治理、数据法规遵守为题的项目渐渐增多,下面介绍几个企业进行数据质量管理的案例。在这类项目中,数据质量管理被认为是必要而必需的。而且数据质量管理在数据质量问题发生后的原因追查中,作为决定性因素,以减少项目数据层面的危险为目标实施。通过第1阶段初步质量管理标准可以看出我国企业的数据质量管理现状。目前为止,因受数据质量管理的几处制约,在IT组织中,投资优先顺序已下降。......
2023-11-16
目前市场中所使用的与数据质量管理相关的核心技术有如下几种。2)设置文件这是数据质量管理的基础技术,不需经过与业务相关的特别事先培训,即可了解数据质量的基本情况,即为理解数据质量问题,取得各种有效统计的数据分析方法。与上述数据质量管理主要技术同样重要的是数据质量管理方法论。这不是使用区区几个技术就能够确保数据质量的,还需要专业咨询,采用适合各组织的流程,并提出各阶段的最佳运行和技术。......
2023-11-16
因为没有大数据平台安全技术,所以应尽早解决此问题。网络应用程序、数据库的安全或大数据集群仍是安全保护的重要对象,需要保证大数据的保密性、可用性、完整性。与此同时,各个产业群中,致命的数据安全事故激增。大数据平台也成为重要的数据安全对象,针对数据的机密性、完整性、可用性的安全目标以及能够防御来自数据的掠夺、伪造等外部威胁的体系和标准测定模型图的开发是必要的。......
2023-11-16
数据质量管理是完善信息系统的根本之策。在了解数据质量管理重要性的同时,更需要制定质量管理计划或执行具体的质量管理活动。数据质量管理标准诊断模型就是为满足这种需求而开发的。数据质量的定义可根据对组织质量的了解按比例使用六种标准确定。构成数据质量管理标准诊断模型的第二个基准是识别为提高上述六种标准的质量所需的流程或影响质量标准要素的管理流程。......
2023-11-16
最终,信息所有者必须负责他们的敏感信息的安全性,并应该构成他们的数据库安全战略和合伙人。这导致数据分离和义务规则的违反,数据分离和义务规则的违反使内部人员盗窃或伪造敏感数据成为可能。不建议某些企业因为这样的原因,将数据移动到云或虚拟化环境中。在这里,数据库安全问题对于云引进来说是一块相当大的绊脚石。......
2023-11-16
谈到大数据安全时,数据和基础结构安全都很重要。除了与Hadoop类似的平台结构性安全问题,许多IT管理团队对其他数据管理平台的一般安全控制不足。根据所选NoSQL运营种类,很有可能提供一种或两种安全控制。设置或管理大数据集群时,集群管理人员应考虑以下各领域的安全控制。虽然Kerberos可极大提高安全性,也仍然需谨慎对待。通常安全控制包括API服务器中匹配令牌邀请、输入有效性检查、节点管理政策过滤、与目录服务的整合等。......
2023-11-16
大数据无法通过RDBMS存储和管理。因此,很多人认为大数据质量管理是一项“没有实际意义”、“浪费时间”的工作。现在这种烦恼已经全球化,超越了大数据技术,在质量管理领域中的相关研究正在进行。从大数据的三大特质来看质量管理的考虑事项。尤其相对于结构化数据质量管理,非结构化数据的质量管理及质量测定标准是以后要大力发展的领域。在数据流动层面上,质量管理非常必要,连大数据也不例外。......
2023-11-16
相关推荐