因为没有大数据平台安全技术，所以应尽早解决此问题。网络应用程序、数据库的安全或大数据集群仍是安全保护的重要对象，需要保证大数据的保密性、可用性、完整性。与此同时，各个产业群中，致命的数据安全事故激增。大数据平台也成为重要的数据安全对象，针对数据的机密性、完整性、可用性的安全目标以及能够防御来自数据的掠夺、伪造等外部威胁的体系和标准测定模型图的开发是必要的。......
2023-11-16
数据质量管理与安全：大数据运维观点
【摘要】：谈到大数据安全时，数据和基础结构安全都很重要。除了与Hadoop类似的平台结构性安全问题，许多IT管理团队对其他数据管理平台的一般安全控制不足。根据所选NoSQL运营种类，很有可能提供一种或两种安全控制。设置或管理大数据集群时，集群管理人员应考虑以下各领域的安全控制。虽然Kerberos可极大提高安全性，也仍然需谨慎对待。通常安全控制包括API服务器中匹配令牌邀请、输入有效性检查、节点管理政策过滤、与目录服务的整合等。
谈到大数据安全时，数据和基础结构安全都很重要。通常应保护为保护信息而进行数据管理的应用程序（数据库）。攻击者徘徊在数据库管理系统时，如果能够直接访问数据就会访问。如果无法直接访问信息，他们就会寻找弱点或破坏数据库应用程序的方法。
除了与Hadoop类似的平台结构性安全问题，许多IT管理团队对其他数据管理平台的一般安全控制不足。根据所选NoSQL运营种类，很有可能提供一种或两种安全控制。这是对网络代理、网络数据加密或管理访问完全的双向认证。但是通常并不是全关工具箱而是一种安全功能。更进一步讲，并不是基本行为而是经常做出的选择。甚至连Hadoop网络控制台未经过某种认证就可以访问。
以下在大数据集群中存储的数据通常有法律限制，也需要相应的保护。企业的IT系统和数据被盗攻击盛行，大型分散数据管理系统提供了诱饵。大数据有现有IT系统中的所有弱点，但因具备解决这种常见攻击的技术，所以没必要白白浪费时间。选择可与大数据一起使用的操作属性才是关键。设置或管理大数据集群时，集群管理人员应考虑以下各领域的安全控制。
1）敏感数据保护
保护敏感数据的标准设置是创建应用程序数据库，为阻止试图从外部访问数据进行加密。担心从现有数据管理系统中盗取记录（archives）或从磁盘中直接读取文件。加密文件可阻止无加密密匙的用户访问。复制大数据虽能够有效进行备份，但并不意味着某些非法管理人员或云服务管理人员可以创建自己的文件。加密可以保护从集群中复制的数据。一个或两个模糊NoSQL集群可对敏感数据进行加密，但大多数并未加密。不仅如此，大多数可使用的加密产品虽使用大数据但却无足够的扩展性和透明度，这是很重要的问题。
2）数据访问管理
各节点有一名以上具有完全数据访问权限的管理员。与加密一样，为了分离不同管理员间的业务，需要进行区分和具有相应设施。其要求与关系型平台相同，但大数据平台为满足这种要求，应看到内置的功能、文件、其他工具设施的不足之处。可通过控制访问不要的数据文件和数据节点进程、角色分离和加密技术的整合解决这些问题。但是，换言之，只有最不靠谱的管理员才会觉得数据是安全的，减少这方面的差距是选择控制的系统设计人员的责任。(www.chuimin.cn)
（1）构成及补丁管理：数据集群会随着时间的推移增加新节点，所以节点通常需要其他构成及补丁标签。此外，集群中使用不同OS平台时，很难确定相关补丁的修改标准。现有构成管理工具在基本平台中进行操作，虽然HDFS联盟可帮助管理集群，但也需要谨慎计划。集群虽可避免数据遗失或服务中断进行无损失节点循环，但重新启动目前为止根据集群如何构成、影响何种节点可引起严重的性能问题。所以结论是，虽然人们会担心用户不满，但却不会进行修正（patch）
（2）应用程序和节点认证：Hadoop认证用户并可使用增加Hadoop集群服务功能的Kerberos。 Kerberos票据被盗或重复时，可能恶意客户端使用虚拟图像文件或快照中截取的资格证明也可进入网络中。因为客户端应用程序和服务正确副本相对可轻易获取，虚拟环境和云环境中包含资格证明时会产生更大问题。为介绍集群中受损的接点或服务只对接点复制就可以。虽然Kerberos可极大提高安全性，也仍然需谨慎对待。虽然设置很麻烦，但对节点的加强认证是避免集群非法服务器和维持邀请的主要安全措施。
（3）审查和记录：如果怀疑有谁破坏了集群，为了感应到他们，就需要对活动进行记录。可提供的多种附加功能领域中，一种就是记录。与其他商用产品相同，Scribe和LogStash也是在大多数大数据环境中使用的整合开源工具。因此找到可互换的工具进行设置，与SIEM或日志管理等其他系统整合后实际检查结果。但是，因为实际上未开发查看数据或探测欺骗的政策，所以记录也没有作用。
（4）监控、过滤和终止：终止误用或恶意查询的内部监控工具还未出现。除了非法程序员制作的蹩脚分布式编程脚本，实际上对恶意大数据查询应如何防御也无任何协议。通过Kerberos认证客户端，分布式编程通过单一确认进行控制。问题是这种解决方案需要连接所有客户端指定“信息安全警戒地点”。曾经因为安全瓶颈限制原本的性能，将其称之为“信息服务速度调节器”。虽然大多数都具有大家提倡的基本安全价值，但需要放弃变更或扩展分配模型。当然，也可两者皆要求。
（5） API安全：应避免受大数据集群输入API代码和命令、缓冲溢出攻击和其他所有网络服务攻击。大多数属于使用集群的应用程序的责任，但通常不是这样。通常安全控制包括API服务器中匹配令牌邀请、输入有效性检查、节点管理政策过滤、与目录服务的整合等。API中的一部分甚至无需认证就可操作，所以大家仍然无法理解问题出在哪里。
概括来讲，虽然有几种构建大数据集群的方法，但却没有几种合适且可用的安全工具。但是通过内置组合基本认证服务和add-on安全，无需担心安全产品性能或扩展性就可解决最明显的弱点。
有关数据质量管理与安全管理的文章
- 详细阅读
-
数据质量管理技术-数据质量管理与安全管理详细阅读
目前市场中所使用的与数据质量管理相关的核心技术有如下几种。2）设置文件这是数据质量管理的基础技术，不需经过与业务相关的特别事先培训，即可了解数据质量的基本情况，即为理解数据质量问题，取得各种有效统计的数据分析方法。与上述数据质量管理主要技术同样重要的是数据质量管理方法论。这不是使用区区几个技术就能够确保数据质量的，还需要专业咨询，采用适合各组织的流程，并提出各阶段的最佳运行和技术。......
2023-11-16
-
数据质量管理实用案例：提升数据质量与安全详细阅读
最近以数据治理、数据法规遵守为题的项目渐渐增多，下面介绍几个企业进行数据质量管理的案例。在这类项目中，数据质量管理被认为是必要而必需的。而且数据质量管理在数据质量问题发生后的原因追查中，作为决定性因素，以减少项目数据层面的危险为目标实施。通过第1阶段初步质量管理标准可以看出我国企业的数据质量管理现状。目前为止，因受数据质量管理的几处制约，在IT组织中，投资优先顺序已下降。......
2023-11-16
-
数据质量管理与云环境，保障大数据安全详细阅读
最终，信息所有者必须负责他们的敏感信息的安全性，并应该构成他们的数据库安全战略和合伙人。这导致数据分离和义务规则的违反，数据分离和义务规则的违反使内部人员盗窃或伪造敏感数据成为可能。不建议某些企业因为这样的原因，将数据移动到云或虚拟化环境中。在这里，数据库安全问题对于云引进来说是一块相当大的绊脚石。......
2023-11-16
-
大数据质量管理与安全管理详细阅读
大数据无法通过RDBMS存储和管理。因此，很多人认为大数据质量管理是一项“没有实际意义”、“浪费时间”的工作。现在这种烦恼已经全球化，超越了大数据技术，在质量管理领域中的相关研究正在进行。从大数据的三大特质来看质量管理的考虑事项。尤其相对于结构化数据质量管理，非结构化数据的质量管理及质量测定标准是以后要大力发展的领域。在数据流动层面上，质量管理非常必要，连大数据也不例外。......
2023-11-16
-
数据值诊断示例及流程|数据质量管理与安全管理详细阅读
图5-1数据值诊断示例数据值诊断的顺序是首先选定诊断对象，收集元数据，利用收集的元数据分析数据文件、诊断数据值、分析文件结果、导出业务规则、进行品质测定，随后确认错误数据及进行原因分析后、整合质量诊断结果、提出改善方案等一连串的质量诊断流程。在数据值诊断中处于核心的数据文件分析与犯罪心理分析官（侧写员）从事的工作有很多相似的部分。......
2023-11-16
-
数据质量与安全管理：大数据的结构性安全观点详细阅读
大数据设计模型和分配选项在数据集群安全中需要其他读取方法。请参考图8-4的Hadoop设计结构。图8-4Hadoop结构1）分散节点“分散处理比分散数据廉价”，这是大数据的法宝。2） Sharded数据为了确保大数据集群中数据的重复和恢复能力，多个副本移动相互不同节点的流体。想在大数据环境中增加安全功能的话需要扩展数据功能。......
2023-11-16
-
数据错误原因分析：数据质量管理与安全管理的解详细阅读
1）功能方面数据错误原因分析和删除。通过对错误原因进行分类，采取制作方针、对相关人员进行教育等措施防止错误再次发生。2）作用方面应从企业角度进行数据错误原因分析，在可跟踪的位置对相关数据、系统、用户等进行跟踪。数据错误原因分析和数据质量标准设置：将数据错误原因分析的结果反映在数据质量标准中。......
2023-11-16
相关推荐