谈到大数据安全时，数据和基础结构安全都很重要。除了与Hadoop类似的平台结构性安全问题，许多IT管理团队对其他数据管理平台的一般安全控制不足。根据所选NoSQL运营种类，很有可能提供一种或两种安全控制。设置或管理大数据集群时，集群管理人员应考虑以下各领域的安全控制。虽然Kerberos可极大提高安全性，也仍然需谨慎对待。通常安全控制包括API服务器中匹配令牌邀请、输入有效性检查、节点管理政策过滤、与目录服务的整合等。......
2023-11-16
数据质量与安全管理：大数据的结构性安全观点
【摘要】：大数据设计模型和分配选项在数据集群安全中需要其他读取方法。请参考图8-4的Hadoop设计结构。图8-4Hadoop结构1）分散节点“分散处理比分散数据廉价”，这是大数据的法宝。2） Sharded数据为了确保大数据集群中数据的重复和恢复能力，多个副本移动相互不同节点的流体。想在大数据环境中增加安全功能的话需要扩展数据功能。
大数据设计模型和分配选项在数据集群安全中需要其他读取方法。进一步讲，大数据分配（distributions）没有各种内置（built-in）功能，与现有数据库、数据仓库、大型并行处理环境有截然不同的安全问题。大数据与其他分配模型（Hadoop文件系统使用的高度分散、重复、灵活的数据存储位置）有着本质的区别。分散文件系统拥有很多重要特性（根据资源分散重复存储位置），可进行大型并行计算。但是整合栈各阶层的方法（客户端和资源管理功能中包含数据节点和通信方法）有很多特定方面的顾虑。请参考图8-4的Hadoop设计结构。
图8-4 Hadoop结构
（图片来源：Apache software）
1）分散节点
“分散处理比分散数据廉价”，这是大数据的法宝。数据在任何可以使用资源的位置处理，也可进行大型并行计算。这与整齐划一且容易保护的中央存储库不同，形成非常容易受到攻击的脆弱复杂环境。除了表面上容易受到攻击、环境复杂，很难一直保持可能成为异构（heterogeneous）平台的较为分散集群的安全。
2） Sharded数据
为了确保大数据集群中数据的重复和恢复能力，多个副本移动相互不同节点的流体。碎片（shard）即跨越多个服务器共享的标准分割数据碎片。这种多个位置的自动移动难以正确理解同一时间的数据位置，也难以掌握有效副本的个数。这与进行数据处理时才使用、处于多种保护下的数据单一副本传统中央集中式数据安全模型正好相反，大数据在多个位置复制并可移动复制。
3）数据访问/所有权
基于角色的访问是大多数数据库安全计划的核心。关系型和准关系型平台包括角色、组、模式、标签安全、限制用户读取可使用的数据授权子集等各种设施。大多数大数据环境只能进行模式（概要）读取，但无更详细的单位限制。理论上在大数据环境下可以模仿标签安全和其他高级功能，但需要应用程序设计人员构建此种应用程序和数据存储功能。
4）节点之间的通信(www.chuimin.cn)
大多数Hadoop和分配版（Cassandra、MongoDB、 Couchbase等）的通信安全性不够突出（通过TCP/IP使用RPC）。 TLS和SSL几乎无法在大数据分配板中传达，与HDFS代理一样，捆绑时无法实现客户端和代理之间的通信（client-to-proxy communication），只能实现代理和节点之间的通信（proxy-to-node communication）。 Hadoop节点间的通信方式如图8-5所示。
图8-5 Hadoop节点间的通信方式
（来源: Apache software）
5）客户端的相互作用
客户端和资源管理人员及节点相互作用。网关服务是为记录数据而创建，而相反，客户端是为了直接和资源管理人员及个别数据节点进行通信。受损的客户端可通过某一方的服务器发送恶意数据或链接。这种模型虽更容易进行有效沟通，但节点-客户端、客户端-节点、名称服务器-节点难以得到保护。更进一步讲，自身组织节点的分配不符合无法在点对点网格（mesh）中使用防御警戒要求的网关、防火墙、监控等安全工具。6）缺乏安全
最后，也许也是最重要的一点，大数据选择几乎没有安全性可言。 目前也没有保护（“YARN”的服务标准认证和网络代理功能除外）数据存储位置、应用程序和核心Hadoop功能的某种设备。几乎没有或完全没有对抗一般网络威胁（即OWASP Top 10目录中的所有威胁）的设备，在这种网络服务模型下设置所有大数据，大多数大数据API都容易受到常见攻击。
大数据内部存在的设计安全问题有几种，虽然他们并不局限于大数据，但因分散数据和简单编程模型、服务的开放式架构的使用，大数据项目可成为本质对象。想在大数据环境中增加安全功能的话需要扩展数据功能。
大多数现有IT基础结构适用的安全技术无法使用此方法扩展和维持。因为安全控制并非内置在产品中，现有IT安全技术与Hadoop、NoSQL环境和传统安全工具之间具有传统的不一致性。安全供应商正尽可能应用到现有产品中，虽然数据和命令通过普通方法在输入集群的位置应用控制点，但集群内部并不使用安全措施。大多数安全工具无法扩展，在大数据环境中也无法运行。
有关数据质量管理与安全管理的文章
- 详细阅读
-
数据库安全构建案例：数据质量与安全管理详细阅读
为察觉外部安全威胁，在60余个业务中应用了DB快速检查系统，内部人员追加使用了门禁系统。此次下一代DB安全系统构建过程中，掌握公共账户使用现状将成为可能。即使职员没有DB方面的知识，在这种环境下有恶意的DB攻击、信息泄露危险，需要通过DB安全系统进行更改，本案例中将其果断更改。......
2023-11-16
-
数据质量与安全管理:解决大数据安全技术缺乏问详细阅读
网络应用程序的安全或大数据集群仍是安全保护的重要对象，应优先考虑以下几种重要安全设置。对于保护大数据的安全，从大企业到小的新生企业，数以千计的企业在大数据项目上花费精力。重要的是，需要对有太多问题、太多关注以及太多混乱的大数据安全进行公开问题处理。大数据不是特定技术，而是属性和功能的结合。......
2023-11-16
-
数据质量管理技术-数据质量管理与安全管理详细阅读
目前市场中所使用的与数据质量管理相关的核心技术有如下几种。2）设置文件这是数据质量管理的基础技术，不需经过与业务相关的特别事先培训，即可了解数据质量的基本情况，即为理解数据质量问题，取得各种有效统计的数据分析方法。与上述数据质量管理主要技术同样重要的是数据质量管理方法论。这不是使用区区几个技术就能够确保数据质量的，还需要专业咨询，采用适合各组织的流程，并提出各阶段的最佳运行和技术。......
2023-11-16
-
企业数据质量与安全管理详细阅读
1）功能方面企业数据架构管理在功能方面属于数据应用，有企业数据概念模型和企业数据标准管理两种主要活动。企业数据概念模型。将数据概念模型和数据标准作为确保质量的方向共享，数据结构变更时，起到保持概念模型和应用系统之间的映射等持续管理作用。制定的质量计划中将重要事项作为企业数据概念模型的管理对象，同时也应管理企业数据标准。企业数据架构管理和数据设计：企业数据架构为数据设计提供数据标准和概念模型等标准。......
2023-11-16
-
数据质量管理实用案例：提升数据质量与安全详细阅读
最近以数据治理、数据法规遵守为题的项目渐渐增多，下面介绍几个企业进行数据质量管理的案例。在这类项目中，数据质量管理被认为是必要而必需的。而且数据质量管理在数据质量问题发生后的原因追查中，作为决定性因素，以减少项目数据层面的危险为目标实施。通过第1阶段初步质量管理标准可以看出我国企业的数据质量管理现状。目前为止，因受数据质量管理的几处制约，在IT组织中，投资优先顺序已下降。......
2023-11-16
-
大数据安全管理与数据质量管理详细阅读
因为没有大数据平台安全技术，所以应尽早解决此问题。网络应用程序、数据库的安全或大数据集群仍是安全保护的重要对象，需要保证大数据的保密性、可用性、完整性。与此同时，各个产业群中，致命的数据安全事故激增。大数据平台也成为重要的数据安全对象，针对数据的机密性、完整性、可用性的安全目标以及能够防御来自数据的掠夺、伪造等外部威胁的体系和标准测定模型图的开发是必要的。......
2023-11-16
-
大数据质量管理与安全管理详细阅读
大数据无法通过RDBMS存储和管理。因此，很多人认为大数据质量管理是一项“没有实际意义”、“浪费时间”的工作。现在这种烦恼已经全球化，超越了大数据技术，在质量管理领域中的相关研究正在进行。从大数据的三大特质来看质量管理的考虑事项。尤其相对于结构化数据质量管理，非结构化数据的质量管理及质量测定标准是以后要大力发展的领域。在数据流动层面上，质量管理非常必要，连大数据也不例外。......
2023-11-16
相关推荐