大数据常和云计算联系到一起。大数据内部所含有的资产性质，通过云计算技术得到了实实在在的验证。而随着大数据的异军突起，云计算的价值又一次受到公众的关注。同样，大数据为云计算大规模与分布式的计算能力提供了应用的空间，从而进一步明晰了云计算的价值。......
2023-11-20
云计算数据储存：冗余副本提高可靠性
【摘要】：云计算系统底层需要大数据的存储支持，才可以对外提供云存储服务。为保证用户所存储数据的高可用性和高可靠性，云计算的分布式文件系统多采用冗余的存储方式，即为同一份数据存储多个副本，如Google的GFS和Apache的HDFS都是采用三个副本来保证数据的冗余。实验表明，对同样的数据，此方案能够节约25%～30%的HDFS集群的存储空间[27]。当前比较典型的基于列储存模型的分布式数据存储系统是Google公司的BigTable和Apache的HBase。
云计算系统底层需要大数据的存储支持，才可以对外提供云存储服务。云存储克服了传统储存系统在容量和性能扩展上存在的瓶颈，以其扩展性强、性价比高及容错性好等优势得到了业界的广泛认同。
为保证用户所存储数据的高可用性和高可靠性，云计算的分布式文件系统多采用冗余的存储方式，即为同一份数据存储多个副本，如Google的GFS和Apache的HDFS都是采用三个副本来保证数据的冗余。这是一个简单有效的方法，但不是最优的方法。针对此问题，研究者一直在探讨能否使用类似的策略在不降低存储可靠性的前提下降低存储副本的数目。比如二代Google分布式文件系统Colossus[25]，即GFS2中使用里德-所罗门擦除码来实现成本更低的可靠存储。Microsoft的Azure平台采用擦除码技术来降低存储成本[26]。Facebook公司在开源Hadoop的基础上实现了一套基于擦除码的RAID方案。实验表明，对同样的数据，此方案能够节约25%～30%的HDFS集群的存储空间[27]。(www.chuimin.cn)
由于云计算对大数据的读操作频率远大于数据的更新频率，因此，云计算的数据管理通常会采用分布式列存储技术。列存储模型最大的特点是方便存储结构化和半结构化数据，方便进行数据压缩，对针对某一列或者某几列的查询应用有着非常大的I/O优势。当前比较典型的基于列储存模型的分布式数据存储系统是Google公司的BigTable和Apache的HBase。
有关云安全深度剖析：技术原理及应用实践的文章
- 详细阅读
-
云计算、边缘计算与数据中心：面临的挑战与机遇详细阅读
将云计算技术应用于通信网络，能够动态地将不同位置、实时产生的大规模数据分配到最合适的数据中心处理。如图12.11所示，云计算可部署在核心城域的大型数据中心，边缘计算可部署在城域汇聚或更低的位置中小型数据中心。因此，数据中心网络连接必须是可靠和安全的，必要情况下还要进行加密，以避免数据的泄露与丢失。......
2023-06-26
-
分布式数据库技术：云计算与分布计算的关系详细阅读
图17.2分布计算、集群计算与云计算等的关系简言之，云计算是一种提供服务的分布计算。按照服务种类，云计算可分为以下几种。1）公有云公有云是部署得最多的云模型。在公有云里，计算资源存放在云服务供应商的数据中心里，以多租户结构让各种消费者共享。这种模型的好处是，用户对自己的计算资源拥有完全控制。......
2023-10-28
-
云计算基础概述详细阅读
2006年谷歌推出了“Google 101计划”，并正式提出“云”的概念和理论。云是互联网的一种比喻说法。云计算是什么呢？我们通俗地理解，云计算的核心思想，是将大量用网络连接的计算资源统一管理和调度云存储，构成一个计算资源池向用户按需服务。使用者使用云存储，并不是使用某一个存储设备云存储，而是使用整个云存储系统带来的一种数据访问服务。......
2023-06-23
-
云存储数据加密：保障数据安全详细阅读
IaaS层数据的机密性、完整性和可用性三个方面是用户对于存储数据关注的核心安全问题，也是云存储安全技术的研究重点。比如SalesForce采用SSL 3.0和TLS 1.0保证数据的传输安全，SSL和TLS在传输层对数据进行加密，防止数据被截取和窃听。全同态加密机制可使用户的数据在其整个生命周期都处于加密状态，减少了数据泄露的概率。......
2023-11-18
-
云计算教学：学生学习云计算、移动开发及软件工详细阅读
云计算专业的学生将学习云计算、移动开发、软件服务、软件工程相关理论和技术，并参与至少一种商业应用软件服务产品的设计和开发。它的软件学院在多方机构的支持下，开设了国内第一个移动云计算软件工程硕士学位，他们努力将北京航空航天大学软件学院打造成中国移动应用开发领域的领先者。......
2023-11-07
-
大数据技术的战略意义及其与云计算的关系详细阅读
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据无法用单台计算机进行处理，必须采用分布式架构。大数据需要特殊的技术来有效地处理大量的容忍经过时间内的数据。......
2023-10-22
-
挑战在于数据分类、储存与管理详细阅读
我们并非仅是把收集过来的数据放到硬盘里面那么简单，更重要的是对数据进行分类、存放及管理。面对海量数据，如何有效地储存，最大限度地发挥数据价值，成了我们面临的问题。要知道，通过技术手段实现数据云端储存，这只是基础。但是其中面临的难题是，每个人的生活数据、医疗数据和基因数据，格式与标准都不同。所以，如何打通原有数据的格式与标准，是大数据储存未来最大的挑战。......
2023-07-02
相关推荐