大数据与云计算的关系

2023-11-20 理论教育版权反馈

【摘要】：大数据常和云计算联系到一起。大数据内部所含有的资产性质，通过云计算技术得到了实实在在的验证。而随着大数据的异军突起，云计算的价值又一次受到公众的关注。同样，大数据为云计算大规模与分布式的计算能力提供了应用的空间，从而进一步明晰了云计算的价值。

1.云计算与大数据的关系概说

云计算和大数据是一个硬币的两面。一方面，云计算是大数据成长的驱动力；另一方面，由于数据越来越多、越来越复杂、越来越实时，因而就更加需要云计算去处理。两者之间是相辅相成的。

30多年前，存储1TB数据的成本，大约是16亿美元，如今存储到“云”上，只需要不到100美元。但是，存储下来的数据，如果不用云计算进行挖掘和分析，就只是僵死的数据，没有太大价值。

目前，云计算已经普及并成为IT行业主流技术，其实质是在计算量越来越大，数据越来越多、越来越动态、越来越实时的需求背景下被催生出来的一种基础架构和商业模式。个人用户将文档、照片、视频、游戏存档记录上传至“云”中永久保存；企业客户根据自身需求，可以搭建自己的私有“云”，或托管，或租用公有“云”上的IT资源与服务。可以说，“云”是一棵挂满了大数据的苹果树。

2.大数据需要云计算技术

大数据必然无法使用单台计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘。但是，它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。如上所述，大数据不采用随机分析法（抽样调查）这样的捷径，而采用对所有数据进行分析处理的方法。大数据常和云计算联系到一起。因为，实时的大型数据集分析，需要分布式处理框架来向数十、数百，甚至数万台电脑分配工作。可以说，云计算充当了工业革命时期的发动机的角色，而大数据则是电。

云计算思想的起源是麦卡锡在20世纪60年代提出的，他把计算能力作为一种像水和电一样的公用事业提供给用户。如今，一种行之有效的模式出现了：云计算提供基础架构平台，而大数据应用则运行在这个平台上。业内人士这样形容两者的关系：没有大数据的信息积淀，云计算的计算能力再强大，也难以找到用武之地；而没有云计算的计算能力，则大数据的信息积淀再丰富，也终究只是镜花水月。

那么，大数据到底需要哪些云计算技术呢？比如，虚拟化技术、分布式处理技术、海量数据的存储和管理技术、NoSQL（泛指非关系型数据库）、实时流数据处理、智能分析技术（类似模式识别以及自然语言理解）等。

云计算和大数据两者结合后会产生如下效应：可以提供更多基于海量业务数据的创新型服务，通过云计算技术的不断发展降低大数据业务的创新成本。

如果将云计算与大数据进行比较，最明显的区分在以下两个方面：第一，在概念上两者有所不同。云计算改变了IT，而大数据则改变了业务。然而，大数据必须有“云”作为基础架构，才能得以顺畅运营。第二，大数据和云计算的目标受众不同。云计算是CIO（chief information officer，首席信息官，一种新型的信息管理者）等关心的技术层，而大数据是CEO（chief executive officer，首席执行官）关注的业务层产品。

3.大数据处理需要云计算技术配合

人们研究大数据，或是利用大数据技术，其战略意义并不在于是谁掌握了多么庞大的大数据信息，而是在于谁能将已经捕捉到的那些含有一定意义的数据通过专业化处理，将其变成一种数据信息资产。这也是大数据分析所需要达到的真正目的。

谁都不能否认，也不可能被否认，大数据既是一种科技，也是一种资产。既然大数据是一种资产，那么如何利用大数据这种资产最终实现盈利，才是运用大数据的关键。可是，将大数据加工成有增值的数据，并不是一件轻而易举的事情。

（1）研究大数据离不开计算机云计算技术。从某种观点上来看，没有计算机云计算技术，就不会有大数据被分析和利用，两者是密不可分的。因为，分析和处理大数据是无法用某一台计算机来完成的，它必须要采用计算机分布式架构。处理大数据的特色，就在于对那些海量数据进行分布式数据挖掘，这种分布式大数据挖掘，就必须依托计算机分布式处理。计算机分布式数据库或是云存储以及计算机虚拟化技术，可以支撑起对大数据相关技术处理的能力。

（2）云计算技术时代的到来将大数据处理变为现实。大数据内部所含有的资产性质，通过云计算技术得到了实实在在的验证。由此而引出来效果，就是让很多人都对大数据有了更多的关注或是重视。比如，“著云台”的分析师团队认为，可用大数据来形容某家公司所创造的那些大量非结构化数据和半结构化数据，这些数据不能被下载到关系型数据库中进行处理，因为这样会在分析数据中浪费较多的时间或金钱。

他们主张，大数据分析必须要跟计算机云计算技术紧密连在一起，只有这样，才能将大数据的价值变成资产性的价值，并将大数据处理真正变成一种现实。

4.大数据有助于进一步明晰云计算的价值

在云计算概念刚被提出的几年里，许多政企行业用户对其应用价值一直存在疑虑。而随着大数据的异军突起，云计算的价值又一次受到公众的关注。(www.chuimin.cn)

由于云计算帮助解决了大数据无法进行抓取、管理和处理的问题，给予了它不同以往的存储和计算能力，使得结果获取更快速、分析更智慧。可以预见，在未来，云计算将成为大数据应用分析最活跃的舞台。同样，大数据为云计算大规模与分布式的计算能力提供了应用的空间，从而进一步明晰了云计算的价值。

5.揭开云计算与大数据非同一般的关系

通常情况下，我们容易将大数据与云计算混淆在一起，笔者就其定义先做科普工作。

著名的麦肯锡全球研究所给出的大数据的定义是一种规模大到在获取、存储、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。而云计算，则是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息，可以按需求提供给计算机和其他设备。云计算是硬件资源的虚拟化，而大数据则是海量数据的高效处理。从结果来分析，云计算注重资源分配，而大数据则注重资源处理。从一定程度上来讲，大数据需要云计算支撑，而云计算则为大数据处理提供平台。

6.大数据的成功应用依靠云计算

大数据和云计算的关系则在于，大数据的成功应用除了“大”，还有三个必要条件：实时在线、对事件的全面描述以及产生差异化的效果。云计算使得这三个必要条件得以满足。首先，云计算使人们可以随时随地使用存储和计算，使大量数据得以及时被采集和分析。手机上APP应用“云”的服务，就是一个云计算的例子。由于存储和计算成本的降低，云计算起到了实时在线的作用，从而使得更多的人愿意使用云服务，大数据的雪球由此可以滚动起来。其次，云计算的另一个好处是可以实现大规模的数据整合。当今世界并不是为大数据应用准备的。因为，大量数据集散落在不同地方，以不同方式存放，其拥有者也是不同的人。在云计算条件下，很多大规模数据整合的问题都会得到解决。当大家数据放在一起时，数据整合的门槛会大幅降低。因此，大数据也会像核物理的聚变一样，产生成倍的效果。

7.大数据的关键技术：云计算

没有互联网就没有云计算，没有云计算模式就没有大数据处理技术。若将大数据的应用比作为一辆辆“汽车”，支撑起这些“汽车”运行的“高速公路”就是云计算。正是云计算技术在数据存储、管理与分析等方面的支撑，才使得大数据有用武之地。云计算时代会有更多的数据存储于“云”端。数据是资产，“云”是数据资产保管的场所和访问的渠道。

8.未来发展将使云计算与大数据的关系越来越密切

如果再找一个可以跟大数据并驾齐驱的IT热词，无疑是云计算，很多人在提到大数据的时候，总会想到云计算。

虽然大数据与云计算并不是一个概念，但是两者之间有着千丝万缕的关系。云计算相当于我们的计算机和操作系统，将大量的硬件资源虚拟化之后再进行分配使用；而大数据则是我们要处理的数据。云计算是大数据处理的最佳平台。云计算与大数据的密切结合是两者未来发展共同的一大趋势，这种发展趋势将使两者的关系越来越密切。

实践训练

目的

了解云计算和大数据的应用。

内容

通过网络学习，了解云计算和大数据的基础知识。同时，通过实地考察，仔细分析云计算和大数据在哪些领域有所应用，分析在哪些领域应用比较广泛。