Map Reduce是一个编程模型，用于对数据敏感的通用目标实现并行处理。Map Reduce将处理过程分成两个阶段：①映射（map）阶段，将数据分解成组块（chunks）让分开的线程处理-运行在分开的机器上；②归约（reduce）阶段，将来自mappers的数据组合成最后结果。它方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。Map Reduce是一种可用于数据处理的编程模型。Hadoop上可以运行由各种语言编写的Map Reduce程序。当前的软件实现是指定一个map（映射）函数，用来把一组键/值对映射成一组新的键/值对，指定并发的reduce（归约）函数，以保证所有映射的键/值对中的每个键/值对共享相同的键组。更重要的是，Map Reduce程序本质上是并行运行的，其优势在于能处理大规模数据集。
关系型数据库与Map Reduce的比较如表18.1所示。
表18.1 关系型数据库和Map Reduce的比较
Map Reduce和关系型数据库的一个区别在于，它们所操作的数据集的结构化程度不同。一方面，结构化数据（structured data）具有既定格式的实体化数据，诸如XML文档或满足特定预定义格式的数据库表（关系）。另一方面，半结构化数据（semi-structured data）比较松散，虽然可能有格式，但经常被忽略，所以它只能用作对数据结构的一般指导。例如，一张电子表格，其结构是由单元格组成的网格，但是每个单元格自身可保存任何形式的数据。非结构化数据（unstructured data）没有什么特别的内部结构，例如纯文本或图像数据。Map Reduce对于处理非结构化或半结构化数据非常有效，因为在处理数据时才对数据进行解释。换句话说，Map Reduce输入的键和值并不是数据固有的属性，而是由分析数据的人员来选择的。(www.chuimin.cn)
关系型数据往往是规范的（normalized），以保持其数据的完整性且不含冗余数据。规范化给Map Reduce带来了问题，因为Map Reduce的核心假设之一就是可以进行（髙速的）流式读/写操作。
Web服务器日志是一个典型的非规范化数据记录（例如，每次都需要记录客户端主机全名，导致同一客户端全名可能会多次出现），不具有完整性且不含冗余的规范化特征，这也是Map Reduce非常适合于分析各种日志文件的原因之一。
Map Reduce是一种线性可伸缩的编程模型。程序员编写两个函数，分别为map函数和reduce函数，每个函数定义一个键/值对并集合到另一个键/值对集合的映射。这些函数无需关注数据集及其所用集群的大小，因此可以原封不动地应用到小规模数据集或大规模数据集上。更重要的是，如果输入的数据量是原来的两倍，那么运行的时间也需要两倍。但是，如果集群是原来的两倍，作业的运行速度仍然与原来的一样快。SQL査询一般不具备该特性。
但是在不久的将来，关系型数据库系统和Map Reduce系统之间的差异很可能变得模糊。一方面，关系型数据库都开始吸收Map Reduce的一些思路（如Aster DATA和GreenPlum的数据库），另一方面，基于Map Reduce的髙级査询语言（如Pig和Hive）使Map Reduce的系统更接近传统的数据库编程方式。
有关分布式数据库技术的文章
Oracle公司的OPS环境比一般的（单实例）Oracle环境复杂得多。不同结构下的OPS的实施略有不同。图14.23OPS体系结构为了利用这些特性，需要专业人员合适的设计以及恰当的手工配置。下面对有些关键问题进行简单讨论，讨论中会涉及一些Oracle系统专用的术语，读者可参阅Oracle公司的相关文档。DLM与Oracle进程一起工作并相互通信。DLM相关的初始化参数在每个实例的SGA[12]中分配必要的结构以处理消息机制、封锁与实例相关的Cache管理，这样就为各种Oracle进程操纵提供了基础。......
2023-10-28
查询优化的本地化分层聚焦于将查询转换成本地数据。一个全局关系可以通过应用重构规则来重构，从而导出一个关系代数程序，其操作数是数据片，这个程序称为本地化程序。将分布查询分配到节点上的自然办法是生成查询，让每个全局关系使用本地化程序来代替。这可以看成是在一棵分布查询的算符树上将叶子用与本地化程序对应的子树来替代。数据水平分片关系的连接也可以简化。......
2023-10-28
与数据库安全系统打交道的人员可以分为两类：数据库管理员和普通用户。DBA要对安全负责，所以他（们）要创建授权规则，定义谁可以使用哪部分数据，以及如何使用。图13.1数据库安全系统由图13.1可知，数据库安全系统里存放着授权规则，在每次数据库存取时强制满足其规则。从完整性方面考虑，数据库安全可以包含以下两方面。1）设计阶段的数据库安全在设计阶段必须关注数据库的安全性。DBA负责处理整个数据库系统里的用户账号和口令。......
2023-10-28
图3.1软件开发过程数据库设计的过程与软件开发的过程类似。下面先来看一下集中式数据库设计的情况。在分布式数据库系统中，集中式数据库设计的问题依然存在，且有以下两个新的问题需要考虑。这个过程就是确定如何将全局关系划分成水平、垂直或者混合的数据片。数据片的分配，即决定数据片如何映射到物理镜像上，决定如何复制数据片。数据片的分配问题则研究已久，当然，过去研究的则是“文件分配”问题。......
2023-10-28
自1995年以来，基于CORBA软件的企业级应用发展迅猛。CORBA是OMG随着硬件和软件产品的快速增长，针对互操作性的需要而提出的。CORBA 2.0于1994年12月被提出，它定义了不同供应商的ORB怎样才能实现真正的互操作性。图12.4OMA体系结构OMA体系结构主要包括以下几部分。ORB用于发现与该请求对应的对象实现，对所要求的所有机制做出响应，准备好对象实现以响应请求，并完成请求所需要的数据通信。由图12.5可知，客户端通过ORB向对象实现发送请求。......
2023-10-28
显然，自动识别技术是物联网体系的重要组成部分，借此可以对每个物品进行标识和识别，并可以实时更新数据，是构造全球物品信息实时共享的重要组成部分，是物联网的基石。按照国际自动识别技术的分类标准，自动识别技术可以分为数据采集技术和特征提取技术两大类。......
2023-10-28
视频和音频点播系统可以在网络上提供连续的视频/音频流，可以是实验的演示情况、教师讲课的录像等。视频服务器是视频/音频点播系统中的核心，通过视频服务器将经过技术处理的视频信息进行存放，当网络在接收到客户端的点播请求时送出视频信息。视频信息经过处理存放到视频服务器后，要让它能够被更多的人使用，这也是视频信息的发布问题。......
2023-10-28
前面提及的OPS是Oracle 6.0中引入的，RAC源自OPS，但作为新的产品推出。一个4节点的集群结构如图14.24所示。图14.24一个4节点的集群结构RAC起源于OPS，在Oracle 6.0.35版本中引入。最初只适用于Digital VAX/VMS集群使用Oracle开发的分布式封锁管理器。从Oracle 9.0.1开始，OPS重新改为RAC可选项。在商业上，RAC已是一个完整的新产品。然而在技术上，OPS和RAC的一个重要区别是超高速缓存相关性。OPS里，实例间的块协调由PCM处理。Oracle 8i引入了Cache Fusion PhaseⅠ，部分淘汰了磁盘ping。......
2023-10-28
相关推荐