首页 理论教育分布式数据库技术的分布文件系统

分布式数据库技术的分布文件系统

【摘要】:Google公司创建于1996年,依靠搜索引擎迅速发展。2005年,Google公司决定不再考虑将单独的服务器作为基础计算单元。Google公司也不甘落后,其模块化数据中心包括一个联合运输的集装箱和在集装箱内的计算系统。图18.3Google公司的软件体系结构●GoogleFile System:是一个分布式集群文件系统,是一个海量、分布和冗余的文件系统。

Google公司创建于1996年,依靠搜索引擎迅速发展。在提供搜索服务中,专家提出的PageRank算法对搜索质量有很好的提升。

2005年,Google公司决定不再考虑将单独的服务器作为基础计算单元。相反,开始构建Google模块化数据中心(Google modular data center)。模块化数据中心由集装箱数据中心组成,其中放置上千台用户自己设计的Intel服务器,运行在Linux操作系统。

模块化数据中心就是将成百上千台服务器和存储系统从结构上进行整合,装入一个拥有制冷系统的大型集装箱内,可以称为集装箱式的数据中心。相比传统数据中心,这种类型的系统在安装和管理方面更加容易,同时可保证效率和节能。

模块化数据中心能够支持即插即用,从设计到正式部署应用只需要十多周的时间即可完成。模块化数据中心包括机架、冷却系统电源管理系统、灭火系统、远程监测系统等重要组成部分。与传统数据中心相比,模块化数据中心能够节省约30%的成本,空间占地面积也能够节省约50%。

另外,即插即用这一优点还可体现在数据中心的灵活部署上,在全球任何地点,统一的设计方式使得计算设备在多个地点均一运营的一致性和简便性地进行部署。模块化设计还可以增加额外的计算能力,能对当前的数据中心进行快速扩展,并允许在远程办公地点、临时工作地点进行部署。当部署时,只需要提供电力保障、供水及网络连接,就可以建立一个功能完整的数据中心。

在应用方面,IBM、Microsoft、Google等互联网巨头也已经采用了模块化数据中心。Microsoft公司采用Rackable公司提供的集装箱在美国芝加哥城外建造了一座拥有150个集装箱式数据中心的大型数据中心,每个数据中心都配置了1000到2000台服务器。Google公司也不甘落后,其模块化数据中心包括一个联合运输的集装箱和在集装箱内的计算系统。

与此同时,Google公司开发了三个软件体系结构作为Google平台的基础(见图18.3)。(www.chuimin.cn)

图18.3 Google公司的软件体系结构

●GoogleFile System(GFS):是一个分布式集群文件系统,是一个海量、分布和冗余的文件系统。

●Map Reduce:是一个分布式处理框架,可让并行算法在大量不可靠的服务器上运行,可处理海量数据集。

●Big Table:是一个非关系型数据库系统,使用GFS存储数据。