银联大数据平台的基础设施及架构设计

2023-10-21 理论教育版权反馈

【摘要】：基础设施是银联大数据平台的基础，提供大规模数据存储、分析、挖掘的基础能力，包括基础硬件和基础软件设施。图1基础设施架构设计大数据平台基础设施的硬件资源层由X86服务器、存储、网络设备以及安全设备等组成。硬件资源层之上是整个基础设施的核心部件层，核心部件的最底层是分布式文件系统，采用主从式的分布式架构，主节点负责管理文件系统的元数据，从节点负责具体的数据存储。

基础设施是银联大数据平台的基础，提供大规模数据存储、分析、挖掘的基础能力，包括基础硬件和基础软件设施。基于服务器、网络、存储等硬件设施，结合各类前沿的大数据技术，包括分布式文件系统[3]、分布式并行处理[4]、分布式数据库[5]、分布式并行数据挖掘[6]等，构建银联大数据平台的基石；提供高效的数据存储、处理、分析、挖掘和展现等能力；通过简单、便捷的水平扩展，快速、有效地提升平台的各方面性能；通过简单易用的数据访问接口，提供简单高效的数据处理方式；结合银联数据特点，建设银联安全、可靠、高效、丰富的大数据运行环境。基础设施整体架构如图1所示。

pagenumber_ebook=115,pagenumber_book=109

图1　基础设施架构设计(www.chuimin.cn)

大数据平台基础设施的硬件资源层由X86服务器、存储、网络设备以及安全设备等组成。硬件资源层之上是整个基础设施的核心部件层，核心部件的最底层是分布式文件系统，采用主从式的分布式架构，主节点负责管理文件系统的元数据，从节点负责具体的数据存储。分布式文件系统之上是分布式资源调度框架层和并行计算框架层，资源调度框架负责从CPU和内存粒度来为用户调度和分配资源。分布式数据加工层构建在分布式并行计算框架[7]之上，由SQL解析引擎、NoSQL数据库、MPP数据库、搜索引擎、流式计算引擎、关系型数据库、模型算法库、机器学习引擎、报表工具、BI工具、可视化工具[8]组成，负责对底层文件系统中数据进行加工和处理，形成所需要的数据分析结果。

银联大数据平台的基础设施及架构设计

相关推荐