分布式数据库技术及数据仓库解析

2023-10-28 理论教育版权反馈

【摘要】：为了说明综合数据库，有必要讨论什么是数据仓库及其特点。多维性是数据库仓库的一个重要特征。数据仓库的关键是数据的存储和管理。其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。相对于操作型数据库来说，数据仓库数据库的突出特点是对海量数据的支持和快速的检索技术。

为了说明综合数据库，有必要讨论什么是数据仓库及其特点。

数据仓库（data warehouse，DW）是一个面向主题的、集成的、相对稳定的、随时间不断变化的数据集合，它用于支持企业或组织的管理决策。

数据仓库系统是一个信息提供平台，它从业务处理系统中获得数据，主要通过星型模型和雪花模型进行数据组织，并为用户从数据中获取信息和知识提供各种支持。

从功能结构化分析，数据仓库系统至少应该包含数据获取、数据存储和数据访问三个关键部分。

数据仓库具有如下特点。

●面向主题：操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。这类主题如国民经济发展状况、人口分布和增长状况等。

●集成性：面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散数据库里的数据进行抽取、清理的基础上通过系统加工、汇总和整理得到的，因此，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业/组织的一致的全局信息。

●相对稳定：操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库中的数据主要供企业/组织决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期加载和刷新。

●反映历史变化：操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业/组织从过去某一时点（如开始应用数据仓库的时点）到目前各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。

政府数据仓库的建设，以现有政府业务系统和大量业务数据的积累为基础。数据仓库不是静态的概念，只有把信息及时交给需要这些信息的使用者，供他们做出改善其业务经营的决策，信息才能发挥作用，信息才有意义。而把信息加以整理、归纳和重组，并及时提供给相应的管理决策人员，是数据仓库的根本任务。因此，从产业界的角度看，数据仓库建设是一个工程，是一个过程。

多维性是数据库仓库的一个重要特征。“维”（dimension）是人们观察客观世界的角度。“维”一般包含着层次关系，这种层次关系有时会相当复杂。通过把一个实体的多项重要的属性定义为多个维（dimension），使用户能对不同维上的数据进行比较。因此，OLAP也可以说是多维数据分析工具的集合。

OLAP的基本多维分析操作有钻取（roll up和drill down）、切片（slice）和切块（dice）、旋转（pivot）等。

●钻取是改变维的层次的操作，用于变换分析的粒度。它包括向上钻取（roll up）和向下钻取（drill down）。向上钻取是在某一维上将低层次的细节数据概括到高层次的汇总数据，或者减少维数；而向下钻取则相反，它从汇总数据深入细节数据进行观察或增加新的维度。

●切片和切块是在一部分维上选定值后，关心度量数据在剩余维上的分布。如果剩余的维只有两个，则称为切片；如果剩余的维有三个，则是切块。

●旋转是变换维的方向，即在表格中重新安排维的放置（如行列互换）。

OLAP有多种实现方法，根据存储数据方式的不同，可以分为ROLAP、MOLAP、HOLAP等。

ROLAP表示基于关系数据库的实现OLAP（relational OLAP）。(www.chuimin.cn)

MOLAP表示基于多维数据组织的实现OLAP（multidimensional OLAP）。

数据仓库系统是一个包含四个层次的体系结构。

（1）数据源：数据源是数据仓库系统的基础，是整个系统的数据源泉，通常包括企业/组织的内部信息和外部信息。内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等；数据的存储与管理是整个数据仓库系统的核心。数据仓库的关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统的数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点进行分析。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。

（2）OLAP服务器：对需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析。OLAP服务器可以分为ROLAP、MOLAP和HOLAP等。ROLAP里的基本数据和聚合数据均存放在RDBMS中；MOLAP里的基本数据和聚合数据均存放于多维数据库中；HOLAP里的基本数据存放于RDBMS中，聚合数据存放于多维数据库中。

（3）前端工具：前端工具主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具，它们是基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。

（4）数据仓库数据库：数据仓库数据库是整个数据仓库系统的核心，是存放数据的地方和提供对数据检索的支持。相对于操作型数据库来说，数据仓库数据库的突出特点是对海量数据的支持和快速的检索技术。

数据抽取工具是将数据从各种各样的存储方式中抽取出来，进行必要的转化、整理，再存放到数据仓库内。数据抽取工具的关键是对各种不同数据存储方式的访问能力，例如，应能生成COBOL程序、MVS作业控制语言（JCL）、UNIX脚本和SQL语句等，以访问不同的数据。数据转换包括删除对决策应用没有意义的数据段，转换到统一的数据名称和定义，计算和衍生数据，给默认数据赋予默认值，并统一不同的数据定义方式。

（5）元数据是描述数据仓库内部数据的结构和方法建立的数据。按其用途的不同可分为技术元数据和商业元数据两类。

●技术元数据是数据仓库的设计人员和管理人员用于开发与日常管理数据仓库时使用的数据。技术元数据包括：数据源信息、数据转换的描述、数据仓库内对象和数据结构的定义、数据清理和数据更新时使用的规则、源数据到目的数据的映射、用户访问权限、数据备份历史记录、数据导入历史记录和信息发布历史记录等。

●商业元数据从业务的角度描述了数据仓库中的数据。商业元数据包括业务主题的描述，业务主题又包含数据、查询、报表等。

元数据为访问数据仓库提供了一个信息目录（information directory），这个目录全面描述了数据仓库中有什么数据、这些数据是怎么得到的和怎么访问这些数据。元数据是数据仓库运行和维护的中心，数据仓库服务器可以利用元数据来存储和更新数据，用户通过它来了解和访问数据。

（6）访问工具：为用户访问数据仓库提供了手段，一般有数据查询和报表工具、应用开发工具、管理信息系统（EIS）工具、联机分析处理（OLAP）工具、数据挖掘工具等。

（7）数据集市（data marts）：为了特定的应用目的或应用范围而从数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据（subject area）。这部分数据称为数据集市。在数据仓库的实施过程中，往往可以从一个部门的数据集市着手，以后再由几个数据集市组成一个完整的数据仓库。需要注意的是，在实施不同的数据集市时，同一含义的字段定义一定要相容，这样在以后实施数据仓库时才不会造成大麻烦。

（8）数据仓库管理：其功能包括安全和特权管理，跟踪数据的更新，数据质量检查，管理和更新元数据，审计和报告数据仓库的使用和状态，删除数据，复制、分割和分发数据，备份和恢复，存储管理等。

（9）信息发布系统：将数据仓库中的数据或其他相关的数据发送给不同的地点或用户。目前，基于Web的信息发布系统是适应多用户访问的最有效方法。

分布式数据库技术及数据仓库解析

相关推荐