首页 理论教育智慧旅游管理与实践研究:大数据处理流程

智慧旅游管理与实践研究:大数据处理流程

【摘要】:由于数据的采集可能是不间断的,存储的过程也应当保持连续性,这就对数据存储的吞吐能力提出了较高的要求。其主要特点是,在分析之前立足分布式数据库系统,建立相应的组织、程序、架构、规则和算法,保障数据分析的有序进行和分析结论的准确性,这就对数据分析体系的逻辑结构提出较高要求,数据分析的内在逻辑应当准确合理。

(一)数据采集

利用多种数据库接收来自客户端的各种数据。在数据采集的过程中,前端的信息采集较为重要,数据库系统较多,因此信息采集的过程应注重全面性;如果信息的采集存在错误、遗漏或不全面,将会影响数据的分析和使用。代表产品有MySQL、Oracle、HBase、Redis和MongoDB等。

(二)存储

对采集到的数据进行存储。大数据技术采集到的数据通常是大容量的,这就对数据的存储提出了较高的要求,海量数据的存储系统应当具备一定的拓展能力,可以通过增加磁盘或模块等来增加容量。由于数据的采集可能是不间断的,存储的过程也应当保持连续性,这就对数据存储的吞吐能力提出了较高的要求。

(三)分析

基于一定的组织、程序、架构、规则和算法,将通过前端采集到的海量数据导入大型的分布式数据库,利用分布式技术对存储于其中的大量数据进行分类和整理,从而满足各方分析和挖掘需求。其主要特点是,在分析之前立足分布式数据库系统,建立相应的组织、程序、架构、规则和算法,保障数据分析的有序进行和分析结论的准确性,这就对数据分析体系的逻辑结构提出较高要求,数据分析的内在逻辑应当准确合理。代表产品:Infobright、Hadoop(Pig和Hive)、SAP HANA和Oracle Exadata。主要分为两种分析类型:一是离线分析,二是实时分析。(www.chuimin.cn)

(四)挖掘

基于已经采集的大量数据,通过简单的操作即可生成分析模型,例如在客户分析、用户画像、精准营销等方面的应用,从而为提高商业决策科学性提供依据。但由于程序和算法复杂,涉及的数据量和计算量通常较大,模型的建立需要科学准确,同时产生的相关关系或者因果关系可能并不完全正确,需要进行判断和验证。

(五)信息应用

经过数据分析和数据挖掘后得到有价值的信息,对信息进行应用。用户可通过电脑手机平板电脑等终端查看数据分析结果,进而实现信息应用。