大数据关键技术：信息技术基础与实践

2023-11-01 理论教育版权反馈

【摘要】：大数据技术，就是从各种类型的数据中快速获得有价值信息的技术，它与云技术、分布式处理、存储技术及感知技术等密切相关。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。

大数据技术，就是从各种类型的数据中快速获得有价值信息的技术，它与云技术、分布式处理、存储技术及感知技术等密切相关。大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。

1.大数据采集技术

数据采集是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化（或称为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术；设计质量评估模型，开发数据质量技术。

2.大数据预处理技术

主要完成对已接收数据的辨析、抽取、清洗等操作。

（1）抽取。因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助人们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。

（2）清洗。对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。

3.大数据存储及管理技术(www.chuimin.cn)

大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术；突破分布式非关系型大数据管理与处理技术、异构数据的数据融合技术、数据组织技术、研究大数据建模技术；突破大数据索引技术；突破大数据移动、备份、复制等技术；开发大数据可视化技术。

4.大数据分析及挖掘技术

（1）大数据分析技术。改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

（2）数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的，但又是潜在有用的信息和知识的过程。数据挖掘涉及的技术方法很多，有多种分类法。

5.大数据展现和应用

其主要用于图形展示（散点图、折线图、柱状图、地图、饼图、雷达图、K线图、箱线图、热力图、关系图、矩形树图、平行坐标、桑基图、漏斗图、仪表盘），有文字展示，当前大数据展现技术主要有Echarts、Tableau。

大数据关键技术：信息技术基础与实践

相关推荐