首页 理论教育工业大数据技术优化方案

工业大数据技术优化方案

【摘要】:大数据具有5个主要的技术特点,可以总结为“5V特征”。而工业产品遍布全球各个角落,这些产品从设计制造到使用维护再到回收利用,整个生命周期都涉及海量的数据,这些数据就是工业大数据。机器学习和数据挖掘是大数据的关键技术。数据挖掘可以视为机器学习和数据库的交叉,它主要利用机器学习提供的技术来分析大数据和管理大数据。

大数据(Big Data)一般指体量特别大,数据类别特别大的数据集,并且无法用传统数据库工具对其内容进行抓取、管理和处理。大数据具有5个主要的技术特点,可以总结为“5V特征”。

(1)数据量(Volumes)大。计量单位从TB级别上升到PB、EB、ZB、YB及以上级别。

(2)数据类别(Variety)大。数据来自多种数据源,数据种类和格式日渐丰富,既包含生产日志、图片、声音,又包含动画、视频、位置等信息,已冲破了以前所限定的结构化数据范畴,囊括了半结构化和非结构化数据。

(3)数据处理速度(Velocity)快。在数据量非常庞大的情况下,也能够做到数据的实时处理。

(4)价值密度(Value)低。随着物联网的广泛应用,信息感知无处不在,信息海量,但存在大量不相关信息,因此需要对未来趋势与模式做可预测分析,利用机器学习、人工智能等进行深度复杂分析。

(5)数据真实性(Veracity)高。随着社交数据、企业内容、交易与应用数据等新数据源的兴起,传统数据源的局限被打破,企业愈发需要有效的信息之力,以确保其真实性及安全性。

大数据是工业4.0时代的重要特征,目前,数字化、网络化和智能化等现代化制造与管理理念已经在工业界普及开来,工业自动化和信息化程度得到前所未有的提升。而工业产品遍布全球各个角落,这些产品从设计制造到使用维护再到回收利用,整个生命周期都涉及海量的数据,这些数据就是工业大数据。

机器学习和数据挖掘是大数据的关键技术。机器学习最初的研究动机是让计算机系统具有人的学习能力,以便实现人工智能,目前被广泛采用的机器学习的定义是“利用经验来改善计算机系统自身的性能”。事实上,由于“经验”在计算机系统中主要是以数据的形式存在的,因此机器学习需要设法对数据进行分析,这就使得它逐渐成为智能数据分析技术的创新源之一,并且为此受到越来越多的关注。数据挖掘和知识发现通常被相提并论,并在许多场合被认为是可以相互替代的术语。对数据挖掘有多种文字不同但含义接近的定义,如“识别出巨量数据中有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程”。顾名思义,数据挖掘就是试图从海量数据中找出有用的知识。数据挖掘可以视为机器学习和数据库的交叉,它主要利用机器学习提供的技术来分析大数据和管理大数据。