Spark技术为基于内存的开源计算，Spark生态系统在机器学习领域的重要应用MLlib具有很多常用算法，实现了K-means等多种分布式机器学习算法。本章探讨Spark+Hadoop技术的机器学习的深度和广度提升了大数据分析的效率，适应迭代式机器学习模型的特定需求，分析数据中的关系以获得规律来预测新样本，对数据进行收集、统计和分析。......
2023-11-21
机器学习中的分类算法
【摘要】：机器学习一般根据处理的数据是否存在人为标注可分为监督学习和无监督学习。因此，监督学习的根本目标是训练机器学习的泛化能力。总之，机器学习就是计算机在算法的指导下，能够自动学习大量输入数据样本的数据结构和内在规律，给机器赋予一定的智慧，从而对新样本进行智能识别，甚至实现对未来的预测。机器学习的一般流程如图6-1所示。
机器学习一般根据处理的数据是否存在人为标注可分为监督学习和无监督学习。监督学习用有标签的数据作为最终学习目标，通常学习效果好，但获取有标签数据的代价是昂贵的；无监督学习相当于自学习或自助式学习，便于利用更多的数据，同时可能会发现数据中存在更多模式的先验知识有时会超过手工标注的模式信息，但学习效率较低。两者的共性是通过建立数学模型为最优化问题进行求解，通常没有完美的解法。监督学习的数据集包括初始训练数据和人为标注目标，希望根据标注特征从训练集数据中学习到对象划分的规则，并应用此规则在测试集数据中预测结果，输出有标记的学习方式。因此，监督学习的根本目标是训练机器学习的泛化能力。监督学习的典型算法有：逻辑回归、多层感知机、卷积神经网络等；典型应用有：回归分析、任务分类等。无监督学习，用于处理未被分类标记的样本集数据并且事先不需要进行训练，希望通过学习寻求数据间的内在模式和统计规律，从而获得样本数据的结构特征，因此，无监督学习的根本目标是在学习过程中根据相似性原理进行区分。无监督学习更近似于人类的学习方式，被Andrew Ng誉为：人工智能最有价值的地方。无监督学习的典型算法有自动编码器、受限玻尔兹曼机、深度置信网络等；典型应用有：聚类和异常检测等。总之，机器学习就是计算机在算法的指导下，能够自动学习大量输入数据样本的数据结构和内在规律，给机器赋予一定的智慧，从而对新样本进行智能识别，甚至实现对未来的预测。机器学习的一般流程如图6-1所示。
图6-1 机器学习流程图
从当前研究的发展趋势看，机器学习今后将有如下几个热点的研究方向：从人类自身出发找出大脑本身生物学习机制，通过严格数学化应用于机器学习；在已有的人工智能方法的基础上不断优化发展和改良现有学习算法，同时展开新的研究算法的开发工作；令众多的机器学习算法走出“象牙塔”，建立实用的机器学习的算法应用系统，特别是在互联网领域开展多种学习方法集成化的研究；多种机器学习算法的同步协调使用，利用多种算法是优势规避其中的不足，改善学习系统性能。
有关工业智能技术与应用的文章
- 详细阅读
-
基于大数据技术的机器学习算法应用分析详细阅读
Hadoop可编写和运行分布式应用以及处理大规模数据，Mahout为一些机器学习算法框架库，但Mahout基于MapReduce计算框架，不适合处理迭代算法。因此，基于Spark和Hadoop框架结合的机器学习算法，要解决Mahout在应用迭代算法处理数据时消耗资源过多和系统整体性能下降的缺陷，提高数据处理分析的速度。基于MapReduce框架编写的Mahout机器学习库，使用HDFS技术在云基础架构上能够满足对大数据的存储要求，但I／O资源消耗过大造成系统整体性能降低［155］。......
2023-11-21
-
聚类分析：机器学习中的热点技术详细阅读
聚类分析是一种原理简单、应用广泛的机器学习技术。聚类分析已成为机器学习研究中的一个热点。图6-3k-均值聚类算法步骤示例k-中心点聚类k-中心点算法与k-均值算法在原理上十分相近，它是针对k-均值算法易受极值影响这一缺点的改进算法。以密度聚类算法来详细说明，该方法将“簇”看作是数据空间中被低密度区域分割开的“稠密区域”，即密度相连样本点的最大集合。图6-7期望最大化聚类算法步骤示例......
2023-06-28
-
工业机器人分类大全详细阅读
工业机器人的分类方式多种多样，比较常见的有按作业用途分类、按运动自由度数分类及按控制系统的控制方式分类等。工业机器人的自由度数一般为2～7个，按运动自由度数分类可分为简易型和复杂型。按照机器人具有的运动自由度数分类的方式也适用于非工业机器人，自由度数越多，机器人的柔性越大，结构和控制也就越复杂。......
2023-06-23
-
决策树：机器学习的经典方法详细阅读
决策树是最经典的机器学习方法之一，它以树形结构将决策/分类过程展现出来，简单直观、解读性强，根据适用情况的不同，有时也被称为分类树或回归树。决策树呈现倒置的树形，即最上端为树的根，最下端为树的叶。机器学习中的决策树可以分为两个主要类型：分类树和回归树。［2000，3000］），则属于分类树范畴。虽然目前已有了在运行效率等方面进一步完善的算法C5.0，但由于C5.0多用于商业用途，C4.5仍是更为常用的决策树算法。......
2023-06-28
-
机器人分类：地面机器人与服务机器人详细阅读
目前，机器人分类方法还没有统一的标准，一般有以下几种分类方法。地面机器人主要是指智能或遥控的轮式和履带式车辆。尽管服务机器人的起步较晚，但应用前景十分广泛，目前主要应用在清洁、护理、执勤、救援、娱乐和代替人对设备维护保养等场合。该机器人项目的最终目标是到2050年，开发完全自主仿人机器人队，能赢得对人类足球世界冠军队。......
2023-06-26
-
「机器人的定义和分类」详细阅读
机器人问世已有很长的历史，而对于机器人到底是什么仍然仁者见仁、智者见智，没有统一的意见。要给机器人下个合适的和人们普遍同意的定义是困难的。目前，世界上主要国家和国际组织关于“机器人”的定义各有不同。但一般人基于习惯不认为它们是机器人。反而是一些具有人或生物外观的东西，完全符合以上定义的，就会认为是机器人。图3-6机器人定义的共同之处......
2023-06-26
-
工业机器人：定义、特点和分类详细阅读
从定义可见，工业机器人强调通用性、可再编程的柔性、自动控制。焊接机器人就是一种能完成焊接任务的工业机器人。表5-5-1 工业机器人的不同结构形式......
2023-06-26
相关推荐