首页 理论教育深度学习的优势解析

深度学习的优势解析

【摘要】:深度学习是机器学习的第二次浪潮。图7-3多层神经网络表达复杂函数深度学习的实质是通过构建具有很多隐层的机器学习模型和海量的训练数据来学习更有用的特征,从而最终提升分类或预测的准确性。深度学习与传统的神经网络之间有相同的地方也有很多不同。深度学习整体上是一个由许多智能的隐含层构成的训练机制,这样做可以更大限度地刻画和模拟现实中各种非线性目标函数。

深度学习是机器学习的第二次浪潮。2006年,加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生Ruslan Salakhutdinov在《科学》上发表了一篇文章,开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点:

①多隐层的人工神经网络具有优异的特征学习能力,学习得到的特征对数据有更本质的刻画,从而有利于可视化或分类;

②深度神经网络在训练上的难度,可以通过“逐层初始化”(layer-wise pretraining)来有效克服,在这篇文章中,逐层初始化是通过无监督学习实现的。

当前多数分类、回归等学习方法均为浅层结构算法,其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限,针对复杂分类问题其泛化能力受到一定制约。深度学习可通过学习一种深层非线性网络结构,实现复杂函数逼近,表征输入数据分布式表示,展现了强大的从少数样本集中学习数据集本质特征的能力,多层的好处是可以用较少的参数表示复杂的函数,如图7-3所示。

图7-3 多层神经网络表达复杂函数

深度学习的实质是通过构建具有很多隐层的机器学习模型和海量的训练数据来学习更有用的特征,从而最终提升分类或预测的准确性。因此深度模型是手段,特征学习是目的。区别于传统的浅层学习,深度学习的不同在于:

①强调了模型结构的深度,通常有5层、6层,甚至10多层的隐层节点;

②明确突出了特征学习的重要性,也就是说,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,从而使分类或预测更加容易;与人工规则构造特征的方法相比,利用大数据来学习特征,更能够刻画数据的丰富内在信息;深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。

深度学习与传统的神经网络之间有相同的地方也有很多不同。两者的相同在于深度学习采用了神经网络相似的分层结构,系统由包括输入层、隐层(多层)、输出层组成的多层网络,只有相邻层节点之间有连接,同一层以及跨层节点之间相互无连接,每一层可以看作是一个逻辑斯特回归模型,这种分层结构,是比较接近人类大脑的结构的。

为了克服神经网络训练中的问题,深度学习采用了与神经网络很不同的训练机制。传统神经网络中,采用的是反向传播算法的方式,简单来讲就是采用迭代的算法来训练整个网络,随机设定初值,计算当前网络的输出,然后根据当前输出和实际输出之间的差去改变前面各层的参数,直到收敛(整体是一个梯度下降法)。深度学习整体上是一个由许多智能的隐含层构成的训练机制,这样做可以更大限度地刻画和模拟现实中各种非线性目标函数。