首页 理论教育深度学习:从起源到腾飞

深度学习:从起源到腾飞

【摘要】:深度结构学习,或者通常更多人称之为深度学习,从2006年开始作为一个新兴的领域出现在机器学习研究当中。自2006年以来,机器学习领域,取得了突破性的进展。据报道,后面支撑的关键技术就是DNN,或者说是深度学习。

2006年之前,大多数机器学习仍然在探索浅层结构架构,这种架构上包含了一层典型的非线性特征变换的单层,而缺乏自适应非线性特征的多层结构,如常规的隐马尔科夫模型、线性或非线性动态系统、条件随机域、最大熵模型、支持向量机、逻辑回归、内核回归和具有单层隐含层的多层感知器神经网络。这些浅层学习模型有一个常见属性,就是由仅有的单层组成的简单架构负责转换原始输入信号或输入特征为特定问题特征空间时,其过程不可观察。

深度结构学习,或者通常更多人称之为深度学习,从2006年开始作为一个新兴的领域出现在机器学习研究当中。深度学习的概念是2006年左右由Geoffrey Hinton等人在《Science》上发表的一篇文章《Reducing the dimensionality of data with neural networks》提出来的,开启了深度学习在学术界和工业界的浪潮。自2006年以来,机器学习领域,取得了突破性的进展。图灵试验至少不是那么可望而不可即了,至于技术手段,不仅仅依赖于云计算对大数据的并行处理能力,而且依赖于算法,这个算法就是深度学习算法。借助于深度学习算法,人类终于找到了如何处理“抽象概念”这个亘古难题的方法。

2012年6月,《纽约时报》披露了Google Brain项目,吸引了公众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家Jeff Dean共同主导,用16000个CPU Core的并行计算平台训练一种称为“深度神经网络”(deep neural networks,DNN)的机器学习模型,在语音识别和图像识别等领域获得了巨大的成功。项目负责人之一Andrew称:“我们没有像通常做的那样自己框定边界,而是直接把海量数据投放到算法中,让数据自己说话,系统会自动从数据中学习。”另外一名负责人Jeff则说:“我们在训练的时候从来不会告诉机器说‘这是一只猫’,系统其实是自己发明或者领悟了‘猫’的概念。”

2012年11月,微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统,讲演者用英文演讲,后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成,效果非常流畅。据报道,后面支撑的关键技术就是DNN,或者说是深度学习。

2013年1月,在百度年会上,创始人兼CEO李彦宏高调宣布要成立百度研究院,其中第一个成立的就是“深度学习研究所”(Institute of Deep Learning,IDL)。

2014年,微软公司推出了一款实时口译系统,可以模仿说话者的声音并保留其口音;微软公司发布全球第一款个人智能助理微软小娜;亚马逊发布至今为止最成功的智能音箱产品Echo和个人助手Alexa。

2016年,谷歌AlphaGo机器人在围棋比赛中击败了世界冠军李世石。

2017年,苹果公司在原来个人助理Siri的基础上推出了智能私人助理Siri和智能音响Home Pod。