深度学习的基本思想与方法

2023-06-28 理论教育版权反馈

【摘要】：假设我们有一个系统S，它有n层（S1，…，Sn），它的输入是I，输出是O，可形象地表示为：I=＞S1=＞S2=＞…回到深度学习的主题，人们需要自动地学习特征，假设有一堆输入I，设计一个系统S（有n层），通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，…对于深度学习来说，其思想就是堆叠多个层，也就是说这一层的输出作为下一层的输入。上述就是深度学习的基本思想。

假设我们有一个系统S，它有n层（S1，…，Sn），它的输入是I，输出是O，可形象地表示为：I=＞S1=＞S2=＞…=＞Sn=＞O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失。研究表明，这是不可能的。信息论中有个“信息逐层丢失”的说法（信息处理不等式），设处理a信息得到b，再对b处理得到c，可以证明：a和c的互信息不会超过a和b的互信息。这表明信息处理不会增加信息，大部分处理会丢失信息。当然了，如果丢掉的是没用的信息那多好，有用保持不变，这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，它都是原有信息的另外一种表示。回到深度学习的主题，人们需要自动地学习特征，假设有一堆输入I（如一堆图像或者文本），设计一个系统S（有n层），通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，…，Sn。

对于深度学习来说，其思想就是堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式，就可以实现对输入信息进行分级表达了，前面是假设输出严格地等于输入，这个限制太严格，可以略微地放松这个限制，例如只要使得输入与输出的差别尽可能地小即可，这个放宽会导出另外一类不同的深度学习方法。上述就是深度学习的基本思想。

深度学习的基本思想与方法

相关推荐