首页 理论教育学习速率在循环训练中的重要性

学习速率在循环训练中的重要性

【摘要】:学习速率决定每一次循环训练中所产生的权值变化量。所以,在一般情况下,倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.01~0.8之间。网络要经过几个不同的学习速率的训练,通过观察每一次训练后的误差平方和∑e2的下降速率来判断所选定的学习速率是否合适。如果∑e2下降很快,则说明学习速率合适,若∑e2出观振荡现象,则说明学习速率过大。

学习速率决定每一次循环训练中所产生的权值变化量。大的学习速率可能导致系统的不稳定;但小的学习速率导致较长的训练时间,可能收敛很慢,不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值。所以,在一般情况下,倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.01~0.8之间。和初始值的选取过程一样,在一个神经网络的设计过程中。网络要经过几个不同的学习速率的训练,通过观察每一次训练后的误差平方和∑e2的下降速率来判断所选定的学习速率是否合适。如果∑e2下降很快,则说明学习速率合适,若∑e2出观振荡现象,则说明学习速率过大。对于每一个具体网络都存在一个合适的学习速率。但对于较复杂网络,在误差曲面的不同部位可能需要不同的学习速率。为了减少寻找学习速率的训练次数以及训练时间,比较合适的方法是采用变化的自适应学习速率,使网络的训练在不同的阶段自动设置不同学习速率的大小。具有非线性激活函数的各层网络对大的学习速率很敏感。对于非线性网络,不像线性网络那样可以选择一个最优学习速率。层数越多,网络训练的学习速率只能越低。较大的学习速率极易产生振荡而使其很难达到期望的目标,有的甚至发散。