首页 理论教育BP神经网络的理论在图像情感识别中的应用

BP神经网络的理论在图像情感识别中的应用

【摘要】:BP神经网络即反向传播网络,它是前向网络的核心部分,也是人工神经网络的精华部分。BP神经网络是目前应用最广的神经网络之一,BP神经网络是由一个输入层、一个或多个隐层以及一个输出层组成,上下层之间实现全连接,而每层神经元之间无连接。

BP神经网络即反向传播网络,它是前向网络的核心部分,也是人工神经网络的精华部分。因具有结构简单、可塑性强等优点,故BP神经网络及其改进形式被广泛应用在函数逼近、模式识别、信息分类及数据压缩等领域。

BP神经网络是目前应用最广的神经网络之一,BP神经网络是由一个输入层、一个或多个隐层以及一个输出层组成,上下层之间实现全连接,而每层神经元之间无连接。网络的学习过程包括正向传播和反向传播。在正向传播进程中,输入信息从输入层经隐层加权处理传向输出层,经功能函数运算后得到的输出值与期望值进行比较,若有误差,则误差反向传播,沿原先的连接通道返回,通过逐层修改各层的权重系数,减小误差。随着这种误差逆向传播修正的不断进行,网络对输入模式响应的正确率也在不断上升。

多层BP网络具有输入节点、一层或多层隐节点和输出节点,结构如图4-2所示。这种网络使用非线性微分函数进行权值训练,通常采用Sigmoid函数(正切函数tansig或对数函数logsig)和线性函数purelin作为传递函数(又称激活函数)。

设tpi,Opi分别是网络的期望输出和计算输出,则网络第p个样本的误差为:

BP网络的学习实质上就是求取误差函数最小值的问题,这种算法采用学习规则,按误差函数的负梯度方向修改权值。

图4-2中,xj表示输入层第j个节点的输入,j=1,…,M;wij表示隐含层第i个节点到输入层第j个节点之间的权值;θi表示隐含层第i个节点的阈值;φ(x)表示隐含层的激励函数;wki表示输出层第k个节点到隐含层第i个节点之间的权值,i=1,…,q;ak表示输出层第k个节点的阈值,k=1,…,L;ψ(x)表示输出层的激励函数;Ok表示输出层第k个节点的输出。

图4-2 三层BP神经网络

(1)信号的前向传播过程:

隐含层第i个节点的输入neti

隐含层第i个节点的输出yi

输出层第k个节点的输入netk

输出层第k个节点的输出ok

(2)误差的反向传播过程:

误差的反向传播,即首先由输出层开始逐层计算各层神经元的输出误差,然后根据误差梯度下降法来调节各层的权值和阈值,使修改后的网络的最终输出能接近期望值。

对于每一个样本p的二次型误差准则函数为Ep

系统对P个训练样本的总误差准则函数为:

根据误差梯度下降法依次修正输出层权值的修正量Δwki,输出层阈值的修正量Δak,隐含层权值的修正量Δwij,隐含层阈值的修正量Δθi

式(4-14)中,负号表示梯度下降,常数η为比例系数。输出层权值调整公式:

输出层阈值调整公式:

隐含层权值调整公式:

隐含层阈值调整公式:

又因为:

所以最后得到以下公式:

BP神经网络的训练过程为:

(1)用小的随机数对每一层的权值和偏差初始化,以及设定期望误差值、学习速率、最大循环次数。

(2)计算网络各层输出矢量,以及网络误差。

(3)根据学习规则计算各层反传的误差,并计算各层权值和偏差的修正值以及新权值和偏差。

(4)再次计算权值和偏差修正后误差。

(5)检查误差是否小于误差值,如果是或超过最大循环次数训练结束,否则继续。