特征的判别性和特征学习方法

2023-10-21 理论教育版权反馈

【摘要】：特征的判别性则要求样本的特征分布为类内紧凑和类间可分。类内距离的loss项即centerloss[4]，公式如式所示：式中，cyi∈Rd表示第yi类深度学习特征的中心。类间距离的loss项公式如式所示：目标是最小化类内距离与最大化类间距离，将LC与LW结合得到判别特征loss，如式所示：对于每次迭代，需要计算LD关于xi的梯度用于计算卷积网络的反向梯度用于更新权值，同样需要更新cyi，分别如式、式所示。

对于训练样本的类别包含了所有可能测试样本的类别（即不会增加新的类别）的识别任务，深度学习的分类模型能够很好地直接解决该类任务。深度卷积网络将原始图片数据映射为高维向量，然后通过全连接层进行分类预测标签，最后的全连接层类似于一个线性分类器，将高维向量样本进行分离。因而使用Softmax loss的卷积网络所学到的特征具有可分离性。Softmax loss公式如式(2)所示：

式中，xi∈Rd表示属于第i个样本的深度学习特征，它的类别为第yi类，d为特征维度；Wj∈Rd表示全连接层W∈Rd×n权值的第j列；b∈Rn表示偏移量。训练时每批次输入的样本数为m，样本类别数为n。

对于信用卡分类，由于信用卡新卡将会持续发放，识别的类别将会随时间增多，这就要求卷积网络学习到的特征不仅需要可分离性，还需要判别性，对于新类别标签图片具有通用性。特征的判别性则要求样本的特征分布为类内紧凑和类间可分。

为了提高卷积网络提取的特征更具有判别性，通常可以对最后的loss加一些判别方法的惩罚项，这里从最小化类内距离与最大化类间距离两个方向进行添加。

类内距离的loss项即centerloss[4]，公式如式(3)所示：

式中，cyi∈Rd表示第yi类深度学习特征的中心。(www.chuimin.cn)

类间距离的loss项公式如式(4)所示：

目标是最小化类内距离与最大化类间距离，将LC与LW结合得到判别特征loss，如式(5)所示：

对于每次迭代，需要计算LD关于xi的梯度用于计算卷积网络的反向梯度用于更新权值，同样需要更新cyi，分别如式(6)、式(7)所示。在实际应用中为了提高算法的鲁棒性，使用参数α控制类别中心的学习率：

这里δ(yi=j)为在yi=j时的值为1，其他情况为0。联合Softmax loss与判别特征loss得到新的loss公式如式(8)所示：

式中，λ为平衡两个损失函数的权值参数。