人体动作识别方法研究：基于图像深度信息的关键帧提取

2023-10-28 理论教育版权反馈

【摘要】：如何对人体动作数据进行关键帧提取，国内外学者提出了不同处理方法，主要分为以下4 类：基于聚类方法聚类方法是一种根据样本相似度进行归类的方法。Liu 等[152]提出一种基于镜头级别的帧和帧之间差异性进行关键帧提取方法，首先在镜头级别选择一组候选关键帧，然后使用视频镜头内和镜头之间的信息过滤候选集，最后提取符合要求的动作帧作为动作序列关键帧。

人体动作数据是一个具有时序特性的高维度数据，传感器的高频采样方式导致动作数据中存在大量冗余信息，为了能更好地提高数据的有效使用性和动作识别率，需要提取具有代表性动作姿态的关键帧。如何对人体动作数据进行关键帧提取，国内外学者提出了不同处理方法，主要分为以下4 类：

（1）基于聚类方法

聚类方法是一种根据样本相似度进行归类的方法。Liu 等[139]提出一种基于内容的三维动作检索算法，采用最近邻规则的动态聚类算法对动作数据集进行分割，构建动作类型索引树，通过样本和数据集子库的相似度匹配，从而提取动作关键帧。Bulut 等[140]提出使用聚类方法进行关键帧提取，首先在运动曲线中寻找显著性明显的动作帧作为重要帧，然后通过阈值选取法进行关键帧提取并进行聚类。Halit 等[141]提出一种从动作序列中自动提取关键帧方法，将输入的动作序列作为运动曲线处理，提取曲线中运动性显著部分，并使用帧消减方法提取重要帧作为动作关键帧。Nie 等[141]根据人体动作感知的特点，提出一个基于动作变化点提取关键帧的算法框架，其中引入极值搜索算法进行动作变化点获取，对获取的动作变化点进行聚类，提取对应的关键帧。Wang 等[143]以动作的能量信息作为动作行为相似性准则，提出一种时间序列分割方法，首先将动作视频分割为各种单元动作，然后根据相似能量信息将单元动作合并、分组，提取各分组中最大能量信息范围内的重要帧，重新组织获取动作序列关键帧。Zhao 等[144]提出一种基于关节点三维空间距离的X-means 聚类算法，首先通过描述动作姿态与特定关节点的空间距离提取候选关键帧，然后采用时间约束X-means 算法对姿态序列进行聚类和滤波，从而获取动作序列关键帧。聚类的方法主要利用了动作之间的相似度判决，基于该算法提取的关键帧可很好地保持动作的真实性，但忽略了样本之间的时序相关性。

（2）基于曲线简化方法

曲线简化的定义是将采集到的运动轨迹点三维坐标信息按照时序进行连接，形成表示动作行为的一条运动轨迹曲线，通过提取运动轨迹曲线特征进行关键帧提取。Shao 等[145]通过计算动作序列的帧内和帧间运动直方图，提出一种关键帧提取算法，首先对每个视频帧进行运动直方图分析，获取熵曲线中的峰值，其次通过显著性判决对峰值熵进行加权，最后通过直方图交集部分，提取动作关键帧。Zhou 等[146]采用骨架关节点之间夹角信息描述动作序列中每个动作片段的动作特征，并根据夹角特性进行关键帧提取。Zhang等[147]提出一种基于曲线振幅提取动作序列关键帧的方法，首先选择一组联合距离特征进行动作表示，采用主成分分析方法获取主成分分量，求取特征曲线，然后通过提取曲线中局部最优点获取初始关键帧，最后通过合并基于曲线幅度提取的关键帧获得最终关键帧。Lim 等[148]将运动轨迹曲线上动作开始的第一个轨迹点和动作结束时的轨迹点进行连接，依次求取轨迹曲线上所有轨迹点到该直线的距离，选取最大距离的轨迹点作为关键帧分割点，直至满足设定误差为止，确定的各个分割点就是要提取的动作序列关键帧。许多学者根据曲线简化的定义，相继又提出许多优化算法，如分层曲线简化算法、曲线特征算法等。Kabir 等[149]提出一种通过分析帧和帧之间动作积累最大化进行关键帧提取的方法，首先计算两个骨骼关节点之间距离，提出自相似矩阵，然后根据自相似矩阵确定一个代价函数，表示帧之间的运动积累量，最后把运动积累最大值的点作为分割点进行分割，重复该操作多次，重新组织各个分割点形成最终的关键帧序列。Ji 等[150]提出一种使用t-SNE 算法进行关键帧提取的方法，首先通过改变t-SNE 的函数宽度参数，获取动作序列的低维特征曲线，然后分别求取特征曲线的局部最大值和局部最小值作为初始关键帧，最后根据曲线幅度的计算方法提取关键帧序列。曲线简化方法虽然能有效地概括人体动作，但容易忽略动作的局部细节特征，不能有效地控制三维空间中骨架关节点位置，对相似度极高且复杂的动作很难保证其动作之间的一致性。

（3）基于帧消减方法(www.chuimin.cn)

帧消减方法就是去除在动作序列中无意义的动作帧，从而保留有代表性意义关键帧。Togawa 等[151]提出一种基于骨架关节点位置的关键帧检测方案，根据骨架关节点的三维位置坐标信息，逐个求出相邻帧之间的位置差，给定一个度量因子，去除位置差最小的帧，将符合要求的剩余帧作为动作序列关键帧。Liu 等[152]提出一种基于镜头级别的帧和帧之间差异性进行关键帧提取方法，首先在镜头级别选择一组候选关键帧，然后使用视频镜头内和镜头之间的信息过滤候选集，最后提取符合要求的动作帧作为动作序列关键帧。蔡美玲等[153]提出基于重建误差最优化方法进行关键帧提取。该方法首先设定误差阈值，然后结合预选策略，去除不满足条件的动作帧，重新组织保留的动作帧，形成动作序列关键帧。

（4）基于智能优化算法

智能优化算法是利用现有一些特征选择算法进行人体动作关键帧提取。Liu 等[154]使用遗传算法结合概率模型进行关键帧提取，首先通过骨架关节点位置和速度的加权差异计算原始动作与重建动作之间的重构误差，根据最小重构误差以及最优压缩率概念定义一个适应度函数，求取最大适应度值，然后以此为目标进行最优搜索，通过对随机生成的初始种群进行迭代，提取最优动作关键帧集合。杨涛等[155]应用量子粒子群优化算法提取动作关键帧，首先计算原始动作与重构动作帧和帧之间的距离，然后根据距离值确定一个重构误差，最后使用重构误差和关键帧数目定义一个目标函数，采用有序整数编码方式进行关键帧提取。有些学者使用Fisher score[156]和Laplacian score两个高效的特征选择方法进行关键帧提取，也有一些学者使用如蚁群算法、萤火虫算法等其他优化算法。Zhang 等[156]在粒子群算法中加入异步学习因子，提出一种新颖的动作序列关键帧提取方法，首先初始化一系列关键帧粒子，然后通过异步学习因子搜索全局最优值，最后根据压缩比和重构误差率计算适应度函数，获取最佳动作序列关键帧集合。

上述介绍的关键帧提取方法各有其优缺点：帧消减方法容易忽略动作的边界帧，未考虑被消减帧和关键帧之间存在的相关性；聚类方法虽然能很好地获取代表性关键帧，但其算法太复杂，导致运算复杂度非常高；智能优化算法也取得了不错的效果，但其优化算法收敛速度太慢，容易出现抖动现象，影响后续识别结果的稳定性，不适合分割包含多帧动作数据视频的关键帧提取；曲线简化方法是以运动轨迹为研究对象，更适合提取以动作概括能力为目标的关键帧，缺点就是阈值设置对后续动作识别具有一定的影响。

人体动作识别方法研究：基于图像深度信息的关键帧提取

相关推荐