首页 理论教育基于图像深度信息的双人交互动作识别实验

基于图像深度信息的双人交互动作识别实验

【摘要】:图4.1双人交互动作示意图该数据集包含RGB 视频图像、深度图像和骨骼深度信息3 种类型,提供7 位受试者两两组合形成的21 组数据,执行8 类不同的交互动作行为。表4.1同类识别算法对比的平均识别率图4.2在SBU 数据集上基于RGB 图像识别率93.8%的混淆矩阵示意图图4.3在SBU 数据集上基于深度图像识别率98.4%的混淆矩阵示意图实验结论:①基于深度图像数据进行交互动作识别得到的平均识别率为98.4%,高于基于RGB 视频图像序列进行识别的93.8%平均识别率。

实验采用斯托尼布鲁克大学2012 年公布的SBU 双人交互行为数据集[100],如图4.1 所示。

图4.1 双人交互动作示意图

该数据集包含RGB 视频图像、深度图像和骨骼深度信息3 种类型,提供7 位受试者两两组合形成的21 组数据,执行8 类不同的交互动作行为。其主要动作类型包括接近(approaching)、背离(departing)、交换(exchanging)、拥抱(hugging)、踢(kicking)、以拳重击(punching)、推开(pushing)及握手(shaking hands)。

分别使用SBU 数据集中RGB 视频图像动作序列和深度图像动作序列进行实验,一方面,验证本书提出的多特征融合算法的有效性;另一方面,验证深度图像相较于RGB 视频图像,具有更好的辨识性和稳定性。同时,还与文献[100]提出的基于关节点、平面和速度特征进行动作识别的方法进行了对比实验。实验使用PCA 方法进行特征降维,利用SVM 分类器进行动作分类。其实验结果见表4.1。两个实验部分获得的平均识别率相应混淆矩阵如图4.2 和图4.3 所示。

表4.1 同类识别算法对比的平均识别率

(www.chuimin.cn)

图4.2 在SBU 数据集上基于RGB 图像识别率93.8%的混淆矩阵示意图

图4.3 在SBU 数据集上基于深度图像识别率98.4%的混淆矩阵示意图

实验结论:

①基于深度图像数据进行交互动作识别得到的平均识别率为98.4%,高于基于RGB 视频图像序列进行识别的93.8%平均识别率。充分验证深度图像相较于RGB 视频图像能更好地反映几何形状信息,具有较好的辨识性和稳定性。RGB 视频图像易受到光照、色度和环境变化的影响,稳定性较差。

②本章提出的多特征融合算法取得了98.4%的平均识别率,高于文献[100]的80.3%平均识别率,充分验证多特征比单一特征具有更好的识别率和稳定性。同时,也说明将双人交互动作作为整体图形结构分析比单独分割处理效果更好,识别率更高。其原因是交互动作数据集不仅具有非周期性,还具有许多相似的运动单元。例如,“exchanging object” 和“shaking hands”两个动作具有相同的肢体运动,“pushing”动作也很容易和“punching”动作相混淆。