表2.2不同识别算法在MSR-Action3D 数据集识别率对比图2.6在MSR-Action3D 数据集上识别率90.5%的混淆矩阵示意图第二个数据集是微软研究院于2012 年公开的MSRC-12 动作行为数据集[137]。同样使用最近邻分类器进行分类,其实验结果见表2.3,本章所述方法获得的动作识别率相应混淆矩阵如图2.7 所示。......
2023-10-28
选用卡内基梅隆大学公布的动作捕捉数据集(CMU Motion Capture,MoCap)作为实验数据。该数据集包含人与环境以及动作交互的行为,有6 个大类和23 个子类,共2 605 个不同动作。其中,包括一些常见的双人交互动作,如打篮球、跳舞等。本章实验忽略应用场景,仅使用地面真实信息,形成一个独立的动作样本。故本实验使用的动作数据集包含35 类不同动作,每类动作有40 个样本,由20 位受试者各执行两次动作完成,共1 400 个样本。
为了验证张量模型的有效性,采用两种不同输入模型进行对比实验:一种是直接用向量模型作为输入量;另一种是构建张量模型作为输入量。其实验结果见表2.1。
表2.1 不同输入模型在MoCap 数据集识别率对比
实验过程说明:
①实验使用的数据集是Kinect 采集的三维坐标位置信息,选用人体骨架20 个关节点的骨骼模型。因此,本实验上下文点数目从1 ~19 进行选取,当动作识别率趋于稳定时,确定上下文点数目(本实验上下文点数目选择8)。(www.chuimin.cn)
②MPCA 算法每次迭代保留95%的方差信息。实验使用最近邻分类器进行动作分类,动作识别率见表2.1。使用最近邻分类器的原因是本章提出的形状描述子是依据欧氏距离进行特征表示的,并且上下文点的选择是在该点周围最近邻区域进行选择的,故与KNN 分类算法的工作原理相似。
从实验得到以下结论:
①上下文点数目的大小对动作识别率造成很大影响,应在权衡动作识别率和运算复杂度的情况下选取上下文点数目。
②使用向量形状描述子进行特征表示,35 类动作的平均识别率为78.4%,高于其他同类对比算法,证明本章所提出的完整形状描述子在人体动作识别方面,具有一定的可行性和有效性。
③使用张量形状描述子进行特征表示,得到了86.3%的最高平均识别率,不仅高于TCCA 算法76.4%的平均识别率,也高于向量模型作为输入的78.4%的平均识别率,充分说明,张量形状描述子能更好地保留数据结构信息,非常适合处理像骨骼序列这种具有多个维度独立的高维数据,能有效地进行人体动作识别,获得较高的识别率。
有关基于图像深度信息的人体动作识别研究的文章
表2.2不同识别算法在MSR-Action3D 数据集识别率对比图2.6在MSR-Action3D 数据集上识别率90.5%的混淆矩阵示意图第二个数据集是微软研究院于2012 年公开的MSRC-12 动作行为数据集[137]。同样使用最近邻分类器进行分类,其实验结果见表2.3,本章所述方法获得的动作识别率相应混淆矩阵如图2.7 所示。......
2023-10-28
图4.1双人交互动作示意图该数据集包含RGB 视频图像、深度图像和骨骼深度信息3 种类型,提供7 位受试者两两组合形成的21 组数据,执行8 类不同的交互动作行为。表4.1同类识别算法对比的平均识别率图4.2在SBU 数据集上基于RGB 图像识别率93.8%的混淆矩阵示意图图4.3在SBU 数据集上基于深度图像识别率98.4%的混淆矩阵示意图实验结论:①基于深度图像数据进行交互动作识别得到的平均识别率为98.4%,高于基于RGB 视频图像序列进行识别的93.8%平均识别率。......
2023-10-28
表4.2同类识别算法对比的平均识别率图4.4在MSRActionPairs 数据集上平均识别率91.5%的混淆矩阵示意图实验结论:①基于人物交互相似动作识别,本章提出的基于深度图像的多特征融合算法能达到91.5%的平均识别率,充分验证基于交互动作整体结构的识别算法在相似“动作对”中具有较好的辨识性和有效性。......
2023-10-28
针对上述噪声,本章引入高斯核函数进行滤波处理。同时,高斯核函数还具有单瓣频谱特性,对噪声具有很好的抑制作用。同样,为了获取紧凑的运动特征和更好的传输不变性,实验使用Max-pooling 技术进行下采样,归一化处理,形成向量Sm。......
2023-10-28
由于人体动作的多样性和周边环境的复杂性,使人体动作识别充满了挑战。人体动作识别最初的研究都是基于RGB 视频图像序列,许多学者分别从静态特征、动态特征和时空特征3 个方面对该领域的工作进行了总结[1-4]。虽然基于RGB 视频图像序列的动作识别研究取得了较好的成果,但因其复杂背景、相机视角、光照变化以及遮挡等问题,人体动作识别研究仍然存在诸多挑战。......
2023-10-28
下面简单介绍大部分可公开获取的RGB-D 动作行为数据集。目前有3类人体动作行为数据集,即单视角动作行为数据集、多视角动作行为数据集和双人/多人交互动作行为数据集。单视角动作行为数据集MSR-Action3D[30]数据集是微软研究院2010 年公开的RGB-D 单视角行为数据集。10 个受试者共320 个样本。UTKinect[31]行为数据集是得克萨斯大学2012 年公布的。UTD-MHAD[88]行为数据集是由得克萨斯大学2015 年公布的。8 个受试者每个动作执行4 次。......
2023-10-28
最初,人体动作识别主要是以RGB 视频图像为研究对象,经过多年的努力,人体动作识别技术已取得了较快的发展。本书使用Kinect 传感器采集人体动作的深度图像信息,探讨人体动作识别的相关理论和技术难点,着重研究如何消除可能对识别结果造成的干扰因素,提高人体动作识别的鲁棒性与普适性。......
2023-10-28
表3.1在MoCap 动作序列上提取关键帧从实验可知,本章提出的关键帧提取算法可有效地提取具有代表性的动作序列帧,关键帧序列只占样本序列的2/3 甚至更少,其余的帧均为冗余信息。因此,关键帧提取对减少运算复杂度、提高动作识别率具有重要意义。在关键帧提取实验的基础上,又进行了动作序列的关键轨迹提取实验。......
2023-10-28
相关推荐