如何对人体动作数据进行关键帧提取，国内外学者提出了不同处理方法，主要分为以下4 类：基于聚类方法聚类方法是一种根据样本相似度进行归类的方法。Liu 等[152]提出一种基于镜头级别的帧和帧之间差异性进行关键帧提取方法，首先在镜头级别选择一组候选关键帧，然后使用视频镜头内和镜头之间的信息过滤候选集，最后提取符合要求的动作帧作为动作序列关键帧。......
2023-10-28
人体动作识别研究：关键帧提取技术
【摘要】：关键帧提取在人体动作识别率中起着重要的作用。本节根据上一节提出的基于空间曲度概念进行动作序列关键帧提取。，N}，其中，Lk表示关键帧组成动作序列的长度。关键帧提取数目的多少完全依赖阈值的设定，即阈值将是权衡动作识别准确率和运算复杂性之间的关键因素。⑦设定阈值τ，根据式进行关键轨迹点选取。
关键帧提取在人体动作识别率中起着重要的作用。本节根据上一节提出的基于空间曲度概念进行动作序列关键帧提取。动作序列在空间的表现形式是多条运动轨迹曲线。因此，在动作序列分类之前，首先根据空间曲度概念确定每一条运动轨迹的关键轨迹点，然后对多条轨迹上提取的关键轨迹点进行规整，选取相对应的时间序列帧作为关键帧。
假定某类具有n 条轨迹的动作序列Tn= {Pn（t），t= 1，…，L；n= 1，…，N}，Pn（t） 为某一类动作采样获取的三维点集，L 表示动作序列的时间长度，即时间序列帧长度，N 为该类动作序列在空间的运动轨迹数。关键帧提取的具体思路如下：
输入：Tn= {Pn（t），t=1，…，L；n=1，…，N}。
输出：T′n= {Pn（t），t=1，…，Lk；n=1，…，N}，其中，Lk表示关键帧组成动作序列的长度。算法步骤：
①选择空间中的一条轨迹曲线： P= {Pi}，Pi=（xi，yi，zi） ∈R3，i ∈{1，2，…，L}。
②选取曲线上轨迹点 Pi的 k 个最近邻域点，构成点集 Q={qi，1，qi，2，…，qi，k}。
③选取最近邻域点数目k=4，得到包括Pi点在内的曲线上的5 个轨迹点，
这些点满足式（3.11），属于同一个空间曲面。
④分别对这5 个轨迹点利用式（3.9）求取各自的曲率，求出最小曲率kmin和最大曲率kmax。
⑤根据式（3.12）求出轨迹点Pi的空间曲度值。
⑥重复该方法依次求出运动轨迹曲线上其他轨迹点的空间曲度。
⑦设定阈值τ，进行关键轨迹点选取，即
空间曲度大于阈值的轨迹点予以保留，小于阈值的轨迹点进行消减。
⑧按照以上步骤依次求出其他轨迹曲线的关键轨迹点。
⑨整合各轨迹关键点，输出新的训练集
说明：对N 条轨迹提取完轨迹点后，根据各轨迹点对应的时间序列号进行重新规整长度和数据重组，得到最终的动作序列关键帧。例如，轨迹1 获取的关键轨迹点序号为{3，5，6，8，10}，轨迹2 获取的关键轨迹点序号为{3，5，7，8，10，12}，则动作序列关键帧就取包含轨迹1 和轨迹2 中所有轨迹点序号{3，5，6，7，8，10，12} 对应的帧，这样才能保证动作的连续性和准确性。关键帧提取数目的多少完全依赖阈值的设定，即阈值将是权衡动作识别准确率和运算复杂性之间的关键因素。
对Kinect 传感器采样的动作序列的关节点坐标进行骨骼模型可视化，如图3.1 所示。该图为卡内基梅隆大学动作捕捉数据集（CMU Motion Capture，MoCap）中行为“Both Arms Pointing to Right Side”的动作序列。
图3.1 “Both Arms Pointing to Right Side”动作序列示意图
由视觉观察可以发现，该动作序列在第50 帧才开始有动作趋势，而在第116 帧动作开始结束，但是整个动作序列的帧长为152 帧。这种现象的发生可能是人为因素也可能是系统延迟所造成的。例如，在录制动作行为过程中，深度传感器Kinect 启动一定时间后，受试者才开始执行动作，或者动作执行结束后Kinect 传感器还在进行录制。因此，每类动作的起止时间帧不一样，容易影响动作识别率，而动作关键帧的检测可很好地解决动作行为起止点的问题。(www.chuimin.cn)
另外，对简单的动作行为，参照20 个关节点的人体骨架结构，如果以人体骨架关节点髋中心作为分界点，人体动作就可大致分为上半身肢体动作和下半身肢体动作。从视觉上看，本节给出的“Both Arms Pointing to Right Side”的动作序列可作为上半身肢体动作。由于每一个人体骨架关节点都有其定义和序号排列，动作序列在空间呈现的轨迹曲线也被相应地标上编号。因此，可根据提出的空间曲度进行动作序列关键轨迹的提取。同样，假定具有n 条轨迹的某类动作序列Tn= Pn（t），t=1，…，L；n=1，…，N
{}，Pn（t） 为采样获取的各关节点三维坐标点集，L 表示时间序列帧长度，N 为该类动作序列在空间的运动轨迹数。具体思路如下：
输入：Tn= {Pn（t），t=1，…，L；n=1，…，N}。
输出：
= {Pn（t），t=1，…，L；n=1，…，M}，其中，M 表示动作序列的轨迹数。
算法步骤：
①选择空间中的一条轨迹曲线： P= {Pi}，Pi=（xi，yi，zi） ∈R3，i ∈{1，2，…，L}。
②选取曲线上轨迹点 Pi的 k 个最近邻域点，构成点集 Q={qi，1，qi，2，…，qi，k}。
③选取最近邻域点数目k=4，得到包括Pi点在内的曲线上的5 个轨迹点，
这些轨迹点满足式（3.11），属于同一个空间曲面。
④分别对这5 个轨迹点利用式（3.9）求各自的曲率，获得最小曲率kmin和最大曲率kmax。
⑤根据式（3.12）求出轨迹点Pi的空间曲度值。
⑥重复该方法依次求出轨迹曲线上其他轨迹点的空间曲度值。
⑦设定阈值τ，根据式（3.13）进行关键轨迹点选取。
⑧定义一个置信度，即
其中，lk表示从一类动作轨迹曲线上提取的关键轨迹点数目；L 表示一类动作轨迹曲线上所有轨迹点数目。
⑨按照以上步骤依次求出其他轨迹曲线的置信度。
⑩设置一个阈值τt，并输出新的训练集T′，即
说明：各条运动轨迹曲线提取关键轨迹点时，共享同一个阈值。置信度越高，即比值越大，意味着在运动轨迹曲线上提取的关键轨迹点也越多，表明该运动轨迹在整个动作序列中起的作用也越大。设置一个阈值τt，小于该阈值，意味着该运动轨迹在动作识别中具有很低的辨识力，可进行消减处理。大于阈值的轨迹，保留形成新的某类动作序列T′n。
有关基于图像深度信息的人体动作识别研究的文章
- 详细阅读
-
实验设计：人体动作识别视频特征提取技术探究详细阅读
如图5.2所示显示了实验中获取的“走”和“挥手”两类视频片段和前景序列。图5.2“走”和“挥手”的视频片段及实验中获取的前景序列“走、慢跑、跑”的视频，人从画面一端进入，从画面的另一端出去，有自然的分段，每段一般为15～35帧；“拳击、挥手、拍手”3类视频没有自然的分段，实验中按每30帧一段进行了划分。由此，提出的视频特征属于第5.3.1节所述的第2类特征。......
2023-06-16
-
基于深度信息的人体动作识别：底层视觉特征提取详细阅读
特征提取是人体动作识别的一个重要环节，高效、准确地提取特征可极大地提高动作识别率。学者们一般从两个方面进行底层视觉特征的提取：一是提取全局特征；二是提取局部特征。其目的是通过人体的形状轮廓信息获取全局特征。而对局部特征的提取方法，目前主要集中在提取时空兴趣点和动作运动轨迹两个方面。其优点是不易受到噪声和遮挡因素的影响，缺点是对提取的特征点准确性要求较高。下面简单介绍3 类特征提取方法。......
2023-10-28
-
基于图像深度信息的人体动作识别研究-最新成果详细阅读
由于人体动作的多样性和周边环境的复杂性，使人体动作识别充满了挑战。人体动作识别最初的研究都是基于RGB 视频图像序列，许多学者分别从静态特征、动态特征和时空特征3 个方面对该领域的工作进行了总结[1-4]。虽然基于RGB 视频图像序列的动作识别研究取得了较好的成果，但因其复杂背景、相机视角、光照变化以及遮挡等问题，人体动作识别研究仍然存在诸多挑战。......
2023-10-28
-
基于图像深度信息的人体动作识别研究现状详细阅读
下面简单介绍大部分可公开获取的RGB-D 动作行为数据集。目前有3类人体动作行为数据集，即单视角动作行为数据集、多视角动作行为数据集和双人/多人交互动作行为数据集。单视角动作行为数据集MSR-Action3D[30]数据集是微软研究院2010 年公开的RGB-D 单视角行为数据集。10 个受试者共320 个样本。UTKinect[31]行为数据集是得克萨斯大学2012 年公布的。UTD-MHAD[88]行为数据集是由得克萨斯大学2015 年公布的。8 个受试者每个动作执行4 次。......
2023-10-28
-
基于图像深度信息的人体动作识别研究结果详细阅读
深度传感器Kinect 采集的深度图像与实时采集的骨骼模型深度信息相比，更能直观和完整地描述动作形状特征以及动态特征。图1.2深度传感器Kinect 采集的图像类型基于深度图像提取的特征主要包括全局特征和局部特征。基于深度图像的局部特征提取方法是人体动作识别领域中的一个研究热点。除了上述常用的人体动作识别研究方法外，还有另外一种研究方法，即将图像序列转换为3D 点云序列数据进行动作识别。......
2023-10-28
-
基于图像深度信息的人体动作识别研究成果详细阅读
最初，人体动作识别主要是以RGB 视频图像为研究对象，经过多年的努力，人体动作识别技术已取得了较快的发展。本书使用Kinect 传感器采集人体动作的深度图像信息，探讨人体动作识别的相关理论和技术难点，着重研究如何消除可能对识别结果造成的干扰因素，提高人体动作识别的鲁棒性与普适性。......
2023-10-28
-
基于图像深度信息的人体动作识别实验成果详细阅读
表4.2同类识别算法对比的平均识别率图4.4在MSRActionPairs 数据集上平均识别率91.5%的混淆矩阵示意图实验结论：①基于人物交互相似动作识别，本章提出的基于深度图像的多特征融合算法能达到91.5%的平均识别率，充分验证基于交互动作整体结构的识别算法在相似“动作对”中具有较好的辨识性和有效性。......
2023-10-28
相关推荐