视频特征提出及相关研究

2023-06-16 理论教育版权反馈

【摘要】：从视频中提取的特征数据是后续识别的基础，也是各研究互相区别的主要特征。但由于遮挡、光线、视角等因素变化，从2D视频中准确提取人的组成部分相当困难，姿势识别的难度在一定程度上超过了行为识别。这类方法提取视频中人体的区域，利用区域、轮廓的特征来描述和识别行为。基于视频帧时空特征的模式识别方法。此类方法利用视频的全部特征，前景和背景，一般来说比第2类方法计算量大。将以实验验证该特征对行为识别的有效性。

人的行为识别是计算机视觉研究的重要内容，从2D录像中识别出人的行为是智能视频监控的基础任务，近年来有大量的研究成果[139]。综合已有的研究，从2D录像中识别人的行为需两个关键步骤：

（1）从2D录像中提取适当的特征数据。

（2）采用适当方法进行识别。

从视频中提取的特征数据是后续识别的基础，也是各研究互相区别的主要特征。根据数据特征的不同，可将已有的行为分析方法分为3类：

（1）基于姿势变化来识别行为的方法。该类方法先从视频中提取出组成人体的各部分，如：头、四肢、躯干等，识别人的姿势序列，再识别人的行为[139]。但由于遮挡、光线、视角等因素变化，从2D视频中准确提取人的组成部分相当困难，姿势识别的难度在一定程度上超过了行为识别。多摄像头数据融合是目前解决遮蔽问题的主要思路，但其计算复杂，实时处理困难[139]。

（2）基于视频前景中人体区域时空特征的模式识别方法。这类方法提取视频中人体的区域，利用区域、轮廓的特征来描述和识别行为。如：Catherine等主要利用人物轮廓的2阶矩来识别人的行为[141]。胡芝兰等利用视频中前景块的运动方向特征来检测公共场所异常行为，对单人及多人场景均可识别，计算复杂度小，但其方法不识别人群中某个人的具体行为[139]。Lena Gorelick等将每帧的运动轮廓在时间轴上连接起来，形成三维体。利用三维体的外形、方向等特征来识别运动[142]。总体上讲，这类方法避免了精确提取人体部位的困难，时间效率和鲁棒性较好。

（3）基于视频帧时空特征的模式识别方法。Bobick等用一种静态图片向量来表示运动模型，向量中的每一个点由包含此点运动特征的函数构成[143]。Ivan Laptev等利用兴趣点（interesting points）的特征来识别人的行为，识别算法只利用了视频中的几个兴趣点的特征，但兴趣点是在全部视频序列图像中梯度变化大，并且其周围点梯度变化也大的点，其搜索算法较复杂[144]。此类方法利用视频的全部特征，前景和背景，一般来说比第2类方法计算量大。

不同的应用背景对识别特征与识别算法的要求不同，但有一些要求是共同的，如：特征易于提取；特征视角不变；识别精度高；识别效率高；适应复杂变化的环境；算法具有鲁棒性等。虽然有很多行为特征和识别算法被开发出来，但由于视频与环境的复杂性，准确识别人的行为的特征与算法还需要更深入和广泛的探索研究。

仔细观察各类运动的2D视频会发现，不同行为在一定程度上表现为人身体不同部位的伸与缩，不同部位的伸与缩在横向上表现为人不同高度区间的伸与缩。同时，在纵向上表现为不同纵向区间的伸与缩。例如：走路时，手臂直臂前后摆动，腿和脚基本伸直前后摆动，整个人形宽度伸缩大的部位在腰以下，以及脚的部位；跑步时，手臂端在腰间前后摆动，整个身体宽度伸缩大的部位在腰间，以及膝和脚的部位。不同的运动，在纵向上也可以观察到不同的伸缩变化。是否可以利用人整体横向和纵向不同区间的宽度和高度伸缩来表征不同的运动行为呢？将以实验验证该特征对行为识别的有效性。

视频特征提出及相关研究

相关推荐