首页 理论教育特征集及其在光流场中的应用

特征集及其在光流场中的应用

【摘要】:,k只用来标识特征序号,不表示特征的顺序。图7.3光流的(u,v)坐标和四方向、八方向划分示意图光流的(u,v)坐标和四方向示意图;光流的(u,v)坐标和八方向示意图图7.4从各行为视频中采集m1~m12散点图四方向运动速度。结果达到了目标,如图7.4所示,图中每个行为,利用了15长度的差分光流场序列,提取出15×12的特征数据,显示在一个散点图中。

本章利用的特征一部分是从光流序列中提取的运动特征,一部分是从差分序列中提取的表观特征。

参考了人类对光流的直观认识,从光流中提取了若干统计特征,用M=(m1,m2,…,mk)来表示。下标1,2,…,k只用来标识特征序号,不表示特征的顺序。光流场的向量以(u,v)表示。第6章用到的正立的最小外接矩形(UMBR)仍然被用来标准化一些特征值,以减少缩放的影响。

图7.3 光流的(u,v)坐标和四方向、八方向划分示意图

(a)光流的(u,v)坐标和四方向示意图;(b)光流的(u,v)坐标和八方向示意图

图7.4 从各行为视频中采集m1~m12散点图

(1)四方向运动速度。运动方向与速度是光流场中最直观的特征。人类可以感知总体的运动方向。和速度,也可以感知其中的细节变化。尽管采集全部的细节可能精确地表达运动,但也会产生复杂的数据,同时对噪声敏感。因此,只采集了一些方向的速度统计值。在(u,v)坐标中,速度被分为4个方向,如图7.3(a)所示。光流场中4个方向的向量求和,结果如式(7.1),之后,合计值被除以UMBR的对角线长度,得到m1~m4

v1,2,3,4=sum(u+,u-,v+,v-) (7.1)

(2)运动方向分布。人是多关节物体,不同方向运动的分布可以描述行为的一个方面。利用身体各部分的运动方向可以较好地描述运动。但是,提取身体的部分是复杂与困难的计算。同样,提取所有方向的运动分布也是复杂的,且会产生高维数据。在如图7.3(b)所示中,360°方向被划分为8个区间,如式(7.2)所示,8个区间的直方图被计算出来,以粗略表示运动方向分布。设A是全部前景的面积,8个区间的分布数据除以A来进行标准化,得到m5~m12

至此,基于运动光流,得到了m1~m12。我们希望这12个值的向量对不同的运动有一定的区分度。结果达到了目标,如图7.4所示,图中每个行为,利用了15长度的差分光流场序列,提取出15×12的特征数据,显示在一个散点图中。

(3)表观特征。表观特征可有效表达运动视频中每一帧的姿态,选择了一些表观特征,联合运动特征,以增强行为识别的效果。表达外形伸缩的8方向质心到边界的距离,也就是第6章特征集中的m1~m8被选择作为本章特征的m13~m20。8方向像素分布的特征,也就是第6章特征集中的m9~m16被选择作为本章特征的m21~m28