帧差序列与全前景序列的区别与应用

2023-06-16 理论教育版权反馈

【摘要】：差分序列可以在一些场合提供支持信息用于进一步的精确分割。为了减少前景重叠带来的困难，本章和下一章中将利用的是半差分图像序列，为了表达方便，并且不至于引起混淆，以下所提及的差分图像均指半差分图像。另外，差分图像比全前景图像获取更容易，计算相对简单。图6.2全前景图像序列、差分图像序列和半差分图像序列的示例图6.3“走”视频的示例图像

经过时间差分，获取的图像转换成二值图像。在这个二值图像中只有变化的运动而不是全部运动可以被检测出来，这可能造成一些缺失。一些像颜色、纹理、身体形状的信息丢失了。差分图像很容易产生空洞，且当物体停止运动时，信息就消失了。差分序列可以在一些场合提供支持信息用于进一步的精确分割。一方面Hu等人利用差分来检测运动的区域，再利用高斯混合模型检测精确的目标[169]。Yan等人利用差分图像中提取的参数，之后通过匹配肤色、体形以及姿势等来精确提取运动中人的形状[170]。另一方面，前述工作说明累积的差分形状MEI和MHI，可以表达行为，本章关注的是差分序列中一帧一帧中提取的信息。

将包含运动的视频中连续两帧相减，会产生两类突出的点集，一类中包含大的正值，一类中包含大的负值。如果按绝对值阈值化，在差分图像中形成近似运动方向两边边缘的前景。如果只按一个点集阈值化，比如只将正值的点集阈值化而忽略负值点集，那么产生的二值图像可以近似看作运动方向单边边缘，相当于产生了半差分图像。如图6.3所示中显示的是“走”视频的相关图像。其中，第1、第2是连续两帧原图像，第3帧是前两帧直接相减后获取的灰度图像，第4帧是阈值化后的差分图像，第5帧是半差分图像。视频来源于一个流行的行为分析数据库Weizmann人的行为数据库[171]。在它的主数据库中包含10种行为：弯腰（bending）、杰克跳（jumping jack）、跳（jumping）、立定跳（jumping in place，pjump）、跑（running）、侧跳（jumping sideways）、跳跑（skipping）、走（walking）、单臂挥（one hand waving，wave1）和双臂挥（two hands waving，wave2）。帧速率是25帧/s，每帧是144×188大小。为比较方便，本章中的主要例子视频均来源于Weizmann数据库。这个数据库中提供每个视频的精确背景图像，所以采用减背景方法获取全前景图像。

如图6.2所示中显示了这个视频库中“弯腰”和“走”两段视频中提取的全前景图像序列、差分图像序列和半差分图像序列。其中，两个运动是“走”和“弯腰”。对于每个运动第1行显示的是全前景图像序列，第2行显示的是差分图像序列，第3行显示的是半差分图像序列。可以看到，差分图像近似地反映了运动中一个时刻的运动部分的两边轮廓。“弯腰”时，因为运动是原地的，在差分图像中只有头部和身体上半部分有运动的部分可以检测到。“走”时，因为落地的腿是静止的，所以在差分图像中消失了。半差分图像序列中因为只是近似了运动方向的单边缘，其中的信息更少了。人在差分图像或者半差分图像中识别行为可能有困难。为了减少前景重叠带来的困难，本章和下一章中将利用的是半差分图像序列，为了表达方便，并且不至于引起混淆，以下所提及的差分图像均指半差分图像。我们将证明，如果合适的特征提取出来，计算机算法也许可以区分它们。相邻帧意味着小的时间间隔，一般来说，光线和外形等变化最小，在复杂环境中鲁棒性好。另外，差分图像比全前景图像获取更容易，计算相对简单。所以，探索差分图像中提取行为特征的方法有实际意义。

pagenumber_ebook=91,pagenumber_book=86

图6.2　全前景图像序列、差分图像序列和半差分图像序列的示例

pagenumber_ebook=92,pagenumber_book=87

图6.3　“走”视频的示例图像

帧差序列与全前景序列的区别与应用

相关推荐