相关工作介绍和本章方法概述

2023-06-16 理论教育版权反馈

【摘要】：本章中将联合表观特征、特征点和光流特征进行行为识别，以提高方法的鲁棒性，进一步证明以差分序列为源做行为识别的可行性。在相关工作中，表观特征已经在第6章作了介绍，以下介绍兴趣点和光流计算的研究情况。本章方法的综合过程如图7.1所示。图7.1本章方法行为建模与识别过程示意图本章的方法联合了表观特征和运动特征。与前述工作相比，不同点在于：本章方法中特征来源于差分序列。

受一些现实应用的驱动，2D视频中的行为识别研究如火如荼。当然，另一原因是现有研究方法的鲁棒性和实用性还不适应真实场景的应用。人类具有在复杂场景中快速识别其中的行为与事件的能力，这与人类具有学习、记忆、推理的能力相关。让计算机具有像人一样的视觉观察与分析能力一直是计算机视觉研究的长远目标。

第6章工作表明表观特征可以有效表达人的行为，但进一步的测试表明表观特征抗噪性差，在复杂场景中相同方法的识别精度明显下降。本章中将联合表观特征、特征点和光流特征进行行为识别，以提高方法的鲁棒性，进一步证明以差分序列为源做行为识别的可行性。

在相关工作中，表观特征已经在第6章作了介绍，以下介绍兴趣点和光流计算的研究情况。兴趣点可以概括表达视频特征，具有紧凑性的特点，对缩放不敏感，在有光线变化与遮蔽情况下也可以提取。Ivan Laptev等人基于Harris和Forstner兴趣点，识别视频中的事件[145]。在文献[182]中，时空兴趣点作为底层特征，之后建立一种多层统计特征模型来表达行为。

光流技术是另一种用于行为识别中的技术，光流作为一种底层特征用于计算机视觉的方法中。经典的变分方法由Horn和Schunck提出，其方法假设在视频的相邻帧中像素的灰度改变很小，并且进行全局平滑，可以生成密集的光流[186]。但是变分方法可能令运动的边界变模糊了，也可能在平滑紧密的区域产生空洞。因此人们进行了一些改进，例如：采用各向异性的平滑方法或者采用高阶变分等。由于人是多关节的、复杂动力驱动的生物体，人类的运动可能产生短期大位移的运动，变分方法可能因此失效。Lu和Liu利用Harris特征点来弥补变分方法的不足[188]。Brox等人利用一种基于弯折（warpingbased）限定的方法来增强关节运动的表示，同时将复杂的描述符（rich descriptors）整合到变分方法中来捕获大位移运动[190，198]。另一些研究者利用点路径模型（A point trajectory，PT）来跟踪大位移的运动[194]。PT模型也可以用来精化半透明场景中光流的偏差[41]。基于块匹配的光流计算方法也可以处理大位移问题[107，192]。

人类的视觉行为由运动定义，当然运动特征是最终决定行为的因素。从广义上讲，时空特征是静态特征在时间上的运动而产生的。本章中，基于运动的特征主要是指基于光流场计算的特征。光流是人类感觉运动的方式，而人类如何感觉光流从而识别行为，这在计算机领域还没有确切完整的模型[179，180，183]。因为光流是高维的向量场，直接建模与识别有困难，一些研究工作借助如主成分分析（Principal Component Analysis，PCA）等方法来对光流场降维[179，196]。而欧氏距离不适合表达光流向量间的距离，有的研究工作中，在将PCA用于对光流场降维时进行了改进[196]。Ali等人从光流场序列中提取一些动力学特征，之后利用一种称为Snapshot PCA的方法进行降维，来获取运动的动力学模型[179]。

将光流场直接降维获得的主要是场中的能量特征，而人类从光流中感受到的不只是能量。Ali等人从光流中提取了一系列直观有效的特征来描述行为，特征包括：散度（divergence）、旋度（vorticity）、对称性和不对称性（symmetric and asymmetric）、梯度张量（gradient tensor）、应力和旋转张量（rate of strain and spin tensor）[179]。Ahmad等联合了运动区域特征和光流特征来描述行为[163]。Huang等人也联合了光流和其他特征来识别行为[180]。

本章方法的综合过程如图7.1所示。行为建模与识别的步骤总结为：

（1）利用相邻帧相减和阈值估计获取帧差序列。每个帧差图像是一个二值图像。

（2）计算连续差分帧间的光流，获取光流场序列。

（3）从差分帧中提取表观特征数据，从光流帧中获取运动特征数据。

（4）利用特征数据训练获取HMM模型。

（5）对于一个新的视频段，利用前述步骤中的方法获取其中的特征数据，利用前述获取的HMM模型计算新特征数据的似然值，识别新数据所属的行为类别。

pagenumber_ebook=102,pagenumber_book=97