基于图像深度信息的人体动作识别研究现状

数据集对算法评估以及算法的快速发展起着至关重要的作用，对计算机视觉领域的发展具有极大的推动作用。深度传感器Kinect 的发布，由于其能同时捕获RGB 视频图像、深度图像以及骨架关节点信息，极大地促进了数据集的不断更新和发展，因此，使人体动作识别研究迈入了一个新的阶段。

下面简单介绍大部分可公开获取的RGB-D 动作行为数据集。目前有3类人体动作行为数据集，即单视角动作行为数据集、多视角动作行为数据集和双人/多人交互动作行为数据集。

（1）单视角动作行为数据集

MSR-Action3D[30]数据集是微软研究院2010 年公开的RGB-D 单视角行为数据集。该数据集提供了人体骨架20 个关节点的三维坐标位置信息数据、深度图像以及RGB 视频图像，每种行为由10 个受试者执行3 次。所有视频都是从固定的角度进行录制，拍摄对象在执行动作时面对相机。该数据集的20 种行为类别为高挥手（high arm wave）、水平挥手（horizontal arm wave）、锤（hammer）、手抓（hand catch）、打拳（forward punch）、高抛（high throw）、画X（draw X）、画钩（draw tick）、画圆（draw circle）、拍手（hand clap）、双手挥（two hand wave）、侧边拳击（side-boxing）、弯曲（bend）、向前踢（forward kick）、侧踢（side kick）、慢跑（jogging）、挥网球拍（tennis swing）、网球发球（tennis serve）、高尔夫挥杆（golf swing）及捡起扔（pickup and throw）。

RGBD-HuDaAct[87]行为数据集是新加坡高级数字科学中心2011 年公布的。该数据集描述人的日常行为。30 个受试者执行2 ～4 次，12 类行为包括打电话（make a phone call）、拖地（mop the floor）、进房间（enter the room）、出房间（exit the room）、上床睡觉（go to bed）、起床（get up）、吃饭（eat meal）、喝水（drink water）、坐下（sit down）、起立（stand up）、脱下外套（take off the jacket）及穿上外套（put on the jacket）。其中，涉及人和物之间的交互动作。

MSRDailyActivity3D[37]是微软研究院2012 年公布的日常行为数据集。它包含16 种起居室常见行为类别，即喝水（drink）、吃东西（eat）、读书（read book）、用手机打电话（call cellphone）、在纸上写字（write on a paper）、用电脑（use laptop）、用吸尘器（use vacuum cleaner）、高兴（cheer up）、静坐（sit still）、投掷纸（toss paper）、玩游戏（play game）、躺在沙发上（lay down on sofa）、走路（walk）、弹吉他（play guitar）、站起来（stand up）及坐下（sit down）。10 个受试者共320 个样本。

UTKinect[31]行为数据集是得克萨斯大学2012 年公布的。10 个受试者执行10 种行为类别，包括散步（walk）、坐下（sit down）、站起来（stand up）、捡起（pick up）、携带（carry）、扔（throw）、推（push）、拉（pull）、挥动（wave）及拍手（clap hands）。

MSRActionPairs[68]行为数据集是微软研究院2013 年公布的。该数据集的主要特点是“动作对”共享相似运动和形状特征，但是运动和形状之间的关系不同。10 名受试者执行两次6 种类型动作。其中，包括拿起/放下盒子（pick up/put down a box）、提起/放置盒子（lift /place a box）、推/拉椅子（push/pull a chair）、戴上/摘下帽子（wear/take off a hat）、背上/摘下背包（put on/take off a backpack）及贴上/取下海报（stick/remove a poster）。

UCFKinect[33]行为数据集是中福罗里达大学2013 年公布的。它主要用来测试识别系统在执行某个动作时如何克服初始姿势模糊性问题。该数据集包含16 个受试者（13 个男性，3 个女性），每个动作执行5 次，共计1 280 个行为样本。该数据集的16 种行为类别为平衡（balance）、向上爬（climb up）、爬梯子（climb ladder）、躲避（duck）、单脚跳（hop）、跳跃（vault）、飞跃（leap）、跑（run）、踢（kick）、打拳（punch）、向左扭（twist left）、向右扭（twist right）、向前走（step forward）、后退（step back）、向左移（step left）及向右移（step right）。

UTD-MHAD[88]行为数据集是由得克萨斯大学2015 年公布的。8 个受试者每个动作执行4 次。该数据集包含27 种行为，可分为以下4 大类：

①体育运动。篮球投篮（basketball shoot）、保龄球（bowling）、正面拳击（front boxing）、棒球挥杆（baskball swing from right）、网球正手挥拍（tennis right hand forehand swing）及网球发球（tennis serve）。

②手势。右臂向左滑（right arm swipe to the left）、右臂向右滑（right arm swipe to the right）、右手画X（right hand draw X）、顺时针画圆（clock-wise draw circle）、逆时针画圆（counter clockwise draw circle）及画三角形（draw triangle）。

③日常活动。右手挥手（right hand wave）、两手前拍（two hand front clap）、右手扔（right arm throw）、交叉双臂（cross arms in the chest）、双手推（two hand push）、右手敲门（right hand knock on door）、右手抓物（right hand catch an object）、右手捡起扔（right hand pick up and throw）、慢跑（jogging in place）、走（walking in place）、站起来（sit to stand）及坐下（stand to sit）。

④训练练习。双臂弯曲（arm curl）、左脚向前弓步（left foot forward lunge）、伸臂蹲（squat）。

除了上面介绍的数据集，还有一些公开的RGB-D 数据集，如CAD-60[89]、G3D[90]、UPCV[91]、DHA[92]、SYSU[93]等。

（2）多视角动作行为数据集

多视角动作行为数据集可通过两种方式产生：一种是多个摄像机固定在不同的位置；另一种是从不同的视角重复相同动作。(www.chuimin.cn)

Berkeley Multimodal[94]行为数据集是加利福尼亚大学2013 年公布的。它使用5 种不同的采集设备，即RGB 摄像机、立体视觉摄像机、深度传感器Kinect、加速度计及麦克风。12 位受试者执行动作，动作类型主要分3 类，即全身运动、上肢动作和下体动作。其中，包括跳跃、投、挥手、拍手及站立等。

DMLSmartActions[95]行为数据集是英国哥伦比亚大学2013 年公布的。它使用两台RGB 摄像机和1 台Kinect 摄像机捕获数据，整个拍摄过程摄像机位置和方向随时变化。16 个受试者执行12 个不同类型的动作，包括擦桌子（clean table）、喝水（drink）、捡东西（drop and pickup）、摔倒（fell down）、挑选东西（pick something）、放下东西（put something）、读书（read）、坐下（sit down）、站立（stand up）、打电话（use cellphone）、走路（walk）及写作（write）。

Multiview 3D event[96]行为数据集是加利福尼亚大学2013 年公布的。它使用3 个Kinect 摄像机从不同视角进行动作捕获。该数据集包含8 个事件类型，8 个受试者每个执行20 次，具有不同风格和不同对象。事件类型包括用杯子喝水（drink with mug）、打电话（call with cellphone）、读书（read book）、使用鼠标（use mouse）、敲打键盘（type on keyboard）、从饮水机取水（fetch water from dispenser）、从水壶倒水（pour water from kettle） 及按下按钮（press button）。

UCLA Multiview Action[97]行为数据集是北美大学2014 年公布的。它使用3 个Kinect 摄像机从不同位置进行拍摄，包括10 类动作行为，即单手捡东西（pick up with one hand）、双手捡东西（pick up with two hand）、丢垃圾（drop trash）、散步（walk around）、坐下（sit down）、起立（stand up）、穿上（donning）、脱下（doffing）、扔东西（throw）及携带（carry）。

除了以上提到的多视角数据集外，还有很多国内大学公布的数据集，如天津大学公布的多视角数据集TJU dataset[98]、南京大学公布的多视角行为数据集NJUST RGB-D Action[99]等。

（3）双人/多人交互动作行为数据集

人体交互动作行为识别是计算机视觉领域中的一个研究难点。目前，可以公开获取的人体交互动作行为数据集有以下3 种：

①SBU interaction[100]行为数据集是由斯托尼布鲁克大学2012 年公布的。数据集包含8 个类型的双人交互行为，即靠近（approaching）、离开（departing）、 推（pushing）、 踢（kicking）、 拳击（punching）、 交换物体（exchanging objects）、拥抱（hugging）及握手（shaking hands）。所有视频都在同样的室内环境拍摄，7 个受试者两两进行交互行为。

②LIRIS human activities dataset[101]行为数据集是法国国家科学研究中心2012 年公布的。它在复杂场景捕获人和人之间以及人和物之间的交互动作。所有的动作类型都来源于日常生活，如讨论、打电话和发放物品等。

③M2I dataset[102]行为数据集是天津大学2015 年公布的。它包括双人交互行为和人物之间交互行为。人物之间的交互行为类型包括投掷篮球（throwing basketball）、带球（bounching basketball）、转呼啦圈（twirling hula hoop）、挥网球拍（tennis swing）、网球发球（tennis serve）、打电话（calling cellphone）、喝水（drinking water）、拍照（taking photos）、扫地（sweeping the floor）、擦桌子（cleaning the desk）、弹吉他（playing guitar）、踢足球（playing football）、过球（passing basketball）及搬运箱子（carry box）。双人之间的交互行为类型包括散步（walking）、穿越（crossing）、等待（waiting）、聊天（chatting）、拥抱（hugging）、握手（handshaking）、高举（high-fives）、鞠躬（bowing）及拳击（boxing）。每个交互动作都由22 个受试者执行两次。

随着科学技术的发展，传感器工艺和技术得到了巨大发展，促进了人体动作行为数据集的不断更新和发展[103]。

人体动作识别研究，其研究过程大致可分为以下3 个部分：

①动作表示。研究如何从传感器采集的数据流中提取运动结构特征。

②学习模型。如何建立有效的数学模型。

③特征分类。如何消除视角变化、位置偏移以及速度差异等多种因素对动作分类的影响。

基于以上3 个步骤，本书就如何高效、准确地描述人体动作，建模，以及动作分类进行深入研究和探讨。