人工智能舞蹈交互系统的学生交互与评估分析结果

针对本章所构建的基于LMA的舞蹈评价体系，我们将采用两种方式测试其动作评价系统的性能。第一种方式是从学生跳舞时的形体表现、节奏的准确性以及力效的有效性三方面来评估舞蹈动作评价体系的合理性。第二种方式是采用用户研究的方法，邀请学生利用系统进行学习，通过他们在系统中的学习效果来评估舞蹈动作评价体系的有效性。

舞蹈交互系统是架设在多通道沉浸式CAVE虚拟环境中的，CAVE有4个立体投影机和1个立体屏幕（4片），还有1个含5个节点的集群数据处理系统。对图像信息进行处理时，其中1个节点用作集群管理系统，而其他4个驱动相应的屏幕。服务器基于分布在屏幕顶部的跟踪摄像机捕获的图像来计算每个目标的位置和方向，跟踪数据用于确定要在屏幕上显示的内容。我们使用3D Unity引擎来构建VR学习环境和舞蹈动作分析反馈的界面；系统利用Kinect传感器对学生动作进行实时数据采集，而MiddleVR则用于控制CAVE中的图形图像的显示。

图3-9 系统架构

在VR CAVE 系统中，由于CAVE本身就具有高度的沉浸感、良好的交互手段，可以融合视觉、触觉、听觉等，因此这样的环境可以使学生完全沉浸其中，

图3-10 VR系统中的环境学习

跟着老师的动作进行学习。学生与VR系统的交互有3个步骤。首先，学生根据自己的水平选择对应的动作难度级别，可以多次观看并跟随学习虚拟老师的舞蹈动作。然后，在完成动作学习之后，学生可以在系统中录制他的动作，系统在对该动作进行识别之后，会以老师的舞蹈动作为标准模板，对该动作进行基于LMA的系统分析，然后提供相应的反馈意见。最后，系统可以利用基于VR的沉浸式环境进行多种形式的视觉反馈，如允许学生检查他的表现和老师之间的差异，选择有利的位置观看他的动作并且了解哪些部分需要改进。在CAVE系统中，老师和学生将根据需要在完整的3D环境中进行表演。我们的视觉反馈子系统提供了多种类型的反馈模式和两种类型的回放模式（见图3-11）。

图3-11 多模式的视觉反馈学习

图3-12 关键帧序列

我们以第二章的动作库2为基础扩展了舞蹈数据库，动作库2中舞蹈动作所包含的姿态由图3-12中的关键姿态构成。该动作分别由老师和学生表演，老师的动作将作为该动作的标准模板，因此，我们可以认为老师的动作姿态标准、节奏准确、力度恰当。基于标准模板，我们对学生的动作进行分析，从姿态、节奏、力度三个方面评价学生动作存在的不足。在表3-6中，我们对学生的舞蹈动作进行了详细的描述，包含关键姿态、动作质地等。

表3-6 动作特征记录表

在第一组实验中，我们选择了没有舞蹈学习经验的同学A的标准速度动作D₁₁。通过和标准动作进行相似性比较，我们从姿态、节奏、力度等细节来评价同学A的动作。图3-13至图3-16是该学生做正常速度的动作时左臂和右臂“倾斜”“扩展”的特征曲线。单从曲线的外形相似度可以看出，可能由于舞蹈动作相对简单，学生动作的特征数据的曲线和老师的之间存在很高的相似性。图3-17是计算得到的学生动作的关键帧和老师动作的关键帧的对比图，总体来说，学生存在抢拍的情况，前面部分的节奏相对于老师的来说稍微快点儿，后半部分节奏正常。图3-18是以两个动作的关键帧为时间点，计算得出的学生左臂和右臂的偏离、扩展评估曲线。虽然动作的难度不大，但学生在各个关键姿态上的表现仍旧不够稳定，尤其是右臂，和老师的动作相比始终变化比较大。图3-19和图3-20显示了学生动作的时间力效和空间力效的状态，节奏明显有些快，动作力度不够稳定。

图3-13 左臂偏离特征曲线

图3-14 左臂方位特征曲线

图3-15 右臂偏离特征曲线

图3-16 右臂方位特征曲线

图3-17 关键帧序列

图3-18 学生左臂和右臂的偏离、扩展评估曲线

图3-19 时间力效曲线

图3-20 空间力效曲线（手）

表3-7 学生动作的综合得分

针对系统得出的舞蹈动作评分的合理性，我们设计了动作得分满意度量表（见表3-8），让20位舞蹈老师在已有舞蹈动作样本的情况下，对这些舞蹈动作的综合成绩进行满意度评判，然后利用模糊综合的评价方法，通过各位舞蹈老师对该系统评分的满意程度来判定该系统评分的合理性。

表3-8 动作得分满意度量表(www.chuimin.cn)

图3-21 对评分的满意度

观察舞蹈老师对成绩的满意度（见图3-21），我们发现，随着动作难度和要求的提升，他们对系统评分的满意度有所下降。难度的提高使得老师们对动作细节的要求进一步提高，从而使其得出的主观评价低于经过系统均一化处理的成绩。

为了给所得成绩设定与舞蹈老师的评价标准对应的、合理的评价区间，我们为舞蹈动作样本设计了问题程度得分量表（如表3-9所示），让老师们就问题程度对舞蹈动作样本进行打分。在表中，设定程度分别为“表现优秀、表现良好（动作存在一定问题）、表现一般（动作存在问题比较大）、表现不满意（动作不满意）”。考虑到系统的重点是帮助学习者发现其存在并可以纠正的问题，所以求得“动作存在一定问题”的舞蹈动作的平均得分，标准差；设定动作表现优秀的学习者的得分小于等于，动作存在较大问题的学习者的得分大于等于，动作存在一定问题的学习者的得分则介于和之间。

表3-9 动作问题程度得分量表

经过对比我们发现，表现优秀者的得分小于0.1，动作存在一定问题者的得分为0.1—0.3（a=0.1，b=0.3），动作存在问题较大者的得分大于0.3。因此，根据学生的这些舞蹈动作的评分，系统可以向该学生提供以下建议：

（1）节奏稍微快了一点儿；

（2）慢一点儿，把你的左手抬高一些。

第二组实验主要是为了分析学生在系统中的学习效果，我们邀请学生A和B学习数据库中的动作并对其进行评价分析。他们具有不同的舞蹈学习经验，将在虚拟环境里学习来自动作库1的两段舞蹈动作，学习的次数为3次；每次在收到来自系统的反馈之后，重复上一次的动作。表3-10是学生完成后取得的综合成绩。这个成绩反映的是形体、节奏以及力效中的空间元素的整体相似性，虽然它无法体现对身体局部的细节评价，但是我们仍旧可以看到在3次学习之后学生舞蹈动作发生了变化。

表3-10 学生学习的总体评价

学生B有过一年的舞蹈学习经验，在学习难度为初级1、初级2的舞蹈动作时表现得相对较好。没有舞蹈经验的学生A在学习初级1难度的舞蹈时，可以很好地重复老师的舞蹈动作，节奏和力度都表现得很好。但是当学习初级2难度的舞蹈动作时，由于难度提高了一个等级，他的表现相对一般，尤其是学习加入了速度和力量的动作D₂₂时，其形体、节奏以及力度的掌握都出现了比较大的偏差。在这个实验中，有经验的学生B在两个不同难度级别的动作学习中，在相同的动作上仍旧可以表现得相对稳定。没有舞蹈学习经验的学生A获得系统的指导和学习反馈之后，在D₂₂动作的形体上取得了可观察到的进步，这说明系统所给予的意见对他的动作质量的提升具有一定的正向作用。不过加入了力量之后，在节奏部分两位同学都没有表现出明显的进步，这说明他们对动作还不够熟悉。

本章从舞蹈教学的需求出发，通过对传统舞蹈教学内容和形式，以及拉班动作分析理论的研究，构建了一个基于拉班运动分析理论（LMA）的动作评估模型。针对舞蹈的形体、节奏、力效这三个不同的方面，建立了一个包含舞蹈教学中相关评价标准的开放式构架，并通过对舞蹈老师常用的指导语句的结构化分析，让系统自动生成具有指导作用的评价语句，以改善学生的学习效果。笔者最终得出如下结论：

（1）基于LMA子集提取的“形态-力效”动作特征表示模型对于舞蹈动作定性和定量特征的描述是有效的，它既量化了舞蹈中的力效，又包含了舞蹈动作的形体和节奏特征；

（2）系统可以鲁棒地从舞姿、节奏、力效等方面对学习者的舞蹈动作进行评估，满足了舞蹈教学的评价要求；

（3）完全量化的、抽象的评估数值被转化成包含语义描述的评语的反馈方式，使学习者更容易理解问题所在，提高了系统的易用性。此外，用户研究显示，学习者根据该系统结构化的反馈评语调整动作，其动作质量的确显示出了肉眼可见的提高，舞蹈初学者的进步尤其明显。

通过实验我们可以看出，本书所设计的基于拉班动作分析方法的舞蹈交互系统给予了学习者有效的指导和帮助，改善了其自学的效果。在后续研究中，我们将进一步完善系统，使其能够根据学习者的水平、学习效果为学习者生成有针对性的训练内容，给学习者提供可定制的评估环境，这符合教育的个性化特点。对于评估算法，我们应进一步考虑层次化的评估标准，对于不同水平的学习者，评估的标准应该是动态可变的，这样可以在保证反馈意见有效的同时，提高学习者的学习兴趣。

[1] 刘青戈. 现代舞蹈的身体语言［M］.上海：上海音乐出版社，2004.
于平. 舞蹈形态学 ［M］. 北京：北京舞蹈学院，1998.
吕艺生. 舞蹈美学［M］. 北京：中央民族出版社，2013.

[2] 冯百跃. 舞蹈训练学概论［M］. 上海：上海音乐出版社，2009：3.

[3] BRONNER S，OJOFEITIMI S. Pelvis and hip three-dimensional kinematics in grand battement movements［J］. Journal of dance medicine and science，2011，15（1）：23-30.

[4] BARNES M A，KRASNOW D，TUPLING S J，et al. Knee rotation in classical dancers during the grand plié［J］. Medical problems of performing artists，2000，15（4）：140-147.
NICHOLS L. Structure in motion：the influence of morphology，experience，and the ballet barre on verticality of alignment in the performance of the plié［M］//DT T.New directions in dance. Toronto：Pergamon Press，1979：147-157.
WILMERDING V，GURNEY B，TORRES V. The effect of positive heel inclination on posture in young children training in Flamenco dance［J］. Journal of dance medicine & science，2003，7（3）：85-90.

[5] IMURA A，IINO Y，KOJIMA T.Kinematic and kineticanalysis of the fouette turn in classical ballet［J］. Journal of applied biomechanics，2010，26（4）：484-492.

[6] YOSHIMURA M，MINE N，KAI T，et al.Quantification of characteristic features of Japanese dance for individuality recognition［C］.IEEE International Workshop on Robot and Human Interactive Communication，2001：193-199.

[7] ALEXIADIS D S，DARAS P. Quaternionic signal processing techniques for automatic evaluation of dance performances from mocap data［J］. IEEE transactions on multimedia，2014，99（4）：1-16.
HACHIMURA K，KATO H，TAMURA H. A prototype dance training support system with motion capture and mixed reality technologies［C］.IEEE International Workshop on Robot and Human Interactive Communication，2004：217-222.

[8] JACKY C P，CHAN H L，JEFF K T，et al.A virtual reality dance training system using motion capture technology［J］.IEEE transactions on learning technologies，2011，4（2）：187-195.

[9] 冯百跃. 舞蹈训练学概论［M］. 上海：上海音乐出版社，2009：3.

[10] 刘青戈. 现代舞蹈的身体语言［M］.上海音乐出版社，2004.
于平. 舞蹈形态学 ［M］. 北京：北京舞蹈学院，1998.
吕艺生. 舞蹈美学［M］. 北京：中央民族出版社，2013.

[11] 方邹昭聪，郭凯文.应用本体论建构指导语动作分析专家系统［C］.健康与管理学术研讨会，2008.

[12] 冯百跃. 舞蹈训练学概论［M］. 上海：上海音乐出版社，2009：3.
于平. 舞蹈形态学 ［M］. 北京：北京舞蹈学院，1998.

[13] TORMENE P，GIORGINO T，QUAGLINI S，et al. Matching incomplete time series with dynamic time warping：an algorithm and an application to post-stroke rehabilitation［J］. Artificial intelligence in medicine，2009，45（1）：11-34.

[14] DENG L，LEUNG H，GU N，et al. Real-time mocap dance recognition for an interactive dancing game［J］.Computer animation and virtual worlds，2011，22（2-3）：229-237.
ALEXIADIS D，DARAS P，KELLY P，et al. Evaluating a dancer's performance using kinect-based skeleton tracking［C］.ACM Multimedia，2011：659-662.

[15] 闫洁. 舞蹈创作中的“造型性”与“流畅感”［J］. 时代文学月刊，2009（8）：180-181.

[16] 樊儒昆，傅晶，程司雷，等. 动作与音乐的节奏特征匹配模型［J］. 计算机辅助设计与计算机图形学报，2010（6）：86-92.