人工智能舞蹈交互系统的S-SOFM实现方法

2023-10-29 理论教育版权反馈

【摘要】：基于上一章提出的舞蹈姿态的时空特征提取方法，针对形成的新的舞蹈动作特征集合，本章将利用S-SOFM构建一个有效的输出模型，对舞蹈动作进行聚类和分析，从而实现舞蹈动作的识别。图2-6 离散的姿态序列本书采用S-SOFM来构建输出模型。此外，由于保留了SOFM的特点，因此数据样本在重复训练分类之后生成的S-SOFM的各神经元节点之间的拓扑映射关系与原始输入样本一样。

基于上一章提出的舞蹈姿态的时空特征提取方法，针对形成的新的舞蹈动作特征集合，本章将利用S-SOFM构建一个有效的输出模型，对舞蹈动作进行聚类和分析，从而实现舞蹈动作的识别。如图2-5所示，舞蹈动作识别模块可以分为以下五个部分：初始化、构建姿势空间、生成动作模板、识别舞蹈动作和可视化标准动作。

图2-5 舞蹈识别模块的构成

在前期的舞蹈动作初始化过程中，系统将会依据第一章所提出的舞蹈姿态时空特征描述模型逐一对舞蹈动作库中的各个动作进行特征提取，从而形成一个舞蹈动作特征库。针对舞蹈动作的时序性和舞蹈姿态之间的逻辑性等特点，如图2-6所示，舞蹈动作序列会被解析成一系列离散的姿态时序集合；以此为基础，针对不同舞蹈的特点设定特征映射方法，建立舞蹈动作和舞蹈分类模板之间的关系映射。

图2-6 离散的姿态序列(www.chuimin.cn)

本书采用S-SOFM来构建输出模型。由于S-SOFM的输出节点会形成一个封闭球体^[15]，且每个输出节点都具有同等的竞争机会，都可以生成自己的邻近区域，因此，人体运动的姿势序列能够以最大限度的分离状态被分配到S-SOFM的输出节点上，且每个动作模板都会形成一个独特的“轨迹”。此外，由于保留了SOFM的特点，因此数据样本在重复训练分类之后生成的S-SOFM的各神经元节点之间的拓扑映射关系与原始输入样本一样。舞蹈动作的有序性，揭示了舞蹈的姿态在生成的模型上所存在的相互关系，也就是说，在S-SOFM输出模型中，物理位置相近的节点对应的舞蹈姿态必然具有一定的相似性。这种保留了原始数据的拓扑映射关系的训练方法使得一个动作片段（单序列姿态集合，如图2-7所示）在S-SOFM中形成的轨迹是有序的、平滑的，而我们正是根据这样的轨迹对每个动作片段进行描述。

图2-7 球体模型上的轨迹显示一个动作是由五个简单“姿态”构成的

在对动作进行分类训练时，由于不同舞蹈演员在表演相同舞蹈动作的时候存在节奏和动作姿态上的差异，数据中也会包含一定的噪声，因此我们需要对大量包含同样动作的动作片段在S-SOFM输出模型上进行重复训练学习，从而得到一个描述合理的输出模型。由于S-SOFM具有自组织概率特性，在输入大量动作样本且输出神经元节点数量足够的情况下，经过训练生成的球面模型的空间密度分布会近似于输入随机样本的概率密度分布，因此，在基于S-SOFM的训练过程中，无须提前设定各样本概率分布的先验知识。多次映射训练之后，输入的舞蹈动作样本在输出空间会被分为相应的类别，我们也称之为一个动作模板，它表现为一条平滑的轨迹，所对应的是一个有代表性的舞蹈动作。

在动作识别阶段，我们实际上是在选择一个合适的匹配过程。在匹配过程中，我们通过测算待识别的舞蹈动作与所有的动作模板的相似程度，来判断该动作所属的类别。如果输入动作在动作轨迹上和某一个动作模板达到一定的相似度（满足了判定的条件），它们即被看作一类动作。这个识别过程既可以在线下实现，也能以实时处理的方式来实现，这一点将在实验部分讨论。本书的研究目的在于把一个连续的舞蹈动作细分成一系列相关联的舞蹈动作基本单元，然后对学习者的动作进行量化评估分析，从而形成比较有用的动作反馈意见。

人工智能舞蹈交互系统的S-SOFM实现方法

相关推荐