一种基于层级运动表征学习的舞蹈动作生成方法和系统

本发明涉及人体动作生成和多模态生成，特别涉及一种基于层级运动表征学习的舞蹈动作生成方法和系统。

背景技术：

1、舞蹈是一种与音乐节奏、身体姿态和连续运动表达密切相关的艺术形式。传统编舞通常依赖专业编舞师根据音乐旋律、节拍和情绪进行动作设计，创作过程复杂且劳动密集。随着数字人、影视动画、游戏角色、增强现实/虚拟现实和人机交互等应用的发展，能够根据音乐自动生成舞蹈动作的音乐驱动舞蹈生成技术受到广泛关注。该技术旨在将音乐输入转化为动态舞蹈动作序列，显著减轻编舞师的创作负担。

2、现有音乐驱动舞蹈生成方法通常主要依赖音乐特征进行动作预测或扩散去噪，例如基于循环神经网络自编码器、膨胀卷积网络、生成对抗网络、变分自编码器、交叉模态变换器网络、最优传输或扩散模型的生成方案。这些方法能够在一定程度上获得与音乐节拍同步的动作结果，但由于缺少对用户动作意图的直接建模，生成结果往往容易形成较为泛化的舞蹈模式，难以表达用户期望的具体动作风格、姿态偏好、运动轮廓或连续运动特征。对于同一音乐片段，不同用户可能期望不同的动作诠释，而仅依赖音乐条件的方法无法提供这种灵活性。

3、为了提高生成可控性，一些现有方法引入舞蹈类别标签、风格标签、文本提示、起始姿态、稀疏关键帧或局部姿态约束作为附加条件。然而，风格标签和文本提示通常只提供粗粒度的类别语义控制，难以指定某一参考舞蹈表演中的细粒度运动模式；起始姿态或稀疏关键帧主要约束少数时间位置上的局部姿态，无法完整描述参考动作序列中的连续运动动力学、全局动作倾向和局部过渡细节。此外，基于运动编辑的方法通过在指定时间位置施加姿态约束来实现局部控制，但这类方法专注于满足指定位置的局部约束，未能建模参考动作的整体运动特征，也未能考虑参考动作如何适配不同目标音乐。进一步地，若直接将参考动作序列作为强约束输入，参考动作的全局运动特征和局部帧级细节具有不同作用范围，采用单一特征表示进行融合容易出现全局可控性不足、局部过渡不自然或音乐同步能力下降等问题。因此，如何对参考动作序列中的不同层次运动特征进行分层提取和差异化融合，是实现参考动作可控生成的关键挑战。

4、扩散模型通过逐步去噪方式生成动作序列，具有较强的多模态条件融合能力。已有预训练音乐驱动动作扩散生成模型学习了音乐与舞蹈动作之间的基本映射关系，但该类模型通常未被设计为支持用户提供的参考动作序列作为连续动作控制信号。同时，从头训练新的生成模型不仅计算成本高昂，还可能丢失已有模型在音乐-动作映射方面的先验知识。因此，如何在保留预训练音乐-动作映射能力的同时引入参考动作序列的层级运动特征，使生成结果同时满足音乐同步和参考动作可控，成为亟需解决的技术问题。

5、因此，亟需一种新的参考动作可控音乐驱动舞蹈动作生成方案，将参考动作序列中的序列级全局动作特征和帧级局部动作细节分层提取，并以适配预训练扩散生成模型的方式与目标音乐条件进行融合，从而在不同音乐和参考动作组合下生成自然、同步且受参考动作控制的舞蹈动作序列。

技术实现思路

1、本发明的目的在于克服现有音乐驱动舞蹈生成方法主要依赖音乐条件、缺少对参考动作序列的细粒度控制，以及稀疏姿态约束难以同时保持连续动作特征和音乐同步的问题，提供一种基于层级运动表征学习的舞蹈动作生成方法和系统，能够兼顾音乐节奏同步和参考动作控制，提高舞蹈动作生成的细粒度可控性和动作自然性。

2、为解决上述技术问题，本发明是采用下述技术方案实现的：

3、第一方面，本发明提供一种基于层级运动表征学习的舞蹈动作生成方法，包括：

4、将获取到的参考动作序列、目标音乐条件、扩散时间步、噪声张量输入预训练的舞蹈动作生成模型进行两阶段推理，得到目标舞蹈动作序列；

5、所述两阶段推理包括：

6、根据所述参考动作序列，利用运动表征提取模块的基础层全局运动特征提取分支提取全局运动特征；

7、根据所述全局运动特征，利用自适应调制层生成调制缩放参数和偏移参数；

8、根据所述目标音乐条件、扩散时间步、噪声张量、调制缩放参数和偏移参数，利用舞蹈动作扩散生成模块进行基础推理，得到初始动作序列；

9、根据所述参考动作序列和初始动作序列，利用掩码处理模块生成待恢复动作序列；

10、根据所述全局运动特征和待恢复动作序列，利用运动表征提取模块的恢复层运动特征提取分支生成恢复级运动特征；

11、根据所述恢复级运动特征、目标音乐条件、扩散时间步和噪声张量，利用舞蹈动作扩散生成模块进行细化推理，得到目标舞蹈动作序列。

12、可选的，所述目标音乐条件利用音乐特征提取器对目标音乐片段进行特征提取得到；

13、所述音乐特征提取器为基于手工声学特征的特征提取器或基于神经网络的预训练音乐编码器；

14、所述参考动作序列为用户提供的动作示例，包括来自运动捕捉数据、已有舞蹈动作数据库、三维人体姿态估计结果、人工编辑的骨架动画、虚拟人物动作资产或其他可转换为人体骨架动作的数据；

15、所述扩散时间步为预设值；

16、所述噪声张量为高斯噪声。

17、可选的，所述根据所述参考动作序列，利用运动表征提取模块的基础层全局运动特征提取分支提取全局运动特征，包括：

18、将所述参考动作序列输入第一线性嵌入层，得到参考动作嵌入序列；

19、将所述参考动作嵌入序列与可学习全局标记进行拼接，得到基础层输入序列；

20、将所述基础层输入序列输入变换器编码器，并对变换器编码器的输出进行线性投影得到所述全局运动特征；其中，所述变换器编码器包括多个自注意力头。

21、可选的，所述根据所述全局运动特征和待恢复动作序列，利用运动表征提取模块的恢复层运动特征提取分支生成恢复级运动特征，包括：

22、将所述待恢复动作序列输入第二线性嵌入层，并加入位置编码，得到待恢复动作嵌入序列；

23、将所述待恢复动作嵌入序列和全局运动特征输入恢复层变换器，并对变换器编码器的输出进行线性投影得到所述恢复级运动特征；其中，所述恢复层变换器包括多层感知机。

24、可选的，所述舞蹈动作扩散生成模块包括输入处理模块、多层解码器块和输出处理模块；

25、所述根据所述目标音乐条件、扩散时间步、噪声张量、调制缩放参数和偏移参数，利用舞蹈动作扩散生成模块进行基础推理，得到初始动作序列，包括：

26、将所述目标音乐条件、扩散时间步和噪声张量输入至所述输入处理模块，所述输入处理模块生成动作隐藏特征序列、时间步嵌入向量和音乐条件特征，并将所述时间步嵌入向量注入所述预训练的舞蹈动作生成模型的各网络层；

27、将所述动作隐藏特征序列、音乐条件特征、调制缩放参数和偏移参数输入所述多层解码器块进行逐层处理，所述多层解码器块通过交叉注意力机制将音乐条件特征注入动作隐藏特征序列，并利用调制缩放参数和偏移参数对每一层的输出进行调制，将最后一层调制后的解码特征作为最终解码特征；

28、利用所述输出处理模块将所述最终解码特征映射为初始动作序列。

29、可选的，所述输入处理模块包括动作输入嵌入模块、时间步嵌入模块和音乐编码器；

30、所述动作输入嵌入模块用于将所述噪声张量映射为统一隐藏维度的动作序列，并加入位置编码，得到包含时间帧位置信息的动作隐藏特征序列；

31、所述时间步嵌入模块用于将所述扩散时间步进行时间步编码，得到时间步嵌入向量；

32、所述音乐编码器用于将所述目标音乐条件映射为音乐条件特征；

33、所述多层解码器块中每一层解码器块的处理过程包括：

34、将该层的输入动作特征作为查询，将所述音乐条件特征作为键和值，进行交叉注意力计算，得到音乐条件增强的动作特征；

35、利用所述调制缩放参数和偏移参数对所述音乐条件增强的动作特征依次进行缩放和偏移调制，得到调制后的解码特征；

36、将调制后的解码特征作为下一层解码器块的输入动作特征；

37、其中，第一层解码器块的输入动作特征为所述动作隐藏特征序列，后续各层解码器块的输入动作特征为上一层调制后的解码特征。

38、可选的，所述根据所述恢复级运动特征、目标音乐条件、扩散时间步和噪声张量，利用舞蹈动作扩散生成模块进行细化推理，得到目标舞蹈动作序列，包括：

39、将所述目标音乐条件、扩散时间步和噪声张量输入至所述输入处理模块，所述输入处理模块生成动作隐藏特征序列、时间步嵌入向量和音乐条件特征，并将所述时间步嵌入向量注入所述预训练的舞蹈动作生成模型的各网络层；

40、将所述动作隐藏特征序列、音乐条件特征和恢复级运动特征输入所述多层解码器块进行逐层处理，所述多层解码器块通过交叉注意力机制将音乐条件特征注入动作隐藏特征序列，并利用恢复级运动特征对每一层的输出进行逐元素相加，将最后一层逐元素相加后的解码特征作为最终解码特征；

41、利用输出处理模块将所述最终解码特征映射为目标舞蹈动作序列。

42、可选的，所述根据所述参考动作序列和初始动作序列，利用掩码处理模块生成待恢复动作序列，包括：

43、计算所述参考动作序列中各关节的加速度；

44、基于预设的局部窗口，将所述各关节的加速度的局部极大值的位置作为关键帧；

45、计算所述关键帧与所述初始动作序列中各帧的帧级相似度；

46、根据预设的相似度阈值和所述帧级相似度构建自适应掩码，若某一帧的帧级相似度小于所述相似度阈值，则该帧的掩码值设为0，表示该帧需要被掩码，否则该帧的掩码值设为1，表示该帧需要保留；

47、将所述自适应掩码与所述初始动作序列进行逐元素相乘，得到待恢复动作序列；

48、和/或，

49、所述自适应调制层包括依次连接的第一全连接层、silu激活函数和第二全连接层。

50、可选的，所述舞蹈动作生成模型的训练过程包括：

51、根据预构建的训练集，对所述舞蹈动作生成模型进行迭代训练，达到预设的训练停止条件时，将模型损失最小化的模型参数加载至预构建的舞蹈动作生成模型，得到训练好的舞蹈动作生成模型；其中，所述训练集包括音乐条件、真值舞蹈动作序列、从真值舞蹈动作序列中随机采样得到的参考动作序列、对真值舞蹈动作序列添加噪声得到的噪声动作样本和预设的扩散时间步；

52、单次迭代更新训练包括：

53、根据所述参考动作序列，利用运动表征提取模块的基础层全局运动特征提取分支提取全局运动特征；

54、根据所述全局运动特征，利用自适应调制层生成调制缩放参数和偏移参数；

55、根据所述音乐条件、噪声动作样本、扩散时间步、调制缩放参数和偏移参数，利用舞蹈动作扩散生成模块进行基础推理，得到初始动作序列；

56、根据所述真值舞蹈动作序列，利用所述掩码处理模块在时间帧维度上进行基于余弦调度的随机掩码，得到待恢复动作序列；

57、根据所述全局运动特征和待恢复动作序列，利用运动表征提取模块的恢复层运动特征提取分支生成恢复级运动特征；

58、根据所述恢复级运动特征、音乐条件、扩散时间步和噪声动作样本，利用舞蹈动作扩散生成模块进行细化推理，得到目标舞蹈动作序列；

59、根据所述初始动作序列与真值舞蹈动作序列之间的误差，以及所述目标舞蹈动作序列和真值舞蹈动作序列之间的误差，通过加权融合得到模型损失；

60、根据所述模型损失对舞蹈动作生成模型的模型参数进行更新。

61、第二方面，本发明提供一种基于层级运动表征学习的舞蹈动作生成系统，包括：

62、两阶段推理模块，用于将获取到的参考动作序列、目标音乐条件、扩散时间步、噪声张量输入预训练的舞蹈动作生成模型进行两阶段推理，得到目标舞蹈动作序列；

63、基础层全局运动特征模块，用于根据所述参考动作序列提取全局运动特征；

64、自适应调制模块，用于根据所述全局运动特征生成调制缩放参数和偏移参数；

65、基础推理模块，用于根据所述目标音乐条件、扩散时间步、噪声张量、调制缩放参数和偏移参数，利用舞蹈动作扩散生成模块进行基础推理，得到初始动作序列；

66、掩码处理模块，用于根据所述参考动作序列和初始动作序列生成待恢复动作序列；

67、恢复层运动特征提取模块，用于根据所述全局运动特征和待恢复动作序列生成恢复级运动特征；

68、细化推理模块，用于根据所述恢复级运动特征、目标音乐条件、扩散时间步和噪声张量，利用舞蹈动作扩散生成模块进行细化推理，得到目标舞蹈动作序列。

69、与现有技术相比，本发明所达到的有益效果：

70、1、通过参考动作序列提供示例级控制信号，使用户能够通过给定一段参考动作来控制生成舞蹈的动作特征，相比仅依赖音乐条件、风格标签或稀疏关键帧的方案，能够提供更细粒度的动作控制能力；

71、2、采用基础层和恢复层构成的运动表征提取模块，将参考动作中的全局运动特征和局部动作细节分开建模，避免单一动作表示难以兼顾整体动作倾向和帧级自然过渡的问题；基础层通过变换器编码器捕获序列级全局运动特征，恢复层通过掩码恢复机制学习帧级局部时序依赖，两个层级联合训练以确保运动表征的连贯性；

72、3、将全局运动特征通过自适应调制方式注入舞蹈动作扩散生成模块，并将恢复级运动特征通过特征级融合方式补充至解码器块输出，使生成过程既能够保留预训练模型的音乐同步能力，又能够引入参考动作序列的控制信息；该分层融合策略根据全局特征和局部特征的不同作用范围采用差异化融合方式，有效避免了单一融合方式导致的可控性不足或同步能力下降问题；

73、4、可结合低秩适配模块对预训练模型进行参数高效适配，仅需更新少量新增参数即可适应参考动作条件，降低训练成本和部署成本；通过两阶段推理和自适应掩码细化机制，对与参考动作关键帧偏差较大的低相似度帧进行恢复层细化，从而提高生成动作的局部自然性、时序连续性和音乐同步质量；可广泛应用于数字人舞蹈生成、游戏角色动画生成、影视动画制作、虚拟主播、增强现实/虚拟现实内容生产、舞蹈辅助创作和智能编舞系统等领域。