一种基于动作捕捉数据驱动的AIGC视频生成方法及系统与流程

本发明涉及人工智能生成内容，具体涉及一种基于动作捕捉数据驱动的aigc视频生成方法及系统，其中，aigc为人工智能生成内容。本发明中的动作捕捉数据用于表征人体骨骼关节点的三维空间位置、关节旋转状态及其随时间变化的关系；所述动作捕捉数据经坐标归一化、人体骨骼模型统一和动作时间尺度标准化处理后，形成用于驱动视频生成的三维动作数据。

背景技术：

1、随着人工智能生成内容技术的发展，基于深度学习模型的视频生成技术逐渐应用于影视制作、虚拟数字人、游戏动画生成、短视频创作以及体育动作展示等场景。近年来，视频生成模型在画面质量、时序一致性、多模态融合、音画同步以及提示词遵循能力方面持续提升，行业发展方向逐渐由“生成视频内容”转向“高质量、可控制、可复用和可精细化交互的视频生成”。

2、在人物动作可控的视频生成方案中，为使生成视频中的人物执行指定动作，通常需要引入动作控制信息。现有常见方式包括基于二维参考视频的动作迁移方式以及基于二维人体姿态序列的动作控制方式。上述方式一般先获取包含目标动作的人体视频，再利用人体姿态估计算法从视频帧中提取人体关键点信息，形成二维骨骼姿态序列，并将二维骨骼姿态序列输入视频生成模型，以控制生成视频中的人物执行对应动作。

3、然而，二维姿态数据主要表征人体关键点在图像平面中的位置关系，缺少人体关节点在三维空间中的深度信息、空间旋转信息以及真实运动关系。当人体执行前后移动、身体旋转、肢体交叉、舞蹈、体操、武术或者其他高精细连续动作时，二维关键点难以完整表达人体真实运动状态，容易导致生成视频中出现肢体变形、动作幅度偏差、肢体穿插、运动卡顿以及动作时序不连续等问题。

4、同时，二维动作参考数据通常与原始拍摄视角绑定，动作信息和观察视角之间存在耦合关系。当用户需要基于同一动作生成不同拍摄角度的视频时，通常需要重新获取对应视角的动作参考素材，或者针对不同视角重复生成视频，难以在保持动作内容一致的情况下灵活调整观察视角。对于影视分镜、体育教学、虚拟编排和游戏动画等需要多机位展示同一动作的场景，上述方式会降低动作数据的复用效率，并增加后期调整和重复生成成本。

5、此外，专业舞蹈、武术、竞技体育等细分动作通常具有复杂的肢体配合关系和明确的空间运动规律，可用于参考的二维视频素材本身较难获取。即使能够获得近似动作素材，其拍摄角度、人物体型、画幅比例和动作节奏也可能与目标生成需求不一致，导致从中提取的二维姿态序列难以直接适配目标人物和目标镜头，影响生成视频中人物动作的准确性和自然性。

6、随着三维动作捕捉技术的发展，利用光学动作捕捉设备、惯性动作捕捉设备或者人体三维姿态估计设备，可以获取人体骨骼关节点在三维空间中的位置变化和关节旋转状态，为精确描述人体运动过程提供了数据基础。相较于二维姿态序列，三维动作数据能够同时表达人体动作的空间位置、深度变化、关节旋转关系和连续运动规律，理论上更适合用于高精度人物动作控制。

7、但是，现有基于动作捕捉数据或者三维动作数据的视频生成方案通常仅将三维动作数据作为渲染对象或者模型输入条件，缺少贯穿视频生成链路的动作信息保持机制。具体而言，在动作数据选择阶段，现有方案难以判断所选三维动作数据是否同时满足目标动作语义和人体运动规律；在视角转换阶段，现有方案通常仅根据用户输入的相机参数进行投影处理，未充分判断目标视角是否能够完整表达关键动作区域和动作轨迹；在三维动作向二维姿态控制信息转换阶段，现有方案多采用简单坐标投影，缺少对三维运动规律与二维姿态变化之间一致性的检测和修正；在人物外观融合阶段，现有方案也容易因目标人物身体比例与标准动作骨骼不匹配而产生人脸错位、身体形变、身份特征丢失或者动作违和等问题。

8、因此，现有动作驱动视频生成技术虽然能够利用文本、人物图像、二维姿态序列或者部分三维动作数据作为生成条件，但动作数据选择、视角转换、姿态控制信息生成以及人物外观融合等环节之间通常相互独立，缺少连续的动作信息保持约束，导致三维动作信息在aigc视频生成链路中传递时容易发生空间结构弱化、运动连续性下降、视角表达不完整以及姿态控制信息偏移等问题。

9、因此，有必要提出一种基于动作捕捉数据驱动的aigc视频生成方法及系统，通过在动作检索、动作一致性判断、虚拟相机参数调整、三维动作向二维姿态控制序列转换以及人体结构适配过程中建立连续的动作信息保持约束，使三维动作信息能够在aigc视频生成链路中一致传递，从而提高生成视频中人物动作的空间结构保持能力、运动连续性以及多视角表达一致性。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于动作捕捉数据驱动的aigc视频生成方法及系统，以解决现有动作驱动视频生成过程中动作数据选择、视角转换、姿态控制信息转换以及人物融合等环节缺少连续约束，导致三维动作信息难以在aigc视频生成链路中一致传递的问题。本发明通过建立贯穿动作检索、动作一致性判断、视角适配优化、三维二维姿态一致性校验以及人体结构适配过程的动作信息保持机制，使由动作捕捉数据形成的三维动作信息能够稳定传递至最终生成视频，从而提高生成视频中人物动作的准确性、连续性和多视角表达一致性。

2、为实现上述目的，本发明提供如下技术方案：

3、在一种可能的实施方式中，本发明提供了一种基于动作捕捉数据驱动的aigc视频生成方法，包括：

4、获取用户输入的目标动作需求信息，并基于所述目标动作需求信息从基于动作捕捉数据预构建的三维动作数据库中获取候选三维动作数据；其中，所述三维动作数据库中存储有由动作捕捉数据经标准化处理形成的三维动作数据，所述三维动作数据包括人体多个关节点对应的三维空间位置序列、关节旋转参数序列以及动作语义信息；

5、基于人体运动约束和动作语义匹配关系，对所述候选三维动作数据进行动作一致性判断，确定满足动作保持条件的目标三维动作数据；

6、获取目标观察视角信息，并基于所述目标三维动作数据对应的关键动作区域和动作信息保持要求，对由所述目标观察视角信息确定的虚拟相机初始参数进行调整，得到目标虚拟相机参数；

7、根据所述目标虚拟相机参数，将所述目标三维动作数据转换为二维姿态控制序列，并基于所述目标三维动作数据中的空间运动关系，对所述二维姿态控制序列进行一致性校验和异常修正；

8、获取目标人物外观特征，根据所述目标人物外观特征确定目标人物的人体结构参数，并基于所述人体结构参数对所述二维姿态控制序列进行人体结构适配；

9、将经过人体结构适配后的二维姿态控制序列与所述目标人物外观特征进行融合，得到视频生成控制信息，并将所述视频生成控制信息输入视频生成模型，生成目标视频；

10、其中，所述动作一致性判断、虚拟相机参数调整、二维姿态控制序列一致性校验以及人体结构适配共同构成用于保持三维动作信息在aigc视频生成链路中一致传递的动作信息保持过程。

11、进一步地，所述基于动作捕捉数据预构建的三维动作数据库的构建包括：

12、采集人体动作捕捉数据；

13、对采集得到的人体动作捕捉数据进行坐标归一化处理、人体骨骼模型统一处理以及动作时间尺度标准化处理，得到标准化后的三维动作数据；

14、根据所述标准化后的三维动作数据建立动作语义标签、静态姿态特征和动态运动特征，并将所述动作语义标签、静态姿态特征和动态运动特征与对应的三维动作数据关联存储于所述三维动作数据库中。

15、进一步地，所述从基于动作捕捉数据预构建的三维动作数据库中获取候选三维动作数据，包括：

16、根据所述目标动作需求信息生成动作检索特征；

17、基于所述动作检索特征与所述三维动作数据库中的动作语义信息进行第一阶段检索，得到候选动作集合；

18、基于人体关节点静态空间分布特征和动态运动轨迹特征，对所述候选动作集合进行第二阶段匹配；

19、根据第二阶段匹配结果，从所述候选动作集合中输出候选三维动作数据。

20、进一步地，所述基于人体运动约束和动作语义匹配关系，对所述候选三维动作数据进行动作一致性判断，确定满足动作保持条件的目标三维动作数据，包括：

21、获取所述候选三维动作数据中人体关键关节点的空间运动轨迹；

22、根据相邻动作帧之间所述关键关节点的位置变化、运动方向变化以及关节旋转变化，确定所述候选三维动作数据对应的运动连续性；

23、根据所述运动连续性以及所述动作语义信息与所述目标动作需求信息之间的匹配关系，判断所述候选三维动作数据是否满足动作保持条件；

24、当所述候选三维动作数据满足所述动作保持条件时，将所述候选三维动作数据确定为目标三维动作数据。

25、进一步地，所述动作一致性判断还包括：

26、根据所述候选三维动作数据中的人体关节点空间位置关系，获取人体重心变化轨迹；

27、根据所述人体重心变化轨迹判断动作执行过程中的身体平衡状态；

28、当所述人体重心变化轨迹与目标动作类型对应的预设运动状态不匹配时，降低对应候选三维动作数据的匹配权重。

29、进一步地，所述关键动作区域为人体执行目标动作过程中用于表达目标动作特征的人体区域，所述关键动作区域包括手部区域、足部区域、躯干旋转区域和目标关节局部区域中的至少一种；其中，所述目标关节局部区域为由目标动作需求确定的至少一个目标关节及与所述目标关节相连的人体骨骼段形成的局部运动区域，所述目标关节包括肩关节、肘关节、腕关节、髋关节、膝关节、踝关节和颈部关节中的至少一种；

30、所述对由所述目标观察视角信息确定的虚拟相机初始参数进行调整，得到目标虚拟相机参数，包括：

31、根据所述虚拟相机初始参数对所述目标三维动作数据进行投影分析，得到所述关键动作区域在目标观察视角下的投影状态；

32、根据所述关键动作区域的投影重叠程度、空间分离程度、可观察程度以及运动轨迹连续程度，判断所述虚拟相机初始参数是否满足动作信息保持要求；

33、当所述虚拟相机初始参数不满足动作信息保持要求时，对虚拟相机的位置、朝向和视场参数中的至少一种进行调整，得到目标虚拟相机参数。

34、进一步地，所述基于所述目标三维动作数据中的空间运动关系，对所述二维姿态控制序列进行一致性校验和异常修正，包括：

35、根据所述目标三维动作数据计算人体关节点的三维运动变化趋势；

36、根据所述目标虚拟相机参数对应的投影关系，计算所述二维姿态控制序列中对应二维关键点的二维运动变化趋势；

37、比较所述三维运动变化趋势与所述二维运动变化趋势；

38、当所述三维运动变化趋势与所述二维运动变化趋势之间的差异超过预设范围时，将对应二维姿态数据确定为异常姿态数据，并根据所述目标三维动作数据中的空间运动关系对所述异常姿态数据进行修正。

39、进一步地，所述根据所述目标人物外观特征确定目标人物的人体结构参数，并基于所述人体结构参数对所述二维姿态控制序列进行人体结构适配，包括：

40、从目标人物图像或目标人物视频帧中提取人体比例参数、身体轮廓参数以及人体关键部位尺寸参数；

41、根据所述人体比例参数、身体轮廓参数以及人体关键部位尺寸参数，建立目标人物人体结构与标准动作骨骼模型之间的映射关系；

42、基于所述映射关系调整所述二维姿态控制序列中的人体骨骼尺度和关键点位置关系，使目标人物外观结构与目标动作姿态相匹配。

43、进一步地，所述视频生成方法还包括生成结果反馈优化步骤，所述生成结果反馈优化步骤包括：

44、对生成的目标视频进行人体姿态检测，得到生成视频对应的动作表现信息；

45、根据所述动作表现信息与所述目标三维动作数据对应的动作参考信息之间的差异，确定动作保持误差；

46、根据所述动作保持误差调整三维动作数据检索权重、动作一致性判断参数、虚拟相机参数、姿态一致性校验参数和人体结构适配参数中的至少一种。

47、在一种可能的实施方式中，本发明还提供了一种基于动作捕捉数据驱动的aigc视频生成系统，包括：

48、三维动作数据库模块，用于存储由动作捕捉数据经标准化处理形成的三维动作数据，所述三维动作数据包括人体多个关节点对应的三维空间位置序列、关节旋转参数序列以及动作语义信息；

49、动作检索模块，连接所述三维动作数据库模块，用于根据用户输入的目标动作需求信息从所述三维动作数据库模块中获取候选三维动作数据；

50、动作一致性判断模块，连接所述动作检索模块，用于基于人体运动约束和动作语义匹配关系对所述候选三维动作数据进行动作一致性判断，并输出满足动作保持条件的目标三维动作数据；

51、视角适配优化模块，连接所述动作一致性判断模块，用于根据目标观察视角信息、所述目标三维动作数据对应的关键动作区域以及动作信息保持要求，对虚拟相机参数进行调整，得到目标虚拟相机参数；

52、姿态转换及一致性校验模块，连接所述视角适配优化模块，用于根据所述目标虚拟相机参数将所述目标三维动作数据转换为二维姿态控制序列，并基于所述目标三维动作数据中的空间运动关系对所述二维姿态控制序列进行一致性校验和异常修正；

53、人物结构适配模块，连接所述姿态转换及一致性校验模块，用于根据目标人物外观特征确定目标人物的人体结构参数，并基于所述人体结构参数对所述二维姿态控制序列进行人体结构适配；

54、视频生成模块，连接所述人物结构适配模块，用于将经过人体结构适配后的二维姿态控制序列与目标人物外观特征融合，得到视频生成控制信息，并根据所述视频生成控制信息生成目标视频。

55、在一种可能的实施方式中，本发明还提供了一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项所述的方法。

56、在一种可能的实施方式中，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项所述的方法。

57、基于上述技术方案，本发明实施方式的基于动作捕捉数据驱动的aigc视频生成方法及系统，通过从三维动作数据库中获取候选三维动作数据，并基于人体运动约束和动作语义匹配关系确定目标三维动作数据，使进入视频生成链路的动作数据同时满足动作语义要求和人体运动规律要求；通过基于关键动作区域和动作信息保持要求调整虚拟相机参数，使目标三维动作数据在目标观察视角下仍能够保持关键动作区域的可观察性、动作轨迹的连续性以及人体空间关系；通过基于三维空间运动关系对二维姿态控制序列进行一致性校验和异常修正，降低三维动作数据转换为二维姿态控制信息过程中的信息损失；通过人体结构适配，使目标动作能够与目标人物外观结构相匹配。

58、由此，本发明并非仅将动作捕捉数据或三维动作数据作为视频生成模型的输入条件，而是通过动作一致性判断、视角适配优化、姿态一致性校验以及人体结构适配等连续处理过程，使三维动作信息能够在aigc视频生成链路中一致传递，从而提高生成视频中人物动作的空间结构保持能力、运动连续性以及多视角表达一致性。