基于动作捕捉的三维数字内容智能生成方法及系统与流程

本发明涉及三维数字内容生成，尤其涉及基于动作捕捉的三维数字内容智能生成方法及系统。

背景技术：

1、动作捕捉技术是当前三维数字内容制作的核心技术之一，广泛应用于影视动画、游戏制作、虚拟直播等领域。通过采集真人演员的肢体与面部运动数据，直接驱动虚拟角色生成动画，能够大幅提升内容制作效率与动作真实感。

2、在多人协同表演的动捕场景中，演员需要在有限的动捕场地内完成互动表演，受场地空间限制、演员视线误差、表演节奏协调不当等因素影响，捕获的原始动作数据往往同时存在物理层面的运动偏差与语义层面的交互偏差。现有动捕后处理技术主要聚焦于运动平滑降噪、骨骼穿透修正、地面贴合校准等物理层面的优化，能够有效解决动作抖动、模型穿模、足部打滑等可见的制作问题。

3、然而，现有动捕后处理技术仅能针对数据的物理属性开展校正，无法识别多人互动过程中不符合社交交互逻辑的语义偏差，交谈过程中双方眼神长期未交错、对话时角色身体朝向偏离对方、个人空间被异常侵入、轮流发言时肢体响应时序错位等问题均无法通过现有处理流程自动消除。这类问题不会引发模型穿模或明显的动作抖动，因此难以被常规的质量校验环节捕获，却会直接违背人类社交互动的基本常识，导致虚拟角色间的互动显得生硬、怪异，严重降低三维数字内容的可信度与代入感。

4、针对上述的技术缺陷，现提出解决方案。

技术实现思路

1、本发明的目的在于：用于解决现有技术无法识别多人互动过程中不符合社交交互逻辑的语义偏差，难以被常规的质量校验环节捕获，容易违背人类社交互动的基本常识，导致虚拟角色间的互动显得生硬、怪异，严重降低三维数字内容的可信度与代入感的问题。

2、为了实现上述目的，本发明采用了如下技术方案：基于动作捕捉的三维数字内容智能生成方法，包括以下步骤：

3、步骤一、采用光学动作捕捉系统采集多人协同表演的原始动作捕捉数据，同步获取各虚拟角色对应的全身骨骼运动时序数据、面部关键点坐标数据、语音片段及时序标签数据，并对所有数据进行时间戳对齐与空间坐标系统一预处理，消除不同采集通道的时域偏差与空域坐标偏差；

4、步骤二、预先构建人际社会交互规则知识库，规则知识库包含人际距离阈值规则、眼神对视匹配规则、身体朝向协调规则、发言轮换响应规则四类规则，每类规则对应存储有正常交互数值区间、异常判定触发条件及对应修正方向与幅度参数；

5、步骤三、对预处理后的动捕数据按交互场景进行时序分段，基于语音活跃度与身体相对位置变化特征，识别出连续的多人交互片段与单人独立动作片段；

6、步骤四、将多人交互片段的动捕数据输入规则知识库进行逐帧匹配检测，逐一判定每类交互规则的符合性，标记出所有违反社会交互规则的异常时间点与对应角色的异常骨骼节点；

7、步骤五、针对各异常时间点，在保持原始动作整体运动趋势不变的前提下，依据对应规则的修正方向与幅度参数，对异常骨骼节点进行运动学约束下的平滑插值修正，生成符合社会交互逻辑的修正动作数据；

8、步骤六、对修正后的动作数据执行修正结果校验，校验通过后，将修正后的全身动作数据、面部关键点数据与语音数据同步映射至预设的三维数字角色模型，渲染生成符合人类社会交互常识的三维数字内容。

9、更进一步的，步骤二中预先构建人际社会交互规则知识库的过程为：

10、s11、采集真实人际交互视频数据集，提取不同社交关系、不同交互场景下的双人及多人交互样本，标注每段交互样本中角色间的水平距离、头部俯仰角、视线方向向量、躯干朝向角、发言起止时刻的真值数据，标注数据与四类规则对应；

11、s12、对标注完成的真值数据进行统计分析，分别计算亲密关系、普通社交关系、公共距离三个等级下的人际距离正常数值区间，以及交谈状态下眼神对视的时间占比阈值、视线偏移角度阈值，形成人际距离阈值规则与眼神对视匹配规则的判定参数；

12、s13、统计轮流发言过程中，倾听者身体朝向发言者的角度偏差范围、发言者手势动作与语音的时延范围，将统计得到的区间值与判定阈值结构化存储，对应形成身体朝向协调规则与发言轮换响应规则的判定参数，最终构成可调用的人际社会交互规则知识库。

13、更进一步的，步骤三中对预处理后的动捕数据按交互场景进行时序分段的过程为：

14、s21、基于语音片段及时序标签数据，计算各角色逐帧的语音活跃度数值，当单帧内存在至少两名角色的语音活跃度高于预设激活阈值时，标记为潜在交互帧；

15、s22、计算各角色之间的身体相对位置变化率，当角色间水平距离持续处于预设交互距离范围内、且位置变化率低于预设阈值时，标记为空间共在帧；

16、s23、取潜在交互帧与空间共在帧的交集作为交互候选帧，对连续时长超过预设最短交互时长的交互候选帧序列，判定为连续的多人交互片段；其余帧序列判定为单人独立动作片段，仅对判定得到的多人交互片段执行后续异常检测操作。

17、更进一步的，步骤四中将多人交互片段的动捕数据输入规则知识库进行逐帧匹配检测的过程为：

18、s31、将每个时刻的各角色视为图结构的节点，以各角色的全身骨骼运动时序数据、面部关键点坐标数据作为节点初始特征，同时，以角色间的相对距离、视线夹角、躯干朝向差作为节点间的边特征，构建当前时刻的多人交互关系图；

19、s32、将多人交互关系图输入预先训练完成的图注意力网络，网络通过注意力机制自动加权不同角色对之间的交互强度，输出当前时刻各角色对的交互状态置信度；

20、s33、将输出的交互状态置信度与规则知识库中对应规则类别的正常交互数值区间进行比对，当交互状态置信度低于预设异常判定阈值时判定为违反社会交互规则，同时输出对应规则类别与偏差程度，标记对应的异常时间点与异常骨骼节点，当置信度不低于预设异常判定阈值时，判定为符合对应社会交互规则，不进行异常标记。

21、更进一步的，步骤五中针对违反人际距离阈值规则的异常时间点，对异常骨骼节点进行平滑插值修正的过程为：

22、s41、当检测到角色间水平距离小于当前社交关系对应的最小距离阈值，即判定为个人空间侵入异常时，确定两名角色的骨盆骨骼节点为异常骨骼节点；

23、s42、以两名角色的质心连线为修正方向，分别向远离对方的方向平移角色骨盆骨骼节点，以异常时间点为中心，选取前后预设数量的过渡帧，对平移前后的骨盆位置进行三次样条插值计算，确保平移修正过程在过渡帧内平滑完成；

24、s43、骨盆平移修正后同步调整下肢骨骼关节角度，保证足部与地面接触点不发生滑动偏移，最终生成符合人际距离阈值规则的修正动作数据。

25、更进一步的，步骤五中针对违反眼神对视匹配规则的异常时间点，对异常骨骼节点进行平滑插值修正的过程为：

26、s51、当检测到交谈状态下双方视线方向向量的夹角大于预设视线方向向量夹角阈值、且持续时长超过设定时间阈值时，判定为眼神对视缺失异常，确定两名角色的眼球骨骼节点为异常骨骼节点；

27、s52、计算双方眼球中点连线对应的标准视线方向，将眼球旋转角度逐步调整至标准视线方向，使双方视线交汇于对方面部区域；

28、s53、调整过程中保持头部骨骼的原始运动整体趋势不变，仅在眼球旋转自由度范围内进行角度修正，并对眼球旋转角度序列进行一阶低通滤波处理，避免修正后出现眼球高频抖动现象，最终生成符合眼神对视匹配规则的修正动作数据。

29、更进一步的，步骤五中针对违反身体朝向协调规则的异常时间点，对异常骨骼节点进行平滑插值修正的过程为：

30、s61、当检测到轮流发言过程中，倾听者躯干朝向与发言者位置的偏差角度大于预设偏差角度阈值时，判定为身体朝向失谐异常，确定倾听者的胸椎骨骼节点为异常骨骼节点；

31、s62、以发言者的质心位置为目标朝向，计算胸椎骨骼节点需要调整的旋转角度，在保持下肢骨骼站位不变的前提下，对胸椎旋转角度进行逐步调整，以异常时间点为中心选取过渡帧区间，对旋转角度进行余弦插值平滑处理，避免躯干朝向出现突兀跳变；

32、s63、调整过程中同步联动肩部与颈部骨骼的微小角度补偿，保证上半身姿态的自然连贯性，最终生成符合身体朝向协调规则的修正动作数据。

33、更进一步的，步骤五中针对违反发言轮换响应规则的异常时间点，对异常骨骼节点进行平滑插值修正的过程为：

34、s71、当检测到发言切换时，倾听者的回应动作与发言者语音起始时刻的时延超出预设时延阈值范围时，判定为发言轮换响应失配异常，确定倾听者的头部与上肢骨骼节点为异常骨骼节点；

35、s72、依据语音时序标签数据，将倾听者的回应动作时序整体向前或向后平移，使回应动作的起始时刻与发言者语音起始时刻的差值落入正常时延区间；

36、s73、对平移前后的动作序列进行重叠帧插值融合，消除时序平移带来的动作衔接断点，保证动作序列的连续流畅，最终生成符合发言轮换响应规则的修正动作数据。

37、更进一步的，步骤六中的修正结果校验的过程为：将修正后的动作数据重新输入规则知识库进行二次逐帧匹配检测，若仍存在违反社会交互规则的异常时间点，则迭代执行平滑插值修正操作，直至所有多人交互片段均符合规则知识库要求或达到预设最大迭代次数。

38、本发明还提供基于动作捕捉的三维数字内容智能生成系统，包括动作捕捉单元、规则构建单元、片段识别单元、异常标记单元、动作修正单元以及智能生成单元；

39、动作捕捉单元用于采用光学动作捕捉系统采集多人协同表演的原始动作捕捉数据，同步获取各虚拟角色对应的全身骨骼运动时序数据、面部关键点坐标数据、语音片段及时序标签数据，并对所有数据进行时间戳对齐与空间坐标系统一预处理；

40、规则构建单元用于预先构建人际社会交互规则知识库，规则知识库包含人际距离阈值规则、眼神对视匹配规则、身体朝向协调规则、发言轮换响应规则四类规则，每类规则对应存储有正常交互数值区间、异常判定触发条件及对应修正方向与幅度参数；

41、片段识别单元用于对预处理后的动捕数据按交互场景进行时序分段，基于语音活跃度与身体相对位置变化特征，识别出连续的多人交互片段与单人独立动作片段；

42、异常标记单元用于将多人交互片段的动捕数据输入规则知识库进行逐帧匹配检测，逐一判定每类交互规则的符合性，标记出所有违反社会交互规则的异常时间点与对应角色的异常骨骼节点；

43、动作修正单元用于针对各异常时间点，在保持原始动作整体运动趋势不变的前提下，依据对应规则的修正方向与幅度参数，对异常骨骼节点进行运动学约束下的平滑插值修正，生成符合社会交互逻辑的修正动作数据；

44、智能生成单元用于对修正后的动作数据执行修正结果校验，校验通过后，将修正后的全身动作数据、面部关键点数据与语音数据同步映射至预设的三维数字角色模型，渲染生成符合人类社会交互常识的三维数字内容。

45、综上所述，由于采用了上述技术方案，本发明的有益效果是：

46、该基于动作捕捉的三维数字内容智能生成方法及系统，通过预先构建包含人际距离阈值规则、眼神对视匹配规则、身体朝向协调规则、发言轮换响应规则的人际社会交互规则知识库，对多人动捕数据开展社交交互逻辑层面的逐帧匹配检测，达到自动识别原始动捕数据中不符合社交常识的语义偏差的效果，同时通过基于语音活跃度与身体相对位置变化的时序分段机制，精准锁定多人交互片段并跳过单人独立动作片段，达到缩减无效计算量、提升异常检测执行效率的效果，进而通过引入图注意力网络作为运算载体，以角色为节点、交互特征为边构建多人交互关系图并自适应加权角色间交互强度，达到提升复杂多人场景下异常检测准确度的效果，此外通过针对不同类型的规则异常采用对应的平滑插值修正策略，在保持原始动作整体运动趋势的前提下完成异常骨骼节点的运动学约束修正，既能够修复社交逻辑错误，又能完整保留原始表演的动作风格与情感表达，同时通过设置修正结果校验与迭代修正机制，对修正后的数据进行二次逐帧检测与循环优化，有效消除交互规则异常。