一种基于多模态可信度融合的三维高斯数字人时序驱动参数优化方法

本发明涉及数字人驱动参数处理和三维高斯数字人渲染，尤其涉及一种基于多模态可信度融合的三维高斯数字人时序驱动参数优化方法及系统，适用于对三维高斯泼溅（3d gaussian splatting，3dgs）数字人在时序驱动过程中产生的姿态抖动、根节点漂移、遮挡丢失和帧异常等问题的智能修复与优化。

背景技术：

1、三维高斯数字人（3d gaussian digital human）是近年来计算机视觉和计算机图形学交叉领域的前沿技术方向。与传统基于三角网格和纹理贴图的数字人表示方法不同，三维高斯数字人以大量分布于三维空间中的高斯基元（gaussian primitive）为核心外观表示单元，每个高斯基元包含空间中心位置、协方差矩阵（尺度与旋转）、不透明度和球谐颜色系数等属性信息。在渲染阶段，系统将三维高斯基元投影至二维图像平面，并依据深度排序进行透明度合成，从而生成具有空间层次感和丰富视觉细节的人物图像。相较于传统网格方法，三维高斯表示具有更强的外观表达能力、更高的渲染效率和更低的资产制作成本；相较于基于神经辐射场（neural radiance field，nerf）的隐式渲染方法，三维高斯表示具有更明确的空间基元结构和更快的训练与推理速度，因此特别适合需要兼顾视觉真实感、渲染帧率和资产可编辑性的实时数字人应用场景。

2、如图4所示，可动画三维高斯数字人（animatable 3d gaussian digital human）通常依赖参数化人体模型（如smpl/smpl-x）进行驱动。其核心机制是：将规范空间（canonical space）中的高斯基元通过骨骼蒙皮变换（如线性混合蒙皮linear blendskinning，lbs）映射至目标姿态空间，再经光栅化渲染生成人物图像。在这一过程中，人体姿态参数（通常为72维轴角表示）和根节点平移参数（3维全局位移）是驱动数字人动作的核心控制信号。

3、然而，在实际工程部署中，驱动参数往往来自单目人体姿态估计器、视频动作捕捉系统或惯性传感器，这些上游信号不可避免地受到遮挡、相机抖动、光照变化、估计器不稳定、网络传输丢帧和传感器噪声等因素的影响，导致驱动参数出现以下典型异常：姿态抖动，即关节旋转参数在相邻帧之间发生高频小幅波动，造成数字人肢体边缘闪烁和局部重影；根节点漂移，即全局平移参数产生累积误差，使数字人整体出现滑动、漂浮或穿透地面等现象；关节遮挡缺失，即当人体关节被自身或其他物体遮挡时，估计器输出的姿态分量出现大幅偏差或完全丢失；帧丢失与替换，即因传输或估计失败导致某一帧的驱动参数完全错误或重复；姿态尖峰，即局部关节轴角分量出现远超正常运动范围的突变值。

4、针对上述问题，常规的时序平滑处理方法（如滑动平均滤波、卡尔曼滤波、低通滤波等）虽然能够在一定程度上降低高频抖动，但存在以下根本性缺陷：第一，无法区分低可信关节与可信关节——对所有关节施加相同的平滑强度，导致被遮挡关节的修复不充分而可信关节被过度平滑；第二，在快速动作场景中容易削弱运动细节——大范围快速运动被误判为噪声而遭到压制，导致手势、舞蹈、体育等动作的力度和幅度被削减；第三，滤波器的固定参数无法根据退化类型和退化程度进行自适应调节——对于遮挡、漂移、尖峰等不同类型的异常，所需的最优滤波策略存在显著差异，固定滤波器无法同时兼顾。

5、此外，已有方法大多仅利用单一的姿态时序信息进行修复，未能充分利用多模态信息的互补性。具体而言，由姿态参数差分得到的伪惯性测量特征（速度和加速度）可以显式表征运动趋势和异常突变，帮助模型区分“真实快速动作”与“观测异常跳变”；关节有效性掩码可以提供关于“哪些关节的当前观测不可信”的先验知识，避免模型在遮挡区域强行拟合错误观测；在可选图像模态存在时，彩色图像特征可提供人体轮廓、遮挡状态和可见区域外观等视觉上下文信息，辅助判断当前姿态的合理性。现有方法未能将这些多模态信息进行有效融合，导致修复效果受限。

6、综上所述，现有技术中亟需一种能够同时利用姿态时序信息、运动趋势特征、关节可信度信息和视觉上下文信息，对不同退化类型进行自适应修复，且不改变原有三维高斯数字人渲染管线接口的驱动参数优化方法。

技术实现思路

1、如图1所示，本发明的目的在于克服现有技术的不足，提供一种基于多模态可信度融合的三维高斯数字人时序驱动参数优化方法。该方法构造姿态/平移时序、伪惯性测量特征和关节有效性掩码，并在可选彩色图像特征存在时接入图像模态；将各可用模态以带有时间位置编码和模态类型嵌入的标记形式送入变换器编码器进行自注意力融合，并由融合特征预测姿态残差、平移残差、时间门控参数和修正幅度系数，最终以递增加权时间先验和自适应门控机制实现驱动参数的差异化修正，从而在保持原始动作语义和运动节奏的前提下，有效抑制各类驱动参数异常导致的渲染不稳定。

2、本发明的技术方案如下：

3、一种基于多模态可信度融合的三维高斯数字人时序驱动参数优化方法，包括以下步骤：

4、s1. 构造时序窗口并获取多模态输入：针对当前帧和其前帧历史帧构造长度为的时序窗口，获取窗口内各帧的人体姿态参数、根节点平移参数以及可选的、与各帧时间对齐的彩色图像。其中，人体姿态参数为参数化人体模型（如smpl/smpl-x）的关节旋转轴角表示，维度为72维（24个关节，每关节3维轴角）；根节点平移参数为人体根节点在世界坐标系中的三维空间位置，维度为3维。

5、s2. 生成伪惯性测量特征与关节有效性掩码：由时序窗口内相邻帧的人体姿态参数和根节点平移参数进行一阶差分和二阶差分，生成伪惯性测量特征；获取或生成表示各姿态维度可信度的关节有效性掩码，训练阶段根据所施加的关节遮挡、时序帧丢失、随机帧替换或姿态尖峰位置生成所述掩码，部署阶段根据上游关节置信度、时间戳连续性或姿态差分阈值生成所述掩码。

6、s3. 多模态标记编码与融合：将人体姿态参数和根节点平移参数合并为基础驱动模态（75维），与所述伪惯性测量特征（150维）和关节有效性掩码（72维）分别通过线性投影层编码至统一隐藏维度（256维），经层归一化和gelu激活函数处理后，附加正弦时间位置编码和可学习模态类型嵌入；在可选彩色图像特征存在时，将其512维特征经相应线性投影、层归一化和gelu激活函数编码为图像标记，并附加相应的时间位置编码和模态类型嵌入。将各可用模态的时序标记沿序列维度拼接后送入n层变换器编码器进行多头自注意力融合，取姿态分支的最后一个标记作为当前帧融合特征。

7、s4. 残差预测与自适应门控修正：由所述当前帧融合特征经层归一化后分别送入姿态残差头、平移残差头、门控预测头和高斯控制头，输出姿态残差（72维）、平移残差（3维）、姿态时间门控参数（标量，值域[0,1]）、平移时间门控参数（标量，值域[0,1]）及修正幅度系数（标量，值域[0.5,1]）。同时根据包含当前帧在内的时序窗口构造递增加权的时间先验，计算姿态时间先验̄和平移时间先验̄，并得到姿态时间先验残差)和平移时间先验残)。按照修正幅度系数调节所述姿态残差、平移残差以及经相应时间门控参数调节的时间先验残差，得到当前帧修正姿态参数和修正根节点平移参数。

8、s5. 驱动参数写入与渲染：将所述修正姿态参数和修正根节点平移参数按帧号写入三维高斯数字人渲染管线（如gauhuman）的驱动参数文件，仅替换原始参数文件中的姿态字段（poses）和根节点平移字段（th），保留原始参数文件中的根节点旋转字段（rh）、体型字段（shapes）及其他元数据字段，由三维高斯数字人渲染管线按照原有读取路径渲染数字人图像。该方法作为渲染管线的前置中间件，不修改高斯资产（高斯中心、协方差、不透明度、球谐颜色）和蒙皮网络参数。

9、进一步地，所述s2中伪惯性测量特征的生成方式为：对时序窗口内各帧的根节点平移参数进行一阶差分得到平移速度，进行二阶差分得到平移加速度；对时序窗口内各帧的人体姿态参数进行一阶差分得到姿态速度，进行二阶差分得到姿态加速度；将平移速度、平移加速度、姿态速度和姿态加速度拼接为伪惯性测量特征，维度为：

10、

11、其中和各为3维，和各为72维，的总维度为150维。伪惯性测量特征显式编码了相邻帧之间的运动变化趋势和加速度突变信息，使模型能够识别帧替换导致的数值不连续（即使当前帧数值看似合理但速度与加速度突变）以及真实快速动作（大幅动作但一阶与二阶导数连续）。

12、所述s2中关节有效性掩码的生成方式为：将人体姿态参数的72维轴角按关节分组，每个关节对应3个轴角分量，共享一个有效性标记位；对于施加关节遮挡退化的关节、时序帧丢失位置、随机帧替换位置或姿态尖峰位置的关节，将其对应的有效性标记位设为0，表示该关节的当前观测不可信；其余关节的有效性标记位设为1，表示可正常参与融合；最终形成24维关节有效性掩码，扩展至72维用于匹配姿态参数维度；部署阶段未检测到异常时，将相应有效性标记置为1。

13、进一步地，所述s3中多模态标记编码的具体方式为：将基础驱动模态（75维）通过第一线性投影层映射至隐藏维度，经层归一化和gelu激活函数后得到姿态标记；将伪惯性测量特征（150维）通过第二线性投影层映射至隐藏维度，经层归一化和gelu激活函数后得到惯性标记；将关节有效性掩码（72维）通过第三线性投影层映射至隐藏维度，经层归一化和gelu激活函数后得到掩码标记；在可选彩色图像特征存在时，将其（512维）通过第四线性投影层映射至隐藏维度，经层归一化和gelu激活函数后得到图像标记。对每个可用标记附加正弦位置编码和可学习模态类型嵌入，其中模态类型包括姿态、惯性、掩码和图像四种，模态类型嵌入为可学习的256维向量。变换器编码器包含层，每层使用8个注意力头、512维前馈网络、gelu激活函数、前置归一化（pre-norm）结构和0.1的随机丢弃率（dropout）。

14、进一步地，所述s4中时间先验的构造方式为：在长度为（）的时序窗口中，按从最早帧到当前帧的时间顺序，将第个时间步记为，其中；对包含当前帧在内的各帧赋予递增权重，满足，且所有权重之和为1。权重取值在0.5至1.0之间线性递增并归一化，使得距当前帧越近的帧具有越高权重。姿态时间先验和平移时间先验分别为：

15、

16、其中和分别为窗口内第帧的姿态参数和平移参数。

17、所述s4中修正姿态参数和修正根节点平移参数的计算方式为：姿态总残差由预测姿态残差与经姿态时间门控参数调节的姿态时间先验残差之和构成，平移总残差同理：

18、

19、修正姿态参数由当前姿态参数与修正幅度系数乘以姿态总残差*相加得到，修正平移参数̂同理：

20、

21、其中为时间先验系数，和的值域为[0, 1]，分别由门控预测头经sigmoid激活后输出，修正幅度系数的值域为[0.5,1]，由高斯控制头经缩放sigmoid变换后输出。该机制的核心在于：变换器残差和负责学习对特定退化类型的非线性修复；历史先验)和)负责提供不依赖训练数据的稳定运动趋势；门控参数和负责在"相信观测"与"相信历史"之间进行自适应权衡；修正幅度系数负责统一控制修正幅度，在模型不确定时降低修正强度以保留原始动作。残差头在初始化时将权重和偏置均置零，因此训练初期学习型姿态残差和平移残差为零；最终输出仍可包含时间先验分支产生的修正量。

22、进一步地，所述方法在训练阶段采用以下多源退化模拟策略：根据配置对干净人体驱动参数选择施加以下一种或多种退化：高斯噪声退化，在姿态和根节点平移上独立加入标准差的正态分布扰动；关节遮挡退化，以概率随机选择关节并将其轴角分量置零，同时将对应掩码标记为无效；时序帧丢弃退化，以概率将某一时间步替换为上一退化帧；随机帧替换退化，以概率从窗口内随机复制一帧替换当前帧；根节点漂移退化，对平移参数累加标准差的随机增量；姿态尖峰退化，在启用该退化场景时以局部关节为单位叠加标准差的尖峰扰动；混合退化，按照配置组合上述退化类型，用于模拟真实单目跟踪中遮挡、漂移、局部失配和偶发跳帧叠加的复杂情况。

23、训练时采用多目标损失函数，总损失由以下分量加权求和构成：

24、

25、其中、、、、、、和分别为姿态重建、平移重建、速度、加速度、掩码感知、抖动、残差正则化和模态一致性损失的权重。姿态重建平滑损失计算修正姿态与清洁姿态之间的smooth-l1损失；平移重建平滑损失计算修正平移与清洁平移之间的smooth-l1损失；速度损失计算修正后相邻帧速度与清洁帧速度之间的smooth-l1损失，约束一阶运动节奏；加速度损失计算修正后相邻帧加速度与清洁帧加速度之间的smooth-l1损失，约束二阶运动连续性；掩码感知损失对关节有效性掩码标记为无效的维度赋予倍修复权重，形成“优先修复不可信关节”的训练偏置；抖动损失仅惩罚超出容限阈值的额外二阶差分抖动，保留真实动作本有的加速特性；残差正则化损失为可选项，用于限制未知场景的过修正；模态一致性损失对姿态标记与已出现的惯性、掩码、图像标记计算余弦相似度，防止各模态在公共空间完全割裂。训练使用adamw优化器，初始学习率为1e-4，批次大小为32，训练周期为50个epoch。

26、本发明的有益效果在于：

27、（1）多模态可信度融合：将姿态/平移时序、伪惯性测量特征、关节有效性掩码和可选彩色图像特征统一编码为时序标记，通过变换器自注意力机制实现跨模态、跨时间步的信息融合，使模型能够同时利用运动趋势、关节可信度和视觉上下文进行综合判断，解决了单一模态在复杂退化场景下修复能力不足的问题。

28、（2）自适应门控修正：通过同时预测姿态残差、平移残差、时间门控参数和修正幅度系数，实现差异化修正——对观测可信的关节和帧仅施加小幅修正，对被遮挡、漂移和尖峰等异常区域自动增强修复强度，避免了传统固定平滑器对可信关节过度平滑、对异常关节修复不足的缺陷。

29、（3）非侵入式部署：作为渲染管线前置中间件，仅替换原始参数文件中的姿态和平移字段，不修改高斯资产和蒙皮网络，可与现有三维高斯数字人渲染管线（如gauhuman）无缝集成，支持即插即用。

30、（4）量化效果：在同一模型检查点的混合退化输入移除实验中，完整接口在未输入rgb图像特征时的姿态l1损失、掩码姿态误差、根节点平移误差、抖动和快速动作姿态误差均低于噪声输入，表明所述时序融合方法能够改善多项驱动参数指标。