基于三维高斯泼溅融合身份表情先验的四维头部重建方法及系统

摘要: 本发明属于四维头部重建,尤其涉及基于三维高斯泼溅融合身份表情先验的四维头部重建方法及系统。背景技术:1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必...
基于三维高斯泼溅融合身份表情先验的四维头部重建方法及系统

本发明属于四维头部重建,尤其涉及基于三维高斯泼溅融合身份表情先验的四维头部重建方法及系统。

背景技术:

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。

2、四维头部重建技术需要从连续的多视图头部图像中恢复具有固定网格拓扑和时间一致顶点对应关系的动态头部几何,准确描述不同个体在表情变化过程中的面部形变。由于不同个体的头部几何结构和表情运动方式存在差异,并且连续序列中可能出现快速表情变化、大幅度运动和局部遮挡,如何准确重建身份特异性的非线性表情形变,并同时保持跨身份泛化能力、固定拓扑结构和长序列时间稳定性,是四维头部重建需要解决的技术问题。

3、现有技术中,基于参数化人脸模型的方法通常利用共享的低维线性基表示身份和表情形变,虽然能够较为高效地生成固定拓扑网格,但受到低维形变空间的限制,难以准确描述大幅度表情、非对称表情以及不同个体特有的局部非线性形变。

4、现有前馈式四维重建方法虽然能够通过规范坐标预测提高推理效率,但通常缺少针对当前帧显式几何的进一步优化,难以充分恢复个性化表情细节和维持长序列时间一致性。因此,现有方法难以同时兼顾大幅度表情表示及跨身份表情泛化能力、固定拓扑保持和长序列时间稳定性。

技术实现思路

1、为克服上述现有技术的不足,本发明提供了基于三维高斯泼溅融合身份表情先验的四维头部重建方法及系统,将前馈预测与逐帧细化结合,用于从多视图序列中重建拓扑一致的4d头部。

2、为实现上述目的,本发明的一个或多个实施例提供了如下技术方案:

3、第一方面,公开了基于三维高斯泼溅融合身份表情先验的四维头部重建方法,包括:

4、获取多视图头部图像序列以及相机内外参数,基于第一帧多视图头部图像序列构建第一帧规范头部网格,并基于第一帧规范头部网格再构建具有共享拓扑结构的第一帧配准头部网格序列;

5、按照规范头部网格的顶点索引,为每个网格顶点设置对应的各向异性高斯基元,使高斯基元锚定于相应网格顶点;

6、构建身份表情解耦及跨身份泛化模型,所述模型包括非线性形变解码器及多视图图像编码器;训练完成后,冻结所述多视图图像编码器和非线性形变解码器;

7、对于未参与训练的待重建身份,将当前帧的多视图头部图像输入冻结的多视图图像编码器,得到预测表情编码和预测身份编码,再将所述预测表情编码、预测身份编码及待重建身份的规范头部网格输入冻结的非线性形变解码器,得到当前帧的表情先验顶点位移;

8、根据当前帧的表情先验顶点位移确定运动幅度,当所述运动幅度大于预设阈值时,输入至大幅度表情处理支路,采用表情形变先验进行初始化,否则,输入至小幅度表情处理支路,采用质量感知多帧滑动窗口进行初始化;

9、初始化完成后,基于可微高斯光栅化,根据输入图像与渲染图像之间的图像损失及几何正则项优化网格顶点位置和高斯基元参数,并按照共享的网格拓扑关系导出动态头部网格序列,得到四维头部重建结果。

10、作为进一步的技术方案,配准头部网格序列构建步骤为:

11、重建多视图头部图像序列各身份的第一帧头部表面;

12、将固定拓扑模板网格配准至所述第一帧头部表面,得到规范头部网格,不同身份采用相同的固定拓扑模板网格,以使得到的规范头部网格具有相同的顶点数量、顶点索引及三角面片连接关系;

13、对于各身份,以所述规范头部网格为拓扑模板,根据各帧多视图头部图像及相机内外参数对网格顶点进行非刚性拟合,得到顶点数量、顶点索引及三角面片连接关系一致的配准头部网格序列;

14、根据各帧配准头部网格与规范头部网格之间的对应顶点位置差异获得拟合位移,作为非线性形变解码器的训练数据。

15、作为进一步的技术方案,为每个网格顶点设置对应的各向异性高斯基元,其中,所述各向异性高斯基元的参数包括中心位置、旋转参数、三轴尺度、不透明度和颜色属性;

16、对于规范头部网格中的第个顶点,将该顶点的位置作为对应高斯基元的中心位置;根据该顶点的法线方向确定高斯基元的旋转四元数,使高斯基元的局部坐标轴与顶点法线方向对齐;根据该顶点与其最近邻顶点之间的距离确定三轴尺度的初始值,其中,三轴尺度分别独立设置且初始值相同,以使高斯基元能够在后续优化过程中产生各向异性形变;将不透明度初始化为接近1的数值,并根据顶点的纹理坐标从头部纹理图像中采样得到初始颜色。

17、作为进一步的技术方案,所述身份表情解耦及跨身份泛化模型训练包括:阶段a和阶段b;

18、在阶段a中,将具有共享拓扑结构的配准头部网格序列、可学习表情编码表和可学习身份编码表作为输入,训练身份与表情解耦的非线性形变解码器;

19、对规范头部网格中的各顶点坐标进行归一化和傅里叶位置编码,得到顶点的初始位置特征;将表情编码与身份编码进行拼接,并输入条件多层感知机,生成非线性形变解码器各层对应的缩放参数和偏移参数;

20、将所述缩放参数和偏移参数输入特征级线性调制与激活模块,对顶点位置特征进行逐层调制;

21、经多层特征级线性调制后,输出第个顶点的预测位移;

22、在阶段b中,将同一身份、同一时刻的多个视角头部图像输入多视图图像编码器;

23、冻结阶段a训练得到的非线性形变解码器;将可学习编码表中的表情编码和身份编码输入冻结的非线性形变解码器,得到教师逐顶点位移;

24、将多视图图像编码器输出的预测表情编码和预测身份编码输入同一冻结的非线性形变解码器,得到预测逐顶点位移;

25、根据预测逐顶点位移与教师逐顶点位移计算尺度归一化的几何一致性损失;

26、采用表情潜码对齐损失约束预测表情编码与对应表情编码的方向一致,并采用身份潜码对齐损失约束预测身份编码与对应身份编码一致。

27、作为进一步的技术方案,所述阶段a的训练损失包括同身份表情形变自重建损失、跨身份表情潜码三元组对比损失和表情潜码身份对抗损失;

28、所述同身份表情形变自重建损失用于约束预测逐顶点位移与中性对齐位移一致,并对嘴唇、眼睑、下巴及口腔内部所在的活动面部区域进行加权约束;

29、所述跨身份表情潜码三元组对比损失以一个身份的表情编码作为锚样本,从其他身份中选取运动描述符相似的表情编码作为正样本,并选取运动描述符不相似的表情编码作为负样本,使不同身份的相同或相似表情在潜在空间中相互接近;

30、所述运动描述符包括嘴部张开程度、眼睛闭合程度、面部区域运动幅度和下巴位移。

31、所述表情潜码身份对抗损失将表情编码经梯度反转层输入身份分类器,并根据身份分类结果计算交叉熵损失,以抑制表情编码中包含的身份信息。

32、作为进一步的技术方案,多视图图像编码器中,采用残差网络分别提取各视角图像特征;

33、采用空间均值池化、空间最大值池化和空间标准差池化汇总各视角的空间特征;

34、通过多头自注意力机制对不同视角的特征进行融合,并通过视图均值池化得到多视图融合特征;

35、分别通过表情预测头和身份预测头输出预测表情编码和预测身份编码。

36、作为进一步的技术方案,还包括:构建质量感知多帧滑动窗口初始化策略,用于非大运动帧的历史状态初始化;

37、所述质量感知多帧滑动窗口用于存储当前帧之前最近个已完成重建且优化收敛的历史帧,并存储各历史帧对应的高斯基元参数和质量分数;

38、所述质量分数根据历史帧优化过程中的局部刚性损失、边长等距性损失和相邻顶点旋转一致性损失确定;

39、根据历史帧与当前帧之间的时间邻近性以及历史帧的质量分数,计算各历史帧的未归一化继承分数;

40、对窗口内各历史帧的未归一化继承分数进行归一化,得到对应的继承权重;

41、根据所述继承权重,对窗口内各历史帧的高斯基元参数进行加权继承,对于高斯基元的中心位置、颜色属性和尺度参数,采用加权求和的方式获得当前帧的初始化参数;

42、对于不透明度及其他无需进行加权融合的高斯属性,采用窗口内最新历史帧的对应参数进行初始化;

43、将通过加权继承得到的中心位置、颜色属性、尺度参数和旋转参数,以及从最新历史帧复制得到的其他高斯属性,共同作为当前非大运动帧的初始高斯参数,并进行逐帧重建优化。

44、作为进一步的技术方案,初始化完成后,具体包括:

45、根据相机内外参数将当前帧的三维高斯基元投影至各输入视角,并采用可微高斯光栅化得到对应视角的渲染图像;

46、根据渲染图像与对应输入图像之间的差异构建图像重建损失,所述图像重建损失包括损失和结构相似性损失;

47、构建局部刚性损失,用于约束相邻顶点之间的局部结构在优化过程中保持稳定;

48、构建相邻顶点旋转一致性损失,用于约束相邻顶点对应的高斯基元具有连续、平滑的旋转变化;

49、构建边长等距性损失;

50、针对眼睑、嘴唇、口腔、眼窝和面部下方区域构建区域平坦性损失;

51、在第一帧优化过程中,构建尺度约束损失,以使各高斯基元在至少一个轴向上保持较小尺度,并限制其最大尺度;

52、对于大运动帧,构建表情先验软约束损失,所述表情先验软约束损失用于限制逐帧优化结果过度偏离表情先验初始化结果,同时允许输入图像对局部几何细节进行修正;

53、得到当前帧几何优化阶段的总损失;

54、根据所述几何优化总损失进行反向传播,更新网格顶点位置及与几何相关的高斯基元参数;

55、完成当前帧优化后,计算并保存该帧的质量分数及收敛后的高斯基元参数,将其加入质量感知多帧滑动窗口,按照规范头部网格的顶点索引和三角面片连接关系,将优化后的高斯基元中心位置作为动态头部网格顶点位置,导出当前帧的动态头部网格;按照时间顺序依次处理全部待重建帧,得到具有固定拓扑结构和跨帧一致顶点对应关系的四维头部重建结果。

56、第二方面,公开了基于三维高斯泼溅融合身份表情先验的四维头部重建系统,包括:

57、配准头部网格序列构建模块,被配置为:获取多视图头部图像序列,基于多视图头部图像序列构建规范头部网格,并基于规范头部网格再构建具有共享拓扑结构的配准头部网格序列;

58、各向异性高斯基元设置模块,被配置为:按照规范头部网格的顶点索引,为每个网格顶点设置对应的各向异性高斯基元,使高斯基元锚定于相应网格顶点;

59、模型构建模块,被配置为:构建身份表情解耦及跨身份泛化模型,所述模型包括非线性形变解码器及多视图图像编码器;训练完成后,冻结所述多视图图像编码器和非线性形变解码器;

60、表情先验顶点位移获取模块,被配置为:对于未参与训练的待重建身份,将当前帧的多视图头部图像输入冻结的多视图图像编码器,得到预测表情编码和预测身份编码,再将所述预测表情编码、预测身份编码及待重建身份的规范头部网格输入冻结的非线性形变解码器,得到当前帧的表情先验顶点位移;

61、初始化模块,被配置为:根据当前帧的表情先验顶点位移确定运动幅度,当所述运动幅度大于预设阈值时,输入至大幅度表情处理支路,采用表情形变先验进行初始化,否则,输入至小幅度表情处理支路,采用质量感知多帧滑动窗口进行初始化;

62、重建模块,被配置为:初始化完成后,基于可微高斯光栅化,根据输入图像与渲染图像之间的图像损失及几何正则项优化网格顶点位置和高斯基元参数,并按照共享的网格拓扑关系导出动态头部网格序列,得到四维头部重建结果。

63、以上一个或多个技术方案存在以下有益效果:

64、针对现有参数化人脸模型难以准确表示大幅度表情且身份表情泛化能力不足的问题,本发明技术方案设置多视图图像编码器,从同一时刻的多个视角图像中提取并融合头部特征,直接预测当前帧的表情编码和身份编码。同时构建身份与表情解耦的非线性形变解码器。针对部分三维高斯泼溅方法缺少显式网格连接、难以导出固定拓扑动态网格并保持跨帧顶点对应关系的问题,本发明构建具有预设顶点数量、顶点索引和三角面片连接关系的规范头部网格,并将高斯基元分别锚定至对应的网格顶点。在后续帧重建过程中,允许网格顶点位置及其对应的高斯参数随表情变化进行优化,最终按照共享的网格连接关系导出动态头部网格。针对现有方法逐帧历史状态继承引起误差累积的问题,本发明设置质量感知多帧滑动窗口继承初始化机制。

65、本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。