一种基于扩散模型的遮挡人脸三维快速重建方法及系统

本发明涉及三维人脸重建，具体涉及一种基于扩散模型的遮挡人脸三维快速重建方法及系统。

背景技术：

1、三维人脸重建技术旨在从二维图像中恢复面部三维几何结构，是人脸识别、虚拟现实、增强现实、数字人驱动及医疗美容等领域的核心支撑技术。随着深度学习的发展，基于卷积神经网络（cnn）和参数化模型（如flame）的方法已能实现从单目图像到三维人脸的端到端重建，但在实际开放场景中，输入图像常因口罩、墨镜、头发或手部等遮挡物而缺失关键面部区域信息，使得仅依赖视觉特征的重建模型难以恢复完整且准确的面部几何，导致重建结果在遮挡区域出现明显畸变或空洞。

2、为应对遮挡问题，现有研究尝试将生成式扩散模型引入三维人脸重建任务，利用其强大的数据分布拟合能力生成多个候选三维人脸网格，以补全被遮挡区域的几何结构。然而，这些方法存在显著局限：其一，扩散模型依赖长达数百至上千步的马尔可夫迭代去噪过程，推理耗时严重，难以满足工业应用对快速重建的需求；其二，现有方法缺乏对特征空间中遮挡冗余信息的有效过滤机制，且未能充分捕获细粒度几何残差，导致重建网格在局部区域精度不足；其三，在生成多个候选解后，通常采用孤立逐点评分策略进行最优解筛选，无法利用候选解之间的交互比较信息，当候选数量较多时易产生“分数稀释”现象，即优劣候选得分边界模糊，致使系统难以精准选出全局最优解，严重制约了最终重建质量。

3、因此，现有技术存在采样速度慢、遮挡区域重建畸变严重以及候选解筛选精度低的问题，导致难以兼顾高保真度与实时性需求。

技术实现思路

1、本发明为了解决上述问题，提出了一种基于扩散模型的遮挡人脸三维快速重建方法及系统，在严重遮挡场景下实现了低延迟、高保真度且具备最优解精准检索能力的三维人脸几何重建。

2、根据一些实施例，本发明采用如下技术方案：

3、一种基于扩散模型的遮挡人脸三维快速重建方法，包括：

4、获取包含遮挡的单目二维人脸图像，从中提取图像身份特征，经归一化得到身份条件；

5、依据身份条件，利用扩散模型进行常微分方程加速采样并施以频谱自适应投影约束，生成候选解集合；

6、对候选解集合与身份条件进行多模态特征融合及候选间差异关系放大，得到各候选解的归一化得分；

7、将得分最高的候选解作为全局最优解，再次依据该参数合成三维人脸网格。

8、根据一些实施例，本发明采用如下技术方案：

9、一种基于扩散模型的遮挡人脸三维快速重建系统，包括：

10、特征提取模块，被配置为：获取包含遮挡的单目二维人脸图像，从中提取图像身份特征，经归一化得到身份条件；

11、候选生成模块，被配置为：依据身份条件，利用扩散模型进行常微分方程加速采样并施以频谱自适应投影约束，生成候选解集合；

12、候选解评分模块，被配置为：对候选解集合与身份条件进行多模态特征融合及候选间差异关系放大，得到各候选解的归一化得分；

13、人脸重建模块，被配置为：将得分最高的候选解作为全局最优解，再次依据该参数合成三维人脸网格。

14、根据一些实施例，本发明采用如下技术方案：

15、一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现所述的一种基于扩散模型的遮挡人脸三维快速重建方法。

16、根据一些实施例，本发明采用如下技术方案：

17、一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的一种基于扩散模型的遮挡人脸三维快速重建方法。

18、根据一些实施例，本发明采用如下技术方案：

19、一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的一种基于扩散模型的遮挡人脸三维快速重建方法。

20、与现有技术相比，本发明的有益效果为：

21、1）提出了一种tie生成机制，用于解决扩散过程中的各向同性采样与三维人脸形变先验不匹配以及生成速度慢的问题。该机制引入了sa-hep，通过构建维度自适应的几何约束来稳定加速常微分方程的采样过程。结合求解器，本发明能够在仅需20步采样的情况下，实现高保真、低延迟的遮挡人脸三维几何生成。

22、2）提出了一种交互比较评分网络（intercompscorenet），将最优候选解的筛选过程重构为一种跨候选解的关系建模任务。该网络通过gff模块实现多模态特征的高效对齐，并利用erm模块在多个候选解之间进行联合推理。两者协同工作，有效克服了传统孤立打分机制固有的“分数稀释”缺陷，显著放大了高相似度候选解之间的微小几何差异。

23、3）设计并引入了一种htk-loss，利用全局分布对齐与局部非对称强化策略联合优化评分网络。该损失函数不仅强制网络学习候选解的全局排序一致性，还对最优解施加判别性惩罚，从而锐化决策边界，使系统能够更精准地检索并输出具有全局最小误差的最优三维人脸网格。

1.一种基于扩散模型的遮挡人脸三维快速重建方法，其特征在于，包括：

2.如权利要求1所述的一种基于扩散模型的遮挡人脸三维快速重建方法，其特征在于，所述利用扩散模型进行常微分方程加速采样，具体为：

3.如权利要求2所述的一种基于扩散模型的遮挡人脸三维快速重建方法，其特征在于，所述频谱自适应投影约束，具体为：

4.如权利要求1所述的一种基于扩散模型的遮挡人脸三维快速重建方法，其特征在于，所述各候选解的归一化得分，是通过交互比较评分网络得到的，具体为：

5.如权利要求4所述的一种基于扩散模型的遮挡人脸三维快速重建方法，其特征在于，所述交互比较评分网络的训练优化，采用分层top-k排序损失函数，将优化解耦为全局分布对齐与局部非对称强化两个阶段。

6.如权利要求5所述的一种基于扩散模型的遮挡人脸三维快速重建方法，其特征在于，所述全局分布对齐，具体为：

7.如权利要求5所述的一种基于扩散模型的遮挡人脸三维快速重建方法，其特征在于，所述局部非对称强化，具体为：

8.一种基于扩散模型的遮挡人脸三维快速重建系统，其特征在于，包括：

9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-7任一项所述的一种基于扩散模型的遮挡人脸三维快速重建方法。

10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-7任一项所述的一种基于扩散模型的遮挡人脸三维快速重建方法。