基于身份保持与潜在扩散的人脸融合方法及系统与流程

本发明涉及计算机视觉，更具体地说是指基于身份保持与潜在扩散的人脸融合方法及系统。

背景技术：

1、在数字图像处理领域，人脸替换技术已经取得了显著进展，主要包括两类方法：一类是基于几何对齐和特征映射的传统换脸技术，例如单次人脸替换；另一类则是利用扩散模型实现的身份迁移技术，如仅使用单一身份约束模型进行重绘。这些技术在单人场景下能够有效地实现基本的换脸效果，但在面对多人场景以及高保真要求时，则暴露出一系列问题。

2、尽管上述技术在特定情况下表现良好，但它们在多人场景应用中面临挑战。首先，“源脸-目标脸”对应关系不稳定，导致了错配、串脸或替换顺序混乱等问题。其次，单一身份约束方案难以平衡“身份一致性”与“纹理自然度”，这使得生成的人脸看起来既缺乏真实感又存在皮肤质感失真的情况。此外，对于发际线、耳部及颈部等细节区域，掩膜边界处理能力不足，容易出现硬边、溢色及过渡不自然的现象，进一步影响了合成效果的真实性。更进一步地，当前的方法高度依赖人工绘制遮罩，自动化水平较低，且参数设置和流程设计不具备可复用性，增加了工程部署的成本。同时，在多轮局部修复过程中，整体色调漂移现象频发，造成融合区域与原图背景之间的不一致，破坏了图像的整体和谐性。

3、因此，有必要设计一种新的方法，实现能够在多人场景下提供高效、稳定及高质量人脸融合，克服现有技术中的种种缺陷，以满足日益增长的高保真度需求。

技术实现思路

1、本发明的目的在于克服现有技术的缺陷，提供基于身份保持与潜在扩散的人脸融合方法及系统。

2、为实现上述目的，本发明采用以下技术方案：基于身份保持与潜在扩散的人脸融合方法，包括：

3、获取并预处理目标底图、身份参考图，并初始化控制参数；

4、对所述身份参考图进行人脸检测和分割，筛选并排序对应的有效人脸，形成有序参考队列；

5、对所述目标底图上进行人脸检测和分割，筛选并排序对应的有效人脸，并与所述有序参考队列建立映射关系，以得到映射对集合；

6、获取外部掩膜图，或对所述映射对集合上的有效人脸生成外部掩膜图；

7、对齐所述外部掩膜图，并进行标准化处理，以得到处理结果；

8、基于所述处理结果，对所述映射对集合内的每个映射对提取几何结构和身份特征，构建复合条件约束模型，在扩散推理网络中施加条件以实现结构和身份的一致性；

9、基于所述条件，通过双阶段采样方法生成新面部图像；

10、对所述新面部图像进行几何匹配、色彩一致化及纹理增强，以得到处理后的面部图像；

11、根据所述外部掩膜图的透明度将所述处理后的面部图像融合回目标底图，以得到融合图像，并记录相关参数。

12、其进一步技术方案为：所述对所述身份参考图进行人脸检测和分割，筛选并排序对应的有效人脸，形成有序参考队列，包括：

13、对所述身份参考图执行人脸检测与语义分割，获得候选人脸框及对应分割区域；

14、计算每个候选人脸框的有效面积并进行筛选，保留满足阈值条件的候选人脸框，并按统一排序规则构建有序参考身份队列。

15、其进一步技术方案为：所述对所述目标底图上进行人脸检测和分割，筛选并排序对应的有效人脸，并与所述有序参考队列建立映射关系，以得到映射对集合，包括：

16、对所述目标底图执行人脸检测与语义分割，获得候选人脸框及对应分割区域，并计算每个候选人脸框的有效面积并进行筛选，保留满足阈值条件的候选人脸框，并按统一排序规则构建目标身份队列；

17、建立所述有序参考队列与所述目标身份队列的一一映射关系，其中，当两队列数量不一致时，以较小数量为有效映射数进行处理，超出部分保持原图不变或按预设策略处理。

18、其进一步技术方案为：所述对齐所述外部掩膜图，并进行标准化处理，以得到处理结果，包括：

19、对所述外部掩膜图进行尺寸对齐、坐标对齐以及透明度归一处理，再进行孔洞填补、边缘细化、形态膨胀、边缘平滑、透明度重映射，以得到处理结果。

20、其进一步技术方案为：所述基于所述处理结果，对所述映射对集合内的每个映射对提取几何结构和身份特征，构建复合条件约束模型，在扩散推理网络中施加条件以实现结构和身份的一致性，包括：

21、基于所述处理结果，对所述映射对集合内的每个映射对的目标底图和身份参考图进行扩展框裁剪，并缩放到统一尺寸，以得到处理后的两个图像；

22、对处理后的两个图像定位人脸关键点并估计头部姿态，转换为几何条件表示图；

23、对两个所述几何条件表示图通过相似变换对齐参考人脸，并输入到特征提取网络，以得到身份向量；

24、对所述身份向量结合几何结构和身份特征，按权重融合成复合条件。

25、其进一步技术方案为：所述基于所述处理结果，对所述映射对集合内的每个映射对提取几何结构和身份特征，构建复合条件约束模型，在扩散推理网络中施加条件以实现结构和身份的一致性，还包括：

26、在两个所述几何条件表示图的差异不符合要求时先进行粗略换脸或几何调整，创建更接近目标结构的初始化参考人脸，再进行身份向量的生成。

27、其进一步技术方案为：所述基于所述条件，通过双阶段采样方法生成新面部图像，包括：

28、对所述目标底图通过编码器转换为潜在表示，并根据所述外部掩膜图生成限定变化区域的潜在掩膜，根据指定的随机种子控制仅在潜在掩膜的区域内添加噪声，以得到含噪潜在变量；

29、在条件下，对所述含噪潜在变量进行扩散反演处理得到第一特征，并解码为初步融合面部图像；

30、对所述初步融合面部图像，针对高敏感区域进行精修采样，以得到新面部图像。

31、其进一步技术方案为：所述对所述新面部图像进行几何匹配、色彩一致化及纹理增强，以得到处理后的面部图像，包括：

32、通过计算缩放、平移或仿射变换参数调整所述新面部图像的位置和大小；

33、统计并调整所述新面部图像的颜色分布，使所述新面部图像的颜色分布与目标底图的肤色和光照条件相匹配；

34、根据需要选择是否对调整后的面部图像进行超分辨率处理或细节恢复，以得到处理后的面部图像。

35、其进一步技术方案为：所述根据所述外部掩膜图的透明度将所述处理后的面部图像融合回目标底图，以得到融合图像，并记录相关参数，包括：

36、通过扩展框与图像边界相交确定回写区域，并基于标准融合掩膜的非零值部分定义有效融合区域；

37、在所述回写区域内，根据所述外部掩膜图的透明度对对所述处理后的面部图像和目标底图进行像素级别的加权融合，以生成中间图像，对于多人脸的情况重复执行并更新中间图像，当在发生重叠时依据面积或顺序优先策略调整回写顺序并优化外部掩膜图像，以得到融合图像；

38、记录所有关键参数。

39、本发明还提供了基于身份保持与潜在扩散的人脸融合系统，包括：

40、获取单元，用于获取并预处理目标底图、身份参考图，并初始化控制参数；

41、第一处理单元，用于对所述身份参考图进行人脸检测和分割，筛选并排序对应的有效人脸，形成有序参考队列；

42、第二处理单元，用于对所述目标底图上进行人脸检测和分割，筛选并排序对应的有效人脸，并与所述有序参考队列建立映射关系，以得到映射对集合；

43、掩膜图形成单元，用于获取外部掩膜图，或对所述映射对集合上的有效人脸生成外部掩膜图；

44、对齐处理单元，用于对齐所述外部掩膜图，并进行标准化处理，以得到处理结果；

45、映射提取单元，用于基于所述处理结果，对所述映射对集合内的每个映射对提取几何结构和身份特征，构建复合条件约束模型，在扩散推理网络中施加条件以实现结构和身份的一致性；

46、双采样单元，用于基于所述条件，通过双阶段采样方法生成新面部图像；

47、图像处理单元，用于对所述新面部图像进行几何匹配、色彩一致化及纹理增强，以得到处理后的面部图像；

48、融合单元，用于根据所述外部掩膜图的透明度将所述处理后的面部图像融合回目标底图，以得到融合图像，并记录相关参数。

49、本发明与现有技术相比的有益效果是：本发明通过获取并预处理目标底图和身份参考图，利用人脸检测和分割技术筛选排序有效人脸形成有序参考队列，并与目标底图中的人脸建立映射关系；接着，通过自动或手动方式生成外部掩膜图并进行对齐和标准化处理，为每个映射对构建复合条件约束模型，在扩散推理网络中施加结构和身份一致性条件，采用双阶段采样方法生成新面部图像；随后对新面部图像进行几何匹配、色彩一致化及纹理增强，最后根据外部掩膜图的透明度将优化后的面部图像无缝融合回目标底图，从而实现多人场景下高效、稳定且高质量的人脸融合。这种方法克服了现有技术在错配概率、身份保持以及自然过渡等方面的缺陷，满足了高保真度的需求，确保了合成结果的真实性和一致性。

50、下面结合附图和具体实施例对本发明作进一步描述。