一种人脸图像处理方法、系统及介质与流程

本发明涉及图像处理，特别是一种人脸图像处理方法、系统及介质。

背景技术：

1、扩散模型能够根据文本指令或图像提示，实现对图像内容的修改与重绘。现有技术通常依赖文本指令或有限的图像示例来引导模型修改特定区域，例如将眉毛区域的颜色调整为指定目标。然而，文本描述难以精确表达复杂的颜色风格，尤其当目标颜色难以用文字概括时，模型往往无法准确理解编辑意图，导致模型生成效果不佳。

2、为解决该问题，传统方案需要收集大量包含目标颜色的配对数据对模型进行全参数微调，这不仅训练成本高昂，而且容易导致模型遗忘原有能力；此外，每遇到一种新颜色均需重新训练，缺乏泛化性。并且，由于眉毛区域结构细小、纹理丰富，通用编辑模型在对其进行颜色修改时容易改变眉毛形状或影响周边皮肤，难以实现像素级的局部精准控制。

3、因此，如何在不依赖大量标注数据和全模型重训练的前提下，使扩散模型能够精准地将任意用户眉毛颜色迁移至目标颜色，成为本领域亟待解决的技术问题。

技术实现思路

1、为解决上述技术问题，本发明提供了一种人脸图像处理方法，其包括以下步骤：

2、获取待处理人脸图像及目标颜色值；

3、提取所述待处理人脸图像的眉毛区域，得到源眉毛拼接图；

4、生成与所述源眉毛拼接图尺寸相同的提示图；所述提示图中与所述源眉毛拼接图的眉毛区域相对应的位置不包含颜色信息或填充有预设像素，其余区域的像素点设置为所述目标颜色值；

5、将所述源眉毛拼接图与提示图沿水平方向拼接，得到待处理拼接图；

6、将所述待处理拼接图输入至预训练的扩散模型，所述扩散模型根据所述提示图中的目标颜色值对所述源眉毛拼接图中的眉毛进行颜色迁移，生成眉毛颜色迁移图；

7、提取所述眉毛颜色迁移图中与所述源眉毛拼接图的位置相对应的图像部分，并将其分割为左眉颜色迁移图与右眉颜色迁移图；

8、将所述左眉颜色迁移图与右眉颜色迁移图融合至所述待处理人脸图像。

9、可选的，提取所述待处理人脸图像的眉毛区域，得到源眉毛拼接图，包括：

10、对所述待处理人脸图像进行人脸关键点检测，以分别定位左眉轮廓点与右眉轮廓点；

11、根据所述左眉轮廓点确定左眉裁剪区域，并从所述待处理人脸图像中裁剪得到左眉局部图；根据所述右眉轮廓点确定右眉裁剪区域，并从所述待处理人脸图像中裁剪得到右眉局部图；

12、将所述左眉局部图与右眉局部图分别缩放至预设尺寸后，再沿垂直方向上下拼接，得到源眉毛拼接图。

13、可选的，根据所述左眉轮廓点确定左眉裁剪区域具体为：基于所述左眉轮廓点的最小外接矩形向外扩展预设比例，得到左眉裁剪区域；

14、根据所述右眉轮廓点确定右眉裁剪区域具体为：基于所述右眉轮廓点的最小外接矩形向外扩展预设比例，得到右眉裁剪区域。

15、可选的，将所述左眉颜色迁移图与右眉颜色迁移图融合至所述待处理人脸图像，包括：

16、基于所述左眉轮廓点与右眉轮廓点，通过逆变换将所述左眉颜色迁移图与右眉颜色迁移图映射至所述待处理人脸图像的对应区域，并对所述对应区域进行边缘羽化处理。

17、可选的，所述扩散模型的训练步骤包括：

18、构建训练样本，所述训练样本包括源眉毛图像以及目标眉毛图像；所述目标眉毛图像是通过将眉毛区域的颜色值填充至非眉毛区域得到的；

19、将所述源眉毛图像与目标眉毛图像沿水平方向拼接后作为条件输入、所述目标眉毛图像作为监督目标，对初始扩散模型进行微调，在微调过程中更新所述初始扩散模型中交叉注意力层的参数。

20、可选的，在微调过程中更新所述初始扩散模型中交叉注意力层的参数，包括：

21、采用低秩适配方式，在所述初始扩散模型的交叉注意力层中，仅为查询投影矩阵、键投影矩阵以及值投影矩阵添加低秩分解参数作为可训练参数，并保持所述初始扩散模型的其余参数不变。

22、可选的，构建训练样本，包括：

23、获取多组图像对，每组图像对包含第一人脸图像和第二人脸图像；所述第一人脸图像中的眉毛颜色与第二人脸图像中的眉毛颜色不同，其余视觉属性均相同；

24、提取第二人脸图像眉毛区域的颜色值；

25、对所述第一人脸图像中的眉毛区域执行裁剪、缩放及拼接处理，得到源眉毛图像；对所述第二人脸图像中的眉毛区域执行裁剪、缩放及拼接处理，并将所得图像中非眉毛区域的像素值替换为所述颜色值，得到目标眉毛图像。

26、可选的，提取第二人脸图像眉毛区域的颜色值具体为：计算所述第二人脸图像眉毛区域内所有像素点的rgb颜色平均值，并将其作为颜色值。

27、与所述人脸图像处理方法相对应的，本发明提供一种人脸图像处理系统，其包括：

28、数据获取模块，用于获取待处理人脸图像及目标颜色值；

29、源眉毛拼接图生成模块，用于提取所述待处理人脸图像的眉毛区域，得到源眉毛拼接图；

30、提示图生成模块，用于生成与所述源眉毛拼接图尺寸相同的提示图；所述提示图中与所述源眉毛拼接图的眉毛区域相对应的位置不包含颜色信息或填充有预设像素，其余区域的像素点设置为所述目标颜色值；

31、图像拼接模块，用于将所述源眉毛拼接图与提示图沿水平方向拼接，得到待处理拼接图并输入至眉毛颜色迁移模块；

32、眉毛颜色迁移模块，其包括预训练的扩散模型，所述扩散模型根据所述提示图中的目标颜色值对所述源眉毛拼接图中的眉毛进行颜色迁移，生成眉毛颜色迁移图；

33、图像分割模块，用于提取所述眉毛颜色迁移图中与所述源眉毛拼接图的位置相对应的图像部分，并将其分割为左眉颜色迁移图与右眉颜色迁移图；

34、图像融合模块，用于将所述左眉颜色迁移图与右眉颜色迁移图融合至所述待处理人脸图像。

35、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸图像处理程序，所述人脸图像处理程序被处理器执行时实现如上文所述的人脸图像处理方法的步骤。

36、与现有技术相比，本发明具有如下有益效果：

37、（1）通过获取待处理人脸图像及目标颜色值，并生成与源眉毛拼接图尺寸相同、非眉毛区域填充目标颜色值的提示图，将源眉毛拼接图与提示图沿水平方向拼接后输入预训练的扩散模型，使扩散模型能够直接以像素级的提示图作为条件引导，精准理解目标颜色迁移意图，无需依赖文本描述；预训练的扩散模型能够根据提示图中的目标颜色值对源眉毛拼接图进行颜色迁移；进一步的，将生成的眉毛颜色迁移图重新分割并融合回原始人脸图像，从而在不依赖大量标注数据和全模型重训练的前提下，实现了对眉毛区域的像素级局部精准颜色迁移，有效避免了眉毛形状改变及周边皮肤受影响的问题。

38、（2）通过对人脸图像进行关键点检测定位左、右眉轮廓点，并基于轮廓点确定裁剪区域以裁剪得到左、右眉局部图，再将左、右局部图分别缩放至预设尺寸后沿垂直方向拼接得到源眉毛拼接图，使得左、右眉毛能够以统一的标准化尺寸和固定布局进入后续处理流程，便于扩散模型对眉毛区域进行稳定、一致的颜色迁移处理，同时避免了因原始图像中眉毛位置、大小差异导致的模型处理不稳定问题。

39、（3）基于左眉轮廓点和右眉轮廓点的最小外接矩形向外扩展预设比例来确定裁剪区域，使得裁剪后的局部图在保留完整眉毛结构的同时包含适当比例的周边区域，为后续颜色迁移提供了必要的上下文信息，既避免了裁剪区域过小导致眉毛边缘信息缺失，又避免了裁剪区域过大引入过多无关背景干扰，从而提升了颜色迁移的精度和边缘过渡的自然度。

40、（4）基于左眉轮廓点与右眉轮廓点进行逆变换映射，使得颜色迁移后的左眉颜色迁移图与右眉颜色迁移图能够准确回归至原始人脸图像的对应空间位置；配合边缘羽化处理，能够有效消除拼接边界处的像素突变，确保了融合后眉毛区域与周边皮肤之间的颜色过渡自然、无缝衔接，避免了生硬拼接痕迹，提高了眉毛颜色迁移的图像生成质量。

41、（5）通过构建包含源眉毛图像以及目标眉毛图像的训练样本，并将源眉毛图像与目标眉毛图像沿水平方向拼接后作为条件输入、目标眉毛图像作为监督目标对初始扩散模型进行微调，且在微调过程中仅更新交叉注意力层的参数，使得扩散模型能够在少量配对数据条件下快速学习颜色迁移任务，无需全参数重训练，显著降低了训练成本，同时保留了模型原有的生成能力，实现了对新颜色的快速适配与泛化。

42、（6）采用低秩适配方式，仅在初始扩散模型交叉注意力层的查询投影矩阵、键投影矩阵以及值投影矩阵中添加低秩分解参数作为可训练参数，并保持其余参数不变，使得模型微调过程中的可训练参数量大幅减少，在进一步降低计算资源消耗和训练时间的同时，有效抑制了模型对原有能力的遗忘，提升了微调效率与模型稳定性。

43、（7）通过获取眉毛颜色不同但其余视觉属性均相同的多组图像对，提取第二人脸图像眉毛区域的颜色值，并对第一人脸图像的眉毛区域分别执行裁剪、缩放及拼接处理得到源眉毛图像，对第二人脸图像中的眉毛区域执行裁剪、缩放及拼接处理，再将目标眉毛图像中非眉毛区域的像素值替换为提取的颜色值，得到目标眉毛图像，使得训练样本的构建能够充分利用同一对象的不同颜色变体，减少了对外部标注数据的依赖，同时确保了源眉毛图像与目标眉毛图像之间除颜色外的结构一致性，为模型学习纯粹的颜色迁移映射提供了高质量监督信号。

44、（8）通过计算第二人脸图像眉毛区域内所有像素点的rgb颜色平均值作为颜色值，使得提取的颜色值能够综合反映眉毛区域的整体颜色特征，避免了因局部像素异常或光照不均导致的颜色偏差，从而为眉毛颜色迁移提供了稳定、可靠的目标颜色基准，提升了颜色迁移结果的一致性和准确性。