一种基于双域协同的人脸美学评分方法

本发明涉及计算机视觉与人工智能技术，具体是一种基于双域协同的人脸美学评分方法。

背景技术：

1、人脸美学评分旨在根据人脸图像预测符合人类主观感知的面部吸引力评分，是人脸分析领域的一项重要任务，可应用于人像增强、虚拟妆容和医疗美容分析等场景。近年来，随着深度学习技术的发展，自动化人脸美学评分受到广泛关注。

2、现有人脸美学评分方法主要包括基于人工几何特征的方法和基于深度学习的方法。基于人工几何特征的方法通常根据面部关键点构建面部距离、比例和对称性等结构域几何特征，并结合回归模型进行评分预测，该类方法能够利用面部结构域几何特征进行分析，但对人脸外观、纹理和局部细节等视觉信息的表征能力有限；基于深度学习的方法通常利用卷积神经网络或transformer从人脸图像中提取视觉域特征，并基于视觉域特征进行人脸美学评分预测，该类方法主要依赖面部视觉域特征，对面部距离关系、对称关系和比例关系等结构域几何特征利用不足。

3、部分人脸美学评分方法尝试将面部关键点引入深度学习模型，但通常采用直接拼接或单向注意力机制对视觉域特征与结构域几何特征进行融合，两类特征之间的信息交互仍不充分，影响视觉域特征与结构域几何特征的有效融合。另一方面，人脸美学评分具有较强的主观性，不同评分者对同一人脸图像可能给出不同的评分。一幅人脸图像的评分标签通常表现为主观评分分布或多个主观评分的平均值。现有方法若仅对单一评分值进行回归，难以充分利用评分分布中包含的主观差异信息。因此，如何有效融合视觉域特征与结构域几何特征，并充分利用评分分布信息进行人脸美学评分预测，仍是现有人脸美学评分方法需要解决的问题。

技术实现思路

1、本发明的目的是针对现有技术的不足，而提供一种基于双域协同的人脸美学评分方法。这种方法能提高人脸美学评分预测的准确性和稳定性。

2、实现本发明目的的技术方案是：

3、一种基于双域协同的人脸美学评分方法的人脸美学评分方法，包括如下步骤：

4、1）人脸图像与面部关键点获取：对待评分人脸图像进行预处理，得到归一化人脸图像，并采用面部关键点检测模型提取面部关键点集合，具体为：设待评分人脸图像为，其中和分别表示待评分人脸图像的高度和宽度，然后，将待评分人脸图像转换为rgb三通道图像，根据模型所需的输入尺寸，将待评分人脸图像的尺寸缩放至，接着对尺寸缩放后的人脸图像进行像素归一化处理，像素归一化采用按通道标准化方式进行，得到归一化人脸图像，计算公式为：，其中，表示像素位置，表示颜色通道索引， 和 分别表示第个颜色通道的均值和标准差；采用面部关键点检测模型mediapipe face mesh计算归一化人脸图像的眉部、眼部、鼻部、唇部、面部轮廓及虹膜区域面部关键点，得到面部关键点集合，其中，表示第个面部关键点，和分别表示第个面部关键点在图像坐标系中的横坐标和纵坐标，表示面部关键点总数，取值为478；

5、2）几何描述符构建与编码：基于面部关键点集合构建距离描述符、对称描述符和比例描述符三类几何描述符，并分别对距离描述符、对称描述符和比例描述符进行编码得到结构域几何特征，具体为：

6、2-1）从面部关键点集合中选取若干组关键点，分别计算每组关键点之间的欧氏距离，并利用面部尺度因子进行归一化，得到距离描述符，具体为：设第个和第个面部关键点的二维坐标分别为和，则两个关键点之间的归一化距离计算公式为：，其中表示人脸尺度因子；

7、2-2）从面部左右对称区域中选取若干组对应关键点，分别计算每组关键点在水平方向上的镜像误差和垂直方向上的位置误差，并利用面部尺度因子进行归一化，得到对称描述符，计算公式为：和，其中表示人脸中线位置；

8、2-3）选取若干组能够反映面部区域相对尺度的距离，分别计算每组两个距离之间的比值，得到比例描述符，第组距离对应的比例特征计算公式为：，其中，和分别表示计算该比例特征时作为分子和分母的面部距离，表示用于防止分母为零的常数；

9、2-4）在得到距离描述符、对称描述符和比例描述符后，分别对三类几何描述符进行编码，具体为：令表示第类几何描述符，其中分别对应距离、对称和比例描述符，首先，对每类几何描述符进行归一化，随后，将每个归一化描述符通过特征映射操作转换为维特征向量，并为其加入对应的描述符标识嵌入，得到描述符特征序列，计算公式如下：

10、，

11、其中，表示该类描述符的数量，表示归一化操作，表示第类描述符的特征映射操作，；然后，针对每类描述符设置个可学习查询向量，这些查询向量在模型训练过程中自动更新，用于从描述符特征序列中选择并聚合相关的几何信息，具体而言，以作为查询特征，作为键特征和值特征，通过多头交叉注意力计算各描述符对于不同查询向量的重要程度，并根据相应权重完成加权聚合，随后，将聚合结果与查询向量进行残差连接，再经过前馈网络处理，最终得到第类几何描述符对应的聚合特征，计算公式如下：

12、,

13、,

14、其中，表示多头交叉注意力操作，表示前馈网络，表示第类几何描述符的类型嵌入；最后，将三类聚合特征沿特征序列维度进行拼接并归一化，得到结构域几何特征，计算公式为：

15、

16、其中表示拼接操作；

17、3）视觉域特征提取与增强：将归一化人脸图像输入视觉特征提取网络获得初始视觉域特征，经视觉美学特征增强模块处理后与初始特征进行残差融合，得到视觉域特征，具体为：将归一化人脸图像输入swin transformer视觉域特征提取网络，输出初始视觉域特征，计算公式为，其中表示swin transformer视觉特征提取网络的预训练参数；将初始视觉域特征输入视觉美学特征增强模块，通过不同感受野的卷积操作获取局部视觉信息，并生成视觉增强权重；依据视觉增强权重对初始视觉域特征进行加权，得到增强视觉域特征，将与进行特征相乘，并将融合后的特征进行展平和归一化得到视觉域特征，计算公式为：, 其中，，表示展平操作，表示逐元素乘法操作；

18、4）双域语义协同交互：利用视觉域特征与结构域几何特征进行双向交叉注意力交互，分别获得结构感知视觉特征和视觉感知结构特征；随后经残差融合和注意力池化，得到全局视觉域特征和全局结构域几何特征，具体为：先对视觉域特征进行归一化和线性映射，得到视觉查询特征、视觉键特征、视觉值特征，计算公式为：，

19、其中，表示线性映射操作，对结构域几何特征进行归一化和线性映射得到结构查询特征，结构键特征以及结构值特征，计算公式为：，在视觉查询结构的交互方向中，以作为查询，以和分别作为键和值，得到结构感知视觉特征，在结构到视觉的协同方向中，以作为查询，以和作为键和值，得到视觉感知结构特征，将结构感知视觉特征与原视觉域特征进行残差融合，并将视觉感知结构特征与原结构域几何特征进行残差融合，对交互后的视觉域特征和结构域几何特征分别输入注意力池化层，首先通过两层线性映射并采用softmax函数得到归一化权重和，计算公式如下：

20、

21、

22、其中，表示双曲正切激活函数；随后，根据注意力权重和分别对交互后的视觉域特征和结构域几何特征进行加权求和，分别得到全局视觉域特征和全局结构域几何特征，计算公式如下：和，其中，和分别表示第个视觉域特征和结构域几何特征；

23、5）双域自适应融合：根据所述全局视觉域特征和全局结构域几何特征生成融合权重，并根据融合权重对全局视觉域特征和全局结构域几何特征进行自适应加权融合，得到双域融合特征，具体为：将全局视觉域特征和全局结构域几何特征进行拼接并输入门控权重生成单元得到融合权重，计算公式如下：

24、，

25、其中，表示激活函数，根据对全局视觉域特征和全局结构域几何特征进行自适应加权融合，得到双域融合特征，计算公式为；

26、6）分布期望与残差修正评分预测：根据双域融合特征预测人脸美学评分的概率分布和残差修正值，并将概率分布对应的期望评分与残差修正值相加，得到最终的人脸美学预测评分，具体为：首先，将双域融合特征输入评分分布预测层，并采用softmax函数进行归一化，得到评分概率分布，计算公式为：，其中，表示评分分布预测层的线性映射操作，表示预设评分区间的数量，表示预测评分属于第个评分区间的概率，且满足，随后，根据各评分区间的中心值对相应的预测概率进行加权求和，得到分布期望评分，计算公式为，其中表示第个评分区间的中心值；同时，利用残差修正分支从双域融合特征中预测评分偏差，并通过双曲正切函数限制其取值范围，再乘以残差范围控制系数，得到残差修正值，计算公式为，其中， 表示残差修正分支中的多层感知机，表示残差范围控制系数，得到最终人脸美学评分。

27、本技术方案首先对待评分人脸图像进行预处理，并提取面部关键点；然后，基于面部关键点构建距离描述符、对称描述符和比例描述符，并对三类描述符进行编码，得到结构域几何特征，同时从预处理后的人脸图像中提取并增强视觉域特征；接着，通过视觉域与结构域的双域语义协同交互，使视觉域特征与结构域几何特征进行双向信息交互，并对交互后的视觉域特征和结构域几何特征进行自适应融合，得到双域融合特征；最后，根据双域融合特征预测人脸美学评分概率分布和残差修正值，并将评分概率分布对应的分布期望分数与残差修正值相加，得到最终人脸美学评分。

28、本技术方案分别利用人脸图像中的面部视觉特征和基于面部关键点构建的几何结构特征，通过视觉域与结构域之间的双向信息交互和自适应融合，并结合评分分布与残差修正进行人脸美学评分预测，以提高人脸美学评分预测的准确性和稳定性。

29、这种方法能提高人脸美学评分预测的准确性和稳定性。