基于可视化脸型判断的面部美学评估方法及存储介质与流程

1.本发明属于图像处理技术领域，特别涉及面部脸型的可视化判定方法以及 基于该方法对面部美学进行评估的方法。


背景技术：

2.目前，国内外关于面部美学评估的研究还不全面。面部美学评估方法主要 分为传统方法和深度学习方法。传统方法主要是以手工特征为主。深度学习方 法主要是构建端到端的cnn模型。
3.手工特征主要包括人脸的几何、纹理、颜色等局部特征。在这些特征中，几 何特征是人脸美学研究中最常用的特征之一。它们是从标记点的位置、位置之 间的距离以及距离的比率得到的。因此，精确地获得面部轮廓、眉毛、眼睛、 鼻子和嘴的标记点是计算几何特征的基础。黄金比例是人类感知美的一个广泛 使用的规则，接近黄金比例的面部比例被认为是有吸引力的。为了分析黄金比 例在面部美学中的作用，许多研究人员评估了重要标记点的距离比例和黄金比 例之间的关系。纹理特征通常通过gabor滤波器或局部二值模式(lbp)获得。在 其他局部特征中，面部对称性在面部美容研究中引起了越来越多的关注。最早 的自动面部美学评估系统由p.aarabi提出，每幅图像由8个基于先验知识的几 何特征描述，该系统旨在将美容分为四个不同的类别，但是系统的分类精度强 烈依赖于标记点的定位精度。之后a.kagian提出了第一个精确的面部美容预测 器，他们使用了98个图像特征、90个几何特征和8个与面部对称性、头发、肤 色和平滑度相关的特征。他们的结果表明，机器可以学习人类的审美。然而， 由于数据集的规模有限(大约90幅图像)，设计的特征需要人工干预并且不能自 动化。因此，它不能在实践中广泛使用。可以看出，标记点的定位精度直接影 响几何特征的准确描述。在实际情况下，标记点需要手动校正。而且几何特征 通常基于启发式设计，没有精确的数学理论支持。因此，当在不同的人脸数据 集上测试时，它们既不可解释也不通用。
4.随着深度学习的发展，许多学者也借助深度学习来研究面部美学。xu提 出一种新颖的完全卷积结构的多任务网络，即分层多任务网络(hmtnet)。它可 以从图像中同时识别一个人的性别、种族，同时还能进行面部美学评估。然而， 深度学习模型是一个缺乏美学解释的端到端模型。
5.因此，我们将传统方法与深度学习方法相结合，既克服了传统方法鲁棒性不 高的问题，还解决了深度学习模型解释相差的弊端。


技术实现要素：

6.本发明旨在解决以上现有技术的问题。提出了一种基于可视化脸型判断的面 部美学评估方法。本发明的技术方案如下：
7.一种基于可视化脸型判断的面部美学评估方法，其包括以下步骤：
8.s1、首先输入原始面部图像，并利用现有的开源软件对面部图像进行标记 点定
位；
9.s2、其次，通过b样条函数对面部轮廓标记点进行插值建模，构造符合特 定轮廓点的b样条曲线；
10.s3、然后根据步骤s2中求得到b样条曲线，对其求二阶导数，并根据公式 求得不同面部图像的曲率特征fs；k表示曲率，y
′
、y
″
分别表示一阶 导数和二阶导数。
11.s4、之后，根据步骤s1中求得到面部标记点和面部表情研究理论中的面部 运动系统facs设计关于五官的几何特征fg；
12.s5、再根据原始输入图像，采用gabor滤波器提取面部纹理特征f
t
；
13.s6、同时也采用深度学习框架vgg对原始图像提取肤色、头发等补充特征 fh；
14.s7、最后将fs、fg、f
t
和fh融合形成的整个面部特征f
face
作为支持向量机 svr的输入进行美学评估，得到美学评分。
15.进一步的，所述步骤s1利用python dlib库中训练好的卷积神经网络模型进 行人脸检测，获得人脸图像，使用dlib库中的68个标记点检测模型对标记点进 行定位。
16.进一步的，所述步骤s2根据得到的面部轮廓标记点进行b样条插值建模， 构造符合特定轮廓点的b样条曲线，具体包括：b样条曲线是样条基函数的线 性组合，b样条基函数是k阶分段多项式，根据n 1个控制点pi(i＝0,1,2,...,n)和 节点向量t＝{t0,t1,...,tm}，k阶b样条表达式为：
[0017][0018]
上式中n
i,k
是k阶分段多项式；
[0019]
b样条曲线是基于递归的方式进行计算的，最常用的递归定义是由de boor and cox共同提出的：
[0020][0021][0022]
进一步的，所述步骤s2对面部轮廓点进行4阶b样条插值得到对应的插值 函数。即将参数k设置为4，采用上述递归式对面部轮廓标记点进行差值得到n
i,4
。
[0023]
进一步的，所述步骤s3：对得到的b样条插值函数进行求导，具体包括：
[0024]
[0025][0026]
再根据递归算法求得b样条的2阶导数。然后根据公式求得对应点的曲率：
[0027][0028]
将多个点的曲率进行拼接形成面部轮廓特征fs。
[0029]
进一步的，所述步骤s4根据步骤s1中求得到面部标记点和面部表情研究 理论中的面部运动系统facs设计关于五官的几何特征fg；
[0030]
具体来说，五官的几何特征fg分为整体脸、眉毛、眼睛、鼻子和嘴巴的几何 特征。整体脸特征是根据“三庭五眼”设计的。即把面部上下分为三份，把面 部的宽度分为五份，然后分别计算每一份与面部长和宽的比例作为整体脸特征。 facs的面部动作单元4(au4，下眉毛)与面部美学有关，au4包括眉毛和眼睛。 因此，为了包括眉毛的大小信息以及眉毛和眼睛的位置信息，眉毛的比例特征 依据au4设计。facs的面部动作单元5(au5，眼睛)与面部美学有关，au5 包括眼睛。因此，为了包括眼睛的大小以及位置信息，眼睛的比例特征依据au5 设计。facs的面部动作单元9(au9，鼻子)与面部美学有关，au9包括鼻子。 因此，为了包括鼻子的大小以及位置信息，鼻子的比例特征依据au9设计。facs 的面部动作单元17(au17，嘴巴)与面部美学有关，au17包括嘴巴。因此，为 了包括嘴巴的大小以及位置信息，嘴巴的比例特征依据au17设计。
[0031]
进一步的，所述步骤s5根据原始输入图像，采用gabor滤波器提取面部纹 理特征f
t
，具体包括：
[0032]
在空间域中，2d gabor滤波器定义如下所示：
[0033][0034]y′
＝xcosθ ysinθ
[0035]y′
＝-xsinθ ycosθ 上式中，(x,y)代表图像的像素点坐标，ω代表径向频率，θ代表方向，σ代 表标准差；
[0036]
首先根据标记点裁剪图像，并移除非空间图像区域；然后将gabor滤波器 与图像进行卷积，得到特征图像；之后将特征图像分为64块子图像，并计算每 块子图像的能量值：
[0037][0038]
最后通过主成分分析对能量矩阵进行平坦化和降维，得到纹理特征f
t
。
[0039]
进一步的，所述步骤s6：采用深度学习框架vgg对原始图像提取肤色、 头发在内的补充特征fh，具体包括：是从vgg中的第6层(fc6)提取特征；然后， 通过主成分分析对特征进行降维得到fh；
[0040]
进一步的，所述步骤s7将fs、fg、f
t
和fh融合形成的整个面部特征f
face
作 为支持向
量机svr的输入进行美学评估，得到美学评分，具体包括：
[0041]
曲率特征fs表征了面部轮廓，几何特征fg表征了面部五官，纹理特征f
t
表 征了面部纹理结构，fh对fs、fg和f
t
缺失的信息进行了补充，因此将fs、fg、 f
t
和fh融合形成的f
face
是对整个面部的特征表示。
[0042]
一种存储介质，该存储介质内部存储计算机程序，所述计算机程序被处理器 读取时，执行上述任一项的方法。
[0043]
本发明的优点及有益效果如下：
[0044]
本发明结合b样条、garbor滤波和深度学习算法提取混合特征来描述面部 美学。首先基于函数思想，用b样条曲线模拟人脸轮廓，将曲率作为面部轮廓 特征。使得脸型的直观表示转换成了可视化的曲率表示，让面部的定性描述转 化为直观的、可解释的定量描述；同时借助面部表情研究理论中的面部编码系 统facs完善了面部的五官特征；最后利用garbor滤波器和深度学习模型vgg 补充了纹理和肤色等特征，使得最终的特征涵盖了整个面部信息。本发明是目 前为止最优秀的美学评估方法。本发明的创新主要是权利要求1-6。现如今大部 分的对于面部手工特征的提取都是基于先验美学常识，计算标记点的距离或者 距离之间的比例，这已经形成固有的思维模式。但是此类特征无法说明是否与 美学评价有关，更无法给出相关的数学推导。而本文提出的面部轮廓可视化曲 线将原先定性的脸型描述转化为了基于固定公式的定量描述，即采用了一个基 本的数学方法对脸型的差异进行了准确、直观、可靠地描述。同时该轮廓曲线 对实际场景中的脸型整容和瘦脸p图也具有指导作用。本文结合面部表情识别 方法设计五官特征也是一大创新点。因为，有研究表明，不同的面部表情会对 美学评价有影响。本文采用facs设计特征，赋予了特征的可解释性以及与美 学评价的关联性，解决了前人靠经验知识设计特征的问题。
附图说明
[0045]
图1是本发明提供优选实施例为本发明提供优选实施例方法的流程图
[0046]
图2为轮廓特征提取流程图
[0047]
图3a-3e分别为整体脸、眉毛、眼睛、鼻子和嘴巴的几何特征示例图
[0048]
图4为本发明的总体框架图
[0049]
图5为美学程度由低到高的面部轮廓曲率曲线图
[0050]
具体实施方式
[0051]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
[0052]
本发明解决上述技术问题的技术方案是：
[0053]
本发明的方法流程如图1所示。
[0054]
本发明涉及了原图像的轮廓特征提取示例如图2、几何特征提取示例如图3、 总体框架流程图示例如图4以及部分实验的中间及最后结果图5。
[0055]
具体步骤：
[0056]
步骤s1：利用python dlib库中训练好的卷积神经网络模型进行人脸检测， 获得
人脸图像，使用dlib库中的68个标记点检测模型对标记点进行定位；
[0057]
步骤s2：根据得到的面部轮廓标记点进行b样条插值建模，构造符合特定 轮廓点的b样条曲线。b样条曲线是样条基函数的线性组合。b样条基函数是k 阶分段多项式。根据n 1个控制点pi(i＝0,1,2,...,n)和节点向量t＝{t0,t1,...,tm}，k阶 b样条表达式为：
[0058][0059]
上式中n
i,k
是k阶分段多项式。
[0060]
b样条曲线是基于递归的方式进行计算的。最常用的递归定义是由de boor and cox共同提出的：
[0061][0062][0063]
步骤s3：对得到的b样条插值函数进行求导：
[0064][0065][0066]
再根据递归算法求得b样条的2阶导数。然后根据公式求得对应点的曲率：
[0067][0068]
将多个点的曲率进行拼接形成面部轮廓特征fs，如图2所示；
[0069]
步骤s4：根据步骤s1中求得到面部标记点和面部表情研究理论中的面部运 动系统facs设计关于五官的几何特征fg，如图3a-3e所示；
[0070]
步骤s5：再根据原始输入图像，采用gabor滤波器提取面部纹理特征f
t
。
[0071]
在空间域中，2d gabor滤波器定义如下所示：
[0072][0073]y′
＝xcosθ ysinθ
[0074]y′
＝-xsinθ ycosθ
[0075]
上式中，(x,y)代表图像的像素点坐标，ω代表径向频率，θ代表方向，σ代 表标准差。
[0076]
首先根据标记点裁剪图像，并移除非空间图像区域(如头发区域)；然后将 gabor滤波器与图像进行卷积，得到特征图像；之后将特征图像分为64块子图 像，并计算每块子图像的能量值：
[0077][0078]
最后通过主成分分析对能量矩阵进行平坦化和降维，得到纹理特征f
t
；
[0079]
步骤s6：采用深度学习框架vgg对原始图像提取肤色、头发等补充特征fh。 具体来说，是从vgg中的第6层(fc6)提取特征。然后，通过主成分分析对特征 进行降维得到fh；
[0080]
步骤s7：将fs、fg、f
t
和fh融合形成的整个面部特征f
face
＝[fs,fg,f
t
,fh]作为 支持向量机svr的输入进行美学评估，得到美学评分。
[0081]
为了评估本算法的性能，本发明采用自然面部图像作为实验图像集，在本 实验中主要采用经典传统美学评估方法和最近的深度学习评估方法进行比较。
[0082]
本实验选择18年华南理工大学公开的面部美学评估数据集进行定量分析， 图5中b(1)-b(4)为美学程度由低到高的可视化面部轮廓曲率曲线图。实验 结果对比表如表1所示。
[0083]
表1相关系数pc、均方误差mae和均方根误差rmse对比表
[0084]
方法pc
↑
mae
↓
rmse
↓
gabor_pca gaussian_reg0.68380.39140.5085features gaussian_reg0.80650.39760.5126hmtnet0.87830.25010.3263resnet500.87770.25180.3325本方法0.88350.24670.3190
[0085]
计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以 由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、 程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型 的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器 (eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字 多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存 储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照 本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)， 如调制的数据信号和载波。
[0086]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖 非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅 包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过 程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包 括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者 设备中还存在另外的相同要素。
[0087]
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范 围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或 修改，这些等效
变化和修饰同样落入本发明权利要求所限定的范围。