面试微笑评价方法及系统

1.本发明涉及智能面试领域，尤其涉及面试微笑评价方法及系统。


背景技术：

2.在面试过程中，面试者自信、微笑的表情会给面试官好的印象，进而提高面试的成功率；而局促不安、暴躁或者生气的表情会给让面试官产生不好的印象，进而降低面试的成功率。在实际面试过程中，面试者常常会因为紧张、没经验不自觉的露出让面试官印象不好的表情，进而导致面试的失败。为了提高面试的成功率，面试者会模拟面试过程，训练自己的面部表情以提高自己的面试成功率，然而，这种人工训练面试表情的方法由于缺乏有效对照物或者标注评价标准，主观性较大，对面试者的面部表情的训练效果有限。
3.此外，现有的ai面试系统在评价面试者的面部表情时，一般将面部图像输入训练好的表情识别神经网络中，识别面试的表情喜怒哀乐类别，对积极情绪类别的表情进行高分评价，这种基于神经网络的算法容易受噪声干扰，进而导致评价不准确。
4.因此，如何准确的评价面试者的面部表情已成为本领域技术人员亟待解决的技术问题。


技术实现要素：

5.本发明提供了面试微笑评价方法及系统，用于解决现有技术无法准确评价面试者面部表情的技术问题。
6.为解决上述技术问题，本发明提出的技术方案为：
7.一种面试微笑评价方法，包括以下步骤：
8.获取面试者的面试图片，并从所述面试图片中识别并提取评价者的面部图像；
9.将所述面部图像输入到预先构建并训练好的标准微笑识别模型中，得到面试者面部图像的经验评分score1；
10.采用五官定位算法从所述面部图像中提取面试者的五官相对位置，并计算所述五官相对位置数据与预先构建的标准微笑人脸的标准五官相对位置的相似度评分score2；
11.根据所述经验评分score1和相似度评分score2对面试者的面试表情进行综合评价。
12.优选的，所述标准微笑识别模型为采用残差卷积神经网络作为模型框架的二分类模型，训练数据的训练标签为微笑与不微笑；模型输入为面部图像，输出为输入的面部图像的微笑概率。
13.优选的，所述五官相对位置包括：两眼之间的距离e、眉毛之间的距离m、两眼连线的中点和鼻翼中点的垂直距离c、上嘴唇两边连线的中点和鼻翼中点的垂直距离d以及上嘴唇和下嘴唇之间的距离a；标准五官相对位置包括标准两眼之间的距离e
std
、标准眉毛之间的距离m
dtd
、标准两眼连线的中点和鼻翼中点的垂直距离c
std
、标准上嘴唇两边连线的中点和鼻翼中点的垂直距离d
std
以及标准上嘴唇和下嘴唇之间的距离a
std
。
14.优选的，将所述五官相对位置数据与预先构建的标准微笑人脸的标准五官相对位置数据进行相似度计算，包括以下步骤：
15.将所述五官相对位置数据缩放至[0,1]范围内，其中，缩放公式如下；
[0016][0017]
其中，e1为缩放后的两眼之间的距离e，m1为缩放后的眉毛之间的距离m；c1为缩放后的两眼连线的中点和鼻翼中点的垂直距离c；d1为缩放后的上嘴唇两边连线的中点和鼻翼中点的垂直距离d；a1为缩放后的上嘴唇和下嘴唇之间的距离a；
[0018]
基于缩放后的所述五官相对位置数据,并采用以下公式计算所述五官相对位置数据与标准五官相对位置数据的相似度：
[0019]
score2＝(e
1-e
std
)2 (m
1-m
std
)2 (c
1-c
std
)2 (d
1-d
std
)2 (a
1-a
std
)2。
[0020]
优选的，根据所述经验评分score1和相似度评分score2对面试者的面试表情进行综合评价，通过以下公式实现：
[0021]
scorem＝score1
×
ω1 score2
×
ω2
[0022]
其中，scorem为面试者面试表情的综合评分，其中，scorem值越大，表示面试者面试表情越趋近与标准面试表情，越能给面试官好印象；scorem值越小，表示面试者面试表情越偏离标准面试表情，越容易导致面试官影响不好；ω1为面试者面试表情的经验评分score1的权重，ω2为面试者面试表情的相似度评分score2的权重。
[0023]
优选的，从所述面试图片中识别并提取评价者的面部图像采用基于r-cnn的人脸识别模型实现；所述r-cnn的人脸识别模型以面试图片为输入，以面试图片中的面部图像为输出，以标注有面部图像的面试图片为训练数据。
[0024]
优选的，还包括以下步骤：
[0025]
设置综合评分下限，将面试者的面试表情的综合评分与所述综合评分下限进行比较，当所述综合评分低于所述综合评分下限时，输出报警信号/对应的面部图像给用户，以提示用户保持微笑。
[0026]
一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0027]
本发明具有以下有益效果：
[0028]
1、本发明中的面试微笑评价方法及系统，通过获取面试者的面试图片，并从所述面试图片中识别并提取评价者的面部图像；将所述面部图像输入到预先构建并训练好的标准微笑识别模型中，得到面试者面部图像的经验评分；采用五官定位算法从所述面部图像中提取面试者的五官相对位置，并计算所述五官相对位置数据与预先构建的标准微笑人脸的标准五官相对位置的相似度评分；根据所述经验评分和相似度评分对面试者的面试表情进行综合评价；相比现有技术，本发明根据神经网络模型输出经验评分和数值模型输出的相似度评分来综合判断面试者的面部表情，能提高面部表情的准确率，为面试者的面部表情训练以及ai面试系统中的面部表情评价功能提供有力支持。
[0029]
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。
附图说明
[0030]
构成本技术的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0031]
图1是本发明中的面试微笑评价方法的流程图。
具体实施方式
[0032]
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
[0033]
实施例一：
[0034]
如图1所示，本实施中公开了一种面试微笑评价方法，包括以下步骤：
[0035]
获取面试者的面试图片，并从所述面试图片中识别并提取评价者的面部图像；
[0036]
将所述面部图像输入到预先构建并训练好的标准微笑识别模型中，得到面试者面部图像的经验评分；
[0037]
采用五官定位算法从所述面部图像中提取面试者的五官相对位置，并计算所述五官相对位置数据与预先构建的标准微笑人脸的标准五官相对位置的相似度评分；
[0038]
根据所述经验评分和相似度评分对面试者的面试表情进行综合评价。
[0039]
此外，在本实施例中，还公开了一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0040]
本发明中的面试微笑评价方法及系统，通过获取面试者的面试图片，并从所述面试图片中识别并提取评价者的面部图像；将所述面部图像输入到预先构建并训练好的标准微笑识别模型中，得到面试者面部图像的经验评分；采用五官定位算法从所述面部图像中提取面试者的五官相对位置，并计算所述五官相对位置数据与预先构建的标准微笑人脸的标准五官相对位置的相似度评分；根据所述经验评分和相似度评分对面试者的面试表情进行综合评价；相比现有技术，本发明根据神经网络模型输出经验评分和数值模型输出的相似度评分来综合判断面试者的面部表情，能提高面部表情的准确率，为面试者的面部表情训练以及ai面试系统中的面部表情评价功能提供有力支持。
[0041]
实施例二：
[0042]
实施例二是实施例一的优选实施例，其与实施例一的不同之处，对面试微笑评价方法的具体步骤进行了介绍，具体包括以下步骤：
[0043]
一种面试微笑评价方法，包括以下步骤：
[0044]
步骤一：获取面试者的面试图片，并从所述面试图片中识别并提取评价者的面部图像；
[0045]
从所述面试图片中识别并提取评价者的面部图像采用基于r-cnn的人脸识别模型实现；所述r-cnn的人脸识别模型以面试图片为输入，以面试图片中的面部图像为输出，以标注有面部图像的面试图片为训练数据。
[0046]
步骤二：将所述面部图像输入到预先构建并训练好的标准微笑识别模型中，得到面试者面部图像的经验评分score1；
[0047]
其中，所述标准微笑识别模型为采用残差卷积神经网络作为模型框架的二分类模
型，训练数据的训练标签为微笑与不微笑；模型输入为面部图像，输出为输入的面部图像的微笑概率，即经验评分score1为输入的面部图像的微笑概率。
[0048]
其中，采集标准面部微笑照片制作训练数据集和测试集；使用残差卷积神经网络基于训练集进行训练得到标准微笑识别模型；在测试集上对标准微笑识别模型的效果进行评价，反复迭代，当模型效果达到预期之后即可投入使用。
[0049]
具体的，标准微笑识别模型训练集构建方法如下：
[0050]
采集100-200张人脸图片(只包含人脸区域)，人工将图片进行分为微笑图片和非微笑图片。分类后再使用裁剪、镜像等方法进行数据增强，最终得到1000张左右图片的数据集。对数据集进行分层划分，训练集占80％，验证集占20％。训练时的batch size为10，epoch为200。
[0051]
其中，构建的标准微笑识别模型的框架如下：
[0052][0053][0054]
步骤三：采用五官定位算法从所述面部图像中提取面试者的五官相对位置，并计算所述五官相对位置数据与预先构建的标准微笑人脸的标准五官相对位置的相似度评分score2；
[0055]
其中，所述五官相对位置包括：两眼之间的距离e、眉毛之间的距离m、两眼连线的中点和鼻翼中点的垂直距离c、上嘴唇两边连线的中点和鼻翼中点的垂直距离d以及上嘴唇和下嘴唇之间的距离a；标准五官相对位置包括标准两眼之间的距离e
std
、标准眉毛之间的距离m
std
、标准两眼连线的中点和鼻翼中点的垂直距离c
std
、标准上嘴唇两边连线的中点和鼻翼中点的垂直距离d
std
以及标准上嘴唇和下嘴唇之间的距离a
std
。
[0056]
具体的，将所述五官相对位置数据与预先构建的标准微笑人脸的标准五官相对位置数据进行相似度计算，包括以下步骤：
[0057]
将所述五官相对位置数据缩放至[0,1]范围内，其中，缩放公式如下；
[0058][0059]
其中，e1为缩放后的两眼之间的距离e，m1为缩放后的眉毛之间的距离m；c1为缩放后的两眼连线的中点和鼻翼中点的垂直距离c；d1为缩放后的上嘴唇两边连线的中点和鼻翼中点的垂直距离d；a1为缩放后的上嘴唇和下嘴唇之间的距离a；
[0060]
在本实施例中，缩放公式也可采用其他归一化公式替代。
[0061]
基于缩放后的所述五官相对位置数据,并采用以下公式计算所述五官相对位置数
据与标准五官相对位置数据的相似度：
[0062]
score2＝(e
1-e
std
)2 (m
1-m
std
)2 (c
1-c
std
)2 (d
1-d
std
)2 (a
1-a
std
)2。
[0063]
步骤四：根据所述经验评分score1和相似度评分score2对面试者的面试表情进行综合评价。
[0064]
其中，根据所述经验评分score1和相似度评分score2对面试者的面试表情进行综合评价，通过以下公式实现：
[0065]
scorem＝score1
×
ω1 score2
×
ω2
[0066]
其中，scorem为面试者面试表情的综合评分，其中，scorem值越大，表示面试者面试表情越趋近与标准面试表情，越能给面试官好印象；scorem值越小，表示面试者面试表情越偏离标准面试表情，越容易导致面试官影响不好；ω1为面试者面试表情的经验评分score1的权重，ω2为面试者面试表情的相似度评分score2的权重。
[0067]
其中，ω1、ω2根据经验设置，在本实施例中，ω1取值为0.6，ω2取值为0.4。
[0068]
步骤五：应用
[0069]
第一种、面试表情训练系统中的应用：设置综合评分下限，将面试者的面试表情的综合评分与所述综合评分下限进行比较，当所述综合评分低于所述综合评分下限时，输出报警信号/对应的面部图像给用户，以提示用户保持微笑。
[0070]
第二种、ai面试系统中的应用：根据面试者的所述综合评分，仪态评分，衣着评分，面试回答问题的语音、语调、语速对面试者的面试结果进行评分。
[0071]
综上所述，本发明中的面试微笑评价方法及系统，通过获取面试者的面试图片，并从所述面试图片中识别并提取评价者的面部图像；将所述面部图像输入到预先构建并训练好的标准微笑识别模型中，得到面试者面部图像的经验评分；采用五官定位算法从所述面部图像中提取面试者的五官相对位置，并计算所述五官相对位置数据与预先构建的标准微笑人脸的标准五官相对位置的相似度评分；根据所述经验评分和相似度评分对面试者的面试表情进行综合评价；相比现有技术，本发明根据神经网络模型输出经验评分和数值模型输出的相似度评分来综合判断面试者的面部表情，能提高面部表情的准确率，为面试者的面部表情训练以及ai面试系统中的面部表情评价功能提供有力支持。
[0072]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。