一种面部AU关键点检测的方法、装置和电子设备与流程

一种面部au关键点检测的方法、装置和电子设备
技术领域
1.本发明属于图像识别领域，更具体地，涉及一种面部au关键点检测的方法、装置和电子设备。


背景技术：

2.人类的面部表情是由面部肌肉的运动来体现的。美国心理学家艾克曼教授在20世纪60年代发布了面部运动编码系统（facial action coding system，facs），对au的定义独立于其它假设和解释，仅依靠解剖学上肌肉分布与运动特征，而不是根据特定面部表情的假设，为面部表情提供了更客观、更细粒度的描述，对于面部表情的分析更为直观并且更具有可解释性。
3.facs定义了人类面部的几十组运动单元（action unit，au），每组au由一块或多块肌肉的运动组成。facs对每种au定义了a到e五个级别的强度，各种au之间自由组合，理论上人脸可以表达一万多种表情。au和面部表情的联系十分紧密，可将表情分解为不同au的组合，剖析人脸表情在面部的表象，把表情分解成具体的面部肌肉的运动，也即au运动，并且给出了识别和衡量表情的方法与基准。相对于通过人类语言的表情标签方式主观表达表情，可以通过一系列固定的人脸参数表示表情和人脸的行为。使用au检测的方式表达面部表情框架，可以避免因为观测者不同引入标注的歧义性。
4.现有大部分方法都是通过全脸特征检测的方式完成面部au的识别，然而面部au表达的是面部局部肌肉的运动，全脸特征检测的方式可能会导致使用嘴部特征完成眼部的au识别从而导致au检测不准确。


技术实现要素：

5.针对现有技术的以上缺陷或改进需求，本发明提供了一种面部au关键点检测的方法、装置和电子设备，其目的在于根据多个面部肌肉关键点将人脸区域划分为多个感兴趣区域roi，再基于多个roi组对应的最小外接矩形iu和in获得人脸图像对应的特征图fc；最后将特征图fc输入训练好的面部au识别模型中得到au关键点区域，并对au关键点区域对应iu和in进行回归迭代，得到最佳au关键点区域；由此解决au检测不准确的技术问题。
6.为实现上述目的，按照本发明的一个方面，提供了一种面部au关键点检测的方法，包括：s1：根据多个面部肌肉关键点将已完成人脸矫正的人脸区域划分为多个感兴趣区域roi，多个感兴趣区域roi对应多个roi组，每个所述roi组对应一个au关键点区域；将各个所述au关键点区域各自对应的多个roi最小外接矩形进行并集以获得其最小外接矩形区域iu；将各个所述au关键点区域各自对应的多个roi最小外接矩形进行交集以获得其最小外接矩形区域in；s2：对人脸图像进行特征提取得到特征图f，从所述特征图f中确定出iu对应的特征图fu和in对应的特征图fn；将所述特征图fu进行下采样得到特征图，将所述特征图fn进行上采样得到特征图，将所述特征图和所述特征图进行信道拼接得到特征
图fc；s3：将所述特征图fc输入对应的训练好的面部au识别模型中，使其输出对应的au关键点区域及其置信度；将所述au关键点区域对应iu和in进行回归迭代直至iu=in，从而得到最佳au关键点区域。
7.在其中一个实施例中，所述s3包括：s31：将所述特征图fc输入对应的训练好的面部au识别模型中，使其输出对应的au关键点区域及其置信度；其中，au关键点区域为最高置信度对应的区域；s32：对各个所述au关键点区域对应的iu和in进行回归迭代直至iu=in，从而获取所述au关键点区域到最接近于真实au关键点区域的映射关系，进而得到最佳au关键点区域，所述最佳au关键点区域用于表征最接近于真实au关键点区域。
8.在其中一个实施例中，所述置信度对应的au分类损失函数为：；其中，为au关键点区域的真实标签，为au关键点区域的预测标签，i为样本序号，n为样本总数。
9.在其中一个实施例中，所述s31中的diou 损失函数为：；其中，，为与au的真实标签框的交并比，表示中心点与au的真实标签框中心点的欧氏距离，为au的iu框的中心点；为au的真实标签框的中心点；为能够同时包含iu框和真实标签框的最小闭包区域的对角线距离；所述s32中 的diou 损失函数为：；；为与au的真实标签框的交并比，表示中心点与au的真实标签框的中心点的欧氏距离；为au的in框的中心点；为能够同时包含in框和真实标签框的最小闭包区域的对角线距离。
10.在其中一个实施例中，所述s3之前，所述方法还包括：获得多个人脸图像，将各个所述人脸图像上的各个roi对应的iu和in作为各个roi各自对应的au关键点区域的初始区域；基于所述初始区域将多个人脸图像各自对应的特征图fc作为au关键点区域样本集对面部au识别模型进行训练；所述au关键点区域样本集的属性信息包括：au关键点区域的真实框和au分类标签。
11.在其中一个实施例中，所述面部au识别模型训练过程的损失函数为：其中，为au分类损失函数，为au分类损失的权重，为iu的diou损失的权重，为 的diou 损失函数，为in的diou损失的权重，为的diou 损失函数。
12.在其中一个实施例中，s2中对人脸图像进行特征提取的到特征图f，包括：将人脸图片输入公共特征提取模块，提取人脸的浅层特征生成特征图f，所述浅层特征至少包括纹理特征和边缘特征。
13.按照本发明的另一方面，提供了一种面部au关键点检测的装置，包括：预处理模块，用于将多个面部肌肉关键点划分为多个感兴趣区域roi并获取各个roi对应的最小外接矩形；将多个所述roi对应的最小外接矩形并集的最小外接区域得到iu；将多个所述roi对应的最小外接矩形的交集的最小外接区域得到in；提取模块，用于对人脸图像进行特征提取的到特征图f，从所述特征图f中确定出区域iu对应的特征图fu和区域in对应的特征图fn；将所述特征图fu和所述特征图fn分别进行下采样得到特征图和特征图，将所述特征图和所述特征图进行信道拼接得到特征图fc；识别模块，用于将所述特征图fc输入训练好的面部au识别模型中，使其输出au分类及其对应的au关键点区域；对所述au关键点区域对应的最大外接区域iu和最小外接区域in进行回归迭代直至iu=in，从而得到最佳au关键点区域。
14.按照本发明的另一方面，提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的方法的步骤。
15.按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法的步骤。
16.总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本发明根据多个面部肌肉关键点将人脸区域划分为多个感兴趣区域roi，再基于多个roi组对应的最小外接矩形iu和in获得人脸图像对应的特征图fc；最后将特征图fc输入训练好的面部au识别模型中得到au关键点区域，并对au关键点区域对应iu和in进行回归迭代，得到最佳au关键点区域。即利用面部au关键点区域框选面部au范围，得到有效表达au特征的最佳au区域，完成面部au检测从而完成面部表情的识别。在au识别过程中，通过不断迭代训练，最终有效检测面部运动单元关键点，进而进行面部表情识别。
附图说明
17.图1是本发明一实施例中面部au关键点检测的方法的流程图。
18.图2是本发明一实施例中人脸图像中的roi的示意图。
19.图3是本发明一实施例中面部au关键点检测方法的应用场景图。
20.图4是本发明一实施例中面部au关键点检测的方法中s3的流程图。
具体实施方式
21.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
22.如图1所示，为实现上述目的，本发明提供了一种面部au关键点检测的方法，包括：s1：根据多个面部肌肉关键点将已完成人脸矫正的人脸区域划分为多个感兴趣区
域roi，多个感兴趣区域roi对应多个roi组，每个roi组对应一个au关键点区域；将各个au关键点区域各自对应的多个roi最小外接矩形进行并集以获得其最小外接矩形区域iu；将各个au关键点区域各自对应的多个roi最小外接矩形进行交集以获得其最小外接矩形区域in。
23.如图2所示，基于多个面部肌肉关键点将已完成人脸矫正的人脸区域划分为多个感兴趣区域roi，多个面部肌肉关键点形成多个面部感兴趣区域(region of interest，roi)。举例来说，可以利用68个面部肌肉关键点将人脸划分人脸区域，共划分为35个面部感兴趣区域，其顶点为面部肌肉关键点。
24.举例来说，使用关键点检测工具检测人脸关键点，使用的人脸关键点类型为68个面部肌肉关键点；获得对应的au关键点区域；根据本发明提出的面部区域划分的先验知识将面部划分为35个面部感兴趣区域；使用最小外接矩形方法，为每个roi区域分别初始化其对应的最小外接矩形；根据本发明所提的au与roi区域组映射关系的先验知识，形成au所对应区域的覆盖roi区域各自最小外接矩形并集的最小外接矩形iu和au所对应区域的覆盖roi区域各自最小外接矩形交集的最小外接矩形in，作为面部au关键点区域的最大区域和最小区域的初始值。
25.s2：对人脸图像进行特征提取得到特征图f，从特征图f中确定出iu对应的特征图fu和in对应的特征图fn。将特征图fu进行下采样得到特征图，将特征图fn进行上采样得到特征图，将特征图和特征图进行信道拼接得到特征图fc。
26.具体的，以au1的关键点检测过程为例，其初始化的iu和in作为au1的初始位置，au1的真实框为ig。人脸图片经过公共特征提取模块，提取人脸的浅层特征，例如纹理、边缘等，生成人脸图片的特征图f。根据初始化的iu和in在f上的对应位置，获得和对应的特征图和。首先使用下采样方法，将下采样至au1识别模型的输入大小，记为；使用上采样方法，将上采样至au1识别模型的输入大小，记为；au最大可能区域i
'
u包含了最丰富的au特征，其中包含一些无关特征，au最小可能区域i
'
n包含了一定包含的au特征，和进行信道concat，生成既包含最丰富au特征又包含最小区域特征的au表征。
27.s3：将特征图fc输入对应的训练好的面部au识别模型中，使其输出对应的au关键点区域及其置信度。将au关键点区域对应iu和in进行回归迭代直至iu=in，从而得到最佳au关键点区域。
28.具体的，输入训练好的面部au识别模型完成au的特征编码提取，输出au分类和au关键点区域。举例来说，将au1对应的输入训练好的面部au1识别模型，得到的多个分类和多个置信度，最高置信度对应的类型为au分类，au分类是二分类问题，即au区域是否存在。识别过程中，根据au分类和au关键点区域，对au关键点区域的最大区域和最小区域进行回归，最终得到表达力最强且引入无关噪声最少的au关键点区域。au关键点区域回归，实际上是找到从一种从当前au关键点区域到最接近于真实关键点区域的的位置映射关系。为了
在训练中优化并回归au关键点区域，本发明通过迭代训练回归和，直到=即为最佳au关键点区域。
29.在其中一个实施例中，如图3所述，s3包括：s31：将特征图fc输入对应的训练好的面部au识别模型中，使其输出对应的au关键点区域及其置信度。其中，au关键点区域为最高置信度对应的区域。
30.s32：对各个au关键点区域对应的iu和in进行回归迭代直至iu=in，从而获取au关键点区域到最接近于真实au关键点区域的映射关系，进而得到最佳au关键点区域，最佳au关键点区域用于表征最接近于真实au关键点区域。
31.在其中一个实施例中，置信度对应的au分类损失函数为：；其中，为au关键点区域的真实标签，为au关键点区域的预测标签，i为样本序号，n为样本总数。
32.在其中一个实施例中，s31中的diou 损失函数为：。
33.其中，，为与au的真实标签框的交并比，表示中心点与au的真实标签框中心点的欧氏距离，代表能够同时包含预测框和真实框的最小闭包区域的对角线距离；为au的iu框的中心点。为au的真实标签框的中心点。为能够同时包含iu框和真实标签框的最小闭包区域的对角线距离。
34.s32中 的diou 损失函数为：。
35.。为与au的真实标签框的交并比，表示中心点与au的真实标签框的中心点的欧氏距离，代表能够同时包含预测框和真实框的最小闭包区域的对角线距离。为au的in框的中心点。为能够同时包含in框和真实标签框的最小闭包区域的对角线距离。
36.在其中一个实施例中，s3之前，方法还包括：获得多个人脸图像，将各个人脸图像上的各个roi对应的iu和in作为各个roi各自对应的au关键点区域的初始区域。
37.基于初始区域将多个人脸图像各自对应的特征图fc作为au关键点区域样本集对面部au识别模型进行训练。au关键点区域样本集的属性信息包括：au关键点区域的真实框和au分类标签。
38.在其中一个实施例中，面部au识别模型训练过程的损失函数为：
其中，为au分类损失函数，为au分类损失的权重，为iu的diou损失的权重，为 的diou 损失函数，为in的diou损失的权重，为的diou 损失函数。
39.在其中一个实施例中，s2中对人脸图像进行特征提取的到特征图f，包括：将人脸图片输入公共特征提取模块，提取人脸的浅层特征生成特征图f，浅层特征至少包括纹理特征和边缘特征。
40.按照本发明的另一方面，提供了一种面部au关键点检测的装置，包括：预处理模块，用于将多个面部肌肉关键点划分为多个感兴趣区域roi并获取各个roi对应的最小外接矩形。将多个roi对应的最小外接矩形并集的最小外接区域得到iu。将多个roi对应的最小外接矩形的交集的最小外接区域得到in。
41.提取模块，用于对人脸图像进行特征提取的到特征图f，从特征图f中确定出区域iu对应的特征图fu和区域in对应的特征图fn。将特征图fu和特征图fn分别进行下采样得到特征图和特征图，将特征图和特征图进行信道拼接得到特征图fc。
42.识别模块，用于将特征图fc输入训练好的面部au识别模型中，使其输出au分类及其对应的au关键点区域。对au关键点区域对应的最大外接区域iu和最小外接区域in进行回归迭代直至iu=in，从而得到最佳au关键点区域。
43.按照本发明的另一方面，提供了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现面部au关键点检测方法的步骤。
44.按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现面部au关键点检测方法的步骤。
45.总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本发明根据多个面部肌肉关键点将人脸区域划分为多个感兴趣区域roi，再基于多个roi组对应的最小外接矩形iu和in获得人脸图像对应的特征图fc；最后将特征图fc输入训练好的面部au识别模型中得到au关键点区域，并对au关键点区域对应iu和in进行回归迭代，得到最佳au关键点区域。即利用面部au关键点区域框选面部au范围，实现精准选取有效表达au特征的最佳au区域，完成面部au检测从而完成面部表情的识别。在au识别过程中，通过不断迭代训练，最终有效检测面部运动单元关键点，进而进行面部表情识别。
46.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。