基于注意力机制的面部AU检测模型建立方法及其应用

技术特征：
1.一种基于注意力机制的面部au检测模型建立方法，其特征在于，包括：建立端到端的初始神经网络模型并对其进行训练，得到所述面部au检测模型；训练数据由已标注au标签和人脸关键点标签的人脸图像构成；所述初始神经网络模型包括：多尺度特征提取网络，用于从包含人脸的输入图像中提取全局人脸特征图；所述全局人脸特征图包含全局人脸结构和上下文特征；多尺度注意力图生成网络，包括：局部au分支、时间关联尺度分支、全局分支以及特征级联模块；所述局部au分支，用于获得所述全局人脸特征图中每一个像素对于每一个au的注意力权重，并融合到所述全局人脸特征图中，得到局部au尺度特征图；所述时间关联尺度分支，用于检测共同出现或共同不出现的频率最高的部分au对，作为关联au对，并获得所述全局人脸特征图中每一个像素对于每一个关联au对的注意力权重，融合到所述全局人脸特征图中，得到时间关联尺度局部特征图；所述全局分支，用于对所述全局人脸特征图进行特征学习，得到全局尺度特征图；所述特征级联模块，用于将多尺度注意力图生成网络中各分支生成的注意力图按通道级联，得到au特征；以及au检测网络，用于根据所述au特征预测各au出现的概率。2.如权利要求1所述的基于注意力机制的面部au检测模型建立方法，其特征在于，检测共同出现或共同不出现的频率最高的部分au对，作为关联au对，包括：建立au之间的相关矩阵a，其中第i行第j列的元素a
ij
表示第i个au与第j个au之间的关系系数；按照r
i,j
=a
ij
a
ji
计算第i个au与第j个au之间的时间关联系数r
i,j
，i≠j；按照时间关联系数从大到小的顺序对au对排序，并遍历排序后的au对，若所遍历到的au对中的两个au均未与其它au构成关联au对，则将当前所遍历到的au对作为关联au对；第i个au与第j个au之间的关系系数a
ij
的计算式为：其中，a
i
=1表示第i个au出现，a
i
=0表示第i个au不出现；a
j
=1表示第j个au出现，a
j
=0表示第j个au不出现；表示第j个au出现时，第i个au出现的概率；表示第j个au不出现时，第i个au不出现的概率。3.如权利要求1或2所述的基于注意力机制的面部au检测模型建立方法，其特征在于，获得所述全局人脸特征图中每一个像素对于每一个au的注意力权重，包括：根据所述全局人脸特征图中的人脸关键点坐标预定义各au的中心位置；按照如下公式计算第k个像素对于第i个au的注意力权重v
ik
：
其中，d
ik
表示第k个像素相对于第i个au中心的曼哈顿距离，l
map
表示预先定义的区域边长；n
au
表示au总数。4.如权利要求3所述的基于注意力机制的面部au检测模型建立方法，其特征在于，获得所述全局人脸特征图中每一个像素对于每一个关联au对的注意力权重，包括：对于第p个关联au对，分别获得第k个像素相对于第p个关联au对中的两个au的注意力权重，将其中的最大值作为第k个像素相对于第p个关联au对的注意力权重v
pk
；其中，p=1,2
…
,n
tem
，n
tem
表示关联au对总数。5.如权利要求4所述的基于注意力机制的面部au检测模型建立方法，其特征在于，所述多尺度注意力图生成网络还包括：人脸roi尺度分支，用于检测位于同一个感兴趣区域的au，并获得所述全局人脸特征图中每一个像素对于每一个感兴趣区域的注意力权重，融合到所述全局注意力图中，得到人脸roi尺度局部特征图；获得所述全局人脸特征图中每一个像素对于每一个感兴趣区域的注意力权重，包括：对于第q个感兴趣区域，分别获得第k个像素相对于第q个感兴趣区域中的每一个au的注意力权重，将其中的最大值作为第k个像素相对于第q个感兴趣区域的注意力权重v
qk
；其中，q=1,2
…
,n
roi
，n
roi
表示感兴趣区域总数。6.如权利要求5所述的基于注意力机制的面部au检测模型建立方法，其特征在于，所述局部au分支包括：局部au尺度注意力图生成模块，用于识别n
au
个au，并生成与n
au
个au一一对应的n
au
个局部au尺度注意力图后，分别作用于所述全局人脸特征图，得到n
au
个第一局部特征图；每个局部au尺度注意力图由所述全局人脸特征图中每一个像素对于au的注意力权重构成；第一编码器，用于对所述n
au
个第一局部特征图进行特征提取；第一投影模块，用于将所述第一编码器提取到的特征融合到一张特征图中，并进行像素级放大，得到局部au尺度特征图；所述时间关联尺度分支包括：时间关联尺度注意力图生成模块，用于检测n
tem
个关联au对，生成与n
tem
个关联au对一一对应的n
tem
个时间关联尺度注意力图后，分别作用于所述全局人脸特征图，得到n
tem
个第二局部特征图；每个时间关联尺度注意力图由所述全局人脸特征图中每一个像素对于关联au对的注意力权重构成；第二编码器，用于对所述n
tem
个第二局部特征图进行特征提取；第二投影模块，用于将所述第二编码器提取到的特征融合到一张特征图中，并进行像素级放大，得到时间关联尺度局部特征图；所述人脸roi尺度分支包括：人脸roi尺度注意力图生成模块，用于检测位于同一个感兴趣区域的au，并生成与n
roi
个感兴趣区域一一对应的人脸roi尺度注意力图后，分别作用于所述全局人脸特征图，得到n
roi
个第三局部特征图；每个人脸roi尺度注意力图由所述全局人脸特征图中每一个像素对
于感兴趣区域的注意力权重构成；第三编码器，用于对所述n
roi
个第三局部特征图进行特征提取；第三投影仪，用于将所述第三编码器提取到的特征融合到一张特征图中，并进行像素级放大，得到人脸roi尺度局部特征图；所述全局分支包括：第四编码器，用于对所述全局人脸特征图进行特征提取，得到全局尺度注意力图；其中，局部au尺度特征图、时间关联尺度局部特征图、人脸roi尺度局部特征图和全局尺度特征图大小相等。7.如权利要求6所述的基于注意力机制的面部au检测模型建立方法，其特征在于，所述多尺度注意力图生成网络的各分支中的编码器，在进行特征提取时，结合了通道注意力机制和空间注意力机制。8.如权利要求6或7所述的基于注意力机制的面部au检测模型建立方法，其特征在于，训练损失函数为：其中，l表示总体损失；l
au
表示au检测结果损失；l
mid
表示第一编码器、第二编码器、第三编码器及第四编码器所提取特征的损失；l
con
表示像素级对比损失，、和分别表示局部au尺度特征图、时间关联尺度局部特征图和人脸roi尺度局部特征图，h和w分别表示这些注意力图的高和宽，m表示预设的距离，表示二范数；λ
mid
和λ
con
表示权衡参数。9.一种基于注意力机制的面部au检测方法，其特征在于，包括：将待检测的人脸图像输入至由权利要求1~8任一项所述的基于注意力机制的面部au检测模型建立方法所建立的面部au检测模型，从所述面部au检测模型的输出中提取出现概率最大的au标签，作为au检测结果。10.一种计算机可读存储介质，其特征在于，包括存储的计算机程序；所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求执行权利要求1~8任一项所述的基于注意力机制的面部au检测模型建立方法，和/或，权利要求9所述的面部动作单元检测方法。

技术总结
本发明公开了基于注意力机制的面部AU检测模型建立方法及其应用，属于计算机视觉技术领域，包括：建立面部AU检测模型并训练；模型包括：多尺度特征提取网络，用于从人脸图像中提取全局人脸特征图；多尺度注意力图生成网络，用于生成AU特征；以及AU检测网络，用于根据AU特征预测各AU出现的概率；多尺度注意力图生成网络中，三个分支分别用于生成局部AU尺度、时间关联尺度和人脸ROI尺度的注意力图并作用于全局人脸特征图，得到对应特征图后进行特征提取并融合，最后一个分支对全局尺度人脸特征图进行特征提取，特征级联模块用于将各分支生成的特征图按通道级联为AU特征。本发明能够准确利用AU间的相关性，提高AU检测精度。提高AU检测精度。提高AU检测精度。


技术研发人员：喻莉 尚子桥
受保护的技术使用者：华中科技大学
技术研发日：2022.11.23
技术公布日：2022/12/30