一种人脸面部动作单元强度回归方法、装置和介质与流程

技术特征：
1.一种人脸面部动作单元强度回归方法，其特征在于，包括：步骤s1，通过分层与多尺度区域学习提取输入人脸图像序列的多尺度的局部时空特征；步骤s2，在所述多尺度局部时空特征图上执行全局时空特征学习；步骤s3，根据全局时空特征得到代表人脸不同区域的k个局部时空特征，并针对不同的面部动作单元执行单独的局部关系学习，得到局部关系特征向量；步骤s4，通过一个两层的全连接网络，根据局部关系特征向量执行面部动作单元强度回归。2.根据权利要求1所述的一种人脸面部动作单元强度回归方法，其特征在于，所述步骤s1中，所述分层与多尺度区域学习采用(2 1)d卷积，即假设代表人脸图像序列的输入大小为d
×
l
×
l，先在空间维度(l
×
l)上执行2d卷积提取空间特征，之后再在时间维度(d)上执行1d卷积提取时间特征，并且分层与多尺度区域学习块包含四个卷积层，第一个卷积层为普通的(2 1)d卷积，第二、第三和第四个卷积层分别均匀划分为6
×
6、4
×
4和2
×
2个区域，且(2 1)d的卷积核权重仅在局部区域内共享，每一层的输入均是前一层的卷积结果，通过连接第二、第三和第四个卷积层的输出并与第一个卷积层的输出逐元素相加得到多尺度的局部时空特征，分层与多尺度区域学习模块由两个分层与多尺度区域学习块和组成。3.根据权利要求1所述的一种人脸面部动作单元强度回归方法，其特征在于，所述步骤s2中，由基于(2 1)d卷积和2d卷积的全局特征学习模块捕获整个面部的结构和纹理等空间特征以及时序变化信息，该模块由三个卷积块构成——p
(2 1)d
(l/4,d/4,4c)、p
(2 1)d
(l/8,d/8,8c)以及p(l/16,8c)，其中前两个卷积块执行(2 1)d卷积，最后一个卷积块执行2d卷积。4.根据权利要求1所述的一种人脸面部动作单元强度回归方法，其特征在于，所述步骤s3中，局部关系学习基于双向长短期记忆网络设计，全局特征学习模块输出的特征图大小为8c
×1×
l/32
×
l/32，特征图中的每个元素(8c
×1×1×
1)都编码了面部某一区域的局部时空信息，因此可以使用特征图上的每个元素作为局部面部区域的表示，并使用它来执行局部关系学习，这样可以得到l/32
×
l/32个局部特征，通过双向长短期记忆网络进行局部关系学习得到用于au回归的特征向量，具体来说，从全局特征学习模块得到了k个局部特征f1,f2,...,f
k
，将所有局部特征馈送至一个两层的堆叠的双向长短期记忆网络中进行局部关系学习，连接第二层双向长短期记忆网络输出的k个隐藏状态向量h1,h2,...,h
k
得到一个局部关系特征向量，由于不同的au具有不同的肌肉激活，并且各个局部特征对回归不同au的贡献也应不同，因此，对于每个au都应有一个对应的双向长短期记忆网络结构进行局部关系学习，设l(k,8c,4c,2c)表示基于双向长短期记忆网络的局部关系学习块，表示双向长短期记忆网络的时间步长为k，输入向量长度为8c，第一层双向长短期记忆网络和第二层双向长短期记忆网络输出的隐藏状态向量长度分别为4c和2c，这样对于c个au，共有c个局部关系学习块l1(k,8c,4c,2c),l2(k,8c,4c,2c),...,l
c
(k,8c,4c,2c)，且会得到c个局部关系特征向量最后，对这c个局部关系特征向量进行逐元素求和得到一个局部关系特征向量。5.一种人脸面部动作单元强度回归装置，其特征在于，包括：
分层与多尺度区域学习模块，被配置为通过分层与多尺度区域学习提取输入人脸图像序列的多尺度的局部时空特征；全局特征学习模块，被配置为在所述多尺度局部时空特征图上执行全局时空特征学习；局部关系学习模块，被配置为根据全局时空特征得到代表人脸不同区域的k个局部时空特征，并针对不同的面部动作单元执行单独的局部关系学习，得到局部关系特征向量；面部au强度回归模块，被配置为通过一个两层的全连接网络，根据局部关系特征向量执行面部动作单元强度回归。6.根据权利要求5所述的人脸面部动作单元强度回归装置，其特征在于，所述分层与多尺度区域学习模块具体被配置为：所述分层与多尺度区域学习采用(2 1)d卷积，即假设代表人脸图像序列的输入大小为d
×
l
×
l，先在空间维度(l
×
l)上执行2d卷积提取空间特征，之后再在时间维度(d)上执行1d卷积提取时间特征。并且分层与多尺度区域学习块包含四个卷积层，第一个卷积层为普通的(2 1)d卷积，第二、第三和第四个卷积层分别均匀划分为6
×
6、4
×
4和2
×
2个区域，且(2 1)d的卷积核权重仅在局部区域内共享，每一层的输入均是前一层的卷积结果，通过连接第二、第三和第四个卷积层的输出并与第一个卷积层的输出逐元素相加得到多尺度的局部时空特征，该模块由两个分层与多尺度区域学习块和组成。7.根据权利要求5所述的人脸面部动作单元强度回归装置，其特征在于，所述全局特征学习模块具体被配置为：由基于(2 1)d卷积和2d卷积的全局特征学习模块捕获整个面部的结构和纹理等空间特征以及时序变化信息，该模块由三个卷积块构成——p
(2 1)d
(l/4,d/4,4c)、p
(2 1)d
(l/8,d/8,8c)以及p(l/16,8c)，其中前两个卷积块执行(2 1)d卷积，最后一个卷积块执行2d卷积。8.根据权利要求5所述的人脸面部动作单元强度回归装置，其特征在于，所述局部关系学习模块具体被配置为：局部关系学习基于双向长短期记忆网络设计，全局特征学习模块输出的特征图大小为8c
×1×
l/32
×
l/32，特征图中的每个元素(8c
×1×1×
1)都编码了面部某一区域的局部时空信息，因此可以使用特征图上的每个元素作为局部面部区域的表示，并使用它来执行局部关系学习，这样可以得到l/32
×
l/32个局部特征，通过双向长短期记忆网络进行局部关系学习得到用于au回归的特征向量，具体来说，从全局特征学习模块得到了k个局部特征f1,f2,...,f
k
，将所有局部特征馈送至一个两层的堆叠的blstm网络中进行局部关系学习，连接第二层双向长短期记忆网络输出的k个隐藏状态向量h1,h2,...,h
k
得到一个局部关系特征向量，由于不同的au具有不同的肌肉激活，并且各个局部特征对回归不同au的贡献也应不同，因此，对于每个au都应有一个对应的双向长短期记忆网络结构进行局部关系学习，设l(k,8c,4c,2c)表示基于双向长短期记忆网络的局部关系学习块，表示双向长短期记忆网络的时间步长为k，输入向量长度为8c，第一层双向长短期记忆网络和第二层双向长短期记忆网络输出的隐藏状态向量长度分别为4c和2c，这样对于c个au，共有c个局部关系学习块l1(k,8c,4c,2c),l2(k,8c,4c,2c),...,l
c
(k,8c,4c,2c)，且会得到c个局部关系特征向量
最后，对这c个局部关系特征向量进行逐元素求和得到一个局部关系特征向量。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，能实现如权利要求1至4中任一项所述方法的步骤。

技术总结
本发明公开了一种人脸面部动作单元强度回归方法、装置和介质，本发明属于图像处理技术领域，该方法包括：步骤S1，通过分层与多尺度区域学习提取输入人脸图像序列的多尺度的局部时空特征；步骤S2，在多尺度局部时空特征图上执行全局时空特征学习；步骤S3，根据全局时空特征得到代表人脸不同区域的k个局部时空特征，并针对不同的面部动作单元执行单独的局部关系学习，得到局部关系特征向量；步骤S4，通过一个两层的全连接网络，根据局部关系特征向量执行面部动作单元强度回归。如此，通过引入分层与多尺度的区域学习，能够很好地适应分布在人脸不同区域并具有不同尺度的AU，提升网络对面部AU强度回归的性能。面部AU强度回归的性能。面部AU强度回归的性能。


技术研发人员：吕科 魏超 薛健
受保护的技术使用者：中国科学院大学
技术研发日：2021.06.28
技术公布日：2021/11/19