一种基于分离混合注意力机制的人脸表情识别方法与流程

1.本发明涉及计算机视觉领域，尤其涉及一种基于分离混合注意力机制的人脸表情识别方法。


背景技术：

2.卷积神经网络是深度学习的代表算法之一，目前被广泛应用于计算机视觉、自然语言处理等领域。随着计算机算力的增强，卷积神经网络的结构也越来越复杂，先后出现了lenet，alexnet，resnet，densenet，inception等网络结构。而为了让相同网络结构下的机器学习效果更好，出现了模拟人类视觉机制的注意力机制，目前常用的注意力机制为结合了空间注意力和通道注意力的混合注意力机制，实验表明该机制结合主干网络能够提升目标识别效果。现有的注意力机制中把通道注意力和空间注意力串行迭加，未考虑两种注意力的特征提取能力不同，实验表明现有的注意力机制迭加主干网络在人脸表情识别上应用时识别率提升不明显。


技术实现要素：

3.为解决上述技术问题，本发明提供一种基于分离混合注意力机制的人脸表情识别方法，适应不同工作环境。
4.本发明提供的一种基于分离混合注意力机制的人脸表情识别方法，为了增强网络的通道特征学习能力，本发明将通道注意力提取操作放置于深度可分离卷积的通道特征提取后，本发明提出的通道注意力机制内部结构，输入特征图在每个通道上进行3
×
3的卷积操作，然后经过concat操作把所有通道上的卷积输出进行拼接，经过通道注意力软阈值(ca
‑
st，channel attention soft thresholding)机制进行处理，再经过1
×
1卷积后输出。输入为所述图1中的concat拼接操作后得到的特征图，对其通过高、宽方向的最大池化和平均池化提取对应的通道特征，再经过共享的全连接层操作后进行相加，得到通道注意力特征，公式表达为：
[0005][0006]
所述avgpool
h,w
为输入根据高、宽方向的平均池化操作，所述maxpool
h,w
为输入根据高、宽方向的最大池化操作，所述f为全连接层操作。所述i为所述通道注意力软阈值的输入，concat拼接操作后得到的特征图，所述e
c
为得到的所述通道注意力特征。
[0007]
对所述通道注意力特征进行sigmoid激活函数处理，将其转换到(0,1)之间，得到通道注意力系数，公式为
[0008][0009]
所述e
i
(i)为根据所述公式(1)得到的第i个通道的所述通道注意力特征，所述e为数学常数，所述σ
i
为得到的第i个通道的所述通道注意力系数。
[0010]
通道注意力软阈值为根据所述通道注意力系数和通道平均池化特征相乘得到，公
式为
[0011]
τ＝σ
·
avgpool
h,w
(|i|)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0012]
所述|i|为所述公式1的所述i绝对值，所述avgpool
h,w
为高、宽方向的平均池化操作，所述σ为所述公式(2)得到的所有通道所述通道注意力特征系数，所述τ为得到的所述通道注意力软阈值。
[0013]
最终得到的通道注意力输出由输入特征图根据通道软阈值机制进行处理，消除其中的噪声信息，所述通道软阈值机制处理方法为
[0014][0015]
所述x
c
为所述公式(1)的所述i经过1
×
1深度卷积后的输出，所述τ为所述公式(3)得到的所述通道注意力软阈值，所述f
c
为所述图2的最终输出，即最终得到的通道注意力输出。
[0016]
进一步技术方案，本发明提出的空间注意力机制结构：
[0017]
输入特征图基于通道维度分别进行最大池化和平均池化，得到两组空间特征通过concat操作拼接，再经过两次3
×
3的卷积操作得到空间注意力特征，公式为
[0018]
e
h,w
(i)＝conv3(conv3(avgpool
c
(i)；maxpool
c
(i)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0019]
所述conv3为卷积核为3
×
3的卷积操作，avgpool
c
为基于通道方向的平均池化操作，所述maxpool
c
为基于通道方向的最大池化操作，所述i为输入特征图，所述e
h,w
为得到的所述空间注意力特征。
[0020]
所述空间注意力特征经过sigmoid激活函数处理后变换到(0,1)之间，得到空间注意力系数为
[0021][0022]
所述e
i,j
(i)为所述公式(5)得到的位置(i,j)处的所述空间注意力特征，所述e为数学常数，所述σ
i,j
为得到的位置(i,j)处的所述空间注意力系数。
[0023]
空间注意力软阈值由空间平均池化特征乘以所述空间注意力系数得到，公式为
[0024]
τ＝σ
·
avgpool
c
(|i|)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0025]
所述|i|为所述公式(5)的所述i绝对值，avgpool
c
为基于通道方向的平均池化操作，所述σ为所述公式(6)得到的所有位置的所述空间注意力系数，所述τ为得到的所述空间注意力软阈值。
[0026]
最终得到的空间注意力输出由输入根据空间软阈值机制处理后得到，消除其中的噪声，所述空间软阈值处理方法为
[0027][0028]
所述x
h,w
为所述公式(5)的所述i经过1
×
1卷积后的输出，所述τ为所述公式(7)得到的所述空间注意力软阈值，所述f
s
为所述图3的最终输出，即最终得到的空间注意力输出。
[0029]
与相关技术相比较，本发明提供的一种基于分离混合注意力机制的人脸表情识别方法具有如下有益效果：该方法融合了通道注意力机制和空间注意力机制，并把这两种注意力机制分别置于深度可分离卷积之中和普通卷积之后，增强卷积神经网络的通道特征和跨通道相关性学习能力；在通道注意力机制和空间注意力机制后分别增加软阈值机制，抑制注意力特征中的噪声信息。本发明能够有效提升人脸表情的识别准确率，降低表情识别网络的参数量，让表情识别网络的收敛性更好。
附图说明
[0030]
图1通道注意力机制内部结构
[0031]
图2通道注意力软阈值内部结构
[0032]
图3空间注意力机制内部结构
具体实施方式
[0033]
下面结合附图和实施方式对本发明作进一步说明。
[0034]
如图所示，一种基于分离混合注意力机制的人脸表情识别方法包括：为了增强网络的通道特征学习能力，本发明将通道注意力提取操作放置于深度可分离卷积的通道特征提取后，本发明提出的通道注意力机制内部结构如图1所示：
[0035]
输入特征图在每个通道上进行3
×
3的卷积操作，然后经过concat操作把所有通道上的卷积输出进行拼接，经过通道注意力软阈值(ca
‑
st，channel attention soft thresholding)机制进行处理，再经过1
×
1卷积后输出。所述通道注意力软阈值处理结构如图2所示：
[0036]
所述图2的输入为所述图1中的concat拼接操作后得到的特征图，对其通过高、宽方向的最大池化和平均池化提取对应的通道特征，再经过共享的全连接层操作后进行相加，得到通道注意力特征，公式表达为：
[0037][0038]
所述avgpool
h,w
为输入根据高、宽方向的平均池化操作，所述maxpool
h,w
为输入根据高、宽方向的最大池化操作，所述f为全连接层操作。所述i为所述通道注意力软阈值的输入，即所述图1中的concat拼接操作后得到的特征图，所述e
c
为得到的所述通道注意力特征。
[0039]
对所述通道注意力特征进行sigmoid激活函数处理，将其转换到(0,1)之间，得到通道注意力系数，公式为
[0040][0041]
所述e
i
(i)为根据所述公式(1)得到的第i个通道的所述通道注意力特征，所述e为数学常数，所述σ
i
为得到的第i个通道的所述通道注意力系数。
[0042]
通道注意力软阈值为根据所述通道注意力系数和通道平均池化特征相乘得到，公式为
[0043]
τ＝σ
·
avgpool
h,w
(| i|)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0044]
所述|i|为所述公式1的所述i绝对值，所述avgpool
h,w
为高、宽方向的平均池化操
作，所述σ为所述公式(2)得到的所有通道所述通道注意力特征系数，所述τ为得到的所述通道注意力软阈值。
[0045]
最终得到的通道注意力输出由输入特征图根据通道软阈值机制进行处理，消除其中的噪声信息，所述通道软阈值机制处理方法为
[0046][0047]
所述x
c
为所述公式(1)的所述i经过1
×
1深度卷积后的输出，所述τ为所述公式(3)得到的所述通道注意力软阈值，所述f
c
为所述图2的最终输出，即最终得到的通道注意力输出。
[0048]
(2)本发明提出的空间注意力机制
[0049]
本发明提出的空间注意力机制结构如图3所示：
[0050]
输入特征图基于通道维度分别进行最大池化和平均池化，得到两组空间特征通过concat操作拼接，再经过两次3
×
3的卷积操作得到空间注意力特征，公式为
[0051]
e
h,w
(i)＝conv3(conv3(avgpool
c
(i)；maxpool
c
(i)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0052]
所述conv3为卷积核为3
×
3的卷积操作，avgpool
c
为基于通道方向的平均池化操作，所述maxpool
c
为基于通道方向的最大池化操作，所述i为输入特征图，所述e
h,w
为得到的所述空间注意力特征。
[0053]
所述空间注意力特征经过sigmoid激活函数处理后变换到(0,1)之间，得到空间注意力系数为
[0054][0055]
所述e
i,j
(i)为所述公式(5)得到的位置(i,j)处的所述空间注意力特征，所述e为数学常数，所述σ
i,j
为得到的位置(i,j)处的所述空间注意力系数。
[0056]
空间注意力软阈值由空间平均池化特征乘以所述空间注意力系数得到，公式为
[0057]
τ＝σ
·
avgpool
c
(|i|)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0058]
所述|i|为所述公式(5)的所述i绝对值，avgpool
c
为基于通道方向的平均池化操作，所述σ为所述公式(6)得到的所有位置的所述空间注意力系数，所述τ为得到的所述空间注意力软阈值。
[0059]
最终得到的空间注意力输出由输入根据空间软阈值机制处理后得到，消除其中的噪声，所述空间软阈值处理方法为
[0060][0061]
所述x
h,w
为所述公式(5)的所述i经过1
×
1卷积后的输出，所述τ为所述公式(7)得到的所述空间注意力软阈值，所述f
s
为所述图3的最终输出，即最终得到的空间注意力输出。
[0062]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技
术领域，均同理包括在本发明的专利保护范围内。