自适应注意力机制的表情识别模型生成方法、介质及设备

技术特征：
1.一种自适应注意力机制的表情识别模型生成方法，其特征在于：包括如下步骤：s1，设定每一代种群的个体数量为k；设置各个个体包含的模块个数分别为m，各个模块的输出通道数的可选区间以及第j个模块的节点数分别为n
j
，j＝1,
…
,m；各个个体的基因长度分别为l；各个个体的基因分别包括对应m个模块的信息；每个模块的信息分别包括五个部分：第一部分表示模块是否存在；第二部分表示模块的输出通道数；第三部分表示模块的输出是否输入到注意力网络来控制稀疏中心损失的学习；第四部分表示模块输出后是否要加入多头注意力模块；第五部分表示模块内部节点的连接方式；s2，从高斯分布中随机采样出k个长度为l的二进制编码；将第1代种群中个个体的基因分别初始化为k个二进制编码；s3，根据各个个体的基因生成当前代种群的k个个体；s4，将训练样本分别输入到当前代种群中k个个体中进行训练，得到训练好的k个个体；s5，将测试样本分别输入到训练好的k个个体中进行测试，得到当前代种群中k个个体的适应度；s6，判断迭代次数是否达到最大迭代次数：若是，则在所有代种群中找出适应度最高的个体，适应度最高的个体设置为最优的表情识别模型；否则，利用轮盘赌算法从当前代种群中可重复地选择k个个体作为下一代种群的k个父母个体，并使用交错算子分别对k个父母个体的基因分别进行变化；将k个父母个体的适应度分别与上一代种群的个体的适应度进行对比，得到奖励值；利用强化学习算法根据奖励值算出反转算子和交叉算子的选择概率，并根据概率选择反转算子或交叉算子分别将交错算子变化后的k个父母个体基因进行再次变化，得到下一代种群的k个个体的基因；之后，跳至步骤s3进行下一次迭代处理。2.根据权利要求1所述的自适应注意力机制的表情识别模型生成方法，其特征在于：各个个体的基因长度3.根据权利要求1所述的自适应注意力机制的表情识别模型生成方法，其特征在于：在各个个体中，每个模块前设置有前置卷积层，在每个模块后设置有后置卷积层和池化层；所述步骤s3，根据各个个体的基因生成当前代种群的k个个体的方法是：根据第一部分判断模块是否存在：若模块存在，则将模块添加到个体中进行连接；根据第二部分决定模块的卷积核通道数，以及根据第五部分决定模块内部节点的连接方式；若模块不存在，则模块的前置卷积层输出直接输入到池化层，不保留模块内容；同时根据第三部分决定模块的输出是否输入到注意力网络来控制稀疏中心损失的学习，根据第四部分决定模块输出后是否加入多头注意力模块。4.根据权利要求3所述的自适应注意力机制的表情识别模型生成方法，其特征在于：所述根据第三部分决定模块的输出是否输入到注意力网络来控制稀疏中心损失的学习，是指：对于输入到注意力网络的模块，将模块后置卷积层的输出输入卷积层，将展平后特征输入到注意力网络，再输入至稀疏中心损失的学习中；模块后置卷积层的输出还直接输入池化层；所述根据第四部分决定模块输出后是否加入多头注意力模块，是指：对于加入多头注
意力模块的模块，将模块后置卷积层的输出输入到多头注意力模块，多头注意力模块的输出再输入至池化层。5.根据权利要求1所述的自适应注意力机制的表情识别模型生成方法，其特征在于：所述稀疏中心损失l
sc
的计算方法如下：其中，a
r
为注意力权重；x
r
表示稀疏中心损失的输入特征；n为输入特征数量；c为输入特征对应类别的特征中心；注意力权重a
r
的计算方法为：的计算方法为：其中，e
r
为输入特征x
r
通过多个全连接层后得到的特征向量；和分别为网络自动学习参数；表示包含对应元素的概率；表示排除对应元素的概率；其中，exp为指数函数。6.根据权利要求1所述的自适应注意力机制的表情识别模型生成方法，其特征在于：所述多头注意力模块中，设定h＝{h1,
…
,h
z
}是空间注意力的多个头，s＝{s1,
…
,s
z
}是对应的空间注意力特征映射，其中z代表注意力头的个数，则第d个头输出的空间注意力可以表示为：s
d
＝x
′×
h
d
(w
s
,x
′
),d∈{1,z}其中，x
′
为多头注意力模块的输入特征，w
s
为权值。7.根据权利要求1所述的自适应注意力机制的表情识别模型生成方法，其特征在于：所述步骤s6中，奖励值的计算方法是：设定奖励值a1、a2、a3、a4、a5；且a1＞a2＞a3，a4＜a5；k个父母个体在上一代种群的对应个体的奖励值分别作为k个父母个体的奖励基值；将k个父母个体的适应度分别与之前历代种群的对应个体的适应度进行对比：若父母个体的适应度＞上一代种群的对应个体的适应度，且父母个体的适应度＞之前历代种群中对应个体里的最优个体的适应度，则奖励值＝奖励基值 a1；若父母个体的适应度＞上一代种群的对应个体的适应度，且父母个体的适应度≤之前历代种群中对应个体里的最优个体的适应度，则当奖励基值＞0，奖励值＝奖励基值 a2；当奖励基值≤0，奖励值＝奖励基值 a3；若父母个体的适应度＜上一代种群的对应个体的适应度，则当奖励基值＞0，奖励值＝奖励基值-a4；当奖励基值≤0，奖励值＝奖励基值-a5。
8.根据权利要求1所述的自适应注意力机制的表情识别模型生成方法，其特征在于：所述步骤s6中，利用强化学习算法根据奖励值算出反转算子和交叉算子的选择概率的方法是：设定参数w
i
(t)来辅助强化算法的学习，p
i
为反转算子被选中的概率，1-p为交叉算子被选中的概率；初始化概率p
i
为0.5，w
i
(t)＝0；第t次迭代时，根据以下公式计算出个体i的概率p
i
(t)：(t)：w
i
(t)＝w
i
(t-1) δw
i
p
i
(t)＝p
i
(t-1) δp
i
(t)其中，g
i
为概率质量函数；y
i
＝1表示反转算子被选择，y
i
＝0表示交叉算子被选择；b
i
为强化学习的基线值，η
i
为强化学习的学习率，r
i
(t)为奖励值。9.一种存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求1-8中任一项所述的自适应注意力机制的表情识别模型生成方法。10.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-8中任一项所述的自适应注意力机制的表情识别模型生成方法。

技术总结
本发明提供了一种自适应注意力机制的表情识别模型生成方法、介质及设备；其中方法为：设定每一代种群的个体数量为k；设置各个个体包含的模块个数，各个模块的输出通道数的可选区间及节点数，个体的基因格式及基因长度；初始化第1代种群个体基因，生成k个个体；将个体进行训练和测试；当迭代次数达到最大迭代次数时，在所有代种群中找出适应度最高的个体，得到最优的表情识别模型；否则，选择下一代种群的父母个体并进行变化，之后进行下一次迭代处理。该方法能够根据不同表情数据场景设计表情神经网络，并自适应地引入注意力机制提高表情识别的性能，使得该网络能够快速、准确且轻量地进行表情识别。地进行表情识别。地进行表情识别。


技术研发人员：张通 叶汉云 陈俊龙
受保护的技术使用者：华南理工大学
技术研发日：2022.03.24
技术公布日：2022/8/5