肌肉协同注意力与多实例学习的面部肌电情绪识别方法

本发明属于生理信号处理领域，尤其涉及一种肌肉协同注意力与多实例学习的面部肌电情绪识别方法。

背景技术：

1、面部肌电信号能够客观反映情绪诱发下的细微面部肌肉活动，且不受光照条件和面部遮挡等因素影响，因此基于面部肌电信号的情绪识别在情感计算与人机交互领域受到广泛关注。目前，主流的面部肌电情绪识别方法通常以短时窗口为单位对原始信号进行切分，并从各窗口中提取平均绝对幅值、均方根值、自回归系数等时域和频域特征，再采用支持向量机、随机森林或神经网络等分类器进行情绪判别。近年来，随着深度学习技术的发展，部分研究开始引入注意力机制和多实例学习框架，以期在生理信号分析中自动挖掘关键时间片段和通道信息。此外，已有研究表明，不同面部肌肉在情绪表达过程中并非独立活动，皱眉肌、颧大肌和降口角肌之间存在特定的协同激活模式，这种协同关系对于区分恐惧、悲伤等消极情绪具有潜在价值。

2、然而，现有方法仍存在以下不足：其一，传统方法通常将各肌肉通道的特征进行简单拼接后输入分类器，未显式建模不同面部肌肉之间的协同关系，难以充分利用皱眉肌、颧大肌和降口角肌在情绪表达中的交互信息，致使情绪区分能力受限。其二，在视听刺激诱发情绪的实验场景下，每段较长情绪诱导信号仅标注有一个整体片段级标签，而片段内各短时窗口的情绪表达强度并不均匀，并非所有窗口均稳定表征该情绪；若将片段级标签直接赋予每个短时窗口进行窗口级监督训练，则会引入标签噪声，干扰模型对关键情绪反应窗口的有效学习。其三，现有方法虽然部分引入了通道注意力机制，但多将通道注意力与时间注意力分开设计，未能在统一框架下同时利用单通道肌肉活动信息、跨通道肌肉协同信息以及片段内关键时间窗口的选择信息，导致模型在有限通道条件下的情绪识别稳定性和可解释性仍有待提升。

技术实现思路

1、本发明为克服现有技术中存在的问题与不足，提出一种肌肉协同注意力与多实例学习的面部肌电情绪识别方法。本发明以三通道面部肌电信号为输入，在短时窗口内同时提取单通道多域特征和跨通道肌肉协同特征；利用三通道肌肉协同注意力模块对皱眉肌、颧大肌和降口角肌的贡献进行自适应加权；进一步将每段情绪诱导信号作为样本包，将其内部短时窗口作为样本实例，通过多实例注意力聚合获得片段级表征，最终输出恐惧、悲伤和中性三类情绪概率。

2、为实现上述目的，本发明提供了一种肌肉协同注意力与多实例学习的面部肌电情绪识别方法，包括：

3、获取面部肌电信号，对所述面部肌电信号进行预处理和窗口分割，得到短时窗口构成的情绪诱导片段；

4、根据所述短时窗口，提取肌肉通道的单通道特征，并根据肌肉通道之间的信号关系构建跨通道协同特征；

5、根据所述单通道特征，通过肌肉协同注意力机制计算肌肉通道的注意力权重，并基于所述注意力权重对所述单通道特征进行融合，得到窗口级融合特征；

6、根据所述窗口级融合特征与所述跨通道协同特征，生成窗口级嵌入特征；

7、将所述情绪诱导片段作为样本包，将所述样本包内的短时窗口对应的窗口级嵌入特征作为样本实例，通过多实例注意力聚合机制对全部样本实例进行加权聚合，得到片段级表征；

8、根据所述片段级表征，输出情绪识别结果。

9、优选地，得到短时窗口构成的情绪诱导片段的过程包括：

10、获取三通道面部肌电信号，所述三通道分别为皱眉肌通道、颧大肌通道和降口角肌通道；

11、对所述三通道面部肌电信号进行滤波、陷波和归一化处理，并按预设窗长进行不重叠分割，得到短时窗口；

12、将每段情绪诱导信号定义为包含多个短时窗口的样本包。

13、优选地，提取肌肉通道的单通道特征的过程包括：

14、对每个短时窗口中的每个肌肉通道，提取多域特征，所述多域特征包括平均绝对幅值、均方根值、波形长度、方差、多阶自回归系数和窗口能量，组成对应肌肉通道的单通道特征向量。

15、优选地，根据肌肉通道之间的信号关系构建跨通道协同特征的过程包括：

16、将多个肌肉通道两两组合，形成肌肉对；

17、计算所述肌肉对之间的协同指标，所述协同指标包括对数能量比、归一化能量差和整流包络相关系数；

18、将所述肌肉对的协同指标进行拼接，形成跨通道协同特征向量。

19、优选地，计算所述肌肉对之间的协同指标的过程包括：

20、根据所述肌肉对中两个肌肉通道的窗口能量，计算所述对数能量比和所述归一化能量差；

21、根据所述肌肉对中两个肌肉通道的肌电数据的整流包络，计算所述整流包络相关系数。

22、优选地，得到窗口级融合特征的过程包括：

23、将每个短时窗口内各肌肉通道的单通道特征向量分别输入共享参数的网络，得到各肌肉通道的注意力得分；

24、对各肌肉通道的注意力得分进行归一化，得到各肌肉通道的注意力权重；

25、利用各肌肉通道的注意力权重对相应的单通道特征向量进行加权求和，得到窗口级融合特征。

26、优选地，生成窗口级嵌入特征的过程包括：

27、将所述窗口级融合特征与所述跨通道协同特征进行拼接，得到融合特征向量；

28、将所述融合特征向量输入全连接层进行映射，得到预设维度的窗口级嵌入特征。

29、优选地，得到片段级表征的过程包括：

30、将每段情绪诱导信号定义为一个样本包，将情绪诱导信号内的各短时窗口对应的窗口级嵌入特征定义为样本实例；

31、计算每个样本实例的注意力得分，并对同一样本包内的各注意力得分进行归一化，得到各样本实例的时间注意力权重；

32、利用所述时间注意力权重对各样本实例的窗口级嵌入特征进行加权求和，得到片段级表征。

33、优选地，输出情绪识别结果的过程包括：

34、将所述片段级表征输入分类层，输出所述情绪诱导片段属于各类情绪的概率；

35、选取最大概率对应的情绪类别作为所述情绪诱导片段的情绪识别结果。

36、优选地，所述方法还包括训练过程，所述训练过程包括：

37、以每段情绪诱导信号的片段级情绪标签作为监督标签，采用交叉熵损失函数对肌肉协同注意力机制、窗口级嵌入生成过程、多实例注意力聚合机制和分类输出过程进行联合训练。

38、与现有技术相比，本发明具有如下优点和技术效果：

39、第一，本发明通过构建跨通道协同特征，显式计算皱眉肌、颧大肌和降口角肌三组肌肉对之间的对数能量比、归一化能量差和整流包络相关系数，能够有效刻画不同情绪状态下各肌肉之间的相对增强、相对抑制和同步变化关系，弥补了传统单通道特征简单拼接所导致的协同信息丢失缺陷，从而显著提升了恐惧、悲伤等消极情绪的区分能力。

40、第二，本发明采用片段级多实例学习机制，将整段情绪诱导信号作为样本包、内部短时窗口作为样本实例，并以片段级标签为监督信号进行聚合训练，避免了将片段级标签强行赋予每个短时窗口所带来的标签噪声问题，使模型能够自动识别并聚焦于片段内对情绪判别贡献更大的关键时间窗口。

41、第三，本发明构建的三通道肌肉协同注意力模块与多实例时间注意力机制在同一框架下协同工作，能够在输出情绪识别结果的同时提供肌肉通道贡献权重和时间窗口注意力分布，使得模型在仅有三通道面部肌电信号的有限传感条件下，兼具较高的识别准确性和明确的生物学可解释性。