基于深度学习的EEG与微表情多模态情绪分类方法与流程
本申请涉及脑电信号的，尤其涉及一种基于深度学习的eeg与微表情多模态情绪分类方法。
背景技术：
1、情绪识别是人机交互、心理健康监测及驾驶状态评估等领域的核心技术之一。传统的情绪识别方法主要依赖单一模态数据，如脑电信号或面部表情（包括微表情）。脑电信号能够直接反映大脑皮层的电生理活动，具有时间分辨率高、不易受主观伪装影响的优点，但易受肌电、眼电等噪声干扰，且个体差异较大。面部表情（尤其是微表情）是情绪的外显行为表现，能够提供直观的情绪线索，但其持续时间极短、动作幅度微小，难以通过肉眼或传统图像处理方法稳定捕捉，现有基于多模态的情绪识别技术多采用脑电与面部表情的简单组合，然而，这类方法存在明显缺陷。
2、首先，多数方法采用软件触发或事后时间戳对齐的方式实现脑电与视频数据的同步，由于两种设备各自的时钟漂移、采样率差异及传输延迟，同步误差往往较大，而情绪诱发状态下脑电响应与面部微表情出现的时间窗口高度重叠且极为短暂，同步精度不足会导致模态间特征错位，严重影响融合效果。
3、其次，现有融合方法多采用固定权重或简单的注意力机制，未能根据样本自身特性动态调整脑电特征与面部特征在融合过程中的贡献比例。在实际情绪识别场景中，不同被试、不同情绪状态下两种模态的信噪比和判别力往往存在显著差异，固定权重的融合方式会引入冗余甚至噪声特征，降低分类准确率。
4、此外，情绪是一个随时间演化的心理生理过程，脑电信号的节律变化与微表情的肌肉运动序列均具有强时序依赖性。现有方法常将各模态特征视为独立的时间片段，或仅采用简单的时序池化操作，忽略了长距离时序依赖关系和细微的时序相位差异，导致丢失关键的动态情绪信息。
5、申请内容
6、本申请旨在至少在一定程度上解决相关技术中的技术问题。
7、为达到上述目的，本申请提出了基于深度学习的eeg与微表情多模态情绪分类方法，包括以下步骤：
8、s1、同步采集被试者在情绪诱发状态下的脑电信号序列与面部视频数据；
9、s2、对所述脑电信号进行去噪、分段和基线校正处理，构建脑电样本集，对所述面部视频数据进行人脸检测、关键点定位与对齐，提取面部光流特征序列，构建微表情样本集；
10、s3、利用预设的深度学习网络模型对所述脑电样本集和微表情样本集进行并行特征提取，将所述脑电样本集输入至基于多头自注意力机制的时序卷积网络，提取脑电信号的深层时空特征向量，将所述微表情样本集输入至三维卷积神经网络结合长短期记忆网络的混合架构，提取面部细微运动的动态时空特征向量；
11、s4、通过自适应加权融合模块，将所述脑电深层时空特征向量与面部动态时空特征向量进行融合，生成多模态联合特征表示；
12、s5、将所述多模态联合特征表示输入至全连接分类层，输出对应的情绪类别概率分布，完成情绪状态的分类识别。
13、另外，根据申请上述提出的还可以具有如下附加的技术特征：
14、具体地，所述步骤s1中，同步采集通过预设同步触发机制实现，所述同步触发机制采用硬件同步触发方式，触发信号同步发送至脑电采集设备与视频采集设备，确保脑电信号序列与面部视频数据的时间戳完全对齐，同步误差控制在预设阈值范围内。
15、具体地，所述步骤s2中，脑电信号的去噪处理采用自适应滤波算法，保留脑电信号中的有效情绪相关特征，分段处理按照预设时间窗口进行，时间窗口的长度根据情绪诱发刺激的时长自适应调整，相邻窗口之间设置预设重叠率，避免特征信息丢失，基线校正采用静息态脑电信号作为基准，通过计算静息态脑电信号的均值与标准差，对诱发态脑电信号进行归一化校正。
16、具体地，所述步骤s3中，基于多头自注意力机制的时序卷积网络，包括时序卷积层、多头自注意力层和池化层，其中，所述时序卷积层采用扩张卷积结构以扩大感受野，扩张率根据脑电信号的时序长度自适应设置，可捕捉不同时间尺度下的脑电时序特征；所述多头自注意力层通过多个注意力头并行计算，分别聚焦于脑电信号的不同时序片段，增强对情绪相关关键时序特征的关注度；所述池化层采用时序平均池化或最大池化，用于压缩特征维度，保留关键特征信息，减少模型计算量。
17、具体地，所述步骤s3中，三维卷积神经网络结合长短期记忆网络的混合架构，先通过三维卷积神经网络提取面部光流特征序列的空间特征，三维卷积核同时对光流序列的空间维度和时间维度进行卷积运算，捕捉面部细微运动的空间分布及时间变化规律，再通过长短期记忆网络捕捉特征序列的时序依赖关系，利用长短期记忆网络的门控机制，记忆面部微表情的长期时序特征，抑制无关短期噪声干扰。
18、具体地，所述步骤s4中，自适应加权融合模块通过预设的注意力机制，动态学习脑电深层时空特征向量与面部动态时空特征向量的权重系数，所述注意力机制采用通道注意力或空间注意力结构，可自适应识别两种模态特征中对情绪分类更具判别力的部分，权重系数的更新与特征向量的判别力正相关，实现多模态特征的自适应优化融合。
19、具体地，所述自适应加权融合模块的权重系数通过梯度下降算法迭代优化，优化目标为最小化多模态联合特征表示的分类损失，所述分类损失采用交叉熵损失函数，可有效衡量联合特征与真实情绪类别的差异。
20、具体地，所述步骤s5中，全连接分类层包括至少两层全连接层，第一层全连接层用于对多模态联合特征进行维度转换与特征映射，将高维联合特征转换为低维判别特征；相邻全连接层之间设置激活函数，用于引入非线性变换，增强模型的特征表达能力；最后一层全连接层采用softmax函数输出情绪类别概率分布，softmax函数可将特征向量映射为各情绪类别的概率值，概率值之和为1，根据概率值确定情绪类别。
21、综上所述，本申请基于深度学习的eeg与微表情多模态情绪分类方法的有益效果如下：
22、1、采用硬件同步触发方式，将触发信号同时发送至脑电采集设备与视频采集设备，确保脑电信号序列与面部视频数据的时间戳完全对齐，同步误差可控制在预设阈值内，有效消除了设备时钟漂移、采样率差异及传输延迟，为多模态融合提供了精确的时间对齐基础。
23、2、自适应加权融合模块基于注意力机制动态学习脑电特征与面部特征的权重系数，可自动识别两种模态中对当前情绪分类更具判别力的部分，使权重与特征判别力正相关，实现不同样本、不同情绪状态下的自适应融合，避免了固定权重或简单拼接引入的冗余噪声。
24、3、脑电分支采用扩张时序卷积与多头自注意力，在微表情分支采用3dcnn与lstm，有效捕捉情绪随时间的长期演化规律，扩张卷积逐步扩大感受野以整合跨时间窗的脑电节律变化，lstm通过记忆单元传递历史时序信息，保留面部运动的细微相位差异，全面地保留了情绪诱发过程中的动态依赖关系，提升了对相似情绪状态的区分能力。
技术实现思路
1.基于深度学习的eeg与微表情多模态情绪分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的eeg与微表情多模态情绪分类方法，其特征在于，所述步骤s1中，同步采集通过预设同步触发机制实现，所述同步触发机制采用硬件同步触发方式，触发信号同步发送至脑电采集设备与视频采集设备，确保脑电信号序列与面部视频数据的时间戳完全对齐，同步误差控制在预设阈值范围内。
3.根据权利要求1所述的基于深度学习的eeg与微表情多模态情绪分类方法，其特征在于，所述步骤s2中，脑电信号的去噪处理采用自适应滤波算法，保留脑电信号中的有效情绪相关特征，分段处理按照预设时间窗口进行，时间窗口的长度根据情绪诱发刺激的时长自适应调整，相邻窗口之间设置预设重叠率，避免特征信息丢失，基线校正采用静息态脑电信号作为基准，通过计算静息态脑电信号的均值与标准差，对诱发态脑电信号进行归一化校正。
4.根据权利要求1所述的基于深度学习的eeg与微表情多模态情绪分类方法，其特征在于，所述步骤s3中，基于多头自注意力机制的时序卷积网络，包括时序卷积层、多头自注意力层和池化层，其中，
5.根据权利要求1所述的基于深度学习的eeg与微表情多模态情绪分类方法，其特征在于，所述步骤s3中，三维卷积神经网络结合长短期记忆网络的混合架构，先通过三维卷积神经网络提取面部光流特征序列的空间特征，三维卷积核同时对光流序列的空间维度和时间维度进行卷积运算，捕捉面部细微运动的空间分布及时间变化规律，再通过长短期记忆网络捕捉特征序列的时序依赖关系，利用长短期记忆网络的门控机制，记忆面部微表情的长期时序特征，抑制无关短期噪声干扰。
6.根据权利要求1所述的基于深度学习的eeg与微表情多模态情绪分类方法，其特征在于，所述步骤s4中，自适应加权融合模块通过预设的注意力机制，动态学习脑电深层时空特征向量与面部动态时空特征向量的权重系数，所述注意力机制采用通道注意力或空间注意力结构，可自适应识别两种模态特征中对情绪分类更具判别力的部分，权重系数的更新与特征向量的判别力正相关，实现多模态特征的自适应优化融合。
7.根据权利要求6所述的基于深度学习的eeg与微表情多模态情绪分类方法，其特征在于，所述自适应加权融合模块的权重系数通过梯度下降算法迭代优化，优化目标为最小化多模态联合特征表示的分类损失，所述分类损失采用交叉熵损失函数，可有效衡量联合特征与真实情绪类别的差异。
8.根据权利要求1所述的基于深度学习的eeg与微表情多模态情绪分类方法，其特征在于，所述步骤s5中，全连接分类层包括至少两层全连接层，第一层全连接层用于对多模态联合特征进行维度转换与特征映射，将高维联合特征转换为低维判别特征；相邻全连接层之间设置激活函数，用于引入非线性变换，增强模型的特征表达能力；最后一层全连接层采用softmax函数输出情绪类别概率分布，softmax函数可将特征向量映射为各情绪类别的概率值，概率值之和为1，根据概率值确定情绪类别。