基于双曲原型对比学习与自适应编码器的脑电情绪识别方法及装置

本发明涉及脑机接口、情绪计算和人工智能，具体涉及一种基于双曲原型对比学习与自适应编码器的脑电情绪识别方法及装置。

背景技术：

1、脑电信号能够反映大脑在不同情绪状态下的神经活动差异，因此脑电情绪识别在人机交互、心理状态评估和智能辅助系统中具有广泛的应用前景。与面部表情、语音等外显模态相比，脑电信号能够更直接地反映中枢神经系统活动，具备不易伪装、时间分辨率高和能够表征内隐情绪状态等优点。随着深度学习和自监督学习的发展，研究者开始尝试利用卷积网络、图网络、注意力网络以及对比学习框架对脑电时空特征进行建模。该类方法虽然在一定程度上提升了特征表达能力，但脑电情绪识别场景天然存在受试者间分布差异大、情绪类别边界模糊、样本标注成本高、会话间漂移明显等问题，因此仅依赖常规欧氏空间表征学习仍难以稳定刻画不同情绪类别之间的潜在层级关系和细粒度结构。

2、现有技术中，一类方法主要依赖人工设计频域特征、微分熵特征或统计特征，再配合支持向量机、随机森林或浅层神经网络进行分类。该类方法虽然流程较为清晰，但对人工特征工程依赖较强，难以充分挖掘脑电信号的非线性时空耦合关系，在跨受试者或跨会话场景下容易出现性能衰减。另一类方法虽然采用深度网络自动学习表示，但多数方法仍以单一类别中心或平坦分类头来描述情绪类别，缺少对情绪内部细粒度模式和类别之间层级几何关系的约束。例如，专利cn111616721b公开了一种基于深度学习和脑机接口的情绪识别系统及应用，主要通过脑电采集、深度学习建模和情绪分类显示实现情绪识别；专利cn112932502b公开了一种结合互信息通道选择与混合神经网络的脑电情感识别方法，重点在于通过通道筛选和混合神经网络结构提升分类效果；专利cn111134667b公开了一种基于脑电信号的时间迁移情绪识别方法及系统，侧重于通过稳定特征筛选和迁移式分类器提高时间迁移场景下的识别能力；专利cn116933137a公开了一种脑电跨被试的情绪识别方法、装置、设备及介质，采用差分熵特征提取、梯度反转和特征融合方式提升跨被试识别性能。上述方案分别从深度学习分类、通道优化、时间迁移和跨被试建模等角度对脑电情绪识别进行了改进。

3、进一步地，部分现有方案虽然在分类阶段引入双曲空间、原型学习或层次分类思想，但其双曲结构大多设置在最终判别层，未能在编码器预训练阶段对特征形成过程施加约束。这样会导致编码器在学习阶段仍然主要围绕欧氏空间局部判别边界进行优化，使得特征本身未显式吸收情绪类别的层级结构信息，进而削弱了后续迁移使用、轻量分类和跨主体泛化的效果。

4、此外，在工程落地方面，现有方法常常将特征编码、复杂分类器、任务专用后处理耦合在同一大模型中，导致训练链路冗长、模块边界不清晰，不利于在不同数据集、不同情绪类别规模和不同部署终端之间迁移。尤其是在需要冻结通用编码器并快速适配下游任务时，现有方案往往难以兼顾结构化表征能力、分类灵活性以及实现复杂度。

5、因此，亟需一种新的脑电情绪识别方法，在编码器预训练阶段即引入能够表达类别层级关系的双曲原型约束，使编码器学得更稳定、更具迁移性的情绪结构化表征；同时在下游采用结构更清晰的多层感知机分类器，以兼顾识别精度、跨受试者鲁棒性和实际部署可行性。

技术实现思路

1、针对现有技术中存在的上述问题，提出一种基于双曲原型对比学习与自适应编码器的脑电情绪识别方法。该方法将双曲结构前移至上游对比学习预训练阶段，使编码器在特征形成过程中即受到样本、叶原型和顶层原型的联合约束，从而获得包含类别层级关系的脑电表征；下游阶段采用冻结编码器与多层感知机分类器相配合的解耦结构，实现情绪类别识别。

2、为实现上述目的，本发明采用如下技术方案：获取用户脑电情绪识别的脑电信号数据；根据对应数据集对脑电信号数据进行预处理，得到脑电样本片段；构建自适应编码器，设置叶原型和顶层原型，并采用双曲原型对比学习方法对自适应编码器进行预训练；将脑电样本片段输入到预训练后的自适应编码器中进行脑电时空特征提取，得到脑电信号的时空特征；对每个脑电样本片段构造增强视图，将增强视图对应的时空特征映射到双曲空间中，得到映射特征；将映射特征输入到预训练后的自适应编码器中，并对自适应编码器输出特征进行后处理，得到片段级差分熵特征表示；将片段级差分熵特征表示输入多层感知机分类器进行情绪类别识别，得到脑电情绪识别结果。

3、为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一上述基于双曲原型对比学习与自适应编码器的脑电情绪识别方法。

4、为实现上述目的，本发明还提供一种基于双曲原型对比学习与自适应编码器的脑电情绪识别装置，包括数据获取模块、预处理模块、编码特征提取模块、双曲原型对比预训练模块、特征后处理模块、分类识别模块、存储模块以及处理模块；所述处理模块用于调用存储模块中的程序，以协调各功能模块执行上述脑电情绪识别方法。

5、本发明的有益效果：

6、本发明采用了双曲原型对比学习与自适应编码器相结合的脑电情绪识别技术路线，从而实现了一种适用于跨受试者场景的脑电情绪识别方法，a) 相比于仅在欧氏空间中学习特征的脑电情绪识别系统，能够更好地组织情绪类别之间的粗细粒度关系，提升类间结构可分性；b) 相比于仅在下游分类阶段引入双曲结构的方法，本发明能够在编码器预训练阶段形成更稳定的结构化特征表征，从而具备更强的特征迁移能力；c) 本发明采用afr自适应编码器来建模脑电信号的空间拓扑关系和时间动态模式，能够有效缓解跨受试者差异带来的性能下降问题，提升脑电情绪识别的准确性和鲁棒性；d) 本发明通过“冻结编码器 + 特征后处理 + 多层感知机分类器”的解耦流程，使得特征编码和任务分类可以独立调节，便于在多数据集、多类别任务和多终端场景下部署；e) 本发明引入运行归一化和lds平滑对编码器输出特征进行后处理，可以进一步抑制试次间慢漂移和瞬时噪声波动，提高分类器训练的稳定性；f) 本发明采用多层感知机作为下游分类器，不但能够输出多类别脑电情绪识别结果，而且具备更清晰的训练流程、更小的部署复杂度和更好的工程适配能力，极大地提升了系统的实用性和普及性。

1.一种基于双曲原型对比学习与自适应编码器的脑电情绪识别方法，其特征在于，包括：获取用户脑电情绪识别的脑电信号数据；根据对应数据集对脑电信号数据进行预处理，得到脑电样本片段；构建自适应编码器，设置叶原型和顶层原型，并采用双曲原型对比学习方法对自适应编码器进行预训练；将脑电样本片段输入到预训练后的自适应编码器中进行脑电时空特征提取，得到脑电信号的时空特征；对每个脑电样本片段构造增强视图，将增强视图对应的时空特征映射到双曲空间中，得到映射特征；将映射特征输入到预训练后的自适应编码器中，并对自适应编码器输出特征进行后处理，得到片段级差分熵特征表示；将片段级差分熵特征表示输入多层感知机分类器进行情绪类别识别，得到脑电情绪识别结果。

2.根据权利要求1所述的一种基于双曲原型对比学习与自适应编码器的脑电情绪识别方法，其特征在于，脑电信号数据采用seed数据集、seed-v数据集和faced数据集中的至少一种数据；其中，针对seed数据集和seed-v数据集，预处理过程包括：对原始脑电信号执行下采样；进行带通滤波；检测噪声通道并进行插值修复；采用独立成分分析去除眼动伪迹；执行自动肌电伪迹标注；再进行相对基线重标定；针对faced数据集，采用该数据集发布方公开发布的标准化预处理后的脑电数据；标准化预处理包括：将原始脑电信号下采样至250hz；进行带通滤波；采用平均参考对信号进行重参考；检测坏导并进行插值修复；采用独立成分分析去除眼动、肌电和心电伪迹，得到按视频刺激组织的、去伪迹后的多导头皮脑电数据。

3.根据权利要求1所述的一种基于双曲原型对比学习与自适应编码器的脑电情绪识别方法，其特征在于，自适应编码器为afr编码器，包括初始时间卷积层、多分支多尺度空间-时间卷积层、自适应特征门控层、时间增强层和分组时间投影卷积层；其中，初始时间卷积层用于提取脑电信号的局部时间模式，多分支多尺度空间-时间卷积层用于在不同膨胀尺度下联合建模脑电信号的跨通道空间关系和时间上下文，自适应特征门控层用于增强情绪判别相关特征，时间增强层用于强化多尺度时间依赖关系，分组时间投影卷积层用于生成供对比预训练和下游分类使用的编码表示。

4.根据权利要求1所述的一种基于双曲原型对比学习与自适应编码器的脑电情绪识别方法，其特征在于，将增强视图对应的时空特征映射到双曲空间中包括：将自适应编码器输出的时空特征经投影头映射为投影向量；对投影向量进行 l2 归一化，使其位于单位超球面上得到归一化特征；以双曲空间原点为切点，通过原点指数映射将归一化特征由切空间映射至曲率参数为 c 的 poincaré 球双曲空间，并对指数映射结果执行边界投影，约束其在 poincaré 球有效半径范围内，最终得到双曲嵌入特征；实例对比与原型对齐均基于该双曲嵌入特征间的双曲距离进行度量。

5.根据权利要求1所述的一种基于双曲原型对比学习与自适应编码器的脑电情绪识别方法，其特征在于，采用双曲原型对比学习方法对自适应编码器进行预训练包括：

6.根据权利要求5所述的一种基于双曲原型对比学习与自适应编码器的脑电情绪识别方法，其特征在于，模型损失函数包括联合优化实例对比损失、样本到原型吸引损失、层级特异性margin损失，以及根据数据集任务配置启用的径向结构正则损失。

7.根据权利要求6所述的一种基于双曲原型对比学习与自适应编码器的脑电情绪识别方法，其特征在于，模型的损失函数为：

8.根据权利要求1所述的一种基于双曲原型对比学习与自适应编码器的脑电情绪识别方法，其特征在于，对自适应编码器输出特征进行后处理包括微分熵聚合、运行归一化和试次内平滑；设冻结后的自适应编码器对第i个脑电样本片段输出的预测特征为，则计算该片段在时间维上的均值和方差；基于时序方差提取微分熵特征；将同一受试者或同一会话内的片段级微分熵特征按照采集顺序统计均值和方差分别记为与 ，计算当前序列运行均值和运行方差；按衰减系数融合训练集统计量和当前序列运行统计量，得到片段特征；对片段特征进行归一化处理；对同一试次内的归一化特征序列执行 lds 平滑，将运行归一化和lds平滑处理后的差分熵特征输入多层感知机分类器，分类输出为情绪类别概率分布。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行权利要求1-8任一所述一种基于双曲原型对比学习与自适应编码器的脑电情绪识别方法。

10.一种基于双曲原型对比学习与自适应编码器的脑电情绪识别装置，其特征在于，包括处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述一种基于双曲原型对比学习与自适应编码器的脑电情绪识别装置执行权利要求1-8中任一项基于双曲原型对比学习与自适应编码器的脑电情绪识别方法。