基于时频双流卷积注意力网络的EEG人格预测方法及系统

本发明涉及计算机科学、模式识别以及认知神经科学交叉，特别是涉及一种基于时频双流卷积注意力网络的eeg人格预测方法及系统。

背景技术：

1、人格是个体在认知、情感和行为模式上表现出的独特且相对稳定的心理特质。在当今智能化社会，准确的人格预测技术在多个领域具有重大的应用价值。例如，在人力资源管理中，它可以辅助企业进行人岗匹配，筛选出具备特定抗压能力或团队协作倾向的候选人；在人机交互（hci）系统中，系统可根据用户的人格特质（如外向或内向）自适应调整交互界面与反馈策略，提升用户体验；此外，在心理健康监测领域，人格特征往往与特定的心理障碍易感性相关，早期识别有助于进行个性化的心理干预。

2、现有的人格评估方法主要依赖于自我报告式的心理测量问卷，如大五人格量表或迈尔斯-布里格斯类型指标。然而，这种基于显性语义反馈的方法存在天然的主观局限性：

3、社会赞许性效应：受试者在填写问卷时，往往会有意识或无意识地迎合社会主流价值观或职位期望，从而掩饰真实的自我（例如，刻意表现得更“尽责”或更“外向”），导致评估结果失真。

4、认知偏差与文化差异：受试者对问卷题目的理解受限于其自我认知水平和语言文化背景，不同个体对同一描述的理解可能存在显著偏差。

5、静态性：问卷通常只能反映受试者当下的主观判断，难以捕捉其在特定情境刺激下动态、潜意识的心理反应。

6、为了克服上述主观性缺陷，基于生理信号的情感计算与人格识别成为了研究热点。其中，脑电信号（electroencephalogram,eeg）作为中枢神经系统活动的直接反映，具有其他模态无法比拟的客观优势：

7、不可伪造性：eeg记录的是大脑皮层神经元的同步放电活动，这种微伏级的生物电反应往往发生在毫秒级的时间尺度上，受试者难以通过主观意志进行伪装或控制。因此，eeg能够捕捉到受试者最本能、最真实的心理反应。

8、潜意识反映：人格特质不仅体现在显性行为上，更深植于大脑对外部刺激（如视频、音频）的潜意识加工过程中。例如，外向者与内向者在面对社交场景刺激时，其大脑特定区域（如额叶）的激活模式存在显著的生理差异，这种差异是问卷难以量化的。

9、高时间分辨率：eeg具备极高的时间分辨率，能够完整记录大脑从接收刺激到产生认知加工的全过程，包含丰富的动态时序信息。

10、目前，利用eeg进行人格预测已取得一定进展。例如，现有技术中有研究者（如computational intelligence and neuroscience,2021中的相关工作）提出了一种利用快速傅里叶变换（fft）提取频域特征，并结合深度长短期记忆网络（deeplstm）进行分类的方法。该方法虽然在一定程度上利用了深度学习捕捉序列依赖的能力，但在实际应用中仍存在以下技术瓶颈：

11、特征表征不完整：现有方法大多采用单一域特征提取策略。单纯依赖fft提取频域功率谱，会丢失信号在时间轴上的相位信息和瞬态波形特征（如事件相关电位 erp）；而单纯依赖时域输入，则难以显式地捕捉到与人格特质高度相关的脑电节律（如alpha波与放松、beta波与警觉的对应关系）。单一视角的特征难以全面刻画复杂的人格神经机制。

12、抗噪能力与小样本过拟合：eeg信号属于典型的非平稳微弱信号，极易受到眼电（eog）、肌电（emg）等伪迹的干扰。同时，人格预测相关的eeg数据集通常样本量较小。现有的lstm或常规cnn模型参数量大，且缺乏有效的特征选择机制，容易在训练过程中“记忆”噪声而非学习本质特征，导致模型在训练集上表现良好，但在新受试者身上的泛化能力和重测信度较差。

技术实现思路

1、为了解决现有利用eeg进行人格预测方法特征表征不完整、抗噪能力与小样本过拟合的技术问题，本发明提供了一种基于时频双流卷积注意力网络的eeg人格预测方法及系统。

2、为实现上述目的，本发明采用以下技术方案，包括：

3、一种基于时频双流卷积注意力网络的eeg人格预测方法，基于时频双流卷积注意力网络对eeg人格预测模型进行训练，训练方式如下：

4、s11，采集受试者的原始eeg信号及对应的真实人格标签；

5、s12，对原始eeg信号进行去噪和归一化处理，得到时域信号序列；

6、s13，利用多层一维卷积神经网络捕获时域信号序列的局部时序模式，生成时序特征序列矩阵；

7、s14，引入时序注意力机制，对时序特征序列矩阵中各时间步特征按照对应的注意力权重进行加权，输出时域深层特征向量；

8、s15，对原始eeg信号进行快速傅里叶变换，提取多个频段的功率谱密度，生成频带功率向量；

9、s16，通过全连接网络从频带功率向量中提取频域特征矩阵，并对频域特征矩阵中各频段特征按照对应的注意力权重进行加权聚合，输出频域深层特征向量；

10、s17，将时域深层特征向量与频域深层特征向量进行拼接，得到融合向量；

11、s18，基于融合向量，利用分类层获得人格特质预测结果；

12、s19，采用嵌套留一法交叉验证范式对模型进行受试者级性能评估并确定超参数选择方案；完成评估后，使用最终超参数在全部训练受试者数据上重新训练，得到用于实际应用的最终eeg人格预测模型。

13、优选的，步骤s13的具体操作步骤为：

14、将时域信号序列输入多层一维卷积神经网络，输出时序特征序列矩阵：

15、；

16、其中，为卷积神经网络整体映射函数，为卷积神经网络输出的时间步总数，为特征维度。

17、优选的，步骤s14的具体操作步骤为：

18、引入时序注意力机制，根据各时间步的注意力权重对时序特征序列矩阵中的时间步特征进行加权聚合，输出时域深层特征向量：

19、；

20、；

21、；

22、其中，为第个时间步的注意力隐层表示，为双曲正切激活函数，为第个时间步的注意力权重，为可训练的注意力参数，为时序特征序列矩阵中的第个时间步所对应的d维特征列向量，为以自然常数e为底的指数函数，为的转置，为求和遍历用的哑索引，为遍历过程中第个时间步的注意力隐层表示，为时间步总数。

23、优选的，步骤s15的具体操作步骤为：

24、通过功率谱密度特征提取算子将原始eeg信号转换为频带功率向量：

25、；

26、其中，为频率变量，为预设频段，为快速傅里叶变换，为五个预设频段的编号，为频率积分微元。

27、优选的，步骤s16的具体操作步骤为：

28、通过全连接网络从频带功率向量中提取频域特征矩阵：

29、；

30、其中，为全连接网络，

q为预设频段数量，为特征维度；

31、应用频段注意力机制将频域特征矩阵中各频段特征按照对应的注意力权重进行加权聚合，得到频域深层特征向量：

32、；

33、；

34、其中，为频段注意力权重向量，为sigmoid函数，和分别为可训练的频段注意力参数，为频域特征矩阵的转置。

35、优选的，步骤s18的具体操作步骤为：

36、分类层对融合向量进行带有稀疏约束的线性变换，得到线性变换后的融合向量：

37、；

38、其中，为分类层的权重矩阵，为分类层的偏置向量，c为真实人格类别数；

39、通过softmax激活函数将线性变换后的融合向量转换为受试者在人格类别上的预测概率分布：

40、；

41、选取概率值最大的类别作为最终人格特质预测结果y：

42、；

43、其中，为取概率值最大的类别，为模型预测该受试者属于第c类人格类别的概率值。

44、优选的，步骤s19通过优化包含弹性网络正则项的复合目标函数对模型进行训练：

45、；

46、其中，为分类损失，为真实人格类别数，为真实标签在第c类上的指示值，为模型预测该受试者属于第c类人格类别的概率，为对数函数，为稀疏性约束，为l1正则化系数，用于诱导权重稀疏化以筛选关键特征，为分类层的权重参数的绝对值之和；为分类层的权重参数，为稳定性约束，为l2正则化系数，用于平滑权重以防止过拟合，为分类层的权重参数的平方和。

47、优选的，训练后的eeg人格预测模型进行预测的操作步骤如下：

48、s21，采集受试者的原始eeg信号；

49、s22，对原始eeg信号进行去噪和归一化处理，得到时域信号序列；

50、s23，利用多层一维卷积神经网络捕获时域信号序列的局部时序模式，生成时序特征序列矩阵；

51、s24，引入时序注意力机制，对时序特征序列矩阵中各时间步特征按照对应的注意力权重进行加权，输出时域深层特征向量；

52、s25，对原始eeg信号进行快速傅里叶变换，提取多个频段的功率谱密度，生成频带功率向量；

53、s26，通过全连接网络从频带功率向量中提取频域特征矩阵，并对频域特征矩阵中各频段特征按照对应的注意力权重进行加权聚合，输出频域深层特征向量；

54、s27，将时域深层特征向量与频域深层特征向量进行拼接，得到融合向量；

55、s28，基于融合向量，利用分类层获得人格特质预测结果。

56、一种基于时频双流卷积注意力网络的eeg人格预测系统，适用于上述的一种基于时频双流卷积注意力网络的eeg人格预测方法，系统包括：数据采集模块、时域特征提取支路、频域特征提取支路、特征融合模块、分类层和联合优化模块，系统的工作过程分为两个部分，分别为训练过程和应用过程，具体如下所示：

57、训练过程中：

58、数据采集模块：采集受试者的原始eeg信号及对应的真实人格标签；

59、时域特征提取支路：对原始eeg信号进行去噪和归一化处理，得到时域信号序列；利用多层一维卷积神经网络捕获时域信号序列的局部时序模式，生成时序特征序列矩阵，并对时序特征序列矩阵中各时间步特征按照对应的注意力权重进行加权，输出时域深层特征向量；

60、频域特征提取支路：对原始eeg信号进行快速傅里叶变换，提取多个频段的功率谱密度，生成频带功率向量；通过全连接网络从频带功率向量中提取频域特征矩阵，并对频域特征矩阵中各频段特征按照对应的注意力权重进行加权聚合，输出频域深层特征向量；

61、特征融合模块：将时域深层特征向量与频域深层特征向量进行拼接，得到融合向量；

62、分类层：基于融合向量，获得人格特质预测结果；

63、联合优化模块：采用嵌套留一法交叉验证范式对模型进行受试者级性能评估并确定超参数选择方案；完成评估后，使用最终超参数在全部训练受试者数据上重新训练，得到用于实际应用的最终eeg人格预测模型；

64、应用过程包括：数据采集模块、时域特征提取支路、频域特征提取支路、

65、特征融合模块、分类层。

66、一种计算机程序产品，其包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述的一种基于时频双流卷积注意力网络的eeg人格预测方法。

67、本发明的优点在于：

68、1、本发明通过融合卷积神经网络提取时域波形特征，同时借助快速傅里叶变换获取频域节律特征，两类维度特征相互补充印证，有效规避单一分析维度造成的有效信息缺失问题，全面完备地刻画目标信号固有特性。

69、2、本发明引入弹性网络约束方式，依托l1正则化促使无关特征权重趋近于零，可自主筛选核心有效特征，能够显著削弱眼电、肌电等杂讯带来的干扰影响，提升信号分析结果稳定性。

70、3、本发明采用嵌套留一验证方式开展模型评估，彻底规避超参数调优环节的数据泄漏问题，保障评测结果客观真实，适配小样本数据应用场景，模型实际适配与推广使用效果更佳。