面向情绪识别的多模态生理信号语义对齐方法与系统

技术特征：
1.一种面向情绪识别的多模态生理信号语义对齐方法，其特征在于，包括：获取多模态生理信号，以及基于时间片段提取所述多模态生理信号的特征表征；所述多模态生理信号包括多个单一模态生理信号；所述特征表征用于表征所述单一模态生理信号的语义；根据所述特征表征，对每两个单一模态生理信号的语义执行语义对齐，得到语义对齐表征；所述语义对齐表征包括双向语义对齐表征；将所述双向语义对齐表征输入至情绪识别模型的情绪输出网络，以得到情绪识别结果信息；基于留一被试交叉法，通过计算情绪识别模型的准确率，从情绪识别模型中筛选得到最优情绪识别模型，以及输出最优情绪识别模型；其中，确认准确率最高的情绪识别模型为最优情绪识别模型。2.根据权利要求1所述的方法，其特征在于，所述获取多模态生理信号，以及基于时间片段提取所述多模态生理信号的特征表征的步骤包括：根据生理信号类别，将所述多模态生理信号划分为多个单一模态生理信号；对所述单一模态生理信号执行加窗处理，以将所述单一模态生理信号划分为多个单一模态生理信号片段；提取所述单一模态生理信号片段的特征，以及根据所述特征计算所述特征表征。3.根据权利要求2所述的方法，其特征在于，根据生理信号类别，将所述多模态生理信号划分为多个单一模态生理信号之后，还包括：将所有单一模态生理信号划分为多个批次，获取每个批次中的单一模态生理信号片段的特征序列的最大序列长度；所述序列长度与所述单一模态生理信号的信号时长为正相关关系；以每个批次中的最大序列长度为参考值，将每个批次中的单一模态生理信号片段的序列长度补齐至最大序列长度，以使得每个批次中的单一模态生理信号片段的特征序列的长度相同。4.根据权利要求3所述的方法，其特征在于，根据所述特征计算所述特征表征的步骤包括：将所述单一模态生理信号的特征输入至长短期记忆网络，得到所述单一模态生理信号的特征表征；所述单一模态生理信号的特征由多个单一模态生理信号片段的特征组成的序列表示；所述长短期记忆网络与归一化层以残差连接的方式连接。5.根据权利要求4所述的方法，其特征在于，所述根据所述特征表征，对所述多个单一模态生理信号的语义执行语义对齐的步骤包括：对所述单一模态生理信号的特征表征执行线性变换，得到多个行向量组；基于交叉注意力机制，根据所述多个行向量组，计算注意力分数矩阵；所述注意力分数矩阵用于表征每两个模态不同的单一模态生理信号之间的单向语义关联度；对所述注意力分数矩阵执行模态对齐，得到对齐矩阵；所述模态对齐用于过滤语义相关程度低的模态片段；根据所述对齐矩阵，计算并得到双向语义对齐表征；所述双向语义对齐表征用于表征两个单一模态生理信号之间的双向语义关联程度。
6.根据权利要求5所述的方法，其特征在于，所述注意力分数矩阵执行模态对齐，得到对齐矩阵的步骤包括：设置自适应模态对齐阈值，所述自适应模态对齐阈值用于过滤所述注意力分数矩阵中语义相关程度低的数据；所述自适应模态对齐阈值为所述注意力分数矩阵中的列数的倒数；若所述注意力分数矩阵中任一元素的数值小于所述自适应模态对齐阈值，则将数值小于所述自适应模态对齐阈值的元素替换为零。7.根据权利要求5所述的方法，其特征在于，根据所述对齐矩阵，计算并得到双向语义对齐表征的步骤包括：根据所述对齐矩阵，计算单向语义对齐表征；所述单向语义对齐表征用于表征单一模态生理信号之间的单向语义关联程度；对多个单向语义对齐表征执行平均池化，以消除每个单向语义表征之间的时序维度差异，得到形状相同的单向语义对齐表征；拼接每两个单向语义对齐表征，得到多个双向语义对齐表征。8.根据权利要求1所述的方法，其特征在于，将所述双向语义对齐表征输入至情绪识别模型的情绪输出网络，得到情绪识别结果信息的步骤包括：拼接所述双向语义对齐表征；将拼接后的双向语义对齐表征分别输入至所述情绪输出网络；所述情绪输出网络包括全连接层、softmax函数层；所述全连接层与所述softmax函数层顺次连接；拼接后的双向语义对齐表征由所述全连接层输入；所述softmax函数层用于输出情绪识别结果信息。9.一种面向情绪识别的多模态生理信号语义对齐系统，其特征在于，包括：预处理模块、训练模块；所述预处理模块用于获取多模态生理信号，以及基于时间片段提取所述多模态生理信号的特征表征；所述多模态生理信号包括多个单一模态生理信号；所述特征表征用于表征所述单一模态生理信号的语义；所述预处理模块还用于根据所述特征表征，对所述多个单一模态生理信号的语义执行语义对齐，得到语义对齐表征；所述语义对齐表征包括双向语义对齐表征；所述训练模块用于将所述双向语义对齐表征输入至情绪识别模型的情绪输出网络，以得到情绪识别结果信息；所述训练模块还用于基于留一被试交叉法，通过计算情绪识别模型的准确率，从情绪识别模型中筛选得到最优情绪识别模型，以及输出最优情绪识别模型；其中，确认准确率最高的情绪识别模型为最优情绪识别模型。

技术总结
本申请提供一种面向情绪识别的多模态生理信号语义对齐方法与系统。所述方法通过获取多模态生理信号，并基于时间片段提取多模态生理信号的特征表征，其中，多模态生理信号由多个单一模态生理信号组成。再根据特征表征对同一样本中每两个单一模态生理信号的语义执行语义对齐，得到单一模态生理信号之间的双向语义对齐表征。将双向语义对齐表征输入至测试集交叉验证的情绪识别模型，以筛选出最优情绪识别模型，并根据最优情绪识别模型识别目标情绪。所述方法通过语义对齐使得各单一模态生理信号的语义相关程度最大，有利于提高情绪识别准确率。在筛选最优模型时，采用训练集与测试集交叉的方式，提高最优模型的可靠性。提高最优模型的可靠性。提高最优模型的可靠性。


技术研发人员：胡斌 梁华健 沈健 董群喜 陈佳蓥 马瑞瑞 赵泽光 朱可欣 尤乐淳
受保护的技术使用者：北京理工大学
技术研发日：2023.05.12
技术公布日：2023/8/9