面向情绪识别的多模态生理信号语义对齐方法与系统

1.本技术涉及情绪识别技术领域，尤其涉及一种面向情绪识别的多模态生理信号语义对齐方法与系统。


背景技术：

2.情绪是一种综合人类感觉、思想和行为的状态，包括人类对不同来源刺激产生的心理和生理反应。情绪可以表现在心理状态和生理状态两方面，在日常生活中，人类之间可以互相感觉到彼此的情绪，而随着科技进步，人机交互可以应用于多个使用场景以提升体验感，但机器识别人情绪的准确度不高。
3.机器识别人情绪时，可以通过人的目光、语音、手势等动作类单一模态信号对人的情绪进行识别。但通过动作类的单一模态信号识别情绪时，会因为动作的可控性和伪装性导致识别结果不准确，而生理信号的可控性和伪装性差，可以反应更为客观真实的情绪信息。因此，还可以结合脑电图、肌电图、心电图等生理信号对情绪进行识别，提高情绪识别的准确率。
4.通过多个单一模态信号组合进行情绪识别时，由于信号种类以及信号采集设备的采样率不同，通过信号采集设备得到的各个单一模态信号的信号时长会具有一定区别，而不同信号在各时间段中表达的语义不同，导致在情绪识别的过程中多个单一模态信号的各时间段处于语义未对齐状态，使得情绪识别结果不准确。


技术实现要素：

5.本技术提供一种面向情绪识别的多模态生理信号语义对齐方法与系统，解决通过多模态生理信号识别情绪时，没有充分根据多个单一模态生理信号之间的语义关联程度识别情绪，导致情绪识别准确率不高的问题。
6.第一方面，本技术提供一种面向情绪识别的多模态生理信号语义对齐方法，所述方法包括：
7.获取多模态生理信号，以及基于时间片段提取所述多模态生理信号的特征表征；所述多模态生理信号包括多个单一模态生理信号；所述特征表征用于表征所述单一模态生理信号的语义；
8.根据所述特征表征，对每两个单一模态生理信号的语义执行语义对齐，得到语义对齐表征；所述语义对齐表征包括双向语义对齐表征；
9.将所述双向语义对齐表征输入至情绪识别模型的情绪输出网络，以得到情绪识别结果信息；
10.基于留一被试交叉法，通过计算情绪识别模型的准确率，从情绪识别模型中筛选得到最优情绪识别模型，以及输出最优情绪识别模型；其中，确认准确率最高的情绪识别模型为最优情绪识别模型。
11.在一些可行的实施例中，所述获取多模态生理信号，以及基于时间片段提取所述
多模态生理信号的特征表征的步骤包括：
12.根据生理信号类别，将所述多模态生理信号划分为多个单一模态生理信号；
13.对所述单一模态生理信号执行加窗处理，以将所述单一模态生理信号划分为多个单一模态生理信号片段；
14.提取所述单一模态生理信号片段的特征，以及根据所述特征计算所述特征表征。
15.在一些可行的实施例中，所述根据生理信号类别，将所述多模态生理信号划分为多个单一模态生理信号之后，还包括：
16.将所有单一模态生理信号划分为多个批次，获取每个批次中的单一模态生理信号片段的特征序列的最大序列长度；所述序列长度与所述单一模态生理信号的信号时长为正相关关系；
17.以每个批次中的最大序列长度为参考值，将每个批次中的单一模态生理信号片段的序列长度补齐至最大序列长度，以使得每个批次中的单一模态生理信号片段的特征序列的长度相同。
18.在一些可行的实施例中，根据所述特征计算所述特征表征的步骤包括：
19.将所述单一模态生理信号的特征输入至长短期记忆网络，得到所述单一模态生理信号的特征表征；所述单一模态生理信号的特征由多个单一模态生理信号片段的特征组成的序列表示；所述长短期记忆网络与归一化层以残差连接的方式连接。
20.在一些可行的实施例中，所述根据所述特征表征，对所述多个单一模态生理信号的语义执行语义对齐的步骤包括：
21.对所述单一模态生理信号的特征表征执行线性变换，得到多个行向量组；
22.基于交叉注意力机制，根据所述多个行向量组，计算注意力分数矩阵；所述注意力分数矩阵用于表征每两个单一模态生理信号之间的单向语义关联度；
23.对所述注意力分数矩阵执行模态对齐，得到对齐矩阵；所述模态对齐用于过滤语义相关程度低的模态片段；
24.根据所述对齐矩阵，计算并得到双向语义对齐表征；所述双向语义对齐表征用于表征两个单一模态生理信号之间的双向语义关联程度。
25.在一些可行的实施例中，所述根据所述注意力分数矩阵，执行模态对齐，得到对齐矩阵的步骤包括：
26.设置自适应模态对齐阈值，所述自适应模态对齐阈值用于过滤所述注意力分数矩阵中，用于补齐序列长度的数值；所述自适应模态对齐阈值为所述注意力分数矩阵中的列数的倒数；
27.若所述注意力分数矩阵中任一元素的数值小于所述自适应模态对齐阈值，则将数值小于所述自适应模态对齐阈值的元素替换为零。
28.在一些可行的实施例中，根据所述对齐矩阵，计算并得到双向语义对齐表征的步骤包括：
29.根据所述对齐矩阵，计算单向语义对齐表征；所述单向语义对齐表征用于表征单一模态生理信号之间的单向语义关联程度；
30.对多个单向语义对齐表征执行平均池化，以消除每个单向语义表征之间的时序维度差异，得到形状相同的单向语义对齐表征；
31.拼接每两个单向语义对齐表征，得到多个双向语义对齐表征。
32.在一些可行的实施例中，将所述双向语义对齐表征输入至情绪识别模型的情绪输出网络，得到情绪识别结果信息的步骤包括：
33.拼接所述双向语义对齐表征；
34.将拼接后的双向语义对齐表征分别输入至情绪输出网络；所述情绪识别网络模型包括全连接层、softmax函数层；所述全连接层与所述softmax函数层顺次连接；拼接后的双向语义对齐表征由所述全连接层输入；所述softmax函数层用于输出情绪识别结果信息。
35.第二方面，本技术还提供一种面向情绪识别的多模态生理信号语义对齐系统，所述系统包括预处理模块、训练模块；
36.所述预处理模块用于获取多模态生理信号，以及基于时间片段提取所述多模态生理信号的特征表征；所述多模态生理信号包括多个单一模态生理信号；所述特征表征用于表征所述单一模态生理信号的语义；
37.所述预处理模块还用于根据所述特征表征，对每两个单一模态生理信号的语义执行语义对齐，得到语义对齐表征；所述语义对齐表征包括双向语义对齐表征；
38.所述训练模块用于将所述双向语义对齐表征输入至情绪识别模型的情绪输出网络，以得到情绪识别结果信息；
39.所述训练模块还用于基于留一被试交叉法，通过计算情绪识别模型的准确率，从情绪识别模型中筛选得到最优情绪识别模型，以及输出最优情绪识别模型；其中，确认准确率最高的情绪识别模型为最优情绪识别模型。
40.由上述技术方案可知，本技术提供一种面向情绪识别的多模态生理信号语义对齐方法与系统。所述方法通过获取多模态生理信号，并基于时间片段提取多模态生理信号的特征表征，其中，多模态生理信号由多个单一模态生理信号组成。再根据特征表征对同一样本中每两个单一模态生理信号的语义执行语义对齐，得到单一模态生理信号之间的双向语义对齐表征。将双向语义对齐表征输入至测试集交叉验证的情绪识别模型，以筛选出最优情绪识别模型，并根据最优情绪识别模型识别目标情绪。所述方法通过语义对齐使得各单一模态生理信号的语义相关程度最大，有利于提高情绪识别准确率。在筛选最优模型时，采用训练集与测试集交叉的方式，提高最优模型的可靠性。
附图说明
41.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1为本技术实施例提供的面向情绪识别的多模态生理信号语义对齐方法流程图；
43.图2为本技术实施例提供的特征表征训练流程图；
44.图3为本技术实施例提供的计算双向语义对齐表征示意图；
45.图4为本技术实施例提供的根据双向语义对齐表征识别情绪示意图；
46.图5为本技术实施例提供的根据多模态生理信号特征训练得到特征表征的网络示意图；
47.图6为本技术实施例提供的线性变换执行示意图；
48.图7为本技术实施例提供的计算对齐矩阵示意图；
49.图8为本技术实施例提供的计算双向语义对齐表征示意图。
具体实施方式
50.下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本技术相一致的所有实施方式。仅是与权利要求书中所详述的、本技术的一些方面相一致的系统和方法的示例。
51.在深度学习、神经网络等领域，可以通过建立情绪识别模型对采集到的目标人物的动作信号、生理信号以识别目标人物的情绪。每一种被采集的信号都可作为单一模态信号，多个单一模态信号则可以组成多模态信号。
52.通过单一模态信号识别目标人物的情绪，尤其单一模态信号为动作类信号时，因目标人物的动作存在的伪装性不易获得较高的情绪识别准确率。此外，利用单一模态生理信号识别情绪的过程中并没有结合单一模态生理信号中可提取的用于表达情绪的语义信息。因此，需要通过采集目标人物的多模态信号，即根据多个单一模态信号对目标人物的情绪进行识别。
53.由于神经系统中不同位置对同一刺激的响应顺序、时长不同，导致每个单一模态生理信号对应的发生时间不同。此外，用于采集生理信号的生理信号设备的采样率也可能不同，因此采集得到的每个单一模态生理信号的信号时长不同，因此单一模态生理信号中各时间段表达语义的特征也不同。在根据多模态生理信号对情绪进行识别时，对多个单一模态生理信号之间的语义信息的关联程度发掘程度有限，导致多个单一模态生理信号之间的语义对齐程度较低，进而使得根据多模态生理信号识别情绪的准确率降低。
54.基于上述问题，如图1所示，本技术部分实施例提供一种面向情绪识别的多模态生理信号语义对齐方法，所述方法包括：
55.s100：获取多模态生理信号，以及基于时间片段提取所述多模态生理信号的特征表征；
56.如图2所示，多模态生理信号包括多个单一模态生理信号，特征表征用于表征单一模态生理信号的语义。多模态生理信号可以通过同时采集多个单一模态生理信号获得，例如，在同一时刻，通过脑电信号采集装置采集目标人物的脑电信号，通过心电信号采集装置采集目标人物的心电信号。通过采集得到的两个单一模态生理信号可以组成多模态生理信号，以用于情绪识别。此外，通过采集得到的行为模态可以用于辅助多模态生理信号进行情绪识别。
57.多模态生理信号的特征表征即多个单一模态生理信号特征表征的集合。通过提取多个单一模态生理信号的特征表征，并挖掘其表示的语义，对同一批样本中多个单一模态生理信号的语义进行对齐，有助于提高对目标人物的情绪进行识别的准确率。
58.其中，多模态生理信号包括多个单一模态生理信号，因信号来源、信号时长不同，因此不能直接对特征进行提取，需要对多个单一模态生理信号分别进行特征提取。在一些实施例中，将获取多模态生理信号，以及基于时间片段提取所述多模态生理信号的特征表
征的步骤包括：
59.根据生理信号类别，将所述多模态生理信号划分为多个单一模态生理信号；
60.生理信号的种类不同，因此采集的方式不同，可以通过采集生理信号的设备信息、接口信息等多种形式对生理信号的种类进行分类。例如，采集目标人物的脑电信息时使用的是脑电采集装置，脑电采集装置与终端设备的连接接口可以被确定，通过连接接口传输的脑电数据来源也可以被确定，因此可以通过连接接口的信息将多模态生理信号划分为多个单一模态生理信号。
61.可以理解的是，也可以根据数据的特征、采集设备的设备信息等多种特征将多模态生理信号划分为多个单一模态生理信号。对于将多模态生理信号划分为多个单一模态生理信号的依据不做具体限定，可以有效区分出单一模态生理信号，有利于后续对数据的特征提取、补齐、拼接等都可作为划分为多个单一模态生理信号的依据。
62.单一模态生理信号的种类不同，对应的信号时长也不同。信号时长不同，信号发生过程中包含的特征也不同，即特征形状不同。为了使多个单一模态生理信号的特征形状相同，以降低因特征形状不同导致训练不能正常进行的情况发生的概率，需要将多个单一模态生理信号的序列长度补充至同等水平。对多个单一模态生理信号进行特征提取时，可以分别将所有单一模态生理信号划分为多个批次，并对单一模态生理信号进行特征提取。多批次单一模态生理信号划分可以减少模型的训练时间；同时每次学习一批多个样本的特征，有助于模型快速收敛，有利于提高情绪识别的准确性。
63.对单一模态生理信号进行划分，可以采用对单一模态生理信号执行加窗处理的方式，将所述单一模态生理信号划分为多个单一模态生理信号片段。
64.基于采集得到的生理信号数据，并提取生理信号数据中的特征，通过提取多个特征的方式，增加情绪识别模型的训练精度，并提高情绪识别的准确度。而且，在各个单一模态生理信号数据表达相同语义时的反应强度和延时，也不完全相同，因此在通过加窗的方式提取特征时，需要根据生理信号数据对应的模态，对时间窗参数进行调整。
65.在一些实施例中，可选非重叠滑动时间窗，将不同模态的信号划分为多个时间片段，并对每一个片段上的特征进行提取。被提取的特征种类包括但不限于期望值、标准差、偏度、功率、微分熵和功率谱密度。
66.在特征提取的过程中，需要对多个时间片段内的特征逐一提取，在训练数据量较大时，容易影响特征提取效率。而采用滑动时间窗执行特征提取时，可以设置滑动时间窗的提取执行间隔，以及最小滑动单元等相关参数，以适应于不同模态信号的不同数据量，进而提高特征提取的时间，提高情绪识别模型的训练速度。
67.根据时间窗对多个单一模态生理信号划分后，由于多个单一模态生理信号的信号时长本身会有一定差别，因此得到的每个批次中的多个单一模态生理信号从时间维度上会具有一定差别，为了获得更准确的多个单一模态生理信号之间的语义对齐效果，在一些实施例中，根据生理信号类别，将所述多模态生理信号划分为多个单一模态生理信号之后，还包括：
68.获取所述多个单一模态生理信号的序列长度；
69.将所有单一模态生理信号划分为多个批次，获取每个批次中的单一模态生理信号片段的特征序列的最大序列长度；所述序列长度与所述单一模态生理信号的信号时长为正
相关关系；
70.以每个批次中的最大序列长度为参考值，将每个批次中的单一模态生理信号片段的序列长度补齐至最大序列长度，以使得每个批次中的单一模态生理信号片段的特征序列的长度相同。
71.序列长度与信号时长呈正相关的关系，因此序列长度也可以反应各模态生理信号的特征情况。序列长度不同，则表示各模态生理信号的特征形状不同，不利于特征提取以及拼接、分析等后续处理。因此，需要将序列长度补齐至同一水平。
72.提取最大序列长度，并以最大序列长度作为补齐标准，可以尽量保证与其对应的单一模态生理信号的特征不会丢失。同时也可以使得各个单一模态生理信号的序列长度相同，进而有利于对特征进行提取、拼接、分析。
73.在一些实施例中，在根据特征求取特征表征，将特征表征输入至模型训练，以获得特征与情绪之间的关系时，可选lstm(long short term memory，长短时记忆网络)作为训练网络。因此，基于lstm网络的输入端特点，需要将单一模态生理信号的序列长度补齐至相同水平。需要理解的是，用于补齐序列长度的部分数据具有一定特征，以用于在后续情绪识别的过程中，防止补充数据对情绪识别结果造成影响。
74.提取所述单一模态生理信号的特征，以及根据所述特征计算所述特征表征。在一些实施例中，根据所述特征计算所述特征表征的步骤包括：
75.将所述单一模态生理信号的特征输入至长短期记忆网络，得到所述单一模态生理信号的特征表征；所述单一模态生理信号的特征由多个单一模态生理信号片段的特征组成表示；所述长短期记忆网络与残差层和归一化层顺次连接。
76.单一模态生理信号被划分为多个单一模态生理信号片段后，多个单一模态生理信号片段的特征可以组成单一模态生理信号的特征序列，特征序列可输入至长短期记忆网络进行学习、训练以得到单一模态生理信号的特征表征。
77.如图5所示，将单一模态生理信号的特征输入至lstm网络，可以对单一模态生理信号的时序变化信息进行学习，即学习不同时间片段内的特征与情绪种类之间的关系。为了防止在使用lstm网络学习的过程中发生过拟合、梯度爆炸/消失等问题，lstm网络中的每一层都与归一化层以残差连接的方式进行连接。其中归一化层可用于防止梯度爆炸/消失，残差层可用于减轻因过拟合导致的测试精度差的问题。
78.在一些实施例中，从a模态中提取的特征可以表示为：
[0079][0080]
其中，为a模态样本的序列长度，da为a模态样本的特征维数，为a模态样本的特征集合，i和j表示第i批的第j个样本。将a模态的特征输入至lstm网络后，可以得到a模态的特征表征：
[0081]hai
＝multi_layer lstma(x
ai
)；
[0082]
其中，h
ai
为a模态的特征表征，multi_layer lstma(x
ai
)表示将a模态的特征集合输入至多层lstm网络进行训练学习。
[0083]
得到模态a的特征表征后，可以根据特征表征计算各特征之间的关联度。关联度可以表现为各个单一模态信号对应的语义的对齐程度，根据各个单一模态信号之间的语义对
齐程度，可以对与语义对应的情绪进行识别。
[0084]
s200：根据所述特征表征，对每两个单一模态生理信号的语义执行语义对齐，得到语义对齐表征；
[0085]
如图3所示，特征表征中包含了多个单一模态生理信号中时间与特征的变化关系，可以理解的是，也包含了语义的变化规律。语义对齐表征表示单一模态生理信号中的单向/双向对齐信息，在一些实施例中，多模态生理信号包括a模态和b模态，求得的a和b的语义对齐表征分别为：
[0086][0087]
其中，o
ai
为模态a指向模态b的单向语义表征，具体表现为模态a中的某个片段，综合考虑模态b所有片段对齐信息后加权得到的表征；o
bi
为模态b指向模态a的单向语义表征，具体表现为模态b中的某个片段，综合考虑模态b所有片段对其信息后加权得到的表征。bs为单个批次中的样本个数。
[0088]
根据单向语义表征，可以进一步求取双向语义表征。双向语义表征对于各个单一模态生理信号之间的语义关系描述的更为准确，因此将双向语义表征作为情绪识别的输入值，可以提升情绪识别的准确率。
[0089]
特征表征中包括多个单一模态生理信号的特征表征，分别对应不同的语义。如图7所示，为了训练、学习随时间变化的多个单一模态生理信号的语义相关性，需要根据所述特征表征，对所述多个单一模态生理信号的语义执行语义对齐，其步骤包括：
[0090]
对所述单一模态生理信号的特征表征执行线性变换，得到多个行向量组；
[0091]
基于交叉注意力机制，根据所述多个行向量组，计算注意力分数矩阵；所述注意力分数矩阵用于表征单一模态生理信号之间的单向语义关联度；
[0092]
对所述注意力分数矩阵执行模态对齐，得到对齐矩阵；所述模态对齐用于过滤语义相关程度低的模态片段；
[0093]
在一些实施例中，基于交叉注意力机制对语义表征进行计算。如图6所示，需要根据特征表征计算交叉注意力机制中所需的查询行向量组q
ai
、键行向量组k
ai
以及值行向量组，v
ai
，其中，dk为对特征表征执行线性变换后，得到的查询行向量组与键行向量组的长度，dv为线性变换后值行向量组的长度。
[0094]qai
，k
ai
，v
ai
均为特征表征对应的行向量组的集合，其中的单一行向量组的线性变换结果的计算公式分别为：
[0095][0096]
其中是可训练的线性变换参数矩阵。
[0097]
基于交叉注意力机制可以获取特征表征的局部关注信息，其中值行向量组与权重行向量组(查询行向量组与键行向量组)同时存在时，即可以对特征表征的局部输入特征进行观测。
[0098]
通过线性变换获取行向量组后，可以求取单一模态生理信号对应的注意力分数矩阵。在一些实施例中，以a模态和b模态为例，其注意力分数矩阵分别为：
[0099][0100]
注意力分数矩阵中每个样本元素的计算公式分别为：
[0101][0102]
其中，row softmax表示对注意力分数矩阵中的行进行softmax操作，使行中所有元素相加为1，计算的过程中，各行中元素值越大则说明多个单一模态数据表达的语义相关程度越高。可以理解的是，s
ab
每行计算的是模态a的某一时间片段与模态b中所有时间片段的语义相关程度，s
ba
每行计算的是模态b的某一时间片段与模态a中所有时间片段的语义相关程度。
[0103]
注意力分数矩阵中会存在部分语义相关程度低的数据，语义相关程度低的数据会增加运算时间，降低情绪识别效率。模态对齐指的是将语义相关程度低的部分数据过滤掉，其步骤包括：
[0104]
设置自适应模态对齐阈值，所述自适应模态对齐阈值用于过滤所述注意力分数矩阵中语义相关程度低的数值；
[0105]
若所述注意力分数矩阵中任一元素的数值小于所述自适应模态对齐阈值，则将数值小于所述自适应模态对齐阈值的元素替换为零。
[0106]
如图8所示，沿用上述实施例中的a模态和b模态，过滤语义相关程度低的数据后，分别得到模态a指向模态b的单向对齐矩阵与模态b指向模态a的单向对齐矩阵其各自的计算公式分别为：
[0107][0108]
其中是一个l
ai
×
l
bi
的矩阵，但是去掉补齐部分之后，实际有意义的部分为一个分块矩阵。语义相关程度低的数据对情绪识别的贡献较小，这类数据从数值上也表现出一定的特征，引起可以通过设置自适应模态对齐阈值对语义相关程度低的数据进行过滤。
[0109]
例如，的列数为l
bi
，因此可以将自适应阈值设置为该分块矩阵列数的倒数分块矩阵中的值小于阈值的部分说明对应的语义相关程度低于平均值，因此可以认为这部分元素为语义相关程度低的数据，容易降低情绪识别准确率与识别效率。因此，这部分元素可以用零元素替换，以减少对训练造成的干扰，进而提高模型和情绪识别的准确率。
[0110]
对齐矩阵可以用于求取单向语义对齐表征，根据单向语义对齐表征可以计算并得到双向语义对齐表征。所述双向语义对齐表征用于表征两个单一模态生理信号之间的双向语义关联程度。在一些实施例中，根据所述对齐矩阵，计算并得到双向语义对齐表征的步骤包括：
[0111]
根据所述对齐矩阵，计算单向语义对齐表征；
[0112]
对多个单向语义对齐表征执行平均池化，以消除每个单向语义表征之间的时序维度差异，得到形状相同的单向语义对齐表征；
[0113]
拼接每两个单向语义对齐表征，得到多个双向语义对齐表征。
[0114]
所述单向语义对齐表征用于表征单一模态生理信号的单向语义关联程度。沿用上述实施例，以a模态和b模态为例，根据其各自的对齐矩阵，以及对齐矩阵中的每个元素的单向语义对齐表征的计算公式：
[0115][0116]
通过单向对齐表征计算公式可以得到a模态的单向语义对齐表征与b模态的单向语义对齐表征：
[0117][0118]
根据单向语义对齐表征可以拼接得到双向对齐表征，因为在提取用于计算单向/双向语义对齐表征的特征时，采用的滑动时间窗的长度可能不同，因此单向语义对齐表征的形状可能不同，为了可以通过拼接得到双向语义对齐表征，需要从单向语义对齐表征的时序维度上进行平均池化，以获得形状相同的单向语义对齐表征：
[0119][0120]
根据形状相同的单向语义对齐表征，可以执行拼接并得到a模态与b模态的双向对齐表征：
[0121][0122]
通过平均池化的方式可以预防因单向语义对齐表征形状不同导致不能拼接得到双向语义对齐表征的问题，进而提高训练过程中的稳定性。在计算得到双向语义对齐表征后，可以输入至情绪识别网络进行情绪识别。
[0123]
s300：将所述双向语义对齐表征输入至情绪识别模型的情绪输出网络，以得到情绪识别结果信息。
[0124]
情绪输出网络可以根据双向语义对齐表征进行情绪识别，如图4所示，将所述双向语义对齐表征输入至情绪识别模型的情绪输出网络，得到情绪识别结果信息的步骤包括：
[0125]
拼接所述双向语义对齐表征；
[0126]
将拼接后的双向语义对齐表征分别输入至情绪识别输出网络；
[0127]
多个单一语义对齐表征合成的双向语义对齐表征数量不同，因此在输入至情绪识别网络时需要将多个双向语义对齐表征进行拼接，以将全部有效训练数据输入至情绪识别网络进行识别，以提升情绪识别的准确性。
[0128]
情绪输出网络包括全连接层、softmax函数层。全连接层与所述softmax函数层顺次连接。拼接后的双向语义对齐表征由所述全连接层输入。softmax函数层用于输出情绪识别结果信息。
[0129]
需要说明的是，情绪识别输出网络可以为多个类型相同的网络，通过多个类型相同的网络可以得到多个情绪识别结果。多个情绪识别结果的准确率可以反应出与其对应的情绪识别模型的准确率，进而可以筛选出最优情绪识别模型。
[0130]
s400：基于留一被试交叉法，通过计算情绪识别模型的准确率，从情绪识别模型中筛选得到最优情绪识别模型，以及输出最优情绪识别模型；其中，确认准确率最高的情绪识别模型为最优情绪识别模型。
[0131]
在一些实施例中，采用留一被试交叉法对模型进行筛选。即在训练集与测试集中采用轮动的形式，每个情绪识别模型对应的训练集与测试集的合集相同，但对于每个情绪识别模型，均通过不同的训练集组合与测试集进行验证。
[0132]
每个情绪识别模型的训练集都可以作为其他情绪识别模型的测试集，同理，每个情绪识别模型的测试集都可以作为其他情绪识别模型的一个训练集。例如，共有n个可作为训练集与测试集的数据集，其中第1个数据集可以作为第1个情绪识别模型的测试集，则其他n-1个数据集可以作为第1个情绪识别模型的训练集；又例如，其中第2个数据集可以作为第2个情绪识别模型的测试集，则其他n-1个数据集可以作为第2个情绪识别模型的训练集，在这n-1个训练集中包括在第1个数据集中充当测试集的数据集。
[0133]
因此，在对情绪识别模型进行选择时，数据集的总数，对应于待验证的情绪识别模型的总数。即n个可作为训练集和测试集的数据集，对应n个待验证的情绪识别模型。通过共同的数据集作为测试集和训练集，分别对情绪识别模型进行验证，可以有效的从多个同类型的情绪识别模型中筛选出最优的情绪识别模型。
[0134]
基于上述面向情绪识别的多模态生理信号语义对齐方法，本技术部分实施例还提供一种面向情绪识别的多模态生理信号语义对齐系统，所述系统包括预处理模块、训练模块；
[0135]
所述预处理模块用于获取多模态生理信号，以及基于时间片段提取所述多模态生理信号的特征表征；所述多模态生理信号包括多个单一模态生理信号；所述特征表征用于表征所述单一模态生理信号的语义；
[0136]
所述预处理模块还用于根据所述特征表征，对所述多个单一模态生理信号的语义执行语义对齐，得到语义对齐表征；所述语义对齐表征包括双向语义对齐表征；
[0137]
所述训练模块用于将所述双向语义对齐表征输入至情绪识别模型的情绪输出网络，得到情绪识别结果信息；
[0138]
所述训练模块还用于基于留一被试交叉法，通过计算情绪识别模型的准确率，从情绪识别模型中筛选得到最优情绪识别模型，以及输出最优情绪识别模型；其中，确认准确率最高的情绪识别模型为最优情绪识别模型。
[0139]
由上述技术方案可知，本技术提供一种面向情绪识别的多模态生理信号语义对齐方法与系统。所述方法通过获取多模态生理信号，并基于时间片段提取多模态生理信号的特征表征，其中，多模态生理信号由多个单一模态生理信号组成。再根据特征表征对同一样本中每两个单一模态生理信号的语义执行语义对齐，得到单一模态生理信号之间的双向语义对齐表征。将双向语义对齐表征输入至测试集交叉验证的情绪识别模型，以筛选出最优情绪识别模型，并根据最优情绪识别模型识别目标情绪。所述方法通过语义对齐使得各单一模态生理信号的语义相关程度最大，有利于提高情绪识别准确率。在筛选最优模型时，采用训练集与测试集交叉的方式，提高最优模型的可靠性。
[0140]
本技术提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本技术总的构思下的几个示例，并不构成本技术保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本技术方案所扩展出的任何其他实施方式都属于本技术的保护范围。