一种情感计算中多模态生理信号的特征级融合方法

1.本技术涉及情感识别领域，具体涉及一种情感计算中多模态生理信号的特征级融合方法。


背景技术：

2.一个情感计算系统通常包含三个连续的过程：用户的情感激发、机器进行情感识别、并产生反馈行为。其中情感识别过程是人与机器建立情感交互联系的渠道，因此能够识别用户的情感是情感计算系统需要具备的最基本、最重要的能力。
3.生理信号可通过小型化的可穿戴设备(包括传感器)持续的获得，相比于语音、视频等信号具有便捷、稳定、限制少、适用场景广等优点，得到了广泛的关注。而可用于情感识别的生理信号很多，包括脑电图、肌电图、心率、皮肤电阻抗等，但不同信号蕴含的关于情感状态的模式不同，存在冗余或互补的信息，为信息融合带来了极大的挑战。
4.针对情感计算系统，目前已有的多模态生理信号融合方法可以分为三类：信号级的融合方法、特征级的融合方法和决策级的融合方法。信号级融合由于信息的抽象的层级低，保留的原始信息最充分，但通常要求信号的采样频率一致，且受到环境噪声干扰的影响较大，鲁棒性较弱；特征级融合则在原始信号抽象成特征向量后进行融合，处理的数据量适中，融合策略的实施更加灵活，使用最广泛；决策级的融合对多个分类器做出的决策进行融合。
5.而在现有的相关技术的研究过程中，发明人发现，尽管各个层级的融合通常都有利于提高情感识别的准确率，但是也都存在适用性较差的问题，如现有技术中以信号方差为主要依据的信号级融合方法，结果表明融合后的分类性能优于单独使用各个信号，然而其无法避免信号级融合固有的缺点；如现有技术中基于愉悦-唤醒二维情感模型和隐马尔可夫模型的特征级融合方法，与非融合方法比较，取得了更高的准确率，然而其是对特征向量的简单首尾拼接融合，无法反映融合过程中哪些生理信号对于情感识别任务的贡献更大；如现有技术中基于堆叠自编码器的模型，利用深度学习实现自动的特征级融合，然而其直接利用深度学习中的堆叠自编码器，虽然深度网络的神经元通过调整其权重可以学习到哪些特征更有用，也能加深深度来提高性能，但其可解释性较差；如现有技术中使用多核学习，针对每个模态计算核矩阵并加权融合，其利用了多核学习，其背后的核技巧具有较完善的理论基础，但属于浅层学习，很难像深度学习那样通过加深网络提高性能；如现有技术中对脑电、眼动信号进行决策级融合，对比了最大值规则、求和规则、投票规则和模糊度量规则，其使用了决策级融合，但每个生理信号单独做出决策后再进行融合就无法考虑到生理信号间的相互作用。


技术实现要素：

6.本技术提供了一种情感计算中多模态生理信号的特征级融合方法，用于对生理信号实现更好地融合，具有良好的可解释性、强大的学习表征能力、直观、灵活性高、适用性好
等特点，从而达到显著提高的实用性。
7.第一方面，本技术提供了一种情感计算中多模态生理信号的特征级融合方法，方法包括：
8.处理设备获取原始数据s
(m)
，其中，原始数据s
(m)
为记录了p个模态的生理信号类型的样本数据，原始数据s
(m)
记为原始数据s
(m)
还配置有情感标签y，情感标签y记为y＝{yi}，i＝1，2，...，n，n表示样本个数，一共有c个类别；
9.处理设备针对原始数据s
(m)
中的每个模态的特点，分别进行预处理和特征提取，得到特征向量x
(m)
，特征向量x
(m)
记为
10.处理设备对于特征向量x
(m)
中的第m个模态，计算对应的核矩阵并进行核矩阵嵌入，得到多核嵌入向量e
(m)
，其中，每一个核矩阵及其嵌入都有一个相对应的模态，多核嵌入向量e
(m)
记为
11.处理设备将多核嵌入向量e
(m)
视为样本，在可再生核希尔伯特空间rkhs中表示，利用多核嵌入向量e
(m)
和样本标签，计算每个模态的可分性判据其中，为类内离差矩阵，为类间离差矩阵，
12.赋予第i个模态一个加权系数，其值为则有γ＝(γ1，γ2，...，γ
p
)
t
，其系数大小反映了对应模态的重要程度，
13.加权融合得到集成向量e，集成向量e记为加权融合得到集成向量e，集成向量e记为
14.处理设备通过集成向量e及其对应的情感标签y训练初始模型，得到情感识别模型，情感识别模型用于对输入的目标生理信号执行情感识别。
15.结合本技术第一方面，在本技术第一方面第一种可能的实现方式中，核矩阵嵌入具体为nystrom近似核矩阵嵌入，nystrom近似核矩阵嵌入包括以下内容：
16.对于特征向量x
(m)
中的第m个模态，将其特征向量归一化后，计算核矩阵其中，k为选定的核函数；
17.从核矩阵k
(m)
中随机采样s列(s＜＜n)，构成矩阵c
(m)
∈rn×s；
18.从矩阵c中抽取出被采样的列所对应的s行，构成半正定矩阵w
(m)
∈rs×s；
19.由半正定矩阵w
(m)
的奇异值分解得到其中，∑
(m)
为对角矩阵，对角线元素σi为降序排列的特征值，u
(m)
为正交矩阵，其第i列记为对于给定的r≤s，核矩阵k的rank-r近似为：其中，
20.计算嵌入向量
21.对所有模态执行以上操作后，得到多核嵌入向量e
(m)
，多核嵌入向量e
(m)
记为
22.结合本技术第一方面，在本技术第一方面第二种可能的实现方式中，核矩阵嵌入具体为在特征空间聚类的nystrom近似核矩阵嵌入，在特征空间聚类的nystrom近似核矩阵嵌入包括以下内容：
23.对于特征向量x
(m)
中的第m个模态，从特征向量x
(m)
中采样出n
′
＜n个样本，并进行k均值聚类，找出r个聚类中心，记为
24.计算核矩阵和核矩阵其中，其中，
25.计算嵌入向量
26.对所有模态执行以上操作后，得到多核嵌入向量e
(m)
，多核嵌入向量e
(m)
记为
27.结合本技术第一方面，在本技术第一方面第三种可能的实现方式中，类内离差矩阵的计算公式为：
[0028][0029]
类间离差矩阵的计算公式为：
[0030][0031]
其中，pi和ni分别代表第i个类别的先验概率和样本个数，pi用统计量代替，代表第m个模态嵌入向量中属于类别i的第k个样本，代表第m个模态嵌入向量中属于类别i样本的均值向量，μ
(m)
代表第m个模态嵌入向量中所有样本的均值向量，
[0032]
结合本技术第一方面，在本技术第一方面第四种可能的实现方式中，处理设备获取原始数据s
(m)
，包括：
[0033]
处理设备通过情感识别应用场景中配置在用户身上的可穿戴设备，采集原始数据s
(m)
，可穿戴设备上配置所需采集数据相对应的传感器。
[0034]
结合本技术第一方面，在本技术第一方面第五种可能的实现方式中，处理设备获取原始数据s
(m)
，包括：
[0035]
处理设备基于离线的形式，调取预先完成存储的原始数据s
(m)
。
[0036]
结合本技术第一方面，在本技术第一方面第六种可能的实现方式中，处理设备通过集成向量与标签{(ei，yi)}训练初始模型，得到情感识别模型之后，方法还包括：
[0037]
处理设备通过情感识别应用场景中配置在用户身上的可穿戴设备，采集实时的生理信号，可穿戴设备上配置所需采集数据相对应的传感器；
[0038]
处理设备将实时的生理信号输入至情感识别模型；
[0039]
处理设备提取情感识别模型根据实时的生理信号经过情感识别处理后所输出的情感识别结果。
[0040]
第二方面，本技术提供了一种情感计算中多模态生理信号的特征级融合装置，装置包括：
[0041]
获取单元，用于获取原始数据s
(m)
，其中，原始数据s
(m)
为记录了p个模态的生理信号类型的样本数据，原始数据s
(m)
记为记为原始数据s
(m)
还配置有情感标签y，情感标签y记为y＝{yi}，i＝1，2，...，n，n表示样本个数，一共有c个类别；
[0042]
特征提取单元，用于针对原始数据s
(m)
中的每个模态的特点，分别进行预处理和特征提取，得到特征向量x
(m)
，特征向量x
(m)
记为记为
[0043]
核矩阵嵌入单元，用于对于特征向量x
(m)
中的第m个模态，计算对应的核矩阵并进行核矩阵嵌入，得到多核嵌入向量e
(m)
，其中，每一个核矩阵及其嵌入都有一个相对应的模态，多核嵌入向量e
(m)
记为记为
[0044]
集成向量处理单元，用于将多核嵌入向量e
(m)
视为样本，在可再生核希尔伯特空间rkhs中表示，利用多核嵌入向量e
(m)
和样本标签，计算每个模态的可分性判据其中，为类内离差矩阵，为类间离差矩阵，
[0045]
赋予第i个模态一个加权系数，其值为则有γ＝(γ1，γ2，...，γ
p
)
t
，其系数大小反映了对应模态的重要程度，
[0046]
加权融合得到集成向量e，集成向量e记为加权融合得到集成向量e，集成向量e记为
[0047]
训练单元，用于通过集成向量e及其对应的情感标签y训练初始模型，得到情感识别模型，情感识别模型用于对输入的目标生理信号执行情感识别。
[0048]
结合本技术第二方面，在本技术第二方面第一种可能的实现方式中，核矩阵嵌入具体为nystrom近似核矩阵嵌入，nystrom近似核矩阵嵌入包括以下内容：
[0049]
对于特征向量x
(m)
中的第m个模态，将其特征向量归一化后，计算核矩阵其中，k为选定的核函数；
[0050]
从核矩阵k
(m)
中随机采样s列(s＜＜n)，构成矩阵c
(m)
∈rn×s；
[0051]
从矩阵c中抽取出被采样的列所对应的s行，构成半正定矩阵w
(m)
∈rs×s；
[0052]
由半正定矩阵w
(m)
的奇异值分解得到其中，∑
(m)
为对角矩阵，对角线元素σi为降序排列的特征值，u
(m)
为正交矩阵，其第i列记为对于给定的r≤s，核矩阵k的rank-r近似为：其中，
[0053]
计算嵌入向量
[0054]
对所有模态执行以上操作后，得到多核嵌入向量e
(m)
，多核嵌入向量e
(m)
记为
[0055]
结合本技术第二方面，在本技术第二方面第二种可能的实现方式中，核矩阵嵌入具体为在特征空间聚类的nystrom近似核矩阵嵌入，在特征空间聚类的nystrom近似核矩阵嵌入包括以下内容：
[0056]
对于特征向量x
(m)
中的第m个模态，从特征向量x
(m)
中采样出n
′
＜n个样本，并进行k均值聚类，找出r个聚类中心，记为
[0057]
计算核矩阵和核矩阵其中，其中，
[0058]
计算嵌入向量
[0059]
对所有模态执行以上操作后，得到多核嵌入向量e
(m)
，多核嵌入向量e
(m)
记为
[0060]
结合本技术第二方面，在本技术第二方面第三种可能的实现方式中，类内离差矩阵的计算公式为：
[0061][0062]
类间离差矩阵的计算公式为：
[0063][0064]
其中，pi和ni分别代表第i个类别的先验概率和样本个数，pi用统计量代替，代表第m个模态嵌入向量中属于类别i的第k个样本，代表第m个模态嵌入向量中属于类别i样本的均值向量，μ
(m)
代表第m个模态嵌入向量中所有样本的均值向量，
[0065]
结合本技术第二方面，在本技术第二方面第四种可能的实现方式中，获取单元，具体用于：
[0066]
通过情感识别应用场景中配置在用户身上的可穿戴设备，采集原始数据s
(m)
，可穿戴设备上配置所需采集数据相对应的传感器。
[0067]
结合本技术第二方面，在本技术第二方面第五种可能的实现方式中，获取单元，具体用于：
[0068]
基于离线的形式，调取预先完成存储的原始数据s
(m)
。
[0069]
结合本技术第二方面，在本技术第二方面第六种可能的实现方式中，装置还包括
应用单元，用于：
[0070]
通过情感识别应用场景中配置在用户身上的可穿戴设备，采集实时的生理信号，可穿戴设备上配置所需采集数据相对应的传感器；
[0071]
将实时的生理信号输入至情感识别模型；
[0072]
提取情感识别模型根据实时的生理信号经过情感识别处理后所输出的情感识别结果。
[0073]
第三方面，本技术提供了一种处理设备，包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行本技术第一方面或者本技术第一方面任一种可能的实现方式提供的方法。
[0074]
第四方面，本技术提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本技术第一方面或者本技术第一方面任一种可能的实现方式提供的方法。
[0075]
从以上内容可得出，本技术具有以下的有益效果：
[0076]
在情感识别模型的整体训练过程中，本技术构建了一情感计算中多模态生理信号的特征级融合机制，通过引入的核矩阵的嵌入，能够连接核方法与深度学习，从而取长补短，兼具核方法的良好可解释性和深度神经网络等深度学习方法强大的学习表征能力。
[0077]
其次，其基于多核学习提出的加权融合策略非常直观，加权参数的大小直接反映了某个模态对于任务的重要程度，且融合后的分类性能相比对单个模态有所提升。
[0078]
并且，本技术既不需要限制特征提取方法的种类和数量，也不需要限制后续分类模型的选择，灵活性高，适用性好。
[0079]
也就是说，本技术所提出的情感计算中多模态生理信号的特征级融合机制，对生理信号实现更好地融合，具有良好的可解释性、强大的学习表征能力、直观、灵活性高、适用性好等特点，从而达到显著提高的实用性。
附图说明
[0080]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0081]
图1为本技术情感计算中多模态生理信号的特征级融合方法的一种流程示意图；
[0082]
图2为本技术情感计算中多模态生理信号的特征级融合方法的一种场景示意图；
[0083]
图3为本技术某个三分类情感识别任务中，两个模态在应用本技术前后的t-sne可视化图及加权系数大小和分类准确率对比的场景示意图；
[0084]
图4为本技术情感计算中多模态生理信号的特征级融合装置的一种结构示意图；
[0085]
图5为本技术处理设备的一种结构示意图。
具体实施方式
[0086]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于
本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0087]
本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本技术中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。
[0088]
本技术中所出现的模块的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本技术中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本技术方案的目的。
[0089]
在介绍本技术提供的情感计算中多模态生理信号的特征级融合方法之前，首先介绍本技术所涉及的背景内容。
[0090]
本技术提供的情感计算中多模态生理信号的特征级融合方法、装置以及计算机可读存储介质，可应用于处理设备，用于对生理信号实现更好地融合，具有良好的可解释性、强大的学习表征能力、直观、灵活性高、适用性好等特点，从而达到显著提高的实用性。
[0091]
本技术提及的情感计算中多模态生理信号的特征级融合方法，其执行主体可以为情感计算中多模态生理信号的特征级融合装置，或者集成了该情感计算中多模态生理信号的特征级融合装置的服务器、物理主机或者用户设备(user equipment，ue)等不同类型的处理设备。其中，情感计算中多模态生理信号的特征级融合装置可以采用硬件或者软件的方式实现，ue具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理(personal digital assistant，pda)等终端设备，处理设备可以通过设备集群的方式设置。
[0092]
下面，开始介绍本技术提供的情感计算中多模态生理信号的特征级融合方法。
[0093]
首先，参阅图1，图1示出了本技术情感计算中多模态生理信号的特征级融合方法的一种流程示意图，本技术提供的情感计算中多模态生理信号的特征级融合方法，具体可包括如下步骤s101至步骤s105：
[0094]
步骤s101，处理设备获取原始数据s
(m)
，其中，原始数据s
(m)
为记录了p个模态的生理信号类型的样本数据，原始数据s
(m)
记为原始数据s
(m)
还配置有情感标签y，情感标签y记为y＝{yi}，i＝1，2，...，n，n表示样本个数，一共有c个类别；
[0095]
可以理解，为训练本技术所提出的情感识别模型，需要配置训练用的样本数据。
[0096]
在本技术中，样本数据，也就是此处所称的原始数据，其具体是根据情感识别需求所配置的数据，是基于识别情感需求并通过相关传感器采集到的生理信号所得到的数据。
[0097]
原始数据中，已经设置了对应的不同模态等参数，还设置了对应的情感标签y，以供后续作为参考对象(涉及到损失函数的计算)展开模型的训练。
[0098]
具体的，从数据方面来看，在本技术中，p个模态的生理信号类型的样本数据，原始数据s
(m)
记为原始数据s
(m)
还配置有情感标签y，情感标签y记为y＝{yi}，i＝1，2，...，n，n表示样本个数，一共有c个类别。
[0099]
在实际应用中，原始数据s
(m)
的获取，主要可以包括下面的两种方式，对应了两种主要的应用场景。
[0100]
1.实时获取
[0101]
具体的，处理设备可以通过情感识别应用场景中配置在用户身上的可穿戴设备，采集原始数据s
(m)
，可穿戴设备上配置所需采集数据相对应的传感器。
[0102]
可以理解，此处的获取方式，就是通过用户此时穿戴的可穿戴设备，并通过设备上配置的传感器来采集原始数据s
(m)
所涉及的数据，该实时获取的应用场景方便在现场进行包括数据采集以及模型构建的处理，因此更方便随现场需要调整原始数据s
(m)
的采集工作，尤其是在后续进行模型构建时可根据模型实时的构建需求，反馈至开始的原始数据s
(m)
的采集工作，并调整原始数据s
(m)
的采集工作内容，完成一闭环反馈，促使更佳的模型构建效果。
[0103]
2.离线获取
[0104]
具体的，处理设备可以基于离线的形式，调取预先完成存储的原始数据s
(m)
。
[0105]
可以理解，此处原始数据s
(m)
的获取工作，则可以从本地存储空间或者其他存储有原始数据s
(m)
的设备处调取得到，该方式更适用于实现灵活的数据采集工作，例如可能原始数据s
(m)
的数据源不是本地，而是由合作方提供，或者为远程的一方提供，如此方便在更大的应用范围内开展情感识别模型的构建工作，也对应了实际应用中较为复杂的灵活的研发工作。
[0106]
步骤s102，处理设备针对原始数据s
(m)
中的每个模态的特点，分别进行预处理和特征提取，得到特征向量x
(m)
，特征向量x
(m)
记为记为
[0107]
在得到原始数据后，则可对其对应模型的训练要求，将其转化为模型可以识别的特征向量，其中，还可涉及到预处理，例如异常数据的清除、缺失数据的填补、数据量的扩增、数据格式的统一等处理，以加强数据的有效性。
[0108]
其中，对于此处处理最后得到的特征向量x
(m)
，本技术记为x
(m)
，
[0109]
示例性的，预处理还可以随着信号类型的改变有不同的处理方式，例如脑电信号的预处理包括去除眼电伪迹、带通滤波，心率信号的预处理要进行平滑滤波。
[0110]
此外还可以将信号切割成多个片段，每个片段作为一个样本，假设此处划分后样本个数依然为n。
[0111]
特征提取具体可以包括一些时域的统计特征，如平均值、标准差、偏度等，或者，也还可以包括频域特征，如功率谱密度，或者还可以有时频特征，如小波变换，脑电信号的微分熵特征也是非常值得考虑的，其通常优于其他特征。
[0112]
进一步的，在特征提取、转化的过程中，可以利用卷积神经网络、深度自编码器等深度网络作为特征提取器，经过预训练后，它们中间层的输出值作为特征向量。
[0113]
此外，特别的是，如果对某个模态采用了两种截然不同的特征提取方法，得到两组特征向量，例如人工设计的特征为一组，使用卷积神经网络学习得到的特征为一组，在实际应用中，也可以将它们视为新的模态，此时则变成(p 1)个模态，为方便理解，下面内容依以一共p个模态为例进行说明。
[0114]
步骤s103，处理设备对于特征向量x
(m)
中的第m个模态，计算对应的核矩阵并进行核矩阵嵌入，得到多核嵌入向量e
(m)
，其中，每一个核矩阵及其嵌入都有一个相对应的模态，多核嵌入向量e
(m)
记为记为
[0115]
可以理解，在最初的特征向量x
(m)
的基础上，本中请则引入核矩阵嵌入机制，以加强其数据的可使用性，通俗点来说，核矩阵的嵌入，能够连接核方法与深度学习，从而取长补短，兼具核方法的良好可解释性和深度神经网络等深度学习方法强大的学习表征能力。
[0116]
具体的，在实际应用中，本技术所引入的核矩阵嵌入机制，主要可以通过以下两种方式实现。
[0117]
1.传统的nystrom近似
[0118]
具体的，nystrom近似核矩阵嵌入包括以下内容：
[0119]
对于特征向量x
(m)
中的第m个模态，将其特征向量归一化后，计算核矩阵其中，k为选定的核函数；
[0120]
从核矩阵k
(m)
中随机采样s列(s＜＜n)，构成矩阵c
(m)
∈rn×s；
[0121]
从矩阵c中抽取出被采样的列所对应的s行，构成半正定矩阵w
(m)
∈rs×s；
[0122]
由半正定矩阵w
(m)
的奇异值分解得到其中，∑
(m)
为对角矩阵，对角线元素σi为降序排列的特征值，u
(m)
为正交矩阵，其第i列记为对于给定的r≤s，核矩阵k的rank-r近似为：其中，
[0123]
计算嵌入向量
[0124]
对所有模态执行以上操作后，得到多核嵌入向量e
(m)
，多核嵌入向量e
(m)
记为
[0125]
其中，由于是从核矩阵中随机采样s列，可以重复多次采样，最后取多次计算得到的e
(m)
的平均，以得到更加稳定的结果。
[0126]
2.在特征空间聚类的nystrom近似
[0127]
具体的，在特征空间聚类的nystrom近似核矩阵嵌入包括以下内容：
[0128]
对于特征向量x
(m)
中的第m个模态，从特征向量x
(m)
中采样出n
′
＜n个样本，并进行k均值聚类，找出r个聚类中心，记为
[0129]
计算核矩阵和核矩阵其中，其中，
[0130]
计算嵌入向量
[0131]
对所有模态执行以上操作后，得到多核嵌入向量e
(m)
，多核嵌入向量e
(m)
记为
[0132]
同样，由于采样n
′
个样本的过程可以重复多次，最后取多次计算得到的e
(m)
的平均，以得到更加稳定的结果。
[0133]
步骤s104，处理设备将多核嵌入向量e
(m)
视为样本，在可再生核希尔伯特空间rkhs中表示，利用多核嵌入向量e
(m)
和样本标签，计算每个模态的可分性判据其中，为类内离差矩阵，为类间离差矩阵，
[0134]
赋予第i个模态一个加权系数，其值为则有γ＝(γ1，γ2，...，γ
p
)
t
，其系数大小反映了对应模态的重要程度，
[0135]
加权融合得到集成(ensemble)向量e，集成向量e记为
[0136]
可以理解，执行了核矩阵嵌入处理后，则可继续对特征向量进行加强处理，即，基于前面的多核学习(核矩阵嵌入处理)提出一加权融合策略，容易发现，该加权融合策略非常直观，加权参数的大小直接反映了某个模态对于任务的重要程度，且融合后的分类性能相比对单个模态有所提升，最终得到了集成向量e后则可开始模型的训练处理。
[0137]
其中，类内离差矩阵的计算公式，具体可以为：
[0138][0139]
类间离差矩阵的计算公式，具体可以为：
[0140][0141]
其中，pi和ni分别代表第i个类别的先验概率和样本个数，pi用统计量代替，代表第m个模态嵌入向量中属于类别i的第k个样本，代表第m个模态嵌入向量中属于类别i样本的均值向量，μ
(m)
代表第m个模态嵌入向量中所有样本的均值向量，
[0142]
步骤s105，处理设备通过集成向量e及其对应的情感标签y训练初始模型，得到情感识别模型，情感识别模型用于对输入的目标生理信号执行情感识别。
[0143]
而在配置了方便训练模型的集成向量e后，则可以其对应的情感标签y作为参考对象，训练初始模型。
[0144]
具体的，在训练过程中，可以依次将不同的集成向量e输入模型，促使模型对输入数据进行情感识别处理，并输出情感识别结果，完成一次正向传播，接着根据情感识别结果以及对应的情感标签y，计算损失函数，并根据损失函数来优化模型参数，完成一次反向传播，如此，在达到训练时长、训练次数、识别精度等预设的训练要求后，则可完成模型的训练，此时的模型可以投入实际应用，在配置的具体应用场景中作为情感识别模型，对输入的目标生理信号执行情感识别，输出的情感识别结果可以记为
[0145]
此外，示例性的，在具体操作中，初始模型可以为深度神经网络或其他分类器等不同类型的模型，例如一个多层的全连接网络(full connect network,fcn)，然后根据分类任务选择合适的损失函数，设计适合当前任务的目标函数，选择一种优化方法进行训练，。
[0146]
为方便理解上面的内容，还可以参考图2示出的本技术情感计算中多模态生理信号的特征级融合方法的一种场景示意图以及图3示出的本技术某个三分类情感识别任务中，两个模态在应用本技术前后的t-sne可视化图及加权系数大小和分类准确率对比的场景示意图，可以发现，本技术所提出的情感计算中多模态生理信号的特征级融合，具有更佳的预测效果。
[0147]
后续的，在投入的实际应用过程中，具体可以以情感识别计算任务的形式，进行情感识别工作。
[0148]
例如，在具体应用场景中，处理设备可以通过情感识别应用场景中配置在用户身上的可穿戴设备，采集实时的生理信号，可穿戴设备上配置所需采集数据相对应的传感器；再将实时的生理信号输入至情感识别模型，并提取情感识别模型根据实时的生理信号经过情感识别处理后所输出的情感识别结果。
[0149]
从图1所示实施例可看出，在情感识别模型的整体训练过程中，本技术构建了一情感计算中多模态生理信号的特征级融合机制，通过引入的核矩阵的嵌入，能够连接核方法与深度学习，从而取长补短，兼具核方法的良好可解释性和深度神经网络等深度学习方法强大的学习表征能力。
[0150]
其次，其基于多核学习提出的加权融合策略非常直观，加权参数的大小直接反映了某个模态对于任务的重要程度，且融合后的分类性能相比对单个模态有所提升。
[0151]
并且，本技术既不需要限制特征提取方法的种类和数量，也不需要限制后续分类模型的选择，灵活性高，适用性好。
[0152]
也就是说，本技术所提出的情感计算中多模态生理信号的特征级融合机制，对生理信号实现更好地融合，具有良好的可解释性、强大的学习表征能力、直观、灵活性高、适用性好等特点，从而达到显著提高的实用性。
[0153]
以上是本技术提供的情感计算中多模态生理信号的特征级融合方法的介绍，为便于更好的实施本技术提供的情感计算中多模态生理信号的特征级融合方法，本技术还从功能模块角度提供了一种情感计算中多模态生理信号的特征级融合装置。
[0154]
参阅图4，图4为本技术情感计算中多模态生理信号的特征级融合装置的一种结构示意图，在本技术中，情感计算中多模态生理信号的特征级融合装置400具体可包括如下结构：
[0155]
获取单元401，用于获取原始数据s
(m)
，其中，原始数据s
(m)
为记录了p个模态的生理
信号类型的样本数据，原始数据s
(m)
记为原始数据s
(m)
还配置有情感标签y，情感标签y记为y＝{yi}，i＝1，2，...，n，n表示样本个数，一共有c个类别；
[0156]
特征提取单元402，用于针对原始数据s
(m)
中的每个模态的特点，分别进行预处理和特征提取，得到特征向量x
(m)
，特征向量x
(m)
记为记为
[0157]
核矩阵嵌入单元403，用于对于特征向量x
(m)
中的第m个模态，计算对应的核矩阵并进行核矩阵嵌入，得到多核嵌入向量e
(m)
，其中，每一个核矩阵及其嵌入都有一个相对应的模态，多核嵌入向量e
(m)
记为
[0158]
集成向量处理单元404，用于将多核嵌入向量e
(m)
视为样本，在可再生核希尔伯特空间rkhs中表示，利用多核嵌入向量e
(m)
和样本标签，计算每个模态的可分性判据其中，为类内离差矩阵，为类间离差矩阵，
[0159]
赋予第i个模态一个加权系数，其值为则有γ＝(γ1，γ2，...，γ
p
)
t
，其系数大小反映了对应模态的重要程度，
[0160]
加权融合得到集成向量e，集成向量e记为加权融合得到集成向量e，集成向量e记为
[0161]
训练单元405，用于通过集成向量e及其对应的情感标签y训练初始模型，得到情感识别模型，情感识别模型用于对输入的目标生理信号执行情感识别。
[0162]
在一种示例性的实现方式中，核矩阵嵌入具体为nystrom近似核矩阵嵌入，nystrom近似核矩阵嵌入包括以下内容：
[0163]
对于特征向量x
(m)
中的第m个模态，将其特征向量归一化后，计算核矩阵其中，k为选定的核函数；
[0164]
从核矩阵k
(m)
中随机采样s列(s＜＜n)，构成矩阵c
(m)
∈rn×s；
[0165]
从矩阵c中抽取出被采样的列所对应的s行，构成半正定矩阵w
(m)
∈rs×s；
[0166]
由半正定矩阵w
(m)
的奇异值分解得到其中，∑
(m)
为对角矩阵，对角线元素σi为降序排列的特征值，u
(m)
为正交矩阵，其第i列记为对于给定的r≤s，核矩阵k的rank-r近似为：其中，
[0167]
计算嵌入向量
[0168]
对所有模态执行以上操作后，得到多核嵌入向量e
(m)
，多核嵌入向量e
(m)
记为
[0169]
在又一种示例性的实现方式中，核矩阵嵌入具体为在特征空间聚类的nystrom近似核矩阵嵌入，在特征空间聚类的nystrom近似核矩阵嵌入包括以下内容：
[0170]
对于特征向量x
(m)
中的第m个模态，从特征向量x
(m)
中采样出n
′
＜n个样本，并进行k
均值聚类，找出r个聚类中心，记为
[0171]
计算核矩阵和核矩阵其中，其中，
[0172]
计算嵌入向量
[0173]
对所有模态执行以上操作后，得到多核嵌入向量e
(m)
，多核嵌入向量e
(m)
记为
[0174]
在又一种示例性的实现方式中，类内离差矩阵的计算公式为：
[0175][0176]
类间离差矩阵的计算公式为：
[0177][0178]
其中，pi和ni分别代表第i个类别的先验概率和样本个数，pi用统计量代替，代表第m个模态嵌入向量中属于类别i的第k个样本，代表第m个模态嵌入向量中属于类别i样本的均值向量，μ
(m)
代表第m个模态嵌入向量中所有样本的均值向量，
[0179]
在又一种示例性的实现方式中，获取单元401，具体用于：
[0180]
通过情感识别应用场景中配置在用户身上的可穿戴设备，采集原始数据s
(m)
，可穿戴设备上配置所需采集数据相对应的传感器。
[0181]
在又一种示例性的实现方式中，获取单元401，具体用于：
[0182]
基于离线的形式，调取预先完成存储的原始数据s
(m)
。
[0183]
在又一种示例性的实现方式中，装置还包括应用单元406，用于：
[0184]
通过情感识别应用场景中配置在用户身上的可穿戴设备，采集实时的生理信号，可穿戴设备上配置所需采集数据相对应的传感器；
[0185]
将实时的生理信号输入至情感识别模型；
[0186]
提取情感识别模型根据实时的生理信号经过情感识别处理后所输出的情感识别结果。
[0187]
本技术还从硬件结构角度提供了一种处理设备，参阅图5，图5示出了本技术处理设备的一种结构示意图，具体的，本技术处理设备可包括处理器501、存储器502以及输入输出设备503，处理器501用于执行存储器502中存储的计算机程序时实现如图1对应实施例中情感计算中多模态生理信号的特征级融合方法的各步骤；或者，处理器501用于执行存储器502中存储的计算机程序时实现如图4对应实施例中各单元的功能，存储器502用于存储处理器501执行上述图1对应实施例中情感计算中多模态生理信号的特征级融合方法所需的
计算机程序。
[0188]
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器502中，并由处理器501执行，以完成本技术。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
[0189]
处理设备可包括，但不仅限于处理器501、存储器502、输入输出设备503。本领域技术人员可以理解，示意仅仅是处理设备的示例，并不构成对处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如处理设备还可以包括网络接入设备、总线等，处理器501、存储器502、输入输出设备503等通过总线相连。
[0190]
处理器501可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是处理设备的控制中心，利用各种接口和线路连接整个设备的各个部分。
[0191]
存储器502可用于存储计算机程序和/或模块，处理器501通过运行或执行存储在存储器502内的计算机程序和/或模块，以及调用存储在存储器502内的数据，实现计算机装置的各种功能。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据处理设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0192]
处理器501用于执行存储器502中存储的计算机程序时，具体可实现以下功能：
[0193]
获取原始数据s
(m)
，其中，原始数据s
(m)
为记录了p个模态的生理信号类型的样本数据，原始数据s
(m)
记为原始数据s
(m)
还配置有情感标签y，情感标签y记为y＝{yi}，i＝1，2，...，n，n表示样本个数，一共有c个类别；
[0194]
针对原始数据s
(m)
中的每个模态的特点，分别进行预处理和特征提取，得到特征向量x
(m)
，特征向量x
(m)
记为
[0195]
对于特征向量x
(m)
中的第m个模态，计算对应的核矩阵并进行核矩阵嵌入，得到多核嵌入向量e
(m)
，其中，每一个核矩阵及其嵌入都有一个相对应的模态，多核嵌入向量e
(m)
记为
[0196]
将多核嵌入向量e
(m)
视为样本，在可再生核希尔伯特空间rkhs中表示，利用多核嵌入向量e
(m)
和样本标签，计算每个模态的可分性判据和样本标签，计算每个模态的可分性判据其中，为类内离差矩阵，为类间离差矩阵，
[0197]
赋予第i个模态一个加权系数，其值为则有γ＝(γ1，γ2，...，γ
p
)
t
，其系数大小反映了对应模态的重要程度，
[0198]
加权融合得到集成向量e，集成向量e记为加权融合得到集成向量e，集成向量e记为
[0199]
通过集成向量e及其对应的情感标签y训练初始模型，得到情感识别模型，情感识别模型用于对输入的目标生理信号执行情感识别。
[0200]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的情感计算中多模态生理信号的特征级融合装置、处理设备及其相应单元的具体工作过程，可以参考如图1对应实施例中情感计算中多模态生理信号的特征级融合方法的说明，具体在此不再赘述。
[0201]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
[0202]
为此，本技术提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本技术如图1对应实施例中情感计算中多模态生理信号的特征级融合方法的步骤，具体操作可参考如图1对应实施例中情感计算中多模态生理信号的特征级融合方法的说明，在此不再赘述。
[0203]
其中，该计算机可读存储介质可以包括：只读存储器(read only memory，rom)、随机存取记忆体(random access memory，ram)、磁盘或光盘等。
[0204]
由于该计算机可读存储介质中所存储的指令，可以执行本技术如图1对应实施例中情感计算中多模态生理信号的特征级融合方法的步骤，因此，可以实现本技术如图1对应实施例中情感计算中多模态生理信号的特征级融合方法所能实现的有益效果，详见前面的说明，在此不再赘述。
[0205]
以上对本技术提供的情感计算中多模态生理信号的特征级融合方法、装置、处理设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。