一种情感计算中多模态生理信号的特征级融合方法

技术特征：
1.一种情感计算中多模态生理信号的特征级融合方法，其特征在于，所述方法包括：处理设备获取原始数据s
(m)
，其中，所述原始数据s
(m)
为记录了p个模态的生理信号类型的样本数据，所述原始数据s
(m)
记为记为所述原始数据s
(m)
还配置有情感标签y，所述情感标签y记为y＝{y
i
}，i＝1，2，...，n，n表示样本个数，一共有c个类别；处理设备针对所述原始数据s
(m)
中的每个模态的特点，分别进行预处理和特征提取，得到特征向量x
(m)
，特征向量x
(m)
记为记为处理设备对于所述特征向量x
(m)
中的第m个模态，计算对应的核矩阵并进行核矩阵嵌入，得到多核嵌入向量e
(m)
，其中，每一个所述核矩阵及其嵌入都有一个相对应的模态，所述多核嵌入向量e
(m)
记为记为处理设备将多核嵌入向量e
(m)
视为样本，在可再生核希尔伯特空间rkhs中表示，利用所述多核嵌入向量e
(m)
和样本标签，计算每个模态的可分性判据其中，为类内离差矩阵，为类间离差矩阵，赋予第i个模态一个加权系数，其值为则有γ＝(γ1，γ2，...，γ
p
)
t
，其系数大小反映了对应模态的重要程度，加权融合得到集成向量e，所述集成向量e记为加权融合得到集成向量e，所述集成向量e记为处理设备通过所述集成向量e及其对应的所述情感标签y训练初始模型，得到情感识别模型，所述情感识别模型用于对输入的目标生理信号执行情感识别。2.根据权利要求1所述的方法，其特征在于，所述核矩阵嵌入具体为nystrom近似核矩阵嵌入，所述nystrom近似核矩阵嵌入包括以下内容：对于所述特征向量x
(m)
中的第m个模态，将其特征向量归一化后，计算核矩阵其中，k为选定的核函数；从所述核矩阵k
(m)
中随机采样s列(s＜＜n)，构成矩阵c
(m)
∈r
n
×
s
；从所述矩阵c中抽取出被采样的列所对应的s行，构成半正定矩阵w
(m)
∈r
s
×
s
；由所述半正定矩阵w
(m)
的奇异值分解得到w
(m)
＝u
(m)
∑
(m)
u
(m)t
，其中，∑
(m)
为对角矩阵，对角线元素σ
i
为降序排列的特征值，u
(m)
为正交矩阵，其第i列记为对于给定的r≤s，核矩阵k的rank-r近似为：其中，计算嵌入向量对所有模态执行以上操作后，得到所述多核嵌入向量e
(m)
，所述多核嵌入向量e
(m)
记为3.根据权利要求1所述的方法，其特征在于，所述核矩阵嵌入具体为在特征空间聚类的nystrom近似核矩阵嵌入，所述在特征空间聚类的nystrom近似核矩阵嵌入包括以下内容：对于所述特征向量x
(m)
中的第m个模态，从所述特征向量x
(m)
中采样出n
′
＜n个样本，并
进行k均值聚类，找出r个聚类中心，记为计算核矩阵和核矩阵其中，其中，计算嵌入向量对所有模态执行以上操作后，得到所述多核嵌入向量e
(m)
，所述多核嵌入向量e
(m)
记为4.根据权利要求1所述的方法，其特征在于，所述类内离差矩阵的计算公式为：所述类间离差矩阵的计算公式为：其中，p
i
和n
i
分别代表第i个类别的先验概率和样本个数，p
i
用统计量代替，代表第m个模态嵌入向量中属于类别i的第k个样本，代表第m个模态嵌入向量中属于类别i样本的均值向量，μ
(m)
代表第m个模态嵌入向量中所有样本的均值向量，5.根据权利要求1所述的方法，其特征在于，所述处理设备获取原始数据s
(m)
，包括：所述处理设备通过情感识别应用场景中配置在用户身上的可穿戴设备，采集所述原始数据s
(m)
，所述可穿戴设备上配置所需采集数据相对应的传感器。6.根据权利要求1所述的方法，其特征在于，所述处理设备获取原始数据s
(m)
，包括：所述处理设备基于离线的形式，调取预先完成存储的所述原始数据s
(m)
。7.根据权利要求1所述的方法，其特征在于，所述处理设备通过集成向量与标签{(e
i
，y
i
)}训练初始模型，得到情感识别模型之后，所述方法还包括：所述处理设备通过情感识别应用场景中配置在用户身上的可穿戴设备，采集实时的生理信号，所述可穿戴设备上配置所需采集数据相对应的传感器；所述处理设备将所述实时的生理信号输入至所述情感识别模型；所述处理设备提取所述情感识别模型根据所述实时的生理信号经过情感识别处理后所输出的情感识别结果。8.一种情感计算中多模态生理信号的特征级融合装置，其特征在于，所述装置包括：获取单元，用于获取原始数据s
(m)
，其中，所述原始数据s
(m)
为记录了p个模态的生理信号类型的样本数据，所述原始数据s
(m)
记为记为所述原始数据s
(m)
还配置有情感标签y，所述情感标签y记为y＝{y
i
}，i＝1，2，...，n，n表示样本个数，一共有c个类别；特征提取单元，用于针对所述原始数据s
(m)
中的每个模态的特点，分别进行预处理和特征提取，得到特征向量x
(m)
，特征向量x
(m)
记为记为
核矩阵嵌入单元，用于对于所述特征向量x
(m)
中的第m个模态，计算对应的核矩阵并进行核矩阵嵌入，得到多核嵌入向量e
(m)
，其中，每一个所述核矩阵及其嵌入都有一个相对应的模态，所述多核嵌入向量e
(
m
)
记为记为集成向量处理单元，用于将多核嵌入向量e
(m)
视为样本，在可再生核希尔伯特空间rkhs中表示，利用所述多核嵌入向量e
(m)
和样本标签，计算每个模态的可分性判据其中，为类内离差矩阵，为类间离差矩阵，赋予第i个模态一个加权系数，其值为则有γ＝(γ1，γ2，...，γ
p
)
t
，其系数大小反映了对应模态的重要程度，加权融合得到集成向量e，所述集成向量e记为加权融合得到集成向量e，所述集成向量e记为训练单元，用于通过所述集成向量e及其对应的所述情感标签y训练初始模型，得到情感识别模型，所述情感识别模型用于对输入的目标生理信号执行情感识别。9.一种处理设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的方法。

技术总结
本申请提供了一种情感计算中多模态生理信号的特征级融合方法，用于对生理信号实现更好地融合。方法包括：处理设备获取原始数据S


技术研发人员：黄剑 何欣润 傅中正 王恩凯
受保护的技术使用者：华中科技大学
技术研发日：2022.02.21
技术公布日：2022/5/31