基于多模态数据的动物情绪的识别方法、设备及介质与流程

本发明涉及情绪识别，尤其涉及基于多模态数据的动物情绪的识别方法、设备及介质。

背景技术：

1、动物情绪识别是人工智能与动物行为学交叉领域的重要研究方向，在动物健康护理、行为训练、智能动物用品开发等方面具有广泛的应用前景。准确识别动物的情绪状态，有助于及时发现动物身心异常、改善人与动物的互动体验。

2、然而，现有技术在处理动物情绪识别时暴露出明显的局限性。大部分情绪识别方法针对人类生理特性和行为习惯设计，而动物与人类在情绪表征方式上存在本质差异，利用现有面向人类的情绪识别方法难以有效处理动物情绪信息，导致无法有效识别动物情绪，动物情绪识别结果不准确。

技术实现思路

1、基于此，有必要针对上述问题，提出基于多模态数据的动物情绪的识别方法、设备及介质，从而实现准确识别动物情绪。

2、为实现上述目的，本技术第一方面提供基于多模态数据的动物情绪的识别方法，所述方法包括：

3、采集目标动物的原始脑电信号、原始面部图像、原始语音信号和原始运动加速度数据；

4、对所述原始脑电信号、原始面部图像、原始语音信号和原始运动加速度信号进行预处理和特征提取，得到所述目标动物的脑电特征向量、面部表情特征向量、语音特征向量和运动姿态特征向量；

5、基于多模态融合模块对所述目标动物的脑电特征向量、面部表情特征向量、语音特征向量和运动姿态特征向量进行多模态数据融合，得到多模态融合特征；

6、将所述多模态融合特征输入至预设的情绪识别模型中，确定所述目标动物的情绪类型。

7、进一步的，所述多模态融合模块包含依次连接的模态适配层、特征序列拼接层、相对位置编码层、swintransformer、模态注意力加权层和特征融合和批归一化层；

8、所述模态适配层，用于将所述脑电特征向量、面部表情特征向量、语音特征向量和运动姿态特征向量映射至同一维度空间，得到维度相同的标准脑电特征向量、标准面部表情特征向量、标准语音特征向量和标准运动姿态特征向量；

9、所述特征序列拼接层，用于将所述标准脑电特征向量、标准面部表情特征向量、标准语音特征向量和标准运动姿态特征向量进行拼接，得到拼接后的第一特征序列；

10、所述相对位置编码层，用于对所述第一特征序列中各个模态对应的特征向量添加位置信息，得到带有位置信息的第二特征序列；

11、所述swintransformer，用于对所述第二特征序列进行空间上下文编码，得到编码后的第三特征序列；

12、所述模态注意力加权层，用于基于所述第三特征序列确定各个模态的权重，并根据所述各个模态的权重和所述第三特征序列中的特征向量进行加权，得到加权后的各模态对应的特征向量；

13、所述特征融合与批归一化层，用于对所述加权后的各模态对应的特征向量进行融合、降维和批归一化处理，得到多模态融合特征。

14、进一步的，所述相对位置编码层包含依次连接的位置偏码及距离计算层、偏置矩阵生成层和所述位置信息融合层：

15、所述位置偏码及距离计算层，用于对所述第一特征序列中各模态对应的特征向量进行位置编码，根据所述特征向量的位置编码计算所有模态位置对之间的相对距离，其中，所述模态位置对为所述第一特征序列中任意两个模态组成的数据对；

16、所述偏置矩阵生成层，用于根据所述所有模态位置对之间的相对距离和预设的偏置参数表，得到相对位置偏置矩阵，其中，所述偏置参数表包含相对距离和偏置参数值之间的映射关系；

17、所述位置信息融合层，用于将所述相对位置偏置矩阵与所述第一特征序列进行融合，得到带有相对位置信息的第二特征序列。

18、进一步的，所述swintransformer包括依次连接的4个编码层，每个所述编码层包括：

19、第一层归一化子层，用于对输入的特征序列进行层归一化，得到第一归一化特征序列；

20、窗口多头自注意力子层，用于对所述第一归一化特征序列进行窗口自注意力计算，并在注意力得分中加入所述相对位置偏置矩阵，得到注意力加权特征序列；

21、第一残差连接子层，用于将所述注意力加权特征序列与所述输入的特征序列相加，得到第一残差特征序列；

22、第二层归一化子层，用于对所述第一残差特征序列进行层归一化，得到第二归一化特征序列；

23、前馈网络子层，用于对所述第二归一化特征序列进行非线性变换，得到前馈输出特征序列；

24、第二残差连接子层，用于将所述前馈输出特征序列与所述第一残差特征序列相加，输出当前编码层的编码特征序列；

25、其中，所述swintransformer以所述第二特征序列作为首个编码层的输入，每个编码层输出的编码特征序列为下一编码层的输入，最后一个编码层输出的编码特征序列为第三特征序列。

26、进一步的，所述模态注意力加权层包括依次连接的注意力得分计算层、权重归一化层和特征加权层：

27、所述注意力得分计算层，用于根据所述第三特征序列中每个模态对应的特征向量和预设的注意力得分计算公式，得到各模态的原始注意力得分；

28、所述权重归一化层，用于对各模态的原始注意力得分进行归一化处理，得到各模态的注意力权重；

29、所述特征加权层，用于将各模态的注意力权重与所述第三特征序列中对应模态的特征向量相乘，得到加权后的各模态特征向量。

30、进一步的，所述对所述原始脑电信号、原始面部图像、原始语音信号和原始运动加速度信号进行预处理和特征提取，得到所述目标动物的脑电特征向量、面部表情特征向量、语音特征向量和运动姿态特征向量，具体包括：

31、对所述原始脑电信号、原始面部图像、原始语音信号和原始运动加速度信号进行预处理，得到目标脑电数据、面部表情数据、有效语音数据和目标运动数据；

32、提取所述目标脑电数据的动态时序特征和在不同频段的静态频谱特征，得到脑电特征向量；

33、提取所述面部表情数据的形状特征和纹理特征，得到面部表情特征向量；

34、提取所述有效语音数据的语音学特征，得到语音特征向量；

35、提取所述目标运动数据的运动幅度特征，得到运动姿态特征向量。

36、进一步的，所述对所述原始脑电信号、原始面部图像、原始语音信号和原始运动加速度信号进行预处理，得到目标脑电数据、面部表情数据、有效语音数据和目标运动数据，具体包括：

37、对所述原始脑电信号进行滤波和球面插值处理，得到第一脑电信号；

38、基于所述第一脑电信号进行独立成分分析，得到去除伪影后的第二脑电信号；

39、对所述第二脑电信号进行平滑处理，得到目标脑电数据；

40、对所述原始面部图像进行动物面部检测及特征点定位，得到所述原始面部图像中的特征点数据；

41、根据所述原始面部图像和所述原始面部图像中的特征点数据进行图像校正，确定面部表情图像，其中，所述面部表情数据包含面部表情图像和特征点数据；

42、对所述原始语音信号进行降噪和特征频带提取，得到有效语音信号段；

43、对所述有效语音信号段进行分帧及加窗处理，得到有效语音数据；

44、对所述原始运动加速度信号进行去噪和归一化处理，得到目标运动数据。

45、进一步的，所述将所述多模态融合特征输入至预设的情绪识别模型中，确定所述目标动物的情绪类型，具体包括：

46、将所述多模态融合特征输入至预设的情绪识别模型中，输出所述目标动物属于不同的情绪类型的概率分布；

47、根据各个情绪类型的概率分布情况确定所述目标动物的情绪类型，其中，所述情绪类别包括愉悦、焦躁、恐惧、平静和痛苦。

48、为实现上述目的，本技术第二方面提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如第一方面所述方法的步骤。

49、为实现上述目的，本技术第三方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如第一方面所述方法的步骤。

50、采用本发明，具有如下有益效果：

51、本发明提出基于多模态数据的动物情绪的识别方法，方法包括：采集目标动物的原始脑电信号、原始面部图像、原始语音信号和原始运动加速度数据；对原始脑电信号、原始面部图像、原始语音信号和原始运动加速度信号进行预处理和特征提取，得到目标动物的脑电特征向量、面部表情特征向量、语音特征向量和运动姿态特征向量；基于多模态融合模块对目标动物的脑电特征向量、面部表情特征向量、语音特征向量和运动姿态特征向量进行多模态数据融合，得到多模态融合特征；将多模态融合特征输入至预设的情绪识别模型中，确定目标动物的情绪类型。通过采集动物的脑电信号、面部图像、语音信号和运动加速度数据，并依次进行特征提取和多模态融合，以进行动物的情绪识别，充分利用各模态在情绪表征上的互补性，克服了单一模态信息不足、易受环境干扰、难以区分相似情绪等缺陷，显著提升了动物情绪识别的准确性和鲁棒性。