一种基于时域特征的多生命体征情绪识别方法和系统与流程

1.本发明属于人工智能技术领域，尤其涉及一种基于时域特征的多生命体征情绪识别方法和系统。


背景技术：

2.目前，国内外仍以基于图像的视觉信息作为判别的主要因素，通过识别使用人员的表情对情绪进行判断，但是这种方法受光线照射角度、摄像头拍摄角度影响较大，鲁棒性较差。与此同时，人类的表情亦无法表明其真实的情绪状态，将与实际情况存在巨大的偏差。此外，有些研究人员采用脑电信号作为情绪状态的判别，但是脑电信号采集十分微弱，易受环境干扰影响，对受试者亦有一定的要求。
3.此外，在当前基于多生命体征检测的情绪识别系统研究中，往往参考呼吸、肌电、脑电、眼电和心电等生理信号，并采取简单的数据处理映射以及支持向量机等机器学习的方式完成受试者的情绪判断。尽管呼吸、肌电、眼电、心电等生理信号的作用也十分重要，但是上述信号采集点几乎覆盖受试者的身体各处，采集步骤繁琐，难度较大，其适用性和便捷性亦会大打折扣。


技术实现要素：

4.本发明的技术解决问题：克服现有技术的不足，提供一种基于时域特征的多生命体征情绪识别方法和系统，采用易获得的多生命体征信号，如脉搏、血压、血氧、体温等，作为情绪识别的判断依据，并基于人工智能算法实现情绪识别。
5.为了解决上述技术问题，本发明公开了一种基于时域特征的多生命体征情绪识别方法，包括：
6.基于深度卷积神经网络，对多生命体征进行时域融合和特征提取，得到融合深度特征；
7.基于时域特征捕捉的注意力神经网络模型，对融合深度特征进行优化，得到注意力融合特征；
8.基于深度神经网络模型，对注意力融合特征进行降维度特征提取和映射，得到情绪识别结果。
9.在上述基于时域特征的多生命体征情绪识别方法中，基于深度卷积神经网络，对多生命体征进行时域融合和特征提取，得到融合深度特征，包括：
10.获取时间段n内的脉搏信号图像特征an、血压信号图像特征bn、血氧信号图像特征cn和体温信号图像特征dn；
11.将获取的时间段n内的脉搏信号图像特征an、血压信号图像特征bn、血氧信号图像特征cn和体温信号图像特征dn，分别按时间次序等分为脉搏片段特征集合血压片段特征集合血氧片段特征集合
和体温片段特征集合
12.将脉搏片段特征血压片段特征血氧片段特征和体温片段特征相邻的两个片段特征进行叠加，并依照时间次序重新串联拼接成脉搏重组特征an、血压重组特征bn、血氧重组特征cn和体温重组特征dn；
13.将脉搏重组特征an、血压重组特征bn、血氧重组特征cn和体温重组特征dn组合拼接成初始融合特征jn；将脉搏信号图像特征an、血压信号图像特征bn、血氧信号图像特征cn和体温信号图像特征dn组合拼接成初始融合原特征in；
14.将初始融合原特征in与初始融合特征jn分别输入至卷积神经网络1和卷积神经网络2中，获得初始融合深度原特征din和初始融合深度特征djn；
15.将初始融合深度原特征din和初始融合深度特征djn进一步串联，分别输入至卷积层1和卷积层2中；
16.将获得的卷积层1的输出特征进一步输入到sigmoid函数中运算，后将运算结果与获得的卷积层2的输出特征按照元素相乘，获得融合深度特征hn。
17.在上述基于时域特征的多生命体征情绪识别方法中，脉搏重组特征an、血压重组特征bn、血氧重组特征cn和体温重组特征dn的计算过程如下：
[0018][0019][0020][0021][0022]
在上述基于时域特征的多生命体征情绪识别方法中，融合深度特征hn的计算过程如下：
[0023][0024]
其中，sigmoid(
·
)表示sigmoid函数运算，cov1表示卷积层1运算，cov2表示卷积层2运算。
[0025]
在上述基于时域特征的多生命体征情绪识别方法中，基于时域特征捕捉的注意力神经网络模型，对融合深度特征进行优化，得到注意力融合特征，包括：
[0026]
将融合深度特征hn，按时间次序等分为融合深度片段特征集合
[0027]
将输入到时域特征捕捉的注意力神经网络模型的卷积层r1，再将输出结果输入到时域特征捕捉的注意力神经网络模型的softmax函数中运算，再将运算结果与进行按元素相乘的运算，获得注意力特征片段集合
[0028]
将注意力特征片段集合内的特征片段串联合并为融合重组特征rn，将融合重组特征rn输入到时域特征捕捉的注意力神经网络模型的卷积层r2中，再将计算
结果输入到时域特征捕捉的注意力神经网络模型的softmax函数中运算，将运算结果与融合重组特征rn相加，获得注意力融合特征
[0029]
在上述基于时域特征的多生命体征情绪识别方法中，
[0030][0031][0032]
其中，softmax(
·
)表示softmax函数运算，covr1表示卷积层r1运算，covr2表示卷积层r2运算。
[0033]
在上述基于时域特征的多生命体征情绪识别方法中，基于深度神经网络模型，对注意力融合特征进行降维度特征提取和映射，得到情绪识别结果，包括：
[0034]
将注意力融合特征输入到深度神经网络模型的卷积层y1中，进而通过relu函数激活，再输入到深度神经网络模型的卷积层y2中，接着输入到深度神经网络模型的softmax函数中运算；通过深度神经网络模型的softmax函数归一化后的特征，其某个元素为最大值，则表明该元素所处的位置j所对应的情绪j为当前时刻多生命体征所表达的情绪。
[0035]
在上述基于时域特征的多生命体征情绪识别方法中，
[0036][0037]
其中，softmax(
·
)表示softmax函数运算，covy1表示卷积层y1运算，covy2表示卷积层y2运算，relu(
·
)表示relu函数运算。
[0038]
在上述基于时域特征的多生命体征情绪识别方法中，多生命体征，包括：脉搏信号图像特征、血压信号图像特征、血氧信号图像特征和体温信号图像特征。
[0039]
相应的，本发明还公开了一种基于时域特征的多生命体征情绪识别系统，包括：
[0040]
融合深度特征提取模块，用于基于深度卷积神经网络，对多生命体征进行时域融合和特征提取，得到融合深度特征；
[0041]
注意力融合特征提取模块，用于基于时域特征捕捉的注意力神经网络模型，对融合深度特征进行优化，得到注意力融合特征；
[0042]
情绪识别模块，用于基于深度神经网络模型，对注意力融合特征进行降维度特征提取和映射，得到情绪识别结果。
[0043]
本发明具有以下优点：
[0044]
(1)该发明能够通过人类最容易获得的多生命体征信号，实现使用人员实时的情绪状态的判断识别。
[0045]
(2)该发明能够使人员情绪识别过程中的信号采集十分简单，容易操作，不影响使用人员的情绪，确保情绪识别的准确性。
[0046]
(3)该发明既能够便携简单的在日常训练时，提升训练人员的心理素质，克制负面情绪的产生，又能够在实际应用场景中辅助提醒使用人员实时的情绪状态，并注意调整和改善。
附图说明
[0047]
图1是本发明实施例中一种基于时域特征的多生命体征情绪识别方法的步骤流程图；
[0048]
图2是本发明实施例中一种融合深度特征的提取流程示意图；
[0049]
图3是本发明实施例中一种注意力融合特征的提取流程示意图；
[0050]
图4是本发明实施例中一种融合特征的情绪映射匹配示意图。
具体实施方式
[0051]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明公开的实施方式作进一步详细描述。
[0052]
本发明的核心思想之一在于：公开了一种基于时域特征的多生命体征情绪识别方法，主要包括如下三方面的内容：
[0053]
(1)通过设计一种多生命体征时域融合的特征提取方法，将同一时段多种生命体征的生理信号按照特征向量的形式进行排列组合，并输入到深度卷积神经网络中进行特征提取，不断迭代训练，捕捉特征中关键的信息特征，解决了同一时段的多种生命体征难以同时有效提取重要特征的问题。
[0054]
(2)通过设计一种时域特征捕捉的注意力神经网络模型，对融合后的同一时段的时域特征向量进行优化，捕捉获取融合特征向量中最为关键的特征变化，解决了多种生理信号对情绪状态最本质的反映问题。
[0055]
(3)通过设计一种融合特征的情绪映射匹配的方法，将注意力捕捉优化后的特征向量通过深度神经网络模型进行降维度特征提取，并通过分类函数将降维度的特征向量映射到多种情绪状态，解决了基于多种常见易获取生理信号的情绪识别的问题。
[0056]
可见，基于本发明所述的基于时域特征的多生命体征情绪识别方法至少解决了如下技术问题：
[0057]
(1)同一时段多种生命体征难以同时有效提取重要特征的问题。
[0058]
(2)多种生理信号对情绪状态最本质的反映问题。
[0059]
(3)基于多种常见易获取生理信号的情绪识别的问题。
[0060]
如图1，在本实施例中，该基于时域特征的多生命体征情绪识别方法具体可以包括：
[0061]
步骤1，基于深度卷积神经网络，对多生命体征进行时域融合和特征提取，得到融合深度特征。
[0062]
在本实施例中，多生命体征包括但不仅限于：脉搏信号图像特征、血压信号图像特征、血氧信号图像特征和体温信号图像特征。
[0063]
如图2，融合深度特征的具体获取方式如下：
[0064]
获取时间段n内的脉搏信号图像特征an、血压信号图像特征bn、血氧信号图像特征cn和体温信号图像特征dn。
[0065]
将获取的时间段n内的脉搏信号图像特征an、血压信号图像特征bn、血氧信号图像特征cn和体温信号图像特征dn，分别按时间次序等分为脉搏片段特征集合血压片段特征集合血氧片段特征集合
和体温片段特征集合
[0066]
将脉搏片段特征血压片段特征血氧片段特征和体温片段特征相邻的两个片段特征进行叠加，并依照时间次序重新串联拼接成脉搏重组特征an、血压重组特征bn、血氧重组特征cn和体温重组特征dn。
[0067]
将脉搏重组特征an、血压重组特征bn、血氧重组特征cn和体温重组特征dn组合拼接成初始融合特征jn；将脉搏信号图像特征an、血压信号图像特征bn、血氧信号图像特征cn和体温信号图像特征dn组合拼接成初始融合原特征in。
[0068]
将初始融合原特征in与初始融合特征jn分别输入至卷积神经网络1和卷积神经网络2中，获得初始融合深度原特征din和初始融合深度特征djn。
[0069]
将初始融合深度原特征din和初始融合深度特征djn进一步串联，分别输入至卷积层1和卷积层2中。
[0070]
将获得的卷积层1的输出特征进一步输入到sigmoid函数中运算，后将运算结果与获得的卷积层2的输出特征按照元素相乘，获得融合深度特征hn。
[0071]
优选的，脉搏重组特征an、血压重组特征bn、血氧重组特征cn和体温重组特征dn的计算过程如下：
[0072][0073][0074][0075][0076]
优选的，融合深度特征hn的计算过程如下：
[0077][0078]
其中，sigmoid(
·
)表示sigmoid函数运算，cov1表示卷积层1运算，cov2表示卷积层2运算。
[0079]
步骤2，基于时域特征捕捉的注意力神经网络模型，对融合深度特征进行优化，得到注意力融合特征。
[0080]
在本实施例中，如图3，注意力融合特征的具体获取方式如下：
[0081]
将融合深度特征hn，按时间次序等分为融合深度片段特征集合
[0082]
将输入到时域特征捕捉的注意力神经网络模型的卷积层r1，再将输出结果输入到时域特征捕捉的注意力神经网络模型的softmax函数中运算，再将运算结果与进行按元素相乘的运算，获得注意力特征片段集合
[0083]
将注意力特征片段集合内的特征片段串联合并为融合重组特征rn，将融合重组特征rn输入到时域特征捕捉的注意力神经网络模型的卷积层r2中，再将计算
结果输入到时域特征捕捉的注意力神经网络模型的softmax函数中运算，将运算结果与融合重组特征rn相加，获得注意力融合特征
[0084][0085][0086]
其中，softmax(
·
)表示softmax函数运算，covr1表示卷积层r1运算，covr2表示卷积层r2运算。
[0087]
步骤3，基于深度神经网络模型，对注意力融合特征进行降维度特征提取和映射，得到情绪识别结果。
[0088]
在本实施例中，如图4，情绪识别的具体实现方式如下：
[0089]
将注意力融合特征输入到深度神经网络模型的卷积层y1中，进而通过relu函数激活，再输入到深度神经网络模型的卷积层y2中，接着输入到深度神经网络模型的softmax函数中运算；通过深度神经网络模型的softmax函数归一化后的特征，其某个元素为最大值，则表明该元素所处的位置j所对应的情绪j为当前时刻多生命体征所表达的情绪：
[0090][0091]
其中，softmax(
·
)表示softmax函数运算，covy1表示卷积层y1运算，covy2表示卷积层y2运算，relu(
·
)表示relu函数运算。
[0092]
在上述实施例的基础上，本发明还公开了一种基于时域特征的多生命体征情绪识别系统，包括：融合深度特征提取模块，用于基于深度卷积神经网络，对多生命体征进行时域融合和特征提取，得到融合深度特征；注意力融合特征提取模块，用于基于时域特征捕捉的注意力神经网络模型，对融合深度特征进行优化，得到注意力融合特征；情绪识别模块，用于基于深度神经网络模型，对注意力融合特征进行降维度特征提取和映射，得到情绪识别结果。
[0093]
对于系统实施例而言，由于其与方法实施例相对应，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。
[0094]
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
[0095]
本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。