一种情绪监测装置及方法与流程

技术特征：

1.一种情绪监测装置，其特征在于，包括：

关联信息采集模块，用于采集待监测人的关联信息，所述关联信息包括：语音数据和生理数据；

第一情绪识别模块，用于将所述语音数据输入第一情绪识别模型进行第一情绪识别，获取第一情绪识别结果，第一情绪识别包括：第一语音特征提取和第一情绪判定，所述第一语音特征包括：声纹特征、语速特征、语调特征和音量特征；

第二情绪识别模块，用于将所述语音数据输入第二情绪识别模型进行第二情绪识别，获取第二情绪识别结果，第二情绪识别包括：将语音数据转换为文本、情绪语句提取、程度副词提取和第二情绪判定；

情绪监测模块，用于根据所述生理数据、第一情绪识别结果和第二情绪识别结果，确定待监测人的情绪，完成情绪监测。

2.根据权利要求1所述的情绪监测装置，其特征在于，所述第一情绪识别模型的获取步骤包括：

采集第一训练集；

将所述第一训练集中的第一训练样本输入第一神经网络进行人声分离，获取人声语音；

对所述人声语音进行第一语音特征提取，获取声纹特征、语速特征、语调特征和音量特征；

将所述声纹特征输入预设的声纹特征库进行匹配，确定所述待监测人的身份信息；

根据所述语速特征、语调特征、音量特征和身份信息，进行第一情绪判定，获取待监测人的第一情绪识别结果；

根据预设的第一损失函数和所述第一情绪识别结果，对所述第一神经网络进行训练，获取第一情绪识别模型。

3.根据权利要求2所述的情绪监测装置，其特征在于，根据所述语速特征、语调特征、音量特征和身份信息，进行第一情绪判定的步骤包括：

根据所述语速特征，判断对应语速是否超出预设的语速阈值范围，获取第一判定结果；

将所述语调特征输入预设的语调特征库进行匹配，获取语调匹配结果；

根据所述音量特征，判断对应音量是否超出预设的音量阈值范围，获取第二判定结果；

根据所述身份信息、第一判定结果、语调匹配结果和第二判定结果，获取对应的情绪标签作为第一情绪识别结果，完成第一情绪判定。

4.根据权利要求1所述的情绪监测装置，其特征在于，所述第二情绪识别模型的获取步骤包括：

采集第二训练集；

将所述第二训练集中的第二训练样本输入第二神经网络进行训练，获取第二情绪识别模型；所述第二神经网络包括：用于获取目标语句的隐马尔科夫语音识别子网络、用于对所述目标语句进行语义识别的长短期记忆子网络和用于获取程度副词的卷积神经子网络。

5.根据权利要求4所述的情绪监测装置，其特征在于，将所述第二训练集中的第二训练样本输入第二神经网络进行训练的步骤包括：

将所述第二训练样本输入所述隐马尔科夫语音识别子网络进行第二语音特征提取，获取第二语音特征；

根据所述第二语音特征，获取对应的识别文本；

对所述识别文本进行目标语句提取，获取一个或多个目标语句；

将所述目标语句输入所述长短期记忆子网络进行语义识别，获取语义识别结果；

根据所述语义识别结果，获取对应的情绪标签；

将所述目标语句输入所述卷积神经子网络进行程度副词提取，获取程度副词；

根据所述情绪标签和程度副词，获取第二情绪识别结果；

根据所述第二情绪识别结果和预设的第二损失函数，对所述第二神经网络进行训练，获取第二情绪识别模型。

6.根据权利要求5所述的情绪监测装置，其特征在于，根据所述情绪标签和程度副词，获取第二情绪识别结果的步骤包括：

将所述程度副词输出预设的程度副词库进行匹配，获取对应的程度权值；

根据所述程度权值，对所述情绪标签进行打分，获取打分结果；

当所述打分结果超出预设的分数阈值时，则确定对应的情绪标签为所述第二情绪识别结果。

7.根据权利要求1所述的情绪监测装置，其特征在于，所述生理数据包括：心电信号和血压信号；

根据所述语音数据，确定对应的时间区间；

根据所述心电信号和血压信号，获取所述时间区间内的心电波动频率和血压波动频率；

判断所述心电波动频率是否超出预设的心电波动阈值范围，获取第三判定结果；

判断所述血压波动频率是否超出预设的血压波动阈值范围，获取第四判定结果；

根据所述第三判定结果和所述第四判定结果，获取对应的情绪波动属性标签；

根据所述第一情绪识别结果、第二情绪识别结果和情绪波动属性标签，确定待监测人的情绪。

8.根据权利要求7所述的情绪监测装置，其特征在于，根据所述第一情绪识别结果、第二情绪识别结果和情绪波动属性标签，确定待监测人的情绪的步骤包括：

将所述第一情绪识别结果和第二情绪识别结果分别与所述情绪波动属性标签进行相似度匹配，获取一个或多个目标情绪标签，所述目标情绪标签为相似度大于预设的相似度阈值的情绪标签；

获取多个所述目标情绪标签对应的置信度，将置信度较大的目标情绪标签作为最终情绪标签，完成情绪监测。

9.根据权利要求8所述的情绪监测装置，其特征在于，还包括：警示模块，用于对所述待监测人的最终情绪标签进行累计，当预设的时间段内，待监测人的负面情绪标签超出预设的标签数量阈值时，则发出警示；

将警示信号传输至目标终端，所述目标终端为与所述情绪监测装置进行关联通信的终端。

10.一种情绪监测方法，其特征在于，包括：

采集待监测人的关联信息，所述关联信息包括：语音数据和生理数据；

将所述语音数据输入第一情绪识别模型进行第一情绪识别，获取第一情绪识别结果，第一情绪识别包括：第一语音特征提取和第一情绪判定，所述第一语音特征包括：声纹特征、语速特征、语调特征和音量特征；

将所述语音数据输入第二情绪识别模型进行第二情绪识别，获取第二情绪识别结果，第二情绪识别包括：将语音数据转换为文本、情绪语句提取、程度副词提取和第二情绪判定；

根据所述生理数据、第一情绪识别结果和第二情绪识别结果，确定待监测人的情绪，完成情绪监测。

技术总结
本发明提供一种情绪监测装置及方法，装置包括：关联信息采集模块，用于采集待监测人的关联信息，关联信息包括：语音数据和生理数据；第一情绪识别模块，用于将语音数据输入第一情绪识别模型进行第一情绪识别，获取第一情绪识别结果，第一情绪识别包括：第一语音特征提取和第一情绪判定；第二情绪识别模块，用于将语音数据输入第二情绪识别模型进行第二情绪识别，获取第二情绪识别结果，第二情绪识别包括：将语音数据转换为文本、情绪语句提取、程度副词提取和第二情绪判定；情绪监测模块，用于根据生理数据、第一情绪识别结果和第二情绪识别结果，确定待监测人的情绪；本发明中的装置，实现了对待监测人的情绪的准确识别与监测，精确度较高。

技术研发人员：姚娟娟;钟南山
受保护的技术使用者：明品云(北京)数据科技有限公司
技术研发日：2021.07.09
技术公布日：2021.08.10