一种基于多模态传感器融合的人体情绪识别方法及系统与流程

本技术涉及人工智能、生物特征识别和人机交互，尤其涉及一种基于多模态传感器融合的人体情绪识别方法及系统。

背景技术：

1、随着人工智能和人机交互技术的快速发展，人体情绪识别技术在智能客服、医疗诊断、教育培训等领域得到了广泛应用。单一模态的情绪识别技术受限于数据来源单一，容易受到环境干扰，识别精度和鲁棒性难以满足实际应用需求。因此，多模态融合的情绪识别技术成为了当前的研究热点。

2、然而，现有的多模态情绪识别技术普遍存在以下三个方面的技术缺陷：

3、1.多模态数据采集设备的时钟存在固有漂移，不同设备采集的数据时间戳无法精确对齐，导致融合时出现时序错位，严重影响识别精度；

4、2.情绪数据天然存在类别分布不均衡的问题，恐惧、厌恶等少数类情绪样本稀少，现有模型普遍偏向多数类情绪，少数类情绪的识别准确率极低；

5、3.在实际应用场景中，部分模态可能因设备故障、环境遮挡等原因临时失效，现有多模态融合模型无法自适应处理模态缺失的情况，一旦某一模态数据丢失，整个系统的性能会急剧下降甚至完全无法工作。

6、因此，亟需一种方法以解决上述至少一个问题。

技术实现思路

1、本技术提供了一种基于多模态传感器融合的人体情绪识别方法及系统，旨在解决现有技术通常只能单独解决其中某一个问题，尚未出现能够同时系统性解决这三个核心技术难题的多模态情绪识别方法，这极大地限制了多模态情绪识别技术的实际落地应用的问题。

2、第一方面，本技术实施例提供了一种基于多模态传感器融合的人体情绪识别方法，所述方法包括：

3、采集音频、面部和生理三种模态的人体数据并分别记录时间戳；计算每个模态对应人体数据的时间戳与当前时间的偏移量，通过指数移动平均方式更新每个模态的时钟漂移补偿值，对每个模态对应人体数据的时间戳进行校正；

4、根据所述人体数据计算情绪类别权重，生成少数类情绪的合成样本，在合成样本中检测可用的人体数据及对应的模态；

5、若仅一个模态存在可用的人体数据则进行单模态情绪预测，若多个模态存在可用的人体数据则输入至预设的情绪预测模型进行多模态融合预测，评估各模态可靠性并结合得到最终情绪预测结果。

6、在一些实施例中，所述评估各模态可靠性并结合得到最终情绪预测结果之后，还包括：构建包含人体生理变化规律与医学情绪关联知识的检索增强生成知识库；提取最终情绪预测结果对应的人体数据特征；将人体数据特征转换为检索查询语句；在检索增强生成知识库中检索与人体数据特征匹配的医学知识条目；根据检索得到的医学知识条目对最终情绪预测结果进行验证和修正；输出修正后的最终情绪预测结果。

7、本实施例在基础实施例的基础上，增加了基于医学知识的情绪预测结果验证与修正步骤。本实施例解决的技术问题是：现有技术仅依赖采集的实际数据进行训练和预测，缺乏权威医学知识的支撑，容易因个体差异或数据噪声导致误判，识别准确度有待进一步提升。本实施例通过引入人体生理变化与医学情绪关联的检索增强生成知识库，为情绪预测提供科学的外部验证依据，显著提高识别结果的可靠性。

8、通过收集权威医学文献、临床研究报告、生理学教材和精神医学指南中关于人体情绪与生理变化关联的知识内容。具体收集的知识内容包括：

9、生理信号与情绪的关联知识：心率加快、心率变异性降低、皮肤电导率升高与愤怒、焦虑情绪的关联；呼吸频率加快与紧张情绪的关联；体温轻微升高与害羞情绪的关联等。

10、面部表情与情绪的医学对应关系：面部动作单元au4（皱眉肌收缩）与愤怒情绪的对应；au12（嘴角上扬）与开心情绪的对应；au1+au4（内眉上扬+皱眉）与悲伤情绪的对应等。

11、语音特征与情绪的医学研究结论：语速加快、音调升高与愤怒情绪的关联；语速减慢、音调降低与悲伤情绪的关联；音量增大与兴奋情绪的关联等。

12、将收集到的知识内容进行结构化处理，转换为统一格式的知识条目。每个知识条目包含情绪类别、对应的人体生理特征、面部特征、语音特征、医学解释和证据等级六个字段。其中证据等级分为高、中、低三级，分别对应临床随机对照试验、队列研究和病例报告。将所有结构化后的知识条目转换为向量表示，存储在向量数据库中，形成检索增强生成知识库。

13、从基础实施例步骤s103输出的最终情绪预测结果中，提取对应的音频特征、面部特征和生理特征。具体提取的特征包括：音频特征：语速、平均音调、音调变化范围、平均音量、基频、共振峰、频谱熵。面部特征：各个面部动作单元的激活强度、眼部开合度、嘴角弧度、皱眉程度、眨眼频率。生理特征：心率平均值、心率变异性sdnn、皮肤电导率平均值、皮肤电反应次数、呼吸频率、体温变化率。

14、使用预设的特征及文本映射模板，将数值化的人体数据特征转换为自然语言查询语句。例如，当提取到的特征为心率每分钟110次、皮肤电导率0.8微西门子、皱眉程度0.8、音调升高20%时，生成的查询语句为"心率每分钟110次、皮肤电导率0.8微西门子、皱眉程度0.8、音调升高20%对应的情绪类别及医学依据"。

15、将生成的自然语言查询语句转换为向量表示，在向量数据库中进行余弦相似度检索。返回相似度最高的前3个知识条目，相似度阈值设置为0.7，低于该阈值的知识条目不予返回。

16、首先提取每个返回知识条目的情绪类别和证据等级。然后比较医学知识条目的情绪类别与基础实施例输出的最终情绪预测结果：若所有返回知识条目的情绪类别均与最终情绪预测结果一致，则保持最终情绪预测结果不变，综合置信度为原置信度乘以0.9加上最高证据等级知识条目的置信度乘以0.1。若存在返回知识条目的情绪类别与最终情绪预测结果不一致，则比较原预测结果的置信度与最高证据等级不一致知识条目的置信度：若医学知识条目的置信度更高，则将最终情绪预测结果修正为医学知识条目中对应的情绪类别，综合置信度为医学知识条目的置信度乘以0.6加上原预测结果的置信度乘以0.4。若原预测结果的置信度更高，则保持原预测结果不变，综合置信度为原预测结果的置信度乘以0.7加上最高证据等级知识条目的置信度乘以0.3。将经过验证和修正后的最终情绪预测结果以及对应的综合置信度数值进行输出。

17、本实施例：通过引入权威医学知识作为外部验证依据，能够有效纠正因个体差异、数据噪声或模型偏差导致的误判，显著提升情绪识别的准确度和可靠性。特别是对于生理特征不典型的情绪状态，能够提供更科学的判断依据，减少主观判断带来的误差。

18、在一些实施例中，所述采集音频、面部和生理三种模态的人体数据并分别记录时间戳之前，还包括：通过图像传感器采集场景图像数据；通过毫米波雷达采集场景中人体的位置和运动数据；通过音频传感器采集场景中的语音数据并提取声纹特征；根据图像数据、雷达数据和声纹特征识别场景中的人体数量；当识别到的人体数量不超过两人时，为每一个人体分配唯一身份标识；分别跟踪每一个人体的位置和运动轨迹；将采集到的音频数据、面部数据和生理数据与对应身份标识的人体进行关联；分别对每一个身份标识对应的人体执行后续的时间戳校正、情绪类别权重计算、合成样本生成和情绪预测步骤。

19、本实施例在基础实施例的基础上，增加了多人场景下的身份区分和分别情绪识别步骤。本实施例解决的技术问题是：现有技术大多针对单人场景设计，在多人场景下无法准确区分不同人体的身份，导致多模态数据混淆，无法实现对不同人体的分别情绪识别，限制了系统的应用场景。本实施例通过融合图像、60g毫米波雷达和声纹识别三种技术，能够在最多两人的场景下准确区分不同人体的身份，并实现多模态数据的精准关联。

20、采用分辨率为如1920×1080、帧率为30帧/秒的rgb摄像头，实时采集场景中的彩色图像数据。图像数据采集后，先进行预处理操作，包括高斯滤波去噪、自动白平衡调整和对比度增强，以提高后续目标检测的准确性。

21、采用工作频率为60ghz、带宽为4ghz的调频连续波雷达，发射线性调频连续波信号，接收人体反射的回波信号。通过对回波信号进行快速傅里叶变换得到距离维频谱，通过数字波束形成得到角度维信息，通过相位差分析得到人体的速度和微动信息。最终输出每个检测到的人体的距离、方位角、俯仰角、径向速度、呼吸频率和心跳频率数据。60g毫米波雷达不受光照、烟雾、灰尘等环境因素影响，能够在黑暗和恶劣环境下稳定工作，且不会泄露用户的面部隐私。

22、采用4麦克风阵列采集场景中的语音数据，采样率设置为16khz，采样精度设置为16位。通过波束形成算法增强目标方向的语音信号，抑制环境噪声和干扰。使用预训练的声纹识别模型，从增强后的语音数据中提取128维的声纹特征向量。声纹特征具有唯一性和稳定性，能够准确区分不同的说话人。

23、采用目标检测算法对预处理后的图像数据进行人体目标检测，得到图像中检测到的人体数量n1。根据雷达数据检测到的人体目标数量得到n2。对提取到的所有声纹特征进行聚类，得到说话人数量n3。采用多数投票法确定最终的人体数量：若至少两个传感器检测到的数量一致，则取该数量作为最终结果；若三个传感器检测到的数量均不一致，则取最大值作为最终结果，并标记为不确定状态。

24、当最终识别到的人体数量为1人时，为该人体分配身份标识id001。当最终识别到的人体数量为2人时，为两个人体分别分配身份标识id001和id002。当识别到的人体数量超过两人时，通过语音输出提示信息"当前场景人数过多，无法进行情绪识别"，并暂停情绪识别过程，直到场景中人数减少至两人及以下。

25、采用多目标跟踪算法，结合图像数据和雷达数据，对每一个人体进行持续跟踪。对于图像中的人体目标，提取其外观特征；对于雷达中的人体目标，提取其位置和运动特征。通过特征融合和数据关联，实现对人体目标的稳定跟踪。当人体在场景中移动、转身或被部分遮挡时，能够保持跟踪不丢失。

26、根据人体在图像中的位置和跟踪结果，将检测到的面部区域与对应身份标识的人体进行关联。

27、将提取到的声纹特征与每个身份标识对应的声纹模板进行匹配，匹配度最高的身份标识即为该语音数据对应的人体。初始时声纹模板为空，当首次检测到某一身份标识的语音数据时，将其声纹特征作为该身份标识的初始模板。后续每次检测到该身份标识的语音数据时，通过指数移动平均方式更新声纹模板。

28、若生理传感器为可穿戴设备，则根据设备预先绑定的身份信息进行关联。若生理传感器为非接触式生理雷达，则根据人体的位置信息，将检测到的生理信号与对应位置的身份标识进行关联。

29、为每一个身份标识的人体创建独立的数据处理线程和数据存储空间。每个线程独立执行基础实施例中的步骤s101至步骤s103的所有操作，分别得到每一个人体的情绪预测结果。不同身份标识的人体的数据处理过程相互独立，互不干扰。

30、本实施例通过融合图像、60g毫米波雷达和声纹识别三种技术，实现了多人场景下的精准身份区分和数据关联。解决了多人场景下数据混淆的问题，扩展了本发明的应用场景，适用于家庭、办公室等常见的两人及以下场景。同时，60g毫米波雷达的使用提高了系统在恶劣环境下的适应性和隐私保护性。

31、在一些实施例中，输出最终情绪预测结果之后，还包括：存储每一次情绪预测结果、对应的人体数据特征和时间信息形成历史记忆库；从历史记忆库中提取同一人体的多次情绪预测结果和对应人体数据特征；学习同一人体的个性化情绪表达特征；当新的情绪预测结果与该人体的历史个性化情绪表达特征存在差异时，生成交互询问语句；通过语音交互方式向对应人体输出交互询问语句；接收对应人体的语音反馈信息；根据语音反馈信息更新该人体的个性化情绪表达特征和历史记忆库；使用更新后的个性化情绪表达特征优化后续的情绪预测过程。

32、本实施例在基础实施例的基础上，增加了个性化特征学习和交互记忆步骤。本实施例解决的技术问题是：不同人体的情绪表达存在显著的个体差异，通用情绪识别模型难以适应所有用户的表达特点，导致针对特定用户的识别准确度较低。现有技术缺乏个性化学习和记忆功能，无法根据用户的反馈不断优化识别效果。本实施例通过存储用户的历史情绪数据形成记忆库，学习用户的个性化情绪表达特征，并通过语音交互获取用户反馈，持续优化模型性能。

33、采用mysql关系型数据库构建历史记忆库。历史记忆库包含用户表、情绪记录表和特征表三个数据表：

34、用户表：存储用户身份标识、声纹模板、个性化模型参数等信息。

35、情绪记录表：存储每条情绪预测记录的id、用户身份标识、情绪类别、置信度、预测时间、交互反馈结果等信息。

36、特征表：存储每条情绪预测记录对应的音频特征向量、面部特征向量、生理特征向量，与情绪记录表通过记录id关联。

37、每次完成情绪预测后，将本次预测的情绪类别、置信度、时间信息、对应的多模态特征向量以及用户身份标识写入历史记忆库。历史记忆库的存储期限设置为1年，超过1年的记录自动删除，以节省存储空间。

38、根据用户身份标识，从历史记忆库中提取该用户过去30天内所有经过用户确认或反馈正确的情绪预测记录。若该用户过去30天内的有效记录数量少于50条，则提取所有历史有效记录。

39、采用梯度提升树算法对提取到的历史数据进行训练，学习该用户的个性化情绪表达特征。训练过程中，以多模态特征向量为输入，以情绪类别为输出，调整模型的参数，使模型能够准确识别该用户特有的情绪表达模式。例如，学习到该用户在生气时不会皱眉，但会出现心率显著升高和语速加快的特征；学习到该用户在开心时会出现特定的面部表情。

40、同时，统计该用户的语音特征，识别出用户频繁使用的口头禅。当某一词汇在用户的语音数据中出现的频率超过每100句话5次时，将该词汇标记为用户的口头禅，并记录该口头禅出现时对应的情绪类别。

41、将新的情绪预测结果对应的多模态特征向量输入到训练好的个性化模型中，得到个性化预测结果。比较通用模型的预测结果与个性化模型的预测结果：

42、若两者一致，则直接输出通用模型的预测结果。

43、若两者不一致，且通用模型的置信度低于0.7，则生成对应的交互询问语句。

44、交互询问语句根据具体情况分为以下三类：

45、情绪确认类：当预测结果与个性化特征存在明显差异时，生成"主人，你刚才是在生气吗"、"主人，你现在是开心吗"等语句。

46、口头禅关联类：当检测到用户使用口头禅，且该口头禅在历史记录中与特定情绪相关联时，生成"主人，你为什么老在说xxx"、"主人，你上次说xxx的时候是在开心，现在也是吗"等语句。

47、历史相似类：当检测到当前的多模态特征与历史上某一次情绪预测的特征相似度超过0.8时，生成"主人，你上次说xxx的时候是在生气，现在也是吗"等语句。

48、将生成的交互询问语句输入到文本转语音引擎，转换为自然流畅的语音信号。通过扬声器向对应身份标识的人体播放语音信号。播放时，根据用户的历史偏好调整语音的语速、音调和音量。

49、通过麦克风阵列采集用户的语音反馈信息。使用语音识别算法将语音信号转换为文本信息。使用情感分析算法分析反馈信息的情感倾向和语义内容，提取用户的确认或否定信息。例如，用户说"是的"、"对"表示确认；用户说"不是"、"我没有生气"表示否定。

50、若用户确认情绪预测结果正确，则将本次预测结果标记为正确，添加到历史记忆库中。使用本次数据对个性化模型进行增量训练，更新个性化情绪表达特征。

51、若用户否定情绪预测结果，则提示用户输入正确的情绪类别。将用户提供的正确情绪类别和对应的多模态特征添加到历史记忆库中。使用更新后的历史数据重新训练个性化模型，更新个性化情绪表达特征。

52、在后续的情绪预测过程中，将通用模型的预测结果与个性化模型的预测结果进行加权组合。个性化模型的权重随着用户历史记录数量的增加而逐渐提高。当用户的有效历史记录数量超过200条时，个性化模型的权重设置为0.7，通用模型的权重设置为0.3。

53、通过存储用户的历史情绪数据形成记忆库，学习用户的个性化情绪表达特征，并通过语音交互获取用户的反馈，不断优化模型参数。有效解决了个体差异大导致的情绪识别准确度低的问题，使系统能够逐渐适应用户的独特表达特点，显著提升了用户体验和识别准确率。

54、在一些实施例中，所述根据所述人体数据计算情绪类别权重，生成少数类情绪的合成样本，包括：提取所有人体数据对应的情绪标签，统计每种情绪标签对应的样本数量；根据每种情绪标签的样本数量计算对应情绪类别的权重；识别样本数量少于预设阈值的情绪类别作为少数类情绪；使用生成对抗网络生成指定数量的少数类情绪的合成样本。

55、在一些实施例中，所述根据所述人体数据计算情绪类别权重，包括：提取所有人体数据对应的情绪标签，获取所有不重复的情绪标签组成情绪类别集合；统计情绪类别集合中每个情绪类别对应的样本数量；采用平衡类别权重计算方式，根据每个情绪类别的样本数量计算对应情绪类别的权重；将每个情绪类别与对应权重建立映射关系并存储。

56、在一些实施例中，所述若仅一个模态存在可用的人体数据则进行单模态情绪预测，包括：若仅音频模态存在可用的人体数据，则将音频模态的可用数据输入至预设的音频情绪识别模型进行情绪预测；若仅面部模态存在可用的人体数据，则将面部模态的可用数据输入至预设的面部情绪识别模型进行情绪预测；若仅生理模态存在可用的人体数据，则将生理模态的可用数据输入至预设的生理情绪识别模型进行情绪预测；输出单模态情绪预测结果及对应置信度。

57、在一些实施例中，所述多个模态存在可用的人体数据则输入至预设的情绪预测模型进行多模态融合预测，评估各模态可靠性并结合得到最终情绪预测结果，包括：将所有可用模态的人体数据输入至预设的多模态融合情绪预测模型进行融合预测，得到融合预测结果；根据各模态数据的完整性、连续性和信噪比计算各模态的可靠性得分；根据各模态的可靠性得分，对融合预测结果和各单模态情绪预测结果进行加权组合；输出加权组合后的最终情绪预测结果及对应置信度。

58、在一些实施例中，所述方法还包括：对预设的所有情绪预测模型进行动态范围量化处理，得到量化后的情绪预测模型；对量化后的情绪预测模型进行低幅度剪枝处理，去除情绪预测模型中权重绝对值较小的参数；将待推理的人体数据按预设批量大小组成数据批次；将数据批次依次输入至优化后的情绪预测模型进行批量推理，输出批量推理结果。

59、第二方面，本技术提供了一种基于多模态传感器融合的人体情绪识别系统，所述系统包括：

60、数据采集单元，用于采集音频、面部和生理三种模态的人体数据并分别记录时间戳；计算每个模态对应人体数据的时间戳与当前时间的偏移量，通过指数移动平均方式更新每个模态的时钟漂移补偿值，对每个模态对应人体数据的时间戳进行校正；

61、样本生成单元，用于根据所述人体数据计算情绪类别权重，生成少数类情绪的合成样本，在合成样本中检测可用的人体数据及对应的模态；

62、结果生成单元，用于若仅一个模态存在可用的人体数据则进行单模态情绪预测，若多个模态存在可用的人体数据则输入至预设的情绪预测模型进行多模态融合预测，评估各模态可靠性并结合得到最终情绪预测结果。

63、本技术通过动态时钟漂移补偿机制，将多模态数据的同步误差进行控制，保证了融合数据的时序一致性，显著提升了多模态融合的识别精度；通过结合类别权重调整和少数类样本合成技术，有效缓解了模型对多数类情绪的偏向，大幅提升了恐惧、厌恶等少数类情绪的识别准确率；设计了自适应的模态检测和降级预测机制，当部分模态失效时，系统能够自动切换到可用模态的预测模式，保证了系统在复杂环境下的稳定运行；将上述三个核心技术有机整合，形成了一套完整的多模态情绪识别解决方案，能够直接应用于各种复杂的实际场景。

64、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。