一种多模态交互陪护机器人人机感知控制系统的制作方法

本发明涉及陪护机器人人机交互相关制品领域，具体为一种多模态交互陪护机器人人机感知控制系统。

背景技术：

1、随着人工智能与机器人技术的快速发展，陪护机器人已广泛应用于家庭养老、儿童陪伴、心理疏导、居家看护等场景，人机感知与情感交互能力是衡量陪护机器人智能化水平的核心指标。现有陪护机器人的人机感知控制系统存在明显技术缺陷，严重制约人机交互的自然性与精准度。

2、当前主流陪护机器人仅采用单一或双模态感知方案，多依赖单纯语音识别或简单面部图像识别，感知维度单一，缺失用户肢体动作、机身触觉等关键交互信号，无法全面捕捉用户的人机交互状态与生理行为特征，极易出现感知偏差。同时，传统情绪识别算法多为单帧静态识别模式，仅基于单张人脸图像或单段语音片段进行瞬时情绪判定，忽略了用户情绪随时间的动态波动过程，无法捕捉微表情变化、语调渐变、肢体姿态微调等细微时序特征，难以实现连续、动态、精准的用户情绪监测。

3、具体缺陷体现在三方面：一是感知维度片面，无法同步采集语音、面部图像、肢体动作、触觉交互多维度信号，对用户放松、烦躁、低落、愉悦等复杂状态的识别准确率低；二是情绪识别静态化，缺乏时序特征建模能力，无法追踪用户情绪的渐变过程与波动趋势，仅能输出瞬时情绪结果，监测连续性差；三是多源信号独立处理，未实现多模态数据的时空对齐与深度融合，各传感信号存在信息冗余、特征冲突问题，进一步降低人体状态与情绪感知的全面性、稳定性。

技术实现思路

1、本发明的目的在于提供一种多模态交互陪护机器人人机感知控制系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种多模态交互陪护机器人人机感知控制系统，应用于智能陪护机器人人机情感交互与状态感知场景，包括：多源传感同步采集模块、多模态时空融合处理模块、时序式动态情绪识别模块、人机交互控制模块以及数据存储校准模块；

3、所述多源传感同步采集模块，搭建语音、面部图像、肢体动作、机身触觉四维并行传感采集架构，用于同步并行采集用户多维度人机交互原始信号，并对各类原始信号进行降噪预处理及统一时间戳标记，输出带时序标识的多模态原始传感数据；

4、所述多模态时空融合处理模块，通信连接所述多源传感同步采集模块与所述时序式动态情绪识别模块，用于对携带有统一时间戳的四类多模态传感数据进行帧级时序对齐、干扰特征剔除、数据归一化预处理，并结合多头注意力机制完成多模态特征自适应权重分配与深度融合，生成维度统一、时序连续的用户人机状态融合特征序列；

5、所述时序式动态情绪识别模块，内置时序卷积-注意力融合算法模型，用于对所述用户人机状态融合特征序列进行时序特征解析，分别提取微表情、语调、肢体姿态三类核心时序情绪特征，融合研判用户实时情绪状态及长短期情绪波动趋势，输出连续动态的用户情感监测数据；

6、所述人机交互控制模块，电性耦合所述时序式动态情绪识别模块，用于接收所述连续动态的用户情感监测数据，匹配预设交互策略，自适应调整机器人语音播报、肢体动作、灯光展示、应答陪护的交互模式；

7、所述数据存储校准模块，分别与所述多源传感同步采集模块、多模态时空融合处理模块、时序式动态情绪识别模块双向通信，用于存储多模态原始传感数据、融合特征数据、时序情绪监测数据，同时完成传感模组零点校准、算法特征阈值的自适应迭代更新，保障系统长期稳定运行。

8、所述多源传感同步采集模块，用于构建语音、面部图像、肢体动作、机身触觉四维传感采集架构，同步采集用户多维度人机交互信号，并完成降噪预处理与统一时间戳标记；

9、所述多模态时空融合处理模块，用于对四类时序传感信号进行时空对齐、特征筛选与注意力权重融合，生成统一的用户多维度状态时序融合特征序列；

10、所述时序式动态情绪识别模块，内置时序卷积-注意力融合算法，用于从融合特征序列中提取微表情、语调、肢体姿态时序特征，综合研判用户情绪状态与波动趋势，实现连续动态情感监测；

11、所述人机交互控制模块，用于根据用户人体状态与动态情绪监测结果，自适应调整机器人陪护交互模式；

12、所述数据存储校准模块，用于存储时序交互数据与情绪识别数据，完成传感校准与算法参数自适应迭代优化。

13、作为本发明优选的，所述多源传感同步采集模块包括独立且同步工作的语音采集单元、面部图像采集单元、肢体动作采集单元以及机身触觉采集单元，四类采集单元采用统一同步时钟触发机制，固定统一采样频率为30hz，实现多模态信号时序完全匹配；

14、所述语音采集单元搭载双麦降噪麦克风阵列，用于采集用户实时交互语音信号，并提取语速波动、音调偏移、音量起伏、语音频谱变化的语音时序特征；

15、所述面部图像采集单元搭载高清红外双目摄像头，用于连续采集用户面部动态图像序列，逐帧捕捉眉眼状态、嘴角弧度、面部肌肉形变的微表情时序变化特征；

16、所述肢体动作采集单元搭载深度视觉传感器与人体姿态识别模组，用于实时采集用户肢体姿态角度、肢体动作幅度、动作频繁度、姿态稳定性的肢体动态时序数据；

17、所述机身触觉采集单元搭载分布式柔性触觉传感器，传感器阵列布设于机器人机身握持区与主动触碰交互区，用于采集用户触碰力度、触碰持续时长、触碰位置、重复触碰频率的触觉交互时序信号。

18、所述语音采集单元用于采集语音时序信号，提取语速、音调、音量波动特征；所述面部图像采集单元用于采集面部动态图像序列，捕捉微表情细微时序变化特征；所述肢体动作采集单元用于采集用户肢体姿态、动作幅度、动作频率时序数据；所述机身触觉采集单元用于采集用户触碰力度、触碰时长、触碰频率的触觉交互时序信号。

19、作为本发明优选的，所述多模态时空融合处理模块的具体处理步骤包括时序对齐、特征预处理、深度特征融合：

20、时序对齐：基于全局统一时间戳，对语音、面部图像、肢体动作、机身触觉四类离散传感信号进行帧级精准对齐，消除不同传感模组采样延迟带来的时序错位偏差；

21、特征预处理：采用自适应阈值降噪算法，针对性滤除环境噪音、图像噪点、触觉干扰杂讯，同时对各类传感数据进行归一化统一维度处理；

22、深度特征融合：引入多头注意力机制，依据情绪关联度对四类模态特征进行自适应权重分配，强化高关联情绪特征权重，弱化无效冗余特征与干扰特征，生成时序连续、维度统一的用户人机状态融合特征序列。

23、作为本发明优选的，所述时序式动态情绪识别模块摒弃传统单帧静态情绪识别模式，以时序连续的用户人机状态融合特征序列为输入，识别流程包括：

24、通过时序卷积神经网络对连续特征序列进行短时序编码，捕捉用户微表情、语调、肢体姿态的细微瞬时情绪变化特征；

25、通过门控循环单元对编码后的时序特征进行长时序记忆建模，捕捉用户情绪的持续变化趋势与整体波动规律；

26、通过多特征融合分类器整合短时序细节特征与长时序趋势特征，综合研判输出用户实时情绪状态，同时生成情绪变化速率、情绪持续时长、情绪波动曲线的动态监测数据，实现全时段连续动态情感监测。

27、作为本发明优选的，所述人机交互控制模块内置精细化情绪交互匹配策略库，预设愉悦、平静、烦躁、低落、焦虑、疲惫六类用户情绪对应的专属交互逻辑；

28、所述人机交互控制模块能够根据实时动态情绪监测结果，自适应调用对应交互逻辑，分别匹配差异化的语音播报语速语调、肢体动作幅度频率、灯光亮度色彩、陪护应答话术，实现适配用户实时情绪的个性化智能情感陪护交互。

29、作为本发明优选的，所述数据存储校准模块具备增量数据迭代训练与自适应优化能力；

30、所述数据存储校准模块可长期存储用户多模态交互原始数据、特征融合数据、时序情绪监测数据，基于累积的用户个性化交互与情绪样本数据，持续迭代优化情绪识别算法的特征阈值与分类权重，自适应适配不同用户的情绪表达习惯与人机交互特征，提升个性化情绪识别与状态感知精度。

31、与现有技术相比，本发明的有益效果是：

32、1、本发明首创语音、面部图像、肢体动作、机身触觉四维多源传感融合架构，突破传统单一、双模态感知的局限，同步采集用户全维度人机交互信号，全面覆盖用户视觉、听觉、体感、行为交互状态，彻底解决现有技术人体状态感知片面、信息缺失的问题，大幅提升人机状态感知的完整性与全面性。

33、2、本发明搭载时序式情绪识别算法，替代传统静态单帧识别模式，通过捕捉微表情、语调、肢体姿态的连续时序变化特征，精准研判用户情绪细微波动与动态变化趋势，实现毫秒级连续动态情感监测，解决现有技术情绪识别滞后、静态化、无法追踪情绪渐变的痛点，情绪识别精准度提升35%以上。