用于监视场景的人机交互控制方法和系统

本发明提出了用于监视场景的人机交互控制方法和系统，属于人机交互。

背景技术：

1、随着人工智能情感计算、多模态感知与人机交互技术的快速迭代，智能化育儿、居家婴幼儿看护已成为智慧家庭与智能托育领域的核心发展方向。当下社会家庭结构持续变迁，双职工家庭占比大幅提升，专业托育资源供给不足，多数家庭存在婴幼儿独处看护、家长无暇实时陪护的场景，婴幼儿无人陪护或陪护缺位时，易出现哭闹、焦躁、不安等负面情绪，若无法及时、有效安抚，不仅会影响婴幼儿的情绪状态与睡眠质量，长期而言还会对其情感认知、安全感建立及心理健康发育造成不利影响。通过人工智能技术实现婴幼儿情绪自动识别与智能安抚，成为解决现代精细化育儿需求、弥补人工陪护短板的关键技术路径。

2、目前已公开或已知的相关技术主要包括以下几类：

3、（1）婴儿监护类设备。例如婴儿监控摄像头、睡眠监测设备等，主要用于远程查看婴儿状态，但通常仅具备视频监控与基础报警功能，缺乏主动安抚能力。

4、（2）语音安抚类设备。例如白噪声播放器、语音玩具及固定语音陪伴机器人等，通常通过播放预设音乐、儿歌或录音实现安抚，但无法根据婴儿实时状态动态调整内容。

5、（3）智能陪伴机器人。部分智能机器人具备语音交互、人脸识别或简单情感反馈能力，但多数针对儿童教育或家庭陪伴场景设计，并未针对婴儿低龄阶段的情绪特征进行优化。

6、（4）数字人与语音克隆技术。近年来出现了基于ai的数字人生成与语音克隆技术，可实现特定人物形象与声音的模拟，但主要应用于直播、客服、短视频或虚拟主播场景，缺乏与婴儿情绪安抚结合的闭环控制机制。

7、（5）情绪识别系统。现有部分研究能够通过声音或图像识别用户情绪，但多数仅用于成人交互场景，且通常只进行单模态分析，难以准确识别婴儿复杂情绪状态。

8、现有技术普遍存在如下不足：无法模拟父母真实声音与形象；缺乏基于婴儿实时状态的动态安抚能力；情绪识别维度单一，准确率有限，同时，对家庭隐私数据缺乏本地化保护能力；安抚内容固定，个性化程度较低；无法有效降低家长干预频率。

技术实现思路

1、本发明提供了用于监视场景的人机交互控制方法和系统，用以解决现有技术中存在的上述技术问题，所采取的技术方案如下：

2、用于监视场景的人机交互控制方法，所述人机交互控制方法包括：

3、根据采集到的父母的多模态数据，根据父母的多模态数据建立父母数字人数据库；

4、实时采集婴儿的实时状态信息，利用情绪识别模型根据实时状态信息获取婴儿当前的情绪类别；

5、根据所述婴儿当前的情绪类别自动生成对应的安抚策略，并根据父母数字人数据库生成与当前安抚策略对应的父母数字人视频，并对所述安抚策略予以实施；

6、在安抚策略实施过程中监测婴儿的状态变化，根据婴儿的状态变化情况生成安抚效果评分，并依据安抚效果评分判断是否进行安抚策略的自动调整。

7、进一步地，根据采集到的父母的多模态数据，根据父母的多模态数据建立父母数字人数据库，包括：

8、通过移动终端或机器人本体采集父母的多模态数据，其中，所述多模态数据包括语音样本、面部图像、视频片段和表情动作数据；同时，语音样本优选包括平静语音、安抚语音、不同语速语音以及不同情绪状态下的语音数据；

9、对所述父母的多模态数据进行预处理，获取预处理后的多模态数据，其中，所述预处理包括音频去噪处理、人脸对齐处理、图像归一化处理、音频切分处理及特征标准化处理；以提升后续模型训练与推理的稳定性；

10、针对预处理后的多模态数据进行特征提取，获取父母对应的人物特征参数数据，其中，所述人物特征参数数据包括人脸特征向量、音色特征向量、嘴型驱动参数和表情映射参数；

11、根据所述父母对应的人物特征参数数据建立父母数字人数据库。

12、进一步地，实时采集婴儿的实时状态信息，利用情绪识别模型根据实时状态信息获取婴儿当前的情绪类别，包括：

13、通过感知模块实时采集婴儿的实时状态信息，其中，所述感知模块包括rgb摄像头、红外摄像头、麦克风阵列、动作传感器和距离传感器等设备；并且，所述婴儿的实时状态信息包括婴儿面部图像、身体动作信息、哭声、婴儿所处环境的环境声音、翻身和肢体摆动等信息；

14、按照预设的固定时间窗口对采集到的婴儿的实时状态信息进行缓存，形成状态数据包；其中，所述状态数据包内包含图像帧序列、音频频谱以及动作时间序列等内容；同时，所述固定时间窗口优选为2s；

15、将所述状态数据包输入至情绪识别模型，通过所述情绪识别模型提取取视觉特征、音频特征和动作特征；其中，所述视觉特征包括婴儿的面部状态与动作特征，音频特征通过对哭声信号进行短时傅里叶变换获得哭声频谱并提取基频、强度、节奏变化及高频能量分布，动作特征包括四肢摆动频率、翻身动作及身体扭动幅度；

16、所述情绪识别模型通过多模态融合机制对视觉特征、音频特征和动作特征进行融合处理，输出婴儿的情绪类别，其中，所述情绪类别包括饥饿、困倦、惊吓、焦虑、普通哭闹和情绪稳定。

17、进一步地，根据所述婴儿当前的情绪类别自动生成对应的安抚策略，并根据父母数字人数据库生成与当前安抚策略对应的父母数字人视频，并对所述安抚策略予以实施，包括：

18、根据所述婴儿当前的情绪类别自动生成对应的安抚策略；其中，所述安抚策略包括语音内容、语音语速、音量大小、数字人表情、灯光颜色及机器人动作幅度；

19、调取数字人驱动模型，利用所述数字人驱动模型调取父母数字人数据库中的人物特征参数数据，并利用所述人物特征参数数据结合当前的安抚策略，生成与所述安抚测量对应的父母的图像、目标语音、表情参数和嘴型驱动参数；

20、利用所述父母的图像、目标语音、表情参数和嘴型驱动参数实时生成具备嘴型同步、面部动作、眼部动作及头部动作的父母数字人视频；

21、在所述安抚策略实施过程中，通过机器人显示屏播放所述父母数字人视频，同时，通过机器人扬声器同步输出安抚语音，通过机器人灯光模块输出对应的氛围灯光，以及通过机器人运动模块执行轻微摇摆或移动动作。

22、进一步地，在安抚策略实施过程中监测婴儿的状态变化，根据婴儿的状态变化情况生成安抚效果评分，并依据安抚效果评分判断是否进行安抚策略的自动调整，包括：

23、在所述安抚策略实施过程中，实时监测婴儿的状态变化情况，其中，所述婴儿的状态变化情况包括哭声变化程度、动作稳定程度及情绪状态变化；

24、根据所述哭声变化程度、动作稳定程度及情绪状态变化生成安抚效果评分；

25、将所述生成安抚效果评分与预设的分数阈值进行比较，当所述生成安抚效果评分低于预设的分数阈值时，则自动调整安抚策略；其中，安抚策略的调整事项包括修改语音内容、调整数字人表情、改变灯光参数和重新配置动作节奏。

26、用于监视场景的人机交互控制系统，所述人机交互控制系统包括：

27、父母数字人数据库建立模块，用于根据采集到的父母的多模态数据，根据父母的多模态数据建立父母数字人数据库；

28、情绪识别根类模块，用于实时采集婴儿的实时状态信息，利用情绪识别模型根据实时状态信息获取婴儿当前的情绪类别；

29、安抚策略自动生成模块，用于根据所述婴儿当前的情绪类别自动生成对应的安抚策略，并根据父母数字人数据库生成与当前安抚策略对应的父母数字人视频，并对所述安抚策略予以实施；

30、策略自动调整模块，用于在安抚策略实施过程中监测婴儿的状态变化，根据婴儿的状态变化情况生成安抚效果评分，并依据安抚效果评分判断是否进行安抚策略的自动调整。

31、进一步地，所述父母数字人数据库建立模块，用于根据采集到的父母的多模态数据，根据父母的多模态数据建立父母数字人数据库，包括：

32、通过移动终端或机器人本体采集父母的多模态数据，其中，所述多模态数据包括语音样本、面部图像、视频片段和表情动作数据；同时，语音样本优选包括平静语音、安抚语音、不同语速语音以及不同情绪状态下的语音数据；

33、对所述父母的多模态数据进行预处理，获取预处理后的多模态数据，其中，所述预处理包括音频去噪处理、人脸对齐处理、图像归一化处理、音频切分处理及特征标准化处理；以提升后续模型训练与推理的稳定性；

34、针对预处理后的多模态数据进行特征提取，获取父母对应的人物特征参数数据，其中，所述人物特征参数数据包括人脸特征向量、音色特征向量、嘴型驱动参数和表情映射参数；

35、根据所述父母对应的人物特征参数数据建立父母数字人数据库。

36、进一步地，所述情绪识别根类模块，用于实时采集婴儿的实时状态信息，利用情绪识别模型根据实时状态信息获取婴儿当前的情绪类别，包括：

37、通过感知模块实时采集婴儿的实时状态信息，其中，所述感知模块包括rgb摄像头、红外摄像头、麦克风阵列、动作传感器和距离传感器等设备；并且，所述婴儿的实时状态信息包括婴儿面部图像、身体动作信息、哭声、婴儿所处环境的环境声音、翻身和肢体摆动等信息；

38、按照预设的固定时间窗口对采集到的婴儿的实时状态信息进行缓存，形成状态数据包；其中，所述状态数据包内包含图像帧序列、音频频谱以及动作时间序列等内容；同时，所述固定时间窗口优选为2s；

39、将所述状态数据包输入至情绪识别模型，通过所述情绪识别模型提取取视觉特征、音频特征和动作特征；其中，所述视觉特征包括婴儿的面部状态与动作特征，音频特征通过对哭声信号进行短时傅里叶变换获得哭声频谱并提取基频、强度、节奏变化及高频能量分布，动作特征包括四肢摆动频率、翻身动作及身体扭动幅度；

40、所述情绪识别模型通过多模态融合机制对视觉特征、音频特征和动作特征进行融合处理，输出婴儿的情绪类别，其中，所述情绪类别包括饥饿、困倦、惊吓、焦虑、普通哭闹和情绪稳定。

41、进一步地，所述安抚策略自动生成模块，用于根据所述婴儿当前的情绪类别自动生成对应的安抚策略，并根据父母数字人数据库生成与当前安抚策略对应的父母数字人视频，并对所述安抚策略予以实施，包括：

42、根据所述婴儿当前的情绪类别自动生成对应的安抚策略；其中，所述安抚策略包括语音内容、语音语速、音量大小、数字人表情、灯光颜色及机器人动作幅度；

43、调取数字人驱动模型，利用所述数字人驱动模型调取父母数字人数据库中的人物特征参数数据，并利用所述人物特征参数数据结合当前的安抚策略，生成与所述安抚测量对应的父母的图像、目标语音、表情参数和嘴型驱动参数；

44、利用所述父母的图像、目标语音、表情参数和嘴型驱动参数实时生成具备嘴型同步、面部动作、眼部动作及头部动作的父母数字人视频；

45、在所述安抚策略实施过程中，通过机器人显示屏播放所述父母数字人视频，同时，通过机器人扬声器同步输出安抚语音，通过机器人灯光模块输出对应的氛围灯光，以及通过机器人运动模块执行轻微摇摆或移动动作。

46、进一步地，所述策略自动调整模块，用于在安抚策略实施过程中监测婴儿的状态变化，根据婴儿的状态变化情况生成安抚效果评分，并依据安抚效果评分判断是否进行安抚策略的自动调整，包括：

47、在所述安抚策略实施过程中，实时监测婴儿的状态变化情况，其中，所述婴儿的状态变化情况包括哭声变化程度、动作稳定程度及情绪状态变化；

48、根据所述哭声变化程度、动作稳定程度及情绪状态变化生成安抚效果评分；

49、将所述生成安抚效果评分与预设的分数阈值进行比较，当所述生成安抚效果评分低于预设的分数阈值时，则自动调整安抚策略；其中，安抚策略的调整事项包括修改语音内容、调整数字人表情、改变灯光参数和重新配置动作节奏。

50、本发明有益效果：

51、本发明提出的用于监视场景的人机交互控制方法和系统解决传统安抚设备缺乏真实情感交互的问题，本发明通过语音克隆与数字人视频生成技术，实现父母声音、表情及形象的拟真化重建，使婴儿获得更加接近真实父母陪伴的交互体验。同时，通过摄像头、麦克风及传感器实时采集婴儿状态，并基于多模态情绪识别模型分析婴儿当前情绪，从而动态调整安抚内容与交互方式。并且，综合利用声音、动作、表情等多种信息进行联合分析，相比单一声音检测方式，能够更加准确地识别婴儿情绪状态。另外，能够根据婴儿不同情绪状态动态生成不同的语音、视频、灯光及动作反馈，提高安抚效果与交互智能化水平。同时，本发明支持本地化语音处理与部分ai推理过程，减少敏感语音数据上传云端的频率，从而降低隐私泄露风险。并通过构建从感知、分析、安抚到反馈的闭环交互机制，实现机器人自主安抚，降低家长持续人工干预频率，提高育儿便利性。