基于多模态感知的智能机器人玩具交互控制方法及系统与流程

本发明涉及人工智能与机器人交互，尤其涉及一种基于多模态感知的智能机器人玩具交互控制方法及系统。

背景技术：

1、目前，在智能机器人玩具研发领域，人机交互技术是实现产品核心价值的关键，其发展直接决定了机器人与儿童互动的自然度和连贯性。当前人机交互技术的优化与创新已成为行业技术升级的核心方向。

2、在一种现有技术中，智能机器人玩具的交互方案通过预设固定程序或单一语音信号响应实现交互，具体通过麦克风采集儿童语音指令，经内置程序匹配预设指令库，触发对应预设动作或语音回应，以此完成基础的人机交互过程。但针对多源信息融合与意图预测的核心技术需求，这类交互方式在实际应用中仅能处理单一语音信号，无法同步接收摄像头、触摸传感器等多维度感知数据，缺乏多源异构信息的协同解读能力，难以将儿童的表情、动作与语音信号关联形成整体判断，且无实时意图预测机制，导致交互响应滞后，无法实现多模态信息的有效融合与动态意图识别。

3、综上，现有技术无法实现多源异构感知信息的实时融合与协同解读，导致智能机器人玩具难以精准捕捉儿童的交互信息并做出及时回应。

技术实现思路

1、本发明提供了一种基于多模态感知的智能机器人玩具交互控制方法及系统，以实现多源异构感知信息的实时融合与协同解读。

2、第一方面，为了解决上述技术问题，本发明提供了一种基于多模态感知的智能机器人玩具交互控制方法，包括：

3、采集多源原始数据流，并对所述多源原始数据流进行预处理得到多源数据集合；

4、提取所述多源数据集合中的多模态特征，对所述多模态特征进行同步融合处理得到多模态特征向量；

5、将所述多模态特征向量输入预先训练的长短期记忆网络得到情感隐藏表示向量，利用注意力机制对所述情感隐藏表示向量进行动态权重分配，得到包含情感状态标签和行为概率分布的综合状态向量；

6、根据所述情感状态标签从预设情感映射库检索面部显示驱动参数，利用预先训练的卷积神经网络模型结合实时获取的环境光照与用户距离计算微调系数，并对所述面部显示驱动参数进行自适应微调得到基础表情参数集合；

7、结合机器人当前运动状态对所述综合状态向量进行动作规划处理得到关节运动轨迹，对所述关节运动轨迹进行动作平滑处理得到关节运动轨迹参数；

8、对所述基础表情参数集合与所述关节运动轨迹参数进行时间同步得到同步控制指令，对所述同步控制指令进行冗余消除操作得到优化控制指令，对所述优化控制指令进行位宽映射处理得到连贯控制序列；

9、执行所述连贯控制序列驱动面部显示屏与各关节舵机运行，采集传感器反馈数据并进行偏差修正处理得到最终交互效果。

10、第二方面，本发明提供了一种基于多模态感知的智能机器人玩具交互控制系统，包括：

11、数据预处理模块，用于采集多源原始数据流，并对所述多源原始数据流进行预处理得到多源数据集合；

12、特征同步融合模块，用于提取所述多源数据集合中的多模态特征，对所述多模态特征进行同步融合处理得到多模态特征向量；

13、综合状态建模模块，用于将所述多模态特征向量输入预先训练的长短期记忆网络得到情感隐藏表示向量，利用注意力机制对所述情感隐藏表示向量进行动态权重分配，得到包含情感状态标签和行为概率分布的综合状态向量；

14、表情参数自适应模块，用于根据所述情感状态标签从预设情感映射库检索面部显示驱动参数，利用预先训练的卷积神经网络模型结合实时获取的环境光照与用户距离计算微调系数，并对所述面部显示驱动参数进行自适应微调得到基础表情参数集合；

15、运动规划平滑模块，用于结合机器人当前运动状态对所述综合状态向量进行动作规划处理得到关节运动轨迹，对所述关节运动轨迹进行动作平滑处理得到关节运动轨迹参数；

16、指令优化整合模块，用于对所述基础表情参数集合与所述关节运动轨迹参数进行时间同步得到同步控制指令，对所述同步控制指令进行冗余消除操作得到优化控制指令，对所述优化控制指令进行位宽映射处理得到连贯控制序列；

17、驱动反馈修正模块，用于执行所述连贯控制序列驱动面部显示屏与各关节舵机运行，采集传感器反馈数据并进行偏差修正处理得到最终交互效果。

18、相比于现有技术，本发明具有如下有益效果：

19、（1）本发明通过同步采集图像、音频、压力及加速度多源原始数据流，经针对性预处理后完成时间戳整合与特征融合，得到多模态特征向量，捕捉到比现有单一语音信号更全面的儿童交互特征，例如面部表情与语音语调的协同状态。这克服了现有技术信息采集片面的缺陷，显著提升了交互信息的表征完整性，为后续情感识别与意图判断提供精准数据基础，从而提高了交互控制的初始精准度。

20、（2）本发明将多模态特征向量输入长短期记忆网络进行时序分析，结合注意力机制动态分配权重，生成包含情感状态标签和行为概率分布的综合状态向量。这种处理方式弥补了现有技术无法捕捉儿童动态情感与隐性意图的不足，显著增强了交互状态判断的精准度，让机器人能够精准契合儿童需求，避免交互行为刻板脱节。

21、（3）本发明根据情感状态标签检索面部显示驱动参数，结合实时环境光照与用户距离计算微调系数，同时优化关节运动轨迹，实现表情与动作的自适应适配。这解决了现有技术交互响应与场景不适配、动作生硬的问题，显著提升了表情显示的自然度与关节运动的流畅性，增强了人机交互的生动性。

22、（4）本发明对表情与关节运动参数进行同步优化生成连贯控制序列，结合传感器反馈数据通过pid算法实时修正偏差，形成闭环控制体系。这有效消除了现有技术交互指令冗余、执行偏差大的局限，显著提升了交互控制的连贯性与可靠性，从根本上解决了交互响应滞后的核心痛点。

1.一种基于多模态感知的智能机器人玩具交互控制方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态感知的智能机器人玩具交互控制方法，其特征在于，所述采集多源原始数据流，并对所述多源原始数据流进行预处理得到多源数据集合，包括：

3.根据权利要求2所述的基于多模态感知的智能机器人玩具交互控制方法，其特征在于，所述提取所述多源数据集合中的多模态特征，对所述多模态特征进行同步融合处理得到多模态特征向量，包括：

4.根据权利要求1所述的基于多模态感知的智能机器人玩具交互控制方法，其特征在于，所述将所述多模态特征向量输入预先训练的长短期记忆网络得到情感隐藏表示向量，利用注意力机制对所述情感隐藏表示向量进行动态权重分配，得到包含情感状态标签和行为概率分布的综合状态向量，包括：

5.根据权利要求1所述的基于多模态感知的智能机器人玩具交互控制方法，其特征在于，所述根据所述情感状态标签从预设情感映射库检索面部显示驱动参数，利用预先训练的卷积神经网络模型结合实时获取的环境光照与用户距离计算微调系数，并对所述面部显示驱动参数进行自适应微调得到基础表情参数集合，包括：

6.根据权利要求1所述的基于多模态感知的智能机器人玩具交互控制方法，其特征在于，所述结合机器人当前运动状态对所述综合状态向量进行动作规划处理得到关节运动轨迹，对所述关节运动轨迹进行动作平滑处理得到关节运动轨迹参数，包括：

7.根据权利要求1所述的基于多模态感知的智能机器人玩具交互控制方法，其特征在于，所述对所述基础表情参数集合与所述关节运动轨迹参数进行时间同步得到同步控制指令，对所述同步控制指令进行冗余消除操作得到优化控制指令，对所述优化控制指令进行位宽映射处理得到连贯控制序列，包括：

8.根据权利要求1所述的基于多模态感知的智能机器人玩具交互控制方法，其特征在于，所述执行所述连贯控制序列驱动面部显示屏与各关节舵机运行，采集传感器反馈数据并进行偏差修正处理得到最终交互效果，包括：

9.一种基于多模态感知的智能机器人玩具交互控制系统，其特征在于，包括：