一种基于移动机器人的投影互动教学系统及方法与流程

本发明涉及机器人，具体是涉及一种基于移动机器人的投影互动教学系统及方法。

背景技术：

1、随着人工智能与机器人技术的飞速发展，教育机器人已逐渐应用于儿童早教、互动教学及娱乐陪伴领域。现有的教育机器人或智能投影设备（如桌面型学习机、固定式投影机等）主要采用静态展示或简单的语音问答模式进行交互。这类现有技术通常将显示终端固定在桌面上，通过屏幕播放预设的动画或视频内容，或者仅具备基础的语音识别功能来回答儿童的提问。部分高端设备虽然引入了摄像头用于人脸识别，但多局限于简单的身份验证或表情反馈，缺乏深度的动作捕捉与实时互动能力。

2、此外，现有设备的投影范围受限于固定位置，无法根据儿童的活动范围动态调整投影区域，导致儿童在移动过程中难以获得沉浸式的视觉体验。同时，现有技术往往缺乏对儿童行为数据的深度挖掘，无法根据儿童的答题情况、反应速度及注意力状态实时生成个性化的学习路径，导致教学内容僵化，难以激发儿童的学习兴趣，容易造成学完即忘或产生厌倦的现象。

技术实现思路

1、本发明旨在提供一种基于移动机器人的投影互动教学系统及方法，以解决现有投影互动教学设备多为固定式或被动响应式，缺乏随动投影能力与多模态实时感知联动机制，导致教学场景缺乏沉浸感，且无法基于儿童实时的行为数据（如表情、手势）动态调整教学内容以形成个性化的主动式学习闭环的问题。

2、为达到以上目的，本发明采用的技术方案为：一种基于移动机器人的投影互动教学方法，包括：

3、s1：通过机器人移动单元进行自主导航，并根据预设策略主动去找用户或者移动到指定位置停下；

4、s2：当所述机器人移动单元到达目标位置后，控制光机投影模组中的tof模块采集投影面的深度信息，并基于所述tof模块采集的深度信息计算投影面相对于投影光轴的倾斜角度；

5、s3：根据计算的倾斜角度生成透视变换矩阵，并利用所述透视变换矩阵对投影图像进行矫正，输出校正后的图像至光机模组进行投影显示；

6、s4：通过多模态感知系统中的视觉相机采集儿童的面部图像及上肢图像，利用面部关键点定位和手部关键点提取算法识别儿童的表情状态及手势动作；

7、s5：将识别的表情状态和手势动作与当前投影任务进行联动，并根据联动结果通过互动控制系统调整后续的教学内容或机器人动作，同时记录用户的学习行为数据以生成个性化学习路径。

8、优选的，在s1中，主动去找用户是通过uwb模块实现，所述uwb模块包含安装在机器人上的uwb定位模块以及安装在室内天花板或墙壁区域的uwb定位模块，且用户佩戴有内置电池和充电ic的标签；

9、其中，标签为手环、卡、钥匙扣、背包或衣物中的一种。

10、优选的，在s2中，所述tof模块利用结构光进行投影内容的自动梯形校正，具体包括：选择四角或均匀分布采样点采集投影平面深度，计算每个角点的偏移量，并实时更新校正矩阵以支持模块或屏幕位置的微调。

11、优选的，在s4中，所述表情状态的判断是基于面部关键区域变化分析的，通过计算嘴角变化量和眼部纵横比ear来实现；

12、所述手势动作的识别是通过提取手腕、指尖、关节点，并计算手腕、指尖、关节点之间角度关系来识别点击、挥手、拖拽或选择动作。

13、优选的，在s4中，所述多模态感知系统还包括双目相机、dtof传感器、超声波雷达和悬崖传感器；

14、其中，所述双目相机用于导航、避障和深度感知，所述悬崖传感器安装于四肢脚底附近用于实时监测高度变化以防止跌落。

15、优选的，在s5中，所述互动控制系统的主控端包括soc芯片、加串器芯片和mcu；

16、其中，所述soc芯片用于多模态数据处理、ai推理与控制决策，所述mcu用于低延迟执行舵机运动、投影位置微调和姿态控制。

17、优选的，在s5中，所述记录用户的学习行为数据包括记录用户的答题正确率、薄弱点和答题反应速度，并生成实时的学习报告反馈到移动app。

18、优选的，所述方法还包括云端协同，具体包括：

19、将记录的数据同步至云端，用于ai模型训练、学习效果评估和学习内容优化，并通过数据加密、访问与权限控制或本地ai闭环方式保证用户隐私。

20、优选的，所述光机投影模组还包括散热系统，所述散热系统由铜管、散热鳍片和风扇组成，采用主动散热和被动散热两种方式结合。

21、另一方面，本发明提出一种基于移动机器人的投影互动教学系统，包括：

22、机器人移动单元，至少具备4自由度移动能力，能够自主导航、避障，并配置有用于主动寻找用户或跟随用户的uwb模块；

23、光机投影模组，包含光机模组和tof模块，所述tof模块用于采集投影面深度信息并进行自动梯形校正和自动对焦；

24、多模态感知系统，包括高清视觉相机、双目相机、dtof传感器、超声波雷达、悬崖传感器和音频模组，用于采集用户的面部特征、手势动作及环境深度信息；

25、互动控制系统，包含主控端及头显端，所述主控端包括soc芯片、加串器芯片和mcu，用于处理多模态数据、运行ai推理并控制投影画面输出与机器人动作；

26、电源管理系统，用于为移动机器人、投影模组及多模态传感器提供动力管理与分配；

27、教学闭环模块，用于存储用户的行为、学习、肖像及声音数据，并根据所述数据生成个性化学习路径，实时调整教学难度；

28、云端协同模块，用于将数据同步至云端进行ai模型训练和内容优化，并实施隐私保护措施。

29、与现有技术相比，本发明的有益效果在于：

30、本发明通过机器人移动单元自主导航并主动寻找用户或移动到指定位置，解决了传统设备空间受限、无法跟随儿童移动的问题；利用tof模块采集深度信息并自动计算倾斜角度，生成透视变换矩阵对投影图像进行矫正，实现了任意角度下的清晰投影，克服了固定投影易产生的梯形畸变问题；通过多模态感知系统实时采集面部及上肢图像，精准识别表情状态及手势动作，并将这些特征与投影任务进行联动，使得机器人能根据儿童的实时反馈（如困惑的表情或错误的手势）动态调整后续教学内容或机器人动作；最后，通过记录用户的学习行为数据生成个性化学习路径，实现了从单向灌输到主动适应的转变。

1.一种基于移动机器人的投影互动教学方法，其特征在于，包括：

2.根据权利要求1所述的一种基于移动机器人的投影互动教学方法，其特征在于，在s1中，主动去找用户是通过uwb模块实现，所述uwb模块包含安装在机器人上的uwb定位模块以及安装在室内天花板或墙壁区域的uwb定位模块，且用户佩戴有内置电池和充电ic的标签；

3.根据权利要求1所述的一种基于移动机器人的投影互动教学方法，其特征在于，在s2中，所述tof模块利用结构光进行投影内容的自动梯形校正，具体包括：选择四角或均匀分布采样点采集投影平面深度，计算每个角点的偏移量，并实时更新校正矩阵以支持模块或屏幕位置的微调。

4.根据权利要求1所述的一种基于移动机器人的投影互动教学方法，其特征在于，在s4中，所述表情状态的判断是基于面部关键区域变化分析的，通过计算嘴角变化量和眼部纵横比ear来实现；

5.根据权利要求1所述的一种基于移动机器人的投影互动教学方法，其特征在于，在s4中，所述多模态感知系统还包括双目相机、dtof传感器、超声波雷达和悬崖传感器；

6.根据权利要求1所述的一种基于移动机器人的投影互动教学方法，其特征在于，在s5中，所述互动控制系统的主控端包括soc芯片、加串器芯片和mcu；

7.根据权利要求1所述的一种基于移动机器人的投影互动教学方法，其特征在于，在s5中，所述记录用户的学习行为数据包括记录用户的答题正确率、薄弱点和答题反应速度，并生成实时的学习报告反馈到移动app。

8.根据权利要求1所述的一种基于移动机器人的投影互动教学方法，其特征在于，所述方法还包括云端协同，具体包括：

9.根据权利要求1所述的一种基于移动机器人的投影互动教学方法，其特征在于，所述光机投影模组还包括散热系统，所述散热系统由铜管、散热鳍片和风扇组成，采用主动散热和被动散热两种方式结合。

10.一种用于实现如权利要求1-9任意一项所述方法的基于移动机器人的投影互动教学系统，其特征在于，包括：