具身智能启发式教学交互方法、系统及设备
本技术涉及人工智能与教育技术的,尤其涉及一种具身智能启发式教学交互方法、系统及设备。
背景技术:
1、随着具身智能技术的快速发展,智能教育装备正在从传统的屏幕式单向知识传递向物理空间内的沉浸式、交互式辅导演进。这种演进要求教学机器人不仅具备多模态环境感知能力,还需深刻理解学生的认知状态,并在物理桌面上通过虚实融合手段提供精准的启发式引导。
2、然而,现有的教育机器人或智能辅导系统在处理具身交互时,主要依赖预设脚本或静态坐标系进行简单的语音播报与固定的画面投影。在环境感知层面,现有系统通常仅进行基础的物体识别,缺乏对桌面物理环境深层属性(如特定区域是否可投影)的动态建模;在执行层面,由于机械臂运动过程中不可避免地存在物理畸变,现有系统缺乏实时动态校正机制,导致虚拟投影或光斑指引难以与真实桌面实体精准对齐。在教学策略层面,现有技术通常基于简单的对错判断直接给出答案或进行单一层级的提示,无法准确诊断学生当前的具体认知卡点类型;同时,其干预策略无法根据学生的实时响应动态调整提示层级与辅导路径。
3、这种静态的执行逻辑与机械的干预策略导致现有设备难以在真实物理环境中实现精准的虚实融合引导,更无法形成具备认知诊断与自适应分层启发能力的闭环教学控制,从而严重限制了具身智能在启发式教学场景中的实际应用效果。
4、上述内容仅用于辅助理解本技术的技术方案,并不代表承认上述内容是现有技术。
技术实现思路
1、本技术的主要目的在于提供一种具身智能启发式教学交互方法、系统及设备,旨在解决现有技术无法实现虚实精准对齐,缺乏基于认知诊断的自适应分层启发闭环控制的技术问题。
2、为实现上述目的,本技术提出一种具身智能启发式教学交互方法,所述的方法包括:
3、接收边缘终端的多模态感知数据,构建包含物理环境及可解释属性的动态场景图,并结合学生交互数据生成学生状态表征;
4、通过检索增强机制查询共享记忆中枢,结合所述学生状态表征识别学生当前所处的认知卡点类型;
5、根据所述认知卡点类型及最小干预原则,将教育目标拆解为子任务工作流,并从预设的分层提示策略集合中选择目标提示层级;所述分层提示策略集合至少包括注意力提示、关系提示、策略提示及示范提示;
6、在进行具身执行时,实时进行动态几何校正以补偿运动畸变,使虚拟投影与实体环境精准对齐,和/或控制机械臂光斑锁定目标位置;
7、监测学生响应结果并基于反馈回路动态重新规划辅导路径,对所述目标提示层级进行维持、降低或升级调整,形成闭环控制。
8、在一实施例中,所述构建包含物理环境及可解释属性的动态场景图的步骤包括:
9、接收所述多模态感知数据采集的实时视频流与rgb-d深度信息;
10、利用图像分割模型sam分割算法提取桌面环境中的物理轮廓及局部区域,并结合视觉语言模型对所述物理轮廓及局部区域进行特征提取与语义对齐;
11、基于所述物理轮廓及局部区域构建“物体-局部-属性”的层级结构节点,输出可解释属性的动态场景图。
12、在一实施例中,所述结合学生交互数据生成学生状态表征的步骤包括:
13、以所述动态场景图作为空间坐标基准,通过所述实时视频流中的学生手部区域与人脸图像,在场景坐标系下追踪笔迹轨迹;
14、将所述笔记轨迹结合版面分析技术定位当前阅读或书写的具体行段;
15、同步提取面部微表情特征转化为情感状态向量,输出融合空间位置与情感状态的学生状态表征。
16、在一实施例中,所述通过检索增强机制查询共享记忆中枢,结合所述状态表征识别学生当前所处的认知卡点类型的步骤包括:
17、基于所述学生状态表征生成查询向量,在共享记忆中枢中检索匹配的空间记忆环境特征与时间记忆特征;
18、将所述空间记忆环境特征与时间记忆特征,以及所述学生状态表征拼接为增强提示词上下文,输入预训练的卡点诊断模型,输出学生当前所处的认知卡点类型及置信度。
19、在一实施例中,所述将检索获取的空间记忆环境特征与所述学生状态表征拼接为增强提示词上下文,输入预训练的卡点诊断模型,输出学生当前所处的认知卡点类型及置信度的步骤包括:
20、基于预设的提示词模板将检索获取的空间记忆环境特征与时间记忆特征,以及所述学生状态表征分别映射为包含环境状态、历史反馈与当前行为特征的标准化文本片段;
21、将所述标准化文本片段根据上下文依赖逻辑拼接生成增强提示词上下文,输入至预训练的卡点诊断模型;
22、通过所述卡点诊断模型的注意力机制提取学生当前行为特征的关联映射,经分类输出层计算,输出学生当前所处的具体认知卡点类型标签及对应的概率置信度。
23、在一实施例中,所述根据所述认知卡点类型及最小干预原则,将教育目标拆解为子任务工作流,并从预设的分层提示策略集合中选择目标提示层级的步骤包括:
24、基于所述认知卡点类型及置信度,结合任务进度偏离度与情绪异常强度通过预设权重进行加权融合计算,输出干预需求值;
25、将所述干预需求值与预设的多个阈值区间进行比对,基于最小干预原则从预设的分层提示策略集合中匹配对应强度的目标提示层级;
26、将宏观教育目标拆解为包含语音引导、光斑指向及内容投影节点的子任务有向无环图;
27、将所述目标提示层级绑定至对应的子任务节点,并基于所述子任务有向无环图的拓扑依赖关系对所述子任务节点进行顺序或并行分配,输出携带层级标签的子任务工作流。
28、在一实施例中,所述实时进行动态几何校正以补偿运动畸变,使虚拟投影与实体环境精准对齐,和/或控制机械臂光斑锁定目标位置的步骤包括:
29、调用标准化技能库解析所述子任务工作流的内容投影与光斑指向节点;
30、基于所述内容投影与光斑指向节点预测机械臂末端的运动轨迹与目标位姿,实时计算因机械臂运动产生的投影倾斜畸变矩阵;
31、根据所述投影倾斜畸变矩阵对投影画面进行动态几何校正以补偿运动畸变,使虚拟辅助线与实体目标图形重合,和/或根据预测的轨迹控制机械臂末端光斑锁定纸面目标位置。
32、在一实施例中,所述监测学生响应结果并基于反馈回路动态重新规划辅导路径,对所述目标提示层级进行维持、降低或升级调整,形成闭环控制的步骤包括:
33、监测学生接受具身执行提示后的任务推进状态与情感微表情响应,评估当前目标提示层级的有效性;
34、若检测到任务推进或情绪改善,则降低相似任务的目标提示层级;
35、若检测到任务停滞或重复同类错误,则升级目标提示层级并动态重规划辅导路径;
36、将调整后的层级标签与重规划的路径更新至共享记忆中枢,输出下一轮启发式交互指令以形成闭环控制。
37、此外,为实现上述目的,本技术还提出一种具身智能启发式教学交互系统,所述具身智能启发式教学交互系统包括:
38、场景理解模块,用于接收边缘终端的多模态感知数据,构建包含物理环境及可解释属性的动态场景图,并结合学生交互数据生成学生状态表征;
39、检索诊断模块,用于通过检索增强机制查询共享记忆中枢,结合所述学生状态表征识别学生当前所处的认知卡点类型;
40、规划决策模块,用于根据所述认知卡点类型及最小干预原则,将教育目标拆解为子任务工作流,并从预设的分层提示策略集合中选择目标提示层级;所述分层提示策略集合至少包括注意力提示、关系提示、策略提示及示范提示;
41、具身执行模块,用于在进行具身执行时,实时进行动态几何校正以补偿运动畸变,使虚拟投影与实体环境精准对齐,和/或控制机械臂光斑锁定目标位置;
42、闭环反馈模块,用于监测学生响应结果并基于反馈回路动态重新规划辅导路径,对所述目标提示层级进行维持、降低或升级调整,形成闭环控制。
43、此外,为实现上述目的,本技术还提出一种具身智能启发式教学交互设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的具身智能启发式教学交互方法的步骤。
44、本技术提出一种具身智能启发式教学交互方法、系统及设备,方法包括:接收边缘终端的多模态感知数据,构建包含物理环境及可解释属性的动态场景图,并结合学生交互数据生成学生状态表征;通过检索增强机制查询共享记忆中枢,结合学生状态表征识别学生当前所处的认知卡点类型;根据认知卡点类型及最小干预原则,将教育目标拆解为子任务工作流,并从预设的分层提示策略集合中选择目标提示层级;分层提示策略集合至少包括注意力提示、关系提示、策略提示及示范提示;在进行具身执行时,实时进行动态几何校正以补偿运动畸变,使虚拟投影与实体环境精准对齐,和/或控制机械臂光斑锁定目标位置;监测学生响应结果并基于反馈回路动态重新规划辅导路径,对目标提示层级进行维持、降低或升级调整,形成闭环控制。本技术采用了构建包含可解释属性的动态场景图结合检索增强机制精准诊断认知卡点,基于最小干预原则匹配分层提示策略,并在具身执行时引入实时动态几何校正以补偿运动畸变,辅以基于学生响应动态调整提示层级的闭环控制机制;解决了现有技术中虚拟投影与实体环境难以精准对齐,以及教学干预策略机械单一、缺乏认知诊断与自适应调整的问题;与现有技术相比,实现了在物理环境中虚拟辅助指引与实体目标的精准融合对齐,以及从认知卡点精准诊断到分层启发再到动态闭环调整的自适应启发式教学控制,大幅提升了具身智能辅导的交互精准度与教学有效性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com