基于操作逻辑图谱的实训教学任务动态重构方法及系统与流程

本发明涉及智慧教育与数字孪生，尤其涉及基于操作逻辑图谱的实训教学任务动态重构方法及系统。

背景技术：

1、实训教学是技能型人才培养的核心环节。传统的实训教学通常依赖教师现场示范和学员按固定流程操作，教学过程缺乏灵活性和个性化。

2、近年来，出现了基于操作逻辑图谱的实训辅助教学方案。例如，中国专利cn122044359a公开了一种基于逻辑约束图谱的火电厂汽轮机安装vr辅助教学系统，其将汽轮机安装工艺抽象为有向无环图（dag），利用序列规划引擎动态生成任务列表。然而，该方案存在以下局限性：

3、dag的有向边仅能连接两个节点，无法直接表达“a、b、c三个条件同时满足才能执行d”这类多元操作汇聚约束，遇到复杂并行或汇聚逻辑时需引入大量虚拟节点，导致图谱规模膨胀，维护和查询效率下降；

4、该方案对用户操作的偏离仅做“前置条件校验与拦截”，无法区分低风险探索行为与高风险错误行为，对一切偏离统一报错或中断，不支持在安全边界内的探究式学习；

5、该方案仅有vr端指引，缺乏多媒体教学端与实训操作端的深度联动，学员在理论学习与实操训练之间切换时存在认知断层。

6、因此，亟需一种能够在虚实融合环境中实时感知学员操作意图、基于操作安全等级进行智能分级决策、并动态重构实训任务路径的方法和系统。

技术实现思路

1、本发明的目的是为了解决现有技术中存在的问题，而提出的基于操作逻辑图谱的实训教学任务动态重构方法及系统。

2、为了实现上述目的，本发明采用了如下技术方案：

3、基于操作逻辑图谱的实训教学任务动态重构方法及系统，包括以下步骤：

4、s1、构建实训任务的时空操作超图，所述时空操作超图的节点表示操作基元，每一操作基元配置有操作属性、认知属性和错误代价等级，超边表示操作基元之间的顺序关系、分支关系和依赖关系；

5、s2、通过动作捕捉手套或深度相机采集学习者的手部运动轨迹，通过眼动追踪仪采集眼动注视点，通过部署于实训设备上的预操作传感器采集设备预操作信号，将采集到的多模态数据输入时序融合网络，映射至基于所述时空操作超图构建的操作流形空间，得到所述学习者的操作意图向量；

6、s3、计算所述操作意图向量所指向的意图操作序列与当前预设指引序列在所述操作流形空间中的认知距离；

7、s4、在所述认知距离超出预设阈值的情况下，判定发生意图-指引冲突，并从所述时空操作超图中查询所述意图操作序列中各操作基元对应的所述错误代价等级；

8、s5、在查询到的各错误代价等级均低于预设安全阈值的情况下，放弃当前预设指引序列，以所述意图操作序列为起点，从所述时空操作超图中提取可达原任务目标的最短认知距离路径，拼接生成重构任务序列，并通过多媒体显示设备和增强现实显示设备分别渲染与所述重构任务序列对应的第一操作指引和第二操作指引；否则，控制所述增强现实显示设备，在所述意图操作序列对应的真实设备操作部件上，渲染并叠加随学习者手部接近而颜色渐变或阻力感递增的视觉化力场提示，作为第三操作指引；

9、s6、将所述第一操作指引、第二操作指引或第三操作指引作用下的交互响应数据，反馈至学习者认知模型。

10、作为优选方案，所述操作流形空间通过图神经网络将所述时空操作超图中的节点与超边关系嵌入至低维连续向量空间而预先构建。

11、作为优选方案，所述错误代价等级在系统运行过程中，通过一个融合设备损坏程度、人身伤害程度和教学恢复成本的多维评估模型进行动态更新。

12、作为优选方案，所述认知距离为当前操作序列嵌入轨迹与目标任务序列嵌入轨迹之间，通过融入操作基元间认知负荷权重的测地距离算法计算得到，其中所述认知负荷权重预存于所述时空操作超图的超边中。

13、作为优选方案，所述时序融合网络包含注意力机制模块，所述注意力机制模块用于对所述手部运动轨迹、眼动注视点及设备预操作信号在时间维度上进行异步对齐，并对各模态特征进行动态加权融合，输出所述操作意图向量及对应的置信度。

14、作为优选方案，所述视觉化力场提示与力反馈手套协同工作，所述力反馈手套与所述增强现实显示设备联动，以提供随学习者手部接近而递增的阻力感。

15、作为优选方案，所述第一操作指引和第二操作指引根据学习者当前技能水平，采用渐进式显示策略或关键信息部分隐藏策略生成，其中所述学习者当前技能水平从所述学习者认知模型中获取。

16、作为优选方案，还包括：

17、通过所述动作捕捉手套或深度相机采集学习者的操作动作数据，通过所述眼动追踪仪采集眼动数据，并通过所述多媒体显示设备推送认知测验并采集作答数据；

18、执行三角验证，所述三角验证包括动作规范度验证、注视正确度验证和认知正确度验证；

19、仅在所述动作规范度、注视正确度和认知正确度均满足各自对应的预设条件的情况下，在所述学习者认知模型中将对应的操作节点标记为深层掌握；

20、将更新后的学习者认知模型作为下一次认知距离计算的输入依据；

21、其中，所述动作规范度、注视正确度和认知正确度各自的验证权重，根据当前操作基元的类型进行自适应调整。

22、作为优选方案，所述构建实训任务的时空操作超图，包括：

23、定义一组与专业领域无关的通用操作基元模板，所述通用操作基元模板至少包含操作语义标签、时空属性槽和认知属性槽；

24、获取目标专业实训的操作规程，将所述操作规程分解为多层级操作步骤树；

25、将各层级操作步骤实例化为所述通用操作基元，并填充领域特定的操作属性、认知属性和所述错误代价等级；

26、识别各操作基元之间的顺序关系、分支关系和依赖关系并构建超边，形成所述时空操作超图。

27、基于操作逻辑图谱的实训教学任务动态重构系统，包括图谱构建模块、多模态采集硬件组、状态场与意图预测模块、冲突消解与重构引擎、自适应双端指引模块和跨模态验证模块：

28、所述图谱构建模块用于构建时空操作超图，所述时空操作超图的节点表示操作基元，每一操作基元配置有错误代价等级；

29、所述多模态采集硬件组包括动作捕捉手套或深度相机、眼动追踪仪，以及部署于实训设备上的预操作传感器；

30、所述状态场与意图预测模块与所述多模态采集硬件组连接，用于接收所述多模态采集硬件组采集的手部运动轨迹、眼动注视点和设备预操作信号，通过内置的时序融合网络映射操作流形空间并输出操作意图向量；

31、所述冲突消解与重构引擎输入端分别与所述图谱构建模块和所述状态场与意图预测模块连接，用于：

32、接收所述操作意图向量，计算所述操作意图向量所指向的意图操作序列与预设指引序列在所述操作流形空间中的认知距离；

33、在所述认知距离超出预设阈值的情况下，向所述图谱构建模块查询所述意图操作序列中各操作基元的错误代价等级；

34、在查询到的各错误代价等级均低于预设安全阈值的情况下，生成重构任务序列并输出至自适应双端指引模块；否则，输出柔性劝阻指令；

35、所述自适应双端指引模块输入端与所述冲突消解与重构引擎连接，输出端分别与多媒体显示设备和增强现实显示设备连接，用于：

36、根据所述重构任务序列，控制所述多媒体显示设备和增强现实显示设备分别渲染第一操作指引和第二操作指引，所述第一操作指引和第二操作指引在操作步骤和空间位置上保持原子级一致；

37、根据所述柔性劝阻指令，控制所述增强现实显示设备，在所述意图操作序列对应的真实设备操作部件上，渲染并叠加随学习者手部接近而颜色渐变或阻力感递增的视觉化力场提示；

38、所述状态场与意图预测模块还通过反馈链路与所述自适应双端指引模块连接，用于接收学习者在各操作指引下的交互响应数据，更新学习者认知模型；

39、所述跨模态验证模块的输入端分别与所述自适应双端指引模块和所述多模态采集硬件组连接，输出端与所述状态场与意图预测模块连接；

40、所述跨模态验证模块用于采集动作数据、眼动数据和认知测验数据，执行三角一致性验证，并将深层掌握或机械模仿的判定结果发送至所述状态场与意图预测模块，以触发所述学习者认知模型中对应节点的置信度更新；

41、更新后的所述学习者认知模型，由所述冲突消解与重构引擎用于下一次认知距离计算。

42、相比现有技术，本发明的有益效果为：

43、1.本发明通过为时空操作超图中的每个操作基元配置错误代价等级，并建立“意图预测、认知距离计算、冲突判定、错误代价查询和分级响应”的完整决策链条，实现了对学员操作偏离的智能化分级处理：对低代价错误，动态重构任务路径以支持探究式学习；对高代价错误，通过视觉化力场进行柔性劝阻以保障安全，从而解决了现有技术中“一刀切”式拦截机制无法兼顾教学安全性与学习自主性的技术问题。

44、2.本发明通过图神经网络将时空操作超图嵌入至操作流形空间，并以融入认知负荷权重的测地距离作为认知距离的度量，使得学员操作意图与预设路径之间的偏差能够被连续量化，而非现有技术中的简单二元判断，从而支撑了更精确的动态路径重规划，重构后的新路径能够以最小认知代价从当前偏离点引导至原任务目标。

45、3.本发明通过多媒体端数字孪生界面与增强现实端真实设备之间的原子级一致同步指引，以及“做-看-懂”三角验证机制对学员动作规范度、注视正确度和认知理解度的综合评估与闭环反馈，实现了虚实融合环境下的深度教学联动，能够智能区分“深层掌握”与“机械模仿”，并根据评估结果动态调整后续任务路径的认知负荷权重，形成自适应的教学优化闭环。