基于增强现实与三维重建的沉浸式在线实操教学平台的制作方法

本发明涉及虚拟现实，特别是基于增强现实与三维重建的沉浸式在线实操教学平台。

背景技术：

1、随着职业教育与工程实训数字化转型的深入，在线实操教学已成为弥补传统线下实训资源不足、突破时空限制的重要手段。然而，现有的在线实操教学系统大多仍停留在二维视频演示或预设三维动画播放的阶段，缺乏对真实操作场景的高保真还原能力以及对学习者个体认知状态的实时感知与自适应响应机制。

2、一方面，传统三维重建方法生成的场景模型仅包含几何与外观信息，缺失部件功能属性、装配逻辑等结构化教学语义，导致教学内容与三维场景割裂，无法支撑基于语义理解的精细化教学干预；另一方面，现有系统普遍采用统一的内容推送策略，未能根据学习者在实操过程中的实时认知负荷、技能内化速率及操作规范性进行动态调整，容易造成信息过载或认知阻塞，严重影响技能习得效率与沉浸式学习体验。此外，当前实操评价多依赖事后人工评分或简单的动作匹配算法，缺乏将操作过程转化为兼具时序逻辑、空间约束与物理反馈的结构化知识表示的能力，难以实现细粒度、可解释的个性化反馈修正。

3、因此，如何构建一种融合语义几何联合建模、认知状态实时感知、技能吸收通量量化评估及结构化评价闭环反馈的沉浸式在线实操教学平台，成为当前智能教育技术领域亟待解决的关键问题。

技术实现思路

1、鉴于上述现有存在的问题，提出了本发明。

2、为解决上述技术问题，本发明提供如下技术方案：

3、本发明提供了基于增强现实与三维重建的沉浸式在线实操教学平台，其包括：

4、语义几何联合建模模块、认知状态感知网格蒸馏模块、技能吸收通量构建模块、自适应内容调控模块、操作语义图构建模块和结构化评价反馈修正模块；

5、所述语义几何联合建模模块，用于利用多视角图像采集设备获取目标实操场景的多视角视频流并对多视角视频流进行时空对齐处理得到对齐场景数据，将预置教学知识图谱编码得到的语义嵌入向量作为条件输入，结合对齐场景数据训练神经隐式重建网络，生成包含部件语义标签信息的语义几何联合隐式场模型；

6、所述认知状态感知网格蒸馏模块，用于从语义几何联合隐式场模型中蒸馏生成离散化的语义几何混合网格，并在学生执行实操任务过程中同步采集眼动信号、手部操作行为信号及任务上下文信号，对眼动信号、手部操作行为信号及任务上下文信号进行时序注意力融合处理得到连续多维认知状态向量；

7、所述技能吸收通量构建模块，用于基于语义几何混合网格提取当前操作区域内的语义部件激活密度序列，基于预设时序滑动窗口计算连续多维认知状态向量与语义部件激活密度序列的互相关特征，并依据互相关特征通过加权积分运算构建表征信息内化速率的技能吸收通量曲线；

8、所述自适应内容调控模块，用于计算技能吸收通量曲线的变化梯度生成包含历史语义节点回溯重释参数的增强现实内容调控指令，依据增强现实内容调控指令从语义几何混合网格中检索关联的历史未消化语义节点，并将针对历史未消化语义节点的降维解释内容与实时教学内容融合渲染得到适配技能内化速率的增强现实教学视图；

9、所述操作语义图构建模块，用于对学生执行实操任务过程中的连续手部运动序列进行边界检测与切分得到原子操作单元序列，以原子操作单元序列为节点并以原子操作单元之间的时序先后关系及力觉关联关系为边构建学生操作语义图；

10、所述结构化评价反馈修正模块，用于将学生操作语义图与预置专家标准语义图进行图匹配计算得到结构化评价数据，并将结构化评价数据反馈至技能吸收通量曲线的构建过程以修正互相关特征的加权积分运算权重，使后续生成的增强现实内容调控指令适配个体技能习得特性。

11、作为本发明所述基于增强现实与三维重建的沉浸式在线实操教学平台的优选方案，其中：所述语义几何联合隐式场模型的训练生成过程，具体步骤为：

12、将预置教学知识图谱中部件实体、功能属性及装配关系编码得到的语义嵌入向量通过多层感知机映射为条件特征张量，并将条件特征张量拼接至神经隐式重建网络中间层的空间特征上；

13、从对齐场景数据中随机采样空间坐标点及对应观测方向，输入神经隐式重建网络预测得到颜色值、密度值及语义类别概率向量；

14、依据对齐场景数据中的真实rgb像素值与预测颜色值计算光度损失，依据对齐场景数据中的真实深度值与预测密度值沿射线积分得到的期望深度计算几何损失；

15、依据对齐场景数据中标注的部件语义掩码与预测语义类别概率向量计算交叉熵语义损失；

16、将光度损失、几何损失及交叉熵语义损失加权求和得到总损失函数，并通过反向传播算法更新神经隐式重建网络参数直至总损失函数收敛，输出语义几何联合隐式场模型。

17、作为本发明所述基于增强现实与三维重建的沉浸式在线实操教学平台的优选方案，其中：所述语义几何混合网格的蒸馏生成过程，具体步骤为：

18、在语义几何联合隐式场模型定义的有界三维空间内按预设体素分辨率生成均匀采样点阵列；

19、遍历均匀采样点阵列中每个采样点，查询语义几何联合隐式场模型输出的密度值与语义类别概率向量，筛选密度值高于密度阈值且语义类别概率向量中最大分量高于置信度阈值的采样点作为有效顶点集合；

20、对有效顶点集合执行移动立方体算法，依据相邻有效顶点的密度值插值确定等值面位置并生成三角面片集合；

21、将有效顶点对应的语义类别概率向量通过重心坐标插值传递至三角面片集合中每个三角面片的三个顶点，得到携带逐顶点语义标签的语义几何混合网格。

22、作为本发明所述基于增强现实与三维重建的沉浸式在线实操教学平台的优选方案，其中：所述语义部件激活密度序列的提取过程，具体步骤为：

23、依据学生当前手部操作行为信号中的手掌中心坐标及手势朝向构建增强现实设备视锥体包围盒；

24、计算视锥体包围盒与语义几何混合网格的空间交集区域，提取位于空间交集区域内的所有三角面片作为候选面片子集；

25、统计候选面片子集中不同语义标签的种类数目，并计算候选面片子集的总表面积与视锥体包围盒底面积的比值作为面片密度因子；

26、将种类数目与面片密度因子相乘得到原始激活强度值，以固定时间步长对连续采集的原始激活强度值进行时序采样得到原始激活序列；

27、对原始激活序列执行最小最大值归一化映射至0到1区间，再通过高斯平滑滤波器消除高频噪声，输出语义部件激活密度序列。

28、作为本发明所述基于增强现实与三维重建的沉浸式在线实操教学平台的优选方案，其中：所述互相关特征的计算及技能吸收通量曲线的构建过程，具体步骤为：

29、设定预设时序滑动窗口的长度参数，在预设时序滑动窗口内分别对连续多维认知状态向量与语义部件激活密度序列执行去均值处理得到零均值认知向量与零均值密度序列；

30、计算零均值认知向量与零均值密度序列在不同时间滞后量下的互相关系数；

31、搜索互相关系数取得最大值时对应的时间滞后量作为认知响应延迟；

32、以认知响应延迟为偏移量重新对齐连续多维认知状态向量与语义部件激活密度序列，将对齐后的两序列逐元素相乘得到瞬时耦合强度序列；

33、对瞬时耦合强度序列执行指数衰减加权积分运算构建技能吸收通量曲线。

34、作为本发明所述基于增强现实与三维重建的沉浸式在线实操教学平台的优选方案，其中：所述增强现实内容调控指令的生成及历史未消化语义节点的检索过程，具体步骤为：

35、计算技能吸收通量曲线在当前时刻的一阶导数作为变化梯度，当变化梯度为负值且绝对值超过预设阻塞阈值时判定存在认知阻塞并触发回溯重释机制；

36、以当前时刻为终点向前追溯预设回溯时长内的语义部件激活密度序列，定位序列中局部极大值点所对应的时间戳及语义标签，将定位到的语义标签标记为待回溯语义节点；

37、从语义几何混合网格中检索与待回溯语义节点具有直接装配关系或功能依赖关系的关联面片子集；

38、读取关联面片子集的语义层级深度，依据语义层级深度生成降维解释文本与简化三维标注图形；

39、将降维解释文本与简化三维标注图形的显示透明度设置为与变化梯度的绝对值成正比例关系，封装显示透明度、降维解释文本及简化三维标注图形为增强现实内容调控指令。

40、作为本发明所述基于增强现实与三维重建的沉浸式在线实操教学平台的优选方案，其中：所述原子操作单元序列的边界检测与切分过程，具体步骤为：

41、将连续手部运动序列输入预训练的动作分割网络，动作分割网络输出每帧属于操作边界的概率值序列；

42、对概率值序列执行非极大值抑制处理，保留局部极大值点作为候选分割点集合；

43、读取任务上下文信号中的工具切换事件时间戳及力觉反馈信号的突变时间点，将候选分割点集合中与工具切换事件时间戳或力觉反馈信号突变时间点的距离小于容差阈值的候选分割点保留，剔除其余候选分割点得到校验后分割点集合；

44、以校验后分割点集合中的时间点为界将连续手部运动序列切分为多个子序列，每个子序列作为一个原子操作单元序列。

45、作为本发明所述基于增强现实与三维重建的沉浸式在线实操教学平台的优选方案，其中：所述学生操作语义图的构建过程，具体步骤为：

46、对每个原子操作单元序列提取动作类型标签、持续时间值及空间轨迹点云，将动作类型标签、持续时间值及空间轨迹点云拼接编码为节点向量；

47、计算相邻原子操作单元序列对应节点向量之间的时间间隔作为时序边的权重值；

48、计算相邻原子操作单元序列的空间轨迹点云之间的豪斯多夫距离，将豪斯多夫距离的倒数作为空间邻近边的权重值；

49、提取相邻原子操作单元序列对应的力觉反馈信号片段，计算两个力觉反馈信号片段的皮尔逊相关系数作为力觉关联边的权重值；

50、汇总所有节点向量、时序边、空间邻近边及力觉关联边构建学生操作语义图。

51、作为本发明所述基于增强现实与三维重建的沉浸式在线实操教学平台的优选方案，其中：所述图匹配计算得到结构化评价数据的过程，具体步骤为：

52、采用图编辑距离算法计算学生操作语义图与预置专家标准语义图之间的最小编辑代价路径；

53、解析最小编辑代价路径中的操作类型，将节点替换操作的累计代价映射为手法规范性指标，将边插入操作的累计代价映射为步骤完整性指标，将边删除操作的累计代价映射为逻辑正确性指标；

54、对手法规范性指标、步骤完整性指标及逻辑正确性指标分别执行归一化处理，组合归一化后的三项指标为结构化评价数据。

55、作为本发明所述基于增强现实与三维重建的沉浸式在线实操教学平台的优选方案，其中：所述结构化评价数据反馈修正互相关特征加权积分运算权重的过程，具体步骤为：

56、当结构化评价数据中逻辑正确性指标低于预设合格阈值时，识别学生操作语义图中被删除边所连接的两个节点对应的操作转换环节，在技能吸收通量曲线构建过程中将与操作转换环节对应语义部件的互相关特征积分权重增大为原始权重的第一倍数；

57、当结构化评价数据中手法规范性指标低于预设合格阈值时，识别学生操作语义图中被替换节点对应的具体操作动作，在技能吸收通量曲线构建过程中将具体操作动作对应时间段内的积分权重衰减系数减小为原始衰减系数的第二倍数，延长具体操作动作对应的认知处理评估窗口；

58、将修正后的积分权重与衰减系数代入技能吸收通量曲线的计算公式，使生成的增强现实内容调控指令适配个体技能习得特性。

59、本发明有益效果为：通过构建语义几何联合隐式场模型与离散化语义几何混合网格，实现了实操场景三维重建与教学知识图谱的深度融合，使增强现实教学视图具备可计算的语义理解能力，通过融合眼动、手部行为及任务上下文信号生成连续多维认知状态向量，并结合语义部件激活密度序列构建技能吸收通量曲线，将抽象的信息内化速率转化为可量化、可追踪的动态技术指标，依据技能吸收通量曲线的变化梯度自动触发历史未消化语义节点的回溯重释机制，动态调整增强现实内容的呈现方式与透明度，实现教学供给节奏与个体认知负荷的实时自适应匹配，通过将学生操作语义图与专家标准语义图进行结构化图匹配评价，并将评价结果反馈修正认知状态评估模型的积分权重与衰减参数，形成闭环自适应教学机制，有效解决了传统沉浸式教学中内容推送僵化、认知阻塞识别滞后及个性化适配不足的问题，提升了在线实操教学的精准性、流畅性与技能习得效率。