一种基于AR眼镜的物理实验远程演示与实时指导系统及方法

本发明涉及智能穿戴教学设备、增强现实（ar）交互、机器视觉识别、局域网低延迟音视频传输及远程实验教学技术，具体涉及一种基于ar眼镜的物理实验远程演示与实时指导系统及方法，适用于物理实验课堂，可实现教师第一视角实验演示、学生远程实时观摩、ar实景标注指导、危险行为预警、实验步骤引导、操作自动评分与闭环答疑。

背景技术：

1、当前物理实验课堂教学普遍存在以下痛点：

2、1）教师演示时，后排与外围学生无法清晰观察接线、仪表读数、光路调节等精细操作，演示效果差；

3、2）学生分组实操时，教师无法同时兼顾多组，指导不及时、不准确；

4、3）普通直播、视频通话仅能观看画面，无法空间标注，交互性差、指导效率低；

5、4）学生违规操作、超量程使用仪器等危险行为难以被实时发现；

6、5）实验步骤复杂易出错，缺少同步化ar引导与辅助读数工具；

7、6）实验完成度依赖人工评判，过程不可追溯、答疑不精准；

8、7）难以开展大规模、分布式、跨位置远程实验教学与精准辅导。

9、现有技术缺乏一套集ar第一视角采集、实景空间标注、局域网一对多广播、危险预警、步骤引导、自动评分、闭环求助答疑于一体的专用实验教学系统。

技术实现思路

1、3.1 发明目的

2、1）实现教师实验操作第一视角微距高清采集，学生通过ar眼镜同步无遮挡观摩；

3、2）实现学生实验过程画面实时回传，教师可远程箭头、圈注、文字ar空间标注，实现“隔空手把手”精准指导；

4、3）构建wifi6局域网低延迟一对多传输系统，不依赖外网稳定运行；

5、4）增加危险操作实时ar预警、虚拟仪表读数叠加、ar实验步骤引导、操作完成度自动评分、学生本地反向标注提问、异常操作自动截录上报六大核心功能，完善教学与安全闭环；

6、5）支持学生一键求助、抓拍/小段录制上传，教师点对点标注解答，形成完整实验教学生态。

7、3.2 系统总体架构

8、系统由三部分组成：

9、1）教师端ar采集眼镜；

10、2）学生端ar显示眼镜；

11、3）局域网实时传输与ar标注服务器。

12、整体工作原理：

13、教师佩戴ar眼镜以人眼视角微距采集实验操作视频，通过wifi6局域网实时推流至服务器；服务器以一对多广播方式分发给所有学生ar眼镜，学生在真实视野上叠加显示教师操作画面。

14、学生实操时，其ar眼镜回传本地实操画面；教师进行ar标注，标注信息同步下发至学生眼镜实现虚实融合指导。

15、系统具备视觉识别能力，可对危险操作、接线错误、超量程使用进行实时ar预警；可在真实仪器上叠加虚拟刻度、读数与步骤高亮提示；可自动分析操作规范性并给出完成度评分；学生可在本地实景圈标注疑问区域并上传，异常操作自动截录推送教师，实现全流程安全化、标准化、智能化指导。

16、3.3 完善后系统功能

17、1）第一视角微距直播与讲解；

18、2）一对多低延迟局域网广播；

19、3）教师实景ar空间标注（箭头/圈注/文字）；

20、4）学生实时语音提问与教师语音解惑；

21、5）学生实操画面实时回传；

22、6）学生一键求助+抓拍/小段录制上传；

23、7）教师点对点标注解答与定向推送；

24、8）危险操作实时ar预警（带电违规、手近光源、短路风险）；

25、9）仪器超量程/超阈值自动告警；

26、10）ar虚拟仪表刻度与正确读数叠加；

27、11）ar实验步骤高亮引导；

28、12）学生操作完成度自动识别与评分；

29、13）学生本地反向标注提问；

30、14）异常操作自动截录并上报教师；

31、15）实验全过程录播、存储、追溯回放

32、3.4 系统组成

33、（1）教师端ar采集眼镜

34、包括：微距高清摄像模块、imu姿态感知模块、降噪麦克风、扬声器、wifi6传输模块、嵌入式主控单元、电池模块、轻量化镜架、ar标注与讲解单元、多路学生画面监看单元。（2）学生端ar显示眼镜

35、包括：光波导透视显示模组、前置高清摄像头、一键求助模块、抓拍/小段录制模块、本地反向标注模块、wifi6传输模块、主控与数据处理单元、供电模块、危险告警提示模块、ar步骤引导模块。

36、（3）局域网服务器

37、包括：视频流转发模块、ar标注坐标映射模块、课堂管理模块、h.265编码模块、机器视觉识别模块、危险行为判断模块、步骤引导模块、自动评分模块、异常截录模块、数据存储与追溯模块。系统采用 webrtc局域网传输架构，端到端延迟低于200ms。

1.一种基于ar眼镜的物理实验远程演示与实时指导系统，其特征在于，包括：教师端ar采集眼镜、学生端ar显示眼镜、局域网实时传输与ar标注服务器；

2.根据权利要求1所述系统，其特征在于，教师端ar采集眼镜包括：微距高清摄像模块、imu姿态模块、wifi 6 传输模块、语音对讲模块、ar标注与讲解单元、嵌入式主控与供电模块。

3.根据权利要求1所述系统，其特征在于，学生端 ar 显示眼镜包括：光波导透视显示模组、前置摄像头、一键求助模块、抓拍 / 小段录制模块、本地实景反向标注模块、ar危险预警模块、ar步骤引导模块、wifi 6 传输模块。

4.根据权利要求1所述系统，特征在于，服务器包括：视频转发模块、ar标注坐标映射模块、课堂管理模块、h.265 编码模块、危险行为判断模块、实验步骤引导模块、自动评分模块、异常截录与数据存储模块，传输延迟控制在200ms以内。

5.根据权利要求1所述系统，其特征在于，学生端支持一键求助、当前场景抓拍、小段视频录制及本地实景圈标注提问，经服务器中转发送至教师端进行点对点标注解答。

6.根据权利要求1所述系统，其特征在于，系统能够对违规接线、手靠近危险部件、仪器超量程行为进行实时ar告警，并在学生视野中叠加虚拟仪表刻度、正确读数与实验步骤高亮指引。

7.一种基于ar眼镜的物理实验远程演示与实时指导方法，其特征在于，包括：

8.根据权利要求7所述方法，其特征在于，还包括：学生在本地实景进行圈标注疑问区域并上传；教师点对点接收并定向推送标注解答；系统对危险操作与超量程使用自动ar预警。