多模态伴随式教育辅助方法、系统及计算机设备与流程

本申请涉及智能教育，尤其是涉及到一种多模态伴随式教育辅助方法、系统及计算机设备。

背景技术：

1、随着人工智能与可穿戴设备技术的飞速发展，教育领域正经历从数字化向智能化的转型。传统的教育辅助手段逐渐难以满足学习者对于即时性、个性化及场景化学习的需求。伴随式教育辅助作为一种新兴的技术应用方向，这种模式能够突破时空限制，将教育服务延伸至课堂之外的日常生活场景，对于提升学习效率、实现因材施教具有重要的应用价值。

2、现有教育辅助工具均采用“用户发起请求—系统被动响应”的单一交互模式，系统无法主动感知用户的学习状态与环境变化。当用户处于静默状态时，系统完全停止工作，无法像人类教师那样主动发现教学机会或察觉学生的困惑，导致大量具有教育价值的日常生活场景被浪费。

技术实现思路

1、有鉴于此，本申请实施例提供了一种多模态伴随式教育辅助方法、系统及计算机设备。

2、根据本申请的一个方面，提供了一种多模态伴随式教育辅助方法，所述方法包括：

3、通过穿戴式采集终端持续采集用户第一视角的环境图像帧以及音频数据，并基于对音频数据的采集结果，判断用户是否处于静默状态；

4、在所述用户处于静默状态的情况下，对当前环境图像帧进行视觉语义分析，确定当前环境图像帧的语义信息，并根据教研知识库中各学科知识点对应的关联信息，将所述语义信息映射至目标学科知识点；

5、当所述目标学科知识点与所述用户的用户历史学习数据匹配时，判定当前场景具备教学价值，基于所述语义信息和所述目标学科知识点，生成主动式引导内容；

6、将所述主动式引导内容推送至所述穿戴式采集终端进行输出。

7、根据本申请的另一方面，提供了一种多模态伴随式教育辅助系统，应用于如上述的多模态伴随式教育辅助方法，包括：

8、穿戴式采集终端，包括外侧摄像头和麦克风，所述外侧摄像头用于采集用户第一视角的环境图像帧并上传至云端，所述麦克风用于采集音频数据上传至运动；

9、云端多智能体系统，包括门控智能体和视觉哨兵智能体；

10、所述门控智能体，用于基于对音频数据的采集结果，判断用户是否处于静默状态，若处于静默状态，则向视觉哨兵智能体发送静默状态通知；

11、所述视觉哨兵智能体，用于响应于静默状态通知，对当前环境图像帧进行视觉语义分析，确定当前环境图像帧的语义信息，并根据教研知识库中各学科知识点对应的关联信息，将所述语义信息映射至目标学科知识点；当所述目标学科知识点与所述用户的用户历史学习数据匹配时，判定当前场景具备教学价值，基于所述语义信息和所述目标学科知识点，生成主动式引导内容；将所述主动式引导内容推送至所述穿戴式采集终端；

12、所述穿戴式采集终端，还用于输出所述主动式引导内容。

13、依据本申请又一个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述多模态伴随式教育辅助方法。

14、依据本申请再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述多模态伴随式教育辅助方法。

15、借由上述技术方案，本申请实施例提供的一种多模态伴随式教育辅助方法、系统及计算机设备，通过穿戴式采集终端对用户环境图像与音频数据的持续采集及静默状态判定，能够在不干扰用户正常活动的前提下自动识别适宜进行教育介入的时机；通过视觉语义分析与教研知识库的知识映射，能够将任意环境场景中的视觉内容自动转化为对应的学科知识点；通过目标学科知识点与用户历史学习数据的匹配判定及主动式引导内容的生成，能够确保所推送的教育内容与用户当前学习需求对齐，实现伴随式的个性化教育辅助-。整个过程无需用户主动发起交互请求，系统即可基于环境感知与用户画像主动提供教育服务，提升了教育辅助的及时性与针对性。

16、上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

1.一种多模态伴随式教育辅助方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对当前环境图像帧进行视觉语义分析，确定当前环境图像帧的语义信息，并根据教研知识库中各学科知识点对应的关联信息，将所述语义信息映射至目标学科知识点，包括：

3.根据权利要求2所述的方法，其特征在于，所述将匹配成功的关联信息对应的学科知识点作为所述语义信息对应的目标学科知识点之后，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述年级信息和所述已学知识点对所述目标学科知识点进行过滤，将过滤后与用户当前学习阶段匹配的知识点作为最终的目标知识点，包括：

5.根据权利要求1所述的方法，其特征在于，所述穿戴式采集终端包括外侧摄像头和内侧摄像头，当前环境图像帧由所述外侧摄像头采集；所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述将所述目标答案拆解为多个子问题对应的柔性启发式介入内容，包括：

7.根据权利要求6所述的方法，其特征在于，所述基于所述语义信息和所述目标学科知识点，生成主动式引导内容之后，所述方法还包括：

8.根据权利要求1所述的方法，其特征在于，所述基于对音频数据的采集结果，判断用户是否处于静默状态之后，所述方法还包括：

9.根据权利要求8所述的方法，其特征在于，所述查询处理子智能体将所述文本改写为结构化查询的过程包括：

10.根据权利要求8所述的方法，其特征在于，所述检索增强子智能体将所述结构化查询或所述文本作为检索输入以执行知识检索并对检索结果进行增强处理的过程包括：

11.根据权利要求8所述的方法，其特征在于，所述工具调用子智能体根据所述文本调用相应工具的过程包括：

12.根据权利要求8所述的方法，其特征在于，所述将所述查询处理子智能体、所述检索增强子智能体和所述工具调用子智能体的处理结果汇聚后输入多模态主智能体进行融合推理，包括：

13.根据权利要求1至12中任一项所述的方法，其特征在于，所述方法还包括：

14.一种多模态伴随式教育辅助系统，其特征在于，应用于如权利要求1至13中任一项所述的多模态伴随式教育辅助方法，包括：

15.根据权利要求14所述的系统，其特征在于，

16.根据权利要求15所述的系统，其特征在于，还包括：

17.根据权利要求14至16中任一项所述的系统，其特征在于，还包括：

18.一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至13中任一项所述的方法。