智慧课堂学生专注度动态评估方法及系统与流程

本发明涉及课堂智能感知，尤其是涉及智慧课堂学生专注度动态评估方法及系统。

背景技术：

1、现阶段智慧课堂专注度评估技术多依托单一视觉图像特征完成学生状态判别，仅通过人脸姿态、眼部状态等浅层视觉信息进行静态阈值判定。此类评估方式忽略课堂动态教学场景的语义差异性，无法关联教师授课内容、教学互动形式以及教学知识点难度对学生专注状态的影响，评估逻辑与真实课堂教学规律匹配度较低。

2、同时，现有技术普遍采用固定判定标准识别学生专注与走神状态，未考虑不同教学环节下学生合理注视行为的差异性，也无法适配不同知识点认知难度带来的学生认知负荷动态变化，容易出现高专注高思考状态误判、互动环节专注度漏判等问题。传统评估模型缺乏对学生真实视觉注视轨迹、微观视觉行为的精细化挖掘，无法区分学生被动注视与主动认知学习的状态差异。

3、此外，现有课堂专注度评估体系缺少教学知识图谱与评估模型的深度结合，未建立教学难度与学生认知状态的动态关联，模型不具备课堂场景自适应调整能力，且普遍缺失教学反馈闭环优化机制，长期运行后评估精度难以适配多样化、动态化的常态化教学场景，无法满足精准教学、课堂学情动态监测的实际应用需求。

技术实现思路

1、为了解决上述技术问题，本发明提供智慧课堂学生专注度动态评估方法及系统。采用如下技术方案：

2、智慧课堂学生专注度动态评估方法，包括以下步骤：

3、步骤1，同步采集教学场景中每一学生的面部视频流、教师授课音频流以及数字教学资源画面流，并对各数据流进行时间戳对齐，得到时空同步的多模态数据；

4、步骤2，对教师授课音频流和数字教学资源画面流进行多模态语义理解，实时识别当前教学意图，并根据当前教学意图及教学资源画面内容，动态生成表征教学期望注视概率分布的预期注意区域热力图；

5、步骤3，从每一学生的面部视频流中，实时估计学生的三维注视方向并映射至统一教学场景坐标系，获得实际注视点轨迹序列，同时提取个体视觉行为特征，个体视觉行为特征包括微眼跳、眨眼频率、头部晃动能量；

6、步骤4，计算每一学生的实际注视点轨迹序列与预期注意区域热力图之间的时空匹配度，至少基于注视点落入高期望区域的概率密度以及注视扫描模式与理想扫描路径的相似度，生成教学意图匹配度指标；

7、步骤5，构建以专注状态和认知负荷为隐变量的动态状态空间模型，其中认知负荷的状态转移受从教学知识图谱中获取的当前知识点的认知难度调制，以教学意图匹配度指标及个体视觉行为特征作为观测，通过贝叶斯滤波在线推断每一学生的瞬时专注状态后验概率，并换算为专注度评分；

8、步骤6，基于专注度评分生成并输出可视化评估结果。

9、可选的，步骤1中部署轻量化rgb视觉采集设备采集全体学生面部视频流，通过课堂拾音设备采集教师授课音频流，对接教学终端api实时抓取数字教学资源画面流；以ntp全局网络时间为统一基准，对三类多模态数据流逐帧施加高精度时间戳标定，通过时序插值补偿帧偏移误差，将多模态数据时空对齐误差严格控制在50ms以内，形成帧级同步的结构化多模态时序数据。

10、可选的，步骤2中多模态语义理解与预期注意区域热力图生成，包括以下子步骤：

11、步骤21，对教师授课音频流进行语音转文字处理，输入课堂领域预训练大语言模型完成语义解析，识别得到讲解新知、提问互动、小组讨论、演示操作、静默思考五类教学意图及对应稠密语义特征向量；

12、步骤22，对数字教学资源画面流进行视觉语义分割与关键区域检测，定位教学核心关注区域，包括文字知识点区域、公式演示区域、图文讲解区域、互动操作区域；

13、步骤23，融合实时教学意图语义与教学资源关键区域特征，结合不同教学意图对应的标准学生注视行为范式，通过高斯核概率建模方式，动态生成像素级预期注意区域热力图，热力图各像素灰度值对应学生课堂注视的期望概率大小。

14、可选的，步骤3中基于轻量化三维人脸形变模型3ddfa对学生面部视频流逐帧解析，拟合眼部关键点、面部姿态参数，实时求解学生三维注视方向向量与头部旋转欧拉角，通过坐标转换矩阵将个体注视方向统一映射至全局教学场景坐标系，生成连续时序的实际注视点轨迹序列；

15、通过眼部时序特征逐帧检测提取微眼跳幅度、微眼跳频率及稳态眨眼频率特征；通过头部欧拉角时序变化差分计算头部晃动速度与累计晃动能量，量化学生头部运动活跃程度，最终融合得到包含微眼跳、眨眼频率、头部晃动能量的多维度个体视觉行为特征序列。

16、可选的，步骤4中时空匹配度计算与教学意图匹配度指标生成，包括以下子步骤：

17、步骤41，基于预期注意区域热力图划分高期望注视区域、中期望注视区域、低期望注视区域，统计固定时序窗口内学生实际注视点落入高期望区域的累计时长与概率密度；

18、步骤42，根据当前教学意图预设标准知识点扫描理想路径，通过动态时间规整算法计算学生实际注视扫描轨迹与理想扫描路径的形态相似度、时序匹配度；

19、步骤43，对区域注视概率密度、扫描路径相似度进行自适应加权融合，归一化后得到0-1区间的教学意图匹配度指标，精准表征学生视觉注视行为与当前教学节奏、教学重点的契合程度。

20、可选的，步骤5中动态状态空间模型构建，包括观测方程与状态转移方程两部分：

21、观测方程以实时获取的教学意图匹配度指标、微眼跳特征、眨眼频率、头部晃动能量为多维观测变量，建立观测变量与隐变量专注状态、认知负荷的非线性映射关系；

22、状态转移方程构建专注状态自迭代转移规则，同时引入教学知识图谱，预先标注各知识点的记忆、理解、应用层级认知难度系数，以知识点认知难度为调制因子动态修正认知负荷的时序转移概率，实现不同教学难度场景下隐状态的差异化迭代更新。

23、可选的，步骤5中基于贝叶斯滤波的专注状态推断与评分换算，包括以下子步骤：

24、步骤51，初始化学生专注状态、认知负荷先验概率分布，结合每一时刻更新的多维观测数据，通过无迹卡尔曼滤波完成动态状态空间模型的后验迭代更新，实时求解学生瞬时专注状态后验概率分布；

25、步骤52，对专注状态后验概率进行线性归一化与精度校准，结合认知负荷高低修正评分权重，认知负荷越高且教学意图匹配度达标时适度提升专注评分权重，最终换算得到0-100区间的标准化学生实时专注度评分。

26、可选的，还包括模型闭环优化步骤：课后采集教师对学生专注状态的人工标注真值样本，包括高估、低估、判定准确三类标注数据，构建专注度评估回报函数，采用近端策略优化算法动态修正知识点认知难度调制系数、时空匹配度加权系数及贝叶斯滤波迭代参数，持续提升复杂教学场景下专注度评估准确率。

27、可选的，步骤6中可视化评估结果包括单学生维度与班级整体维度：单学生维度输出实时专注度数值、专注度时序波动曲线、注视轨迹与预期热力图叠加对比图；班级整体维度输出全域学生专注度分布热力图、各教学意图时段班级平均专注度变化趋势图，实现个体与班级专注状态的全景可视化呈现。

28、智慧课堂学生专注度动态评估系统，用于实现智慧课堂学生专注度动态评估方法，系统包括多模态数据同步采集模块、教学意图语义解析模块、学生视觉行为感知模块、指标计算模块、动态隐状态推断评估模块、可视化输出模块；

29、所述多模态数据同步采集模块用于采集学生面部视频流、教师授课音频流、数字教学资源画面流，完成多模态数据高精度时间戳对齐与时序同步；

30、所述教学意图语义解析模块用于融合教师音频语义与教学资源视觉语义，识别实时教学意图，动态生成教学期望注视概率分布的预期注意区域热力图；

31、所述学生视觉行为感知模块用于求解学生三维注视方向与全局注视点轨迹，提取个体视觉行为特征；

32、所述指标计算模块用于计算实际注视轨迹与预期热力图的时空匹配度，融合区域概率密度与扫描路径相似度，生成标准化教学意图匹配度指标；

33、所述动态隐状态推断评估模块用于构建知识点认知难度调制的动态状态空间模型，通过贝叶斯滤波在线推断学生专注状态后验概率，输出实时标准化专注度评分；

34、所述可视化输出模块用于生成多维度课堂专注度可视化结果，接收教师人工标注反馈，通过强化学习完成模型参数闭环自适应优化。

35、综上所述，本发明包括以下至少一种有益技术效果：

36、本发明能提供智慧课堂学生专注度动态评估方法及系统，精细化挖掘学生三维注视轨迹与微观视觉行为特征，结合实际注视轨迹与理想教学注视路径的时空匹配关系构建量化评估指标，能够有效区分学生无效注视、被动观看与主动学习专注状态，大幅提升学生视觉专注行为识别的精细化程度。

37、引入教学知识图谱实现知识点认知难度的动态调制，构建双隐变量动态状态空间模型，依托贝叶斯滤波实现学生专注状态与认知负荷的实时推断，将静态打分模式升级为动态概率推断模式，能够适配不同教学难度、不同教学环节下学生认知状态的动态变化，评估结果更贴合学生真实学习状态。

38、设置学情标注反馈与模型闭环优化机制，可依托一线教学反馈持续优化模型参数与评估策略，实现评估体系的自适应迭代升级。同时通过多维度可视化输出，完成学生个体与班级整体学情的全景呈现，为教师实时掌握课堂学情、开展精准教学干预提供可靠的数据支撑，显著提升智慧课堂学情监测的智能化与精准化水平。