一种基于多源数据融合的课堂专注度评估与教学诊断方法及系统与流程

本发明属于教育信息化与智能分析，具体涉及一种基于多源数据融合的课堂专注度评估与教学诊断方法及系统。

背景技术：

1、课堂专注度是衡量教学质量和学习效果的关键指标。传统的课堂专注度评估主要依赖于教师的主观观察和经验判断，存在效率低下、主观偏差大、无法大规模量化评估等问题。随着计算机视觉、语音识别和可穿戴传感器等技术的发展，出现了多种课堂专注度自动评估方法。

2、目前，基于视频的课堂专注度评估方法已经取得显著成果。例如，通过目标检测算法检测教室中的学生位置，通过姿态估计模型提取学生的人体关键点，进而判断学生的行为状态。同时，基于面部表情识别技术，可以识别学生的表情或注意状态。利用自动语音识别技术分析教师语音内容，提取教学关键词。然而，现有技术仍然存在以下技术问题：一是数据源单一。现有技术大多仅使用视频或仅使用生理信号，缺乏视频、音频、生理信号和教务数据的深度融合；单一数据源容易受环境干扰。二是评估标准缺乏个体适应性。现有技术通常采用统一评分标准对所有学生进行评估，未建立学生个体历史行为基线；不同学生的课堂行为习惯存在差异，如果统一静态阈值可能会将这些个体差异误判。三是专注度评估与教学内容脱节。现有技术输出的评估结果多为宏观统计，教师无法获知学生在讲解哪个具体知识点时走神；评估结果与教师教学内容之间缺乏时间戳级别的对齐机制，导致专注度变化无法归因于具体教学事件，诊断信息无法指导教学改进。四是群体基准缺乏课程难度自适应问题。现有技术采用统一群体基准对所有课程进行专注度评估，未考虑课程本身客观难度差异，导致诊断结果缺乏教学内容关联性与教学可执行性。五是现有技术输出的评估报告多为固定模板或宏观统计图表，未将诊断结果与具体教学内容深度关联，也未针对知识难点给出可操作的教学改进策略。

技术实现思路

1、本发明主要解决的技术问题是提供一种基于多源数据融合的课堂专注度评估与教学诊断方法及系统。能够有效解决现有课堂评估与教学诊断信息化过程中存在的数据源单一、评估标准缺乏个体适应性、专注度评估与教学内容脱节、输出的评估报告与具体教学内容关联深度不够等问题。

2、需要说明的是，本发明所述的“课堂专注度”并非传统意义上基于单一行为观察的注意力集中程度，而是指学生在课堂情境下的多维学习投入状态，涵盖行为参与、认知加工和情感反应三个维度。所述个体自适应专注度评估模块，基于多维学习投入理论框架，通过行为、认知、情感多模态数据的融合推断，评估学生相对于其个体历史基线的综合投入水平。

3、本发明融合了视频、音频、生理信号与教务数据，通过个体自适应评估模型、课程难度自适应的群体基准校准、同堂课对照时段设计与教学内容锚定的知识难点定位，以及大语言模型增强的教学关联诊断报告生成，实现了对学生专注度的精准评估和教学过程的诊断。

4、一种基于多源数据融合的课堂专注度评估与教学诊断方法，括以下步骤：

5、s1、多源数据采集：同步采集课堂视频数据、学生生理信号数据、教师语音数据及教务数据，对采集的多源数据进行时间对齐和预处理；

6、所述多源数据采集包括：通过部署于教室前方的摄像设备采集课堂视频数据；通过学生佩戴的生理传感设备采集光电容积脉搏波信号，经处理后提取心率及心率变异性特征；通过教师佩戴的音频采集设备采集教师语音数据；通过教务系统接口获取教务数据，所述教务数据包括课程表、教学计划、课程类型以及学生信息；以视频帧时间戳为基准，对所述课堂视频数据、学生生理信号数据、教师语音数据及教务数据进行时间对齐。

7、s2、多模态特征提取与识别：基于所述课堂视频数据，提取学生行为标签、表情标签和头部姿态标签；基于所述教师语音数据，利用语音识别技术转录文本，并通过关键词匹配教学知识本体库，提取教师教学关键词；基于所述学生生理信号数据，提取心率变异性频域特征。

8、所述多模态特征提取与识别包括：

9、一是基于目标检测模型对视频帧中的学生进行检测，提取人体边界框；基于人体边界框裁剪学生区域图像，然后通过姿态估计模型提取人体关键点；最后根据人体关键点坐标计算关节角度和肢体位置，并通过规则匹配输出行为标签，所述行为标签包括听讲、翻书、书写、举手、站立、左顾右盼、使用手机、趴桌睡觉。

10、二是在学生区域图像中检测人脸，提取人脸特征，通过表情分类模型输出表情标签，所述表情标签包括专注、困惑、疲劳、放松。

11、三是在人脸区域图像中，通过人脸关键点检测模型提取人脸关键点坐标；然后基于所述人脸关键点坐标中的眼部关键点、鼻尖关键点及下巴轮廓关键点的相对位置关系，计算头部俯仰角和偏航角，输出头部姿态标签，所述头部姿态标签包括面向讲台、面向课本、面向窗外。

12、四是基于自动语音识别技术将教师语音转换为文本，通过关键词匹配教学知识本体库中的关键词。

13、五是对所述学生生理信号数据进行滤波、去噪和峰值检测，提取脉搏间期序列，经重采样等预处理后，通过频域分析提取心率变异性频域特征，包括低频功率、高频功率并计算低频高频功率比值。

14、s3、个体自适应专注度评估：基于所述行为标签、表情标签和头部姿态标签进行多级权重映射，得到行为加权分数；然后对所述行为加权分数施加时间衰减核，得到时序衰减分数；最后将所述时序衰减分数与所述个体历史基线进行比较，得到初步个体自适应专注度分数。同时基于所述心率变异性频域特征与所述初步个体自适应专注度分数进行交叉验证，修正评估结果，得到最终个体自适应专注度分数。

15、所述多级权重映射包括：将学生行为划分为积极行为、中性行为和消极行为三类；为每类行为分配相应的基础权重，其中积极行为对应正向基础权重，消极行为对应负向基础权重，中性行为对应零或接近零的基础权重；根据所述头部姿态标签和所述表情标签对所述基础权重进行动态修正：当头部姿态为面向讲台且表情为专注时，提高所述积极行为的基础权重；当头部姿态为偏离讲台且表情为困惑时，降低所述中性行为的基础权重并提高所述消极行为的基础权重；将修正后的各级权重与对应的行为标签进行加权求和，得到所述行为加权分数。

16、所述时间衰减核通过以下公式实现：

17、

18、其中，s_decay(t)为t时刻的时序衰减分数，w(τ)为τ时刻的修正后权重，b(τ)为τ时刻的行为标签对应的权重映射值，λ为衰减系数，为指数衰减核，t为当前时刻，τ为历史时刻。

19、所述个体历史基线通过以下步骤构建：

20、a，采集目标学生在历史同类型课程的多节课中的行为序列数据；

21、b，对每节课的行为序列进行聚合统计，得到每节课的行为分布特征向量，所述行为分布特征向量包括积极行为占比、中性行为占比和消极行为占比；

22、c，计算所述行为分布特征向量的历史均值向量和历史标准差向量，作为所述个体历史基线；

23、d，将所述时序衰减分数与所述历史均值向量和历史标准差向量进行比较，得到个体相对偏离度，当所述个体相对偏离度超过预设自适应阈值时，触发学习状态预警。

24、所述交叉验证包括：当个体自适应专注度分数低于阈值时，若心率变异性频域特征显示低频与高频功率比值处于高认知负荷区间，则确认学生处于高认知负荷但专注的状态，即系统通过生理信号复核，避免将因理解困难而皱眉苦思的学生误判为走神；当个体自适应专注度分数高于阈值，若心率变异性频域特征显示低频与高频功率比值位于低认知负荷区间，则确认学生处于放松但专注的状态；当两种信号不一致时，以个体自适应专注度分数为主，心率变异性频域特征为辅进行修正。

25、s4，群体基准校准与知识难点定位：根据所述教务数据中的课程类型信息，从课程难度基准库中获取对应的外部客观课程难度基准参数；基于所述课程难度基准参数对全班学生的个体自适应专注度分数进行群体基准校准，得到群体相对专注度分数；将教师教学关键词的时间戳与所述群体相对专注度分数的时间序列对齐，检测教学事件后的群体状态同步偏离，当群体同步偏离指标超过自适应阈值，且群体离散度变化指标超过预设阈值时，将该教学事件标记为知识难点。

26、所述群体基准校准步骤包括：

27、a，根据所述课程类型信息，从预构建的课程难度基准库中读取对应的课程难度基准参数d（所述课程难度基准参数基于外部客观指标构建，所述外部客观指标包括课程学分、课时、历史学期平均成绩及挂科率中的至少一项）；

28、b，针对全班学生集合,(n 为全班学生人数），计算全班学生在当前时段的原始专注度均值 ,原始专注度标准差，其中 为学生i的个体自适应专注度分数；

29、c，基于所述课程难度基准参数d，通过难度补偿函数 对所述原始专注度均值进行修正性调整，得到修正后群体基准均值,当 d 位于高难度区域时()，对所述原始专注度均值进行向下修正（即高难度课程预期专注度基线较低，需对原始均值进行向下调整以消除难度影响）；当 d 位于低难度区域时()，对所述原始专注度均值进行向上修正；所述原始专注度标准差作为群体离散尺度参数保持不变，修正后群体标准差沿用原始标准差，即；

30、d，将每个学生的个体自适应专注度分数，按公式 进行标准化比较，得到所述群体相对专注度分数；所述群体相对专注度分数 以时间序列形式输出，作为所述群体状态同步偏离检测的输入。

31、所述知识难点定位步骤包括：

32、a，将教师教学关键词的时间戳与群体相对专注度分数的时间序列对齐，划分每个教学事件k的事件前基线时段 和事件后响应时段;

33、b，在同一节课内选取至少一个其他教学事件c对应时段作为内部对照时段，所述对照事件c优先选取与目标事件k时长相近、且在课内位置临近的其他教学事件，以消除课堂疲劳等时间效应,划分其对应基线时段和响应时段;

34、c，对于每个学生i（），计算该学生的个体固定效应偏离度，其中 、分别为学生i在教学事件k响应时段与基线时段的群体相对专注度分数，、分别为学生i在对照事件c响应时段与基线时段的群体相对专注度分数；

35、d，聚合全班学生的个体固定效应偏离度，计算群体同步偏离指标

36、，其中  为全班个体固定效应偏离度的算术平均，为教学事件k基线时段内全班群体相对专注度标准差；同时计算群体离散度变化指标 ，其中为教学事件k响应时段内全班群体相对专注度标准差；

37、e，当所述群体同步偏离指标，超过自适应阈值，且所述群体离散度变化指标超过预设阈值时, 判定该教学事件k对应时段存在群体状态同步偏离，标记为知识难点。

38、s5、教学关联诊断报告生成：基于所述群体相对专注度分数的时间序列、所述知识难点标记、所述教师教学事件以及学生个体画像标签，生成教学关联诊断报告。

39、所述教学关联诊断报告包括：

40、一是教学事件效果评估，如果事件后群体相对专注度上升，标注为有效事件；如果事件后群体相对专注度下降，标注为需改进事件；如果事件后群体相对专注度无显著变化，标注为中性事件；

41、二是知识难点定位：汇总所有被标记为知识难点的教学关键词，按偏离度排序，输出偏离度最高的前n个知识难点，每个知识难点包含知识点名称、出现时间、群体偏离度、受影响学生人数及比例；

42、三是学生个体画像：基于学生历史行为数据对每个学生进行画像分类，包括专注型、活跃型、波动型、沉默型，为每种类型学生生成个性化学习建议；

43、四是基于所述知识难点定位结果、教学事件效果评估和学生个体画像，生成教学改进建议；然后采用大语言模型对所述结构化诊断数据进行自然语言生成，输出自然语言诊断报告、可视化图表及教师行动清单。

44、本发明提供一种基于多源数据融合的课堂专注度评估与教学诊断系统，包括：多源数据采集模块、多模态特征提取与识别模块、个体自适应专注度评估模块、群体基准校准与知识难点定位模块、教学关联诊断报告生成模块、实时反馈模块、课程难度基准库模块、教学知识本体库模块、数据存储模块及ai算法执行模块。

45、所述多源数据采集模块，包括：视频采集单元，生理信号采集单元，语音采集单元，教务数据接口单元，时间对齐单元。

46、视频采集单元，用于采集课堂的高清视频数据；

47、生理信号采集单元，用于通过学生佩戴的具有光电容积脉搏波技术的智能手环采集心率信号；

48、语音采集单元，用于采集教师语音数据；

49、教务数据接口单元，用于接入课程表、教学计划、课程类型、考试成绩以及学生信息等。

50、时间对齐单元，用于以视频帧时间戳为基准进行多源数据时间对齐。

51、所述实时反馈模块用于将个体自适应专注度分数和群体状态同步偏离检测结果实时推送至教师终端，以热力图、时序曲线和事件标注的形式展示；教师可以在课堂中实时查看反馈信息，及时调整教学策略。

52、所述课程难度基准库模块存储不同课程类型对应的课程难度基准参数，所述参数基于外部客观指标构建，包括课程学分、课时、历史学期平均成绩及挂科率等。

53、所述教学知识本体库模块存储知识点图谱和教学事件标注信息，支撑教学事件锚定与知识难点定位，使诊断结果与具体教学内容深度关联。

54、所述数据存储模块及ai算法执行模块，其中存储模块用于多源数据及ai算法程序存储；ai算法执行模块用于执行所述学生目标检测，姿态估计，人脸识别，表情分类，个体自适应评估，群体基准校准，知识难点定位及诊断报告生成算法，并执行所述计算机程序以实现系统运行。

55、本发明与现有技术相比，具有以下有益效果：

56、有益效果一：提高了专注度评估的个体适应性。通过多维学习投入理论框架和个体历史基线对比，本发明能够根据每个学生的个人行为特征进行自适应评估，避免了统一评分标准导致的误判。

57、有益效果二：将评估结果与具体教学内容深度关联。通过教学事件锚定的群体状态同步偏离检测和同课对照时段设计，本发明能够定位具体的知识难点，教师可以知道在讲解哪个知识点时出现了群体专注度下降，从而实现教学内容层面的精准诊断。

58、有益效果三：提供了多形式aigc增强的诊断报告。通过大语言模型增强的报告生成，本发明能够输出自然语言诊断报告、可视化图表及教师行动清单，使教师能够直观、有针对性地调整教学策略。