一种基于VideoMamba与骨架序列融合的学生课堂学习状态识别方法及系统

摘要: 本发明涉及人工智能、计算机视觉、智慧教育,尤其涉及一种基于videomamba与骨架序列融合的学生课堂学习状态识别方法。背景技术:1、随着教育数字化转型的持续推...
一种基于VideoMamba与骨架序列融合的学生课堂学习状态识别方法及系统

本发明涉及人工智能、计算机视觉、智慧教育,尤其涉及一种基于videomamba与骨架序列融合的学生课堂学习状态识别方法。

背景技术:

1、随着教育数字化转型的持续推进,基于人工智能技术的智慧课堂分析逐渐成为教育信息化建设的重要方向。近年来,国家层面连续提出要深入推进智慧教育、构建高质量教育支持体系,并鼓励人工智能技术在高等教育和基础教育场景中的融合应用。在课堂教学过程中,学生的学习状态能够在一定程度上反映其对教学内容的理解程度、参与程度以及课堂互动效果。因此,利用计算机视觉、深度学习等技术对课堂视频中的学生学习状态进行自动识别,已成为课堂质量评估、教学反馈优化和个性化教学支持中的研究热点。

2、现有技术中,较早的课堂状态识别方案多聚焦于单模态视觉分析。专利申请号为cn120411471a的《基于改进的yolov8s模型的学生课堂状态识别方法及设备》,其核心在于通过改进yolov8s模型结构,增强密集课堂场景下对学生目标的检测能力,并输出每名学生的状态类别与置信度。专利申请号为cn120766187a的《半监督学习与像素特征强化的课堂密集学生学习状态检测方法》,主要基于yolo类单阶段检测框架,结合像素特征强化网络和半监督学习策略,实现对密集课堂场景中学生目标及其状态的检测。该类技术能够较好地完成课堂场景中的多目标定位和状态分类任务,但其对于学生学习状态所包含的连续时间动态信息挖掘相对有限。课堂中的“困惑”与“感兴趣”等状态往往不是瞬时静态特征,而是由一段时间内的面部变化、姿态调整和动作趋势共同体现,仅依赖单帧检测结果,较难完整刻画其时序演化规律。同时,在真实课堂场景中,由于后排学生面部目标分辨率较低、视角偏转明显、局部遮挡频繁,单独依赖面部分析或单独依赖行为分析均可能造成判别依据不完整,从而影响细粒度学习状态识别的稳定性。

3、为克服单纯检测类方法在状态表达维度上的不足,部分现有技术进一步尝试引入多任务或多特征联合分析。例如,公开号为cn120580110a的《一种多任务的实时学生课堂状态检测方法及系统》,构建了行为检测、头部姿态估计、面部表情识别以及跨模态匹配相结合的实时框架,并进一步对学生专注度进行评分;授权公告号为 cn118247841b的《融合行为分析和情感分析的课堂专注度评估方法及装置》,则通过行为分析子模型和面部情感分析子模型,对课堂专注度进行综合评估。上述方案的融合方式多表现为结果级融合、评分级融合或规则式加权,虽然能够在一定程度上提升整体评估性能,但对于人脸模态与人体动作模态之间的深层时序特征交互仍显不足,尚未充分解决异构模态在时间维度上的同步建模问题。

4、此外,现有技术中还有一类方案并非直接面向学生细粒度学习状态多分类识别,而是侧重于专注度评分、异常行为检测或课堂跟随度分析等结果输出。例如,专利公开号为cn120894749a的《学生课堂状态评价方法、装置、设备及存储介质》,通过关联教师语音指示特征与学生视频中的行为变化,输出学生是否“跟随”教学节奏及班级层面的课堂状态评价;专利公开号为cn118247841b的《融合行为分析和情感分析的课堂专注度评估方法及装置》,主要输出专注度量化结果或高、中、低等级;专利申请号为cn120032300a的《基于人工智能的学生课堂学习状态评估方法及系统》,重点形成学生课堂学习状态评分及评估报告。该类技术在课堂总体参与度分析、专注趋势统计或异常预警方面具有一定应用价值,但其输出结果多表现为二分类结果、等级结果或百分比/分值型结果,结果的信息维度相对有限,难以直接区分学生在课堂中的专注、感兴趣、困惑、分心等不同认知—行为状态。因此,在需要对学生具体学习状态进行细粒度识别与分类的应用场景下,上述技术路线仍存在输出信息粒度不足、状态表达不够充分的问题。

5、综上所述,现有课堂学习状态识别技术虽然已经从单帧检测逐步发展到多任务分析和多源信息辅助判断,但仍普遍存在以下技术缺陷和不足:首先,模态利用仍不充分,多数方案侧重单一视觉模态或浅层特征组合,尚未充分利用学生人脸动态与骨架动作序列之间的互补关系;其次,时序建模能力有限,现有方法多强调目标检测、静态分类或局部时段分析,对连续时间窗口内状态演化规律的建模不够充分;再次,异构模态深层融合不足,不少方案采用简单拼接、规则加权或结果级融合,难以有效表达不同模态在时间维度上的对应关系与动态交互;最后,在大规模真实课堂环境下,仍存在后排学生目标小、遮挡多、姿态复杂、视频质量波动等问题,导致细粒度状态区分,尤其是“专注”与“感兴趣”、“困惑”与“分心”等易混类别之间的判别稳定性仍有提升空间。

6、因此,研发一种能够同时对学生人脸视频序列与人体骨架关键点序列进行协同建模,具备统一时序采样、时序特征提取、跨模态深层融合以及状态差异增强能力的学生课堂学习状态识别方法,是当前智慧课堂技术领域亟待解决的技术问题。

技术实现思路

1、针对现有技术中存在的问题,本发明旨在提出一种基于videomamba与骨架序列融合的学生课堂学习状态识别方法

2、为实现上述目的,本发明提供如下技术方案:

3、一种基于videomamba与骨架序列融合的学生课堂学习状态识别方法,其特征在于,包括:

4、s1:获取课堂场景下的学生个体视频片段,并分别输入人脸模态和骨架模态进行预处理,构建人脸视频序列和骨架关键序列;

5、s2:基于videomamba的人脸视频编码器网络,对所述人脸视频序列进行时空联合建模,输出人脸时序特征。

6、s3将骨架关键点序列输入三分支骨架序列编码器,提取三个分支的特征,所述三分支包括运动统计分支、空间骨向量分支和时间演化分支,三分支特征进行融合后,输出骨架时序特征。

7、s4将所述人脸时序特征和所述骨架时序特征按时间帧交错拼接后输入双向mamba模块进行跨模态时序融合,输出多模态融合特征。

8、s5将所述多模态融合特征输入状态判别性注意力模块,根据预设的学习状态类别构造两两类别对,基于各所述类别对分别进行注意力映射,将各注意力输出聚合后与所述多模态融合特征进行门控残差融合,输出状态判别性增强特征。

9、s6将所述状态判别性增强特征输入分类头,输出预设的多个学习状态类别分类结果。

10、进一步地,所述步骤s1中,对课堂视频片段的预处理具体包括:

11、将原始视频裁剪为6秒时长的视频片段作为基本分析单元;

12、利用retinaface模型对学生人脸进行跟踪与裁剪,生成人脸视频序列

13、利用mediapipe pose框架提取人体33个关键点并保留前25个关键点,生成骨架关键点序列;

14、进一步地,对人脸视频序列和骨架关键点序列采用同一组采样索引进行同步抽帧,得到时间对齐后的人脸视频序列和骨架关键点序列;

15、进一步地,s2步骤具体包括:

16、时间对齐后的人脸视频序列经时空patch嵌入后输入基于videomamba的主干网络,由堆叠的双向mamba块对视频序列进行序列化时序建模,输出包含类别token和时空patch token的特征序列;

17、去除所述特征序列中的类别token,将剩余patch token恢复为时间-空间patch结构,得到每帧的patch特征;

18、对每一帧的所有patch特征进行平均池化,得到逐帧人脸特征;

19、将所有帧的逐帧人脸特征构成人脸时序特征,并通过线性投影层将所述人脸特征映射至预设统一维度;

20、进一步地,步骤s2中运动统计分支特征提取具体包括:将人体关键点划分为多个身体区域,在每个身体区域上计算不同时间步长下的位移幅值,对位移序列提取均值和标准差作为统计特征,将所有身体区域和所有时间步长下的统计特征拼接后经嵌入映射,输出运动统计特征。

21、进一步地,步骤s2中空间骨向量分支特征提取具体包括:根据预定义的骨连接对构造骨向量,对每条骨连接在时间维度上求均值并通过多层感知机计算骨连接注意力权重,利用所述骨连接注意力权重对骨向量进行加权增强,将加权增强后的骨向量沿时间维度进行一维卷积操作,经池化和线性映射后输出空间骨向量特征。

22、时间演化分支特征提取具体包括:将每一帧的骨架关键点数据展平后经线性投影,将投影后的逐帧特征序列输入双向lstm网络进行时序建模,输出保留逐帧时序信息的时间演化特征;

23、进一步地,步骤s3中所述三个分支的特征融合采用“全局分支融合 + 时序分支融合”的方式进行三分支联合建模,具体为:将所述运动统计特征和所述空间骨向量特征拼接融合后,经线性映射得到全局骨架表示,复制到每个时间帧,与所述时间演化特征进行逐帧拼接,再经线性融合层映射,输出骨架时序特征;

24、进一步地,步骤s4中所述跨模态时序融合,还包括,融合前,将两类模态特征分别投影到统一融合维度,输出投影后的人脸特征和投影后的骨架特征,并在两类特征中加入模态嵌入以区分来源,输出加入模态嵌入后的人脸特征和骨架特征;

25、然后把所述加入模态嵌入后的人脸特征和骨架特征按照时间顺序进行交错拼接,形成交错后的多模态序列,对所述交错序列加入位置编码后,输入双向mamba模块,并通过平均池化得到多模态融合特征;

26、进一步地,所述步骤s5中,所述预设的多个学习状态类别包括专注ct、分心ds、困惑cf和感兴趣in四类,根据四类学习状态构造两两组合的类别对,为每个类别对设置对应的注意力子模块,对所述多模态融合特征进行注意力映射,将所有类别对的注意力输出聚合后,通过门控残差结构与所述多模态融合特征融合,输出状态判别性增强特征。

27、另一方面,本发明还公开了模型训练步骤,具体如下:采用交叉熵损失函数优化学习状态分类任务,训练过程采用两阶段微调策略;

28、第一阶段冻结所述基于videomamba的人脸视频编码网络参数,训练所述骨架序列编码器、所述跨模态时序融合模块、所述状态判别性注意力模块和所述分类头;

29、第二阶段解冻所述基于videomamba的人脸视频编码网络的最后若干层,以小于第一阶段的主干网络学习率进行联合微调。

30、另一方面本发明还公开了一种基于videomamba与骨架序列融合的学生课堂学习状态识别系统,其特征在于,包括:

31、视频获取与双模态构建模块,获取课堂场景下的学生个体视频片段,从所述学生个体视频片段中分别构建人脸视频序列和骨架关键点序列,并对两类序列进行同步抽帧,输出时间对齐后的人脸视频序列和骨架关键点序列;

32、人脸时序编码模块,包含基于videomamba的人脸视频编码网络,对所述时间对齐后的人脸视频序列进行时空联合建模,输出人脸时序特征;

33、骨架时序编码模块,包含三分支骨架序列编码器和分支融合模块,所述三分支包含运动统计分支、空间骨向量分支和时间演化分支,用于进行三个分支特征进行提取;

34、所述分支融合模块对三个分支特征进行融合,输出骨架时序特征;

35、跨模态时序融合模块,用于对所述人脸时序特征和所述骨架时序特征进行对齐和联合建模,输出多模态融合特征;

36、状态判别性注意力模块,根据预设的多个学习状态类别构建类别对,基于各所述类别对分别进行注意力加权,并将所有类别对的注意力输出聚合后与所述多模态融合特征进行门控残差融合,输出状态判别性增强特征;

37、分类输出模块,对所述状态判别性增强特征进行分类,输出学生课堂学习状态的分类结果。

38、与现有技术相比,本发明的有益效果在于:

39、1提升学习状态表征的完整性与鲁棒性;本发明联合引入人脸视频模态与骨架序列模态,通过同步抽帧实现双模态时间对齐,同时利用学生的面部动态信息和肢体行为信息进行互补建模。在后排学生目标较小、局部遮挡、视角变化或光照波动等复杂课堂环境下,多模态互补机制能够有效降低单一模态信息缺失带来的影响,提高状态识别的稳定性。

40、2增强对学习状态时间演化过程的刻画能力;本发明分别采用基于videomamba的人脸时序编码网络和三分支骨架序列编码器,对连续视频片段进行时序特征提取,能够充分捕捉学习状态在时间维度上的上下文依赖关系和动态变化规律,克服了单帧静态分析难以反映状态演化过程的缺陷。

41、3实现异构模态的深层时序融合;本发明通过跨模态时序融合模块,在统一时间尺度下对人脸模态特征与骨架模态特征进行对齐、交错拼接和双向mamba时序建模,使融合过程不仅关注特征叠加,更关注模态之间的时序关联关系,显著提升了多模态信息的融合效率。

42、4提高细粒度学习状态的区分能力;本发明引入状态判别性注意力机制,针对专注、分心、困惑和感兴趣四类学习状态构造类别对并进行pairwise注意力加权,通过门控残差结构增强状态间差异特征,有效降低了相近类别之间的混淆,输出结果语义明确,便于教学反馈和课堂干预。实验结果表明,本发明的多模态融合模型在平均macrof1指标上优于单模态模型,验证了双模态信息的互补性和方法的有效性。