基于教学事件和学生行为的师生交互判定方法及系统与流程

本发明涉及课堂教学智能分析，具体而言，涉及一种基于教学事件和学生行为的师生交互判定方法及系统。

背景技术：

1、课堂中学生的学习状态属于难以直接观测的潜在状态，通常需要根据学生的外显行为及任务表现进行间接推断。可供利用的观测包括面部动作单元、眼睑与眉部变化、头部姿态、注视区域、坐姿与手部活动、发言和语音韵律、平板点击与书写、作答正确性和响应时长，以及心率变异、皮电或眼动等可选生理指标。

2、现有课堂状态识别方案多采用单帧表情分类、单一行为规则或对多个模态进行同步拼接。未充分利用教师正在教授的知识点以及学生响应晚于教师事件发生的事实。以“低头”为例，该行为可能表示记录笔记、查看平板、思考、疲劳或脱离任务；以“皱眉”为例，其既可能对应有效的深度理解，也可能对应认知过载。若脱离教学上下文，仅依据行为本身作出状态判断，容易产生歧义和误报。不同学生还存在稳定的个体行为习惯，仅以班级统一阈值判断，可能将个人基线差异错误解释为状态异常。

3、因此，综上，需要一种以教学事件为条件、能够显式建模响应时滞和学生的多模态状态来区分不同学生状态。

技术实现思路

1、本发明的目的在于提供了一种基于教学事件和学生行为的师生交互判定方法及系统，用以解决现有技术中存在的：如何以教学事件为时间和语义锚点，对课堂视频、学生音频、平板操作日志及可用生理指标进行质量感知的异步融合，在允许响应时滞和模态缺失的条件下，联合估计学生对当前知识点或教学行为的认知负荷、学习投入及响应有效性。

2、第一方面，本发明实施例提供了一种基于教学事件和学生行为的师生交互判定方法，包括：

3、获取教学事件；所述教学事件包括教学事件起始时间点、教学事件终止时间点和教学语句；

4、基于所述教学事件，判别教学事件与响应时间点的关系，得到多个学生响应时间点；

5、获取多个学生响应时间点的多模态学生状态集合；所述多模态学生状态集合包括学生人脸图像、学生身体图像和学生语句；

6、基于所述多个学生响应时间点的多模态学生状态集合，对教师和学生在设定教学时间长度中的状态进行判别，得到学生教学状态值；所述学生教学状态值表示对学生对教师教学内容的学习程度。

7、可选的，所述基于所述多个学生响应时间点的多模态学生状态集合，对教师和学生在设定教学时间长度中的状态进行判别，得到学生教学状态值，包括：

8、基于所述多个学生响应时间点的学生身体图像，得到第一特征向量和姿态时间点；所述姿态时间点为表征学生对教学事件反馈的姿态的时间点；所述第一特征向量表示多个学生响应时间点的学生姿态的变化特征；

9、将姿态时间点对应的多模态学生状态集合作为第一多模态学生状态集合；

10、基于所述第一多模态学生状态集合，得到第二特征向量；所述第二特征向量表示在学生对教学事件反馈的姿态的时间点中表情、姿态与学生语句的多模态特征；

11、基于所述第二特征向量和第一特征向量，进行多模态特征融合，得到学生教学状态值。

12、可选的，所述基于所述多个学生响应时间点的学生身体图像，得到第一特征向量和姿态时间点，包括：

13、根据所述学生身体图像，检测关节点，得到关节点位置集合；所述关节点位置集合包括多个关节点类别和对应的关节点位置；

14、多个学生身体图像对应获得多个关节点位置集合；

15、基于所述关节点位置集合，得到姿态特征向量；多个学生身体图像对应获得多个姿态特征向量；

16、将多个姿态特征向量输入lstm结构，得到第一特征向量；

17、基于所述多个关节点位置集合，得到姿态时间点。

18、可选的，所述基于所述多个关节点位置集合，得到姿态时间点，包括：

19、获取包含所述关节点位置集合的最大圆，得到姿态圆；

20、计算所述姿态圆的面积，得到姿态面积；

21、多个关节点位置集合对应获得多个姿态面积；

22、将多个姿态面积中最大的姿态面积对应的学生响应时间点作为姿态时间点。

23、可选的，所述基于所述关节点位置集合，得到姿态特征向量，包括：

24、标记多个关节点类别的关联关系，得到关节连通矩阵；

25、将多个关节点位置输入第一特征提取网络，得到关节点位置特征向量；多个学生响应时间点对应获得多个关节点位置特征向量；

26、将所述关节点位置特征向量和关节连通矩阵输入图卷积网络，得到姿态特征向量；多个关节点位置特征向量对应获得多个姿态特征向量。

27、可选的，所述基于所述第一多模态学生状态集合，得到第二特征向量，包括：

28、将所述第一多模态学生状态集合中的所述学生人脸图像输入人脸特征提取网络，提取特征，得到第一人脸特征向量；

29、根据所述第一多模态学生状态集合中的所述学生身体图像，通过姿态检测，得到第一身体特征向量；所述第一身体特征向量表示肢体的姿态；

30、将所述第一人脸特征向量和第一身体特征向量进行融合，得到第二特征向量。

31、可选的，将教学语句和学生语句输入大语言模型，进行关键词匹配，得到语义匹配值；

32、将语义关联值乘以扩张常数后除以学生语句的长度，得到学生教师语句关联值。

33、可选的，所述基于所述第二特征向量和第一特征向量，得到学生教学状态值，包括：

34、若学生教师语句关联值大于关联阈值，将所述学生语句输入语句特征提取网络，得到语句特征向量；

35、将所述第一特征向量、第二特征向量和语句特征向量进行拼接，得到拼接向量；

36、将所述拼接向量输入判别网络，得到学生教学状态值。

37、可选的，所述基于所述教学事件，判别教学事件与响应时间点的关系，得到多个学生响应时间点，包括：

38、根据所述教学事件终止时间点和教学事件起始时间点，得到教学时间段；

39、所述教学时间段的计算公式如下所示：

40、

41、其中，所述为教学事件起始时间点，为教学事件终止时间点，表示学生在教学语句结束前就能做出反应的提前时间段，表示学生在教学事件结束后思考并作出反应的缓冲时间，表示教学时间段；

42、将所述教学时间段均匀提取多个时间点，得到多个学生响应时间点。

43、第二方面，本发明实施例提供了一种基于教学事件和学生行为的师生交互判定系统，包括：

44、第一获取模块，用于获取教学事件；所述教学事件包括教学事件起始时间点、教学事件终止时间点和教学语句；

45、基于所述教学事件，判别教学事件与响应时间点的关系，得到多个学生响应时间点；

46、第二获取模块，用于获取多个学生响应时间点的多模态学生状态集合；所述多模态学生状态集合包括学生人脸图像、学生身体图像和学生语句；

47、判别模块，用于基于所述多个学生响应时间点的多模态学生状态集合，对教师和学生在设定教学时间长度中的状态进行判别，得到学生教学状态值；所述学生教学状态值表示对学生对教师教学内容的学习程度

48、相较于现有技术，本发明实施例达到了以下有益效果：

49、本发明实施例还提供了一种基于教学事件和学生行为的师生交互判定方法及系统。

50、本发明，根据1个学生响应时间点个体的状态和多个学生响应时间点整体学生的状态变化来判断学生对教学事件的学习状况。因为如果前面的知识点学生无法理解后面就会一直难以学习，所以可以用整体学生的外在姿态去调整学生的状态，之后再在特定的时间点进行判断。中间采用姿态圆和图结构能够更加准确的判别学生对教学事件的学习状态。

51、总而言之，因为在教学事件下，学生具有一定的反应时间，所以根据反应时间构建既相互关联又彼此可区分的联合状态空间。选取与课堂表情行为识别和交互语句、多模态学习状态分析及教学互动识别。能够达到更加准确的判别学生对教学事件的学习程度的技术效果。