基于视频交互的远程专递课堂多教室协同教学方法及系统与流程

本发明涉及远程教育，尤其涉及一种基于视频交互的远程专递课堂多教室协同教学方法及系统。

背景技术：

1、远程专递课堂通过网络技术连接主讲教室与多个远端教室，实现优质教育资源的跨地域共享。部分现有系统引入动作感知技术捕捉学生举手、点头等肢体动作，试图以此评估远端课堂的参与状况。

2、在一种现有技术中，通过骨骼关键点检测算法提取学生的上肢关节点位置和头部姿态参数，当检测到手臂抬升且手部高于肩部的姿态时判定为举手动作，当检测到头部在垂直方向上的往复摆动且摆动幅度超过预设角度阈值时判定为点头动作。系统将识别到的举手频次和点头频次在预设时间窗口内进行统计汇总，并将统计结果以数值面板的形式呈现在主讲端的显示屏幕上，供主讲教师参考判断远端学生的参与程度。然而，上述动作感知技术的感知对象仅限于举手、点头等预设的大幅度肢体动作，对于视线方向的细微偏转、嘴部张合程度的渐变以及面部表情的瞬时变化等非语言行为无法进行有效捕获，且统计汇总仅能反映学生在离散时间点上的动作频次，无法将视线偏转轨迹与表情变化过程之间的动态时序关联映射至学习状态识别。

3、因此，现有技术仅能通过识别举手、点头等大幅度肢体动作的统计频次来间接反映远端课堂的表面参与程度，难以及时发现并应对远端学生因注意力下降或认知超负荷而产生的负向学习状态。

技术实现思路

1、本发明提供了一种基于视频交互的远程专递课堂多教室协同教学方法及系统，以解决现有技术仅能通过识别大幅度肢体动作的统计频次来间接反映远端课堂的表面参与程度，难以及时发现并干预远端学生产生负向学习状态的问题。

2、第一方面，为了解决上述技术问题，本发明提供了一种基于视频交互的远程专递课堂多教室协同教学方法，包括：

3、获取远端教室的连续视频，对所述连续视频进行逐帧解析，提取所述连续视频中远端学生的面部特征点集合；

4、从所述面部特征点集合中提取空间坐标点，确定瞳孔中心相对眼部轮廓的偏移量以及嘴部边缘的形变程度，对所述偏移量进行坐标映射，构建视线方向向量，对所述形变程度进行矩阵变换处理，得到表情数值矩阵；

5、对所述视线方向向量和所述表情数值矩阵进行时间序列对齐，得到同步特征序列并进行插值填充，得到完整特征序列，提取所述完整特征序列中视线偏转与表情变化之间的时序依赖关系，得到数值行为序列；

6、将所述数值行为序列输入预训练的分类模型中，得到所述数值行为序列与预设认知状态标签之间的映射关系概率值，并根据所述映射关系概率值，通过阈值判定，确定所述远端学生的学习状态类别；

7、若所述学习状态类别属于预设负向状态集合，则根据所述学习状态类别检索预先建立的干预规则库，生成针对所述远端学生的教学调控指令，并发送至主讲教室的显示终端。

8、第二方面，本发明提供了一种基于视频交互的远程专递课堂多教室协同教学系统，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的方法。

9、相比于现有技术，本发明具有如下有益效果：

10、（1）本发明通过从远端学生的面部特征点集合中提取瞳孔中心相对眼部轮廓的偏移量以构建视线方向向量，并提取嘴部边缘的形变程度以构建表情数值矩阵，实现了对视线方向细微偏转、嘴部张合程度渐变及面部表情瞬时变化的同步量化感知，从而能够捕获举手、点头等大幅度肢体动作之外的非语言行为信息，克服了现有动作感知技术颗粒度粗糙的问题，显著提升了对远端学生真实课堂状态的感知精度。

11、（2）本发明通过对视线方向向量和表情数值矩阵先后进行时间序列对齐、插值填充及时序依赖关系提取，转化为具有时序依赖关系的数值行为序列，使得视线与表情这两种非语言行为信息在连续时间轴上建立起相互关联的演化规律，从而能够从学生的视线偏转方向和表情变化趋势等角度综合判断其学习状态，解决了现有技术仅能对单帧画面中的孤立行为数据进行判别而无法利用非语言行为在连续时间轴上的变化趋势进行学习状态分析的问题，使学习状态识别结果更符合学生认知状态的实际变化规律。

12、（3）本发明通过将数值行为序列输入分类模型进行状态识别，并在判定远端学生处于负向学习状态时检索干预规则库生成教学调控指令并发送至主讲教室的显示终端，使主讲教师能够在不打断授课节奏的情况下即时获取远端学生的状态异常信息并触发干预，实现了从状态感知到教学干预的闭环，克服了现有方案仅在课后通过问答或测验进行滞后反馈的缺陷，有效提升了远程专递课堂中多教室协同教学的互动时效性与干预精准性。

1.一种基于视频交互的远程专递课堂多教室协同教学方法，其特征在于，包括：

2.根据权利要求1所述的基于视频交互的远程专递课堂多教室协同教学方法，其特征在于，所述对所述连续视频进行逐帧解析，提取所述连续视频中远端学生的面部特征点集合，包括：

3.根据权利要求1所述的基于视频交互的远程专递课堂多教室协同教学方法，其特征在于，所述从所述面部特征点集合中提取空间坐标点，确定瞳孔中心相对眼部轮廓的偏移量以及嘴部边缘的形变程度，包括：

4.根据权利要求1所述的基于视频交互的远程专递课堂多教室协同教学方法，其特征在于，所述对所述偏移量进行坐标映射，构建视线方向向量，对所述形变程度进行矩阵变换处理，得到表情数值矩阵，包括：

5.根据权利要求1所述的基于视频交互的远程专递课堂多教室协同教学方法，其特征在于，所述对所述视线方向向量和所述表情数值矩阵进行时间序列对齐，得到同步特征序列并进行插值填充，得到完整特征序列，包括：

6.根据权利要求1所述的基于视频交互的远程专递课堂多教室协同教学方法，其特征在于，所述提取所述完整特征序列中视线偏转与表情变化之间的时序依赖关系，得到数值行为序列，包括：

7.根据权利要求1所述的基于视频交互的远程专递课堂多教室协同教学方法，其特征在于，所述将所述数值行为序列输入预训练的分类模型中，得到所述数值行为序列与预设认知状态标签之间的映射关系概率值，包括：

8.根据权利要求1所述的基于视频交互的远程专递课堂多教室协同教学方法，其特征在于，所述根据所述映射关系概率值，通过阈值判定，确定所述远端学生的学习状态类别，包括：

9.根据权利要求1所述的基于视频交互的远程专递课堂多教室协同教学方法，其特征在于，所述若所述学习状态类别属于预设负向状态集合，则根据所述学习状态类别检索预先建立的干预规则库，生成针对所述远端学生的教学调控指令，包括：

10.一种基于视频交互的远程专递课堂多教室协同教学系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至9任一项所述的方法。