远程直播课堂实时答疑分流处理方法

本发明涉及视频信号处理，具体的说是远程直播课堂实时答疑分流处理方法。

背景技术：

1、随着视频编码与传输技术的飞速发展，基于h.264/h.265标准的高清直播技术已广泛应用于在线教育领域。远程直播课堂凭借其覆盖范围广、教学成本低的优势，成为了主流的教学形式之一。然而，在大规模直播教学场景下，实时答疑环节始终是制约教学质量提升的关键瓶颈。

2、现有技术中，直播课堂的答疑系统大多基于文本聊天实现，存在诸多难以克服的缺陷。首先，现有系统完全忽略了视频信号中蕴含的丰富教学状态信息，无法感知老师的讲解节奏与实时状态。答疑请求通常会被即时推送给老师或助教，导致老师在讲解关键内容、书写板书或进行实验演示时被频繁打断，严重破坏了教学的连贯性。

3、其次，现有系统大多仅支持文本形式的答疑请求，无法处理语音、手势等非文本提问方式。对于许多学生尤其是低龄学生或表达能力较弱的学生来说，语音或手势是更自然、更便捷的提问方式。现有系统的这一限制极大地降低了学生的提问意愿，导致许多问题无法及时提出。同时，现有ai答疑系统只能提供纯文字答案，缺乏与当前直播内容的上下文关联。当学生对老师刚刚演示的某个操作步骤有疑问时，纯文字答案往往难以清晰解释问题，学生需要反复对照直播内容才能理解，降低了答疑效率。

4、此外，现有系统在计算问题优先级时，仅考虑问题本身的内容特征，完全忽略了学生的情绪状态。当学生表现出明显的困惑或焦虑情绪时，说明其遇到了较大的学习障碍，需要得到及时的关注与帮助。但现有系统无法识别这些情绪信号，导致学习困难的学生的问题往往被淹没在大量请求中，无法得到优先处理。长期下来，这些学生的学习差距会越来越大，严重影响教学公平性。

5、最后，现有分流调度算法大多基于处理节点的静态负载进行资源分配，没有结合答疑窗口的有限时间资源进行动态优化。在答疑高峰期，大量请求会集中涌入，导致高优先级问题无法在有限的答疑时间内得到处理，而低优先级问题却占用了过多的资源。

6、综上所述，现有技术未能解决直播课堂答疑环节的核心问题，存在答疑时机不当、提问方式单一、解答缺乏上下文、忽略学生情绪、资源分配不合理等诸多缺陷，无法满足大规模高质量在线教学的需求。

技术实现思路

1、针对现有技术中的问题，本发明提供了远程直播课堂实时答疑分流处理方法，通过充分挖掘直播视频流中的教学状态信息与学生行为信息，实现精准、高效、非干扰性的实时答疑。

2、本发明解决其技术问题所采用的技术方案是：远程直播课堂实时答疑分流处理方法，包括以下步骤：

3、s1：实时采集主讲端包含老师画面、演示画面与板书画面的多路同步直播视频流，同时采集学生端的文本、语音及手势视频多模态答疑请求；

4、s2：通过视频帧差分分析检测画面切换与板书动作，结合人体关键点检测识别老师肢体状态，配合语音停顿识别技术，综合判断老师的实时教学状态，动态生成与教学节奏匹配的非干扰性答疑窗口；

5、s3：预构建与当前直播课程内容对应的课程知识图谱，每个知识节点关联其在直播视频中的对应时间戳区间与教学重点标签；

6、s4：对多模态答疑请求进行统一语义解析与实体提取，将每个答疑请求映射到知识图谱的一个或多个对应知识节点，并计算该请求与当前直播内容的视频上下文匹配度；

7、s5：对映射到同一知识节点的答疑请求进行跨模态语义相似度计算，将相似度高于预设阈值的请求聚类合并，统计每个聚类簇的学生人数；

8、s6：基于知识节点权重、视频上下文匹配度、提问学生的情绪状态因子平均值以及聚类簇人数，综合计算每个聚类簇的问题优先级；

9、s7：采用三级智能答疑分流架构，结合基于答疑窗口时间片的动态调度算法，在生成的答疑窗口内将不同优先级的问题分配给对应的处理节点；

10、s8：接收各处理节点返回的答疑结果，其中ai答疑节点自动截取问题关联的直播视频片段，与文字答案组合形成多模态答疑结果推送给学生；

11、s9：收集学生对答疑结果的满意度评分，以及学生后续的课堂答题与作业完成数据；

12、s10：根据收集的反馈数据，持续更新课程知识图谱、ai答疑知识库、分流调度参数与答疑窗口生成规则。

13、具体地，步骤s2中所述实时教学状态分为讲解中、书写中、停顿中与互动中四类，仅在停顿中与互动中状态下生成答疑窗口；当检测到老师正在书写板书或进行关键操作演示时，暂停生成答疑窗口。

14、具体地，步骤s4中所述视频上下文匹配度根据答疑请求映射的知识节点对应的直播时间戳与当前直播时间的差值计算，差值越小匹配度越高。

15、具体地，步骤s6中所述问题优先级的计算公式为：

16、优先级p=w×c×e×n；

17、其中，w为知识节点权重，c为视频上下文匹配度，e为聚类簇内学生情绪状态因子的平均值，n为聚类簇的学生人数。

18、具体地，步骤s7中所述基于答疑窗口时间片的动态调度算法具体包括：

19、将每个答疑窗口的总时长划分为多个等长时间片；

20、根据各聚类簇的问题优先级，按比例分配对应数量的时间片；

21、优先级高于预设阈值的问题优先分配连续时间片，确保在当前答疑窗口内得到处理；

22、实时监测各处理节点的负载状态，动态调整时间片分配比例。

23、具体地，步骤s7中所述三级智能答疑分流架构的分流规则为：

24、第一级ai答疑机器人处理所有优先级低于第一阈值且ai知识库中存在匹配答案的问题；

25、第二级按知识领域分工的助教团队处理优先级介于第一阈值与第二阈值之间的问题，以及ai答疑机器人无法解决的问题；

26、第三级主讲老师处理优先级高于第二阈值的问题，以及助教团队无法解决的问题。

27、具体地，步骤s8中所述ai答疑节点自动截取直播视频片段的具体方法为：

28、根据答疑请求映射的知识节点对应的直播时间戳区间，向前回溯10秒向后延伸5秒截取视频片段；

29、对截取的视频片段进行关键帧提取与h.265压缩处理，生成适合快速传输的短视频文件；

30、将短视频文件与文字答案按预设格式组合，形成多模态答疑结果。

31、具体地，所述学生情绪状态因子通过分析学生端摄像头采集的面部表情视频计算得出，重点识别困惑、焦虑与专注三种情绪状态，困惑与焦虑情绪会提高对应的情绪状态因子值。

32、具体地，步骤s10中所述持续更新具体包括：

33、将满意度评分低于预设阈值且后续答题正确率较低的答疑结果标记为待优化，推送给课程团队进行改进；

34、将未解决的问题与对应的多模态请求添加到ai答疑知识库的待训练集，定期对模型进行微调；

35、根据各知识领域的问题分布与处理时长，动态调整助教团队的分工与分流阈值。

36、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法。

37、本发明的有益效果：

38、（1）实现非干扰性实时答疑，保障教学节奏的连贯性：通过视频帧差分分析、人体关键点检测与语音停顿识别技术的融合应用，精准判断老师的实时教学状态，仅在教学停顿或互动环节动态生成答疑窗口，在老师书写板书、进行关键操作演示时自动暂停答疑推送，从根本上解决了现有技术中答疑请求即时推送导致教学被频繁打断的问题，确保课堂讲解的完整性与流畅性。

39、（2）支持全链路多模态交互，大幅提升答疑体验与效率：一方面兼容文本、语音、手势等多种学生提问方式，降低了不同表达能力学生的提问门槛，充分激发学生的提问意愿；另一方面ai答疑节点可自动生成结合直播视频片段与文字的多模态答疑结果，将抽象的知识点讲解与课堂实时演示内容相结合，解决了纯文字答案难以清晰解释操作步骤、概念对比等问题的痛点，显著提升学生对答疑内容的理解效率。

40、（3）构建多维度问题优先级体系，兼顾教学公平与共性需求：综合知识点重要程度、问题与当前教学内容的上下文关联度、学生情绪状态以及问题的共性程度计算问题优先级，能够优先处理涉及核心重难点、与课堂内容高度相关的共性问题，同时重点关注表现出困惑、焦虑情绪的学习困难学生，避免其问题被海量请求淹没，有效缩小不同学生之间的学习差距，保障大规模直播教学的公平性。

41、（4）三级智能分流结合动态调度，实现教学资源的最优配置：搭建ai答疑机器人、领域分工助教、主讲老师的三级答疑架构，实现不同难度问题的分层处理，让主讲老师专注于核心疑难问题的解答，大幅降低其答疑负担；同时基于答疑窗口时间片的动态调度算法，根据问题优先级按比例分配处理时间，并实时监测各节点负载进行资源动态调整，有效避免了资源闲置与过载问题，显著提升了大规模直播课堂的答疑处理能力。

42、（5）建立闭环反馈优化机制，实现系统的持续自适应进化：通过收集学生对答疑结果的满意度评分、后续课堂答题与作业完成情况等多维度反馈数据，能够持续迭代优化课程知识图谱、ai答疑知识库、分流调度参数与答疑窗口生成规则，使系统不断适配不同学科、不同教学风格的课程需求，长期保持并提升答疑质量与教学适配性。

43、（6）深度融合课程知识图谱，强化答疑的精准性与针对性：预构建与直播课程内容对应的结构化知识图谱，并将每个答疑请求精准映射到对应的知识节点，使答疑内容始终围绕课堂教学内容展开，避免了脱离教学上下文的泛化解答，确保答疑结果与学生的学习进度和知识盲区高度匹配。