一种培训视频智能处理方法及系统与流程

本技术属于视频处理，尤其涉及一种培训视频智能处理方法及系统。

背景技术：

1、随着教育培训行业数字化转型的推进，录播课程和在线培训已成为主流教学形式，培训视频中包括大量板书、公式、实操演示等教学内容，视频处理效果直接影响学生的学习体验，在k12教育、职业技能培训及成人教育等场景中具有广泛的应用需求。

2、目前，培训视频处理主要采用统一的编码压缩方式对视频进行压缩传输，对画面中不同区域施加相同或相近的编码参数，部分方案在此基础上结合学生的暂停频次、回放频次等行为数据对教学难点进行分析，以辅助教师了解学情。

3、然而，上述方案中视频编码压缩策略的制定与学生观看视频后产生的行为反馈相互独立，无法判断视频中特定区域的画质状态是否对学生理解该区域所承载的教学内容产生了实际影响，也无法将学生学习反馈中反映出的问题与画面中具体区域的画质处理策略建立关联，导致后续未播放内容及复习内容的画质处理缺乏针对性根据。因此，现有技术中存在因视频画质处理策略与学生学习反馈脱节、无法根据学生反馈数据对特定区域的画质处理进行针对性调整而导致培训视频智能处理不足的技术问题。

技术实现思路

1、本技术目的是提供一种培训视频智能处理方法及系统，以解决现有技术中培训视频智能处理不足的问题。

2、为解决上述技术问题，第一方面，本技术提供一种培训视频智能处理方法，包括：

3、获取培训视频和知识点时间轴；

4、对培训视频进行帧分割和内容识别，将知识点时间轴对应时段内承载教学内容的图像区域作为关键区域；

5、以关键区域的外扩区域为边缘区域，以与边缘区域邻接且未标记为关键区域的图像区域为非关键区域；

6、基于关键区域、边缘区域和非关键区域生成第一编码重建版本和第二编码重建版本，第一编码重建版本降低边缘区域和非关键区域的保真等级，第二编码重建版本提高关键区域和边缘区域的保真等级，保真等级由编码参数和重建参数确定；

7、播放第一编码重建版本和第二编码重建版本对应时段后，在预设反应时间窗内采集暂停次数、回放次数和答题错误数量作为响应项数据；

8、对比第一编码重建版本与第二编码重建版本的响应项数据，确定区域画质关联异常，并将第一编码重建版本与第二编码重建版本间保真等级不同的区域确定为画质关联区域；

9、根据画质关联区域更新对应知识点的编码保护区域范围，并调整未播放视频帧和复习视频段中编码保护区域范围内区域的编码参数和重建参数。

10、可选地，教学内容包括板书、公式、课件文字和实操动作；

11、对培训视频进行帧分割和内容识别，将知识点时间轴对应时段内承载教学内容的图像区域作为关键区域，包括：

12、对培训视频进行帧分割得到多个视频帧，对知识点时间轴对应时段内的多个视频帧进行文字识别和目标检测，得到承载教学内容的图像区域；

13、确定置信度大于或等于预设置信度阈值的图像区域为关键区域。

14、可选地，以关键区域的外扩区域为边缘区域，以与边缘区域邻接且未标记为关键区域的图像区域为非关键区域，包括：

15、确定关键区域的最小外接矩形为外扩基准，根据预设的视频帧尺寸比例确定外扩距离，按照外扩距离对外扩基准进行外扩得到外扩区域作为边缘区域；

16、确定与边缘区域的边界距离小于或等于预设邻接距离且未被标记为关键区域的图像区域为非关键区域。

17、可选地，编码参数包括码率分配参数和量化参数，重建参数包括边缘增强参数和超分辨率重建参数；

18、基于关键区域、边缘区域和非关键区域生成第一编码重建版本和第二编码重建版本，包括：

19、分别为关键区域、边缘区域和非关键区域配置对应的编码参数和重建参数，并通过对编码参数和重建参数进行映射，得到保真等级；

20、保持关键区域的编码参数和重建参数不变，并降低边缘区域和非关键区域的保真等级，生成第一编码重建版本；

21、提高关键区域和边缘区域的保真等级，并保持非关键区域的编码参数和重建参数不变，生成第二编码重建版本。

22、可选地，播放第一编码重建版本和第二编码重建版本对应时段后，在预设反应时间窗内采集暂停次数、回放次数和答题错误数量作为响应项数据，包括：

23、根据知识点时间轴确定第一编码重建版本和第二编码重建版本对应的知识点时段；

24、在知识点时段的结束时刻后，启动预设反应时间窗，预设反应时间窗根据知识点时段的持续时长确定；

25、在预设反应时间窗内采集暂停次数、回放次数和答题错误数量作为响应项数据。

26、可选地，对比第一编码重建版本与第二编码重建版本的响应项数据，确定区域画质关联异常，包括：

27、计算第一编码重建版本和第二编码重建版本对应的相同类型的响应项数据的数据差值；

28、确定数据差值大于或等于对应的预设差值阈值的响应项数据为目标响应项数据，预设差值阈值根据对应响应项数据的历史均值确定；

29、当第一编码重建版本的目标响应项数据大于第二编码重建版本的目标响应项数据时，确定异常类型为区域画质关联异常。

30、可选地，方法还包括：

31、获取知识点的逻辑关联关系；

32、当不存在目标响应项数据时，根据逻辑关联关系确定与第一编码重建版本和第二编码重建版本对应的知识点存在依赖关系的前置知识点；

33、当前置知识点的答题正确率小于预设正确率阈值时，确定异常类型为内容理解关联异常，并保持第一编码重建版本和第二编码重建版本对应的知识点的编码保护区域范围不变。

34、可选地，根据画质关联区域更新对应知识点的编码保护区域范围，并调整未播放视频帧和复习视频段中编码保护区域范围内区域的编码参数和重建参数，包括：

35、当画质关联区域仅包括关键区域时，将编码保护区域范围更新为覆盖关键区域，当画质关联区域包括边缘区域且不包括非关键区域时，将编码保护区域范围更新为覆盖关键区域和边缘区域，当画质关联区域包括非关键区域时，将编码保护区域范围更新为覆盖关键区域、边缘区域和非关键区域；

36、以产生区域画质关联异常的播放进度之后的未播放视频帧和根据知识点时间轴对应时段生成的复习视频段为调整对象，分别对调整对象中位于编码保护区域范围内的区域的编码参数和重建参数进行调整，并提高保真等级。

37、第二方面，本技术提供了一种培训视频智能处理系统，包括：

38、获取模块，用于获取培训视频和知识点时间轴；

39、确定模块，用于对培训视频进行帧分割和内容识别，将知识点时间轴对应时段内承载教学内容的图像区域作为关键区域；

40、确定模块，还用于以关键区域的外扩区域为边缘区域，以与边缘区域邻接且未标记为关键区域的图像区域为非关键区域；

41、生成模块，用于基于关键区域、边缘区域和非关键区域生成第一编码重建版本和第二编码重建版本，第一编码重建版本降低边缘区域和非关键区域的保真等级，第二编码重建版本提高关键区域和边缘区域的保真等级，保真等级由编码参数和重建参数确定；

42、生成模块，还用于播放第一编码重建版本和第二编码重建版本对应时段后，在预设反应时间窗内采集暂停次数、回放次数和答题错误数量作为响应项数据；

43、确定模块，还用于对比第一编码重建版本与第二编码重建版本的响应项数据，确定区域画质关联异常，并将第一编码重建版本与第二编码重建版本间保真等级不同的区域确定为画质关联区域；

44、调整模块，用于根据画质关联区域更新对应知识点的编码保护区域范围，并调整未播放视频帧和复习视频段中编码保护区域范围内区域的编码参数和重建参数。

45、第三方面，本技术提供了一种电子设备，包括：

46、存储器，用于存储计算机程序；

47、处理器，用于执行所述计算机程序时实现如上述第一方面所述的培训视频智能处理方法的步骤。

48、第四方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时能够实现如上述第一方面所述的培训视频智能处理方法的步骤。

49、本技术所提供的培训视频智能处理方法，针对现有培训视频处理中编码压缩策略与学生学习反馈相互独立的问题，通过对培训视频画面划分关键区域、边缘区域和非关键区域，分别生成对不同区域施加不同保真等级的两个编码重建版本，并在学生实际播放后采集暂停次数、回放次数和答题错误数量等响应项数据进行对比，能够识别出两个版本间画质差异与学生学习反馈差异之间的关联关系。

50、从而将学生反馈中反映出的问题定位至视频画面中具体的画质关联区域，进而更新对应知识点的编码保护区域范围，并对未播放视频帧和复习视频段中该范围内区域的编码参数和重建参数进行针对性调整。本技术解决了现有技术中视频画质处理策略与学生学习反馈脱节、无法对特定区域的画质处理进行针对性调整的技术问题。

51、进一步地，针对培训视频中教学内容类型多样、内容区域识别准确性难以保证的问题，本技术通过对知识点时间轴对应时段内的视频帧进行文字识别和目标检测，分别识别视频帧中板书、公式、课件文字和实操动作等承载教学内容的图像区域，并以置信度阈值为筛选根据确定关键区域，使关键区域的划定与视频画面中实际承载教学内容的区域相对应。