基于视频引擎的学术视频关键帧的提取方法、装置及设备与流程

本发明涉及视频图像处理，具体涉及一种基于视频引擎的学术视频关键帧的提取方法、装置及设备。

背景技术：

1、视频引擎是一套模块化、可调度，能够完整覆盖视频全生命周期处理的底层软件核心框架，负责统一调度视频读取、解码、帧提取、图像预处理、多线程调度、渲染/导出、任务状态管理等全流程，对外提供标准化调用接口，是视频处理业务的底层驱动核心。

2、学术视频是指以学术教学、课题汇报、行业研讨、科研宣讲为核心目的录制的视频载体。学术视频的画面载体通常以幻灯片（ppt，powerpoint presentation）为主，且在视频播放过程中，存在单页幻灯片长时间静止、翻页瞬间内容突变，以及文字、规划图纸、图表高度密集的情况。

3、由于原始学术视频中的视频帧数量庞大、存储占用高，为了用少量静态图像完整还原原始学术视频中包含的学术信息，通常从原始学术视频中提取关键帧，将关键帧合并成文档载体（如pdf，portable document format，便携式文档格式）以便传阅存档。

4、目前，基于视频引擎进行关键帧提取的方式，通常采用逐帧相似度对比的检测逻辑。该处理方式需要对全部抽帧图像两两执行完整的特征比对计算。由于学术视频幻灯片静态停留时段会产生大量高度相似的冗余帧，逐帧对比会对大量重复画面重复执行相似度运算，产生无效计算开销，拉长整体处理耗时。

技术实现思路

1、本发明目的在于提供一种基于视频引擎的学术视频关键帧的提取方法、装置及设备，通过第一图片的综合信息丰富度确定跳变步长，减少冗余帧的对比量，解决了现有逐帧对比提取关键帧效率低的问题。

2、本发明通过下述技术方案实现：

3、本申请第一方面提供了一种基于视频引擎的学术视频关键帧的提取方法，包括：

4、获取学术视频的视频元信息，且基于元信息确定所述学术视频的抽帧时间间隔；

5、按照所述抽帧时间间隔对所述学术视频进行顺序抽帧，以生成按照时间顺序编号的图片序列；

6、从所述图片序列中提取第一图片，基于第一图片的文本信息密度和视觉元素丰富度，确定第一图片的综合信息丰富度；

7、根据所述综合信息丰富度，以及预设的综合信息丰富度与跳变步长的映射关系，确定初始跳变步长；

8、基于所述第一图片的图片编号与所述初始跳变步长确定第二图片；

9、将第一图片与第二图片进行相似度比较，得到相似度结果；若相似度结果不大于预设相似度阈值，则将第二图片作为关键帧且存入关键帧集合。

10、在一种可行的实现方式中，所述方法还包括：

11、在确定第二图片为关键帧后，将所述第二图片作为新的第一图片，基于新的第一图片的编号及对应新的第一图片的初始跳变步长确定新的第二图片，比较新的第一图片与新的第二图片的相似度。

12、在一种可行的实现方式中，所述方法还包括：

13、在确定第二图片为关键帧后，减小所述初始跳变步长的值以确定新的跳变步长；

14、基于第一图片的编号和新的跳变步长，确定新的第二图片；

15、比较第一图片与新的第二图片的相似度。

16、在一种可行的实现方式中，所述方法还包括：

17、若相似度结果大于预设相似度阈值，则将第二图片作为新的第一图片，基于新的第一图片的图片编号与对应新的第一图片的初始跳变步长确定新的第二图片，比较新的第一图片与新的第二图片的相似度，以提取关键帧。

18、在一种可行的实现方式中，所述将第一图片与第二图片进行相似度比较，包括：

19、提取第一图片和第二图片中的文字数量；

20、若所述文字数量超过预设的文字数量阈值，则基于文字内容的相似度算法，比较第一图片和第二图片的相似度；

21、若所述文字数量未超过预设的文字数量阈值，则采用基于图像特征的相似度算法，比较第一图片和第二图片的相似度。

22、在一种可行的实现方式中，所述方法还包括：

23、将提取的所述关键帧与预设的例外图库中的图片进行相似度比较；

24、若相似度比较结果超过预设的例外排除阈值，则将所述关键帧从关键帧集合中移除。

25、在一种可行的实现方式中，所述方法还包括：

26、将所述图片序列分为多个连续的子图片序列；

27、在每个子图片序列中提取第一图片，执行第一图片与第二图片的相似度比对，将每个子图片序列提取的关键帧按时间顺序合并至关键帧集合中。

28、在一种可行的实现方式中，所述方法还包括：

29、根据学术视频特征，针对帧空间变化部分设置局部检测窗口，截取第一图片、第二图片的窗口区域图像，比较第一图片的局部检测窗口和第二图片的局部检测窗口的相似度。

30、本申请第二方面提供了一种基于视频引擎的学术视频关键帧的提取装置，包括：

31、抽帧间隔确定单元，用于获取学术视频的视频元信息，且基于元信息确定所述学术视频的抽帧时间间隔；

32、图片序列生成单元，用于按照所述抽帧时间间隔对所述学术视频进行顺序抽帧，以生成按照时间顺序编号的图片序列；

33、综合信息丰富度确定单元，用于从所述图片序列中提取第一图片，基于第一图片的文本信息密度和视觉元素丰富度，确定第一图片的综合信息丰富度；

34、初始跳变步长确定单元，用于根据所述综合信息丰富度，以及预设的综合信息丰富度与跳变步长的映射关系，确定初始跳变步长；

35、第二图片确定单元，基于所述第一图片的图片编号与所述初始跳变步长确定第二图片；

36、关键帧提取单元，用于将第一图片与第二图片进行相似度比较，得到相似度结果；若相似度结果不大于预设相似度阈值，则将第二图片作为关键帧且存入关键帧集合。

37、本申请第三方面提供了一种电子设备，包括：处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现上述方法的步骤。

38、本发明与现有技术相比，具有如下的优点和有益效果：

39、本申请实施例通过视频引擎解析视频元信息完成抽帧得到有序图片序列，通过对第一图片（基准帧）的文本信息密度、视觉元素丰富度计算综合信息丰富度，再结合综合信息丰富度与跳变步长的映射关系自适应匹配初始跳变步长，依据该跳变步长间隔选取第二图片（间隔帧），进行基准帧与间隔帧的相似度比对，将差异超过阈值的画面收录为关键帧。由于图片中的综合信息丰富度与讲解时长存在正比关系，为综合信息丰富度高的图片匹配更大的初始跳变步长，能够减少冗余帧的比较次数，提高关键帧提取的效率。

1.一种基于视频引擎的学术视频关键帧的提取方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述将第一图片与第二图片进行相似度比较，包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

9.一种基于视频引擎的学术视频关键帧的提取装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括：处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-8任一项所述方法的步骤。