一种教学讲稿和教学视频生成方法、装置、电子设备及存储介质与流程

本发明涉及计算机处理，尤其涉及一种教学讲稿和教学视频生成方法、装置、电子设备及存储介质。

背景技术：

1、随着在线教育与企业培训市场的快速增长，教学视频已成为知识传播的核心载体。现有的教学视频制作技术中，一旦某个环节修改（如教学讲稿调整），那么后续所有环节都需全部重做，以及重新渲染全片。另外，字幕时间的精度也存在不足：现有的语音识别工具输出的时间戳通常为句段级别（sentence-level），典型精度在±300至500毫秒，但这样的句段级时间戳是远不能满足实际需求的。因此，现有的教学视频制作技术中存在着诸多需要改善解决的问题。

技术实现思路

1、本发明提供一种教学讲稿和教学视频生成方法、装置、电子设备及存储介质，可以实现端到端的自动化教学视频生成，同时所生成的成品视频的字幕时间精度显著提升，画面中目标词的标注定位准确性显著提升，迭代更新成本也能够大幅降低。

2、第一方面，本发明提供了一种教学讲稿和教学视频生成方法，包括：

3、基于演示文稿数据的文本内容，分别生成每页幻灯片图像对应的讲稿文本，所述讲稿文本用于对所述文本内容进行口播讲解；

4、基于每页幻灯片图像对应的所述讲稿文本，生成具有口播音频的基础视频；

5、将所述讲稿文本与所述基础视频对应的asr词时间表进行逐文字对齐，以得到字幕时间轴，并基于所述字幕时间轴和所述讲稿文本对所述基础视频进行字幕烧录，得到中间视频；其中，所述asr词时间表基于所述基础视频中包含的音频数据生成，所述字幕时间轴用于指示所述讲稿文本中各个讲稿句子分别在所述中间视频的字幕中进行显示的开始时间和结束时间；

6、基于目标词对应的原生文本框定位结果和ocr识别定位结果，确定所述目标词的精准定位结果，并基于所述精准定位结果对所述中间视频画面中出现的所述目标词进行视觉标注处理，得到成品视频。

7、第二方面，本发明还提供了一种教学讲稿和教学视频生成装置，包括：

8、讲稿文本生成模块，用于基于演示文稿数据的文本内容，分别生成每页幻灯片图像对应的讲稿文本，所述讲稿文本用于对所述文本内容进行口播讲解；

9、基础视频生成模块，用于基于每页幻灯片图像对应的所述讲稿文本，生成具有口播音频的基础视频；

10、中间视频生成模块，用于将所述讲稿文本与所述基础视频对应的asr词时间表进行逐文字对齐，以得到字幕时间轴，并基于所述字幕时间轴和所述讲稿文本对所述基础视频进行字幕烧录，得到中间视频；其中，所述asr词时间表基于所述基础视频中包含的音频数据生成，所述字幕时间轴用于指示所述讲稿文本中各个讲稿句子分别在所述中间视频的字幕中进行显示的开始时间和结束时间；

11、成品视频生成模块，用于基于目标词对应的原生文本框定位结果和ocr识别定位结果，确定所述目标词的精准定位结果，并基于所述精准定位结果对所述中间视频画面中出现的所述目标词进行视觉标注处理，得到成品视频。

12、第三方面，本发明实施例中还提供了一种电子设备，包括：

13、一个或多个处理器；

14、存储装置，用于存储一个或多个程序，

15、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例中提供的教学讲稿和教学视频生成方法。

16、第四方面，本发明实施例中还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例中提供的教学讲稿和教学视频生成方法。

17、本发明实施例的技术方案，基于演示文稿数据的文本内容，分别生成每页幻灯片图像对应的讲稿文本，该讲稿文本用于对文本内容进行口播讲解；然后，基于每页幻灯片图像对应的讲稿文本，生成具有口播音频的基础视频；接着，将讲稿文本与基础视频对应的asr词时间表进行逐文字对齐，以得到字幕时间轴，并基于字幕时间轴和讲稿文本对基础视频进行字幕烧录，得到中间视频；其中，该asr词时间表基于基础视频中包含的音频数据生成，字幕时间轴用于指示讲稿文本中各个讲稿句子分别在中间视频的字幕中进行显示的开始时间和结束时间，从而能够实现毫秒级（±50ms）的逐字时间对齐精度，使得对齐精度具有数倍的提升；最后，基于目标词对应的原生文本框定位结果和ocr识别定位结果，确定目标词的精准定位结果，通过双源融合定位的方法确定出目标词的精准定位结果，并基于精准定位结果对中间视频画面中出现的目标词进行视觉标注处理，得到成品视频。采用本方案，通过对视频生成过程中各个阶段处理内容进行解耦，能够实现端到端的自动化教学视频生成，同时所生成的成品视频的字幕时间精度显著提升，画面中目标词的标注定位准确性显著提升，同时迭代更新成本也大幅降低。

18、上述 技术实现要素： 仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

1.一种教学讲稿和教学视频生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述讲稿文本与所述基础视频对应的asr词时间表进行逐文字对齐，以得到字幕时间轴，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述待对齐讲稿文本中依次出现的各个讲稿句子分别与所述待对齐asr词时间表进行对齐匹配，得到预设数量个候选对齐路径，包括：

4.根据权利要求3所述的方法，其特征在于，所述将当前讲稿句子与所述待对齐asr词时间表进行对齐匹配，确定所述当前讲稿句子对应的所述对齐匹配结果，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于目标词对应的原生文本框定位结果和ocr识别定位结果，确定所述目标词的精准定位结果，包括：

6.根据权利要求5所述的方法，其特征在于，所述预设评估维度包括以下的至少一个维度：相似度维度、宽高比约束维度、最小面积约束维度、跨行得分维度、预期偏离度维度；

7.根据权利要求1所述的方法，其特征在于，所述基于所述精准定位结果对所述中间视频画面中出现的所述目标词进行视觉标注处理，得到成品视频，包括：

8.一种教学讲稿和教学视频生成装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的教学讲稿和教学视频生成方法。