音视频处理方法、装置、计算机设备、可读存储介质和程序产品与流程

摘要: 本技术涉及多媒体数据处理,特别是涉及一种音视频处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。背景技术:1、在当前的在线教育、内容创作等领域,视...
音视频处理方法、装置、计算机设备、可读存储介质和程序产品与流程

本技术涉及多媒体数据处理,特别是涉及一种音视频处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术:

1、在当前的在线教育、内容创作等领域,视频内容的生产通常依赖于多阶段的后期制作流程。以典型的教学视频制作为例,其流程一般包括:录制原始视频、通过人工或自动语音识别转写音频内容、对转写文本进行人工精校与改写、利用配音员或文本转语音系统重新生成音频、通过人工剪辑调整视频画面以匹配新生成的音频,最终进行合成与输出。

2、该流程存在生产效率低、成本高的问题,主要原因在于依赖大量人工操作,具体为:视频剪辑需逐帧调整以对齐新音频,文本需人工修改为适宜朗读的口语化表达,以及整体音画同步需要进行精细的手工校对。这一过程耗时较长,例如,处理一段时长2小时的视频往往需要3至4小时甚至更多的人工处理时间。随着处理规模的扩大,例如在多学科、多版本课程的情况下,所需的人力成本与生产周期成为显著的制约因素。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够实现音频讲解更加自然、连贯,音画精确同步的音视频处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面,本技术提供了一种音视频处理方法,包括:

3、响应于接收到目标音视频的处理请求,获取所述目标音视频的语音识别文本及所述目标音视频包括的多个视频片段,所述多个视频片段包括与所述语音识别文本中各语句对应的语句视频片段;

4、将所述语音识别文本输入至预训练的文本处理模型,以使得所述文本处理模型基于设定规则输出改写后的语音识别文本及所述改写后的语音识别文本中各语句的情感分类标签;

5、将所述改写后的语音识别文本中相邻且情感分类标签相同的目标语句进行合并,得到目标段落,并基于所述目标段落及对应的情感分类标签,生成段落音频片段;

6、获取所述段落音频片段的语音识别结果,并基于所述语音识别结果,将所述段落音频片段切分为多个第一语句音频片段;

7、基于所述改写后的语音识别文本中除了所述目标语句之外的非目标语句及对应的情感分类标签,生成第二语句音频片段;

8、基于所述第一语句音频片段和所述第二语句音频片段,生成目标音频流;

9、基于所述第一语句音频片段和第二语句音频片段的时长对所述多个视频片段中对应的语句视频片段进行变速处理,生成目标视频流;

10、基于所述目标音频流和所述目标视频流,生成处理后的目标音视频。

11、在其中一个实施例中,所述语音识别结果包括时间戳;所述基于所述语音识别结果,将所述段落音频片段切分为多个第一语句音频片段包括:

12、基于所述时间戳,将所述段落音频片段切分为与所述目标语句一一对应的多个第一语句音频片段。

13、在其中一个实施例中,所述将所述语音识别文本输入至预训练的文本处理模型,以使得所述文本处理模型基于设定规则输出改写后的语音识别文本及所述改写后的语音识别文本中各语句的情感分类标签包括:

14、将所述语音识别文本输入至预训练的文本处理模型,使得所述文本处理模型调用大语言模型服务接口,将包含设定规则的处理指令和所述语音识别文本发送至大语言模型,接收大语言模型的返回的改写后的语音识别文本及所述改写后的语音识别文本中各语句的情感分类标签并输出;其中,所述设定规则包含场景适配规则和情感分类维度。

15、在其中一个实施例中,所述基于所述第一语句音频片段和第二语句音频片段的时长对所述多个视频片段中对应的语句视频片段进行变速处理,生成目标视频流包括:

16、遍历所述多个视频片段,计算得到当前语句视频片段与对应第一语句音频片段或第二语句音频片段的时长比率,基于所述时长比率对所述当前语句视频片段进行变速处理;

17、基于所有经过变速处理后的语句视频片段,生成目标视频流。

18、在其中一个实施例中,在所述基于所述目标音频流和所述目标视频流,生成处理后的目标音视频,之后包括:

19、基于所述改写后的语音识别文本或所述目标音频流,驱动数字人模型生成数字人的口型动画;

20、基于所述情感分类标签,驱动所述数字人模型生成所述数字人的表情动画;

21、将所述数字人叠加至所述目标音视频背景中的目标区域。

22、在其中一个实施例中,在所述将所述改写后的语音识别文本中相邻且情感分类标签相同的目标语句进行合并,得到目标段落,并基于所述目标段落及对应的情感分类标签,生成段落音频片段,之前包括:

23、将所述改写后的语音识别文本及所述改写后的语音识别文本中各语句的情感分类标签导出至表格文件;

24、响应于接收到更新后的表格文件,基于所述更新后的表格文件,更新所述改写后的语音识别文本及所述改写后的语音识别文本中各语句的情感分类标签。

25、第二方面,本技术还提供了一种音视频处理装置,包括:

26、请求响应模块,用于响应于接收到目标音视频的处理请求,获取所述目标音视频的语音识别文本及所述目标音视频包括的多个视频片段,所述多个视频片段包括与所述语音识别文本中各语句对应的语句视频片段;

27、模型处理模块,用于将所述语音识别文本输入至预训练的文本处理模型,以使得所述文本处理模型基于设定规则输出改写后的语音识别文本及所述改写后的语音识别文本中各语句的情感分类标签;

28、音频生成模块,用于将所述改写后的语音识别文本中相邻且情感分类标签相同的目标语句进行合并,得到目标段落,并基于所述目标段落及对应的情感分类标签,生成段落音频片段;

29、音频切分模块,用于获取所述段落音频片段的语音识别结果,并基于所述语音识别结果,将所述段落音频片段切分为多个第一语句音频片段;

30、所述音频生成模块,还用于基于所述改写后的语音识别文本中除了所述目标语句之外的非目标语句及对应的情感分类标签,生成第二语句音频片段;

31、音频流生成模块,用于基于所述第一语句音频片段和所述第二语句音频片段,生成目标音频流;

32、视频流生成模块,用于基于所述第一语句音频片段和第二语句音频片段的时长对所述多个视频片段中对应的语句视频片段进行变速处理,生成目标视频流;

33、合成模块,用于基于所述目标音频流和所述目标视频流,生成处理后的目标音视频。

34、第三方面,本技术还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述的方法的步骤。

35、第四方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

36、第五方面,本技术还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

37、上述音视频处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,通过预训练的文本处理模型对语音识别文本进行优化改写并赋予情感分类标签,能够实现音频生成与文本语义、情感的适配,使得改写后的文本符合目标场景的表达习惯,音频讲解更加自然、连贯;且通过将相邻且情感分类标签相同的目标语句合并为目标段落并生成段落音频片段,能够最大程度保留语音的情感连贯性,进而通过对段落音频片段再次进行语音识别,获得精确的内部时间戳并切分得到第一语句音频片段,同时针对非目标语句生成第二语句音频片段,确保所有语句均有对应的精准音频片段,结合各音频片段的时长对对应语句视频片段进行变速处理,能够进一步保证变速后音画的精确同步,减少变速后音画分离、卡顿的问题。