一种音频处理的方法及装置与流程

本说明书实施例涉及语音处理，特别涉及一种音频处理的方法及装置。

背景技术：

1、随着互联网技术的飞速发展，跨语言视频内容快速发展，跨语言视频内容在流媒体、短视频生成领域中广泛应用。其中，跨语言视频内容涉及视频翻译，视频翻译可以理解为是将一种语言的视频内容翻译成为另外一种语言的视频内容，例如将英文视频翻译为中文视频。

2、在进行视频翻译的过程中涉及文本识别（即将视频中的音频识别为文本）、翻译（即视频中音频翻译成目标语言的文本）、语音合成（即将目标语言的文本转换为目标语言的音频）。目前在做视频翻译的过程中往往独立执行针对初始视频中音频的文本识别、翻译以及语音合成的环节。以及，视频翻译之后得到的音频需要回填至视频中，且需要在保留视频画面、字幕时间轴与视频节奏的前提下，将视频中的音频替换为目标语言的音频，并回填目标语言的字幕，故若文本识别、翻译与语音合成彼此独立进行。这样的情况下，由于实际应用中存在用户针对视频中的字幕进行个性化修改的情况，就需要重新单独执行视频翻译的每个环节，从而增加生成目标视频的难度且生成效率低下。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种音频处理的方法。本说明书一个或者多个实施例同时涉及一种应用于云侧设备的音频处理的方法，一种音频处理的装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面，提供了一种音频处理的方法，包括：

3、获取初始音频对应的初始文本，并生成至少两个初始文本片段对应的初始基础信息，其中，所述至少两个初始文本片段基于所述初始文本获得，初始基础信息包括初始文本片段对应的目标文本片段、目标音频片段，目标文本片段基于翻译信息对初始文本片段翻译生成，目标音频片段基于对应的目标文本片段合成；

4、在对所述初始文本中的待修改文本片段进行修改的情况下，获取所述待修改文本片段对应的待修改基础信息以及修正文本片段，基于所述修正文本片段更新所述待修改基础信息中的目标音频片段，获得修正基础信息；

5、根据所述修正基础信息以及初始基础信息，生成所述初始音频对应的目标音频。

6、根据本说明书实施例的第二方面，提供了一种音频处理的方法，应用于云侧设备，包括：

7、接收端侧设备发送的音频处理请求，其中，所述音频处理请求携带初始音频；

8、获取初始音频对应的初始文本，并生成至少两个初始文本片段对应的初始基础信息，其中，所述至少两个初始文本片段基于所述初始文本获得，初始基础信息包括初始文本片段对应的目标文本片段、目标音频片段，目标文本片段基于翻译信息对初始文本片段翻译生成，目标音频片段基于对应的目标文本片段合成；

9、在对所述初始文本中的待修改文本片段进行修改的情况下，获取所述待修改文本片段对应的待修改基础信息以及修正文本片段，基于所述修正文本片段更新所述待修改基础信息中的目标音频片段，获得修正基础信息；

10、根据所述修正基础信息以及初始基础信息，生成所述初始音频对应的目标音频；

11、将所述目标音频发送至所述端侧设备。

12、根据本说明书实施例的第三方面，提供了一种音频处理的装置，包括：

13、第一获取模块，被配置为获取初始音频对应的初始文本，并生成至少两个初始文本片段对应的初始基础信息，其中，所述至少两个初始文本片段基于所述初始文本获得，初始基础信息包括初始文本片段对应的目标文本片段、目标音频片段，目标文本片段基于翻译信息对初始文本片段翻译生成，目标音频片段基于对应的目标文本片段合成；

14、第一更新模块，被配置为在对所述初始文本中的待修改文本片段进行修改的情况下，获取所述待修改文本片段对应的待修改基础信息以及修正文本片段，基于所述修正文本片段更新所述待修改基础信息中的目标音频片段，获得修正基础信息；

15、第一生成模块，被配置为根据所述修正基础信息以及初始基础信息，生成所述初始音频对应的目标音频。

16、根据本说明书实施例的第四方面，提供了一种计算设备，包括：

17、存储器和处理器；

18、所述存储器用于存储计算机程序/指令，所述处理器用于执行所述计算机程序/指令，该计算机程序/指令被处理器执行时实现上述音频处理的方法的步骤。

19、根据本说明书实施例的第五方面，提供了一种电子设备，包括：

20、存储器和处理器，所述存储器和所述处理器通过总线连接；

21、所述存储器用于存储计算机程序/指令，所述处理器用于执行所述计算机程序/指令，该计算机程序/指令被处理器执行时实现上述音频处理的方法的步骤。

22、根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述音频处理的方法的步骤。

23、根据本说明书实施例的第七方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述音频处理的方法的步骤。

24、本说明书一个实施例提供的音频处理的方法中，通过获取初始音频对应的初始文本，并生成初始文本包含的至少两个初始文本片段对应的初始基础信息，将音频、文本与音频处理统一在基础信息的结构化框架下，为后续的文本翻译与语音合成提供统一的数据基础，避免各环节独立处理导致的数据不一致的问题。以及在需要对音频中的文本进行修改的情况下，可以直接利用前述生成的初始基础信息进行修改，具体为基于修正文本片段更新待修改基础信息中的目标音频片段，从而在对文本局部修改的情况下仅针对受影响的文本片段进行语音合成，而无需对整个流程进行重新执行，降低文本修改场景下的计算成本和处理时间，提高音频生成效率。并且，通过根据修正基础信息以及初始基础信息生成目标音频，保证修正部分与未修正部分在拼接时的音频连贯性，从而保证生成的目标音频的质量和自然度。

1.一种音频处理的方法，包括：

2.如权利要求1所述的方法，初始文本片段对应的目标文本片段通过下述方式获得：

3.如权利要求1所述的方法，初始基础信息还包括初始文本片段对应的第一时长、第二时长以及发音主体，第一时长为初始文本片段对应的初始音频片段在所述初始音频中的发音时长，第二时长为初始文本片段对应的目标音频片段的时长。

4.如权利要求3所述的方法，所述初始文本中的各初始文本片段通过下述方式获得：

5.如权利要求4所述的方法，确定各基准文本片段对应的发音主体，包括：

6.如权利要求3所述的方法，目标文本片段对应的目标音频片段通过下述方法获得：

7.如权利要求6所述的方法，基于所述修正文本片段更新所述待修改基础信息中的目标音频片段，获得修正基础信息，包括：

8.如权利要求3所述的方法，在获取所述待修改文本片段对应的待修改基础信息以及修正文本片段之前，所述方法还包括：

9.如权利要求1至8任意一项所述的方法，所述方法还包括：

10.如权利要求7所述的方法，所述方法还包括：

11.一种音频处理的方法，应用于云侧设备，包括：

12.一种音频处理的装置，包括：

13.一种计算设备，包括：

14.一种电子设备，包括：

15.一种计算机可读存储介质，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至11任意一项所述方法的步骤。

16.一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至11任意一项所述方法的步骤。