语音合成方法、装置、计算机设备及计算机可读存储介质与流程

摘要: 本申请涉及人工智能领域,具体涉及一种语音合成方法、装置、计算机设备及计算机可读存储介质。背景技术:1、随着大语言模型技术的发展,其在语音问答、人机对话等智能交互...
语音合成方法、装置、计算机设备及计算机可读存储介质与流程

本申请涉及人工智能领域,具体涉及一种语音合成方法、装置、计算机设备及计算机可读存储介质。

背景技术:

1、随着大语言模型技术的发展,其在语音问答、人机对话等智能交互场景中的应用日益广泛。相关终端通常接收大语言模型以流式方式输出的文本内容,并通过文本转语音技术将输出结果转换为语音进行播放,从而提升交互的实时性和自然度。现有方案中,为兼顾响应速度,多采用在检测到完整语句后立即发起语音合成请求的处理方式,逐步形成面向流式输出的实时语音播报技术路径。

2、在上述技术发展过程中,现有流式语音合成方案普遍采用逐句合成模式,即模型每输出一个完整句子,终端即向语音合成服务发起一次独立调用。由于一次流式回复通常包含多句内容,导致单次交互过程中需要频繁发起多次合成请求。在并发用户较多时,语音合成服务侧需同时处理大量离散请求,容易造成服务压力增大、响应时延升高以及计算和调用成本上升。同时,现有技术通常对不同长度句子采用相同的请求组织方式,缺乏对合成批次的自适应调节能力,资源利用效率较低。此外,现有技术未充分利用终端播放已生成语音期间所对应的时间窗口,对后续文本进行缓存积累和合成调度,导致可利用的缓冲时间被浪费;也缺乏基于实际运行数据对缓存策略进行动态更新的机制,难以兼顾实时性与服务负载。

3、因此,亟需一种面向流式文本输出的语音合成处理方案,在保证播放连续性的前提下,减少语音合成调用次数,提升缓存与批处理策略的自适应能力,从而降低服务压力并提高整体处理效率。

技术实现思路

1、本申请实施例提供一种语音合成方法、装置、计算机设备及计算机可读存储介质,用于在保证播放连续性的前提下,减少语音合成调用次数,提升缓存与批处理策略的自适应能力,从而降低服务压力并提高整体处理效率。

2、本发明解决问题所采用的技术方案如下:

3、第一方面,本申请提供一种语音合成方法,包括:

4、对待处理文本进行分句处理,以得到第一语句集合;

5、遍历缓存音频集合对该第一语句集合中每个语句按序进行命中检查;

6、对命中该缓存音频集合的语句返回第一音频数据,对未命中该缓存音频集合的语句进行分组缓存,以得到目标拼接文本;

7、对该目标拼接文本进行语音合成,以得到第二音频数据;

8、将该第一音频数据和该第二音频数据按序播放。

9、在本申请一些实施方案中,对未命中该缓存音频集合的语句进行分组,以得到目标拼接文本包括:

10、在该未命中该缓存音频集合的语句的计数值小于或者等于第一阈值时,确定单个语句为该目标拼接文本;

11、在该未命中该缓存音频集合的语句的计数值大于该第一阈值时,基于第一预设句长对该未命中该缓存音频集合的语句进行缓存,以得到该目标拼接文本。

12、在本申请一些实施方案中,该基于第一预设句长对该未命中该缓存音频集合的语句进行缓存,以得到该目标拼接文本包括:

13、基于指数加权移动平均算法在线估计该第一预设句长;

14、基于该第一预设句长对该未命中该缓存音频集合的语句进行缓存,以得到该目标拼接文本。

15、在本申请一些实施方案中,该方法还包括:

16、基于该第一预设句长和目标字数约束,通过约束优化算法动态计算目标句长,该目标句长应用于下一次的分组缓存。

17、在本申请一些实施方案中,在对该目标拼接文本进行语音合成,以得到第二音频数据之后,该方法还包括:

18、对该第二音频数据进行语音划分,以得到多个单句音频;

19、将该多个单句音频缓存至该缓存音频集合。

20、在本申请一些实施方案中,该对该第二音频数据进行语音划分,以得到多个单句音频包括:

21、获取每个句子在该目标拼接文本中的起止位置和/或全局句子序号;

22、基于该起止位置和/或该全局句子序号对该第二音频数据进行语音划分,以得到多个单句音频。

23、在本申请一些实施方案中,该方法还包括:获取高频语句;

24、对该高频语句发起语音合成请求,以得到第三音频数据;

25、将该第三音频数据缓存至该缓存音频集合。

26、第二方面,本申请提供一种语音合成装置,包括:

27、处理模块,用于对待处理文本进行分句处理,以得到第一语句集合;遍历缓存音频集合对该第一语句集合中每个语句按序进行命中检查;对命中该缓存音频集合的语句返回第一音频数据,对未命中该缓存音频集合的语句进行分组缓存,以得到目标拼接文本;对该目标拼接文本进行语音合成,以得到第二音频数据;

28、播放模块,用于将该第一音频数据和该第二音频数据按序播放。

29、第三方面,本申请还提供一种计算机设备,计算机设备包括:

30、一个或多个处理器;

31、存储器;以及

32、一个或多个应用程序,其中一个或多个应用程序被存储于存储器中,并配置为由处理器执行以实现第一方面中任一项的法。

33、第四方面,本申请还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器进行加载,以执行第一方面任一项的方法中的步骤。

34、本发明的有益效果:通过对待处理文本进行缓存命中优先然后再分组缓存进行批量合成的两级处理策略,能够在语音合成过程中兼顾缓存复用效率和批量处理性能。具体而言,首先查询缓存音频,可直接复用已合成过的相同或高频文本语音,避免重复调用合成服务,从而降低计算资源消耗和接口调用成本,并缩短响应时间;对于缓存音频集合未命中的文本,再进行分组缓存和批量合成,可以减少零散合成请求,提高合成吞吐量,同时将后续生成结果沉淀为可复用的分组缓存。该两级策略既提升了缓存命中率和资源利用率,又降低了长文本场景下的首包延迟和整体合成耗时,从而改善语音播放的连续性、稳定性和用户体验。

1.一种语音合成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,对未命中所述缓存音频集合的语句进行分组,以得到目标拼接文本包括:

3.根据权利要求2所述的方法,其特征在于,所述基于第一预设句长对所述未命中所述缓存音频集合的语句进行缓存,以得到所述目标拼接文本包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1至4中任一项所述的方法,其特征在于,在对所述目标拼接文本进行语音合成,以得到第二音频数据之后,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述对所述第二音频数据进行语音划分,以得到多个单句音频包括:

7.根据权利要求1至4、6中任一项所述的方法,其特征在于,所述方法还包括:

8.一种语音合成装置,其特征在于,包括:

9.一种计算机设备,其特征在于,所述计算机设备包括:

10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行权利要求1至7任一项所述的方法中的步骤。