音频生成方法、问答处理方法、系统、电子设备、存储介质和计算机程序产品与流程

本申请涉及大模型技术、音频生成，具体而言，涉及一种音频生成方法、问答处理方法、系统、电子设备、存储介质和计算机程序产品。

背景技术：

1、随着大规模语言模型(large language model，简称llm)在多模态对话系统中的广泛应用，用户对能够实时、无延迟进行高质量音频内容生成方案(比如语音合成方案)产生迫切需求，尤其在长时间对话场景下，需要既保持语音自然流畅又要确保低延迟的音频生成方案。在相关技术中，传统的流匹配方式虽然能实现音频生成，但是，由于上述流匹配方式具有全局接收域的特性，其实时交互能力较差，难以满足实时语音生成的需求。此外，一些流式音频生成方案中，虽然尝试通过分片(chunking)或因果注意力等方式来克服传统流匹配方式的局限性，但现有的流式音频生成方案难以在保持音频质量的同时实现高效、稳定的长序列语音生成。由上可知，如何提升实时生成长序列音频的效率和平滑度成为相关技术领域中的重要技术问题之一。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本申请实施例提供了一种音频生成方法、问答处理方法、系统、电子设备、存储介质和计算机程序产品，以至少解决相关技术中音频生成方案的效率低、流畅度差、难以适用于长序列音频生成场景的技术问题。

2、根据本申请实施例的一个方面，提供了一种音频生成方法，包括：获取语义标记数据和说话人嵌入数据，其中，语义标记数据用于表征待生成的目标音频对应的语义信息，说话人嵌入数据用于表征目标音频对应的发声特征；基于语义标记数据、说话人嵌入数据和目标注意力掩膜进行推理计算，得到目标声学特征数据，其中，目标注意力掩膜基于多种候选掩膜中的至少之一来确定，多种候选掩膜用于表征流式推理的多种感知范围；利用目标声学特征数据，生成目标音频。

3、根据本申请实施例的另一方面，提供了一种问答处理方法，包括：获取输入问题和参考音频；调用目标语言模型生成输入问题对应的目标回答；基于目标回答对应的语义标记数据以及参考音频对应的说话人嵌入数据，生成目标回答对应的目标音频，其中，目标音频的生成方式根据上述中任意一项的音频生成方法确定。

4、根据本申请实施例的另一方面，提供了一种问答处理方法，包括：通过第一应用程序编程接口获取问答处理请求，其中，问答处理请求中携带的请求数据包括：输入问题和参考音频；通过第二应用程序编程接口返回问答处理响应，其中，问答处理响应中携带的响应数据包括：目标音频，目标音频通过采用上述的问答处理方法得到。

5、根据本申请实施例的另一方面，提供了一种问答处理方法，包括：获取当前输入的问答处理对话请求，其中，问答处理对话请求中携带的请求数据包括：输入问题和参考音频；响应于问答处理对话请求，返回问答处理对话回复，其中，问答处理对话回复中携带的信息包括：目标音频，目标音频通过采用上述的问答处理方法得到；通过音频输出组件播放目标音频。

6、根据本申请实施例的另一方面，提供了一种问答处理方法，包括：响应作用于操作界面上的语音输入指令，在操作界面上显示输入语音对应的问题文本，并将输入语音作为参考音频；响应作用于操作界面上的处理指令，在操作界面上显示目标回答，并通过操作界面对应的音频输出组件播放目标音频；其中，目标回答和目标音频通过采用上述的问答处理方法得到。

7、根据本申请实施例的另一方面，提供了一种问答处理系统，包括：客户端，用于发送输入问题和参考音频；服务器，与客户端连接，用于调用目标语言模型生成输入问题对应的目标回答，以及基于目标回答对应的语义标记数据以及参考音频对应的说话人嵌入数据，生成目标回答对应的目标音频，其中，目标音频的生成方式根据上述任意一项的音频生成方法确定；客户端还用于输出目标音频。

8、根据本申请实施例的另一方面，提供了一种电子设备，包括：存储器，存储有可执行程序；处理器，用于运行程序，其中，程序运行时执行上述任意一项的音频生成方法或者上述任意一项的问答处理方法。

9、根据本申请实施例的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质包括存储的可执行程序，其中，在可执行程序运行时控制计算机可读存储介质所在设备执行上述任意一项的音频生成方法或者上述任意一项的问答处理方法。

10、根据本申请实施例的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述任意一项的音频生成方法或者上述任意一项的问答处理方法。

11、在本申请实施例中，获取语义标记数据和说话人嵌入数据，其中，语义标记数据用于表征待生成的目标音频对应的语义信息，说话人嵌入数据用于表征目标音频对应的发声特征；基于语义标记数据、说话人嵌入数据和目标注意力掩膜进行推理计算，得到目标声学特征数据，其中，目标注意力掩膜基于多种候选掩膜中的至少之一来确定，多种候选掩膜用于表征流式推理的多种感知范围；利用目标声学特征数据，生成目标音频。由此，本申请实施例通过基于多种候选建模构建的目标注意力掩膜，可以灵活地控制流式推理计算过程中的模型感知范围，这与相关技术中依赖全局感知的推理不同，有助于通过局部感知的方式实现稳定的流式推理，适用于长序列音频生成场景；进一步地，目标注意力掩膜结合语义标记数据和说话人嵌入数据,生成目标声学特征数据，上述声学特征数据既可以表征目标音频对应的音频内容的语义信息还可以表征目标音频对应的语音发声特征，保证了目标音频的高质量，此外，上述目标注意力掩膜有助于实现局部感知，从而增强模型在进行流式推理时的实时性能，提高生成目标音频的效率和流畅度。由上可知，本申请实施例达到了通过基于目标注意力掩膜实现的流式推理计算方案提升音频生成效率、保证长序列音频生成的流畅度和稳定性的目的，从而实现了增强音频生成的实时性、流畅度以及对长序列音频生成场景的适用性的技术效果，进而解决了相关技术中音频生成方案的效率低、流畅度差、难以适用于长序列音频生成场景的技术问题。

12、容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释，并不构成对本申请的限定。

1.一种音频生成方法，其特征在于，包括：

2.根据权利要求1所述的音频生成方法，其特征在于，所述音频生成方法还包括：

3.根据权利要求2所述的音频生成方法，其特征在于，所述音频生成模型包括多个模型块，所述目标注意力掩膜包括所述多个模型块分别对应的多个块级掩膜，利用所述多种候选掩膜和所述基于模型块的注意力掩码策略，对所述音频生成模型进行注意力配置，得到所述目标注意力掩膜包括：

4.根据权利要求3所述的音频生成方法，其特征在于，利用所述多种候选掩膜和所述基于模型块的注意力掩码策略，构建所述目标块级掩膜包括：

5.根据权利要求1至4中任意一项所述的音频生成方法，其特征在于，所述多种候选掩膜包括：

6.根据权利要求2所述的音频生成方法，其特征在于，所述语义标记数据包括语义标记序列，所述说话人嵌入数据包括说话人嵌入序列，基于所述语义标记数据、所述说话人嵌入数据和所述目标注意力掩膜进行推理计算，得到所述目标声学特征数据包括：

7.根据权利要求6所述的音频生成方法，其特征在于，利用所述音频生成模型和所述目标注意力掩膜，对所述语义标记序列、所述说话人嵌入序列和随机噪声样本进行流式推理计算，得到所述目标声学特征序列包括：

8.根据权利要求7所述的音频生成方法，其特征在于，利用所述目标注意力掩膜对所述多个语义序列块、所述说话人嵌入序列和随机噪声样本进行流式推理计算，得到所述目标声学特征数据包括：

9.根据权利要求8所述的音频生成方法，其特征在于，利用所述目标注意力掩膜，构建所述滑动推理窗口包括：

10.根据权利要求8所述的音频生成方法，其特征在于，基于所述随机噪声样本和所述扩散条件向量进行条件流匹配计算，得到所述目标声学特征数据包括：

11.根据权利要求1所述的音频生成方法，其特征在于，获取所述语义标记数据包括：

12.根据权利要求1所述的音频生成方法，其特征在于，利用所述目标声学特征数据，生成所述目标音频包括：

13.一种问答处理方法，其特征在于，包括：

14.一种问答处理方法，其特征在于，包括：

15.一种问答处理方法，其特征在于，包括：

16.一种问答处理方法，其特征在于，包括：

17.一种问答处理系统，其特征在于，包括：

18.一种电子设备，其特征在于，包括：

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的可执行程序，其中，在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至12中任意一项所述的音频生成方法或者权利要求13至16中任意一项所述的问答处理方法。

20.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1至12中任意一项所述的音频生成方法或者权利要求13至16中任意一项所述的问答处理方法。