音频数据处理方法、装置、电子设备、存储介质以及程序产品与流程

本公开实施例涉及计算机处理，尤其涉及一种音频数据处理方法、装置、电子设备、存储介质以及程序产品。

背景技术：

1、在数字音频处理领域，伪影(artifacts)是指信号在采集、编码、传输或处理过程中引入的非自然失真或干扰成分。这些伪影严重影响音频的保真度与用户体验。

2、相关技术中的针对音频数据中的伪影的抑制方法，难以有效消除音波数据存在的频谱混叠以及频率模糊现象，使得音频数据的处理质量较差。

技术实现思路

1、本公开提供了一种音频数据处理方法、装置、电子设备、存储介质以及程序产品，以实现通过音频处理模型对待处理的音频数据进行谐波生成、谐波处理和音频重建，以生成具有更少伪影的高质量的音频数据的效果。

2、第一方面，本公开实施例提供了一种音频数据处理方法，该方法包括：

3、获取第一音频数据，确定与所述第一音频数据对应的音频处理模型；其中，所述音频处理模型包括谐波生成模块、谐波处理模块和音频重建模块；

4、将所述第一音频数据输入至所述谐波生成模块中，以针对所述第一音频数据生成第一谐波特征，得到第一音频特征；

5、将所述第一音频特征输入所述谐波处理模块中，以针对所述第一音频特征生成第二谐波特征并执行滤波处理，得到第二音频特征；

6、将所述第二音频特征输入至所述音频重建模块中，以对所述第二音频特征进行重建，获得第二音频数据。

7、第二方面，本公开实施例还提供了一种音频数据处理装置，该装置包括：

8、音频数据获取模块，用于获取第一音频数据，确定与所述第一音频数据对应的音频处理模型；其中，所述音频处理模型包括谐波生成模块、谐波处理模块和音频重建模块；

9、音频谐波生成模块，用于将所述第一音频数据输入至所述谐波生成模块中，以针对所述第一音频数据生成第一谐波特征，得到第一音频特征；

10、音频谐波处理模块，用于将所述第一音频特征输入所述谐波处理模块中，以针对所述第一音频特征生成第二谐波特征并执行滤波处理，得到第二音频特征；

11、音频数据生成模块，用于将所述第二音频特征输入至所述音频重建模块中，以对所述第二音频特征进行重建，获得第二音频数据。

12、第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：

13、一个或多个处理器；

14、存储装置，用于存储一个或多个程序，

15、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例中任一所述的音频数据处理方法。

16、第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例中任一所述的音频数据处理方法。

17、第五方面，本公开实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现如本公开实施例中任一所述的音频数据处理方法。

18、本公开实施例的技术方案，通过获取第一音频数据，确定与第一音频数据对应的音频处理模型，为后续音频数据处理提供了数据基础和处理流程框架，由于音频处理模型包括谐波生成模块、谐波处理模块和音频重建模块，实现了应用谐波生成-谐波处理-音频重建的三阶段架构对第一音频数据进行音频处理的效果，从整体架构上为提高音频数据的质量奠定基础；进一步的，将第一音频数据输入至谐波生成模块中，以针对第一音频数据生成第一谐波特征，得到第一音频特征，实现了通过谐波生成模块基于第一音频数据生成第一谐波特征，以对音频数据进行特征提取和特征转换的效果，通过生成第一谐波特征并基于第一谐波特征确定第一音频特征，有效减少了频谱混叠现象出现的可能性，为后续生成高质量的音频数据提供了质量更佳的输入数据；进一步的，将第一音频特征输入谐波处理模块中，以针对第一音频特征生成第二谐波特征并执行滤波处理，得到第二音频特征，实现了通过谐波处理模块对音频特征的进一步细化和优化，同时执行滤波处理，能够去除音频特征中可能存在的噪声或无效频率成分，使得音频特征更加清晰和准确，从而提高了音频数据的质量，为后续音频重建提供了高质量的特征数据；进一步的，将第二音频特征输入至音频重建模块中，以对第二音频特征进行重建，获得第二音频数据，解决了相关技术中所存在的生成的音频数据呈现出频谱混叠、频谱模糊的现象，进而导致所生成的音频数据的质量较差的问题，实现了通过音频处理模型对待处理的音频数据进行谐波生成、谐波处理和音频重建，以生成具有更少伪影的高质量的音频数据的效果，实现了在有效抑制频谱混叠和频率模糊现象出现的基础上，显著提升了最终生成的音频数据的保真度和真实度。

1.一种音频数据处理方法，其特征在于，包括：

2.根据权利要求1所述的音频数据处理方法，其特征在于，所述谐波生成模块包括频率投影子模块以及与所述频率投影子模块连接的多个串联的谐波生成子模块；

3.根据权利要求2所述的音频数据处理方法，其特征在于，所述谐波生成子模块包括第一转置卷积层以及与所述第一转置卷积层连接的多周期性合成单元；所述多周期性合成单元包括周期增强型激活函数层、空洞卷积层和标准卷积层；

4.根据权利要求3所述的音频数据处理方法，其特征在于，所述多周期性合成单元包括多个并联的特征合成子单元；所述特征合成子单元包括多个串联的第一残差块；所述第一残差块中第一周期增强型激活函数层、第一空洞卷积层、第二周期增强型激活函数层和标准卷积层依次串联。

5.根据权利要求1所述的音频数据处理方法，其特征在于，所述谐波处理模块包括第二转置卷积层以及与所述第二转置卷积层连接的谐波处理子模块；所述谐波处理子模块包括周期增强型激活函数层、滤波子单元、空洞卷积层和标准卷积层；

6.根据权利要求5所述的音频数据处理方法，其特征在于，所述谐波处理子模块包括多个并行连接的谐波处理单元；所述谐波处理单元包括多个串联的第二残差块；所述第二残差块包括周期增强型激活函数层、滤波子单元、空洞卷积层和标准卷积层；所述滤波子单元的输入端与所述周期增强型激活函数层的输出端连接。

7.根据权利要求6所述的音频数据处理方法，其特征在于，所述第二残差块中第三周期增强型激活函数层、第一滤波子单元、第一空洞卷积层、第四周期增强型激活函数层、第二滤波子单元和标准卷积层依次串联。

8.根据权利要求5所述的音频数据处理方法，其特征在于，所述滤波子单元包括频域转换层、滤波器和时域转换层；所述滤波器的滤波权重根据样本音频数据训练得到。

9.根据权利要求1所述的音频数据处理方法，其特征在于，所述音频重建模块包括依次串联的周期增强型激活函数层、滤波子单元、标准卷积层和双曲正切函数层。

10.根据权利要求1所述的音频数据处理方法，其特征在于，所述音频处理模型为生成对抗网络训练得到的生成模型；在训练过程中，所述生成模型的模型参数根据音频生成损失调整得到；所述音频生成损失包括生成对抗网络中的判别模型对所述生成模型的输出音频数据的判别损失、所述判别模型的多个判别层对所述生成模型的输出音频数据与预期输出数据之间的第一特征处理损失以及所述生成模型的输入音频数据和输出音频数据之间的第二特征处理损失。

11.一种音频数据处理装置，其特征在于，包括：

12.一种电子设备，其特征在于，所述电子设备包括：

13.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-10中任一所述的音频数据处理方法。

14.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-10中任一项所述的音频数据处理方法。