一种声音模仿对比方法、装置及相关产品与流程

本技术涉及音频信号处理，特别是涉及一种声音模仿对比方法、装置及相关产品。

背景技术：

1、随着音频处理技术的发展，声音模仿对比被广泛应用于游戏互动、配音练习以及语言跟读等场景。在声音模仿过程中，通常预先提供一段目标音频，由模仿者根据该目标音频进行发声并生成模仿音频，进而需要对目标音频和模仿音频进行比对，以确定模仿音频相对于目标音频的相似程度。

2、相关技术中，通常对目标音频和模仿音频进行音频处理，提取两段音频对应的音频特征，并通过音频特征之间的差异确定两段音频的相似度。然而，实际生成的模仿音频容易受到录制环境、开始录制时刻、发声时长等因素的影响，使得目标音频与模仿音频之间可能存在时间位置和声音特征上的差异，难以准确反映模仿音频相对于目标音频的实际模仿程度。

3、由此，如何提高声音模仿对比结果的准确性是本领域技术人员关注的重点问题。

技术实现思路

1、基于上述问题，本技术提供了一种声音模仿对比方法、装置及相关产品，以提高声音模仿对比结果的准确性。

2、本技术实施例公开了如下技术方案：

3、本技术第一方面提供了一种声音模仿对比方法。该声音模仿对比方法包括：

4、获取目标音频和针对所述目标音频生成的模仿音频；

5、对所述目标音频和所述模仿音频进行音频处理，获得所述目标音频对应的目标特征序列，和所述模仿音频对应的模仿特征序列；其中，所述特征序列包括按照音频帧的时间顺序排列的多个帧特征，所述帧特征包括频谱特征、能量特征和基频特征；

6、基于所述帧特征，计算所述目标特征序列中目标帧与所述模仿特征序列中模仿帧之间的帧级距离，获得多个帧级距离；

7、以所述目标特征序列中的第一个音频帧与各个模仿帧之间的对应位置分别作为候选路径起点，基于所述多个帧级距离从各个所述候选路径起点搜索音频帧路径，并将候选累计距离最小的音频帧路径确定为目标对齐路径；

8、基于所述目标对齐路径，对所述目标特征序列和所述模仿特征序列中相互对齐的帧特征进行计算处理，获得频谱距离、频带轮廓距离、能量距离和基频距离；其中，所述频谱距离用于表征所述目标对齐路径中各对对齐帧在多个频带上的能量分布差异，所述频带轮廓距离用于表征对所述多个频带进行分组后形成的目标频带能量轮廓与模仿频带能量轮廓之间的差异，所述能量距离用于表征所述目标对齐路径中各对对齐帧之间的信号强度差异，所述基频距离用于表征所述目标对齐路径中各对对齐帧之间的音调差异；

9、基于所述频谱距离、所述频带轮廓距离、所述能量距离和所述基频距离进行计算处理，得到所述模仿音频相对于所述目标音频的模仿相似度评分。

10、本技术第二方面提供了一种声音模仿对比装置。该声音模仿对比装置包括：

11、音频获取单元，用于获取目标音频和针对所述目标音频生成的模仿音频；

12、特征序列获得单元，用于对所述目标音频和所述模仿音频进行音频处理，获得所述目标音频对应的目标特征序列，和所述模仿音频对应的模仿特征序列；其中，所述特征序列包括按照音频帧的时间顺序排列的多个帧特征，所述帧特征包括频谱特征、能量特征和基频特征；

13、帧级距离获得单元，用于基于所述帧特征，计算所述目标特征序列中目标帧与所述模仿特征序列中模仿帧之间的帧级距离，获得多个帧级距离；

14、目标路径确定单元，用于以所述目标特征序列中的第一个音频帧与各个模仿帧之间的对应位置分别作为候选路径起点，基于所述多个帧级距离从各个所述候选路径起点搜索音频帧路径，并将候选累计距离最小的音频帧路径确定为目标对齐路径；

15、多个距离获得单元，用于基于所述目标对齐路径，对所述目标特征序列和所述模仿特征序列中相互对齐的帧特征进行计算处理，获得频谱距离、频带轮廓距离、能量距离和基频距离；其中，所述频谱距离用于表征所述目标对齐路径中各对对齐帧在多个频带上的能量分布差异，所述频带轮廓距离用于表征对所述多个频带进行分组后形成的目标频带能量轮廓与模仿频带能量轮廓之间的差异，所述能量距离用于表征所述目标对齐路径中各对对齐帧之间的信号强度差异，所述基频距离用于表征所述目标对齐路径中各对对齐帧之间的音调差异；

16、相似度评分得到单元，用于基于所述频谱距离、所述频带轮廓距离、所述能量距离和所述基频距离进行计算处理，得到所述模仿音频相对于所述目标音频的模仿相似度评分。

17、本技术第三方面提供了一种计算机设备。该计算机设备包括：

18、存储器，其上存储有计算机程序；

19、处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面提供的声音模仿对比方法的步骤。

20、本技术第四方面提供了一种计算机可读存储介质，其上存储有计算机程序。该程序被处理器执行时实现第一方面提供的声音模仿对比方法的步骤。

21、相较于现有技术，本技术具有以下有益效果：

22、在本技术技术方案中，首先，获取目标音频和针对目标音频生成的模仿音频；并对目标音频和模仿音频进行音频处理，获得目标音频对应的目标特征序列，和模仿音频对应的模仿特征序列；其中，特征序列包括按照音频帧的时间顺序排列的多个帧特征，帧特征包括频谱特征、能量特征和基频特征。如此，本技术可以将目标音频和模仿音频分别转换为兼具时间顺序和多个声音特征维度的特征序列，为两段音频的时间对齐和声音特征比对提供数据基础。

23、之后，基于帧特征，计算目标特征序列中目标帧与模仿特征序列中模仿帧之间的帧级距离，获得多个帧级距离；并以目标特征序列中的第一个音频帧与各个模仿帧之间的对应位置分别作为候选路径起点，基于多个帧级距离从各个候选路径起点搜索音频帧路径，并将候选累计距离最小的音频帧路径确定为目标对齐路径。如此，本技术不再要求目标音频与模仿音频均从各自的第一个音频帧开始进行对应，而是可以从模仿特征序列的多个位置中确定与目标音频相匹配的起始位置，使未参与声音模仿的前置音频帧不影响后续特征比对，从而能够适应目标音频与模仿音频的有效声音在时间位置上存在偏移的情况，提高目标音频与模仿音频之间时间对齐的准确性。

24、接着，在获得目标对齐路径后，基于目标对齐路径，对目标特征序列和模仿特征序列中相互对齐的帧特征进行计算处理，获得频谱距离、频带轮廓距离、能量距离和基频距离。最后，基于频谱距离、频带轮廓距离、能量距离和基频距离进行计算处理，得到模仿音频相对于目标音频的模仿相似度评分。其中，频谱距离用于表征目标对齐路径中各对对齐帧在多个频带上的能量分布差异，频带轮廓距离用于表征对多个频带进行分组后形成的目标频带能量轮廓与模仿频带能量轮廓之间的差异，能量距离用于表征目标对齐路径中各对对齐帧之间的信号强度差异，基频距离用于表征目标对齐路径中各对对齐帧之间的音调差异。如此，本技术可以从频谱细节、频谱整体轮廓、声音强弱和音调等多个方面综合评价模仿音频，减少单一声音特征对比结果对整体评分的影响，使获得的模仿相似度评分能够更加全面、准确地反映模仿音频相对于目标音频的实际模仿程度。

25、可见，本技术通过基于多个候选路径起点搜索目标对齐路径，并基于目标对齐路径对相互对齐的帧特征进行多维度距离计算，实现了目标音频与模仿音频的时间位置适配以及多维声音特征比对，从而提高声音模仿对比的适应性和准确性。