音频识别方法、装置、电子设备、存储介质以及计算机程序产品与流程

本公开涉及计算机，尤其涉及一种音频识别方法、装置、电子设备、存储介质以及计算机程序产品。

背景技术：

1、随着互联网技术的进一步发展，出现了以音乐内容为主要互动内容的社交平台，其中的用户可以将已经在外部平台或本地设备中录制完成的k歌、翻唱等录制好的音频数据导入到该社交平台并进行发布，以与该社交平台上的其他用户进行更多互动。由于导入的音频数据来源多样，可能对应不同歌曲、不同版本，社交平台难以直接确定该音频数据对应的歌曲信息。因此，在音频数据导入后，需要对导入的音频数据进行歌曲识别，便于后续进行内容管理、版权校验、推荐分发以及互动展示等互动处理。

2、相关技术中，一般是通过对音频数据进行识别文本转换，基于转换出的识别文本进行倒排检索的方式实现音频识别；这种方式中的音频识别结果与文本转换结果之间较为耦合，在文本转换结果不准确时，检索结果的准确性也无法保证，且实际应用场景中的歌曲还会存在多种演唱版本，依靠文本转换结果也无法在多种演唱版本中识别出实际匹配的歌曲，因此，通过文本转换结果进行音频识别，会导致识别准确性较低。

技术实现思路

1、本公开提供一种音频识别方法、装置、电子设备、存储介质以及计算机程序产品，以至少解决相关技术中音频识别准确性较差的问题。本公开的技术方案如下：

2、根据本公开实施例的第一方面，提供一种音频识别方法，包括通过预设的语音识别模型以及预设的音乐特征提取模型，分别对待处理音频信号进行识别，得到歌词识别数据以及音乐多维融合向量，所述歌词识别数据包括识别文本与歌词语种；

3、通过所述歌词语种对应的歌词匹配策略以及所述识别文本进行匹配，得到多个候选歌曲，并计算所述音乐多维融合向量分别与各所述候选歌曲之间的向量相似度；

4、通过所述歌词匹配策略对应的歌曲筛选条件、各所述候选歌曲的向量相似度和歌曲热度数据进行匹配，得到所述待处理音频信号的歌曲识别结果。

5、在一个实施例中，所述方法还包括：

6、基于预设的歌词语种与歌词匹配策略之间的映射关系，确定所述待处理音频信号的歌词语种对应的歌词匹配策略，所述歌词语种包括目标语言类型、目标语系类型以及其他类型中的一种。

7、在一个实施例中，所述通过所述歌词语种对应的歌词匹配策略以及所述识别文本进行匹配，得到多个候选歌曲，包括：

8、在所述歌词语种为目标语言类型的情况下，通过精确文本匹配策略以及所述识别文本进行匹配，如果预设歌曲库中存在满足所述精确文本匹配策略的第一歌曲，则基于各所述第一歌曲，得到多个候选歌曲；

9、如果所述预设歌曲库中不存在满足所述精确文本匹配策略的歌曲，或者，如果所述歌词语种不是所述目标语言类型，则基于模糊文本匹配策略以及所述识别文本进行匹配，得到多个候选歌曲。

10、在一个实施例中，所述通过精确文本匹配策略以及所述识别文本进行匹配，如果预设歌曲库中存在满足所述精确文本匹配策略的第一歌曲，则基于各所述第一歌曲，得到多个候选歌曲，包括：

11、对所述识别文本进行采样，得到多个关键位置；

12、在预设歌曲库中，如果存在歌词与各所述关键位置的关键文本满足预设字符连续条件的第一歌曲，则确定存在满足所述精确文本匹配策略的第一歌曲，并将各所述第一歌曲，确定为候选歌曲。

13、在一个实施例中，所述模糊文本匹配策略包括默认模糊文本匹配策略以及目标语系模糊文本匹配策略；所述基于模糊文本匹配策略以及所述识别文本进行匹配，得到多个候选歌曲，包括：

14、通过目标分词器对所述识别文本进行分词处理，得到文本分词结果；所述目标分词器包括目标语系分词器、目标语言类型分词器以及字符分词器中的一种或多种；

15、基于所述文本分词结果，分别计算与所述预设歌曲库中各个歌曲的歌词相似度，将歌词相似度满足预设相似条件的第二歌曲，确定为候选歌曲。

16、在一个实施例中，所述向量相似度表征待处理音频信号的音乐多维融合向量与候选歌曲的音乐多维融合向量之间的相似度，所述音乐多维融合向量是音频信号至少在音调维度、音色维度、歌曲旋律维度、声纹维度中的特征向量。

17、在一个实施例中，所述通过所述歌词匹配策略对应的歌曲筛选条件、各所述候选歌曲的向量相似度和歌曲热度数据进行匹配，得到所述待处理音频信号的歌曲识别结果，包括：

18、在所述歌词匹配策略为精确文本匹配策略的情况下，基于最高的向量相似度与预设歌曲版本区分阈值，得到相似度范围，并将所述相似度范围中歌曲热度数据最高的候选歌曲，确定为目标歌曲；或者，在所述歌词匹配策略不为精确文本匹配策略的情况下，在向量相似度大于或者等于预设歌曲区分阈值的各个候选歌曲中，将歌曲热度数据最高的候选歌曲，确定为目标歌曲；

19、基于所述目标歌曲，得到所述待处理音频信号的歌曲识别结果。

20、在一个实施例中，所述歌曲识别结果包括歌曲段落识别结果；所述基于所述目标歌曲，得到所述待处理音频信号的歌曲识别结果，包括：

21、对所述目标歌曲中的每一歌词行进行词元化处理，得到多个歌曲文本词元行；

22、基于预设窗口长度组包含的各个预设窗口长度，分别对各所述歌曲文本词元行进行滑动选中处理，得到多个词元窗口，各词元窗口包含各预设窗口长度的的歌曲文本词元行；

23、针对每一词元窗口，计算所述词元窗口与所述待处理音频信号的识别文本之间的最长公共子序列长度；并基于所述最长公共子序列长度、所述识别文本词元序列的词元长度、所述词元窗口的字符长度进行文本召回数据与文本精确查询数据之间的融合平均处理，得到所述词元窗口对应的融合平衡分数；

24、将最高的融合平衡分数对应的词元窗口中的歌词行，确定为所述待处理音频信号的歌曲段落识别结果。

25、根据本公开实施例的第二方面，提供一种音频识别装置，包括识别单元，被配置为执行通过预设的语音识别模型以及预设的音乐特征提取模型，分别对待处理音频信号进行识别，得到歌词识别数据以及音乐多维融合向量，所述歌词识别数据包括识别文本与歌词语种；

26、第一匹配单元，被配置为执行通过所述歌词语种对应的歌词匹配策略以及所述识别文本进行匹配，得到多个候选歌曲，并计算所述音乐多维融合向量分别与各所述候选歌曲之间的向量相似度；

27、第二匹配单元，被配置为执行通过所述歌词匹配策略对应的歌曲筛选条件、各所述候选歌曲的向量相似度和歌曲热度数据进行匹配，得到所述待处理音频信号的歌曲识别结果。

28、根据本公开实施例的第三方面，提供一种电子设备，包括：

29、处理器；

30、用于存储所述处理器可执行指令的存储器；

31、其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的音频识别方法。

32、根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上述第一方面中任一项所述的音频识别方法。

33、根据本公开实施例的第六方面，提供一种计算机程序产品，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如上述第一方面中任一项所述的音频识别方法。

34、本公开的实施例提供的技术方案至少带来以下有益效果：

35、通过待处理音频信号的识别文本以及识别文本的歌词语种进行粗排召回处理，可以保证识别出的歌曲相关程度，通过预设的音乐表征模型提取待处理音频信号的音乐多维融合向量进行精排处理，可以从歌曲旋律、音色、音调等音乐维度提取待处理音频信号以及各个歌曲的深层旋与底层音乐编排的音乐表征，实现歌曲风格与歌曲版本的精确识别与匹配，再通过向量之间的相似度得到最终的歌曲识别结果，实现识别质量的较大提升，也实现了基于多模态架构、多维度数据的歌曲识别处理，进一步提升歌曲识别的鲁棒性与识别准确率。

36、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。