一种语音真伪检测方法、装置、终端设备及程序产品与流程

本技术属于语音处理，尤其涉及一种语音真伪检测方法、装置、终端设备及程序产品。

背景技术：

1、近年来，随着语音合成与语音克隆技术的快速发展，高度逼真的深度伪造语音给信息安全带来了严峻的挑战，为虚假信息传播、身份冒充、金融诈骗等恶意行为提供了新的手段。在传统的语句级伪造之外，随着细粒度语音编辑能力的提升，局部伪造语音成为了一种更隐蔽的新型威胁，即仅对真实语句中的部分关键词或短语进行篡改，其余部分保持原样。

2、然而，现有针对局部伪造语音的真伪检测方法中的检测模型在学习过程中过度依赖浅层解码伪影作为判别依据，而在端到端编辑式的局部伪造语音中，真实片段和伪造语音具有相似的解码痕迹，从而导致检测模型无法很好地应对此类局部伪造语音，降低了语音真伪检测的准确性。

3、因此，如何引导检测模型摆脱对浅层伪影的依赖，学习更具本质性的判别特征，是提升局部伪造语音真伪检测的鲁棒性的关键难题。

技术实现思路

1、本技术实施例提供了一种语音真伪检测方法、装置、终端设备及程序产品，能够主动切断语音样本中特定解码器声学痕迹与伪造标签之间的关联的同时，引导模型关注真伪边界更加本质的时序不连续性，而非记忆表面的解码器痕迹模式变化，有效抑制语音检测模型对浅层解码伪影的依赖，提升语音检测模型在面对端到端编辑式局部伪造语音以及未知语音时进行真伪检测的鲁棒性。

2、第一方面，本技术实施例提供了一种语音真伪检测方法，包括：

3、获取待检测语音，待检测语音包含多个待测语音帧；

4、采用真伪检测模型对多个待测语音帧进行真伪检测处理，得到每个待测语音帧的目标真伪置信度，其中，真伪检测模型是以分类损失值和边界感知局部对比损失值之和最小为目标，采用语音增强样本对初始训练模型进行迭代训练得到的，语音增强样本为对局部伪造语音样本进行数据增强处理后得到，边界感知局部对比损失值基于语音增强样本中相邻帧语音片段的相似度确定；

5、根据每个待测语音帧的目标真伪置信度与预设阈值的大小关系，确定待检测语音的真伪判定结果。

6、在第一方面的一种可能的实现方式中，在采用真伪检测模型对多个待测语音帧进行真伪检测处理，得到每个待测语音帧的目标真伪置信度之前，所述方法还包括：

7、获取原始语音样本集，原始语音样本集包括多条局部伪造语音样本，以及每条局部伪造语音样本中每个样本语音帧的真伪实际标识和边界实际标识；

8、对每条局部伪造语音样本进行数据增强处理，得到每条局部伪造语音样本对应的语音增强样本，数据增强处理包括信号重建处理和/或噪声注入处理；

9、将每条语音增强样本输入至初始训练模型中，得到每条语音增强样本中每个样本语音帧的真伪预测置信度和边界预测置信度；

10、根据每条语音增强样本中每个样本语音帧的真伪预测置信度、边界预测置信度、真伪实际标识和边界实际标识，分别计算每条语音增强样本对应的分类损失值和边界感知局部对比损失值；

11、根据所有语音增强样本对应的分类损失值和边界感知局部对比损失值，对初始训练模型的模型参数进行调整，得到调整后的训练模型，其中，边界感知局部对比损失值用于通过降低每条语音增强样本中相邻真伪语音片段之间的相似度并提高相邻真实语音片段、相邻伪造语音片段之间的相似度，来约束初始训练模型的模型参数；

12、将调整后的训练模型更新为初始训练模型，返回执行对每条局部伪造语音样本进行数据增强处理，得到每条局部伪造语音样本对应的语音增强样本的步骤，直至检测到所有语音增强样本对应的分类损失值和边界感知局部对比损失值之和最小时，结束对初始训练模型的迭代训练；

13、将所有语音增强样本对应的分类损失值和边界感知局部对比损失值之和最小时对应的初始训练模型，确定为真伪检测模型。

14、在第一方面的一种可能的实现方式中，对每条局部伪造语音样本进行数据增强处理，得到每条局部伪造语音样本对应的语音增强样本，包括：

15、对每条局部伪造语音样本进行特征转换处理，得到每条局部伪造语音样本对应的声学特征序列；

16、对每条局部伪造语音样本对应的声学特征序列进行波形恢复处理，得到每条局部伪造语音样本对应的语音增强样本。

17、在第一方面的一种可能的实现方式中，初始训练模型包括语音特征提取器和双任务帧级预测网络，将每条语音增强样本输入至初始训练模型中，得到每条语音增强样本中每个样本语音帧的真伪预测置信度和边界预测置信度，包括：

18、采用语音特征提取器生成每条语音增强样本的声学特征序列；

19、根据每条语音增强样本的声学特征序列，采用双任务帧级预测网络分别计算每条语音增强样本中每个样本语音帧的真伪预测置信度和边界预测置信度。

20、在第一方面的一种可能的实现方式中，双任务帧级预测网络包括上下文编码器、自注意力池化模块、真伪分类器和边界分类器；

21、根据每条语音增强样本的声学特征序列，采用双任务帧级预测网络分别计算每条语音增强样本中每个样本语音帧的真伪预测置信度和边界预测置信度，包括：

22、采用上下文编码器，生成每个声学特征序列对应的上下文特征序列；

23、基于自注意力池化模块对每个声学特征序列对应的上下文特征序列进行特征聚合处理，得到聚合后特征序列；

24、采用真伪分类器对聚合后特征序列中的每个特征向量进行真伪分类处理，得到每条语音增强样本中每个样本语音帧的真伪预测置信度；

25、采用边界分类器对聚合后特征序列中的每个特征向量进行伪造边界分类处理，得到每条语音增强样本中每个样本语音帧的边界预测置信度。

26、在第一方面的一种可能的实现方式中，根据每条语音增强样本中每个样本语音帧的真伪预测置信度、边界预测置信度、真伪实际标识和边界实际标识，分别计算每条语音增强样本对应的分类损失值和边界感知局部对比损失值，包括：

27、根据每条语音增强样本中每个样本语音帧的真伪预测置信度、边界预测置信度、真伪实际标识和边界实际标识，计算每条语音增强样本对应的分类损失值；

28、根据每个声学特征序列对应的上下文特征序列，计算每条语音增强样本中每对相邻帧语音片段的特征相似度；

29、根据每条语音增强样本中每对相邻帧语音片段的特征相似度，以及每对相邻帧语音片段中每个样本语音帧的真伪实际标识，计算每条语音增强样本对应的边界感知局部对比损失值。

30、在第一方面的一种可能的实现方式中，边界感知局部对比损失值的计算公式为：

31、；

32、其中，为语音增强样本中第对相邻帧语音片段的特征相似度，表示取合页损失，和为软间隔阈值,且，表示第对相邻帧语音片段的真伪实际标识相同或不同的第一指示函数，表示第对相邻帧语音片段的真伪实际标识相同或不同的第二指示函数，为语音增强样本中相邻帧语音片段的真伪实际标识相同的帧对数量，为语音增强样本中相邻帧语音片段的真伪实际标识不同的帧对数量，l为语音增强样本中样本语音片段的总帧数。

33、在第一方面的一种可能的实现方式中，采用真伪检测模型对多个待测语音帧进行真伪检测处理，得到每个待测语音帧的目标真伪置信度，包括：

34、通过真伪检测模型的语音特征提取器，将多个待测语音帧映射为逐帧的声学特征序列；

35、通过真伪检测模型的上下文编码模块，捕捉多个待测语音帧对应的声学特征序列中的长程时序依赖关系，生成多个待测语音帧对应的上下文特征序列；

36、通过真伪检测模型的自注意力池化模块，对多个待测语音帧对应的上下文特征序列进行特征聚合处理，得到多个待测语音帧对应的聚合后特征序列；

37、采用真伪分类器对多个待测语音帧对应的聚合后特征序列中的每个特征向量进行真伪分类处理，得到每个待测语音帧的目标真伪置信度。

38、第二方面，本技术实施例提供了一种语音真伪检测装置，包括：

39、获取模块，用于获取待检测语音，待检测语音包含多个待测语音帧；

40、真伪检测模块，用于采用真伪检测模型对多个待测语音帧进行真伪检测处理，得到每个待测语音帧的目标真伪置信度，其中，真伪检测模型是以分类损失值和边界感知局部对比损失值之和最小为目标，采用语音增强样本对初始训练模型进行迭代训练得到的，语音增强样本为对局部伪造语音样本进行数据增强处理后得到，边界感知局部对比损失值基于语音增强样本中相邻帧语音片段的相似度确定；

41、结果确定模块，用于根据每个待测语音帧的目标真伪置信度与预设阈值的大小关系，确定待检测语音的真伪判定结果。

42、第三方面，本技术实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面任一项的方法。

43、第四方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一项的方法。

44、第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项的方法。

45、本技术实施例提供了一种语音真伪检测方法、装置、终端设备及程序产品，所述方法包括：获取待检测语音，待检测语音包含多个待测语音帧；采用真伪检测模型对多个待测语音帧进行真伪检测处理，得到每个待测语音帧的目标真伪置信度，其中，真伪检测模型是以分类损失值和边界感知局部对比损失值之和最小为目标，采用语音增强样本对初始训练模型进行迭代训练得到的，语音增强样本为对局部伪造语音样本进行数据增强处理后得到，边界感知局部对比损失值基于语音增强样本中相邻帧语音片段的相似度确定；根据每个待测语音帧的目标真伪置信度与预设阈值的大小关系，确定待检测语音的真伪判定结果。利用上述技术方案，通过对参与迭代训练的局部伪造语音样本进行数据增强处理后得到语音增强样本，能够主动切断语音样本中特定解码器声学痕迹与伪造标签之间的关联，同时，以分类损失值和边界感知局部对比损失值之和最小为目标，采用语音增强样本对初始训练模型进行迭代训练，其中，边界感知局部对比损失值基于语音增强样本中相邻帧语音片段的相似度确定的，能够引导模型关注真伪边界更加本质的时序不连续性，而非记忆表面的解码器痕迹模式变化，有效抑制了语音检测模型对浅层解码伪影的依赖，提升了语音检测模型在面对端到端编辑式局部伪造语音以及未知语音时进行真伪检测的鲁棒性。