一种基于联邦学习的伪造语音检测方法及装置与流程

本发明涉及语音信号处理，尤其涉及一种基于联邦学习的伪造语音检测方法及装置。

背景技术：

1、随着深度学习和神经语音生成技术的发展，基于语音合成、语音转换、录音回放和语音拼接的伪造语音生成质量不断提高。高质量伪造语音能够对远程身份认证、说话人验证、语音控制和智能语音交互系统构成安全威胁，因此，伪造语音检测已成为语音安全领域的重要研究方向。

2、现有伪造语音检测方法通常采用集中式训练方式，即将不同来源的原始语音样本统一汇聚到服务器，再对检测模型进行训练。该方式在实验环境下能够完成模型学习，但在实际部署环境中存在明显限制。一方面，原始语音样本包含说话人声纹信息和语音内容信息，直接集中传输容易带来隐私泄露风险，并且受到网络带宽、数据管理制度和跨域共享限制的影响。另一方面，不同节点持有的本地语音样本在说话人分布、伪造攻击类型、采集条件和样本数量上存在差异，集中式训练方式难以适应分布式节点协同建模的需求。

3、联邦学习允许各客户端在本地保留原始数据，仅上传本地模型参数或参数更新结果，由服务器完成模型聚合并更新全局模型。该方式能够在不传输原始语音样本的条件下实现多节点协同训练。然而，现有联邦学习技术主要应用于图像分类、文本分析和推荐系统等领域，针对伪造语音检测任务的技术方案仍不充分。特别是在伪造语音检测场景中，不仅需要提高真假语音的分类准确率，还需要降低与自动说话人验证系统串联后的系统级检测代价。

4、因此，亟需一种基于联邦学习的伪造语音检测方法及装置以改善上述问题。

技术实现思路

1、本发明的目的在于提供一种基于联邦学习的伪造语音检测方法及装置，能够实现原始语音样本本地化保护和多节点协同检测性能提升。

2、第一方面，本发明提供一种基于联邦学习的伪造语音检测方法，包括步骤：获取真实语音样本和伪造语音样本，构建语音数据集，并将所述语音数据集至少划分为第一数据集和第二数据集；利用所述第一数据集对伪造语音检测骨干模型进行集中式训练，得到初始化全局模型；将所述第二数据集分配至个客户端节点，并将所述初始化全局模型下发至各所述客户端节点，以使得各所述客户端节点基于分配到的本地数据集对接收到的全局模型进行本地训练，得到本地模型参数并上传，其中，为正整数；接收各客户端节点上传的本地模型参数，并进行加权聚合，得到目标联邦伪造语音检测模型；获取待检测语音，将所述待检测语音输入所述目标联邦伪造语音检测模型，根据模型输出的分类置信度生成伪造语音检测结果。

3、可选的，还包括：对所述语音数据集中的语音样本执行预处理，所述预处理用于将各语音样本转换为符合所述伪造语音检测骨干模型输入要求的标准化形式；所述预处理至少包括：采样率调整处理，用于将各语音样本的采样率统一至目标采样率；序列长度对齐处理，用于将各语音样本的采样点数量调整至目标长度；标签映射处理，用于将真实语音样本和伪造语音样本分别映射为对应的类别标签。

4、可选的，所述伪造语音样本包括通过语音合成、语音转换、录音回放或语音拼接方式生成的伪造语音；和/或所述伪造语音检测骨干模型为基于原始语音波形输入的神经网络模型。

5、可选的，利用所述第一数据集对伪造语音检测骨干模型进行集中式训练，得到初始化全局模型包括：采用adam优化器对所述伪造语音检测骨干模型进行迭代训练，并根据所述语音数据集中的验证集上的等错误率选取性能最优的模型参数作为初始化全局模型。

6、可选的，接收各客户端节点上传的本地模型参数，并进行加权聚合，得到目标联邦伪造语音检测模型包括：接收各所述客户端节点上传的本地模型参数，并按照各所述客户端节点所持有的样本量占总样本量的比例，对各所述本地模型参数进行加权聚合，得到更新后的全局模型；若满足停止条件，则将其作为目标联邦伪造语音检测模型；否则重复执行所述本地训练步骤和所述加权聚合步骤，直至满足停止条件。

7、可选的，所述加权聚合的公式如下：

8、

9、其中，为客户端节点数量，为第个客户端节点持有的样本数，为第个客户端节点在第轮本地训练后上传的模型参数，为聚合后得到的第轮全局模型参数。

10、第二方面，本发明提供一种基于联邦学习的伪造语音检测装置，该装置包括执行上述第一方面的任意一种可能的设计的方法的模块/单元。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。

11、第三方面，本发明提供一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的程序，当所述程序被所述处理器执行时，使得所述电子设备实现执行上述任一方面的任意一种可能的设计的方法。

12、第四方面，本发明提供一种可读存储介质，所述可读存储介质内存储有程序，所述程序被执行时，实现上述任一方面的任意一种可能的设计的方法。

13、第五方面，本发明提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法。

14、本发明的方法有益效果为：本发明在联邦训练过程中不传输原始语音数据，仅交互模型参数，从而实现语音数据隐私保护。同时采用集中式预训练与联邦聚合相结合的方式，使各客户端从统一初始化模型开始训练，提升联邦训练稳定性。通过对模型输出分数进行建模，实现高效真假语音判别，并可从独立检测性能与系统级检测代价两个层面综合评估模型效果。

1.一种基于联邦学习的伪造语音检测方法，其特征在于，包括步骤：

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求1所述的方法，其特征在于，所述伪造语音样本包括通过语音合成、语音转换、录音回放或语音拼接方式生成的伪造语音；

4.根据权利要求1所述的方法，其特征在于，利用所述第一数据集对伪造语音检测骨干模型进行集中式训练，得到初始化全局模型包括：

5.根据权利要求1所述的方法，其特征在于，接收各客户端节点上传的本地模型参数，并进行加权聚合，得到目标联邦伪造语音检测模型包括：

6.根据权利要求1所述的方法，其特征在于，所述加权聚合的公式如下：

7.一种基于联邦学习的伪造语音检测装置，用于所述权利要求1-6中任一项所述的方法，其特征在于，包括：

8.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的程序，当所述程序被所述处理器执行时，使得所述电子设备实现权利要求1-6中任一项所述的方法。

9.一种可读存储介质，所述可读存储介质内存储有程序，其特征在于，所述程序被执行时，实现权利要求1-6中任一项所述的方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6中任一项所述的方法。