融合边缘计算与联邦学习的语音呼叫隐私保护方法及系统与流程

摘要: 本发明涉及语音通信隐私保护,更具体地说,本发明涉及融合边缘计算与联邦学习的语音呼叫隐私保护方法及系统。背景技术:1、随着语音呼叫服务在客服中心、远程办公、智能家...
融合边缘计算与联邦学习的语音呼叫隐私保护方法及系统与流程

本发明涉及语音通信隐私保护,更具体地说,本发明涉及融合边缘计算与联邦学习的语音呼叫隐私保护方法及系统。

背景技术:

1、随着语音呼叫服务在客服中心、远程办公、智能家居等场景中的广泛应用,通话内容中往往包含大量个人敏感信息(如身份、情感、健康状况等),如何在保障服务质量的同时有效保护用户隐私,已成为亟待解决的技术难题。现有的语音隐私保护方法主要依赖传输层加密(如tls/srtp)和简单的语音匿名化(如音调变换、语音拼接),前者仅保护传输过程,在边缘节点或云端仍以明文形式处理语音数据,存在数据泄露风险;后者则会严重破坏语音的语义完整性和可分析性,难以满足后续的质检、情感识别等业务需求。近年来,差分隐私技术虽被引入语音特征发布环节,但现有方法多采用全局加噪策略,未充分考虑语音特征中说话人身份与内容语义的耦合特性,导致隐私保护与效用之间的平衡难以兼顾。

2、边缘计算与联邦学习的结合为语音呼叫隐私保护提供了新的思路。边缘节点可以在靠近数据源的位置实时处理语音流,避免原始音频上传至中心服务器;联邦学习则允许多个边缘节点协同训练模型而无需共享原始数据。然而,现有方案存在明显不足:一方面,边缘节点上传的模型梯度仍可能泄露用户隐私,已有的梯度扰动或剪枝方法缺乏对梯度贡献度的精细化评估,导致通信开销与模型精度难以平衡;另一方面,不同边缘节点的语音数据分布呈现非独立同分布特性(如不同客服区域的口音、业务类型差异),传统联邦平均聚合方法无法为各节点提供个性化的模型适配。此外,云端聚合过程中梯度仍以明文形式存在,半诚实的云服务商存在窥探风险,而全同态加密方案计算开销过大,难以在实时语音呼叫场景中落地。

3、因此,亟需一种能够在语音呼叫全链路中兼顾隐私保护、通信效率与模型个性化的方法。

技术实现思路

1、为了克服现有技术的上述缺陷,本发明的实施例提供融合边缘计算与联邦学习的语音呼叫隐私保护方法及系统。

2、为实现上述目的,本发明提供如下技术方案:

3、融合边缘计算与联邦学习的语音呼叫隐私保护方法,包括如下步骤:

4、步骤1:边缘节点实时获取通话双方的pcm音频流,进行流式语音转写得到词序列,同时提取声学特征并通过对抗解耦自编码器输出匿名声学隐向量,将词嵌入与隐向量拼接后进行l1范数裁剪并添加拉普拉斯噪声,得到脱敏联合特征;

5、步骤2:边缘节点基于脱敏联合特征训练本地模型,反向传播后利用梯度的二阶统计量计算各参数的贡献度,按贡献度降序保留部分梯度并置零其余梯度,对保留的梯度依次进行残差编码、乘积量化、高斯噪声扰动和paillier同态加密,生成加密更新包上传至云端;

6、步骤3:云端接收各节点的加密更新包及明文统计特征,对明文特征降维后进行在线聚类划分动态簇,在每个簇内利用paillier加法同态性对加密更新包进行安全加权聚合,再通过阈值解密恢复出簇中心梯度;

7、步骤4:云端采用reptile算法基于簇中心梯度更新元基础参数,并为每个簇的自适应层生成低秩偏置矩阵,将更新后的元基础参数和对应簇的低秩偏置矩阵用各节点的公钥加密后下发;

8、步骤5:边缘节点用本地私钥解密接收的参数,将低秩偏置矩阵投影生成缩放和偏移参数,对本地模型的自适应层输入进行逐通道仿射变换以完成模型更新,若连续多轮验证损失未下降则增大梯度上传的高斯噪声方差并降低参与联邦的频率。

9、具体的,所述步骤1中对抗解耦自编码器的训练损失函数包括梅尔谱重建损失、对抗损失和互信息项;

10、其中对抗损失用于最大化说话人身份分支的分类误差,互信息项用于最小化残留分支输出与说话人标签的依赖关系;训练完成后固定编码器权重部署于边缘节点。

11、具体的,所述步骤2中计算贡献度具体为:

12、维护梯度的一阶矩估计和fisher信息矩阵的对角近似,定义贡献度为梯度绝对值除以对角近似的平方根,再乘以梯度与一阶矩估计的方向余弦加上预设的偏置项;

13、计算得到贡献度后乘以当前轮次衰减因子,按降序保留前百分之十的梯度位置。

14、具体的,所述步骤2中残差编码为:

15、计算保留梯度与上一轮实际上传值的残差,若为首轮训练则上一轮上传值默认为零向量;

16、将残差向量均匀划分为四维子向量,利用共享乘积量化码本将每个子向量映射为最近的码字索引;

17、解量化后添加满足本地差分隐私的高斯噪声,再转换为整数并进行paillier逐元素加密。

18、具体的,所述步骤3中云端在安全沙箱内通过阈值paillier方案恢复簇中心梯度:

19、将私钥分割为三个分片分别托管于三个独立密钥管理节点,各节点在可信执行环境中提供部分解密,沙箱组合得到明文梯度。

20、具体的,所述步骤4中云端为每个簇动态调整低秩偏置矩阵的秩:

21、根据损失下降幅度和参与节点数调整秩:当损失下降幅度低于预设阈值且节点数不低于最小值时增加秩,否则若节点数不低于最小值则减小秩,其余情况维持原秩,并将秩限制在预设的上下界范围内;

22、秩的每次调整步长为正整数。

23、具体的,所述步骤5中边缘节点从重放缓冲区随机采样脱敏特征与标签评估本地验证损失,若连续五轮损失不再下降,则将高斯噪声方差增大百分之十并将参与联邦的频率降低至每两轮一次,待精度回升后逐步恢复。

24、融合边缘计算与联邦学习的语音呼叫隐私保护系统,包括如下模块:

25、边缘特征脱敏模块,用于在呼叫中心侧实时接入pcm音频流,通过流式语音转写和对抗解耦自编码器提取匿名声学隐向量,并与语义嵌入拼接后添加拉普拉斯噪声,输出满足差分隐私的脱敏联合特征;

26、边缘梯度上传模块,用于在边缘节点上基于脱敏特征训练本地模型,利用二阶梯度统计量计算贡献度并进行结构化剪枝,将保留的梯度经乘积量化、高斯扰动和paillier加密后打包上传至云端;

27、云端聚合与元学习模块,用于接收各节点的加密更新包,通过聚类将节点分组,在密文域完成安全加权聚合,再经阈值解密恢复簇中心梯度,并采用reptile算法更新元基础参数及每个簇的低秩偏置矩阵;

28、边缘模型更新模块,用于边缘节点收到云端下发的加密元模型和低秩偏置矩阵后,经本地私钥解密并采用film方式进行自适应层调制,得到最终本地模型;若连续多轮验证损失不再下降,则动态增大上传噪声方差并降低参与频率。

29、本发明的技术效果和优点:

30、本发明通过在边缘侧部署对抗解耦自编码器,将语音特征中的说话人身份信息与内容语义信息分离,仅保留匿名声学隐向量,并结合l1范数裁剪与拉普拉斯噪声添加,实现了满足ε-差分隐私的脱敏联合特征发布,从信息论角度切断了原始语音与说话人身份的链接。同时,边缘节点采用基于二阶梯度统计量的贡献度评估方法,动态剪枝低贡献度梯度,结合乘积量化、残差编码与高斯噪声扰动,大幅降低了上行通信开销,并在本地差分隐私与paillier同态加密的双重保护下,确保上传梯度的机密性与不可链接性。

31、云端通过在线聚类将非独立同分布节点划分为动态簇,利用阈值paillier方案在密文域完成安全加权聚合,恢复簇中心梯度后采用reptile元学习算法生成个性化低秩偏置矩阵,并根据损失下降幅度和参与节点数自适应调整秩大小,实现了通信效率与模型表达能力的动态平衡。边缘节点收到参数后通过film方式调制本地模型,能够在不中断转写服务的前提下完成热切换与增量迭代。本发明在语音呼叫全链路中构建了端到端的隐私保护体系,兼顾了数据隐私、通信效率和个性化性能,具有良好的工程实用价值。