一种面向图像识别的个性化差分隐私联邦学习方法

本发明涉及面向隐私保护的联邦学习，特别涉及一种面向图像识别的个性化差分隐私联邦学习方法。

背景技术：

1、联邦学习是一种分布式机器学习范式，其通过中心服务器与多个物联网终端协同维护全局模型，使物联网终端无需直接上传原始传感器数据即可参与模型训练。该机制适用于多个客户端分别存储本地图像数据，并由服务器协同各客户端训练图像识别模型的数据分散且隐私敏感的应用场景。但是，联邦学习并不意味着天然满足严格隐私保护要求。服务器或其他参与方仍可能通过客户端上传的模型参数、梯度信息或模型更新推断本地图像数据中的敏感信息。为了提供形式化的隐私保证，差分隐私通常被引入联邦学习训练过程，通过梯度裁剪限制单个样本对训练结果的影响，并通过随机噪声扰动降低模型更新对单个样本的敏感性。

2、在样本级本地差分隐私联邦学习中，隐私扰动通常发生在联邦学习本地训练阶段，即客户端在上传模型信息之前已经完成逐样本梯度裁剪和噪声扰动。该方式虽然能够降低服务器端观察本地模型更新带来的隐私风险，但也会造成模型效用下降。尤其是在非独立同分布图像数据场景下，不同客户端因持有的图像类别及各类别样本比例不同，其本地图像训练数据分布存在显著差异，本地更新方向本身已经较不一致，梯度裁剪和隐私噪声会进一步放大这种不一致性，从而影响全局图像识别模型的收敛稳定性和最终识别准确率。

3、现有差分隐私联邦学习方法通常采用固定裁剪阈值，或者根据梯度范数分布进行一般性的自适应调整。固定裁剪阈值难以适应客户端训练过程中的梯度尺度变化：裁剪阈值过小时会产生较大的裁剪偏差，裁剪阈值过大时又会使高斯噪声的绝对尺度增大，引入不必要的扰动。与此同时，仅依赖范数分布统计的调整方式未必能够直接反映异构客户端在不同训练阶段的真实裁剪行为。

4、另一方面，输入侧个性化机制能够在不改变服务器端聚合规则和主模型结构的前提下，为不同客户端学习适应其本地图像训练数据分布的输入变换，从而缓解终端间分布差异。但如果只进行个性化数据变换，仍然难以解决差分隐私训练中裁剪阈值与梯度尺度长期不匹配的问题。

技术实现思路

1、鉴于上述状况，本发明的主要目的是为了提出一种面向图像识别的个性化差分隐私联邦学习方法，以解决上述技术问题。

2、本发明提出一种面向图像识别的个性化差分隐私联邦学习方法，所述方法包括如下步骤：

3、步骤1、联邦学习服务器获取当前轮次全局模型参数以及当前裁剪阈值并下发至参与当前轮次训练的客户端，以得到下发的本地图像训练模型参数以及下发的客户端裁剪阈值；

4、步骤2、通过下发的图像训练模型参数和下发的客户端裁剪阈值获取个性化数据，并基于个性化数据变换参数对本地图像训练数据进行个性化变换，以得到变换后的本地训练数据；利用个性化数据构建得到适配本地图像数据的图像训练模型；

5、步骤3、基于变换后的本地训练数据和当前轮次裁剪阈值，通过带差分隐私处理对客户端本地的图像识别训练模型进行更新，以得到更新后的当前轮次本地共享模型参数和当前轮次裁剪率反馈信息；

6、步骤4、利用更新后的当前轮次本地共享模型参数和当前轮次裁剪率反馈信息进行全局模型参数与裁剪阈值的更新，并得到下一轮次全局模型参数与下一轮次裁剪阈值；

7、步骤5、将下一轮次全局模型参数与下一轮次裁剪阈值分别作为当前轮次全局模型参数与当前轮次裁剪阈值，重复步骤1至步骤4，在达到预设轮次后，得到最终全局模型参数；将最终全局模型参数部署至联邦学习服务器，并输出最终图像识别结果。

8、与现有技术相比，本发明有益效果如下：

9、1、本发明通过在客户端输入侧引入可学习的个性化数据变换层，使不同客户端图像识别模型能够在本地对图像训练数据进行适配，从而缓解图像识别场景中非独立同分布图像数据带来的分布差异。

10、2、本发明通过裁剪率反馈信息驱动的动态裁剪机制，避免固定裁剪阈值在客户端训练前后阶段长期不匹配的问题，能够降低过度裁剪和不必要噪声扰动对图像识别模型效用的影响。

11、3、本发明中的个性化数据变换参数保留在客户端本地，不参与服务器端聚合，有助于降低客户端本地图像数据个性化特征的暴露风险。

12、4、本发明无需改变基础联邦平均聚合框架，具有较好的兼容性，可应用于采用样本级差分隐私机制的联邦图像识别模型训练场景。

1.一种面向图像识别的个性化差分隐私联邦学习方法，其特征在于，所述方法包括如下步骤：

2.根据权利要求1所述的面向图像识别的个性化差分隐私联邦学习方法，其特征在于，在所述步骤1中，通过联邦学习服务器获取当前轮次全局模型参数以及当前裁剪阈值并下发至参与当前轮次训练的客户端，以得到下发的图像识别全局模型的参数以及下发的客户端裁剪阈值，具体步骤如下：

3.根据权利要求2所述的面向图像识别的个性化差分隐私联邦学习方法，其特征在于，在所述步骤2中，通过下发的图像识别全局模型的参数和下发的客户端裁剪阈值获取个性化数据，并基于个性化数据变换参数对本地图像训练数据进行个性化变换，以得到变换后的本地训练数据；利用个性化数据构建得到适配本地图像数据的图像训练模型，具体步骤如下：

4.根据权利要求3所述的面向图像识别的个性化差分隐私联邦学习方法，其特征在于，在利用本地客户端的缩放参数和平移参数对本地图像训练数据进行线性变换，以得到变换后的本地训练数据的过程中，对应有如下关系式：

5.根据权利要求4所述的面向图像识别的个性化差分隐私联邦学习方法，其特征在于，在所述步骤3中，基于变换后的本地训练数据和当前轮次裁剪阈值，通过带差分隐私处理对客户端本地的图像识别训练模型进行更新，以得到更新后的当前轮次本地共享模型参数和当前轮次裁剪率反馈信息，具体步骤如下：

6.根据权利要求5所述的面向图像识别的个性化差分隐私联邦学习方法，其特征在于，对各小批次逐样本梯度进行l2范数处理，以得到l2范数处理结果；将l2范数处理结果与当前轮次裁剪阈值进行比较，以得到当前轮次比较结果；根据当前轮次比较结果对当前轮次样本梯度进行裁剪，以得到裁剪后的逐样本梯度，对应过程存在如下关系式：

7.根据权利要求6所述的面向图像识别的个性化差分隐私联邦学习方法，其特征在于，在更新当前轮次客户端本地的图像识别训练模型中的参数的过程中，同步计算当前轮次小批次中梯度范数超过当前轮次裁剪阈值的样本个数，并进一步得到当前轮次本地小批次的批次级裁剪率，对应过程存在如下关系式：

8.根据权利要求7所述的面向图像识别的个性化差分隐私联邦学习方法，其特征在于，在所述步骤4中，利用更新后的当前轮次本地共享模型参数和当前轮次裁剪率反馈信息进行全局模型参数与裁剪阈值的更新，并得到下一轮次全局模型参数与下一轮次裁剪阈值，具体步骤如下：

9.根据权利要求8所述的面向图像识别的个性化差分隐私联邦学习方法，其特征在于，在对所有更新后的当前轮次本地共享模型参数进行算术平均，以得到下一轮次用于图像识别的全局模型参数的过程中，对应有如下关系式：

10.根据权利要求9所述的面向图像识别的个性化差分隐私联邦学习方法，其特征在于，在利用预设的平滑系数对上一轮次全局裁剪反馈信号进行指数滑动平均处理，以得到当前轮次全局裁剪反馈信号的过程中，对应有如下关系式：