基于预训练扩散模型的半监督联邦学习方法

本发明属于机器学习，具体涉及一种基于预训练扩散模型的半监督联邦学习方法。

背景技术：

1、深度学习的成功依赖于大量的数据，数据的规模和质量对模型的表现起着决定性作用。然而，在实际应用中，数据往往分布在多个设备上，且数据隐私和安全问题日益突出。传统的中心化训练方法不仅会造成隐私泄露的风险，而且可能面临法规和伦理上的限制，为解决这一问题，许多研究者开始进行联邦学习的研究。

2、联邦学习是一种新的机器学习范式，允许多个客户端进行协作训练而不共享私密数据。实际的联邦学习场景，如移动相册分类和自动驾驶，通常涉及不愿意或无法提供可靠注释的个人用户。这通常导致客户端的数据是无标注的，因此产生了半监督联邦学习的问题设置。在这种设置下，有多个只有无标注数据的客户端，以及一个具有标注数据的服务器。半监督联邦学习的目标是获得一个能够适应所有客户端分布的全局模型。

3、由于允许使用无标注的客户端数据，半监督联邦学习应该是联邦学习中最实用的主题。然而，由于以下原因，现有的半监督联邦学习方法无法在实际场景中得到应用：首先，主要挑战在于通信。目前，大部分半监督联邦学习方法都严重依赖多轮通信，客户端负担显著增加；其次，数据异质性的挑战在半监督联邦学习中仍然存在。当服务器和客户端之间存在分布差异时，全局模型的性能显著下降；第三点涉及到实际场景中客户端的多样化设备。实现半监督联邦学习方法时，大多数客户端无法支持在其设备上进行模型训练，例如在移动相册分类和自动驾驶等场景中的大部分移动终端。

4、最近，扩散模型的发展提供了新的机遇。扩散模型是一类生成模型，通常通过反向扩散过程逐步去噪，生成高质量的样本。扩散模型的一大特点在于具有强大的条件生成能力，经过充分预训练的扩散模型在适当的引导下，可以生成涵盖各种类别和分布且多样性充足的数据。如果能够生成关于客户个性化分布的指导，那么就有可能无限地生成符合半监督联邦学习中各个客户端分布的高质量图像。通过人造数据集，人们可以在高度非独立同分布的情况下实现半监督联邦学习，而无需任何客户端训练。这样就能同时解决上述三个挑战，显著提高半监督联邦学习的实用性。然而，目前尚没有基于扩散模型的半监督联邦学习方法。

技术实现思路

1、本发明是为解决上述问题而进行的，为解决半监督联邦学习方法在实用时存在的客户端通信量，客户端计算量，以及客户端数据异质性的挑战，提供一种基于预训练扩散模型的联邦半监督学习方法。本发明采用了如下技术方案：

2、本发明提供了一种基于预训练扩散模型的半监督联邦学习方法，其特征在于，包括以下步骤：客户端数据分布拟合步骤，多个客户端模块分别使用高斯混合模型拟合其本地数据分布，并将拟合得到的所述高斯混合模型的参数上传至服务器模块；服务器初始噪声采样步骤，所述服务器模块接收到各个所述客户端模块上传的所述高斯混合模型的参数后，从所述高斯混合模型的多个分量中随机采样初始噪声；服务器数据条件生成步骤，所述服务器模块以所述初始噪声为条件，利用预置的预训练扩散模型执行条件生成，从而生成符合不同的所述客户端模块的个性化分布的合成数据集；服务器全局模型训练步骤，所述服务器模块利用所述合成数据集执行全局模型训练，得到训练好的所述全局模型。

3、本发明提供的基于预训练扩散模型的半监督联邦学习方法，还可以具有这样的技术特征，其中，所述预训练扩散模型包括：特征提取器模块，其通道层次采用注意力机制，用于提取含噪数据的特征；特征解码器模块，用于对所述含噪数据的特征进行解码并预测其中的噪声成分；以及条件输入模块，用于将输入的条件通过对数据特征的交叉注意力方式输入到所述特征提取器模块以及所述特征解码器模块中，以实现条件生成。

4、本发明提供的基于预训练扩散模型的半监督联邦学习方法，还可以具有这样的技术特征，其中，所述客户端数据分布拟合步骤包括以下子步骤：服务器预训练模型获取步骤，所述服务器模块获取所述预训练扩散模型，所述预训练扩散模型包含文本特征提取器；服务器特征提取器下发步骤，所述服务器模块分别向各个所述客户端模块下发所述文本特征提取器，以供所述客户端模块提取其本地数据中的特征；客户端原始数据分布加噪步骤，各个所述客户端模块接收到所述文本特征提取器后，使用所述文本特征提取器对其本地数据进行编码与加噪；客户端加噪数据分布拟合步骤，所述客户端模块使用所述高斯混合模型对相应的加噪后的所述本地数据的分布进行拟合；拟合后统计量上传服务器步骤，所述客户端模块将拟合后的所述高斯混合模型的统计量上传至所述服务器模块。

5、本发明提供的基于预训练扩散模型的半监督联邦学习方法，还可以具有这样的技术特征，其中，所述客户端原始数据分布加噪步骤中，加噪表示为：

6、

7、式中，eθ代表服务器模块下发的特征提取器，θ为特征提取器的具体参数；代表客户端m的本地图像数据集；表示从中获取的第i张图片；是由使用的扩散模型决定的超参数，t为扩散模型规定的最大时间步，∈为从标准高斯分布中采样得到的随机噪声。

8、所述高斯混合模型表示为：

9、

10、式中，是第k个高斯成分的混合权重，与分别是该成分的均值与协方差矩阵，是第k个高斯成分的概率密度函数。

11、所述客户端加噪数据分布拟合步骤中，使用期望最大化算法进行所述高斯混合模型中统计量的拟合，所述期望最大化算法的计算过程包括e步和m步，在所述e步中，计算每个加噪样本属于每个高斯成分的后验概率，表示为：

12、

13、在所述m步中，更新所述高斯混合模型的各个参数，更新过程表示为：

14、

15、本发明提供的基于预训练扩散模型的半监督联邦学习方法，还可以具有这样的技术特征，其中，所述服务器初始噪声采样步骤包括以下子步骤：类别条件向量生成步骤，所述服务器模块整理所述客户端模块有可能出现的类别，并基于整理出的所述类别以及所述文本特征提取器进行类别条件向量的生成；初始噪声采样步骤，所述服务器模块从接收到的所述高斯混合模型的多个分量中随机采样所述初始噪声。

16、本发明提供的基于预训练扩散模型的半监督联邦学习方法，还可以具有这样的技术特征，其中，所述初始噪声采样步骤中，采样过程表示为：

17、

18、本发明提供的基于预训练扩散模型的半监督联邦学习方法，还可以具有这样的技术特征，其中，所述预训练扩散模型还包括：去噪扩散模块，用于在所述条件输入模块提供的条件的引导下，将所述特征提取器模块提供的所述含噪特征进行去噪，得到不含噪声的合成数据的浅层特征，所述服务器数据条件生成步骤包括以下子步骤：条件输入扩散模型步骤，所述服务器模块将所述类别条件向量与所述初始噪声分别输入所述预训练扩散模型，其中，所述类别条件向量通过所述条件输入模块进行输入，所述初始噪声作为所述扩散去噪模块的去噪起点进行输入；扩散模型迭代去噪步骤，所述服务器模块的所述预训练扩散模型基于输入的所述类别条件向量与所述初始噪声进行条件生成，得到符合不同的所述客户端模块的个性化分布的所述合成数据集；合成数据集整理步骤，基于所述类别条件向量的类别信息，对所述合成数据集中的数据设置伪标签，从而得到所述服务器模块的合成数据集。

19、本发明提供的基于预训练扩散模型的半监督联邦学习方法，还可以具有这样的技术特征，其中，所述扩散模型迭代去噪步骤中，去噪表示为：

20、

21、式中，xt为每个时间步t扩散模型去噪得到的样本，其起点为从高斯混合模型中采样得到的初始噪声xt；αt与σt为扩散模型预先定义的超参数，用于控制加噪程度；∈θ为预训练扩散模型的扩散去噪模块，其中θ为从公开模型库中获取的扩散模型参数；pc为对应类别c的类别条件向量；εt为从标准高斯分布中采样的随机噪声。

22、发明的作用与效果

23、根据本发明提供的基于预训练扩散模型的半监督联邦学习方法，通过在客户端模块拟合高斯混合模型并上传统计量，服务器模块从接收到的高斯混合模型中采样出初始噪声，用于引导扩散模型生成符合客户端分布的合成数据，从而能够在无需客户端执行模型训练的情况下训练全局模型。该方法显著降低了客户端计算和通信成本，避免了传统联邦学习中的梯度传输和数据泄露风险，同时在异构数据分布环境下仍能保持良好的模型性能。相比传统联邦半监督学习方法，该方法对客户端的通信能力与计算能力的要求显著降低。由于预训练扩散模型提供的海量知识，该方法训练出的全局模型在部分客户端模块能够超越中心化训练的天花板，进一步提升了半监督联邦学习方法的全局模型性能与实用性，可广泛适用于隐私保护学习、智能终端设备、医疗数据联邦学习等多种场景。