一种基于缓存模型的对比视觉语言模型联邦微调方法

摘要: 本发明涉及使用联邦学习方法进行对比视觉语言模型微调的领域,尤其是涉及一种基于缓存模型的对比视觉语言模型联邦微调方法。背景技术:1、随着人工智能的快速发展,视觉语...
一种基于缓存模型的对比视觉语言模型联邦微调方法

本发明涉及使用联邦学习方法进行对比视觉语言模型微调的领域,尤其是涉及一种基于缓存模型的对比视觉语言模型联邦微调方法。

背景技术:

1、随着人工智能的快速发展,视觉语言模型已成为多模态学习领域的核心技术,能够同时建模图像与文本信号,实现跨模态理解。其中,以clip为代表的对比视觉语言模型依托大规模图文数据和对比学习策略,在图像分类等任务中取得显著效果,并具备良好的通用性与迁移能力,其性能可通过在特定领域数据上的微调进一步提升。然而,微调所需的数据通常分散在不同机构或终端设备中,因隐私、安全和存储限制无法被集中用于统一训练。为此,联邦学习作为一种分布式、隐私友好的协同训练框架,使各客户端能够在本地数据上独立训练并仅共享模型更新,从而在保护数据不出本地的前提下实现大模型的联合优化。

2、现有的视觉语言模型微调方法主要包括全量微调与参数高效微调(peft)。全量微调需更新全部模型参数,资源开销大且在数据有限时易过拟合;相比之下,参数高效微调仅调整少量新增或低秩参数,显著降低计算与存储成本。zhou等人(参考:zhou k,yang j,loyc c,et al.learning to prompt for vision-language models[j].internationaljournal of computer vision,2022,130(9):2337-2348.)提出了一种面向预训练视觉语言模型的自动化提示学习方法coop,通过将提示语中的上下文词建模为可学习向量,并在保持原模型参数冻结的情况下,仅优化这些上下文向量以适配具体任务。coop可采用共享上下文或类别特定上下文两种形式,以适应通用或细粒度分类任务。

3、联邦微调通过在各客户端基于大规模预训练模型进行本地适配,实现下游任务学习的同时保护数据隐私。promptfl(参考:guo t,guo s,wang j,et al.promptfl:letfederated participants cooperatively learn prompts instead of models-federated learning in age of foundation model[j].ieee transactions on mobilecomputing,2023,23(5):5179-5194.)提出了一种将提示学习引入联邦学习的轻量化微调方法,通过让各客户端在本地数据上仅优化预训练视觉语言模型的提示向量,而无需更新大规模模型参数,从而显著降低计算和通信开销。该方法在保持隐私约束的同时,使各客户端能够利用少量数据高效适配下游任务,并通过联邦聚合机制共享提示更新,实现对大模型的协同轻量微调。

4、然而,将联邦学习直接用于clip等大规模视觉语言模型仍存在显著障碍。一方面,这类模型参数规模庞大,使得客户端在本地训练过程中需要消耗大量计算资源,并在模型更新上传阶段产生高额通信开销,导致在资源受限的实际应用环境中难以高效开展联邦训练。另一方面,各客户端通常仅拥有数量有限且分布不独立同分布(non-iid)的数据,这会降低局部更新的质量,使全局模型的收敛速度变慢,并限制整体性能的提升。

技术实现思路

1、发明目的:为解决上述挑战,本发明提出了一种基于缓存模型的对比视觉语言模型联邦微调方法,从而在联邦学习场景下高效优化clip等视觉语言模型的适配过程,包括以下步骤:

2、步骤1,在服务端使用生成式预训练模型dall·e,将数据集类别标签格式化输入生成式模型,为每个标签生成图像,生成具有均衡类分布的合成数据集;

3、步骤2,在服务端使用clip的图像编码器从合成数据集中提取视觉特征w1,将合成图像的标签转化为one-hot向量w2,视觉特征权重和one-hot向量一起构成缓存模型;

4、步骤3,服务端将初始化的缓存模型分发给所有联邦客户端,在每个客户端上,将本地数据集的图像输入clip的图像编码器生成图像特征向量fvision,将n个类别的描述性文本输入clip的文本编码器生成文本特征向量ftext组成矩阵wtext,计算图像特征向量和类文本特征向量之间的相似度logits1;

5、步骤4,基于余弦相似度查询视觉特征fvision和缓存的视觉特征w1之间的距离,然后检索存储在w2中的相应标签值,计算得到基于缓存模型的结果logits2;

6、步骤5,将基于预训练clip的logits1与从缓存模型中检索得到的logits2通过超参数α混合以得到最终的预测logits;

7、步骤6,使用交叉熵损失和随机梯度下降对缓存模型进行优化,在每一轮优化期间,one-hot向量w2保持冻结,在客户端上仅对视觉特征权重进行更新;

8、步骤7,在完成所有本地客户端的训练后,将更新后的缓存模型参数发回服务器进行加权聚合,完成一轮联邦训练,并在服务端进行轮次测评,在下一轮开始时重新将缓存模型分发给每个客户端。

9、本发明步骤1中,使用openai的dall·e来进行数据生成,将n个类的标签格式化为“a photo of a[class]”输入到dall·e中,为每个标签生成k个图像,表示为:

10、in,k=dall·e(tn),

11、其中tn表示n个类别标签的文本输入,in,k表示为这些标签生成的nk张图像,该方法可以自动生成具有均衡类分布的合成数据集。具体地,为每个类生成少量的图片即可,可以优化服务端性能负载。

12、本发明步骤2包括:

13、步骤2-1,预训练clip的图像编码器使用resnet-50作为骨干网络,使用clip的图像编码器从包含nk张图像的合成数据集中提取视觉特征,视觉特征的维度为c,表示为:

14、w1=imageencoder(in,k),

15、其中w1是具有c行和nk列的矩阵,代表缓存视觉特征权重;

16、步骤2-2,nk图像的对应标签ln,k被转换为one-hot编码向量,表示为:

17、w2=onehot(ln,k),

18、其中,w2是具有n行和nk列的矩阵,代表缓存one-hot向量权重。视觉特征权重w1与one-hot向量权重w2共同构成缓存模型,该模型用于存储由合成图像预先计算得到的视觉特征及其对应的标签。

19、本发明步骤3包括:

20、步骤3-1,为了在使用本地数据的同时保护数据隐私,应用联邦学习范式来优化缓存模型的更新过程,在初始化合成数据集上的缓存模型后,服务端将缓存模型中的视觉特征权重和one-hot向量权重分发给每个客户端,每个客户端在本地加载缓存模型;

21、步骤3-2,在客户端上,将来自本地数据集的图像dk输入到clip的图像编码器,生成c维的图像特征向量fvision,表示为:

22、fvision=imageencoder(dk);

23、步骤3-3,在客户端上,将n个类别的描述性文本“a photo of a[class]”输入到clip的文本编码器中,生成n个c维的文本特征向量ftext,形成一个n×c矩阵wtext,表示为:

24、wtext=textencoder(inputn);

25、步骤3-4,接下来计算图像特征向量和类文本特征向量之间的余弦相似度,即将他们的矩阵相乘,表示为:

26、

27、本发明步骤4中,使用缓存模型计算每张图片的logits,表示为:

28、

29、其中该步骤可以视为先测量图像特征fvision和缓存的图像特征w1之间的距离,然后检索存储在w2中的相应标签值。本质上,缓存模型执行的是一种最近特征检索操作,将预缓存的视觉信息转换为分类logits。超参数β用于调节由距离到logits转换的尖锐程度。较大的β会放大特征距离之间的差异,生成更具峰值特性的权重,从而迫使模型主要依赖最邻近的缓存特征;相反,较小的β则会产生更平滑、分布更均匀的logits,使模型能够从更广泛的缓存特征中汇聚信息。

30、本发明步骤5中,根据从缓存模型检索到的值,将来自预训练clip的logits1与由缓存模型检索得到的logits2进行融合,从而获得最终的预测logits,表示为:

31、logits=logits1+α·logits2,

32、其中,α是可以根据任务要求进行调整的超参数,当任务需要吸收更多特定知识时,较大的α更加合适;而当模型更需要泛化能力时,建议采用较小的α。

33、本发明步骤6中,在本地客户端上基于本地数据集,使用交叉熵损失和随机梯度下降对缓存模型进行优化,在第t轮本地优化期间,缓存模型的one-hot向量权重w2保持冻结,并在客户端k上仅更新视觉特征权重w1,表示为:

34、

35、本发明步骤7包括:

36、步骤7-1,对于每一个完成t轮本地训练的客户端k,都将更新完成的缓存模型视觉特征参数发回服务端进行聚合,以类似fedavg(参考:mcmahan b,moore e,ramage d,et al.communication-efficient learning of deep networks from decentralizeddata[c]//artificial intelligence and statistics.pmlr,2017:1273-1282.)的方式,根据每个客户端的样本数量进行加权聚合,表示为:

37、

38、其中表示迭代t+1轮的缓存模型视觉特征,st表示第t轮参与更新的客户端,nk表示第k个客户端上的样本数量,n表示所有客户端上的样本总数,表示迭代t+1时的第k个客户端上的本地缓存模型视觉特征权重;

39、步骤7-2,在聚合完成后,在服务端基于聚合后的缓存模型视觉特征使用测试数据集进行评估本轮训练效果;重新将聚合之后的缓存模型视觉特征分发给每个在本轮中参与更新的客户端,客户端在本地重新将视觉特征参数加载进本地的缓存模型,完成该一整轮的联邦训练流程。

40、有益效果:

41、1.本发明提出了一种基于缓存模型的对比视觉语言模型联邦微调方法,该缓存模型仅由视觉特征和one-hot编码标签组成,结构轻量,参数量远小于完整的预训练模型。通过以缓存模块微调替代传统的整模型微调,本发明能够在资源受限的客户端上显著降低通信与训练开销。

42、2.本发明引入了一种新的缓存模块初始化与微调策略。利用生成式预训练模型合成类别均衡的数据集,可在无需依赖任何额外公共或私有数据的情况下完成缓存模块的初始化。在联邦微调过程中,原始模型保持冻结,仅训练缓存模块的部分参数,从而在保留模型先验知识的同时,实现高效适配,并在有限本地数据条件下获得快速收敛。