基于内在几何偏置选择的鲁棒联邦视觉语言适配方法

本发明属于基于特定计算模型的计算机系统的，尤其涉及基于内在几何偏置选择的鲁棒联邦视觉语言适配方法。

背景技术：

1、联邦学习通过“数据不出本地、模型协同训练”的方式，为隐私受限场景下的分布式模型学习提供了有效技术路径。随着 clip 等视觉语言基础模型在图像分类、跨模态检索以及多域迁移任务中的广泛应用，如何在联邦环境下对大规模视觉语言模型进行高效适配，已成为当前重要研究方向。

2、现有联邦视觉语言模型适配方法大多采用附加式参数高效调优范式，例如引入可学习 prompt，或者在主干网络内部插入 adapter 模块。该类方法虽然能够减少全参数微调带来的通信与计算开销，但通常仍然存在如下不足：一是需要修改原有模型拓扑结构，从而引入额外推理模块与额外推理时延，不利于边缘设备部署；二是可训练接口维度相对较高，在客户端数据异构条件下，不同客户端的局部最优方向可能差异较大，容易在全局聚合时产生更新冲突与相互抵消；三是此类方法主要通过外部附加接口完成适配，而预训练视觉主干的内部表示变化有限，难以充分吸收客户端之间主要体现在视觉分布层面的局部偏移。

3、中国专利文献cn121638386a公开一种基于混合专家适配器的多模态个性化联邦学习方法，包括：加载预训练视觉-语言模型作为冻结主干网络，构建适配器模块，初始化共享适配器参数和私有适配器参数以完成本地模型构建；接收最新共享适配器参数并覆盖更新，继承上一轮私有适配器参数；通过本地多模态数据集训练模型，图像与文本数据经主干网络提取特征后，通过私有降维层、共享混合专家层、私有升维层，计算对比损失并更新适配器参数，统计专家网络激活累计频率生成贡献统计向量；上传相关参数后，门控网络按数据量加权平均，专家网络结合数据量与使用率加权聚合，生成全局共享模型。但是，其采用混合专家适配器作为主要适配载体，需要在预训练主干网络之外额外引入适配器结构，仍属于附加式调优范式，难以避免新增推理模块与额外推理开销。

4、中国专利文献cn118779915a公开面向大模型联邦迁移场外微调的适配器隐私保护方法，首先，模型所有者选取大模型transformer结构下的顶层和底层作为适配器，并将其余层进行压缩作为仿真器；然后，模型所有者对适配器添加扰动，将该适配器和仿真器下发给下游的数据所有者；接着，数据所有者将模型所有者下发的适配器和仿真器进行拼接以实现上游大模型功能，并且利用私有数据集对适配器进行微调；最后，数据所有者将微调完成的适配器上传回模型所有者，模型所有者将更新完成后的适配器插入大模型，完成对大模型的更新。但是，其重点在于大模型联邦迁移场景下适配器微调过程中的隐私保护，并非针对视觉语言模型在联邦异构环境下的鲁棒适配问题；同时，其仍依赖适配器作为附加调优模块，导致在联邦异构场景下，微调过程与主干网络的具体结构强耦合，且无法在保证隐私的同时实现极致的通信压缩。

5、因此，如何在不改变视觉语言模型原有拓扑结构、不过度增加通信与推理开销的前提下，构造一种更紧凑、更稳定且更适合联邦异构场景的内在适配接口，并进一步区分哪些内在参数适合跨客户端共享、哪些内在参数应保留为客户端个性化参数，成为亟待解决的技术问题。

技术实现思路

1、本发明旨在克服上述现有技术的至少一种缺陷，提供基于内在几何偏置选择的鲁棒联邦视觉语言适配方法，以实现零额外推理模块、极低通信开销以及在异构客户端条件下兼顾全局泛化与本地个性化的视觉语言模型联邦适配。在冻结预训练视觉编码器与文本编码器主干参数的前提下，仅解锁各 transformer 前馈网络输出投影中的偏置参数，构建极小规模的内在可训练子空间；客户端在本地训练时利用交叉熵损失梯度估计经验fisher 信息，对各可训练偏置坐标的局部敏感度进行打分，并基于渐进式个性化掩码机制，将偏置坐标划分为可共享坐标与个性化坐标；其中，可共享坐标参与服务器端聚合，个性化坐标仅保留在客户端本地；在本地训练过程中，对可共享坐标施加 fisher 加权近端约束，并利用冻结教师模型进行图像特征与文本特征蒸馏，以稳定异构场景下的训练。

2、本发明还提供一种实现上述方法的电子设备。

3、本发明还提供一种实现上述方法的机器可读存储介质。

4、为实现上述目的，本发明采用如下技术方案：

5、基于内在几何偏置选择的鲁棒联邦视觉语言适配方法，包括如下步骤：

6、s1、全局模型初始化：服务器初始化预训练视觉-语言模型，并向参与训练的客户端下发初始化后的预训练视觉-语言模型中的全局内在参数；

7、s2、客户端本地训练：各参与训练的客户端冻结本地预训练视觉-语言模型的主干参数，基于获取的全局内在参数，构建内在可训练参数集合；并基于交叉熵损失计算内在可训练参数集合中可训练偏置坐标的局部敏感度评分；客户端基于渐进式个性化掩码，将可训练偏置坐标划分为可共享坐标与个性化坐标；对可共享坐标进行局部优化，完成客户端的本轮训练。

8、s3、稀疏通信与全局聚合：客户端仅上传可共享坐标对应的稀疏更新，服务器依据参与客户端样本量对上传的可共享坐标对应的稀疏更新进行加权聚合，得到下一轮全局内在参数并上传至客户端；

9、s4、迭代训练：重复执行步骤 s2 -s3，直至模型收敛或者达到预设通信轮次。

10、优选的，步骤s1所述的全局内在参数为预训练视觉-语言模型中各transformer前馈网络输出投影中的偏置参数；步骤s2所述的主干参数为除各 transformer 前馈网络输出投影偏置参数之外的其余预训练参数。

11、优选的，步骤s2包括：

12、s21、各参与训练的客户端在冻结本地预训练视觉-语言模型主干参数的条件下，仅解锁获取的各transformer前馈网络输出投影中的偏置参数，构建内在可训练参数集合；

13、s22、局部敏感度估计：客户端基于私有数据集，计算冻结主干参数的预训练视觉-语言模型中，输入图像与其对应真实类别y的条件概率；并基于条件概率，计算交叉熵损失；利用交叉熵损失梯度构造内在可训练参数集合中可训练偏置坐标的经验 fisher 对角近似，得到可训练偏置坐标的局部敏感度评分；

14、s23、客户端根据局部敏感度评分更新渐进式个性化掩码，将可训练偏置坐标划分为可共享坐标与个性化坐标；

15、s24、局部鲁棒优化：对可共享坐标施加 fisher 加权近端约束，同时引入冻结教师模型提供的图像-文本双分支蒸馏，通过最小化总损失函数，实现可共享坐标的局部优化更新。

16、进一步优选的，所述步骤s21，仅解锁获取的各 transformer 前馈网络输出投影偏置参数作为可训练变量，构建内在可训练参数集合，具体为：

17、对于任一 transformer 块，其前馈网络表示为：

18、（1）

19、其中，与为权重参数，与为偏置参数，为非线性激活函数，h为输入到前馈网络的隐藏表示向量；

20、仅解锁输出投影偏置参数作为可训练参数，内在可训练参数集合定义为：

21、（2）

22、其中，bias(ffnproj)表示预训练视觉语言模型中各transformer前馈网络输出投影层对应的偏置参数集合；表示内在可训练参数集合；符号“”表示“定义为”。

23、优选的，步骤s22所述私有数据集，包括图像数据集及其对应的文本数据集。

24、优选的，步骤s22所述输入图像与其对应真实类别y的条件概率，具体为：

25、（3）

26、其中，x为输入图像，y为x的真实类别标签，为真实类别y对应的文本提示，sim(·,·)为余弦相似度，预训练视觉-语言模型由图像编码器和文本编码器构成，其中主干参数记为，表示图像编码器主干参数，表示文本编码器主干参数，表示温度系数，表示第j个类别对应的文本提示，c表示类别总数。

27、所述计算交叉熵损失，公式如下：

28、（4）

29、所述局部敏感度评分根据如下公式计算：

30、（5）

31、其中，表示内在可训练参数集合φ中的第j个可训练偏置坐标，即各transformer前馈网络输出投影层偏置向量中的一个标量分量，表示小批次样本数，表示客户端在第轮对可训练参数的敏感度评分，、分别为小批次样本中的第i个图像及其对应的真实类别；为客户端k在第t轮的构建的可训练参数集合。

32、优选的，步骤s22所述视觉编码器与文本编码器模型主干采用clip 模型。

33、进一步优选的，采用vit-b/16作为clip模型的默认骨干网络。

34、优选的，步骤s23，具体如下：

35、客户端为每个可训练偏置坐标维护二值掩码，其更新方式为：

36、（6）

37、其中，表示客户端在第轮对应各可训练偏置坐标的二值个性化掩码；表示可训练偏置坐标被划分为个性化坐标，表示可训练偏置坐标被划分为可共享坐标；表示逻辑或运算；表示示性函数；表示客户端在第轮用于区分高敏感坐标的阈值。

38、同时，为控制个性化参数规模，引入个性化预算约束：

39、（7）

40、其中，表示客户端在第轮被划分为个性化坐标的参数个数，表示个性化预算系数，表示内在可训练参数集合中参数坐标的总数。

41、当时表示参数被划分为客户端个性化坐标，不参与服务器聚合；其余坐标作为可共享坐标，参与服务器聚合。

42、优选的，步骤s24具体为：

43、对可共享坐标施加 fisher 加权近端正则项：

44、（8）

45、其中，表示客户端在第轮本地训练中的 fisher 加权近端正则项；表示客户端在第轮对第个内在参数坐标的个性化掩码取值，当时表示该坐标为个性化坐标，当时表示该坐标为可共享坐标；表示客户端在第轮对应第个可训练偏置坐标的归一化 fisher 敏感度评分；表示可训练参数集合φ中第个内在可训练偏置坐标；表示第轮服务器广播的全局内在参数中第个参数坐标；表示平方二范数。

46、可共享坐标的局部优化更新的优化目标为最小化总损失函数，总损失函数如下：

47、（9）

48、其中，表示客户端在第轮本地训练时的总损失函数；表示分类交叉熵损失；表示蒸馏损失；表示 fisher 加权近端正则项；表示蒸馏损失权重系数；表示近端正则项权重系数。

49、其中，蒸馏损失采用冻结教师模型提供的图像-文本双分支蒸馏：

50、（10）

51、其中，、分别表示学生模型图像特征与文本特征，、分别表示教师模型图像特征与文本特征。

52、优选的，步骤s3所述可共享坐标对应的稀疏更新，公式如下：

53、（11）

54、得到下一轮全局内在参数，公式如下：

55、（12）

56、（13）

57、其中，表示客户端k经过e个本地训练步后的内在可训练参数；表示第t轮服务器广播的全局内在可训练参数；⊙表示按元素乘法；表示客户端在当前通信轮中的聚合权重，表示客户端的样本量，表示第轮参与训练的客户端集合，表示客户端在第轮上传的可共享坐标对应的稀疏更新，与分别表示第轮和第轮的全局内在参数。

58、在本发明的另一个方面当中，还提供了一种电子设备，包括：

59、至少一个处理器；以及

60、存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的基于内在几何偏置选择的鲁棒联邦视觉语言适配方法。

61、在本发明的另一个方面当中，还提供了一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的基于内在几何偏置选择的鲁棒联邦视觉语言适配方法。

62、与现有技术相比，本发明具有以下有益效果：

63、（1）本发明提供一种在联邦异构场景下通过选择性调优预训练视觉语言模型前馈网络投影偏置参数，并利用 fisher 信息实现共享坐标与个性化坐标解耦的鲁棒联邦视觉-语言适配方法，所述方法构建极小规模的内在参数子空间，大幅降低联邦训练中的可训练参数规模与通信负担；通过 fisher 引导的渐进式掩码机制，将共享知识与个性化知识显式分离，缓解异构客户端下的更新冲突。

64、（2）本发明方法仅调优前馈网络输出投影偏置参数，不引入任何新增推理模块，保持原始视觉语言模型网络拓扑不变，实现零额外推理时延。与提示学习及适配器方法相比，本发明仅需约 4.10k 个可训练参数、单轮每客户端通信开销约 16kb；相较 promptfl 的16.38k 参数与 62kb 通信开销，可分别降低约 75.0% 和 74.2%；相较 feddat 的132.22k 参数与 504kb 通信开销，可分别降低约 96.9% 和 96.8%，因此更适用于带宽受限及边缘部署场景。

65、（3）本发明方法通过 fisher 加权近端约束与冻结教师模型蒸馏共同稳定本地训练过程，提高模型在多域分布偏移及标签分布偏移条件下的鲁棒性。实验结果表明，本发明在单域 clip 迁移、多域分布迁移以及 dirichlet 非独立同分布划分条件下均取得最优或更优性能。例如，在单域 clip 迁移任务中，相较 fedpha，本发明在 caltech101、flowers102、ucf101、stanfordcars 和 sun397 上分别提升 0.10、0.16、1.37、0.30 和1.03 个百分点；在多域分布迁移任务中，office31、officehome 和 domainnet 的平均精度分别达到 96.50、90.20 和 95.26；在 dirichlet 非独立同分布条件下，cifar-10 和cifar-100 上分别达到 95.51 和 81.10，说明本发明在兼顾全局泛化能力与本地个性化性能方面具有更优效果。