黑盒视觉-语言模型的联邦提示调优方法及系统

本技术属于人工智能，尤其涉及一种黑盒视觉-语言模型的联邦提示调优方法及系统。

背景技术：

1、对比式视觉-语言语预训练模型（contrastive language–image pre-training，clip）和大规模图像与噪声文本嵌入模型（a large-scale image and noisy-textembedding，align）等大型视觉-语言模型的快速发展彻底改变了多模态标识学习，这些基础模型经过网络规模图像文本对的预训练，表现出了卓越的零样本泛化能力，可以作为各种下游任务的强大骨干。为了更好地适应用户需求，本地用户往往需要进行特定任务的适配，这通常依赖用户的私有数据，而部分私有数据有保密需求，因此无法直接上传到中心化服务器。联邦学习因其支持跨分布式客户端进行协作建模而无需共享原始私有数据，这使其成为在隐私敏感应用程序中部署视觉-语言模型的常用范式。

2、然而，在现实部署场景中，在知识产权保护和商业考虑的推动下，视觉-语言模型越来越多地作为服务提供，这种范式被称为模型即服务（model as a service，maas）。在该范式中，用户充当黑盒客户端，仅通过推理应用程序接口（application programminginterface，api）与模型交互而无需访问模型内部参数或梯度。

3、为了适应黑盒场景下无梯度优化场景，零阶优化（或无导数优化）的方案被提出，然而传统零阶优化算法应用于联邦视觉-语言模型中并非易事，主要瓶颈在于“维数灾难”：连续提示的搜索空间通常达到数千个参数。在这样的高维空间中，梯度估计变得噪声极大且十分低效，导致收敛缓慢和高昂的通信成本。

技术实现思路

1、本技术实施例提供了黑盒视觉-语言模型的联邦提示调优方法及系统，该方法通过引入特定模态的结构化子空间投影策略分别为文本和视觉提示构建低维语义和频谱子控件，从而可以降低零阶优化的搜索空间维度，进而提升模型调优效率。

2、第一方面，本技术实施例提供了一种黑盒视觉-语言模型的联邦提示调优方法，所述方法应用于本地客户端，所述方法包括：

3、接收联邦服务器下发的全局提示，所述全局提示包括待优化的文本提示和视觉提示；

4、基于clip的预训练词元嵌入矩阵的主语义方向构建语义基，并根据语义基对所述文本提示进行提示重建，得到重建文本提示；

5、调用视觉-语言模型接口对所述重建文本提示与本地样本数据中的类别标签进行特征提取，得到语义特征；

6、基于预构建的离散余弦逆变换基矩阵对所述视觉提示进行提示重建，得到重建视觉提示；

7、调用所述视觉-语言模型接口对所述视觉提示与所述本地样本数据中的样本图像进行特征提取，得到视觉特征；

8、根据所述语义特征与所述视觉特征计算分类预测概率，并根据所述分类预测概率与所述类别标签计算损失值，并根据所述损失值对所述文本提示与所述视觉提示进行迭代零阶优化，得到优化后的本地优化提示；

9、将所述本地优化提示上传至所述联邦服务器进行聚合。

10、在第一方面的一种可能的实现方式中，基于clip的预训练词元嵌入矩阵的主语义方向构建语义基，并根据语义基对所述文本提示进行提示重建，得到重建文本提示，包括：

11、获取clip的预训练词元嵌入矩阵，并对所述预训练词元嵌入矩阵进行中心化得到中心化矩阵；

12、对所述中心化矩阵进行奇异值分解，并根据奇异值分解得到的右奇异向量中按奇异值大小排序在前的预设数量个右奇异向量构建语义基；

13、获取初始化文本提示，并根据所述初始化文本提示、所述语义基以及所述文本提示计算得到重建文本提示。

14、在本技术实施例中，通过对clip的预训练词元嵌入矩阵进行中心化和奇异值分解，然后提取右奇异向量中奇异值较大的右奇异向量构建语义基，并基于该语义基将原始文本提示映射到语义基对应的低维坐标中，然后只需对这些低维坐标对应的文本提示进行优化，可以进一步实现调优过程中的降维。在调用视觉-语言模型api进行特征生成时，只需基于语义基对文本提示进行重建得到标准维度的重建文本提示。

15、在第一方面的一种可能实现方式中，基于预构建的离散余弦逆变换基矩阵对所述视觉提示进行提示重建，得到重建视觉提示，包括：

16、获取预构建的离散余弦逆变换基矩阵，所述离散余弦逆变换基矩阵包括序列基矩阵与嵌入基矩阵；

17、基于所述序列基矩阵与所述嵌入基矩阵对所述视觉提示进行双线性变换，得到重建视觉提示。

18、在本技术实施例中，通过构建频谱子空间投影器，将高维度的原始视觉提示经离散余弦变换矩阵的能量聚集属性截断为低频系数的视觉提示，从而降低后续零阶优化的参数搜索空间的量级，进而提升调优效率。在调用视觉-语言api进行特征生成时，可以采用离散余弦逆变换从视觉提示重建得到原始视觉提示。

19、示例性的，所述调用所述视觉-语言模型接口对所述视觉提示与所述本地样本数据中的样本图像进行特征提取，得到视觉特征，包括：

20、将本地样本数据中的样本图像切分为多个图像块，并将所述多个图像块映射为嵌入序列；

21、基于预设类别词元、所述嵌入序列以及所述视觉提示构建图像编码器的输入流；

22、基于所述视觉-语言模型接口调用图像编码器对所述输入流进行特征提取，得到视觉特征。

23、示例性的，所述根据所述语义特征与所述视觉特征计算分类预测概率，并根据所述分类预测概率与所述类别标签计算损失值，包括：

24、计算所述语义特征与所述视觉特征的余弦相似度，并根据所述余弦相似度计算得到分类预测概率；

25、基于所述分类预测概率与所述类别标签计算交叉熵，得到损失值。

26、在第一方面的一种可能实现方式中，所述根据所述损失值对所述文本提示与所述视觉提示进行迭代零阶优化，得到优化后的本地优化提示，包括：

27、将所述文本提示与所述视觉提示拼接为待优化提示；

28、获取迭代轮次，并根据迭代轮次确定迭代周期位置，所述迭代周期位置包括全局感知阶段和稀疏加速阶段；

29、当处于全局感知阶段时，基于对所述待优化提示的全维随机扰动估计梯度并累积梯度敏感度；

30、当处于稀疏加速阶段时，基于所述累积梯度敏感度在所述待优化提示中筛选出敏感坐标，基于对所述敏感坐标的随机扰动估计梯度并基于估计的梯度值更新所述待优化提示，得到本地优化提示。

31、在本技术实施例中，在零阶优化阶段，通过动态敏感度感知来识别出梯度敏感的提示坐标，然后对这些梯度敏感的提示坐标进行随机扰动而对不敏感的提示坐标进行冻结，这样可以进一步减小调优的维度，从而可以显著减轻估计噪声。

32、在第一方面的一种可能实现方式中，所述当处于稀疏加速阶段时，基于所述累积梯度敏感度在所述待优化提示中筛选出敏感坐标，基于对所述敏感坐标的随机扰动估计梯度并基于估计的梯度值更新所述待优化提示，得到本地优化提示，包括：

33、当处于稀疏加速阶段时，基于所述累积梯度敏感度在所述待优化提示中筛选出敏感坐标；

34、计算所述敏感坐标的维度在所述待优化提示的总维度中的有效占比；

35、根据所述有效占比，自适应减少对所述敏感坐标进行随机扰动估计梯度所需的扰动样本数量，以及自适应增大用于更新所述待优化提示的学习率；

36、基于减少后的扰动样本数量和增大后的学习率，对所述敏感坐标进行随机扰动估计梯度并更新所述待优化提示，得到本地优化提示。

37、在本技术实施例中，通过自适应减少扰动样本的数量并自适应提升学习率的方式，进一步降低了估计噪声并提升调优效率。

38、第二方面，本技术实施例提供了一种黑盒视觉-语言模型的联邦提示调优方法，所述方法包括：

39、在每一轮全局通信开始时，联邦服务器下发全局提示；

40、本地客户端从所述全局提示中提取出待优化的文本提示和视觉提示；

41、所述本地客户端基于clip的预训练词元嵌入矩阵的主语义方向构建语义基，基于语义基对所述文本提示进行提示重建，并调用视觉-语言模型接口对重建提示与本地样本数据中的类别标签进行特征提取，得到语义特征；

42、所述本地客户端基于预构建的离散余弦逆变换基矩阵对所述视觉提示进行提示重建，并调用所述视觉-语言模型接口对重建提示与本地样本数据中的样本图像进行特征提取，得到视觉特征；

43、所述本地客户端根据所述语义特征与所述视觉特征计算分类预测概率，并根据分类预测概率与类别标签计算损失值，并根据所述损失值对所述全局提示进行迭代零阶优化，得到优化后的本地优化提示，并将所述本地优化提示发送给所述联邦服务器；

44、所述联邦服务器对从多个本地客户端接收到的所述本地优化提示进行聚合，并基于聚合结果更新所述全局提示。

45、第三方面，本技术实施例提供了一种图像分类方法，所述方法包括：

46、接收图像分类请求，所述图像分类请求中包含待分类图像；

47、获取全局提示，所述全局提示为采用权利要求1至8中任一项所述的黑盒视觉-语言模型的联邦提示调优方法优化得到的全局提示；

48、从所述全局提示中提取出文本提示与视觉提示；

49、基于clip的预训练词元嵌入矩阵的主语义方向构建语义基，并根据语义基对所述文本提示进行提示重建，得到重建文本提示；

50、调用视觉-语言模型接口对所述重建文本提示与多个候选图像类别对应的类别文本进行特征提取，得到所述多个候选图像类别对应的语义特征；

51、基于预构建的离散余弦逆变换基矩阵对所述视觉提示进行提示重建，得到重建视觉提示；

52、调用所述视觉-语言模型接口对所述视觉提示与所述待分类图像进行特征提取，得到视觉特征；

53、计算所述视觉特征与每一候选图像类别对应的语义特征之间的相似度，并基于所述相似度在所述多个候选图像类别中确定所述待分类图像对应的目标图像类别。

54、第四方面，本技术实施例提供了一种黑盒视觉-语言模型的联邦提示调优系统，所述系统包括：

55、联邦服务器，用于在每轮通信开始时将当前全局提示下发给本地客户端，以及接收各本地客户端上传的本地更新提示，并将各本地客户端上传的本地更新提示聚合为全局提示；

56、多个本地客户端，用于接收联邦服务器下发的全局提示，从全局提示中提取出文本提示和视觉提示；然后分别在文本子空间中对文本提示进行重建得到重建文本提示和在视觉子空间中对视觉提示进行重建得到重建视觉提示；然后调用视觉-语言模型接口对由重建文本提示与本地训练样本中的类别标签构成的文本输入进行特征提取得到语义特征，以及对由重建视觉提示与本地训练样本中的样本图像构建的图像输入进行特征提取得到图像特征；并基于语义特征与图像特征计算分类预测概率，根据分类预测概率与类别标签计算损失，再根据损失值对所述全局提示进行迭代零阶优化，得到优化后的本地优化提示，并将所述本地优化提示发送给所述联邦服务器。

57、第五方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

58、第六方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的黑盒视觉-语言模型的联邦提示调优方法。

59、可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

60、本技术实施例与现有技术相比存在的有益效果是：

61、本技术实施例通过构建语义子空间与频谱子空间，然后将高纬度的原始提示坐标经语义子空间降维到低维语义坐标作为文本提示，以及经频谱子空间降维到低维频谱坐标作为视觉提示，然后再对低维的文本提示与视觉提示进行零阶调优，从而可以大大降低零阶优化的维度，避免了“维数灾难”问题，提升了黑盒视觉-语言模型的联邦调优效率。