视觉词元层感知自适应压缩方法及装置、电子设备和存储介质

本公开涉及人工智能，尤其涉及一种视觉词元层感知自适应压缩方法及装置、电子设备和存储介质。

背景技术：

1、视觉语言模型通常由视觉编码器、文本编码模块以及大语言模型解码器组成。图像首先被视觉编码器划分为若干图像块并编码为视觉词元，文本问题或指令被编码为文本词元，二者共同输入后续大语言模型进行跨模态理解与语言生成。

2、随着视觉语言模型规模不断扩大，尤其是在高分辨率图像理解、细粒度识别、图文问答、场景文字理解等任务中，视觉词元数量通常远多于文本词元数量。大量视觉词元进入大语言模型后，会显著增加预填充阶段的注意力计算量和显存占用，使得模型在实际部署时面临较高推理延迟与服务成本。

3、针对视觉词元冗余问题，研究者提出了多种视觉词元压缩方法。但是均将压缩位置设置为视觉语言模型中的固定层。然而，视觉模型在不同层上可以提取不同的信息。并且，面对不同的任务，图像中起主导作用的信息不同。所以在面对不同任务时，将压缩位置设置在固定层，可能会严重影响模型的预测性能。

技术实现思路

1、有鉴于此，本公开提出了一种视觉词元层感知自适应压缩方案。

2、根据本公开的一方面，提供了一种视觉词元层感知自适应压缩方法，该方法包括：在视觉语言模型的多个主干层中，确定至少两个候选层作为压缩位置，其中，各所述候选层对应配置了用于预测视觉词元重要性的预测器；基于校准样本数据，评估所述视觉语言模型在执行目标任务、且在各所述候选层单独进行视觉词元压缩的情况下的第一性能指标；基于各所述第一性能指标，从所述至少两个候选层中，确定作为目标压缩位置的目标层。

3、在一种可能的实现方式中，所述方法还包括：控制目标层之前的各主干层以及目标层对图像进行处理，得到与所述图像对应的多个视觉词元的隐藏表示；控制为所述目标层配置的第一预测器，基于所述隐藏表示，预测所述视觉词元的重要性评分；基于所述重要性评分，剪枝所述视觉词元，得到保留的视觉词元；将保留的视觉词元与文本词元进行拼接，得到序列数据；控制目标层之后的主干层处理所述序列数据，得到预测结果。

4、在一种可能的实现方式中，所述控制为所述目标层配置的第一预测器，基于所述隐藏表示，预测所述视觉词元的重要性评分，包括：基于目标任务的标识、以及目标层的层号，确定所述第一预测器的参数；控制所述第一预测器，基于所述参数，预测所述视觉词元的重要性评分。

5、在一种可能的实现方式中，所述性能指标包括：任务准确率和任务用时，所述方法还包括：基于校准样本数据，针对各所述候选层，评估所述视觉语言模型未进行视觉词元压缩情况下的第二性能指标；所述基于各所述第一性能指标，从所述至少两个候选层中，确定作为目标压缩位置的目标层，包括：将各所述第一性能指标与所述第二性能指标比较，选择任务准确率下降幅度小于幅度阈值，且任务用时下降幅度最大的候选层，作为所述目标层。

6、在一种可能的实现方式中，还包括：针对所述目标任务，控制未设置候选层的视觉语言模型，处理训练样本数据，得到第一样本结果；针对所述目标任务，控制设置了单个候选层的视觉语言模型，处理所述训练样本数据，得到第二样本结果；至少基于第二样本结果和所述第一样本结果的第一差异，确定训练损失，基于所述训练损失，调整所述单个候选层配置的预测器的参数，直到满足收敛条件。

7、在一种可能的实现方式中，所述方法还包括：确定第二样本结果与基准结果的第二差异；确定所述单个候选层对视觉词元的保留比例与目标保留比例的第三差异；所述至少基于第二样本结果和所述第一样本结果的第一差异，确定训练损失，包括：基于所述第一差异、所述第二差异、以及所述第三差异，确定所述训练损失。

8、在一种可能的实现方式中，所述性能指标包括以下至少一个指标：任务准确率、和/或任务用时、和/或显存占用率、和/或视觉词元压缩率。

9、根据本公开的另一方面，提供了一种视觉词元层感知自适应压缩装置，该装置20包括：

10、压缩位置确定单元21，用于在视觉语言模型的多个主干层中，确定至少两个候选层作为压缩位置，其中，各所述候选层对应配置了用于预测视觉词元重要性的预测器；

11、第一性能指标评估单元22，用于基于校准样本数据，评估所述视觉语言模型在执行目标任务、且在各所述候选层单独进行视觉词元压缩的情况下的第一性能指标；

12、目标层确定单元23，用于基于各所述第一性能指标，从所述至少两个候选层中，确定作为目标压缩位置的目标层。

13、在一种可能的实现方式中，所述装置20还包括：

14、隐藏表示确定单元，用于控制目标层之前的各主干层以及目标层对图像进行处理，得到与所述图像对应的多个视觉词元的隐藏表示；

15、重要性评分预测单元，用于控制为所述目标层配置的第一预测器，基于所述隐藏表示，预测所述视觉词元的重要性评分；

16、视觉词元剪枝单元，用于基于所述重要性评分，剪枝所述视觉词元，得到保留的视觉词元；

17、序列数据单元，用于将保留的视觉词元与文本词元进行拼接，得到序列数据；

18、预测结果确定单元，用于控制目标层之后的主干层处理所述序列数据，得到预测结果。

19、在一种可能的实现方式中，所述重要性评分预测单元，进一步用于：

20、基于目标任务的标识、以及目标层的层号，确定所述第一预测器的参数；

21、控制所述第一预测器，基于所述参数，预测所述视觉词元的重要性评分。

22、在一种可能的实现方式中，所述性能指标包括：任务准确率和任务用时，所述装置20还包括：

23、第二性能指标确定单元，用于基于校准样本数据，针对各所述候选层，评估所述视觉语言模型未进行视觉词元压缩情况下的第二性能指标；

24、所述目标层确定单元23，进一步用于：

25、将各所述第一性能指标与所述第二性能指标比较，选择任务准确率下降幅度小于幅度阈值，且任务用时下降幅度最大的候选层，作为所述目标层。

26、在一种可能的实现方式中，所述装置20还包括：

27、第一样本结果确定单元，用于针对所述目标任务，控制未设置候选层的视觉语言模型，处理训练样本数据，得到第一样本结果；

28、第二样本结果确定单元，用于针对所述目标任务，控制设置了单个候选层的视觉语言模型，处理所述训练样本数据，得到第二样本结果；

29、训练器参数调整单元，用于至少基于第二样本结果和所述第一样本结果的第一差异，确定训练损失，基于所述训练损失，调整所述单个候选层配置的预测器的参数，直到满足收敛条件。

30、在一种可能的实现方式中，所述装置20还包括：

31、第二差异确定单元，用于确定第二样本结果与基准结果的第二差异；

32、第三差异确定单元，用于确定所述单个候选层对视觉词元的保留比例与目标保留比例的第三差异；

33、所述训练器参数调整单元，进一步用于：

34、基于所述第一差异、所述第二差异、以及所述第三差异，确定所述训练损失。

35、在一种可能的实现方式中，所述性能指标包括以下至少一个指标：任务准确率、和/或任务用时、和/或显存占用率、和/或视觉词元压缩率。

36、根据本公开另一方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现上述方法的步骤。

37、根据本公开另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

38、根据本公开另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

39、在本公开实施例中，先确定至少两个候选层，使用校准样本，针对目标任务分别评估各候选层单独进行视觉词元压缩的情况下视觉语言模型的第一性能指标，以第一性能指标作为评判依据，从候选层中选择目标层。这样，可以确定与目标任务匹配的目标层，由于在目标层进行了视觉词元的压缩，在面对不同任务时均可以基本保持或提高视觉语言模型的预测性能。

40、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。