数据处理方法、装置、设备、计算机程序产品和存储介质与流程

本公开涉及人工智能领域，更具体地，涉及一种数据处理方法、装置、设备、计算机程序产品和存储介质。

背景技术：

1、近年来，多模态大语言模型在视觉-语言联合理解领域取得了显著进展。多模态大语言模型通常由三个部件构成，分别为图像编码器、适配器（adapter）以及大语言模型（llm）。具体地，在多模态大语言模型中，由图像编码器将输入多模态大语言模型的图像转换为图像令牌（image token），适配器将视觉编码器生成的图像令牌映射到文本令牌（texttoken）的特征维度，并将特征映射后的图像令牌和输入多模态大语言模型的语言指令（language instruction）一起送入大语言模型中。应用于多模态大语言模型的视觉感知增强技术通过改进模型的视觉特征提取能力，使其能够更精准地理解和分析输入图像中的细节信息（诸如物体形状、纹理、空间关系等），并与语言模态进行高效对齐，从而提升模型在跨模态任务中的综合性能。

2、现有的多模态大语言模型视觉感知增强方法主要通过提高输入图像的分辨率或在视觉编码器部分组合不同的视觉专家模型并进行预训练和监督微调来实现视觉感知增强。然而，这些方法仍然未能有效解决视觉编码器底层架构与多模态任务需求之间的固有矛盾：传统图文预训练模型侧重高层语义关联而忽视细粒度特征，而视觉专家模型组合方案则破坏了模型在跨模态对齐方面的预训练优势。这种技术矛盾导致现有的多模态大语言模型在需要同时处理精细视觉特征和复杂语义推理的应用场景（如工业质检、遥感图像分析）中存在显著性能瓶颈。

3、因此，需要一种视觉感知增强方法，能够在保持现有多模态大语言模型架构兼容性的前提下，有效提升对图像细节特征的提取能力，同时确保视觉-文本特征空间的对齐效果。

技术实现思路

1、为了解决上述问题，本公开提出了一种基于特征注入的多模态大语言模型视觉感知增强方法，通过保持经训练的多模态大语言模型不变，将输入图像的多尺度图像特征通过特征旁路注入多模态大语言模型的适配器中，以在保留多模态的原有大模型图文对齐能力的同时，增强多模态大语言模型的视觉感知能力。

2、本公开的实施例提供了一种数据处理方法、装置、设备、计算机程序产品和计算机可读存储介质。

3、本公开的实施例提供了一种数据处理方法，包括：对于获取的图像数据，分别通过视觉编码器和视觉特征提取模型生成所述图像数据的第一图像特征和第二图像特征，其中，所述第二图像特征为所述图像数据的多尺度图像特征；将所述第一图像特征和所述第二图像特征输入特征注入器，以生成针对适配器的每个适配器层的注入特征，其中，所述特征注入器包括与所述适配器相同的适配器层结构；将所述第一图像特征输入所述适配器，并在所述适配器的每个适配器层注入针对所述适配器层的注入特征，以生成与所述图像数据相对应的图像令牌，所生成的图像令牌具有与大语言模型的输入相匹配的特征维度；将所述图像令牌输入所述大语言模型，以执行针对所述图像数据的预定图像处理任务。

4、本公开的实施例提供了一种数据处理装置，包括：特征提取模块，被配置为对于获取的图像数据，分别通过视觉编码器和视觉特征提取模型生成所述图像数据的第一图像特征和第二图像特征，其中，所述第二图像特征为所述图像数据的多尺度图像特征；特征生成模块，被配置为将所述第一图像特征和所述第二图像特征输入特征注入器，以生成针对适配器的每个适配器层的注入特征，其中，所述特征注入器包括与所述适配器相同的适配器层结构；特征注入模块，被配置为将所述第一图像特征输入所述适配器，并在所述适配器的每个适配器层注入针对所述适配器层的注入特征，以生成与所述图像数据相对应的图像令牌，所生成的图像令牌具有与大语言模型的输入相匹配的特征维度；以及任务执行模块，被配置为将所述图像令牌输入所述大语言模型，以执行针对所述图像数据的预定图像处理任务。

5、本公开的实施例提供了一种数据处理设备，包括：一个或多个处理器；以及一个或多个存储器，其中，所述一个或多个存储器中存储有计算机可执行程序，当由所述处理器执行所述计算机可执行程序时，执行如上所述的数据处理方法。

6、本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述指令在被处理器执行时用于实现如上所述的数据处理方法。

7、本公开的实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行根据本公开的实施例的数据处理方法。

8、本公开的实施例所提供的方法对于经训练的多模态大语言模型，保持该多模态大语言模型不变，通过为该多模态大语言模型构建一个额外的视觉特征旁路，其中该视觉特征旁路包括针对输入的图像数据生成多尺度图像特征的模型以及具有与多模态大语言模型的适配器相同的适配器层结构的特征注入器，以将所生成的多尺度图像特征通过该旁路注入到多模态大语言模型的适配器中，实现原始的图文对齐的图像特征和多尺度图像特征的融合，从而基于融合后的图像特征执行大语言模型的图像处理任务。通过本公开的实施例的方法能够利用独立于多模态大语言模型的额外的视觉特征旁路，基于适配器层结构将多尺度图像特征逐适配器层注入原始的图像特征，使得在保持多模态大语言模型的原有图文对齐能力的同时，增强多模态大语言模型的视觉感知能力。

1.一种数据处理方法，应用于经预训练的多模态大语言模型，所述预训练的多模态大语言模型包括图文对齐的视觉编码器、适配器和大语言模型，所述方法包括：

2.如权利要求1所述的方法，其中，所述特征注入器包括第一数量的卷积层和第二数量的克隆适配器层，并且所述适配器包括所述第二数量的适配器层；

3.如权利要求2所述的方法，其中，所述将所述第一图像特征和所述第二图像特征输入特征注入器，以生成针对适配器的每个适配器层的注入特征包括：

4.如权利要求2所述的方法，其中，所述特征注入器是在所述视觉编码器、所述视觉特征提取模型、所述适配器和所述大语言模型的训练完成之后，在冻结所述视觉编码器、所述视觉特征提取模型、所述适配器和所述大语言模型的参数的情况下单独训练得到的；

5.如权利要求4所述的方法，其中，在所述特征注入器的训练中，采用与所述多模态大语言模型的预训练中使用的损失函数相同的损失函数。

6.如权利要求1所述的方法，其中，所述特征注入器包括第二数量的克隆适配器层，并且所述适配器包括所述第二数量的适配器层，所述特征注入器中的一个克隆适配器层对应于所述适配器中的一个适配器层；

7.如权利要求3或6所述的方法，其中，所述在所述适配器的每个适配器层注入针对所述适配器层的注入特征，以生成与所述图像数据相对应的图像令牌包括：

8.如权利要求1所述的方法，所述方法还包括：

9.一种数据处理装置，应用于经预训练的多模态大语言模型，所述预训练的多模态大语言模型包括图文对齐的视觉编码器、适配器和大语言模型，所述装置包括：

10.一种数据处理设备，包括：

11.一种计算机程序产品，所述计算机程序产品存储在计算机可读存储介质上，并且包括计算机指令，所述计算机指令在由处理器运行时使得计算机设备执行权利要求1-8中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机可执行指令，所述指令在被处理器执行时用于实现如权利要求1-8中任一项所述的方法。