图像处理方法以及相关设备与流程
本技术涉及计算机，具体涉及一种图像处理方法以及相关设备。
背景技术：
1、随着计算机技术的不断进步，衍生出具有强大推理能力的多模态大语言模型(multimodal large language model，mllm)。具体地，计算机设备基于多模态大语言模型的推理能力，通过调用多模态大语言模型内海量的模型参数，可以进行图像理解和视觉问答，对图像内容进行推理分析，得到相应的内容推理结果。
2、虽然多模态大语言模型在图像理解和视觉问答等任务上表现出色，但过多的视觉标记输入会导致计算开销过大，从而影响推理效率。在一些场景中，使用高分辨率图像或视频输入，视觉标记数量会进一步增加，导致内容推理效率大幅下降。
技术实现思路
1、本技术实施例提供一种图像处理方法以及相关设备，相关设备可以包括图像处理装置、电子设备、计算机可读存储介质和计算机程序产品，可以降低计算开销，提高内容推理效率；同时，保证内容推理的准确性。
2、本技术实施例提供一种图像处理方法，包括：
3、确定待处理图像；并对所述待处理图像进行特征提取处理，得到图像特征序列，所述图像特征序列包括所述待处理图像的多个图像特征块；
4、通过网络层对所述图像特征序列中的图像特征块进行处理，得到目标图像特征序列，所述目标图像特征序列包括多个处理后图像特征块；
5、对所述目标图像特征序列中的处理后图像特征块进行分类处理，得到待删除特征序列和待保留特征序列，所述待删除特征序列包括至少一个待删除图像特征块，所述待保留特征序列包括至少一个待保留图像特征块；
6、将所述待删除图像特征块的特征聚合到所述待保留特征序列中，得到聚合后特征序列，所述聚合后特征序列包括所述各个待保留图像特征块分别对应的聚合后图像特征块；
7、根据所述聚合后特征序列，得到所述待处理图像的图像处理任务结果。
8、相应的，本技术实施例提供一种图像处理装置，包括：
9、特征提取单元，用于确定待处理图像；并对所述待处理图像进行特征提取处理，得到图像特征序列，所述图像特征序列包括所述待处理图像的多个图像特征块；
10、处理单元，用于通过网络层对所述图像特征序列中的图像特征块进行处理，得到目标图像特征序列，所述目标图像特征序列包括多个处理后图像特征块；
11、分类单元，用于对所述目标图像特征序列中的处理后图像特征块进行分类处理，得到待删除特征序列和待保留特征序列，所述待删除特征序列包括至少一个待删除图像特征块，所述待保留特征序列包括至少一个待保留图像特征块；
12、特征聚合单元，用于将所述待删除图像特征块的特征聚合到所述待保留特征序列中，得到聚合后特征序列，所述聚合后特征序列包括所述各个待保留图像特征块分别对应的聚合后图像特征块；
13、结果确定单元，用于根据所述聚合后特征序列，得到所述待处理图像的图像处理任务结果。
14、可选的，在本技术的一些实施例中，所述图像处理装置还可以包括文本特征提取单元和序列融合单元，如下：
15、所述文本特征提取单元，用于获取针对所述待处理图像的任务指示文本；并对所述任务指示文本进行特征提取，得到文本特征序列，所述文本特征序列包括所述任务指示文本中多个文本单元对应的文本特征块；
16、序列融合单元，用于将所述图像特征序列和所述文本特征序列进行融合处理，得到特征序列；
17、所述处理单元具体可以用于通过网络层对所述特征序列中各特征单元进行注意力交互处理，得到处理后特征序列，所述处理后特征序列包括目标图像特征序列和目标文本特征序列，所述目标文本特征序列包括所述多个文本单元对应的处理后文本特征块，所述特征单元为图像特征块或文本特征块；
18、所述分类单元具体可以用于基于所述处理后文本特征块，对所述目标图像特征序列中的处理后图像特征块进行分类处理，得到待删除特征序列和待保留特征序列。
19、可选的，在本技术的一些实施例中，所述特征聚合单元具体可以用于将所述待删除图像特征块的特征聚合到所述待保留特征序列的各个待保留图像特征块中，得到聚合后特征序列。
20、可选的，在本技术的一些实施例中，所述特征聚合单元可以包括矩阵构建子单元和特征聚合子单元，如下：
21、所述矩阵构建子单元，用于基于待删除图像特征块和待保留图像特征块之间的语义相似度，构建特征关系矩阵，所述特征关系矩阵中的元素表征相应位置对应的待删除图像特征块和待保留图像特征块之间的关联关系信息；
22、特征聚合子单元，用于基于所述特征关系矩阵，将所述待删除图像特征块聚合到各个待保留图像特征块中，得到聚合后特征序列。
23、可选的，在本技术的一些实施例中，所述特征聚合子单元具体可以用于将所述特征关系矩阵与所述待删除特征序列进行融合处理，得到融合处理后特征序列；将所述融合处理后特征序列与所述待保留特征序列中各待保留图像特征块进行融合处理，得到聚合后特征序列。
24、可选的，在本技术的一些实施例中，所述矩阵构建子单元具体可以用于基于所述目标图像特征序列中每两个处理后图像特征块之间的语义相似度，构建特征关系图，所述特征关系图包括多个节点和节点间的边，每个节点表征一个处理后图像特征块，所述边表征其相连的两个节点的关联关系信息；根据所述特征关系图中待删除图像特征块和待保留图像特征块对应的节点之间的关联关系信息，构建所述待删除图像特征块和所述待保留图像特征块对应的特征关系矩阵。
25、可选的，在本技术的一些实施例中，步骤“根据所述特征关系图中待删除图像特征块和待保留图像特征块对应的节点之间的关联关系信息，构建所述待删除图像特征块和所述待保留图像特征块对应的特征关系矩阵”，可以包括：
26、基于所述特征关系图中节点间的连接关系，确定所述特征关系图中节点的度数；
27、基于所述度数，对所述特征关系图对应的邻接矩阵进行归一化处理，得到处理后邻接矩阵，所述处理后邻接矩阵中的元素表征对应位置的两个图像特征块之间的关联关系信息；
28、对所述处理后邻接矩阵中待删除图像特征块和待保留图像特征块对应的元素进行筛选，以得到待删除图像特征块和待保留图像特征块对应的特征关系矩阵。
29、可选的，在本技术的一些实施例中，所述处理单元具体可以用于通过多个网络层对所述特征序列中各特征单元进行多层注意力交互处理，得到各层注意力交互处理输出的处理后特征序列，其中，前一网络层的注意力交互处理的输出作为后一网络层的注意力交互处理的输入；
30、所述分类单元可以包括确定子单元和分类子单元，如下：
31、所述确定子单元，用于从所述多个网络层的注意力交互处理输出的处理后特征序列中，确定至少一个目标网络层的注意力交互处理输出的目标处理后特征序列；
32、分类子单元，用于基于所述至少一个目标处理后特征序列中的处理后文本特征块，对所述目标图像特征序列中的处理后图像特征块进行分类处理，得到待删除特征序列和待保留特征序列。
33、可选的，在本技术的一些实施例中，所述分类子单元具体可以用于针对所述目标图像特征序列中各个处理后图像特征块，确定各个目标处理后特征序列中的处理后文本特征块与所述处理后图像特征块间的注意力信息；将所有目标处理后特征序列中的处理后文本特征块与所述处理后图像特征块间的注意力信息进行融合处理，得到所述处理后图像特征块的目标注意力信息；基于所述目标注意力信息，对所述目标图像特征序列中的处理后图像特征块进行分类处理，得到待删除特征序列和待保留特征序列。
34、可选的，在本技术的一些实施例中，所述目标网络层的注意力交互处理输出的目标处理后特征序列包括所述目标网络层在多个子空间对应输出的处理后子特征序列，所述处理后子特征序列包括相应子空间的处理后文本特征块；
35、步骤“将所有目标处理后特征序列中的处理后文本特征块与所述处理后图像特征块间的注意力信息进行融合处理，得到所述处理后图像特征块的目标注意力信息”，可以包括：
36、针对各目标网络层，将所述目标网络层在各子空间对应输出的处理后文本特征块与所述处理后图像特征块的注意力信息进行融合处理，得到所述目标网络层的处理后文本特征块与所述处理后图像特征块的注意力信息；
37、将所有目标网络层的处理后文本特征块与所述处理后图像特征块的注意力信息进行融合处理，得到所述处理后图像特征块的目标注意力信息。
38、可选的，在本技术的一些实施例中，所述处理单元具体可以用于通过处理模型的当前处理模块组中的注意力模块中的网络层，对所述特征序列中各特征单元进行注意力交互处理，得到处理后特征序列，其中，所述处理模型包括多个处理模块组，每个处理模块组包括注意力模块、特征选择模块和特征聚合模块；
39、所述分类单元具体可以用于通过所述当前处理模块组中的特征选择模块，基于所述处理后文本特征块，对所述目标图像特征序列中的处理后图像特征块进行分类处理，得到待删除特征序列和待保留特征序列；
40、所述特征聚合单元具体可以用于通过所述当前处理模块组中的特征聚合模块，将所述待删除图像特征块的特征聚合到所述待保留特征序列中，得到聚合后特征序列；
41、所述结果确定单元具体可以用于将所述聚合后特征序列与所述目标文本特征序列二者的融合后特征序列作为所述当前处理模块组的下一个处理模块组的输入，以继续进行内容推理处理，得到所述待处理图像的图像处理任务结果。
42、可选的，在本技术的一些实施例中，所述图像处理装置还可以包括模型获取单元、分组单元和模块添加单元，如下：
43、所述模型获取单元，用于获取原始处理模型，所述原始处理模型包括多个注意力模块；
44、分组单元，用于对所述原始处理模型中的多个注意力模块进行分组处理，得到多个处理模块组，每个处理模块组包括至少一个注意力模块；
45、模块添加单元，用于在各处理模块组中添加特征选择模块和特征聚合模块，得到处理模型。
46、可选的，在本技术的一些实施例中，所述分组单元具体可以用于基于运算量要求指示信息，确定对原始处理模型的分组数量；根据所述分组数量，对所述原始处理模型中的多个注意力模块进行分组处理，得到多个处理模块组。
47、可选的，在本技术的一些实施例中，所述结果确定单元具体可以包括融合子单元、模块组确定子单元和推理子单元，如下：
48、所述融合子单元，用于将所述聚合后特征序列与所述目标文本特征序列进行融合处理，得到融合后特征序列；
49、模块组确定子单元，用于将所述当前处理模块组的下一个处理模块组作为新的当前处理模块组，将所述融合后特征序列作为新的特征序列；
50、推理子单元，用于返回执行所述通过处理模型的当前处理模块组中的注意力模块，对所述特征序列中各特征单元进行注意力交互处理，得到处理后特征序列的步骤，以得到所述待处理图像的图像处理任务结果。
51、可选的，在本技术的一些实施例中，所述推理子单元具体可以用于返回执行所述通过处理模型的当前处理模块组中的注意力模块，对所述特征序列中各特征单元进行注意力交互处理的步骤，直到得到所述处理模型中最后一个处理模块组输出的聚合后特征序列和目标文本特征序列；基于所述处理模型中最后一个处理模块组输出的聚合后特征序列和目标文本特征序列，预测本次推理的目标推理结果单元；基于所述处理模型各处理模块组输出的聚合后特征序列和目标文本特征序列，分别确定所述处理模型各处理模块组对应的内容特征序列；通过处理模型的处理模块组中的注意力模块，基于所述处理模块组对应的内容特征序列，对所述目标推理结果单元进行注意力处理，以预测所述目标推理结果单元的后续推理结果单元；根据所述目标推理结果单元和所述后续推理结果单元，确定所述待处理图像的图像处理任务结果。
52、本技术实施例中，术语“模块”或“单元”是指有预定功能的计算机程序或计算机程序的一部分，并与其他相关部分一起工作以实现预定目标，并且可以通过使用软件、硬件(如处理电路或存储器)或其组合来全部或部分实现。同样的，一个处理器(或多个处理器或存储器)可以用来实现一个或多个模块或单元。此外，每个模块或单元都可以是包含该模块或单元功能的整体模块或单元的一部分。
53、本技术实施例提供的一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器加载所述指令，以执行本技术实施例提供的图像处理方法中的步骤。
54、本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本技术实施例提供的图像处理方法中的步骤。
55、此外，本技术实施例还提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现本技术实施例提供的图像处理方法中的步骤。
56、本技术实施例提供了一种图像处理方法以及相关设备，可以确定待处理图像；并对所述待处理图像进行特征提取处理，得到图像特征序列，所述图像特征序列包括所述待处理图像的多个图像特征块；通过网络层对所述图像特征序列中的图像特征块进行处理，得到目标图像特征序列，所述目标图像特征序列包括多个处理后图像特征块；对所述目标图像特征序列中的处理后图像特征块进行分类处理，得到待删除特征序列和待保留特征序列，所述待删除特征序列包括至少一个待删除图像特征块，所述待保留特征序列包括至少一个待保留图像特征块；将所述待删除图像特征块的特征聚合到所述待保留特征序列中，得到聚合后特征序列，所述聚合后特征序列包括所述各个待保留图像特征块分别对应的聚合后图像特征块；根据所述聚合后特征序列，得到所述待处理图像的图像处理任务结果。
57、本技术可以通过删除部分图像特征块来降低计算开销，提高内容推理效率；同时，还可以将删除的图像特征块聚合到保留的图像特征块中，以避免删除图像特征块造成的视觉信息损失，保证内容推理的准确性。