视觉信息处理方法、装置、电子设备和存储介质与流程

摘要: 本公开涉及数据处理,具体涉及一种视觉信息处理方法、装置、电子设备和存储介质。背景技术:1、随着多模态大模型技术的快速发展,视觉语言模型在文档理解、光学字符识别以...
视觉信息处理方法、装置、电子设备和存储介质与流程

本公开涉及数据处理,具体涉及一种视觉信息处理方法、装置、电子设备和存储介质。

背景技术:

1、随着多模态大模型技术的快速发展,视觉语言模型在文档理解、光学字符识别以及视觉问答等领域得到了广泛的应用。这类模型通常将输入的图像划分为图像块,并映射为视觉令牌,随后与输入的查询文本共同送入模型进行联合分析与推理。在实际场景中(例如处理拍摄或扫描的文档图像时),输入的图像通常包含大面积的无效背景(如空白页边、拍摄桌面等)。

2、相关技术中,通常采用端到端全图输入方法,将包含完整场景的高分辨率原始图像(涵盖复杂背景、文档主体及内部空白区域)均匀划分为图像块,经视觉编码器转换为视觉令牌序列后,直接输入视觉语言大模型。模型依靠其内部的自注意力机制,在全图所有令牌中自适应地学习区分文档内容与背景噪声,直接输出结构化答案,实现从图像到语义的端到端联合建模。或者,采用基于文档解析的两阶段方法,第一阶段通过独立的文档解析模型对输入图像执行文本检测与识别,输出含文本内容、位置坐标及置信度的结构化信息集合;第二阶段将该序列(常经版面重组后)作为唯一输入送入大型语言模型进行字段抽取与问答。在此过程中,原始图像的字体、颜色、排版及非文本元素等视觉信息被剥离,推理完全基于文本符号序列。

3、这种方式下,视觉语言模型中可能会被输入大量冗余数据,容易影响下游模型的推理速度,增加额外计算开销。

技术实现思路

1、本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此,本公开的目的在于提出一种视觉信息处理方法、装置、电子设备和存储介质,由此,能够在保留图像核心语义信息的前提下,大幅减少输入到视觉语言模型中的冗余视觉数据,从而加快下游模型的推理速度并降低计算资源消耗。

3、为达到上述目的,本公开第一方面实施例提出的视觉信息处理方法,包括:

4、获取包含原始图像和查询文本的数据对;

5、识别所述原始图像中的有效文本区域,并根据所述有效文本区域对所述原始图像进行裁切,得到裁切图像;

6、基于所述查询文本的语义以及所述裁切图像,预测对应的目标缩放率;

7、基于所述目标缩放率对所述裁切图像进行调整,得到缩放后图像;

8、将所述缩放后图像与所述查询文本作为视觉语言模型的输入进行处理。

9、为达到上述目的,本公开第二方面实施例提出的视觉信息处理装置,包括:

10、获取模块,用于获取包含原始图像和查询文本的数据对;

11、识别模块,用于识别所述原始图像中的有效文本区域,并根据所述有效文本区域对所述原始图像进行裁切,得到裁切图像;

12、预测模块,用于基于所述查询文本的语义以及所述裁切图像,预测对应的目标缩放率;

13、调整模块,用于基于所述目标缩放率对所述裁切图像进行调整,得到缩放后图像;

14、处理模块,用于将所述缩放后图像与所述查询文本作为视觉语言模型的输入进行处理。

15、本公开第三方面实施例提出的电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本公开第一方面实施例提出的视觉信息处理方法。

16、本公开第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本公开第一方面实施例提出的视觉信息处理方法。

17、本公开第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行如本公开第一方面实施例提出的视觉信息处理方法。

18、本公开提供的视觉信息处理方法、装置、电子设备和存储介质,通过获取包含原始图像和查询文本的数据对;识别原始图像中的有效文本区域,并根据有效文本区域对原始图像进行裁切,得到裁切图像;基于查询文本的语义以及裁切图像,预测对应的目标缩放率;基于目标缩放率对裁切图像进行调整,得到缩放后图像;将缩放后图像与查询文本作为视觉语言模型的输入进行处理。由此,能够在保留图像核心语义信息的前提下,大幅减少输入到视觉语言模型中的冗余视觉数据,从而加快下游模型的推理速度并降低计算资源消耗。

19、本公开附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本公开的实践了解到。

1.一种视觉信息处理方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述识别所述原始图像中的有效文本区域,并根据所述有效文本区域对所述原始图像进行裁切,得到裁切图像,包括:

3.如权利要求2所述的方法,其特征在于,所述基于所述有效文本框,识别所述原始图像中的有效文本区域,包括:

4.如权利要求1所述的方法,其特征在于,所述基于所述查询文本的语义以及所述裁切图像,预测对应的目标缩放率,包括:

5.如权利要求4所述的方法,其特征在于,所述缩放因子预测模型基于自监督方式构建的训练数据训练得到,所述训练数据的构建步骤包括:

6.如权利要求4所述的方法,其特征在于,所述缩放因子预测模型包括由卷积网络构成的图像支路、由词嵌入网络构成的文本支路以及多层感知机;其中,

7.一种视觉信息处理装置,其特征在于,包括:

8.一种电子设备,其特征在于,包括:

9.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,其中,所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。

10.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述方法的步骤。