一种图像描述生成方法及装置与流程

摘要: 本说明书实施例涉及人工智能,具体地,涉及一种图像描述生成方法及装置。背景技术:1、图像描述(imagecaptioning)生成属于计算机视觉与自然语言处理的交...
一种图像描述生成方法及装置与流程

本说明书实施例涉及人工智能,具体地,涉及一种图像描述生成方法及装置。

背景技术:

1、图像描述(image captioning)生成属于计算机视觉与自然语言处理的交叉领域,其任务是将图像中的视觉内容转换为一段可供阅读的自然语言文本。该任务通常由多模态模型完成,图像先经视觉编码器切分为若干图像块并编码为视觉特征序列,再与文本提示一同输入语言解码器,由解码器自回归地输出描述文本。此类文本可被用于智能相册管理、无障碍辅助阅读以及机器人视觉交互等多种场景,描述的覆盖范围直接影响上述场景的可用性。

2、较为基础的做法是对整张图像进行一次推理,直接输出整体描述。在这种方式下,注意力分配倾向于对比度高、面积大、位于画面中心的显著目标,输出的文本往往集中于少数主体物体,画面边缘的小物体、背景环境、图中的文字以及颜色材质等属性较少被写入描述。一次推理所得的文本因此普遍存在覆盖不全的问题,图像中相当一部分视觉内容在描述中没有对应的表述。

3、为了补充细节,另一种做法是对同一图像进行多次推理,或者先对图像做裁剪与划分,再对各局部区域分别生成描述后汇总。其实现方式通常是将图像按行列等分为若干图像块(patch),或按固定尺寸的窗口滑动画出多个裁剪区域,每个图像块独立送入模型生成一段局部描述,最后由模型或规则将各段局部描述拼接为完整文本。这一方式虽然增加了推理次数,但裁剪得到的图像块仍然保留着原图中的显著目标,模型的注意力倾向并不会因为输入尺寸变小而改变,多个图像块的局部描述容易反复落在同一显著目标上。这导致生成的局部描述中充斥着大量重复的已知信息,而真正未被初始描述覆盖的边缘小物体、背景环境等非显著区域的内容,仍然容易被忽略。

技术实现思路

1、本说明书实施例提供了图像描述生成方案,能够在已有描述的基础上确定图像中尚未被描述覆盖的部分,并针对该部分生成相应的补充描述,使图像描述的完整性得到提升。

2、第一方面,本说明书实施例提供了一种图像描述生成方法,包括:由多模态模型对目标图像进行分析,生成初始描述信息,所述初始描述信息中包括所述目标图像中目标实体的描述文本;基于所述初始描述信息确定所述目标图像中的已描述区域,所述已描述区域为所述初始描述信息中所描述的所述目标实体所在的区域;基于所述已描述区域的位置,确定所述目标图像中的低描述区域,所述低描述区域位于所述目标图像中所述已描述区域之外的区域;基于所述低描述区域生成补充描述信息;融合所述初始描述信息和所述补充描述信息,得到所述目标图像的目标描述信息。

3、在一种实现方式中,所述基于所述初始描述信息确定所述目标图像中的已描述区域,包括:对所述目标图像和所述初始描述信息进行分析,识别所述初始描述信息中提及的至少一个目标实体在所述目标图像中的位置;基于至少一个所述目标实体在所述目标图像中的位置,确定所述目标图像中的已描述区域。

4、在一种实现方式中,所述基于所述已描述区域的位置,确定所述目标图像中的低描述区域,包括:在所述目标图像中选取与所述已描述区域不重合的至少一个区域作为候选低描述区域;对所述候选低描述区域进行过滤,剔除长宽比不符合预设要求或宽度小于预设宽度阈值的候选低描述区域,得到所述低描述区域。

5、在一种实现方式中,所述基于所述低描述区域生成补充描述信息,包括:从所述目标图像中裁剪所述低描述区域,得到局部图像;将所述局部图像输入多模态模型,生成所述局部图像对应的局部描述;将所述局部图像对应的局部描述确定为所述补充描述信息。

6、在一种实现方式中,所述基于所述低描述区域生成补充描述信息,包括:根据所述低描述区域对所述目标图像进行图像块划分,得到目标图像块,所述目标图像块包含所述低描述区域;将所述目标图像块和提示词输入多模态模型,得到所述目标图像块对应的局部描述,所述提示词用于标记所述目标图像块包含初始描述信息未覆盖的所述低描述区域;将所述目标图像块对应的局部描述确定为所述补充描述信息。

7、在一种实现方式中,所述根据所述低描述区域对所述目标图像进行图像块划分,得到目标图像块,包括:获取所述目标图像的初始图像块划分结果,所述初始图像块划分结果指示多个初始图像块的位置;计算所述低描述区域与各所述初始图像块的重叠度;当所述重叠度满足预设条件时,将所述低描述区域与对应的初始图像块进行融合,形成目标图像块。

8、在一种实现方式中,所述融合所述初始描述信息和所述补充描述信息,得到所述目标图像的目标描述信息,包括:从所述补充描述信息中提取新增信息,所述新增信息为所述初始描述信息未覆盖且具有视觉依据的信息;将所述新增信息添加至所述初始描述信息中,得到所述目标描述信息。

9、在一种实现方式中,所述从所述补充描述信息中提取新增信息,包括:根据所述已描述区域的位置、所述低描述区域的来源和所述初始描述信息的内容进行去重,得到候选新增信息;利用多模态模型对所述候选新增信息进行事实核查,确认所述候选新增信息在所述目标图像中存在视觉依据;将验证通过的候选新增信息确定为所述新增信息。

10、第二方面,本说明书实施例提供了一种图像描述生成装置,包括:初始描述生成模块,用于由多模态模型对目标图像进行分析,生成初始描述信息,所述初始描述信息中包括所述目标图像中目标实体的描述文本;已描述区域确定模块,用于基于所述初始描述信息确定所述目标图像中的已描述区域,所述已描述区域为所述初始描述信息中所描述的所述目标实体所在的区域;低描述区域确定模块,用于基于所述已描述区域的位置,确定所述目标图像中的低描述区域,所述低描述区域位于所述目标图像中所述已描述区域之外的区域;补充描述生成模块,用于基于所述低描述区域生成补充描述信息;描述融合模块,用于融合所述初始描述信息和所述补充描述信息,得到所述目标图像的目标描述信息。

11、第三方面,本说明书实施例提供了一种计算设备,包括存储器和处理器,其中,该存储器中存储有可执行代码,该处理器执行该可执行代码时,实现如第一方面中任一实现方式描述的方法。

12、在本说明书提供的上述方案中,初始描述信息的覆盖范围能够以已描述区域的形式被表示出来,使描述文本的覆盖状态由文本层面转换为空间层面。由于低描述区域位于已描述区域之外,后续推理能够落在初始描述信息尚未覆盖的视觉内容上,使补充描述信息与初始描述信息形成互补而非相互重复。相较于对图像进行无差别划分的方式,上述方案将额外的推理资源集中于初始描述信息未覆盖的区域,能够在较少额外推理次数的条件下提升描述的覆盖范围,使目标描述信息对画面边缘的小物体、背景环境、局部文字以及颜色材质等内容的覆盖程度得到提升。

1.一种图像描述生成方法,所述方法包括:

2.根据权利要求1所述的方法,其中,所述基于所述初始描述信息确定所述目标图像中的已描述区域,包括:

3.根据权利要求1所述的方法,其中,所述基于所述已描述区域的位置,确定所述目标图像中的低描述区域,包括:

4.根据权利要求1所述的方法,其中,所述基于所述低描述区域生成补充描述信息,包括:

5.根据权利要求1所述的方法,其中,所述基于所述低描述区域生成补充描述信息,包括:

6.根据权利要求1所述的方法,其中,所述根据所述低描述区域对所述目标图像进行图像块划分,得到目标图像块,包括:

7.根据权利要求1所述的方法,其中,所述融合所述初始描述信息和所述补充描述信息,得到所述目标图像的目标描述信息,包括:

8.如权利要求7所述的方法,其中,所述从所述补充描述信息中提取新增信息,包括:

9.一种图像描述生成装置,所述装置包括:

10.一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-8中任一项所述的方法。