一种生成图像描述的方法及计算设备与流程
本说明书涉及图像处理,尤其涉及一种生成图像描述的方法及计算设备。
背景技术:
1、图像描述生成(image captioning)是指利用模型对输入图像进行语义理解,并以自然语言形式输出图像内容的文字描述。随着多模态大模型(multimodal large languagemodel,mllm)的发展,模型通过将视觉编码器提取的图像特征与大语言模型的文本生成能力相结合,已经能够生成语义连贯、表达自然的图像描述。在图像描述生成任务中,模型通常接收一幅完整图像作为输入,经过视觉特征提取与跨模态对齐后,由语言解码器逐词元生成对应的图像描述。
2、然而,当输入图像中包含密集物体、小目标、局部文字或复杂空间关系等细粒度信息时,整图描述生成方式往往难以充分覆盖这些局部细节。其原因在于,整幅图像在经过视觉编码后,所有区域的视觉信息被压缩为固定长度的特征表示,模型在生成描述时倾向于关注视觉上最显著的主体区域,而对非中心区域或面积较小的目标分配较少的注意力。这导致生成的图像描述虽然能够覆盖整体场景语义,却容易遗漏局部文字内容、小目标的外观属性、物体之间的精细空间关系等细粒度信息。
3、为了改善上述问题,相关技术中提出了多种对图像进行局部处理以增强细节感知的方案。在一种相关技术中,采用固定网格或多尺度裁剪的方式,将输入图像按照预设规则划分为若干图像块,再分别对每个图像块生成局部描述,最后将各局部描述与整图描述进行聚合。这种方式虽然能够在一定程度上提升模型对局部区域的感知能力,但由于裁剪策略是预先固定的,无法根据图像内容的实际复杂程度进行自适应调整。对于内容简单的区域,模型仍然需要执行局部描述生成,造成推理资源的冗余消耗;而对于实体密集或细节丰富的复杂区域,固定尺寸的图像块可能仍然过大,其中的小目标和低频细节在视觉编码过程中依旧被压缩,难以获得充分的局部观察。
4、在另一种相关技术中,采用先分后聚(divide-then-aggregate)的方式对图像进行局部描述增强,即根据检测结果或语义信息将图像划分为若干图像块,对每个图像块生成局部描述后进行文本聚合。这种方式中,图像块的空间粒度在确定后不再改变,对于其中仍然包含较多实体或较小目标的复杂图像块,模型只能在相同的观察尺度下反复采样,再通过过滤和聚合来提升描述的稳定性。然而,当图像块内实体数量较多、目标尺寸较小时,即便进行多次采样,模型在单次推理中所能分辨的细节仍受到图像块尺寸的制约,低频细节和小目标容易被显著对象所掩盖。同时,单层图像块的划分方式难以同时兼顾大区域的上下文语义与小区域的精细细节--图像块过大时,细节信息仍被压缩;图像块过小时,则容易丢失必要的上下文信息。
5、在另一种相关技术中,根据用户指定的边界区域生成对应的局部图像描述,即针对给定的图像区域,由神经网络生成该区域的文字描述。这种方式能够针对特定区域提供局部描述,但其描述区域的确定依赖于外部指定。
6、因此,希望能够提供一种改进的方案,能够更好的提升图像描述生成中细粒度信息的覆盖程度。
技术实现思路
1、本说明书一个或多个实施例提供了一种生成图像描述的方法及计算设备,以实现更好的提升图像描述生成中细粒度信息的覆盖程度,生成细节更丰富、质量更好的图像描述。
2、根据第一方面,提供一种生成图像描述的方法,包括:
3、确定目标图像中的至少一个实体,以及各实体在所述目标图像中的各定位框;
4、根据所述定位框生成多个候选图像块;
5、根据各个候选图像块的内容复杂度,从所述多个候选图像块中确定第一图像块;
6、在所述第一图像块内生成至少一层子图像块,以得到多层图像块金字塔;
7、对所述多层图像块金字塔中的图像块分别生成局部图像描述;
8、根据所述多层图像块金字塔中的层级关系,基于所述局部图像描述与所述目标图像对应的初始图像描述,确定目标图像描述。
9、根据第二方面,提供一种生成图像描述的装置,包括:
10、第一确定模块,配置为确定目标图像中的至少一个实体,以及各实体在所述目标图像中的各定位框;
11、第一生成模块,配置为根据所述定位框生成多个候选图像块;
12、第二确定模块,配置为根据各个候选图像块的内容复杂度,从所述多个候选图像块中确定第一图像块;
13、第二生成模块,配置为在所述第一图像块内生成至少一层子图像块,以得到多层图像块金字塔;
14、第三生成模块,配置为对所述多层图像块金字塔中的图像块分别生成局部图像描述;
15、第三确定模块,配置为根据所述多层图像块金字塔中的层级关系,基于所述局部图像描述与所述目标图像对应的初始图像描述,确定目标图像描述。
16、根据第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行第一方面所述的方法。
17、根据第四方面,提供一种计算设备,包括存储器和处理器,其中,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面所述的方法。
18、根据本说明书实施例提供的方法及计算设备,先确定目标图像中的至少一个实体,以及各实体在目标图像中的各定位框;根据定位框生成多个候选图像块;根据各个候选图像块的内容复杂度,从多个候选图像块中确定第一图像块;在第一图像块内生成至少一层子图像块,以得到多层图像块金字塔;对多层图像块金字塔中的图像块分别生成局部图像描述;根据多层图像块金字塔中的层级关系,基于局部图像描述与目标图像对应的初始图像描述,确定目标图像描述,以生成质量更好细节更丰富的图像描述。
19、上述过程中,先确定目标图像中的至少一个实体及其定位框,生成多个候选图像块,然后针对各个候选图像块内的内容复杂度,从各个候选图像块中筛选出内容复杂的第一图像块,进而在第一图像块内生成至少一层子图像块,以得到多层图像块金字塔,并对多层图像块金字塔中的图像块分别生成局部图像描述,以使小目标、局部文字和局部关系获得更高分辨率的局部观察,进而根据图像块之间的层级关系,将局部图像描述与初始图像描述进行融合,输出细节更为完整的目标图像描述,以实现更好的提升图像描述生成中细粒度信息的覆盖程度,生成细节更丰富、质量更好的图像描述。
1.一种生成图像描述的方法,包括:
2.如权利要求1所述的方法,其中,所述确定目标图像中的至少一个实体包括:
3.如权利要求1所述的方法,其中,所述根据所述定位框生成多个候选图像块,包括:
4.如权利要求1-3所述的方法,其中,所述根据所述定位框生成多个候选图像块,包括:
5.如权利要求1所述的方法,其中,所述根据各个候选图像块的内容复杂度,从所述多个候选图像块中确定第一图像块;
6.如权利要求5所述的方法,其中,所述确定各个候选图像块的复杂度指标,包括:
7.如权利要求6所述的方法,其中,所述根据各个候选图像块的复杂度指标,从所述多个候选图像块中确定第一图像块,包括:
8.如权利要求1所述的方法,其中,所述在所述第一图像块内生成至少一层子图像块,包括:
9.如权利要求8所述的方法,其中,所述预设停止条件包括以下至少一项:当前图像块层级数达到最大层数阈值;所述当前的图像块的总数达到图像块总数上限;当前图像块层级生成的子图像块的尺寸小于最小图像块尺寸;当前图像块层级生成的子图像块与作为其父图像块的图像块的面积比大于面积比阈值;当前图像块层级生成的子图像块的复杂度指标均不满足预设复杂条件;所述复杂度指标基于相应子图像块内实体的数量和/或实体的定位框确定;所述预设复杂条件为用于将图像块确定为父图像块继续生成下一层子图像块的复杂度条件。
10.如权利要求1所述的方法,其中,所述得到所述多层图像块金字塔,包括:
11.如权利要求1所述的方法,其中,所述对所述多层图像块金字塔中的图像块分别生成局部图像描述,包括:
12.如权利要求1所述的方法,其中,所述根据所述多层图像块金字塔中的层级关系,基于所述局部图像描述与所述目标图像对应的初始图像描述,确定目标图像描述,包括:
13.如权利要求1所述的方法,其中,所述根据所述多层图像块金字塔中的层级关系,基于所述局部图像描述与所述目标图像对应的初始图像描述,确定目标图像描述,包括:
14.如权利要求13所述的方法,其中,所述新增描述片段为所述初始图像描述中未出现的、可被相应图像块支持的且与其他新增描述片段不存在语义冲突的片段。
15.如权利要求1所述的方法,其中,所述方法还包括:
16.一种计算设备,包括存储器和处理器,其中,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-15中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com