一种基于语义引导隐式空间锚点的图像对最小变化定位与描述方法
本发明属于计算机视觉、多模态大语言模型与视觉定位,具体涉及一种基于语义引导隐式空间锚点的图像对最小变化定位与描述方法。该方法用于对两幅近似相同的图像(原始图像与其经过一次原子编辑的图像)进行差异比较,同时输出变化的自然语言描述、变化区域的空间坐标以及变化实体的语义类别。
背景技术:
1、视觉对比(即识别两幅近似相同图像之间的细微差异)是多媒体理解、安防监控、医学影像随访分析、工业缺陷检测等众多场景中的核心能力。然而,仅识别“存在差异”并不充分:理想的系统还应当能够描述“发生了什么变化”,并将变化区域在原始图像与编辑图像中分别进行空间定位。这一任务可形式化为“有定位的最小变化理解”,即模型需要联合完成差异描述、区域定位、跨图像对齐与实体识别。
2、现有的视觉定位类多模态大语言模型主要面向单图像的语言到区域对齐任务,其能够根据文本指代在单张图像中定位目标区域,但并未针对双图像差异场景进行专门设计。在双图像差异定位任务中,目标区域必须通过对两幅近似相同的输入进行比较才能推断得到,这要求模型具备跨图像比较与相对空间差异推理能力,而单图像定位模型无法直接胜任。
3、在建模方法层面,现有技术主要存在两类缺陷。第一类是直接坐标回归方法,其将定位过程建模为对离散化坐标标记的黑箱生成,模型通常仅针对最终边界框进行优化,缺乏显式的中间空间推理轨迹,在面对复杂的双图像空间对齐时容易产生空间稀疏与目标幻觉问题。第二类是显式的文本思维链推理方法,其采用冗长的自然语言文本来推演空间关系。然而,一维的长文本序列对于二维几何对齐而言是一种低效且间接的中间表示:冗长的推理不仅显著增加了自回归解码的 token 开销,还可能加剧语言模型在顺序解码过程中的幻觉累积与空间迷失。一旦模型在非对称情形(如物体增加或消失)下产生空间错位,顺序解码甚至会放大而非纠正这种空间幻觉。
4、在数据集层面,已有的图像差异描述类数据集大多仅要求模型生成自然语言描述而缺乏稠密的边界框标注;已有的最小变化类基准多局限于描述-图像匹配,而非显式空间定位;少数引入边界框标注的多图像定位数据集所定义的变化类别以静态编辑为主,目标物体的边界框位置与尺寸在图像对中基本保持不变,未能充分覆盖物体大幅位移、边界框缩放以及计数变化所固有的复杂非对称映射等空间动态变化情形。
5、因此,如何在控制计算与解码开销的前提下,构建一种能够同时实现高精度定位、忠实描述与跨图像对齐的最小变化理解方法,成为本领域亟待解决的技术问题。
技术实现思路
1、本发明的目的在于针对现有技术的上述不足,提供一种基于语义引导隐式空间锚点的图像对最小变化定位与描述方法。该方法借鉴人类视觉搜索中“先语义引导、再扫视定位、后精细描述”的认知规律,将原本端到端的黑箱定位预测解耦为结构化的“思考-定位-描述”自回归解码序列,在不增加模型参数规模的前提下,大幅提升跨图像差异定位的精度与描述质量,同时显著降低推理 token 开销。
2、本发明的技术方案为:
3、一种基于语义引导隐式空间锚点的图像对最小变化定位与描述方法,步骤如下:
4、步骤1:获取原始图像i_o、编辑图像i_e,组成图像对,并获取所述图像对对应的语言指令t;所述编辑图像i_e由所述原始图像i_o经过一次原子编辑得到,所述原子编辑为属性变化、物体变化、计数变化或关系变化四种类型之一;当所述原子编辑为物体增加或物体删除时,将所述图像对确定为非对称变化图像对;
5、步骤2:分别将所述原始图像i_o和所述编辑图像i_e输入视觉编码器,得到原始图像视觉特征图f_o和编辑图像视觉特征图f_e;通过连接器分别将f_o和f_e映射为原始图像视觉特征序列v_o和编辑图像视觉特征序列v_e,并将v_o、v_e与语言指令t按照预定顺序拼接,得到多模态大语言模型的输入序列x=v_o⊕v_e⊕t;其中,⊕表示序列拼接;
6、步骤3:语义提示:将输入序列x输入多模态大语言模型,自回归生成描述变化实体语义类别的实体标记序列y_obj,并取得实体标记序列y_obj在多模态大语言模型最后一层对应的上下文隐状态h_obj;以h_obj作为查询表示,与由v_o和v_e构成的全局视觉表示进行交叉注意力交互,得到经实体语义引导后的语义引导视觉表示v_sem,以在隐空间中激活与变化实体相关的视觉特征;其中,h_obj表示实体标记序列对应的上下文隐状态;
7、步骤4:离散空间锚点定位:基于输入序列x、实体标记序列y_obj和语义引导视觉表示v_sem,自回归生成离散网格标记序列y_anchor;在训练阶段,将原始图像i_o中的变化区域连续边界框b_o和编辑图像i_e中的变化区域连续边界框b_e分别量化为原始图像粗略锚点子序列a_o和编辑图像粗略锚点子序列a_e,再由a_o和a_e构成y_anchor;在推理阶段,多模态大语言模型在y_obj和v_sem的约束下直接生成y_anchor;
8、b_o=[x_o1,y_o1,x_o2,y_o2],
9、b_e=[x_e1,y_e1,x_e2,y_e2],
10、且b_o、b_e∈[0,1000]^4;
11、q(c)=
12、a_o=[q(x_o1),q(y_o1),q(x_o2),q(y_o2)],
13、a_e=[q(x_e1),q(y_e1),q(x_e2),q(y_e2)],
14、y_anchor=a_o⊕
15、其中,b_o表示原始图像变化区域的连续边界框,b_e表示编辑图像变化区域的连续边界框;x_o1、y_o1、x_o2和y_o2依次表示b_o的左上角横坐标、左上角纵坐标、右下角横坐标和右下角纵坐标,x_e1、y_e1、x_e2和y_e2依次表示b_e的左上角横坐标、左上角纵坐标、右下角横坐标和右下角纵坐标;c表示待量化的任一连续坐标,q表示将连续坐标映射为离散坐标标记的量化函数,i表示离散区间索引,
16、步骤5:空间约束描述生成:将输入序列x、实体标记序列y_obj和离散网格标记序列y_anchor共同作为前序上下文,自回归生成自然语言描述序列y_desc,使y_desc在实体语义上受y_obj约束,并在空间指向上受y_anchor约束;
17、p_θ(y_desc|x,y_obj,y_anchor)
18、=∏_(t=1)^(n_desc)p_θ(y_desc,t|x,y_obj,y_anchor,y_desc, 19、其中,p_θ表示模型参数为θ的多模态大语言模型给出的条件概率,θ表示模型参数,n_desc表示y_desc包含的标记数量,y_desc,t表示y_desc中的第t个标记,y_desc, 20、步骤6:精细定位:在训练阶段,将原始图像变化区域的连续边界框b_o中的四个坐标按照[x_o1,y_o1,x_o2,y_o2]的顺序进行1000级分辨率的精确坐标标记编码,得到原始图像精确坐标子序列y_box^o;将编辑图像变化区域的连续边界框b_e中的四个坐标按照[x_e1,y_e1,x_e2,y_e2]的顺序进行1000级分辨率的精确坐标标记编码,得到编辑图像精确坐标子序列y_box^e;在推理阶段,将输入序列x、实体标记序列y_obj、离散网格标记序列y_anchor和自然语言描述序列y_desc共同作为前序上下文,在y_anchor限定的粗略空间范围内,自回归生成1000级分辨率的精确边界框坐标序列y_box。 21、y_box=y_box^o⊕ 22、其中,y_box^o表示原始图像精确坐标子序列,y_box^e表示编辑图像精确坐标子序列;对非对称变化图像对,不存在对应变化区域的一侧以 23、步骤7:输出最终结果,按照实体标记序列y_obj、离散网格标记序列y_anchor、自然语言描述序列y_desc和精确边界框坐标序列y_box的名称与生成顺序输出最终结果。 24、进一步地,所述步骤1中的原子编辑类型中的:属性变化是指对物体的颜色、材质、纹理、形状或状态进行修改;物体变化是指替换、增加或删除一个实体;计数变化是指改变同类实例的数量;关系变化是指在保持实体身份不变的前提下对实体进行空间位置重定位。 25、进一步地,所述步骤4中,对于由物体增加产生的非对称变化图像对,原始图像i_o中不存在新增实体对应的变化区域,因而采用由四个 26、进一步地,所述多模态大语言模型的分词器词表需要进行扩展,新增以下特殊标记:离散坐标标记 27、进一步地,所述多模态大语言模型通过有监督微调进行端到端训练,采用教师强制方式,将训练目标序列y分解为按照生成顺序排列的四个子序列,并以最小化训练目标序列y的负对数似然损失l(θ)为优化目标; 28、y=[y_obj⊕y_anchor⊕y_desc⊕y_box] 29、l(θ)= -σtlogp_θ(y_t|y_ 30、其中y表示训练目标序列,y_obj表示实体标记序列,y_anchor表示离散网格标记序列,y_desc表示自然语言描述序列,y_box表示精确边界框坐标序列,n表示训练目标序列y包含的标记总数,y_t表示y中的第t个目标标记,y_ 31、进一步地,所述步骤2中的视觉编码器输出的视觉特征图经连接器映射为图像视觉特征序列后,与语言指令一同作为多模态大语言模型的输入;所述连接器为多层感知机。 32、进一步地,所述步骤4中的离散空间词汇表采用10级网格配置,将坐标空间[0,1000]按100为单位划分为10个离散区间,每个离散区间对应一个离散坐标标记;该10级网格配置相比100级网格配置在整体性能上相当且词表更紧凑。 33、进一步地,所述方法的训练数据通过如下流程构建: 34、阶段一,从源图像库中筛选候选图像,按照图像质量与语义清晰度进行评分,保留物体内容清晰、视觉语义可靠的候选图像作为原始图像; 35、阶段二,针对每一幅选定的原始图像生成分别对应属性、物体、计数、关系四种变化类型的编辑指令,并执行局部受控的图像编辑,得到有序的待比较的图像对; 36、阶段三,通过自动评分过滤掉图像编辑失败的样本,再由两名标注者独立对每一图像对进行四级评分并独立标注变化区域边界框,仅当两名标注者均评定为优时才将该编辑图像对纳入基准数据集;最终基准数据集按最大物体的面积占比划分为易、中、难三个难度层级。 37、进一步地,所述方法的性能采用联合评价指标grounded-f1进行评估,其仅当空间重合度iou≥0.5、语义相似度bertscore≥0.85与实体标签约束同时满足时才记为真正例;所述方法还采用平均交并比miou、平均精度均值map以及bleu、rouge-l、meteor、cider、spice、bertscore、句向量相似度指标进行评估。 38、进一步地,所述步骤3至步骤6构成连续的自回归解码过程,按照语义提示、离散空间锚点定位、空间约束描述生成和精细定位的顺序,依次生成实体标记序列y_obj、离散网格标记序列y_anchor、自然语言描述序列y_desc和精确边界框坐标序列y_box;生成y_anchor时以前序y_obj为约束,生成y_desc时以前序y_obj和y_anchor为约束,生成y_box时以前序y_obj、y_anchor和y_desc为约束。 39、本发明的有益效果: 40、(1)通过将黑箱式的端到端定位预测解耦为“思考-定位-描述”的结构化解码序列,引入隐式空间瓶颈,使模型在较低的解码开销下实现高精度的跨图像差异定位,相比直接坐标回归方法显著提升了定位精度并降低了目标幻觉率。 41、(2)相比冗长的显式文本思维链推理方法,本发明采用紧凑的离散隐式空间锚点作为中间表示,推理 token 开销降低超过30%,且在严格二维几何对齐任务上的定位精度更高,避免了长文本推理带来的解码成本与幻觉累积问题。 42、(3)借助语义提示引导与空间约束生成,本方法能够同时保证定位精度与描述忠实度,在联合评价指标(即同时满足空间重合度、语义相似度与实体标签约束才算正确的指标)上达到优异水平,并使小参数量模型超越远大于其的大参数模型,表明结构化的空间推理接口比单纯增大模型规模更为关键。 43、(4)扩展的特殊标记词表与空坐标占位机制,使方法能够有效处理物体增加、删除等非对称变化情形,提升了模型在复杂空间动态场景下的鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com