一种具身参考指代理解方法、系统、设备及介质
本发明涉及计算机视觉与视觉语言理解,具体涉及一种利用自然语言表达和人体指向线索共同定位场景图像中被指称目标的具身参考指代理解方法、系统、设备及介质。
背景技术:
1、参考表达理解用于根据自然语言表达在图像或视频中定位对应目标。自然语言表达能够给出目标类别、颜色、尺寸、相对位置等语义信息,但在真实人机交互场景中,用户的表达往往较短,且可能同时依赖眼部位置、指尖位置、手臂方向或身体姿态等具身线索。具身参考指代理解由此需要在同一处理框架中联合利用语言语义、视觉外观和人体指向信息,以输出被指称目标的位置。
2、现有具身参考指代理解方案通常将视觉令牌与文本令牌输入多模态编码器进行交互,并设置目标查询和手势查询,由解码器同时预测目标边界框与手势关键点。部分方案还利用眼部位置和指尖位置形成虚拟指向线,使模型能够借助人体动作缩小候选目标范围。
3、在多模态深度交互过程中,文本令牌会接收大量视觉上下文。当图像中存在多个外观相近的候选物体、复杂背景或者与当前表达无关的显著区域时,融合后的文本特征可能偏离原始表达中用于区分类别、属性及空间关系的语义。另一方面,注意力机制能够建立全局关联,但对二维图像空间的局部连续性和语义响应的逐步传播缺少直接约束。
4、此外,目标查询和手势查询通常以样本无关的可学习参数初始化,当前自然语言表达仅通过编码记忆间接影响查询。解码初期的查询因缺少表达相关的条件引导,可能首先关注视觉显著区域或手部附近的干扰区域,再经过多层解码逐步校正,影响复杂场景中的目标区分和定位稳定性。因此,需要一种能够使文本语义在文本表征保持、视觉空间增强和查询初始化多个阶段持续发挥作用的具身参考指代理解方案。
技术实现思路
1、本发明的目的在于提供一种具身参考指代理解方法、系统、设备及介质,使同一自然语言表达形成的文本特征分别参与文本语义保持、视觉空间传播调制和目标查询及手势查询生成,在保留原始文本关键信息的同时增强与当前表达相关的视觉区域响应,并为联合解码提供表达相关的初始查询。
2、为实现上述目的,本发明采用如下技术方案。
3、第一方面,提供一种具身参考指代理解方法。获取场景图像以及与场景图像对应的自然语言表达;分别对场景图像和自然语言表达进行特征提取,将得到的视觉嵌入和文本嵌入输入多模态编码器进行跨模态交互,得到融合视觉特征和融合文本特征;根据融合文本特征分别生成文本条件目标查询和文本条件手势查询,并将两类文本条件查询分别与对应的预设可学习查询进行门控融合,得到目标混合查询和手势混合查询。
4、在模型训练阶段,根据自然语言表达对应的原始文本特征对融合文本特征进行文本语义一致性约束;将融合视觉特征恢复为二维空间语义场,根据融合文本特征调制二维空间语义场的波传播过程,并将传播特征与融合视觉特征进行残差融合,得到增强视觉特征;将增强视觉特征、目标混合查询、手势混合查询以及多模态记忆特征输入解码器,输出自然语言表达所指称目标的目标边界框和人体指向动作对应的手势关键点。
5、视觉特征处理采用如下数据流:利用视觉主干网络提取场景图像的二维图像特征,将二维图像特征展平为视觉令牌序列并与位置嵌入相加;利用文本编码器对自然语言表达进行编码;沿令牌维度拼接视觉嵌入和文本嵌入后输入多模态编码器,并按照输入位置拆分多模态编码器的输出。
6、双查询生成过程包括:对预设目标查询和预设手势查询分别执行查询自注意力,以查询自注意力处理后的查询为查询项、以融合文本特征为键和值执行查询到文本的跨注意力,并根据融合文本特征形成的门控系数控制文本条件查询的注入比例。
7、文本语义一致性约束通过以下处理形成:对齐原始文本特征与融合文本特征的文本令牌位置及特征维度,计算对应位置的特征差异,并根据融合文本特征重构自然语言表达中的文本令牌,以特征差异和文本令牌重构结果形成文本语义一致性损失。
8、波传播增强过程包括:对融合文本特征进行掩码池化得到文本全局语义向量,通过文本条件映射获得文本条件频域调制信息;对二维空间语义场转化成频域变换后利用所述文本条件频域调制信息形成文本条件频域演化变量,并基于所述文本条件频域演化变量对视觉频域特征执行波传播型频域演化;利用可学习残差门控参数将传播特征注入融合视觉特征。
9、第二方面,提供一种具身参考指代理解系统,包括多模态编码模块、双查询生成模块、文本语义保持模块、波传播增强模块、联合解码模块、目标预测模块和手势预测模块,各模块被配置为执行第一方面所述方法的对应处理。
10、第三方面,提供一种电子设备,包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序,处理器执行计算机程序时实现第一方面所述方法。
11、第四方面,提供一种计算机可读存储介质,其上存储的计算机程序被处理器执行时实现第一方面所述方法。
12、本发明取得了如下有益效果:
13、融合文本特征不只作为多模态编码结果使用,而是同时用于生成表达相关的目标查询和手势查询、调制视觉特征的二维空间传播,并在训练阶段接受原始文本特征约束,由此在三个处理阶段保持统一的文本条件;文本语义一致性约束能够减少无关视觉区域对类别、属性和空间关系信息的干扰;文本调制波传播在保留二维空间邻接关系的条件下增强语言相关区域;门控融合保留预设可学习查询形成的检测及手势先验,同时注入当前表达的语义,从而有利于提高复杂场景中的目标区分能力和定位稳定性。
1.一种具身参考指代理解方法,其特征在于,包括:
2.根据权利要求1所述的具身参考指代理解方法,其特征在于,所述分别对所述场景图像和所述自然语言表达进行特征提取,将得到的视觉嵌入和文本嵌入输入多模态编码器进行跨模态交互,包括:利用视觉主干网络提取所述场景图像的二维图像特征,将所述二维图像特征展平为视觉令牌序列,并将所述视觉令牌序列与位置嵌入相加得到所述视觉嵌入;利用文本编码器对所述自然语言表达进行编码得到所述原始文本特征,以所述原始文本特征作为所述文本嵌入;沿令牌维度拼接所述视觉嵌入和所述文本嵌入后输入所述多模态编码器,并按照视觉令牌位置和文本令牌位置拆分所述多模态编码器的输出,得到所述融合视觉特征和所述融合文本特征。
3.根据权利要求1所述的具身参考指代理解方法,其特征在于,所述根据所述融合文本特征分别生成文本条件目标查询和文本条件手势查询,包括:对预设目标查询和预设手势查询分别进行查询自注意力处理;以查询自注意力处理后的查询为查询项、以所述融合文本特征为键和值进行查询到文本的跨注意力处理,分别得到所述文本条件目标查询和所述文本条件手势查询;根据所述融合文本特征生成门控系数,并利用所述门控系数控制对应文本条件查询注入所述预设可学习查询的比例。
4.根据权利要求1所述的具身参考指代理解方法,其特征在于,所述根据所述自然语言表达对应的原始文本特征对所述融合文本特征进行文本语义一致性约束,包括:对齐所述原始文本特征与所述融合文本特征的文本令牌位置和特征维度;计算相同文本令牌位置处的原始文本特征与融合文本特征之间的特征差异;根据所述融合文本特征重构所述自然语言表达中的文本令牌;根据所述特征差异和文本令牌重构结果形成文本语义一致性损失,并利用所述文本语义一致性损失更新所述多模态编码器。
5.根据权利要求1所述的具身参考指代理解方法,其特征在于,所述根据所述融合文本特征调制所述二维空间语义场的波传播过程,包括:对融合文本特征中的有效文本令牌进行池化并经特征映射,获得文本条件频域调制信息;对二维空间语义场进行局部特征变换,得到波传播分支特征和门控分支特征,并对波传播分支特征进行二维频域变换,获得视觉频域特征;根据文本条件频域调制信息形成频域演化变量,对视觉频域特征进行波传播型频域演化;将传播频域特征经二维逆频域变换恢复为空间域,并利用门控分支特征进行调节,得到传播特征;通过可学习残差缩放参数将传播特征与融合视觉特征进行残差融合,得到增强视觉特征。
6.根据权利要求1所述的具身参考指代理解方法,其特征在于,所述解码器包括交替设置的查询自注意力单元、查询到多模态记忆特征的跨注意力单元以及前馈处理单元;所述目标混合查询和所述手势混合查询在所述解码器中进行联合更新,并分别输入目标预测头和手势预测头,所述目标预测头输出目标类别置信度和目标边界框坐标,所述手势预测头输出眼部关键点、指尖关键点以及由所述眼部关键点指向所述指尖关键点的指向线参数中的至少一种。
7.根据权利要求1所述的具身参考指代理解方法,其特征在于,在模型训练阶段,根据预测目标与真实目标之间的匹配结果构建总损失,所述总损失至少包括目标边界框损失、手势关键点损失、文本语义特征对齐损失和文本令牌重构损失;在具有软令牌监督信息或同批次负样本时,所述总损失还包括软令牌损失或对比损失;其中,所述目标边界框损失由边界框坐标的一范数损失与广义交并比损失加权形成。
8.一种具身参考指代理解系统,其特征在于,包括:
9.一种电子设备,其特征在于,包括存储器、处理器以及存储在所述存储器中并能够在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的具身参考指代理解方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述的具身参考指代理解方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com