基于解缠表征学习的统一多模态图像匹配方法及系统
本发明属于图像的识别或理解,具体涉及一种基于解缠表征学习的统一多模态图像匹配方法及系统。
背景技术:
1、多模态图像匹配是计算机视觉中的一项基本任务,广泛应用于图像融合、三维重建、视觉定位、深度估计和遥感图像配准等领域的图像识别或理解任务,目的是实现由不同传感器或不同成像机制获得的图像之间的对应像素交叉对齐。随着光学、sar、红外和地图等多源视觉数据在实际系统中的广泛使用,图像匹配方法不仅需要在单一模态组合上保持稳定,还需要具备跨多种模态组合统一处理的能力。传统基于手工设计的方法通常通过人工构建先验知识来设计特征检测器与描述符,以此缓解模态差异引发的非线性辐射失真问题。这类方法采用鲁棒性更强的相位一致性特征替代图像强度信息进行特征点检测,无需依赖训练数据,具备一定的跨模态适配能力,对非线性辐射失真也表现出相应的稳健性。但由于其核心依赖低层手工设计的视觉线索,应对复杂跨模态变化的能力存在局限,普遍存在关键点定位稳定性不足、描述符区分度较弱以及误匹配率上升等问题。基于学习的方法利用深度卷积神经网络来学习跨模态的共享表示。现有方法范例通常在共同的嵌入空间中执行直接的特征提取和特征对齐,期望来自不同模态的对应表示在特征空间中变得接近。虽然在某种程度上有效,但这种直接比对战略仍然受到两个重要限制。首先,通过这些方法学习的共享特征可能包含特定于模态的信息,这削弱了特征的可区分性,从而限制了匹配精度。其次,这些方法通常是针对特定的模态对开发的,不能直接应用于其他交叉模态图像,而是需要针对不同的模态组合进行单独的训练。此外,当多个跨模态数据集直接混合用于训练而不是使用特定的模态对时,模型变得更容易受到复杂模态差异的干扰,这可能导致收敛速度慢甚至匹配性能下降。因此,如何在单一模型中将特征显式地分离为模态不变的语义信息和模态特定域信息,是统一多模态图像匹配需要解决的关键技术问题。
技术实现思路
1、本发明要解决的技术问题:针对现有技术的上述问题,提供一种基于解缠表征学习的统一多模态图像匹配方法及系统,本发明旨在通过显式特征解缠和交叉重组约束,从多模态图像中学习稳定的模态不变语义特征,抑制模态特定域信息的干扰,使单一模型能够适用于多种跨模态图像匹配任务,提高图像识别或理解跨模态能力。
2、为了解决上述技术问题,本发明采用的技术方案为:
3、一种基于解缠表征学习的统一多模态图像匹配方法,包括下述步骤:
4、s101,在训练阶段,将不同模态的图像对样本输入共享浅层编码器提取浅层特征,利用语义编码器和域编码器进行特征解缠以提取语义特征和域特征,通过解码器对语义特征和域特征进行同源重构及交叉重构,将交叉重构得到的交叉重构浅层特征利用语义编码器和域编码器分别进行重新编码以生成重编码特征,根据得到的各种特征,采用模态分类损失、重构损失、一致性损失和匹配损失联合训练由共享浅层编码器、语义编码器、域编码器和解码器构成的网络模型;
5、s102,在推理阶段,将待匹配图像对利用训练好的网络模型中的共享浅层编码器、语义编码器提取语义特征,再将待匹配图像对中各个关键点的语义特征作为特征描述符,根据关键点的特征描述符进行关键点匹配以获得关键点对集合。
6、可选地,步骤s101中进行特征解缠以提取语义特征和域特征的函数表达式为:
7、;;
8、;;
9、其中,和分别为图像和的语义特征,和分别为图像和的域特征,为语义编码器,为域编码器,和分别为图像和的浅层特征。
10、可选地,步骤s101中通过解码器对语义特征和域特征进行同源重构及交叉重构的函数表达式为:
11、;;
12、;;
13、其中,和分别为图像和的同源重构浅层特征,为图像的语义特征和的域特征拼接后得到的交叉重构浅层特征,图像的语义特征和图像的域特征拼接后得到的交叉重构浅层特征,为解码器,表示特征拼接。
14、可选地,步骤s101中将交叉重构得到的交叉重构浅层特征利用语义编码器和域编码器分别进行重新编码以生成重编码特征的函数表达式为:
15、;
16、;
17、其中,和分别为图像和的重编码语义特征,和分别为图像和的重编码域特征,为语义编码器,为域编码器,为图像的语义特征和的域特征拼接后得到的交叉重构浅层特征,图像的语义特征和图像的域特征拼接后得到的交叉重构浅层特征,所述重编码语义特征和重编码域特征构成重编码特征。
18、可选地,步骤s101中采用模态分类损失、重构损失、一致性损失和匹配损失联合训练由共享浅层编码器、语义编码器、域编码器和解码器构成的网络模型时,所述模态分类损失的计算函数表达式为:
19、;
20、其中,为模态分类损失,和为图像和的模态标签,表示模态分类头,表示交叉熵损失,和分别为图像和的域特征;
21、所述重构损失的计算函数表达式为:
22、;
23、其中,为重构损失,和分别为图像和的浅层特征,和分别为图像和的同源重构浅层特征;
24、所述一致性损失的计算函数表达式为:
25、;
26、其中,为一致性损失,和分别为图像和的语义特征,和分别为图像和的重编码语义特征,和分别为图像和的重编码域特征,且重编码语义特征和重编码域特征两者构成重编码特征;
27、所述匹配损失由描述符损失、重复性损失和局部峰值损失中部分或全部构成,所述描述符损失的计算函数表达式为:
28、;
29、;
30、其中,为描述符损失,和分别表示沿行方向和列方向的softmax运算,和分别表示置信矩阵对角线上的匹配描述符相似度,和为置信矩阵的索引号,和分别为图像和的语义特征,上标中的为转置;
31、所述重复性损失的计算函数表达式为:
32、;
33、其中,为重复性损失,为图像和中的像素个数,和分别为图像和经过检测头得到的检测分数图中相同像素的坐标集合,和分别为图像和的检测分数图中第i个相同像素的坐标,和分别为和的检测分数,上标中的为转置操作;
34、所述局部峰值损失的计算函数表达式为:
35、;
36、其中,为局部峰值损失,为重叠图像块集合的大小,为图像和的检测分数图中的重叠图像块集合,和分别为取平均值和取最大值;为第个重叠图像块的检测分数,且为第个重叠图像块在图像和的检测分数图中的检测分数之和。
37、可选地,步骤s101中采用模态分类损失、重构损失、一致性损失和匹配损失联合训练由共享浅层编码器、语义编码器、域编码器和解码器构成的网络模型时,采用的总损失函数为:
38、;
39、;
40、其中,为总损失函数,为匹配损失,为描述符损失,为重复性损失,为局部峰值损失,为模态分类损失,为重构损失,为一致性损失。
41、可选地,步骤s101中将不同模态的图像对样本输入共享浅层编码器提取浅层特征之前,还包括将不同模态的图像对样本中的施加随机仿射变换,所述随机仿射变换包括改变图像的方向、尺度、形状及空间位置中的部分或全部。
42、可选地,步骤s102包括:
43、s201,将图像a和图像b构成的待匹配图像对利用训练好的网络模型中的共享浅层编码器提取浅层特征,再分别将浅层特征通过语义编码器提取语义特征;
44、s202,将图像a和图像b中各个关键点的语义特征作为特征描述符,根据关键点的特征描述符进行关键点匹配以获得关键点对集合。
45、可选地,步骤s201之后、步骤s202之前还包括:分别将图像a和图像b的语义特征利用训练好的网络模型中的检测头检测得到检测分数图,分别针对图像a和图像b中的每一幅图像,对检测分数图中的特征点位置执行非极大值抑制以获得关键点位置。
46、一种基于解缠表征学习的统一多模态图像匹配系统,包括相互连接的微处理器和存储器,所述微处理器被编程或配置以执行所述基于解缠表征学习的统一多模态图像匹配方法。
47、和现有技术相比,本发明主要可起到下述有益效果:本发明方法包括将不同模态的图像对输入共享浅层编码器提取浅层特征,利用语义编码器和域编码器进行特征解缠以提取语义特征和域特征,通过解码器对语义特征和域特征进行同源重构及交叉重构,并采用模态分类损失、重构损失、一致性损失和匹配损失联合训练网络;在推理阶段利用语义特征生成检测分数图和特征描述符,经关键点提取、描述符采样和相互最近邻匹配输出关键点匹配结果。本发明能够显式地将模态变化解释为域差异,并将特征分离为语义和域分量,这种设计减少了模态引起的干扰,并促进了能够在单个模型中处理多个模态组合的统一方法实现,能够从多模态图像中学习稳定的模态不变语义特征,抑制模态特定域信息的干扰,使单一模型能够适用于多种跨模态图像匹配任务,提高图像识别或理解跨模态能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com