一种可靠多阶段特征协调的图像配准方法
本发明属于计算机视觉与图像处理,具体涉及一种可靠多阶段特征协调的图像配准方法,可用于三维重建、相机姿态估计、视觉定位等高层视觉任务中的图像配准。
背景技术:
1、图像配准是计算机视觉与图像处理中的一项基础任务,旨在建立两幅相关图像之间对应的特征点或区域关系。其核心目标是从图像中提取具有判别性的特征,并根据特征相似性在不同图像中确定可靠的对应关系,从而为三维重建、相机姿态估计、视觉定位等高层视觉任务提供支持。目前,与图像配准相关的方法主要分为两类:传统方法和基于深度学习的方法。
2、传统的图像配准方法主要是利用假设验证机制来进行。例如,ransac(randomsample consensus)通过随机抽取对应关系的最小子集来估计参数模型,并在验证过程中选择与数据一致性最高的模型来实现图像配准。magsac++通过对可能的噪声尺度进行边缘化,降低图像配准中模型估计对固定内点阈值的敏感性。然而,当初始对应关系中离群点比例较高时,这类方法难以保持鲁棒性,并且计算代价较高。
3、近年来,深度学习因其在深层特征学习和表示方面的强大能力,受到各领域学者的广泛关注,并在图像配准领域取得了显著进展。例如,oanet(order-aware network)通过可微分池化和逆池化操作捕获局部与全局上下文信息;clnet(consensus learningnetwork)采用多阶段共识学习逐步剔除低置信度对应关系;convmatch利用运动场卷积增强对应关系特征;bclnet采用双边共识学习增强对应关系特征;mambamatch利用状态空间模型捕获长距离依赖关系;lecot和ptcnet采用transformer聚合全局或多视角上下文信息。
4、然而,上述基于深度学习的方法在高离群点比例条件下仍存在以下不足:第一,稠密上下文聚合会使大量错误对应关系参与特征交互,导致网络捕获的上下文信息中包含不可靠响应,降低对应关系特征的质量,使得网络难以有效区分内点和离群点;第二,现有渐进式剪枝方法主要利用前一阶段的输出精炼当前阶段特征,未能充分利用不同阶段保留的互补信息,并可能使不可靠信息随阶段传递和累积,从而限制图像配准中本质矩阵估计的准确性和鲁棒性。
技术实现思路
1、本发明的目的在于克服现有技术的不足,提供一种可靠多阶段特征协调的图像配准方法。本发明通过在每个剪枝阶段内过滤低质量上下文关联以增强可靠特征表示,在不同阶段之间自适应融合多阶段互补信息并减少不可靠信息传播,同时提取两个视图中的有序几何依赖关系,实现高离群点比例条件下准确且鲁棒的图像配准,有效提高相对位姿估计的精度和内点识别的准确性。
2、为实现上述目的,本发明采用如下技术方案:一种可靠多阶段特征协调的图像配准方法,包括以下步骤:
3、获取第一图像和第二图像的初始对应点集,所述初始对应点集中的每个对应关系包括所述第一图像和所述第二图像中相匹配的特征点的坐标信息;
4、将所述初始对应点集的坐标信息映射到高维特征空间,得到初始对应关系特征;
5、采用渐进式剪枝策略对所述初始对应关系特征进行多阶段处理,在每个剪枝阶段中,通过几何动态稀疏上下文模块对当前阶段的对应关系特征进行增强,得到当前阶段的增强特征;所述几何动态稀疏上下文模块将当前阶段特征的几何信息和特征信息引入多头注意力计算以得到注意力得分,并根据输入特征动态确定各注意力头所保留的高响应关联数量;利用所述高响应关联数量生成对应的稀疏掩码,通过所述稀疏掩码对所述注意力得分进行筛选以保留可靠上下文关联并抑制低质量关联;对筛选后的多头注意力输出进行多统计维度的特征聚合,得到当前阶段的增强特征;
6、通过跨阶段多mamba融合模块对不同剪枝阶段获得的增强特征进行融合,得到跨阶段融合特征;所述跨阶段多mamba融合模块利用几何双序mamba模块分别对各剪枝阶段的增强特征进行几何序列建模,得到增强后的多阶段特征;通过基础聚合路径保留所述多阶段特征的整体信息,并通过查询门控混合路径以最后一个阶段的增强特征为查询自适应地加权融合各阶段特征;将所述基础聚合路径和所述查询门控混合路径的输出进行融合后,再次输入所述几何双序mamba模块进行序列精炼,得到跨阶段融合特征;
7、根据各剪枝阶段输出的融合特征预测所述初始对应点集中各对应关系的内点权重,并基于所述内点权重估计所述第一图像与所述第二图像之间的本质矩阵;
8、将所述本质矩阵输入全尺寸验证模块,计算所述初始对应点集中各对应关系的极线距离,将极线距离小于设定阈值的对应关系分类为可靠内点,并输出所述可靠内点集合以实现所述第一图像与所述第二图像之间的图像配准。
9、进一步地,所述获取第一图像和第二图像的初始对应点集,包括:
10、采用特征点提取方法,如sift算法或superpoint算法,分别提取所述第一图像和所述第二图像中的特征点及其描述符;
11、通过最近邻匹配生成所述初始对应点集,所述初始对应点集中的每个对应关系表示为ci = (xi, yi, x′i, y′i),其中和分别表示对应特征点在所述第一图像和所述第二图像中的归一化坐标。
12、进一步地,所述渐进式剪枝策略包括三个剪枝阶段;在每个剪枝阶段中,还结合pointcn、k近邻图和顺序感知模块提取对应关系之间的局部一致性信息。
13、进一步地,所述几何动态稀疏上下文模块包括几何动态多头稀疏注意力单元和多统计前馈网络单元;
14、所述几何动态多头稀疏注意力单元将输入特征映射为多头形式的查询特征、键特征和值特征,将对应点在两幅图像中的坐标信息分别映射到高维空间并相加得到几何特征,对于每个注意力头,根据该注意力头的查询特征与键特征之间的特征关联以及该注意力头的查询特征与所述几何特征之间的几何关联计算注意力得分,利用头级稀疏门控单元根据输入特征预测各注意力头对应的稀疏比例,根据所述稀疏比例确定各注意力头所保留的高响应关联数量并生成相应的稀疏掩码,利用所述稀疏掩码对所述注意力得分进行掩码处理后计算注意力输出;
15、所述多统计前馈网络单元对所述几何动态多头稀疏注意力单元的输出分别进行局部响应提取、全局平均池化、全局最大池化以及高响应统计处理,将各分支的处理结果进行融合,得到当前阶段的增强特征。
16、进一步地,所述多统计前馈网络单元包括局部响应分支、全局平均池化分支、全局最大池化分支和高响应统计分支,所述局部响应分支用于保留原始对应关系的局部特征,所述全局平均池化分支和全局最大池化分支分别用于提取整体响应分布和显著响应信息,所述高响应统计分支沿对应关系维度选取每个通道中响应最高的前25%特征,并对其进行平均,以获得多个高响应对应关系的统计信息;四个分支的输出通过相加进行融合。
17、进一步地,所述几何动态稀疏上下文模块中,所述根据输入特征动态确定各注意力头所保留的高响应关联数量,包括:
18、通过由卷积层、均值池化操作和sigmoid函数组成的头级稀疏门控单元,根据输入特征预测各注意力头对应的稀疏比例;
19、根据第h个注意力头的稀疏比例确定该注意力头所保留的高响应关联数量;
20、对于第h个注意力头的注意力矩阵的每一行,选取数值最大的个注意力响应,并根据所选响应的位置生成二值稀疏掩码。
21、进一步地,所述几何双序mamba模块对各剪枝阶段的增强特征进行几何序列建模,得到增强后的多阶段特征,包括:
22、将输入特征沿通道维度划分为第一组特征和第二组特征;
23、根据对应点在所述第一图像中的坐标构建第一hilbert顺序,根据对应点在所述第二图像中的坐标构建第二hilbert顺序;
24、按照所述第一hilbert顺序重新排列所述第一组特征并输入mamba模块进行状态空间建模,按照所述第二hilbert顺序重新排列所述第二组特征并输入mamba模块进行状态空间建模;
25、将完成序列建模的两组特征恢复至原始对应关系顺序,并沿通道维度进行拼接,得到增强后的特征。
26、进一步地,所述跨阶段多mamba融合模块通过基础聚合路径保留所述多阶段特征的整体信息,并通过查询门控混合路径以最后一个阶段的增强特征为查询自适应地加权融合各阶段特征,包括:
27、所述基础聚合路径将不同剪枝阶段的增强后的阶段特征沿通道维度进行拼接,并通过mlp层映射为紧凑的基础聚合特征;
28、所述查询门控混合路径以最后一个剪枝阶段的增强后的阶段特征作为查询特征,输入mlp层进行映射,并通过softmax函数归一化得到各阶段对应的聚合权重,根据所述聚合权重对不同阶段的增强后的阶段特征进行逐元素加权融合,得到查询门控混合特征;
29、将所述基础聚合特征和所述查询门控混合特征沿通道维度拼接后通过mlp层进行初步融合,再将初步融合结果输入所述几何双序mamba模块进行几何序列精炼,得到所述跨阶段融合特征。
30、进一步地,所述查询门控混合路径中,所述根据所述聚合权重对不同阶段的增强后的阶段特征进行逐元素加权融合,按照下式计算查询门控混合特征:
31、fmix = σti=0 wi ⊙ f′i
32、其中,t表示最后一个剪枝阶段的序号,f′i表示第i个剪枝阶段的增强后的阶段特征,wi表示第i个阶段对应的聚合权重,⊙表示逐元素乘法。
33、进一步地,所述基于所述内点权重估计所述第一图像与所述第二图像之间的本质矩阵,具体为:
34、采用加权八点算法根据所述初始对应点集和各对应关系的内点权重计算所述本质矩阵。
35、与现有技术相比,本发明具有以下有益效果:
36、第一,本发明设计了几何动态稀疏上下文模块,该模块将对应点的显式几何信息引入多头自注意力计算,并根据输入特征为不同注意力头动态确定稀疏比例,从而过滤低质量的上下文关联,减少离群点对阶段内特征学习的干扰。同时,该模块通过融合局部响应、全局平均响应、全局最大响应和高响应统计信息,获得更加可靠且具有判别性的对应关系特征,有效提高了高离群点比例条件下特征表示的质量。
37、第二,本发明设计了几何双序mamba模块,该模块将输入特征沿通道维度划分为两组,并分别根据对应特征点在两幅图像中的坐标构建hilbert顺序,随后将排序后的两组特征分别输入mamba模块进行状态空间建模,并在恢复至原始对应关系顺序后进行拼接,从而同时提取两个视图中的有序几何依赖关系,增强了模型对几何结构的感知能力。
38、第三,本发明设计了跨阶段多mamba融合模块,该模块首先利用共享的几何双序mamba模块增强不同剪枝阶段的特征表示,随后通过基础聚合路径和查询门控混合路径分别保留整体多阶段信息和自适应选择可靠阶段信息,最后对融合特征进行进一步的几何序列精炼,从而充分利用不同阶段之间的互补信息,并降低不可靠信息在阶段间传播产生的影响。
39、第四,本发明提出了基于可靠多阶段特征协调的图像配准方法,通过几何动态稀疏上下文模块提高每个剪枝阶段内特征学习的可靠性,并通过跨阶段多mamba融合模块实现不同阶段特征之间的自适应融合,同时通过几何双序mamba模块提取两个视图中的有序几何依赖关系,最后通过采用三个阶段的渐进式剪枝策略,预测所有对应关系的内点权重,并利用加权八点算法估计本质矩阵,实现准确且鲁棒的图像配准。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com