一种可靠性校准注意力网络的图像配准方法及系统

本发明属于计算机视觉与图像处理，具体涉及一种可靠性校准注意力网络的图像配准方法及系统。

背景技术：

1、图像配准是计算机视觉与图像处理中的一项基础任务，其重要环节是在两幅相关图像之间建立可靠的特征点对应关系，并据此估计图像之间的几何关系，为三维重建、相机位姿估计和视觉定位提供支持。在基于特征的图像配准中，首先提取两幅图像的特征点及其描述符，再根据描述符相似性建立初始匹配。由于视角变化、重复纹理和遮挡等因素，初始匹配中通常包含错误对应关系，即离群点。这些错误匹配会干扰几何模型估计，因此需要剔除离群点，保留满足几何一致性的正确对应关系，即内点。

2、现有技术中，传统方法如ransac从随机采样的最小子集中估计几何模型，并选择获得最大一致集支持的模型；magsac++通过对噪声尺度进行边缘化，降低对人工设定内点阈值的敏感性。然而，当离群点占比较高时，采样方法的计算代价增加，并且容易受到模型假设质量的影响。基于深度学习的方法如oanet、cl-net、convmatch、bclnet、mambamatch、lecot、mgca-net等，通过学习初始匹配点对的特征及其上下文信息，提高了正确匹配与错误匹配的判别能力。但上述方法仍存在不足：局部图推理主要聚合邻域信息，对不同匹配点对之间的长程关联建模有限；稠密通道注意力会使离群点诱导的弱相关响应参与特征聚合，降低特征质量；多阶段剪枝产生了不同精炼程度的对应关系特征，但仅依次传递或直接融合这些特征，难以有效利用早期阶段保留的互补信息。上述问题限制了可靠匹配点对的筛选，进而影响图像配准中本质矩阵估计的准确性和鲁棒性。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种可靠性校准注意力网络的图像配准方法及系统，以提高高离群点比例下图像配准中可靠匹配点对筛选和几何关系估计的准确性和鲁棒性。

2、为实现上述目的，本发明采用如下技术方案：一种可靠性校准注意力网络的图像配准方法，包括以下步骤：

3、s1、获取一对待配准图像，分别提取两幅图像的特征点及描述符，根据描述符最近邻匹配建立初始对应点集；

4、s2、将所述初始对应点集输入可靠性校准注意力网络，所述可靠性校准注意力网络采用初始阶段和两个细化阶段构成的三级渐进式剪枝结构；所述初始阶段处理所述初始对应点集，所述细化阶段将原始对应点集、前一阶段预测得到的置信度和几何反馈沿特征维度拼接后作为输入；所述置信度由前一阶段内点得分转换得到，所述几何反馈根据前一阶段估计的本质矩阵计算得到，且所述置信度和所述几何反馈在拼接前停止梯度传播；

5、s3、每个阶段将输入投影到特征空间，利用可学习软阈值transformer进行阶段内特征提取，得到阶段特征；所述可学习软阈值transformer包括空间注意力和可学习软阈值通道注意力，所述可学习软阈值通道注意力根据当前输入对应点集自适应生成阈值，并在注意力归一化前抑制弱通道相关性，以建模对应关系之间的长程空间和通道依赖；

6、s4、对于各阶段，根据预测内点得分对对应关系进行筛选，利用加权八点算法估计该阶段的本质矩阵，并计算原始对应关系的几何残差；

7、s5、通过先验引导的跨阶段聚合模块融合三个阶段的阶段特征：根据初始阶段特征构建对应关系亲和先验，将前两个阶段特征融合得到早期融合特征，以最终阶段特征生成查询、以早期融合特征生成键和值，计算跨阶段注意力；将所述对应关系亲和先验经可学习变换后注入所述跨阶段注意力，经归一化后对值特征进行加权聚合，将聚合结果投影后与最终阶段特征残差相加，得到跨阶段聚合特征；所述跨阶段聚合特征经带通道再校准的残差块精炼；

8、s6、基于精炼后的特征对全体初始对应关系预测内点权重，利用加权八点算法估计最终本质矩阵，并利用所述最终本质矩阵对初始对应点集进行全尺寸验证，根据对称极线距离筛选可靠内点，得到可靠匹配点对及描述图像间几何关系的本质矩阵。

9、进一步地，步骤s1中，对于一对待配准图像中的两幅图像，使用sift或superpoint分别提取两幅图像的特征点及其描述符，然后通过描述符最近邻匹配建立初始对应点集s：

10、

11、

12、其中，n表示初始对应关系的数量，表示第i个对应关系，每个对应关系由两幅待配准图像中匹配特征点的归一化二维坐标组成。

13、进一步地，步骤s2中，所述细化阶段的输入为：

14、

15、其中t=1,2，，为前一阶段预测的内点得分，为根据前一阶段估计的本质矩阵计算的对称极线残差，和在拼接前停止梯度传播。

16、进一步地，骤s2中，每个阶段将输入投影到特征空间后，细化阶段结合当前阶段投影特征、前一阶段图表示和前一阶段输出构建邻域图，并按多图融合方式聚合；第二个细化阶段还引入初始阶段输出；阶段内结合点卷积网络、可学习软阈值transformer和局部图模块提取对应关系特征；

17、所述局部图模块构建动态邻域，通过局部与全局门控融合最大聚合和环形聚合结果；随后通过顺序感知池化、滤波和逆池化压缩并恢复对应关系表示，再输入另一个可学习软阈值transformer，以结合局部几何一致性与长程空间、通道交互。

18、进一步地，步骤s3中，所述可学习软阈值transformer包含两个连续的空间—通道层，每一层依次执行空间注意力和可学习软阈值通道注意力，并在各注意力子层后设置前馈网络和残差连接；

19、所述空间注意力被配置为：沿对应关系维度计算查询与键之间的相似度，经归一化后对值特征进行加权聚合，以建模不同匹配点对之间的长程空间关联；

20、所述可学习软阈值通道注意力被配置为：获取输入特征z，其维度为b×n×c，其中b、n、c分别表示批量大小、对应关系数量和特征通道数；通过1×1投影后，将特征划分为h个注意力头，第h个头的查询、键和值特征分别为、、；沿对应关系维度对查询和键进行二范数归一化，计算第h个头的通道亲和矩阵：

21、

22、其中，为第h个注意力头的可学习温度参数；表示沿对应关系维度进行二范数归一化；

23、对输入对应关系特征进行全局平均池化，并通过阈值预测器生成与当前样本相关的阈值τ及可微分软掩码：

24、

25、其中，ψ为阈值预测器，采用多层感知机；σ表示sigmoid函数，α控制sigmoid松弛的斜率，为第h个头的软掩码；

26、对通道亲和得分进行掩码调制，再执行softmax归一化和值特征聚合：

27、

28、

29、

30、其中，为经掩码处理的通道亲和得分，κ为正的掩码常数，⊙表示逐元素乘法，为第h个头的聚合结果，cat表示将各注意力头输出拼接，表示输出投影函数，表示可学习软阈值通道注意力映射，表示输入特征z经可学习软阈值通道注意力映射处理后的输出特征；通过先拼接各注意力头的聚合结果，再进行输出投影，然后与输入特征残差相加，得到相应的输出特征；

31、所述可学习软阈值通道注意力中，通过所述阈值与通道亲和得分之间的比较，使较强相关性获得较大的保留权重，较弱相关性受到抑制；所述软掩码在注意力归一化之前对通道亲和得分进行调制。

32、进一步地，步骤s4中，各阶段的阶段特征保留与原始对应点集一致的对应关系索引；对于各监督输出，将对应关系按预测得分排序，选取排名前一半的对应关系构成，双通道预测头输出掩码得分和权重得分，将掩码得分和权重得分的乘积归一化得到权重，利用加权八点算法估计本质矩阵，并计算各原始对应关系的几何残差，其中g表示加权八点算法，d表示对称极线距离。

33、进一步地，步骤s5中，所述先验引导的跨阶段聚合模块中，根据初始阶段特征构建对应关系亲和先验，并将前两个阶段特征相加得到早期融合特征，其中c为特征通道数；以最终阶段特征生成查询q，以早期融合特征生成键k和值v，计算跨阶段注意力得分；对先验p进行可学习仿射变换和leakyrelu激活得到变换后的先验：

34、

35、其中，和分别为可学习的缩放参数和偏移参数；

36、将加入跨阶段注意力得分得到先验引导的注意力矩阵；然后聚合值特征得到：

37、

38、其中，表示输出投影，为跨阶段聚合特征。

39、进一步地，步骤s5中，所述跨阶段聚合特征经两个带通道再校准的残差块精炼；每个带通道再校准的残差块被配置为对输入特征进行通道维度的再校准，并将再校准后的特征与输入特征残差相加。

40、进一步地，步骤s6中，所述全尺寸验证包括：利用最终估计的本质矩阵计算各原始对应关系的对称极线距离，将对称极线距离满足内点阈值的对应关系确定为可靠内点，并保留对应的匹配点对及最终本质矩阵。

41、本发明还提供了一种可靠性校准注意力网络的图像配准系统，用于执行上述的方法，包括：

42、初始匹配模块，用于获取待配准图像对，分别提取两幅图像的特征点及描述符，根据描述符最近邻匹配建立初始对应点集；

43、渐进式剪枝网络模块，用于采用初始阶段和两个细化阶段构成的三级渐进式剪枝结构处理所述初始对应点集；所述初始阶段处理所述初始对应点集，所述细化阶段将原始对应点集、前一阶段预测得到的置信度和几何反馈沿特征维度拼接后作为输入；所述置信度由前一阶段内点得分转换得到，所述几何反馈根据前一阶段估计的本质矩阵计算得到，且所述置信度和所述几何反馈在拼接前停止梯度传播；每个阶段利用可学习软阈值transformer进行阶段内特征提取，所述可学习软阈值transformer包括空间注意力和可学习软阈值通道注意力，所述可学习软阈值通道注意力根据当前输入对应点集自适应生成阈值，并在注意力归一化前抑制弱通道相关性；

44、先验引导跨阶段聚合模块，用于融合三个阶段的阶段特征：根据初始阶段特征构建对应关系亲和先验，将前两个阶段特征融合得到早期融合特征，以最终阶段特征生成查询、以早期融合特征生成键和值，计算跨阶段注意力；将所述对应关系亲和先验经可学习变换后注入所述跨阶段注意力，经归一化后对值特征进行加权聚合，将聚合结果投影后与最终阶段特征残差相加，得到跨阶段聚合特征；所述跨阶段聚合特征经带通道再校准的残差块精炼；

45、模型估计与验证模块，用于基于精炼后的特征对全体初始对应关系预测内点权重，利用加权八点算法估计最终本质矩阵，并利用所述最终本质矩阵对初始对应点集进行全尺寸验证，根据对称极线距离筛选可靠内点，得到可靠匹配点对及描述图像间几何关系的本质矩阵。

46、与现有技术相比，本发明具有以下有益效果：

47、1、本发明设计了可学习软阈值transformer，将空间注意力与可学习软阈值通道注意力相结合。其内部lst-ca根据当前对应点集生成样本自适应阈值，在注意力归一化之前抑制弱通道相关性，减少离群点诱导的不可靠响应传播，同时建模对应关系之间的长程空间和通道依赖，提高阶段内匹配特征的可靠性，从而增强图像配准中正确匹配与错误匹配的判别能力。

48、2、本发明设计了先验引导的跨阶段聚合模块，利用初始阶段特征构建对应关系亲和先验，将前两个阶段特征的融合结果作为键和值，将最终阶段特征作为查询。在softmax归一化之前，将经可学习仿射变换的先验加入注意力得分，引导早期互补信息向最终表示聚合，并通过残差连接保留最终阶段特征，使不同阶段的互补信息共同用于匹配可靠性判断，从而改善图像配准中的内点筛选和本质矩阵估计。

49、3、本发明提出的可靠性校准注意力网络的图像配准方法，将可学习软阈值transformer与先验引导的跨阶段聚合模块融入三级渐进式对应关系剪枝框架，分别提高阶段内注意力交互和跨阶段特征融合的可靠性。该方法以两幅待配准图像的初始匹配点对为输入，预测对应关系的内点权重，并利用加权八点算法估计本质矩阵。通过对初始对应关系进行几何验证，剔除错误匹配并保留可靠内点，从而提高图像配准中匹配筛选与几何关系估计的准确性和鲁棒性。