一种利用空间显著性筛选关键点的方法

1.本发明涉及无人机图像匹配领域，具体为利用关键点的局部空间显著性，来预测关键点参与图像匹配时的能力并依此剔除可能产生错误匹配或不产生匹配的关键点。


背景技术：

2.无人机（uav）的发展使其成为一种低成本、灵活可行的图像采集系统，可用于许多摄影测量和遥感应用。无人机图像可用于生成各种数字产品，如高密度点云、物体三维模型、马赛克图像、地籍图和高分辨率正射影像。无人机摄影测量产品的质量主要取决于从图像中提取的关键点的准确性和完整性。
3.现有的基于特征的匹配算法能够提取到大量的关键点，但是无人机图像通常使用不精确的非量测相机拍摄，因此容易获得大量错误匹配或根本不产生任何匹配的关键点，此外，检测到的大量关键点使得匹配过程耗时且容易出错。
4.在匹配过程中，可以使用更严格的或自适应的阈值，减少提取的关键点的数量。通过设置更严格的或动态更新的阈值来控制关键点的数量，从而提取更少但更可重复和稳定的关键点。但是无法提供分布良好的关键点。


技术实现要素：

5.本发明的主要目的是在特征算法提取到的大量关键点中，通过利用关键点的局部空间显著性来预测关键点参与图像匹配时的能力，剔除可能产生错误匹配或不产生匹配的关键点，减少匹配运算量。
6.本发明的技术方案是：一种利用空间显著性筛选关键点的方法，包括如下基本步骤：步骤1：用特征检测算法提取图像的关键点；步骤2：计算图像的空间显著性，得到显著性图；步骤3：在显著性图上计算关键点的局部空间显著性，以此作为评价关键点优劣的分数；步骤4：筛选关键点；进一步的，上述的一种利用空间显著性筛选关键点的方法：所述步骤1中采用尺度不变特征变换（sift变换）来检测关键点，得到关键点的位置和尺度σ。
7.进一步的，上述的一种利用空间显著性筛选关键点的方法：所述步骤2中，采用了加权最大相位对齐模型来获取关键点的局部空间显著性saliency；该模型利用输入数据的局部相位和能量信息，通过对每个颜色通道的每个像素的加权最大相位对齐测量的积分来获得显著性图，包括如下步骤：步骤2.1：获取原始图像的rgb三个颜色通道的灰度图像；步骤2.2：为rgb三个颜色通道的灰度图像建立各自的高斯差分金字塔，八度和层数与步骤1中的sift算法中使用的八度和层数一致；
步骤2.3：根据关键点的高斯平滑尺度σ，在三个颜色通道的高斯差分金字塔里找到与该尺度σ最接近的三幅高斯差分图像；步骤2.4：对步骤2.3的三幅高斯差分图像的每个像素做加权最大相位对齐测量，加权最大相位对齐测量值可由如下计算公式得到：其中s是进行单演滤波时的尺度的个数， 是第i尺度的单演信号：是第i尺度的单演信号：是像素中的局部能量矢量：中的局部能量矢量：是向量和向量的夹角，该角度表示第i个尺度上单演信号 的局部相位相对于像素中的局部能量矢量的偏差，为权重系数；步骤2.5：将步骤2.4得到的三个颜色通道下的加权最大相位对齐测量图相加，得到相应的显著性图；其中c为颜色通道序号。
8.进一步的，上述的一种利用空间显著性筛选关键点的方法：所述步骤3中，关键点的局部空间显著性定义为在显著性图的局部区域内像素的平均空间显著性，局部区域为以关键点为圆心，半径为3σ的圆形区域，以关键点的局部空间显著性值的大小为评判分数，分数越大就认为关键点越重要。
9.进一步的，上述的一种利用空间显著性筛选关键点的方法：所述的步骤4中，对图像进行网格化，对于每个网格单元，计算单元格内的关键点分数的平均值，然后筛选出每个网格单元内在各自分数平均值以上的关键点作为最后的关键点。
10.本发明的优点在于：能够剔除可能产生错误匹配或不产生匹配的关键点；
减少关键点的数量，加快匹配速度；相对于原始sift算法，能明显降低平均重投影误差；下面结合附图和具体实施方式对本发明进行进一步的说明。
附图说明
11.附图1为一种利用空间显著性筛选关键点的方法并用于图像匹配的流程图。
具体实施方式
12.本例提出了一种利用空间显著性筛选关键点的方法，具体如下：步骤1：如图1的第一个和第二个步骤所示，读取图像对img1和img2，然后对其进行sift特征提取，得到关键点的位置和尺度，八度自动获取，高斯金字塔每个八度内图像层数设为6。
13.步骤2：如图1的第三个步骤所示，计算图像img1的显著性图，具体步骤如下：步骤2.1：提取图像img1的第一个颜色通道灰度图，依此图来构建该颜色通道的高斯差分金字塔，八度和层数与步骤1的sift算法一致；步骤2.2：根据关键点po的尺度σ，在步骤2.1构建的高斯差分金字塔里，提取出相应的高斯差分图像d；步骤2.3：对于步骤2.2提取出来的高斯差分图像上的每个像素，进行加权最大相位对齐计算，得到高斯差分图像的加权最大相位对齐测量图，其中单演滤波的尺度的数目s为4：步骤2.4：在其它颜色通道上，也依次进行步骤2.1到步骤2.3的操作，得到其它颜色通道上相应高斯差分图的加权最大相位对齐测量图；步骤2.5：将上述得到的三个颜色通道上的加权最大相位对齐测量图相加，得到相应的显著性图：步骤3：如图1的第四个步骤所示，在步骤2.5得到的显著性图上，以关键点po为圆心，半径r=3，为高斯平滑尺度,筛选出在此局部区域内的像素点，计算这些像素的平均显著性作为关键点po的局部空间显著性值。
14.步骤4：其余关键点也按照步骤2到步骤3的方法计算，得到各自的局部空间显著
性，作为评判分数，分数越大就认为越重要。
15.步骤5：如图1的第五个和第六个步骤所示，对图像img1进行网格化，对于某一网格单元，计算该网格单元内的关键点的分数平均值，然后筛选出该网格单元内在平均值以上的关键点，其它网格单元做法相同，筛选出的关键点作为最后的关键点。
16.步骤6：对img2图像也进行步骤2到步骤5的操作。


技术特征：
1.一种利用空间显著性筛选关键点的方法，其特征在于，包括以下步骤：步骤1：用特征检测算法提取图像的关键点；步骤2：计算图像的空间显著性，得到显著性图；步骤3：在显著性图上计算关键点的局部空间显著性，以此作为评价关键点优劣的分数；步骤4：筛选关键点。2.根据权利要求1所述的一种利用空间显著性筛选关键点的方法，其特征在于，所述的步骤1中采用sift算法来检测关键点，得到关键点的位置和尺度σ。3.根据权利要求1所述的一种利用空间显著性筛选关键点的方法，其特征在于，所述的步骤2中，图像的显著性图的计算采用加权最大相位对齐模型，步骤如下：步骤2.1：由原始图像得到rgb三个颜色通道的灰度图像；步骤2.2：为rgb三个颜色通道的灰度图像建立各自的高斯差分金字塔，八度和层数与步骤1中的sift算法中使用的八度和层数一致；步骤2.3：根据关键点的高斯平滑尺度σ，在三个颜色通道的高斯差分金字塔里分别找到与该尺度σ最接近的三幅高斯差分图像；步骤2.4：依次对步骤2.3得到的三幅高斯差分图像的每个像素做加权最大相位对齐测量，加权最大相位对齐测量值可由如下计算公式得到：其中s是进行单演滤波时的尺度的个数，是第i尺度的单演信号：是第i尺度的单演信号：是像素(x,y)中的局部能量矢量：θi是向量和向量的夹角，该角度表示第i个尺度上单演信号的局部相位相对于像素(x,y)中的局部能量矢量的偏差，为权重系数；步骤2.5：将步骤2.4得到的三个颜色通道下的加权最大相位对齐测量图相加，得到相
应的显著性图；其中c为颜色通道序号。4.根据权利要求1所述的一种利用空间显著性筛选关键点的方法，其特征在于，所述的步骤3中，关键点的局部空间显著性定义为在显著性图的局部区域内像素的平均空间显著性，局部区域为以关键点为圆心，半径为3σ的圆形区域，σ为高斯平滑尺度，以关键点的局部空间显著性值的大小为评判分数，分数越大就认为关键点越重要。5.根据权利要求1所述的一种利用空间显著性筛选关键点的方法，其特征在于，所述的步骤4中，对图像进行网格化，对于每个网格单元，计算单元格内的关键点分数的平均值，然后筛选出每个网格单元内在各自分数平均值以上的关键点作为最后的关键点。

技术总结
本发明提供一种利用空间显著性筛选关键点的方法，属于无人机图像匹配领域。其首先用SIFT算法对一组像对进行特征提取，得到关键点的位置和尺度。然后计算每个关键点的局部空间显著性，结果作为关键点的分数，分数越大认为关键点质量越好，最后将图像网格化，对于每个网格单元，计算网格单元内的关键点分数的平均值，然后筛选出在平均值以上的关键点作为最后的关键点，为最后的关键点计算描述符。本发明通过对冗余的关键点进行筛选，剔除可能产生错误匹配或不产生匹配的关键点，能明显降低光束法平差后的平均重投影误差。法平差后的平均重投影误差。法平差后的平均重投影误差。


技术研发人员：秦大辉 董惠豹 刘泽 谌伦超 贾宏亮 邵永波 樊力彰 秦培均
受保护的技术使用者：西南石油大学
技术研发日：2022.05.19
技术公布日：2022/7/1