匹配点位置差曲面拟合双阈值剔除方法

1.本发明属于航空图像处理技术领域。


背景技术：

2.目前，常用的匹配点筛选方法采取由粗到精的策略。粗匹配阶段主要基于ransac算 法剔除特征点对中的误匹配点对，得到粗匹配点对；精匹配阶段主要利用最小二乘法进行匹 配点平差，得到精匹配点对(yang等，2019年)。
3.例如：最小二乘法进行匹配点平差步骤是：(1)计算单应变换矩阵；(2)匹配点平 差；通过剔除均方根大于阈值的点对，得到正确的精匹配点对。这种方法对于各波段图像的 成像中心为同一点(即各波段图像同时成像)的多光谱相机而言，其图像匹配点的几何位置 大致相同，同名像点之间基本满足单个矩阵变换关系，剔除误匹配点或低精度匹配点的效果 较好。但对于滤光片阵列多光谱图像而言，由于其波段图像间存在较大的像点位移，匹配点 位置存在差异，在地形起伏地区的欧式距离较大，而平坦区域匹配点坐标大致相同。因此， 存在像点位移的滤光片阵列多光谱图像无法使用单个矩阵准确描述匹配点之间的位置坐标转 换关系。
4.另外，有学者提出：直接将待配准多光谱图像中匹配点叠加到基准图像中，并利用 算式计算待配准图像和基准图像匹配点位置距离差，然后采取全域阈值消除位置距离误差较 大的匹配点(liang等，2015年)。这种方法在一定程度上解决了利用单应变换矩阵和匹配 点平差方法筛选匹配点的固有缺陷，有效保留了平坦地区的匹配点，但是容易将地形起伏较 大区域的匹配点整体消除，使得地形起伏较大区域无法进行图像配准。
5.有学者提出通过匹配点的几何位置去除周围相差较大的匹配点(li等，2009年)。 这种方法很好地解决了利用全域阈值筛选匹配点的缺点，能够有效保留图像上地形较高区域 和平坦区域上的匹配点，但对于地形坡面处的匹配点筛选问题仍然没有得到很好的解决。例 如图10中，a点和d点处在地形起伏区域、b点处在平坦区域，a、b和d三点与周围匹配点 的位置差都存在明显差异，应该属于误匹配点，按照匹配点几何位置去除周围相差较大的匹 配点的方法可有效地消除a、b和d三个误匹配点。图10中c、e处在地形坡面处，从匹配点 位置差的变化趋势来看，c和e也应该是误匹配点，但是采取匹配点的几何位置去除周围相 差较大的匹配点的方法，却很难消除。


技术实现要素：

6.本发明的目的是提出曲面拟合双阈值匹配点筛选算法，图像中的不同区域可根据匹 配点的距离差拟合出不同的曲面，利用拟合后的曲面对各匹配点进行剔点的匹配点位置差曲 面拟合双阈值剔除方法。
7.本发明的步骤是：s1、利用待配准多光谱图像匹配点叠加在基准图像上得到的匹配点位置距离差，拟合插值得 到距离差曲面，并对拟合曲面进行平滑处理，对平滑后曲面向上平移，得到上
限阈值曲面， 所有高于上限阈值曲面的匹配点是误匹配点，将平滑后的曲面向下平移，得到下限阈值曲面， 上限阈值曲面和下限阈值曲面构成了一个三维阈值空间；利用上限阈值曲面消除地形平坦地 区的误匹配点b、地形起伏地区的误匹配点a，以及地形坡面上的误匹配点c，使用下限阈值 曲面消除匹配点d和点e；s2、曲面拟合双阈值匹配包括曲面插值拟合、曲面平滑、阈值空间确定、阈值空间判断四个 方面：a、曲面插值拟合利用基准图像匹配点位置构建三角网，然后在每个三角形内采取反距离加权插值方法填充， 点a、b、c为基准图像匹配点中某个三角网顶点，点a
′
、b
′
、c
′
为待配准图像匹配点，通过分 别计算a与a
′
、b与b
′
、c与c
′
之间的位置距离差，得到m1、m2、m3，三角形中某一点距顶点 a、b和c的距离分别为d1、d2、d3，则该点的距离差曲面值为：利用反距离加权插值生成的距离差曲面；b、曲面平滑选择3
×
3均值滤波器进行平滑处理，转换曲面下方视角，得到d、e误匹配点；c、阈值空间确定平滑后的距离差曲面加上
±
0.5构成三维阈值空间，即若在平坦区域，加上－0.5使下限阈值 曲面低于0，但不影响后续的阈值的判断；d、阈值空间判断匹配点距离差值di，蓝色圆点为上限阈值ui，青色圆点为下限阈值di，根据上限阈值曲面分 别插值计算各匹配点的上限阈值ui，根据下限阈值曲面分别插值计算各匹配点的下限阈值di， 然后利用式(8)进行判断距离差值yi是否为正确匹配点s3、灰度重采样对其中某一对匹配三角形a1b1c1和a2b2c2，首先，根据基准图像中三角形a1b1c1的顶点坐标 (x
11
,y
11
)、(x
12
,y
12
)、(x
13
,y
13
)，待配准图像中三角形a2b2c2的顶点坐标(x
21
,y
21
)、(x
22
,y
22
)、(x
23
,y
23
)， 利用式(3)获得基准图像与待配准图像之间的几何位置转换矩阵h，然后，对于基准图像三角形内某一点p1(x1,y1)，利用式(4)，求得其在待配准图像中对应位 置p2(x2,y2)最后，在待配准图像三角形a2b2c2中利用反距离加权插值法得到p2点的灰度，并将
其赋给p1点，如果每一个三角形中每一点依次插值，就完成了灰度插值工作。
8.本发明剔除了大量地形起伏地区的图像匹配点，剔除后的点无法满足配准精度要求。 筛选匹配点时既考虑了周围点对，又剔除了不符合点对周围区域像点位移变化的点，有效解 决了基于局部区域精筛匹配点的难题。本发明降低了滤光片阵列式多光谱影像中误匹配点、 低精度匹配点对影像配准结果的影响。通过实验对比，表明本发明所提出的算法较目前常用 算法有更好的去除误匹配点效果，较好解决了复杂地形的滤光片阵列式多光谱图像精确配准 问题，配准后的影像可以满足影像的后期处理及应用需求。
附图说明
9.图1是曲面拟合双阈值选择示意图；图2是二元三次插值法拟合曲面图；图3是三角网反距离加权插值法拟合曲面图；图4是距离差曲面效果示意图；图5是距离差曲面平滑效果示意图；图6是匹配点在平滑后拟合曲面上对应点示意图；图7是阈值空间示意图；图8是特征匹配点阈值判断示意图；图9是灰度重采样示意图；图10是现有一行/列图像上的匹配点位置差示意图；图11是滤光片阵列多光谱图像；图12是算法处理后的精匹配点示意图；图13是差异图像灰度直方图对比。
具体实施方式
10.本发明结合附图详细的描述具体步骤：s1、利用待配准多光谱图像匹配点叠加在基准图像上计算得到的匹配点位置距离差，拟合插 值得到距离差曲面，并对拟合曲面进行平滑处理，如图1中双点划线所示。然后对平滑后曲 面向上平移一定容差单位，得到上限阈值曲面，如图1中实线所示。所有高于上限阈值曲面 的匹配点可以认为是误匹配点。利用上限阈值曲面可以很好消除地形平坦地区的误匹配点b、 地形起伏地区的误匹配点a，以及地形坡面上的误匹配点c。但是对于地形起伏地区的误匹配 点d、坡面误匹配点e则无法消除。
11.因此，将平滑后的曲面向下平移一定容差单位，得到下限阈值曲面，如图1中虚线 所示。同理，低于下限阈值曲面的匹配点可以认为是误匹配点，故使用下限阈值曲面可消除 匹配点d和点e。
12.上限阈值曲面和下限阈值曲面构成了一个三维阈值空间。简单地说，所有落入三维 阈值空间内部的匹配点位置差可以判定为合理范围内的正确匹配点，而落在三维阈值空间外 部的匹配点则判定为误匹配点。
13.s2、曲面拟合双阈值匹配涉及到关键技术主要包括曲面插值拟合、曲面平滑、阈值 空间确定、阈值空间判断四个方面：
a、曲面插值拟合曲面插值拟合算法较多，例如二元三次插值、二元三次样条插值、反距离加权插值等。如图 2所示的是滤光片阵列多光谱局部图像采取二元三次插值法生成的距离差曲面，色度条颜色 代表着拟合曲面上的像点位移大小。
14.由图2可知，距离差插值拟合结果在局部区域出现相邻点的像点位移变化较大，“上 下剧烈抖动”的现象，如图2中的虚线圆圈区域，甚至出现了负值，拟合曲面明显不符合像 点位移变化趋势，不利于确定三维阈值空间。
15.因此，采用反距离加权插值方法生成距离差曲面，使插值结果均在最大值与最小值 之间。首先，利用基准图像匹配点位置构建三角网，然后在每个三角形内采取反距离加权插 值方法填充，如图3所示。
16.图3中，点a、b、c为基准图像匹配点中某个三角网顶点，而点a
′
、b
′
、c
′
为待配准 图像匹配点。通过分别计算a与a
′
、b与b
′
、c与c
′
之间的位置距离差，得到m1、m2、m3。若 三角形中某一点距顶点a、b和c的距离分别为d1、d2、d3，则该点的距离差曲面值为：利用反距离加权插值生成的距离差曲面如图4所示，色度条中不同颜色代表着拟合曲面上的 像点位移。
17.b、曲面平滑一般情况下，多光谱图像中的误匹配点分布比较稀疏，数量较少。因此，为了防止平滑过程 中，误匹配点影响到其他匹配点，本发明选择3
×
3均值滤波器进行平滑处理。平滑效果图如 图5所示。
18.转换曲面下方视角，如图5所示，则从图6中也可以明显看出类似图1中的d、e误 匹配点(图中圆圈标记显示)。
19.c、阈值空间确定如图1所示，以平滑后距离差曲面为基准，分别上下浮动一定的容差范围，形成三维阈值空 间。其中，阈值范围的选取一定程度上决定了图像中误匹配点剔除的效果优劣，若阈值的范 围选择过大，则无法有效剔除图像匹配点中的误匹配点。反之，保留下的正确匹配点无法满 足多光谱图像配准精度的需求。
20.本发明在提取多光谱图像的特征点的提取精度为
±
0.5像素。在平滑后的距离差曲面 加上
±
0.5构成三维阈值空间。注：若在平坦区域，加上－0.5可能使下限阈值曲面低于0， 但不影响后续的阈值的判断，如图7所示。
21.d、阈值空间判断特征匹配点坐标一般不为整数。例如，图8所示的匹配点a、b和c。图中虚边圆点为匹配点 距离差值di，最上面的实线圆点为上限阈值ui，最下面虚线曲线圆点为下限阈值di。
22.根据上限阈值曲面分别插值计算各匹配点的上限阈值ui，根据下限阈值曲面分别插 值计算各匹配点的下限阈值di，然后利用式(2)进行判断距离差值yi是否为正确匹配点。
23.s3、灰度重采样首先，分别建立基准图像与待配准图像的三角网，然后对每一个三角形依次进行灰度重采样， 如图9所示。
24.对其中某一对匹配三角形a1b1c1和a2b2c2，首先，根据基准图像中三角形a1b1c1的顶 点坐标(x
11
,y
11
)、(x
12
,y
12
)、(x
13
,y
13
)，待配准图像中三角形a2b2c2的顶点坐标(x
21
,y
21
)、(x
22
,y
22
)、 (x
23
,y
23
)，利用式(3)获得基准图像与待配准图像之间的几何位置转换矩阵h，
25.然后，对于基准图像三角形内某一点p1(x1,y1)，利用式(4)，求得其在待配准图像 中对应位置p2(x2,y2)
26.最后，在待配准图像三角形a2b2c2中利用反距离加权插值法得到p2点的灰度，并将 其赋给p1点，如果每一个三角形中每一点依次插值，就完成了灰度插值工作。
27.实验与分析为了验证本文提出算法的可行性，本文采用了某机载滤光片阵列多光谱相机拍摄某地区的山 区多光谱图像。其中，滤光片阵列多光谱相机的探测器采用的是加拿大dalsa公司的全帧转 移(full frame transfer)型ccd探测器。选择其中580nm、610nm和650nm三个波段两组 图像进行验证实验，实验图像大小为1977像素
×
2034像素，如图11所示。
28.由于多光谱相机的成像区域存在地形起伏，580nm、610nm和650nm波段的多光谱图 像之间存在着较大的像点位移，如果直接对三个波段的多光谱图像进行假彩色合成，则合成 后的假彩色影像中的图像目标重影(伪边缘)十分明显，不利于多光谱图像后期的应用处理。
29.由图12可知，算法一(ransac算法)处理滤光片阵列多光谱影像时，在剔除误匹 配点的同时将大量正确匹配点也剔除掉，导致影像部分区域无匹配点。
30.算法二((liang等，2015年)中算法)，剔除了大量地形起伏地区的图像匹配点， 剔除后的点无法满足配准精度要求。三种(算法一、算法二、本发明)算法的匹配点数量对 比情况，如表1所示。
31.表1匹配点数量对比
32.通过数据比对发现，算法二剔除点的数量较多，部分区域存在无匹配点现象，且较 为明显；算法一剔除点数量介于两者之间，但也存在部分区域无匹配点的问题。本发明保留 匹配点数量最多且匹配点分布在影像各处，能够保证影像配准的精度需要。
33.本发明筛选匹配点时既考虑了周围点对，又剔除了不符合点对周围区域像点位移变 化的点，有效解决了基于局部区域精筛匹配点的难题。
34.以数据一的610nm和580nm谱段配准为例，剔除的点对如图13所示。其中，右上角 图为地形起伏地区，右下角图为平坦区域。
35.一般情况下，差异图像灰度直方图向左下偏移程度越大，说明差异图像的灰度值越 小，图像的配准效果越准确；直方图越向右上偏移，配准效果越差。因此，本文采用差异图 像直方图的偏移情况来判断图像配准结果的好坏，进而说明匹配点筛选算法的优劣。
36.由图13的(a)、(b)、(c)和(d)可以看出，两组图像的配准实验中原始影像之间的位 置偏移较大，差异图像直方图均是最靠右上侧。而算法一和算法二的差异图像灰度直方图相 对原始影像数据明显向左下偏移，说明算法一和算法二能够起到很好的配准效果。
37.本发明相对于算法一和算法二的差异图像直方图，又明显向左下偏移，特别是在 610nm-650nm图像配准上效果更为明显。说明本发明配准效果明显优于算法一和算法二，进 而说明本发明的匹配点筛选效果优于算法一和算法二。
38.经过本发明处理后的合成影像中，地物清晰，细节更明确，没有明显的伪边缘现象， 说明本发明能够较好的处理滤光片阵列多光谱图像配准问题。
39.综上，针对机载滤光片阵列式多光谱影像准确选取匹配点的难题，提出了本发明的 方法，即根据匹配点像点位移拟合的曲面剔除在阈值范围外的控制点，降低了滤光片阵列式 多光谱影像中误匹配点、低精度匹配点对影像配准结果的影响。通过实验对比，表明本发明 所提出的方法较目前常用方法有更好的去除误匹配点效果，较好解决了复杂地形的滤光片阵 列式多光谱图像精确配准问题，配准后的影像可以满足影像的后期处理及应用需求。
40.通过对目前用于遥感图像筛选匹配点的算法进行分析与验证，发现使用全局矩阵无 法有效剔除像点位移较大的图像中的误匹配点和低精度匹配点，或剔除误匹配点的同时将大 量正确匹配点剔除，无法满足图像配准精度的要求。本发明构建的位置差拟合曲面
可以反映 整幅图像像点位移的变化趋势，根据同一区域的匹配点像点位移近似一致的特点，可以有效 剔除正确匹配点周围的误匹配点。
41.阈值的选取一定程度上决定了图像中误匹配点剔除的效果优劣，而本文选择0.5阈 值取得了较好的实验效果，却并不能保证完全适用所有图像，针对不同类型的图像数据，怎 样快速选择较为合适的阈值是下步研究的重点。此外，拟合曲面部分耗时较长，在图像数据 较大时，运行速度更为明显，通过gpu加速、优化程序也是下一步的研究工作。