SAR与可见光遥感图像匹配的兴趣点检测方法

sar与可见光遥感图像匹配的兴趣点检测方法
技术领域
1.本发明涉及图像处理技术领域，涉及多模态遥感图像匹配方法，具体是一种基于纹理丰富度的sar与可见光遥感图像匹配的兴趣点检测方法。


背景技术：

2.高精度的多模态遥感图像匹配技术在诸多领域有着重要的应用前景，例如遥感图像融合、变化检测、飞行器视觉导航等。遥感图像覆盖区域广且场景复杂多样，给高精度多模态遥感图像匹配带来挑战。sar与可见光图像匹配是多模态图像匹配的典型问题，遥感常见的非均匀纹理分布场景(港口、岛屿等)中，由于sar图像无效纹理区域的干扰(海面散斑噪声等)，会显著降低常用多模态图像匹配方法的精度。
3.常用的多模态匹配方法之一是基于特征图匹配的方法，特征图通常需要基于图像兴趣点进行构建。heinrich等(heinrich m p,jenkinson m,bhushan m,et al.mind:modality independent neighborhood descriptor for multi-modal deformable registration[j].medical image analysis,2012,16(7):1423-1435.)提出一种称为模态无关邻域描述符(mind)来提取兴趣点(图像中离散等距采样)局部邻域中的独特结构以生成描述向量。该方法将不同模态的图像转换到mind特征描述域，并通过基于特征描述域的平方差之和(ssd)来度量图像间差异来引导匹配过程，但该描述符并不能完全抑制多模态之间的强烈对比度变化的影响，计算复杂度非常高。
[0004]
li z等(li z,mahapatra d,tielbeek jaw,et al.image registration based on autocorrelation oflocal structure[j].ieee transactions on medical imaging,2015,35(1):63-75.)提出了一种局部结构自相关(alost)的结构描述符。该方法使用相位一致性和平均相位信息代替了mind结构描述符中的强度信息，相位信息被证明了对对比度变化不敏感，基于此描述符的图像配准性能对受到强烈的空间变化强度失真和大空间变形得到改进，但同样计算复杂度较高。
[0005]
ye y等(ye y,shan j,bruzzone l,et al.robust registration of multimodal remote sensing images based on structural similarity[j].ieee transactions on geoscience and remote sensing,2017,55(5):2941-2958.)提出了一种将相位一致性与方向直方图策略集成在一起的结构特性描述符，称为hopc。首先通过基于分块harris算子和前k选择检测兴趣点，然后在这些兴趣点周围应用快速模板匹配方案。将hopc描述符的ncc定义了一个名为hopc
ncc
的相似性度量，以指导匹配过程。通过投影变换模型中的全局约束消除不可靠的匹配，该方法虽然匹配精度高，但结构描述符的计算复杂度较高。
[0006]
从原理上分析，以上用于多模态图像匹配的描述符是针对图像间非线性强度差异和对比度变化设计的，均可运用在sar与可见光图像匹配中，但上述方法未考虑遥感图像中常见的非均匀纹理分布所带来的严峻挑战，常用基于图像兴趣点特征提取的多模态图像匹配方法不会区分有效纹理和无效纹理区域，当无效纹理区域参与匹配计算时，会显著降低全图的匹配精度。


技术实现要素：

[0007]
针对上述现有技术中的不足，本发明提供一种基于纹理丰富度的sar与可见光遥感图像匹配的兴趣点检测方法，用于提高存在非均匀纹理分布场景的sar与可见光遥感图像的匹配精度。该方法以场景的纹理丰富度作为特征，利用纹理密集区域中心代替易受噪声干扰的角点提取等兴趣点提取策略，有效解决了现有基于兴趣点特征提取的sar与可见光多模态图像匹配方法在非均匀纹理分布场景中可匹配性差的问题。
[0008]
为实现上述目的，本发明提供一种sar与可见光遥感图像匹配的兴趣点检测方法，包括如下步骤：
[0009]
步骤1，获取sar图像上每个像素点的纹理丰富度，得到以纹理丰富度为特征的纹理丰富度特征图；
[0010]
步骤2，对纹理丰富度特征图进行分块兴趣点检测，得到sar图像的兴趣点集；
[0011]
步骤3，将sar图像的兴趣点集作为匹配窗口中心确定可匹配模板，并基于模板匹配策略，得到可见光遥感图像上的对应点。
[0012]
在其中一个实施例，步骤1中，所述获取sar图像上每个像素点的纹理丰富度，具体包括：
[0013]
步骤1.1，对sar图像i
sar
进行散斑抑制，得到滤波后的图像i
sr
；
[0014]
步骤1.2，对图像i
sr
进行卷积，由卷积响应的幅值与相位得到图像i
sr
上各像素点在多个方向上的相位一致性响应；
[0015]
步骤1.3，计算图像i
sr
上每一个像素点相位一致性响应的协方差矩阵，并基于协方差矩阵得到各像素点的最大矩；
[0016]
步骤1.4，基于图像i
sr
上各像素点的最大矩，得到各像素点对应的纹理丰富度。
[0017]
在其中一个实施例，步骤1.2具体为：
[0018]
采用多尺度与方向上的log-gabor小波对图像i
sr
进行滤波，通过滤波器的实部和虚部对图像i
sr
卷积得到尺度n和方向o上的响应e
no
(x,y)和o
no
(x,y)，计算得到在方向o上的幅值与相位，为：
[0019][0020][0021]
式中，ao(x,y)为图像i
sr
上像素点(x,y)在方向o上的幅值，φ
no
(x,y)为图像i
sr
上像素点(x,y)在方向o上的相位；
[0022]
基于幅值与相位计算相位一致性响应，为：
[0023][0024]
式中，pco(x,y)图像i
sr
上像素点(x,y)在方向o上的相位一致性响应，wo(x,y)为通过sigmoid函数应用于滤波器响应扩展值构造的加权函数，t为噪声阈值，δφ
no
(x,y)为一个更敏感的相位偏差，ε为一个小常数，以避免被零除。
[0025]
在其中一个实施例，步骤1.3具体为：
[0026]
首先，将i
sr
上像素点(x,y)在每个方向的相位一致性响应投影到x和y分量，为：
[0027][0028][0029]
式中，pc
x
(x,y)、pcy(x,y)分别为像素点(x,y)的相位一致性响应在x、y方向上的分量，θo为方向o对应的角度，θo∈θ，θ为所有方向对应角度的集合；
[0030]
其次，基于pc
x
(x,y)、pcy(x,y)得到像素点(x,y)相位一致性响应的协方差矩阵，为：
[0031][0032]
式中，g(x,y)为像素点(x,y)相位一致性响应的协方差矩阵；
[0033]
最后，协方差矩阵g(x,y)的最大奇异值对应的最大矩，即为像素点(x,y)的最大矩m(x,y)。
[0034]
在其中一个实施例，步骤1.4具体为：
[0035]
将最大矩的强度值作为边缘特征的权重，其强度值即为边缘的权重，在大小为n
×
n的局部区域计算纹理丰富度，为：
[0036][0037]
式中，tr(x,y)为像素点(x,y)的纹理丰富度，m(x i,y j)为像素点(x i,y j)的最大矩。
[0038]
在其中一个实施例，步骤2具体包括：
[0039]
步骤2.1，将纹理丰富度特征图划分为n
′×n′
个不重叠的块，在每个块内应用半径为r的非极大值抑制以保留k个极值点，得到包含k
·n′2个候选兴趣点的集合
[0040]
步骤2.2，使用阈值tr_thresh和保留兴趣点数n
p
两个条件对集合中的候选兴趣点过滤，得到最终高质量的兴趣点集mp，即为sar图像的兴趣点集，为：
[0041][0042]
与现有技术相比，本发明具有以下有益效果：
[0043]
1、本发明通过分析非均匀纹理分布场景的特点，设计场景的纹理丰富度作为兴趣点检测的特征，利用纹理密集区域中心代替易受噪声干扰的角点提取等兴趣点提取策略，有效解决了现有基于兴趣点特征提取的sar与可见光多模态图像匹配方法在非均匀纹理分布场景中可匹配性差的问题；
[0044]
2、本发明中涉及的sar与可见光图像匹配方法可采用不同的相似性度量，并可根据实际匹配任务进行改进；
[0045]
3、本发明原理简单，易于实现，不仅适用于非均匀纹理分布的场景，由于纹理丰富度对噪声的鲁棒性，可以将该发明应用于其他包含显著噪声场景的兴趣点检测任务。
附图说明
[0046]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0047]
图1为本发明实施例中非均匀纹理分布的sar与可见光遥感图像的示意图，其中：(a)为港口的高分辨率星载sar影像、(b)为岛屿的高分辨率星载sar影像、(c)为信息缺失的高分辨率星载sar影像、(a
′
)为港口的高分辨率光学遥感影像、(b
′
)为岛屿的高分辨率光学遥感影像、(c
′
)为信息缺失的高分辨率光学遥感影像；
[0048]
图2为本发明实施例中兴趣点检测方法的流程图；
[0049]
图3为本实施例中散斑抑制的效果示意图，其中：(a)为散斑抑制前的sar图像，(b)为散斑抑制后的sar图像；
[0050]
图4为本实施例中相位一致性响应的效果示意图，其中：(a)为第1个方向上的相位一致性响应示意图，(b)为第2个方向上的相位一致性响应示意图，(c)为第3个方向上的相位一致性响应示意图，(d)为第4个方向上的相位一致性响应示意图，(e)为第5个方向上的相位一致性响应示意图，(f)为第6个方向上的相位一致性响应示意图；
[0051]
图5为本实施例中的最大矩图；
[0052]
图6为本实施例中的纹理丰富度特征图；
[0053]
图7为本实施例中的兴趣点过滤前sar图像提取的兴趣点示意图；
[0054]
图8为本实施例中的兴趣点过滤的示意图，其中：(a)为纹理丰富度掩模图，(b)为兴趣点过滤后sar图像提取的兴趣点示意图；
[0055]
图9为示例中的特征图，其中：(a)、(b)为两幅港口的sar图像，(a
′
)、(b
′
)为与之对应的纹理丰富度特征图；(c)、(d)为两幅岛屿的sar图像，(c
′
)、(d
′
)为与之对应的纹理丰富度特征图；(e)、(f)为两幅信息缺失的sar图像，(e
′
)、(f
′
)为与之对应的纹理丰富度特征图；
[0056]
图10为示例中分块harris与本发明方法在非均匀纹理分布的sar图像中提取的兴趣点的比较示意图，其中：(a)、(b)为分块harris在两幅港口sar图像提取的兴趣点示意图，(a
′
)、(b
′
)为本发明方法在同样两幅港口sar图像提取的兴趣点示意图；(c)、(d)为分块harris在两幅岛屿sar图像提取的兴趣点示意图，(c
′
)、(d
′
)本发明方法在同样两幅岛屿sar图像提取的兴趣点示意图；(e)、(f)为分块harris在两幅信息缺失sar图像提取的兴趣点示意图，(e
′
)、(f
′
)为本发明方法在同样两幅信息缺失sar图像提取的兴趣点示意图。
[0057]
图11为示例中非均匀纹理分布的图像对上计算的cmr与纹理丰富度阈值tr_thresh的关系示意图；
[0058]
图12为示例中非均匀纹理分布的图像对上计算的rmse与纹理丰富度阈值tr_thresh的关系示意图；
[0059]
图13为示例中非均匀纹理分布的图像对上的运行时间与纹理丰富度阈值tr_thresh的关系系示意图。
[0060]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0061]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0062]
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0063]
在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0064]
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0065]
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
[0066]
本实施例公开了一种基于纹理丰富度的sar与可见光遥感图像匹配的兴趣点检测方法，用于提高存在非均匀纹理分布的sar与可见光遥感图像的匹配精度。非均匀纹理分布的sar与可见光遥感图像对如图1所示。其中，图1(a)、图1(b)、图1(c)分别为高分辨率星载sar影像，图1(a
′
)、图1(b
′
)、图1(c
′
)分别为高分辨率光学遥感影像；分辨率重采样到相同的5m，sar与可见光遥感图像对已经使用地理配准技术和大尺寸模板匹配方法对齐。展示的是三种典型的非均匀纹理分布的场景，分别为港口、海岛和信息缺失，三类图像均有纹理分布不均的场景特点。在具体应用过程中，本实施例中的方法以场景的纹理丰富度作为特征，利用纹理密集区域中心代替易受噪声干扰的角点提取等兴趣点提取策略，有效解决了现有基于兴趣点特征提取的sar与可见光多模态图像匹配方法在非均匀纹理分布场景中可匹配性差的问题。
[0067]
参考图2，本实施例中基于纹理丰富度的sar与可见光遥感图像匹配的兴趣点检测方法具体包括如下步骤：
[0068]
步骤1，获取sar图像上每个像素点的纹理丰富度，得到以纹理丰富度为特征的纹理丰富度特征图，其过程为：
[0069]
步骤1.1，对sar图像i
sar
进行散斑抑制，得到滤波后的图像i
sr
，即图3所示。sar图像散斑抑制能够在尽可能保留细节的前提下去除相干图像i
sar
中的乘性噪声，获得一幅质量较好的sar图像i
sr
，为下一步提取纹理特征做准备，根据sar图像质量，可调整滤波器窗口w，若散斑噪声较强可增大窗口尺寸，若想保留更多纹理细节则减小窗口尺寸，最后得到滤波后的图像i
sr
为：
[0070]isr
＝speckle_reduction(i
sar
,w,params)
[0071]
式中，speckle_reduction(
·
)表示任意一种现有的sar图像散斑抑制方法，
params表示该散斑抑制方法的可调整参数。
[0072]
步骤1.2，对图像i
sr
进行卷积，由卷积响应的幅值与相位得到图像i
sr
上各像素点在多个方向上的相位一致性响应。本实施例中分别计算6个方向上的相位一致性响应，即图4所示，其中图4(a)为第1个方向上的相位一致性响应示意图，图4(b)为第2个方向上的相位一致性响应示意图，图4(c)为第3个方向上的相位一致性响应示意图，图4(d)为第4个方向上的相位一致性响应示意图，图4(e)为第5个方向上的相位一致性响应示意图，图4(f)为第6个方向上的相位一致性响应示意图。在具体实施过程中，各个方向上相位一致性响应的计算过程具体为：
[0073]
将滤波后图像i
sr
作为一组log-gabor小波的输入进行卷积，由卷积响应的幅值幅值与相位进一步计算相位一致性响应；
[0074]
其中，通过滤波器的实部和虚部对图像i
sr
卷积得到尺度n和方向o上的响应e
no
(x,y)和o
no
(x,y)，计算得到在方向o上的幅值与相位，为：
[0075][0076]
φ
no
(x,y)＝arctan(e
no
(x,y),o
no
(x,y))
[0077]
式中，ao(x,y)为图像i
sr
上像素点(x,y)在方向o上的幅值，φ
no
(x,y)为图像i
sr
上像素点(x,y)在方向o上的相位；
[0078]
再基于幅值与相位计算相位一致性响应，为：
[0079][0080][0081][0082][0083][0084]
式中，pco(x,y)图像i
sr
上像素点(x,y)在方向o(o＝1～6)上的相位一致性响应，wo(x,y)为通过sigmoid函数应用于滤波器响应扩展值构造的加权函数，t为噪声阈值，δφ
no
(x,y)为一个更敏感的相位偏差，ε为为一个小常数，以避免被零除，e(x,y)为局部能量函数。
[0085]
步骤1.3，计算图像i
sr
上每一个像素点相位一致性响应的协方差矩阵，并基于协方差矩阵得到各像素点的最大矩，即图5所示。其具体实施过程为：
[0086]
首先，将i
sr
上像素点(x,y)在每个方向的相位一致性响应投影到x和y分量，为：
[0087][0088][0089]
式中，pc
x
(x,y)、pcy(x,y)分别为像素点(x,y)的相位一致性响应在x、y方向上的分量，θo为方向o对应的角度，θo∈θ，θ为所有方向对应角度的集合；
[0090]
其次，基于pc
x
(x,y)、pcy(x,y)构建图像上每个像素点相位一致性响应的协方差矩阵，为：
[0091][0092]
式中，g(x,y)为像素点(x,y)相位一致性响应的协方差矩阵；
[0093]
最后，协方差矩阵g(x,y)的最大奇异值对应的最大矩，即为像素点(x,y)的最大矩m(x,y)。
[0094]
步骤1.4，基于图像i
sr
上各像素点的最大矩，得到各像素点对应的纹理丰富度，其具体实施方式为：
[0095]
依据边缘密度的设计思路，将最大矩的强度值作为边缘特征的权重，其强度值即为边缘的权重，在大小为n
×
n的局部区域计算纹理丰富度，为：
[0096][0097]
式中，tr(x,y)为像素点(x,y)的纹理丰富度，m(x i,y j)为像素点(x i,y j)的最大矩，本实施例中，将n的默认值设置为21；
[0098]
在得到图像i
sr
上每个像素点的纹理丰富度tr后，最终得到与图像i
sr
相同尺寸的纹理丰富度特征图，即图6所示。
[0099]
步骤2，对纹理丰富度特征图进行分块兴趣点检测，得到sar图像的兴趣点集，其过程为：
[0100]
步骤2.1，将纹理丰富度特征图划分为10
×
10个不重叠的块，在每个块内应用半径为r的非极大值抑制以保留4个极值点，得到如图7所示包含400个候选兴趣点的集合cip
400
，即n
′
＝10，k＝4；
[0101]
步骤2.2，参考图8，将候选兴趣点集合cip
400
通过阈值tr_thresh和保留兴趣点数n
p
两个条件进行过滤，得到最终高质量的兴趣点集mp，即为sar图像的兴趣点集，为：
[0102][0103]
步骤3，针对非均匀纹理分布的sar与可见光图像匹配任务，将sar图像的兴趣点集mp作为匹配窗口中心确定可匹配模板，并基于模板匹配策略，得到可见光遥感图像上的对应点集cp，最后可通过点集mp与cp确定sar与可见光图像之间的变换矩阵。
[0104]
需要注意的是，因为本发明作为模板匹配中的兴趣点检测方法，所以需要集成到
现有的多模态图像匹配方法上，然后才能应用在实际的sar与可见光图像匹配任务。且本发明可以在包含非均匀纹理分布场景的sar与可见光遥感数据集上进行测试。
[0105]
下面结合具体的示例对本发明中基于纹理丰富度的sar与可见光遥感图像匹配的兴趣点检测方法作出进一步的说明。
[0106]
首先展示本发明中提出的兴趣点检测方法中的特征图，即纹理丰富度在非均匀纹理分布图像上的可视化结果。即图9所示，其中：图9(a)、图9(b)为两幅港口的sar图像，图9(a
′
)、图9(b
′
)为与之对应的纹理丰富度特征图；图9(c)、图9(d)为两幅岛屿的sar图像，图9(c
′
)、图9(d
′
)为与之对应的纹理丰富度特征图；图9(e)、图9(f)为两幅信息缺失的sar图像，图9(e
′
)、图9(f
′
)为与之对应的纹理丰富度特征图。
[0107]
由图9可见，提出的纹理丰富度特征能够有效划分场景中纹理密集与无纹理区域(海面或信息缺失)。本发明中提出的兴趣点检测方法集成在hopc模板匹配上，记为hopc-tr，以下对本发明提供的方法(实施例)和原始hopc方法中的分块harris方法(对比例)进行结果对比，对比实验使用海南地区terrasar-x卫星采集高分辨率星载sar图像与谷歌地图光学图像的非均匀纹理分布的图像对。展示分块harris与本发明提出的方法在非均匀纹理分布的sar图像中提取的兴趣点的比较如图10所示，其中，图10(a)、图10(b)为分块harris在两幅港口sar图像提取的兴趣点示意图，图10(a
′
)、图10(b
′
)为本发明方法在同样两幅港口sar图像提取的兴趣点示意图；图10(c)、图10(d)为分块harris在两幅岛屿sar图像提取的兴趣点示意图，图10(c
′
)、图10(d
′
)本发明方法在同样两幅岛屿sar图像提取的兴趣点示意图；图10(e)、图10(f)为分块harris在两幅信息缺失sar图像提取的兴趣点示意图，图10(e
′
)、图10(f
′
)为本发明方法在同样两幅信息缺失sar图像提取的兴趣点示意图。
[0108]
由图10可见，分块harris方法提取的兴趣点多数落在无效纹理区域；本发明提出的分块兴趣点检测方法，兴趣点落在纹理分布密集的区域，并且保留了均匀分布的特性，为后续匹配步骤提供了高质量可匹配点。并使用图像匹配研究领域常用的正确匹配率(cmr)、均方根误差(rmse)和运行时间作为评价指标，具体定义如下：
[0109]
cmr＝ncm/c
[0110][0111]
式中，ncm表示正确匹配的点对数，c为匹配点对总数，(xi,yi)为第i个兴趣点计算的对应点坐标，(xo,yo)表示对应点的坐标真值。
[0112]
图11-13表示使用分块harris方法与本发明中提出的方法得到的兴趣点的匹配性能比较，其中，图11为非均匀纹理分布的图像对上计算的cmr与纹理丰富度阈值tr_thresh的关系，图12为非均匀纹理分布的图像对上计算的rmse与纹理丰富度阈值tr_thresh的关系，图13为非均匀纹理分布的图像对上的运行时间与纹理丰富度阈值tr_thresh的关系。通过cmr、rmse指标对比方法的匹配精度，运行时间可以对比方法的计算效率。相比其它方法，本发明提供的方法的匹配精度更高，cmr值相比分块harris方法提高14个百分点，rmse值降低超过0.25像素的偏差，运行时间减少了20％左右，表示本发明中提出的方法检测的兴趣点匹配精度更高同时计算速度更快。本发明提供的方法的结果中兴趣点的cp匹配更精确也更快速，因此可以证明本发明能够提供匹配质量更优的兴趣点。
[0113]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本
发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。