光学影像与SAR影像的融合方法及装置

光学影像与sar影像的融合方法及装置
技术领域
1.本公开涉及电子信息技术雷达技术领域，特别涉及一种光学影像与sar影像的融合方法及装置。


背景技术：

2.遥感影像融合中应用最为广泛的是光学影像和合成孔径雷达（sar）影像，二者的成像方式有所不同——光学影像属于被动成像，能够获取地物精细的结合和纹理特征，但是不易发现伪装目标；sar影像属于主动成像，能够全天时全天候对目标进行观测，但是往往难以判读。目前针对光学-sar遥感影像融合的方法较多，包括空域加权的方法、多尺度方法、混合模型法以及新兴的神经网络法。
3.传统空域加权方法直接将两张图像进行线性加权，获取的结果容易产生相互干扰，导致融合结果出现严重失真，难以进行判读。多尺度方法由于涉及到不同复杂度的变换模型，在变换过程中对计算量的要求较大，在实际工程应用中十分受限。基于神经网络的方法由于需要大量收集大量样本数据进行模型训练和参数调优，前期工作量大；且应用场景受限较为严重，实际工程应用中无法保证算法稳定性。


技术实现要素：

4.有鉴于此，本公开提供一种光学影像与sar影像的融合方法，包括：基于相位一致性检测所述sar影像的边缘特征，得到所述sar影像的第一边缘图像；对所述第一边缘图像进行灰度拉伸，得到第二边缘图像；以所述第二边缘图像各点的灰度对所述sar影像对应点的灰度进行映射，得到所述sar影像的强散射目标影像；将所述强散射目标影像与所述光学影像位置对应点的灰度进行线性加权融合，得到融合图像。
5.根据本公开的实施例，其中，所述基于相位一致性检测所述sar影像的边缘特征包括：对所述sar影像进行滤波，以获取所述sar影像局部区域各点对应的能量值和频域幅值；对所述sar影像的噪声进行估计，得到噪声估计值；根据所述局部区域各点对应的能量值和频域幅值以及所述噪声估计值建立所述sar影像的相位一致性模型；基于所述相位一致性模型检测所述sar影像的边缘特征。
6.根据本公开的实施例，其中，所述对所述sar影像进行滤波包括：利用gabor滤波器对所述sar影像进行不同尺度水平的滤波，得到所述sar影像局部区域各点在不同尺度水平下的能量均值；根据每一点在不同尺度水平下的能量均值计算该点对应的能量值和频域幅值。
7.根据本公开的实施例，其中，所述对所述sar影像的噪声进行估计，得到噪声估计值包括：在不同方向，将所述sar影像的局部区域划分为两个子窗口和一个条带，其中，所述条带位于所述两个子窗口之间；计算所述sar影像的局部区域灰度值的均值和方差、所述两个子窗口的灰度值、所述条带的灰度值的均值；根据所述sar影像的局部区域灰度值的均值和方差、所述两个子窗口的灰度值和所述条带的灰度值的均值计算不同方向下所述sar影
像的局部区域的变化系数值；根据所述变化系数值对所述sar影像的噪声进行估计，得到不同方向下的噪声估计值。
8.根据本公开的实施例，其中，所述相位一致性模型为：其中，n表示所述不同尺度，o表示所述不同方向，w
o (x,y)为不同方向下位置为(x,y)的点对应的权重系数，eo(x,y)表述不同方向位置为(x,y)的点的能量值，an表示不同尺度下位置为(x,y)的点的频域幅值，th0表示不同方向下的噪声估计值，σo表示不同方向求和，σn表示不同尺度求和，pc
sar (x,y)表示位置为(x,y)的点的梯度，
ϵ
为修正量。
9.根据本公开的实施例，其中，所述将所述强散射目标影像与所述光学影像对应点的灰度进行线性加权融合包括：对于所述强散射目标影像的任意一点，在该点的灰度大于预设阈值的情况下，将所述强散射目标影像中该点的灰度与所述光学影像中与该点位置相同的点的灰度进行加权，得到所述融合图像中与该点位置相同的点的灰度；在该点的灰度不大于预设阈值的情况下，将所述光学影像中与该点位置相同的点的灰度作为所述融合图像中与该点位置相同的点的灰度。
10.根据本公开的实施例，其中，通过公式：计算强散射目标影像中该点对应的第一权值w1和所述光学影像中与该点位置相同的点对应的第二权值w2，其中，(x,y)为该点的位置坐标，h
sar (x,y)为所述强散射目标影像中位置为(x,y)的点对应的灰度，h
opt (x,y)为光学影像中与位置为(x,y)的点的灰度。
11.根据本公开的实施例，所述方法还包括：对所述第二边缘图像各点的灰度进行阈值化处理，得到第三边缘图像；以所述第三边缘图像各点的灰度对所述sar影像对应点的灰度进行映射。
12.根据本公开的实施例，所述方法还包括：对所述融合图像各点的灰度进行重新量化。
13.本公开另一方面提供一种光学影像与sar影像的融合装置，包括：检测模块，用于基于相位一致性检测所述sar影像的边缘特征，得到所述sar影像的第一边缘图像；拉伸模块，用于对所述第一边缘图像进行灰度拉伸，得到第二边缘图像；映射模块，用于以所述第二边缘图像各点的灰度对所述sar影像对应点的灰度进行映射，得到所述sar影像的强散射目标影像；融合模块，用于将所述强散射目标影像与所述光学影像位置对应点的灰度进行线性加权融合，得到融合图像。
14.本公开实施例提供的光学影像与sar影像的融合方法及装置，采用相位一致性进行sar影像边缘提取，能获取更加稳定的sar影像的边缘特征，从而最大限度保留目标在可视范围内的散射特性信息。通过对拉伸后的sar边缘影像与光学影像采用不同的加权融合策略，实现目标散射特性和辐射特性信息的最大化融合，可在保证目标辐射特性的前提下
实现散射信息的有机融合，为目标判读等应用提供更有利的数据。
附图说明
15.通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：图1示意性示出了根据本公开实施例提供的光学影像与sar影像的融合方法流程图。
16.图2示意性示出了根据本公开实施例提供的操作s110的流程图。
17.图3示意性示出了根据本公开实施例的光学影像与sar影像的融合装置的框图。
具体实施方式
18.为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
19.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
20.在本公开中，除非另有明确的规定和限定，术语“安装”、“相连”“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接连接，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。
21.在本公开的描述中，需要理解的是，术语“纵向”、“长度”、“周向”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的子系统或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。
22.贯穿附图，相同的元素由相同或相近的附图标记来表示。可能导致本公开的理解造成混淆时，将省略常规结构或构造。并且图中各部件的形状、尺寸、位置关系不反映真实大小、比例和实际位置关系。另外，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。
23.类似地，为了精简本公开并帮助理解各个公开方面中的一个或多个，在上面对本公开示例性实施例的描述中，本公开的各个特征有时被一起分到单个实施例、图或者对其描述中。参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或者多个实施例或示例中以合适的方式结合。
24.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性
或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。
25.图1示意性示出了根据本公开实施例提供的光学影像与sar影像的融合方法流程图。
26.如图1所示，该方法例如可以包括操作s110~操作s114。
27.在操作s110，基于相位一致性检测sar影像的边缘特征，得到sar影像的第一边缘图像。
28.图2示意性示出了根据本公开实施例提供的操作s110的流程图。
29.如图2所示，在本公开实施例中，基于相位一致性检测sar影像的边缘特征例如可以包括操作s111~操作s113。
30.在操作s111，对sar影像进行滤波，以获取sar影像局部区域各点对应的能量值和频域幅值。
31.在本公开实施例中，可以利用gabor滤波器对sar影像进行不同尺度水平的滤波，得到sar影像局部区域各点在不同尺度水平下的能量均值。根据每一点在不同尺度水平下的能量均值计算该点对应的能量值和频域幅值。
32.具体的，首先，可以利用gabor的奇对称和偶对称分量对sar局部影像进行滤波，其具体表达式如下所示：其中，ω表示正弦波的频率分量，σ表示高斯模板的大小，t表示偶对称滤波器中直流分量的修正量，γ表示空间纵横比，(x,y)表示二维图像坐标，g
e (x,y)表示位置为(x,y)的点的频域幅度，(x',y')表示选中空间中的直线坐标，其表达式如下：其中，θ表示不同的旋转角度，即 gabor 滤波核中平行条带的方向。有效值为从0到360度的实数。
33.然后，再利用奇对称滤波器和偶对称滤波器分别对图像进行卷积操作，得到局部窗口中的能量均值，如下公式所示：其中，i(x',y' )为原始sar影像各点对应的幅度，μe为偶对称滤波器卷积得到的局部窗口中的能量均值，μo为奇对称滤波器卷积得到的局部窗口中的能量均值。
34.通常来讲，gabor滤波器奇对称分量存在两部分，偶对称分量存在三部分。因此，将
原始图像与滤波器组的希尔伯特变换用两个比值代替，得到如下所示公式：基于上述公式，可以推导出对应的sar局部能量模型和局部影像频域幅值，如下所示公式：其中，n代表不同的尺度水平，对应于不同大小的gabor窗口。e
sar (x,y)表示位置为(x,y)的点的能量值，an表示不同尺度下位置为(x,y)的点的频域幅值。
35.在操作s112，对sar影像的噪声进行估计，得到噪声估计值。
36.在本公开实施例中，对sar影像的噪声进行估计的过程例如可以为：在不同方向，将sar影像的局部区域划分为两个子窗口和一个条带，其中，条带位于所述两个子窗口之间。计算sar影像的局部区域灰度值的均值和方差、两个子窗口的灰度值、条带的灰度值的均值。根据sar影像的局部区域灰度值的均值和方差、两个子窗口的灰度值和条带的灰度值的均值计算不同方向下sar影像的局部区域的变化系数值。根据变化系数值对sar影像的噪声进行估计，得到不同方向下的噪声估计值。
37.示例性的，可以借助基于比值的检测算子的思想，在不同方向，将待处理sar影像局部区域分为边缘两个子窗口和一个中间条带，以建立起局部sar图像中的变化系数值cv：其中，μ和σ分别代表局部影像的灰度值的均值和方差，μ1和μ2分别表示两个子窗口的灰度均值，μd表示中间条带的灰度均值。n和nd分别表示子窗口和中间条带的宽度。
38.根据sar图像噪声阈值与变换系数的相互关系，采用对数加偏的方法构建如下阈值表达式：其中，o表示不同方向，th0表示不同方向下的噪声估计值，α表示控制局部图像变换系数与阈值变化速率的因子，cvs表示最小尺度上的噪声变换系数。
39.在操作s113，根据局部区域各点对应的能量值和频域幅值以及噪声估计值建立sar影像的相位一致性模型。
40.相位一致性模型为：其中，n表示所述不同尺度，o表示所述不同方向，w
o (x,y)为不同方向下位置为
(x,y)的点对应的权重系数，eo(x,y)表述不同方向位置为(x,y)的点的能量值，an表示不同尺度下位置为(x,y)的点的频域幅值，th0表示不同方向下的噪声估计值，σo表示不同方向下的求和，σn表示不同尺度下的求和，pc
sar (x,y)表示位置为(x,y)的点的梯度，
ϵ
为修正量。
41.在操作s114，基于相位一致性模型检测sar影像的边缘特征。
42.由此，采用相位一致性进行sar影像边缘提取，能获取更加稳定的sar影像的边缘特征，从而最大限度保留目标在可视范围内的散射特性信息。
43.在操作s120，对第一边缘图像进行灰度拉伸，得到第二边缘图像。
44.示例性的，假设进行sar影像的边缘图像的灰度值范围分别为：，则可以得到灰度拉伸后的影像值与拉伸前的影像值的对应关系如下公式所示：其中，为第二边缘图像中位置为(x,y)的点的灰度，为第一边缘图像中位置为(x,y)的点的灰度，和分别表示第一边缘图像中最大灰度值和最小灰度值。
45.进一步地，在灰度拉伸处理后，可以对第二边缘图像各点的灰度进行阈值化处理，得到第三边缘图像，以第三边缘图像各点的灰度对sar影像对应点的灰度进行映射。对第二边缘图像进行阈值化处理，可以进一步滤除可能残留的部分噪声点的影像，公式如下：其中，th表示阈值化处理所设定的阈值，一般以不超过sar边缘影像最大值的0.1倍为宜。
46.在操作s130，以第二边缘图像各点的灰度对sar影像对应点的灰度进行映射，得到sar影像的强散射目标影像。
47.具体的，以阈值化处理后的边缘影像为模板对sar影像进行映射，映射公式如下所示：其中，表示经过重新映射后的sar影像所对应的强散射目标影像中位置为(x,y)的点的灰度，原始sar影像中位置为(x,y)的点的灰度。在操作s140，将强散射目标影像与光学影像位置对应点的灰度进行线性加权融合，得到融合图像。
48.在本公开实施例中，融合的过程可以为：对于强散射目标影像的任意一点，在该点的灰度大于预设阈值的情况下，将强散射目标影像中该点的灰度与光学影像中与该点位置相同的点的灰度进行加权，得到融合图像中与该点位置相同的点的灰度。在该点的灰度不大于预设阈值的情况下，将光学影像中与该点位置相同的点的灰度作为融合图像中与该点位置相同的点的灰度。
49.示例性的，假设sar强散射目标影像和光学影像在点(x,y)处的灰度值分别为h
sar (x,y)和h
opt (x,y)，按照多模态处理的思想，按照sar影像中的目标散射特性反映情况对影像重复覆盖区域采用差异化融合策略，具体为：在目标散射特性强的地方，sar边缘图像灰度值较高，通常对应于光学图像的边缘部分，两者同时表征了物体的主动反射特性和被动反射特性，采用线性加权的形式将二者进行融合，如下公式所示：其中，通过公式：计算强散射目标影像中该点对应的第一权值w1和所述光学影像中与该点位置相同的点对应的第二权值w2，其中，(x,y)为该点的位置坐标，h
sar (x,y)为所述强散射目标影像中位置为(x,y)的点对应的灰度，h
opt (x,y)为光学影像中与位置为(x,y)的点的灰度。
50.在目标散射特性弱的地方，sar边缘图像灰度值较低，通常对应光学图像纹理较为单一的目标区域，因此该部分信息主要采用光学影像的信息，融合公式如下所示：。
51.在本公开实施例中，该融合方法还可以包括操作s150。
52.在操作s150，对融合图像各点的灰度进行重新量化。
53.示例性的，假设融合后的图像灰度值范围为，通过对融合图像重新量化，避免因融合后灰度值过大导致的图像异常值显示，公式如下所示：其中，max_val表示量化后的图像的最大灰度值，表示重新量化后的融合图像中位置为(x,y)的点对应的灰度，表示未量化的融合图像中位置为(x,y)的点对应的灰度。
54.通过重新量化融合图像，可以得到光学图像有sar边缘图像信息的有机融合。
55.应当理解，sar影像中的噪声分布通常被认为是乘性噪声，对于sar影像噪声估计可以有多种不同的方法进行建模，只要采用变换系数法进行噪声估计的方法，即属于本公开权利保护范围。光学影像与sar边缘影像融合中，线性加权系数可以有多种不同方法来进行计算，而不同算法获得的线性加权系数会导致融合影像的信息量有所差别，对于最终的融合结果产生些微的差异，只要采用线性加权系数融合方法，即属于本公开权利保护范围。
56.此外，本公开实施例采用通过实际数据的处理示例来验证本公开的处理效果。试验采用高分三号全极化模式sar影像和高分二号全色影像进行融合测试。其中高分二号全色影像分辨率0.8米，高分三号全极化sar影像采样间隔为5米，因此首先将两者统一到5米
分辨率下进行融合处理。
57.实验结果得出，本公开实施例的光学影像与sar影像的融合方法得到的融合图像的清晰度远高于基于小波变换的光学-sar遥感影像融合得到的融合图像的清晰度。传统小波变换将图像在低频域与高频域融合，但是由于sar本身的散射特性，高频域易受到噪声的干扰，从而导致最终的融合结果干扰信息多，目视性效果差。本公开的方法从sar本身辐射特性出发，首先对sar影像进行处理，保证了有效信息的保留和无效信息的剔除，利用sar影像中的有效信息进行融合，融合得到的结果既能够拥有较好的目视效果，又能够反映目标的散射特征。
58.基于同一发明构思，本公开实施例还提供一种光学影像与sar影像的融合装置。
59.图3示意性示出了根据本公开实施例提供的光学影像与sar影像的融合方法流程图。
60.如图3所示，该光学影像与sar影像的融合装置300例如可以包括：检测模块310，用于基于相位一致性检测所述sar影像的边缘特征，得到所述sar影像的第一边缘图像。
61.拉伸模块320，用于对第一边缘图像进行灰度拉伸，得到第二边缘图像；映射模块330，用于以第二边缘图像各点的灰度对sar影像对应点的灰度进行映射，得到sar影像的强散射目标影像。
62.融合模块340，用于将强散射目标影像与光学影像位置对应点的灰度进行线性加权融合，得到融合图像。
63.应当理解，装置实施例部分具体实施细节与方法实施例部分对应，此处不再赘述。
64.综上所述，根据本公开实施例提供的光学影像与sar影像的融合方法及装置，既保留了原始光学影像应用范围广和易于解读的特点，又将sar影像反映的目标散射特征得以保留，且流程简便易于工程化实现，能够最大限度地将光学影像和sar影像的信息量保留了下来，克服了传统方法的不足。
65.以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。