一种SAR图像与低分辨率光学图像多图融合方法与流程

一种sar图像与低分辨率光学图像多图融合方法
技术领域
1.本发明涉及图像处理技术领域，具体涉及一种sar图像与低分辨率光学图像多图融合方法。


背景技术：

2.合成孔径雷达(synthetic aperture radar，sar)是一种主动式微波成像，分辨率较高，对地面建筑和人造桥梁都比较敏感，具有较多细节表现和纹理特征，而且具有一定的穿透性，能全天时全天候捕获光学影像中更多不易发现的目标信息，有很好的侦察作用，广泛应用于军事、农业等各个领域。但是，sar图像的后向散射特性易受地物几何特性和介电特性的影响，图像常出现“异物同谱”等现象，不利于目视观测和目标解译。光学图像反映了地物的物理与化学属性，图像含有丰富的光谱信息，具有良好的目视解译效果。但是光学图像依赖于发光源，不能在夜间成像且易受恶劣天气的影响，导致特征信息丢失。两者对比，sar的优势在于能体现出更多的细节特征，但却易受地物的特性干扰，目视观测能力、地物直视能力比较弱；光学图像的优势在于具备直视效果、目标解译能力，但若成像条件不好，则易丢失地物细节特征。因此，sar图像与光学图像融合技术可以将二者的优势进行互补，使图像同时具备更多的细节特征、目标直视解译能力，融合两种图像的优点，对于地物目标的监测和灾难应急具有重要意义。
3.随着国内外学者多年的深入研究，遥感技术水平取得快速的发展，光学影像融合技术收获不凡的成果。需要注意的是，由于sar图像和光学图像的成像机制有较大差异，从而导致图像内容也存在些许不同。因此，光学图像上融合效果较好的算法并不适用于sar与光学图像的融合。
4.当前研究领域中，sar与光学图像的融合方法尚有很多不足之处。首先在预处理方面。预处理的难度集中在：图像滤波、配准。图像滤波排除掉噪声干扰，主要是sar成像带来的相干斑噪声，以避免在后续的融合处理中将噪声当成源图像里面的可用信息，从而加入到最后的融合图像中去；图像配准是将两幅成像原理不同的图像进行最佳匹配的过程，目前的融合算法都是分辨率相近或光学图像分辨率较高，然而在实际成像时，sar图像的分辨率往往是比较高的，所以解决高分辨的sar图像与低分辨光学图像的配准对后续融合来说极其重要，更直接决定着最后融合的效果。
5.其次，目前的sar图像与光学图像的融合大多只是停留在理论方面，很少运用到实际的系统中，在实时系统中，sar成像的场景往往是比较大的，这时就需要多幅光学图像来与其进行融合，所以寻找一种多图融合并同时保留二者细节特征的融合方法具有重要意义。


技术实现要素：

6.针对现有技术中存在的问题，本发明的目的在于提供一种sar图像与低分辨率光学图像多图融合方法，该方法可以解决大场景sar图像与多幅光学图像的融合问题，而且能
在保留sar图像高分辨率的前提下将低分辨率的光学图像与其进行融合，使融合结果具备更多的细节特征和目标直视解译能力。
7.本发明的技术思路为：先接收并解析光学原始图像数据，并将其缓存下来等待sar图像的到来，sar图到来后对其进行解析，然后将大场景sar图进行切割，接着将切割后的子图与光学图像进行一一匹配，匹配成功后将其进行配准、融合，最后再将融合后的子图进行拼接，输出大场景下的融合图像。
8.为了达到上述目的，本发明采用以下技术方案予以实现。
9.一种sar图像与低分辨率光学图像多图融合方法，包括以下步骤：
10.步骤1，针对同一目标场景，分别采集原始sar图像与光学图像；
11.步骤2，对所述原始sar图像沿方位向进行切割，得到多个切割后的sar图像子图；每个所述切割后的sar图像子图的场景在一个所述光学图像的场景内；
12.步骤3，依次计算每个所述切割后的sar图像子图的中心经纬度信息和所述光学图像的中心经纬度信息，寻找所述切割后的sar图像子图的中心经纬度与所述光学图像的中心经纬度最近的两副图像，即为场景匹配的待融合图像；
13.步骤4，对所述场景匹配的待融合图像中的sar图像子图进行预处理，得到预处理后的sar图像子图；
14.步骤5，计算所述预处理后的sar图像子图的顶点经纬度信息和所述光学图像的顶点经纬度信息，根据所述预处理后的sar图像子图的顶点经纬度信息和所述光学图像的顶点经纬度信息找到两幅图中场景重叠区域，并进行剪裁，得到场景重叠区域的sar图像子图和光学图像；
15.采用仿射变换方法对场景重叠区域的光学图像进行处理，从而将场景重叠区域的sar图像子图和光学图像进行配准，得到配准后的同分辨率sar图像子图和光学图像；
16.步骤6，将所述配准后的同分辨率sar图像子图和光学图像进行小波融合，得到融合后的子图；
17.步骤7，将所述融合后的子图进行拼接还原为大场景图像，得到融合后的大场景图像。
18.本发明技术方案的特点和进一步的改进为：
19.(1)步骤4包含以下子步骤：
20.子步骤4.1，对切割后的sar图像子图的图像边界进行扩充，设窗口长度l＝2
×
r 1，对切割后的sar图像子图的上下左右分别扩充r个像素点，得到扩充后的sar图像子图；
21.子步骤4.2，采用增强lee滤波算法对所述扩充后的sar图像子图进行滤波处理，得到预处理后的sar图像子图。
22.(2)子步骤4.2中，所述增强lee滤波算法为：
23.1)计算等效视数enl
24.设图像的大小为n
×
m，则等效视数enl的计算公式为：
25.26.其中，均值方差i
i,j
表示sar图像在(i,j)点的灰度值；
27.2)计算滤波分类门限值：
[0028][0029][0030]
3)从左到右、从上到下依次读取第k个滤波窗口sar图像子图的像素点灰度值i(k)，并计算第k个滤波窗口sar图像子图的像素点灰度值均值和权重系数w(k)；
[0031][0032]
其中，c
u
(k)为斑块u(k)的标准差系数，c
i
(k)为图像i(k)的标准差系数；
[0033][0034][0035]
其中，σ
u
(k)为斑块u(k)的标准差，为斑块u(k)的均值；σ
i
(k)是图像i(k)的标准差；
[0036]
4)计算滤波窗口图像i(k)的标准差系数c
i
(k)的值并对滤波进行分类，按照下式进行滤波：
[0037][0038]
其中，为滤波后的结果数据；i
med
(k)为第k个滤波窗口内中心点像素的值。
[0039]
(3)步骤5中，所述射变换方法包含以下子步骤：
[0040]
子步骤5.1，根据场景重叠区域的sar图像子图和光学图像的顶点坐标解线性方程组计算得出仿射变换矩阵m：
[0041][0042]
其中，仿射变换矩阵其中，仿射变换矩阵指仿射变换后像素点坐标，指仿射变换前像素点坐标；
[0043]
子步骤5.2，将场景重叠区域的sar图像子图的坐标依次带入下式来计算出光学图像仿射变换后的坐标，通过仿射变换处理完成放大、平移、旋转操作，将光学图像转换到sar图像子图对应的分辨率，并判断计算结果是否在重叠区域内；
[0044][0045]
其中，m_inv为仿射变换矩阵m的逆矩阵；
[0046]
子步骤5.3，将满足条件的光学图像映射到对应分辨率的sar图像子图中，完成重叠区域的配准。
[0047]
(4)步骤6具体为：
[0048]
将配准后的同分辨率sar图像子图a和光学图像b分别进行三级小波变换，然后对高频的边缘细节信息进行系数绝对值最大化处理，低频的整体信息则运用局部方差准则来计算融合权重，最后进行小波重构融合。
[0049]
(5)步骤6具体包含以下子步骤：
[0050]
子步骤6.1，对配准后的同分辨率sar图像子图和光学图像分别进行一级小波分解，得到ll1、lh1、hl1和hh1四个频带区域；其中，ll1为一级小波分解后的水平低频、垂直低频；lh1为一级小波分解后的水平低频、垂直高频；hl1为一级小波分解后的水平高频、垂直低频；hh1为一级小波分解后的水平高频、垂直高频；
[0051]
子步骤6.2，对一级小波分解后的低频带区域ll1进行二级小波分解，得到ll2、lh2、hl2和hh2四个频带区域；其中，ll2为二级小波分解后的水平低频、垂直低频；lh2为二级小波分解后的水平低频、垂直高频；hl2为二级小波分解后的水平高频、垂直低频；hh2为二级小波分解后的水平高频、垂直高频；
[0052]
子步骤6.3，对二级小波分解后的低频带区域ll2进行三级小波分解，得到ll3、lh3、hl3和hh3四个频带区域；其中，ll3为三级小波分解后的水平低频、垂直低频；lh3为三级小波分解后的水平低频、垂直高频；hl3为三级小波分解后的水平高频、垂直低频；hh3为三级小波分解后的水平高频、垂直高频；
[0053]
子步骤6.4，对三级小波分解后的低频带区域ll3选择局部方差准则进行融合，通过计算点周围5
×
5矩阵的方差来确定sar图像子图的加权系数k1和光学图像的加权系数k2，然后通过下式来对sar图像子图和光学图像进行融合，得到低频融合图；
[0054]
f(x,y)＝k1*a(x,y) k2*b(x,y)
[0055]
其中，a(x,y)为小波分解后sar图像子图像素点对应的值；b(x,y)为小波分解后光学图像像素点对应的值；f(x,y)为小波融合后对应像素点对应的值；
[0056]
子步骤6.5，对除ll3外的其他区域(lh1、hl1、hh1、lh2、hl2、hh2、lh3、hl3和hh3)，选择系数绝对值较大法的融合准则，保留系数绝对值最大的部分作为高频融合图；
[0057]
子步骤6.6，对所述低频融合图和所述高频融合图进行三级小波重构，得到融合后的子图。
[0058]
与现有技术相比，本发明的有益效果为：
[0059]
本发明提出一种sar图像与低分辨率光学图像多图融合方法，首先对大场景下的sar原图进行方位向的分割，通过将sar图像子图与光学图像多图融合的方式，解决了大场
景图像的融合问题。然后本发明提出对低分辨的光学图像采用仿射变换的处理方法，解决了低分辨率光学图像与高分辨率sar图像融合的问题。最后采用小波融合的算法将sar图像与光学图像的优势进行互补，使图像同时具备更多的细节特征、目标直视解译能力。
附图说明
[0060]
下面结合附图和具体实施例对本发明做进一步详细说明。
[0061]
图1为本发明一种sar图像与低分辨率光学图像多图融合方法的整体处理流程框图；
[0062]
图2为本发明所涉及的图像融合算法处理的流程图；
[0063]
图3为小波融合处理的流程图；
[0064]
图4为对sar图像子图进行预处理前后的结果对比图；其中，图(a)为预处理前的sar图像子图；图(b)为预处理后的sar图像子图；
[0065]
图5为小波融合前后的结果对比图；其中，图(a)为高分辨率sar原始图像，图(b)为低分辨率光学原始图像，图(c)为处理后的融合图像；
[0066]
图6为融合拼接后的大场景图像。
具体实施方式
[0067]
下面将结合实施例对本发明的实施方案进行详细描述，但是本领域的技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。
[0068]
参考图1
‑
2，为本发明一种sar图像与低分辨率光学图像多图融合方法的整体流程框图，本发明的sar图像与低分辨率光学图像多图融合方法包括以下步骤：
[0069]
步骤1，针对同一目标场景，分别采集原始sar图像与光学图像。
[0070]
具体的，由于成像原理的不同，sar图像所需要的成像时间要比光学图像长，所以在实际采集图像数据时可能存在时间先后的差异，这时可以将光学图像先缓存下来，待sar图像到来时再寻找与之匹配的同一场景的光学图像。
[0071]
步骤2，对所述原始sar图像沿方位向进行切割，得到多个切割后的sar图像子图，保证每个所述切割后的sar图像子图的场景在一个所述光学图像的场景内。
[0072]
具体的，每幅切割后的sar图像子图与光学图像所对应的场景会因分辨率的大小和聚焦的效果而改变，这时可以根据实验数据分析出sar图像应该切割的份数，以保证多图融合后大场景的sar图像能够被全部融合到。本次实验数据将sar图分割成了2份，即进行了2次融合。
[0073]
步骤3，依次计算每个所述切割后的sar图像子图的中心经纬度信息和所述光学图像的中心经纬度信息，寻找所述切割后的sar图像子图的中心经纬度与所述光学图像的中心经纬度最近的两副图像，即为场景匹配的待融合图像。
[0074]
具体的，通过帧头读出切割后的sar图像子图的四个顶点的经纬度信息，计算切割后的sar图像子图的中心经纬度以及光学图像的中心经纬度，寻找切割后的sar图像子图和光学图像两幅图像中心经纬度最近的两副图即为场景匹配的待融合图像，将这两幅图进行后续融合处理。
[0075]
步骤4，对所述场景匹配的待融合图像中的sar图像子图进行预处理，得到预处理
后的sar图像子图；
[0076]
具体的，步骤4包含以下子步骤：
[0077]
子步骤4.1，对切割后的sar图像子图的图像边界进行扩充，设窗口长度l＝2
×
r 1，对切割后的sar图像子图的上下左右分别扩充r个像素点，得到扩充后的sar图像子图；
[0078]
子步骤4.2，采用增强lee滤波算法对所述扩充后的sar图像子图进行滤波处理，得到预处理后的sar图像子图；通过增强lee滤波算法滤波处理，去除扩充后的sar图像子图中的相干斑噪声。
[0079]
具体的，子步骤4.2包含以下子步骤：
[0080]
1)计算等效视数enl
[0081]
设图像的大小为n
×
m，则等效视数enl的计算公式为：
[0082][0083]
其中，均值方差i
i,j
表示sar图像在(i,j)点的灰度值。等效视数enl越大，表明图像越光滑，相干斑噪声抑制效果越好；
[0084]
2)计算滤波分类门限值：
[0085][0086][0087]
3)从左到右、从上到下依次读取第k个滤波窗口sar图像子图的像素点灰度值i(k)，并计算第k个滤波窗口sar图像子图的像素点灰度值均值i(k)和权重系数w(k)：
[0088][0089]
其中，c
u
(k)为斑块u(k)的标准差系数，c
i
(k)为图像i(k)的标准差系数；
[0090][0091][0092]
其中，σ
u
(k)、分别是斑块u(k)的标准差和均值，σ
i
(k)是图像i(k)的标准差。
[0093]
4)计算滤波窗口图像i(k)的标准差系数c
i
(k)的值并对滤波进行分类，按照下式进行滤波：
[0094][0095]
其中，为滤波后的结果数据；i
med
(k)为第k个滤波窗口内中心像素点的值，
为第k个滤波窗口sar图像子图的像素点灰度值均值。
[0096]
步骤5，计算所述预处理后的sar图像子图的顶点经纬度信息和所述光学图像的顶点经纬度信息，根据所述预处理后的sar图像子图的顶点经纬度信息和所述光学图像的顶点经纬度信息找到两幅图中场景重叠区域，并进行剪裁，得到场景重叠区域的sar图像子图和光学图像；
[0097]
采用仿射变换方法对场景重叠区域的光学图像进行处理，从而将场景重叠区域的sar图像子图和光学图像进行配准，得到配准后的同分辨率sar图像子图和光学图像。
[0098]
具体的，由于光学图像的分辨率低，本发明采用仿射变换方法来对场景重叠区域的光学图像进行处理，处理后将光学图像的场景重叠区域进行放大，转换到sar图像子图对应的分辨率，并完成对光学图像的平移、旋转；其中，仿射变换方法如下：
[0099]
子步骤5.1，根据场景重叠区域的sar图像子图和光学图像的顶点坐标解线性方程组计算得出仿射变换矩阵m：
[0100][0101]
其中，仿射变换矩阵其中，仿射变换矩阵指仿射变换后像素点坐标，指仿射变换前像素点坐标。
[0102]
子步骤5.2，将场景重叠区域的sar图像子图的坐标依次带入下式来计算出光学图像仿射变换后的坐标，通过仿射变换处理完成放大、平移、旋转操作，将光学图像转换到sar图像子图对应的分辨率，并判断计算结果是否在重叠区域内；
[0103][0104]
其中，m_inv为仿射变换矩阵m的逆矩阵。
[0105]
子步骤5.3，将满足条件的光学图像映射到对应分辨率的sar图像子图中，完成重叠区域的配准。
[0106]
步骤6，将所述配准后的同分辨率sar图像子图和光学图像进行小波融合，得到融合后的子图。
[0107]
具体的，小波融合处理的流程图如图3所示，将配准后的同分辨率sar图像子图a和光学图像b分别进行三级小波变换，然后对高频的边缘细节信息进行系数绝对值最大化处理，低频的整体信息则运用局部方差准则来计算融合权重，最后进行小波重构融合，具体处理流程包含以下子步骤：
[0108]
子步骤6.1，对配准后的同分辨率sar图像子图和光学图像分别进行一级小波分解，得到ll1、lh1、hl1和hh1四个频带区域；其中，ll1为一级小波分解后的水平低频、垂直低频；lh1为一级小波分解后的水平低频、垂直高频；hl1为一级小波分解后的水平高频、垂直低
频；hh1为一级小波分解后的水平高频、垂直高频。
[0109]
子步骤6.2，对一级小波分解后的低频带区域ll1进行二级小波分解，得到ll2、lh2、hl2和hh2四个频带区域；其中，ll2为二级小波分解后的水平低频、垂直低频；lh2为二级小波分解后的水平低频、垂直高频；hl2为二级小波分解后的水平高频、垂直低频；hh2为二级小波分解后的水平高频、垂直高频。
[0110]
子步骤6.3，对二级小波分解后的低频带区域ll2进行三级小波分解，得到ll3、lh3、hl3和hh3四个频带区域；其中，ll3为三级小波分解后的水平低频、垂直低频；lh3为三级小波分解后的水平低频、垂直高频；hl3为三级小波分解后的水平高频、垂直低频；hh3为三级小波分解后的水平高频、垂直高频。
[0111]
子步骤6.4，对三级小波分解后的低频带区域ll3选择局部方差准则进行融合，通过计算点周围5
×
5矩阵的方差来确定sar图像子图的加权系数k1和光学图像的加权系数k2，然后通过下式来对sar图像子图和光学图像进行融合，得到低频融合图。
[0112]
f(x,y)＝k1*a(x,y) k2*b(x,y)
[0113]
其中，a(x,y)为小波分解后sar图像子图像素点对应的值；b(x,y)为小波分解后光学图像像素点对应的值；f(x,y)为小波融合后对应像素点对应的值。
[0114]
子步骤6.5，对除ll3外的其他区域(lh1、hl1、hh1、lh2、hl2、hh2、lh3、hl3和hh3)选择系数绝对值较大法的融合准则，通过比较小波分解后系数的绝对值来确定保留哪部分信息，保留系数绝对值最大的部分作为高频融合图；
[0115]
子步骤6.6，对所述低频融合图和所述高频融合图进行三级小波重构，得到融合后的子图。
[0116]
步骤7，将所述融合后的子图进行拼接还原为大场景图像，得到融合后的大场景图像。
[0117]
通过以下仿真数据对本发明效果作进一步验证说明。
[0118]
实验1：本仿真实验采用真实sar原始图像数据作为测试数据，按照步骤4中的详细步骤对sar图像子图进行处理。sar图像子图预处理前的图像参照图4(a)，预处理后的结果参照图4(b)。
[0119]
比较图4中的(a)图和(b)图可以发现，经过预处理后，sar图的相干斑噪声明显减小，通过等效视数参数enl可以进一步定量分析得出此结论。计算可以得到，预处理前enl＝10.8717，预处理后enl＝16.4464，enl越大，则说明相干斑噪声越小。
[0120]
实验2：本仿真实验采用真实采集的0.2米高分辨率sar原始图像和1m低分辨率的光学原始图像作为测试数据，按照上述步骤对图像进行预处理、裁剪、仿射变换、小波融合、拼接等处理，得到的仿真结果图参照图5和图6。图5为融合前后同一场景的对比图，其中，图5(a)为高分辨率sar原始图像，图5(b)为低分辨率光学原始图像，图5(c)为处理后的融合图像。图6为拼接后大场景sar图像融合后的结果图。
[0121]
通过融合前后图像对比可以清楚的看到，融合后将光学图像的光谱信息融入到sar图像中，大大提高了sar图像的直观解译度，而且还保留了sar图与光学图的细节特征信息，达到了信息综合的目的。
[0122]
虽然，本说明书中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。
因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。