图像融合方法、装置、计算机设备和存储介质与流程

1.本技术涉及图像融合技术领域，特别是涉及一种图像融合方法、装置、计算机设备和存储介质。


背景技术：

2.遥感卫星可以提供包含多波段的多光谱图像和单波段的全色图像。其中，多光谱图像的光谱信息丰富，但空间细节特征不明显。相反，全色图像的空间分辨率较高，图像细节清晰，但其光谱信息丰富度明显低于多光谱图像。多光谱图像与全色图像的融合主要是综合利用多波段多光谱图像的光谱信息和单波段全色图像的空间信息来获得新的融合图像，提升融合结果的识别精度，提高图像数据的应用效果和实用价值。
3.传统的多光谱图像与全色图像的融合方法通常采用固定的高斯模糊核模糊遥感卫星采集的低空间分辨率的多光谱图像和高空间分辨率的全色图像，进而完成图像融合以得到融合图像。
4.然而，采用传统技术，由于固定的高斯模糊核不能较好地保持多光谱图像波段间的关联关系，因而导致融合图像的质量较差。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提高融合图像的质量的图像融合方法、装置、计算机设备和存储介质。
6.一种图像融合方法，所述方法包括：
7.获取待融合多光谱图像对应的各波段图像的第一梯度信息，以及获取参考多光谱图像对应的各波段图像的第二梯度信息，其中，所述待融合多光谱图像的空间分辨率小于所述参考多光谱图像的空间分辨率；
8.根据所述第一梯度信息和所述第二梯度信息，计算所述参考多光谱图像各波段的模糊核；
9.根据所述参考多光谱图像各波段的模糊核，对与所述各波段匹配的待融合全色图像进行卷积运算，得到待融合全色图像对应的各低频版本图像，其中，所述各低频版本图像与所述各波段相对应；
10.根据所述待融合全色图像对应的各低频版本图像和所述参考多光谱图像各波段的模糊核，得到所述待融合多光谱图像和所述待融合全色图像融合后的融合图像。
11.在其中一个实施例中，所述根据所述待融合全色图像对应的各低频版本图像和所述参考多光谱图像各波段的模糊核，得到所述待融合多光谱图像和所述待融合全色图像融合后的融合图像，包括：
12.获取所述待融合全色图像对应的各低频版本图像关联的权重系数；
13.根据所述待融合全色图像对应的各低频版本图像关联的权重系数和所述参考多光谱图像各波段的模糊核，得到所述待融合多光谱图像和所述待融合全色图像融合后的融
合图像。
14.在其中一个实施例中，所述获取待融合多光谱图像对应的各波段图像的第一梯度信息，以及获取参考多光谱图像对应的各波段图像的第二梯度信息，包括：
15.对所述待融合多光谱图像按照所述待融合全色图像的尺度进行上采样，得到上采样后的多光谱图像；
16.将所述上采样后的多光谱图像与所述待融合全色图像进行融合，得到所述参考多光谱图像；
17.对所述待融合多光谱图像对应的各波段图像进行梯度提取，得到所述待融合多光谱图像对应的各波段图像的第一梯度信息；
18.对所述参考多光谱图像对应的各波段图像进行梯度提取，得到所述参考多光谱图像对应的各波段图像的第二梯度信息。
19.在其中一个实施例中，所述获取所述待融合全色图像对应的各低频版本图像关联的权重系数，包括：
20.计算所述待融合全色图像对应的各低频版本图像与所述上采样后的多光谱图像对应的各波段图像之间的第一协方差；
21.计算所述待融合全色图像对应的各低频版本图像与所述待融合全色图像对应的各低频版本图像之间的第二协方差；
22.根据所述第一协方差和所述第二协方差，计算所述待融合全色图像对应的各低频版本图像关联的权重系数。
23.在其中一个实施例中，所述根据所述待融合全色图像对应的各低频版本图像关联的权重系数和所述参考多光谱图像各波段的模糊核，得到所述待融合多光谱图像和所述待融合全色图像融合后的融合图像，包括：
24.将所述待融合全色图像对应的各低频版本图像关联的权重系数和所述参考多光谱图像各波段的模糊核代入预设的总能量公式；
25.对所述总能量公式进行求导，得到求导公式；
26.通过梯度下降法对所述求导公式收敛到最优解，得到所述待融合多光谱图像和所述待融合全色图像融合后的融合图像。
27.在其中一个实施例中，所述根据所述第一梯度信息和所述第二梯度信息，计算所述参考多光谱图像各波段的模糊核，包括：
28.根据所述第一梯度信息和所述第二梯度信息，通过如下公式计算所述参考多光谱图像各波段的模糊核，
[0029][0030]
其中，k
i
表示参考多光谱图像波段i的模糊核，i表示波段，表示梯度提取算子，g
i
表示参考多光谱图像对应的各波段图像，l
i
表示待融合多光谱图像对应的各波段图像，d
v
表示模糊核水平方向的一阶导，d
h
表示模糊核垂直方向的一阶导，λ和μ表示权重。
[0031]
在其中一个实施例中，所述方法还包括：
[0032]
将所述待融合全色图像与所述上采样后的多光谱图像的各波段进行直方图匹配，
得到与所述各波段匹配的待融合全色图像。
[0033]
一种图像融合装置，所述装置包括：
[0034]
梯度信息获取模块，用于获取待融合多光谱图像对应的各波段图像的第一梯度信息，以及获取参考多光谱图像对应的各波段图像的第二梯度信息，其中，所述待融合多光谱图像的空间分辨率小于所述参考多光谱图像的空间分辨率；
[0035]
模糊核计算模块，用于根据所述第一梯度信息和所述第二梯度信息，计算所述参考多光谱图像各波段的模糊核；
[0036]
卷积运算模块，用于根据所述参考多光谱图像各波段的模糊核，对与所述各波段匹配的待融合全色图像进行卷积运算，得到待融合全色图像对应的各低频版本图像，其中，所述各低频版本图像与所述各波段相对应；
[0037]
图像确定模块，用于根据所述待融合全色图像对应的各低频版本图像和所述参考多光谱图像各波段的模糊核，得到所述待融合多光谱图像和所述待融合全色图像融合后的融合图像。
[0038]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0039]
获取待融合多光谱图像对应的各波段图像的第一梯度信息，以及获取参考多光谱图像对应的各波段图像的第二梯度信息，其中，所述待融合多光谱图像的空间分辨率小于所述参考多光谱图像的空间分辨率；
[0040]
根据所述第一梯度信息和所述第二梯度信息，计算所述参考多光谱图像各波段的模糊核；
[0041]
根据所述参考多光谱图像各波段的模糊核，对与所述各波段匹配的待融合全色图像进行卷积运算，得到待融合全色图像对应的各低频版本图像，其中，所述各低频版本图像与所述各波段相对应；
[0042]
根据所述待融合全色图像对应的各低频版本图像和所述参考多光谱图像各波段的模糊核，得到所述待融合多光谱图像和所述待融合全色图像融合后的融合图像。
[0043]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0044]
获取待融合多光谱图像对应的各波段图像的第一梯度信息，以及获取参考多光谱图像对应的各波段图像的第二梯度信息，其中，所述待融合多光谱图像的空间分辨率小于所述参考多光谱图像的空间分辨率；
[0045]
根据所述第一梯度信息和所述第二梯度信息，计算所述参考多光谱图像各波段的模糊核；
[0046]
根据所述参考多光谱图像各波段的模糊核，对与所述各波段匹配的待融合全色图像进行卷积运算，得到待融合全色图像对应的各低频版本图像，其中，所述各低频版本图像与所述各波段相对应；
[0047]
根据所述待融合全色图像对应的各低频版本图像和所述参考多光谱图像各波段的模糊核，得到所述待融合多光谱图像和所述待融合全色图像融合后的融合图像。
[0048]
上述图像融合方法、装置、计算机设备和存储介质，基于不同空间分辨率的待融合多光谱图像对应的各波段图像的第一梯度信息和参考多光谱图像对应的各波段图像的第
二梯度信息，在梯度域中计算不同空间分辨率的多光谱图像在降质过程中各波段的模糊核，相较于直接使用固定的高斯模糊核，可更好地保持多光谱图像波段间的关联关系，并且，使用降质过程中各波段的模糊核从全色图像中提取表征空间信息的各低频版本图像，进而根据各低频版本图像和各波段的模糊核得到融合图像，有利于提高融合图像的质量。
附图说明
[0049]
图1为一个实施例中图像融合方法的流程示意图；
[0050]
图2为一个实施例中根据待融合全色图像对应的各低频版本图像和参考多光谱图像各波段的模糊核，得到待融合多光谱图像和待融合全色图像融合后的融合图像的补充方案的流程示意图；
[0051]
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
[0052]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0053]
在一个实施例中，如图1所示，提供了一种图像融合方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
[0054]
步骤s102，获取待融合多光谱图像对应的各波段图像的第一梯度信息，以及获取参考多光谱图像对应的各波段图像的第二梯度信息。
[0055]
其中，待融合多光谱图像的空间分辨率小于参考多光谱图像的空间分辨率。
[0056]
其中，多光谱图像是由不同波段的多个单波段图像合成的图像。
[0057]
具体地，终端首先获取待融合多光谱图像和参考多光谱图像。然后，终端基于梯度提取算子提取待融合多光谱图像对应的各波段图像的第一梯度信息，且基于梯度提取算子提取参考多光谱图像对应的各波段图像的第二梯度信息。
[0058]
可选地，参考多光谱图像可根据待融合多光谱图像和待融合全色图像得到。记l＝(l
i
,
…
,l
n
):其中，l表示待融合多光谱图像，l
i
,
…
,l
n
表示待融合多光谱图像对应的各波段图像，n表示波段数。记p表示待融合全色图像。
[0059]
步骤s104，根据第一梯度信息和第二梯度信息，计算参考多光谱图像各波段的模糊核。
[0060]
具体地，终端在梯度域，根据第一梯度信息和第二梯度信息，并基于半盲模糊核估计法，求解参考多光谱图像各波段的模糊核。记k(k1,
…
,k
n
):其中，k表示模糊核，k1,
…
,k
n
表示参考多光谱图像各波段的模糊核。
[0061]
步骤s106，根据参考多光谱图像各波段的模糊核，对与各波段匹配的待融合全色图像进行卷积运算，得到待融合全色图像降质后的各低频版本图像。记plr(plr1,
…
plr
n
):其中，plr表示低频版本图像，plr1,
…
,plr
n
表示与各波段对应的待融合全色图像对应的各低频版本图像。
[0062]
其中，各低频版本图像与各波段相对应。低频版本图像即经过降质的图像，是使用
模糊核卷积待融合全色图像得到的结果，可以粗略地认为是待融合全色图像的低频分量。
[0063]
具体地，终端根据参考多光谱图像各波段的模糊核，对与各波段匹配的待融合全色图像进行卷积运算，得到待融合全色图像对应的各低频版本图像。
[0064]
可选地，终端对待融合多光谱图像按照待融合全色图像的尺度进行上采样，得到上采样后的多光谱图像。然后，终端将待融合全色图像与上采样后的多光谱图像的各波段进行直方图匹配，得到与各波段匹配的待融合全色图像。
[0065]
步骤s108，根据待融合全色图像对应的各低频版本图像和参考多光谱图像各波段的模糊核，得到待融合多光谱图像和待融合全色图像融合后的融合图像。
[0066]
具体地，终端将待融合全色图像对应的各低频版本图像和参考多光谱图像各波段的模糊核代入预设的总能量公式，使用梯度下降法收敛到最优解，得到待融合多光谱图像和待融合全色图像融合后的融合图像。记f(f1,
…
,f
n
)，表示融合图像。
[0067]
上述图像融合方法中，基于不同空间分辨率的待融合多光谱图像对应的各波段图像的第一梯度信息和参考多光谱图像对应的各波段图像的第二梯度信息，在梯度域中计算不同空间分辨率的多光谱图像在降质过程中各波段的模糊核，相较于直接使用固定的高斯模糊核，可更好地保持多光谱图像波段间的关联关系，并且，使用降质过程中各波段的模糊核从全色图像中提取表征空间信息的各低频版本图像，进而根据各低频版本图像和各波段的模糊核得到融合图像，有利于提高融合图像的质量。
[0068]
在一个实施例中，涉及上述步骤s108“根据待融合全色图像对应的各低频版本图像和参考多光谱图像各波段的模糊核，得到待融合多光谱图像和待融合全色图像融合后的融合图像”的一种可能的实现方式。在上述实施例的基础上，步骤s108具体可以通过以下步骤实现：
[0069]
步骤s1082，获取待融合全色图像对应的各低频版本图像关联的权重系数；
[0070]
步骤s1084，根据待融合全色图像对应的各低频版本图像关联的权重系数和参考多光谱图像各波段的模糊核，得到待融合多光谱图像和待融合全色图像融合后的融合图像。
[0071]
具体地，终端将待融合全色图像对应的各低频版本图像代入预设的局部自适应参数公式，得到权重系数，记为w(w1,
…
w
n
)。然后，终端将待融合全色图像对应的各低频版本图像关联的权重系数和参考多光谱图像各波段的模糊核代入预设的总能量公式，使用梯度下降法收敛到最优解，得到待融合多光谱图像和待融合全色图像融合后的融合图像。
[0072]
本实施例中，利用估计得到的模糊核保持低分辨率待融合多光谱图像中波段间的关联信息，通过在融合过程中使用局部权重系数，使得每个通道各个局部拥有不同的权重系数，充分考虑各场景的特异性，提高了图像融合的适应性。由于本实施例中的模糊核及局部权重系数都是根据一对需要待融合的多光谱图像和全色图像得到，并不需要额外训练模型的时间，因此时间复杂度也得到保证。
[0073]
在一个实施例中，涉及上述步骤s102“获取待融合多光谱图像对应的各波段图像的第一梯度信息，以及获取参考多光谱图像对应的各波段图像的第二梯度信息”的一种可能的实现方式。在上述实施例的基础上，步骤s102具体可以通过以下步骤实现：
[0074]
步骤s1022，对待融合多光谱图像按照待融合全色图像的尺度进行上采样，得到上采样后的多光谱图像；
[0075]
步骤s1024，将上采样后的多光谱图像与待融合全色图像进行融合，得到参考多光谱图像；
[0076]
步骤s1026，对待融合多光谱图像对应的各波段图像进行梯度提取，得到待融合多光谱图像对应的各波段图像的第一梯度信息；
[0077]
步骤s1028，对参考多光谱图像对应的各波段图像进行梯度提取，得到参考多光谱图像对应的各波段图像的第二梯度信息。
[0078]
可选地，终端使用双三次插值法，将低空间分辨率的待融合多光谱图像l上采样到待融合全色图像p的尺度，得到上采样后的多光谱图像，记m(m1,
…
,m
n
):其中，m表示上采样后的多光谱图像，m1,
…
,m
n
表示上采样后的多光谱图像对应的各波段图像。然后，终端基于成分替代法，融合上采样后的多光谱图像m和待融合全色图像p，得到高空间分辨率的参考多光谱图像g。可选地，基于成分替代法可以是基于部分替代的自适应成分替代法(partial replacement
‑
based adaptive component substitution,pracs)。之后，终端使用梯度提取算子对待融合多光谱图像对应的各波段图像进行梯度提取，得到待融合多光谱图像对应的各波段图像的第一梯度信息。终端使用梯度提取算子对参考多光谱图像对应的各波段图像进行梯度提取，得到参考多光谱图像对应的各波段图像的第二梯度信息。
[0079]
本实施例中，先利用待融合全色图像的空间信息，通过基于成分替代法得到一个初步融合的参考多光谱图像。基于假设：该初步融合的参考多光谱图像虽然光谱信息不够准确，但是空间信息却和理想的多光谱图像是一样的。因此可以使用参考多光谱图像作为理想的多光谱图像的空间信息来源，因此可以使用参考多光谱图像来估计模糊核，有利于提高模糊核的准确性。
[0080]
如图2所示，在一个实施例中，涉及上述步骤s1082“获取待融合全色图像对应的各低频版本图像关联的权重系数”的一种可能的实现方式。在上述实施例的基础上，步骤s1082具体可以通过以下步骤实现：
[0081]
步骤s202，计算待融合全色图像对应的各低频版本图像与上采样后的多光谱图像对应的各波段图像之间的第一协方差；
[0082]
步骤s204，计算待融合全色图像对应的各低频版本图像与待融合全色图像对应的各低频版本图像之间的第二协方差；
[0083]
步骤s206，根据第一协方差和第二协方差，计算待融合全色图像对应的各低频版本图像关联的权重系数。
[0084]
具体地，终端通过如下公式(1)计算待融合全色图像对应的各低频版本图像与上采样后的多光谱图像对应的各波段图像之间的第一协方差，
[0085]
cov[m
i
,plr
i
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0086]
其中，cov表示协方差，m
i
表示上采样后的多光谱图像对应的波段i对应的图像，plr
i
表示与波段i对应的待融合全色图像对应的低频版本图像。
[0087]
终端通过如下公式(2)计算待融合全色图像对应的各低频版本图像与待融合全色图像对应的各低频版本图像之间的第二协方差，
[0088]
cov[plr
i
,plr
i
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0089]
终端通过如下公式(3)计算待融合全色图像对应的各低频版本图像关联的权重系数。
[0090][0091]
其中，w
i
表示权重系数。
[0092]
本实施例中，由于传统技术往往通过线性模型提取空间信息，即假设全色图像是多光谱图像各波段的线性组合。由于这种线性假设往往不够精确，只是一种近似的假设。为了避免在融合过程中注入过多的空间信息，因此本实施例摒弃了这种假设，直接使用估计到的降质过程提取空间信息。在此基础上，通过使用局部权重系数，避免每个波段注入相同的空间细节，实现各个波段、各个局部区域依据场景本身的特点，注入不同且符合场景本身的空间信息，提高了适用性。
[0093]
在一个实施例中，涉及上述步骤s1084“根据待融合全色图像对应的各低频版本图像关联的权重系数和参考多光谱图像各波段的模糊核，得到待融合多光谱图像和待融合全色图像融合后的融合图像”的一种可能的实现方式。在上述实施例的基础上，步骤s1084具体可以通过以下步骤实现：
[0094]
步骤s302，将待融合全色图像对应的各低频版本图像关联的权重系数和参考多光谱图像各波段的模糊核代入预设的总能量公式；
[0095]
步骤s304，对总能量公式进行求导，得到求导公式；
[0096]
步骤s306，通过梯度下降法对求导公式收敛到最优解，得到待融合多光谱图像和待融合全色图像融合后的融合图像。
[0097]
具体地，终端将待融合全色图像对应的各低频版本图像关联的权重系数和参考多光谱图像各波段的模糊核代入如下预设的总能量公式(4)，
[0098][0099]
其中，ψ表示下采样操作。
[0100]
终端对总能量公式(4)进行求导，得到求导公式(5)，
[0101][0102]
终端使用梯度下降法求解公式(5)，得到最终的融合图像，如公式(6)。
[0103][0104]
在一个实施例中，涉及上述步骤s104“根据第一梯度信息和第二梯度信息，计算参考多光谱图像各波段的模糊核”的一种可能的实现方式。在上述实施例的基础上，步骤s104具体可以通过以下步骤实现：
[0105]
步骤s1042，根据第一梯度信息和第二梯度信息，通过如下公式(7)计算参考多光
谱图像各波段的模糊核，
[0106][0107]
其中，k
i
表示参考多光谱图像波段i的模糊核，i表示波段，表示梯度提取算子，g
i
表示参考多光谱图像对应的各波段图像，l
i
表示待融合多光谱图像对应的各波段图像，d
v
表示模糊核水平方向的一阶导，d
h
表示模糊核垂直方向的一阶导，λ和μ表示权重，第三项保证得到的模糊核足够平滑。需要注意的是，模糊核需要标准化，即以及限定在有限的支持集s中，i表示强度分量。
[0108]
因为公式(7)是二次的，因此一定存在闭式解，其对应的全局最小值可以通过求解公式(8)得到
[0109][0110]
其中e表示单位矩阵，
·
h
表示厄米特转置操作。
[0111]
对公式(8)进行傅里叶变换，求解公式(9)即可得到模糊核k
i
。
[0112][0113]
其中γ
‑1{
·
}、γ(
·
)
*
分别表示傅里叶逆变换和傅里叶变换的复共轭，ο表示逐点相乘，ο
‑
ο表示逐点相除。
[0114]
本技术实施例中，在梯度域改进半盲模糊核估计的方法，得到高
‑
低分辨率多光谱图像的降质过程，将估计的降质过程用来约束多光谱图像波段间的相对关系，更精确地保持低分辨率多光谱图像的波段间的关联信息，通过使用估计的降质过程和局部权重系数，考虑多光谱图像各个波段与全色图像之间存在的差异，向各波段注入不同的空间信息。
[0115]
应该理解的是，虽然图1
‑
3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1
‑
3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0116]
在一个实施例中，提供了一种图像融合装置，包括：梯度信息获取模块、模糊核计算模块、卷积运算模块和图像确定模块，其中：
[0117]
梯度信息获取模块，用于获取待融合多光谱图像对应的各波段图像的第一梯度信息，以及获取参考多光谱图像对应的各波段图像的第二梯度信息，其中，待融合多光谱图像的空间分辨率小于参考多光谱图像的空间分辨率；
[0118]
模糊核计算模块，用于根据第一梯度信息和第二梯度信息，计算参考多光谱图像各波段的模糊核；
[0119]
卷积运算模块，用于根据参考多光谱图像各波段的模糊核，对与各波段匹配的待融合全色图像进行卷积运算，得到待融合全色图像对应的各低频版本图像，其中，各低频版
本图像与各波段相对应；
[0120]
图像确定模块，用于根据待融合全色图像对应的各低频版本图像和参考多光谱图像各波段的模糊核，得到待融合多光谱图像和待融合全色图像融合后的融合图像。
[0121]
上述图像融合装置中，基于不同空间分辨率的待融合多光谱图像对应的各波段图像的第一梯度信息和参考多光谱图像对应的各波段图像的第二梯度信息，在梯度域中计算不同空间分辨率的多光谱图像在降质过程中各波段的模糊核，相较于直接使用固定的高斯模糊核，可更好地保持多光谱图像波段间的关联关系，并且，使用降质过程中各波段的模糊核从全色图像中提取表征空间信息的各低频版本图像，进而根据各低频版本图像和各波段的模糊核得到融合图像，有利于提高融合图像的质量。
[0122]
在一个实施例中，图像确定模块具体用于获取待融合全色图像对应的各低频版本图像关联的权重系数；根据待融合全色图像对应的各低频版本图像关联的权重系数和参考多光谱图像各波段的模糊核，得到待融合多光谱图像和待融合全色图像融合后的融合图像。
[0123]
在一个实施例中，梯度信息获取模块具体用于对待融合多光谱图像按照待融合全色图像的尺度进行上采样，得到上采样后的多光谱图像；将上采样后的多光谱图像与待融合全色图像进行融合，得到参考多光谱图像；对待融合多光谱图像对应的各波段图像进行梯度提取，得到待融合多光谱图像对应的各波段图像的第一梯度信息；对参考多光谱图像对应的各波段图像进行梯度提取，得到参考多光谱图像对应的各波段图像的第二梯度信息。
[0124]
在一个实施例中，图像确定模块具体用于计算待融合全色图像对应的各低频版本图像与上采样后的多光谱图像对应的各波段图像之间的第一协方差；计算待融合全色图像对应的各低频版本图像与待融合全色图像对应的各低频版本图像之间的第二协方差；根据第一协方差和第二协方差，计算待融合全色图像对应的各低频版本图像关联的权重系数。
[0125]
在一个实施例中，图像确定模块具体用于将待融合全色图像对应的各低频版本图像关联的权重系数和参考多光谱图像各波段的模糊核代入预设的总能量公式；对总能量公式进行求导，得到求导公式；通过梯度下降法对求导公式收敛到最优解，得到待融合多光谱图像和待融合全色图像融合后的融合图像。
[0126]
在一个实施例中，模糊核计算模块具体用于根据第一梯度信息和第二梯度信息，通过如下公式计算参考多光谱图像各波段的模糊核，
[0127][0128]
其中，k
i
表示参考多光谱图像波段i的模糊核，i表示波段，表示梯度提取算子，g
i
表示参考多光谱图像对应的各波段图像，l
i
表示待融合多光谱图像对应的各波段图像，d
v
表示模糊核水平方向的一阶导，d
h
表示模糊核垂直方向的一阶导，λ和μ表示权重。
[0129]
关于图像融合装置的具体限定可以参见上文中对于图像融合方法的限定，在此不再赘述。上述图像融合装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储
于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0130]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像融合方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0131]
本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0132]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0133]
获取待融合多光谱图像对应的各波段图像的第一梯度信息，以及获取参考多光谱图像对应的各波段图像的第二梯度信息，其中，待融合多光谱图像的空间分辨率小于参考多光谱图像的空间分辨率；
[0134]
根据第一梯度信息和第二梯度信息，计算参考多光谱图像各波段的模糊核；
[0135]
根据参考多光谱图像各波段的模糊核，对与各波段匹配的待融合全色图像进行卷积运算，得到待融合全色图像对应的各低频版本图像，其中，各低频版本图像与各波段相对应；
[0136]
根据待融合全色图像对应的各低频版本图像和参考多光谱图像各波段的模糊核，得到待融合多光谱图像和待融合全色图像融合后的融合图像。
[0137]
上述计算机设备中，基于不同空间分辨率的待融合多光谱图像对应的各波段图像的第一梯度信息和参考多光谱图像对应的各波段图像的第二梯度信息，在梯度域中计算不同空间分辨率的多光谱图像在降质过程中各波段的模糊核，相较于直接使用固定的高斯模糊核，可更好地保持多光谱图像波段间的关联关系，并且，使用降质过程中各波段的模糊核从全色图像中提取表征空间信息的各低频版本图像，进而根据各低频版本图像和各波段的模糊核得到融合图像，有利于提高融合图像的质量。
[0138]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0139]
获取待融合全色图像对应的各低频版本图像关联的权重系数；根据待融合全色图像对应的各低频版本图像关联的权重系数和参考多光谱图像各波段的模糊核，得到待融合多光谱图像和待融合全色图像融合后的融合图像。
[0140]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0141]
对待融合多光谱图像按照待融合全色图像的尺度进行上采样，得到上采样后的多光谱图像；将上采样后的多光谱图像与待融合全色图像进行融合，得到参考多光谱图像；对待融合多光谱图像对应的各波段图像进行梯度提取，得到待融合多光谱图像对应的各波段
图像的第一梯度信息；对参考多光谱图像对应的各波段图像进行梯度提取，得到参考多光谱图像对应的各波段图像的第二梯度信息。
[0142]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0143]
计算待融合全色图像对应的各低频版本图像与上采样后的多光谱图像对应的各波段图像之间的第一协方差；计算待融合全色图像对应的各低频版本图像与待融合全色图像对应的各低频版本图像之间的第二协方差；根据第一协方差和第二协方差，计算待融合全色图像对应的各低频版本图像关联的权重系数。
[0144]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0145]
将待融合全色图像对应的各低频版本图像关联的权重系数和参考多光谱图像各波段的模糊核代入预设的总能量公式；对总能量公式进行求导，得到求导公式；通过梯度下降法对求导公式收敛到最优解，得到待融合多光谱图像和待融合全色图像融合后的融合图像。
[0146]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0147]
根据第一梯度信息和第二梯度信息，通过如下公式计算参考多光谱图像各波段的模糊核，
[0148][0149]
其中，k
i
表示参考多光谱图像波段i的模糊核，i表示波段，表示梯度提取算子，g
i
表示参考多光谱图像对应的各波段图像，l
i
表示待融合多光谱图像对应的各波段图像，d
v
表示模糊核水平方向的一阶导，d
h
表示模糊核垂直方向的一阶导，λ和μ表示权重。
[0150]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0151]
将待融合全色图像与上采样后的多光谱图像的各波段进行直方图匹配，得到与各波段匹配的待融合全色图像。
[0152]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0153]
获取待融合多光谱图像对应的各波段图像的第一梯度信息，以及获取参考多光谱图像对应的各波段图像的第二梯度信息，其中，待融合多光谱图像的空间分辨率小于参考多光谱图像的空间分辨率；
[0154]
根据第一梯度信息和第二梯度信息，计算参考多光谱图像各波段的模糊核；
[0155]
根据参考多光谱图像各波段的模糊核，对与各波段匹配的待融合全色图像进行卷积运算，得到待融合全色图像对应的各低频版本图像，其中，各低频版本图像与各波段相对应；
[0156]
根据待融合全色图像对应的各低频版本图像和参考多光谱图像各波段的模糊核，得到待融合多光谱图像和待融合全色图像融合后的融合图像。
[0157]
上述计算机可读存储介质中，基于不同空间分辨率的待融合多光谱图像对应的各波段图像的第一梯度信息和参考多光谱图像对应的各波段图像的第二梯度信息，在梯度域中计算不同空间分辨率的多光谱图像在降质过程中各波段的模糊核，相较于直接使用固定的高斯模糊核，可更好地保持多光谱图像波段间的关联关系，并且，使用降质过程中各波段
的模糊核从全色图像中提取表征空间信息的各低频版本图像，进而根据各低频版本图像和各波段的模糊核得到融合图像，有利于提高融合图像的质量。
[0158]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0159]
获取待融合全色图像对应的各低频版本图像关联的权重系数；根据待融合全色图像对应的各低频版本图像关联的权重系数和参考多光谱图像各波段的模糊核，得到待融合多光谱图像和待融合全色图像融合后的融合图像。
[0160]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0161]
对待融合多光谱图像按照待融合全色图像的尺度进行上采样，得到上采样后的多光谱图像；将上采样后的多光谱图像与待融合全色图像进行融合，得到参考多光谱图像；对待融合多光谱图像对应的各波段图像进行梯度提取，得到待融合多光谱图像对应的各波段图像的第一梯度信息；对参考多光谱图像对应的各波段图像进行梯度提取，得到参考多光谱图像对应的各波段图像的第二梯度信息。
[0162]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0163]
计算待融合全色图像对应的各低频版本图像与上采样后的多光谱图像对应的各波段图像之间的第一协方差；计算待融合全色图像对应的各低频版本图像与待融合全色图像对应的各低频版本图像之间的第二协方差；根据第一协方差和第二协方差，计算待融合全色图像对应的各低频版本图像关联的权重系数。
[0164]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0165]
将待融合全色图像对应的各低频版本图像关联的权重系数和参考多光谱图像各波段的模糊核代入预设的总能量公式；对总能量公式进行求导，得到求导公式；通过梯度下降法对求导公式收敛到最优解，得到待融合多光谱图像和待融合全色图像融合后的融合图像。
[0166]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0167]
根据第一梯度信息和第二梯度信息，通过如下公式计算参考多光谱图像各波段的模糊核，
[0168][0169]
其中，k
i
表示参考多光谱图像波段i的模糊核，i表示波段，表示梯度提取算子，g
i
表示参考多光谱图像对应的各波段图像，l
i
表示待融合多光谱图像对应的各波段图像，d
v
表示模糊核水平方向的一阶导，d
h
表示模糊核垂直方向的一阶导，λ和μ表示权重。
[0170]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0171]
将待融合全色图像与上采样后的多光谱图像的各波段进行直方图匹配，得到与各波段匹配的待融合全色图像。
[0172]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read
‑
only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0173]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0174]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。