基于扩展高斯差分和引导滤波的图像融合方法与流程

1.本技术涉及图像处理技术领域，具体而言，涉及一种基于扩展高斯差分和引导滤波的图像融合方法。


背景技术：

2.像素级图像融合的算法一般可以分为基于变换域的图像融合、基于空间域的图像融合以及基于深度学习的图像融合。基于变换域的图像融合着重使用多尺度变换的方法，一般包括三个步骤：第一，将源图像分解成为高频成分和低频成分；其次，使用特定的融合方案对两种成分分别进行融合；最后，通过逆mst变换重构融合图像。基于变换域方法的关键在于分解工具的选择和融合方案的选择。最早的多尺度变换工具包括梯度金字塔、拉普拉斯金字塔等。随着小波变换技术的发展，大量的mst分解工具不断涌现，一些方法也被广泛使用：离散小波变换、双树复小波变换、非下采样轮廓波变换、非下采样剪切波变换、形态学小波变换等。
3.除了基于变换域的方法，基于空间域的方法是另一种重要的图像融合方法，这种方法直接在像素点上对源图像进行处理。空间域的方法主要基于像素、区域和块分割，可以充分提取图像中的特征信息，同时考虑了局部区域像素间的相关性，提高了有用信息提取的准确性。但是，基于空间域的大多数方法一定程度上依赖于复杂且低效的分割算法，如果处理不当，会在融合图像中引入错误信息。
4.基于深度学习的方法在人脸识别、图像分割、图像分类和图像去噪等领域应用广泛。随着图像融合技术的发展，深度学习在该领域也得到了一些应用。虽然基于cnn的图像融合方法、基于gan的图像融合方法在红外可见光图像融合、多聚焦图像融合等应用场合有一定的效果。但是，由于现有数据集是有限的，所以基于深度学习的方案还有一定可以改进的空间。
5.基于上述问题，目前尚未有有效的解决方法。


技术实现要素：

6.本技术的目的在于提供一种基于扩展高斯差分和引导滤波的图像融合方法，可以提取出源图像中丰富的能量信息和完整保留源图像中完整的边缘信息，在图像融合任务中有良好的融合效果。
7.本技术提供了一种基于扩展高斯差分和引导滤波的图像融合方法，其中，包括以下步骤：s1.获取多张第一源图像；s2.基于绝对值取大的融合规则，对多张所述第一源图像两两进行初步融合，以获取初始融合图像；s3.使用均值滤波方法将所述初始融合图像和所述初始融合图像对应的两张第二源图像进行分离处理，以获取所述初始融合图像的第一能量层和两张所述第二源图像的第
二细节层；所述第二源图像为生成所述初始融合图像的第一源图像；s4.根据各所述第二细节层分别获取对应的第一最终决策图；s5.分别对各所述第一最终决策图进行引导滤波，以获取对应的第二最终决策图；s6.根据所述第二最终决策图、所述第二细节层和所述第一能量层获取对应的最终融合图像。
8.本技术的基于扩展高斯差分和引导滤波的图像融合方法，通过获取多张第一源图像；基于绝对值取大的融合规则，对多张第一源图像两两进行初步融合，以获取初始融合图像；使用均值滤波方法将初始融合图像和初始融合图像对应的两张第二源图像进行分离处理，以获取初始融合图像的第一能量层和两张第二源图像的第二细节层；第二源图像为生成初始融合图像的第一源图像；根据各第二细节层分别获取对应的第一最终决策图；分别对各第一最终决策图进行引导滤波，以获取对应的第二最终决策图；根据第二最终决策图、第二细节层和第一能量层获取对应的最终融合图像。本技术提供的基于扩展高斯差分和引导滤波的图像融合方法，可以提取源图像中丰富的能量信息和完整保留源图像中完整的边缘信息，在图像融合任务中有良好的融合效果。
9.可选地，本技术提供的基于扩展高斯差分和引导滤波的图像融合方法，步骤s2中，根据以下公式计算，以获取初始融合图像：其中，i和j 分别为像素点的横坐标值和纵坐标值；a和b分别表示第一源图像a和第一源图像b的标识;为初始融合图像的像素点的像素值； 为第一源图像a的像素点的像素值； 为第一源图像b的像素点的像素值；为二值决策图的像素点的像素值。
10.可选地，本技术提供的基于扩展高斯差分和引导滤波的图像融合方法，步骤s3包括：s301.获取所述初始融合图像的第一能量层和所述第二源图像的第二能量层；s302.根据所述第二能量层和所述第二源图像计算所述第二细节层。
11.在实际应用中，为了使得最终融合图像含有更加丰富的能量层信息，本发明直接将初始融合图像的第一能量层作为最终融合图像的能量层。通过使用均值滤波方法，可以提高分离的效率。
12.可选地，本技术提供的基于扩展高斯差分和引导滤波的图像融合方法，步骤s4包括：s401.基于边缘特征提取算子，分别对各所述第二细节层进行边缘特征提取，以生成对应的边缘信息决策图；s402.基于空间频率算子，分别对各所述边缘信息决策图进行优化，以获取对应的第一最终决策图。
13.可选地，本技术提供的基于扩展高斯差分和引导滤波的图像融合方法，步骤s401包括：
使用扩展高斯差分分别对各所述第二细节层进行边缘特征提取，以生成对应的所述边缘信息决策图。
14.通过这种方式，可以使最终融合图像的边界更加清晰。
15.可选地，本技术提供的基于扩展高斯差分和引导滤波的图像融合方法，步骤s401中，根据以下公式计算高斯差分变体：其中，为高斯差分变体；和均为高斯平滑滤波函数；为检测出的物体边缘轮廓的权重；为空间域内高斯分布的标准差；代表像素点的二维坐标，即像素点；为该像素点的向量的模；k为精确近似和合适灵敏度之间的权衡参数。
16.可选地，本技术提供的基于扩展高斯差分和引导滤波的图像融合方法，步骤s402包括：s4021.对所述空间频率算子进行优化计算，以分别获取各所述第二源图像对应的能量空间频率算子；s4022.分别使用各所述能量空间频率算子对各所述边缘信息决策图进行优化，以获取对应的所述第一最终决策图。
17.可选地，本技术提供的基于扩展高斯差分和引导滤波的图像融合方法，所述能量空间频率算子的计算公式如下：其中，为第二源图像的像素点的能量空间频率算子；为第二源图像的像素点的空间频率算子；为第二源图像的像素点的能量算子；i为像素点的横坐标值；j为像素点的纵坐标值。
18.通过这种方式，相较于空间频率算子，本技术的能量空间频率算子不仅能够有效检测细节层中的梯度信息，还能有效检测到其中的能量信息，使得融合图像能在最大程度上保留细节层图像中的非显著边缘信息。
19.可选地，本技术提供的基于扩展高斯差分和引导滤波的图像融合方法，最终融合图像的计算公式如下：其中，为最终融合图像的像素点的像素值；为最终融合图像的细节层图像的像素点的像素值; 代表第一源图像a的第二最终决策图的像素点的像素值；代表第一源图像b的第二最终决策图的像素点的像
素值； 为第一源图像a的第二细节层的像素点的像素值； 为第一源图像b的第二细节层的像素点的像素值； 为第一能量层的像素点的像素值。
20.本技术提供的基于扩展高斯差分和引导滤波的图像融合方法，通过获取多张第一源图像；基于绝对值取大的融合规则，对多张第一源图像两两进行初步融合，以获取初始融合图像；使用均值滤波方法将初始融合图像和初始融合图像对应的两张第二源图像进行分离处理，以获取初始融合图像的第一能量层和两张第二源图像的第二细节层；第二源图像为生成初始融合图像的第一源图像；根据各第二细节层分别获取对应的第一最终决策图；分别对各第一最终决策图进行引导滤波，以获取对应的第二最终决策图；根据第二最终决策图、第二细节层和第一能量层获取对应的最终融合图像。本技术提供的基于扩展高斯差分和引导滤波的图像融合方法，可以提取源图像中丰富的能量信息和完整保留源图像中完整的边缘信息，在图像融合任务中有良好的融合效果。
21.综上，本技术的基于扩展高斯差分和引导滤波的图像融合方法，可以提取源图像中丰富的能量信息和完整保留源图像中完整的边缘信息，在图像融合任务中有良好的融合效果，能得到一幅能量信息丰富和边缘信息较为完整的融合图像。
附图说明
22.图1为本技术提供的基于扩展高斯差分和引导滤波的图像融合方法的一种流程图。
具体实施方式
23.下面将结合本技术实施方式中附图，对本技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本技术一部分实施方式，而不是全部的实施方式。通常在此处附图中描述和示出的本技术实施方式的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施方式的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施方式。基于本技术的实施方式，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施方式，都属于本技术保护的范围。
24.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
25.请参照图1，图1是本技术一些实施方式中的基于扩展高斯差分和引导滤波的图像融合方法的流程图，其中，包括以下步骤：s1.获取多张第一源图像；s2.基于绝对值取大的融合规则，对多张第一源图像两两进行初步融合，以获取初始融合图像；s3.使用均值滤波方法将初始融合图像和初始融合图像对应的两张第二源图像进行分离处理，以获取初始融合图像的第一能量层和两张第二源图像的第二细节层；第二源图像为生成初始融合图像的第一源图像；
s4.根据各第二细节层分别获取对应的第一最终决策图；s5.分别对各第一最终决策图进行引导滤波，以获取对应的第二最终决策图；s6.根据第二最终决策图、第二细节层和第一能量层获取对应的最终融合图像。
26.本技术的基于扩展高斯差分和引导滤波的图像融合方法，通过获取多张第一源图像；基于绝对值取大的融合规则，对多张第一源图像两两进行初步融合，以获取初始融合图像；使用均值滤波方法将初始融合图像和初始融合图像对应的两张第二源图像进行分离处理，以获取初始融合图像的第一能量层和两张第二源图像的第二细节层；第二源图像为生成初始融合图像的第一源图像；根据各第二细节层分别获取对应的第一最终决策图；分别对各第一最终决策图进行引导滤波，以获取对应的第二最终决策图；根据第二最终决策图、第二细节层和第一能量层获取对应的最终融合图像。本技术提供的基于扩展高斯差分和引导滤波的图像融合方法，可以提取源图像中丰富的能量信息和完整保留源图像中完整的边缘信息，在图像融合任务中有良好的融合效果。
27.步骤s1中，第一源图像的获取方式为现有技术，在此本技术不再赘述。
28.步骤s2中，绝对值取大的融合规则具体如下：以第一源图像a和第一源图像b为例，首先通过比较第一源图像a和第一源图像b的像素尺寸，生成一张初始的二值决策图（初始的二值决策图的各像素点的像素值可以为预设值，例如均为0，但不限于此），具体的，该二值决策图中包含多个第一像素点，第一源图像a包含多个第二像素点，第一源图像b包含多个第三像素点，其中第一像素点、第二像素点和第三像素点的位置和数量均相同；然后开始对二值决策图的第一像素点进行赋值，具体的，选取其中一个第一像素点，找到对应位置的第二像素点和第三像素点，比较第二像素点和第三像素点的像素值大小，若第二像素点的像素值大小＞第三像素点的像素值大小，则将第一像素点（的像素值）赋值为1，其他情况则将第一像素点赋值为0。重复以上操作，便可以获得一张二值决策图，然后根据以下公式计算，以获取初始融合图像：其中，i和j 分别为像素点的横坐标值和纵坐标值；为初始融合图像的像素点（即第一像素点）的像素值； 为第一源图像a的像素点（即第二像素点）的像素值； 为第一源图像b的像素点（即第三像素点）的像素值；为二值决策图的像素点的像素值。
29.通过使用绝对值取大的方法，可以使得初始融合图像结合两张第一源图像中的像素点，从而使初始融合图像包含更多的能量信息。
30.在一些实施方式中，步骤s3包括：s301.获取初始融合图像的第一能量层和第二源图像的第二能量层；s302.根据第二能量层和第二源图像计算第二细节层。
31.步骤s301中，获取第二源图像的第二能量层可通过均值滤波方法，具体先根据以下公式实现对初始融合图像和初始融合图像对应的两张第二源图像（即第一源图像a和第一源图像b）的分离处理：
其中， 为第一源图像a的第二能量层的像素点的像素值； 为第一源图像b的第二能量层的像素点的像素值； 为第一能量层的像素点的像素值；*为卷积符号；z为均值滤波器函数,为现有技术。
32.然后根据以下公式获取两张第二源图像（即第一源图像a和第一源图像b）的第二细节层：细节层：其中， 为第一源图像a的第二细节层的像素点的像素值； 为第一源图像b的第二细节层的像素点的像素值。
33.在实际应用中，为了使得最终融合图像含有更加丰富的能量层信息，本发明直接将初始融合图像的第一能量层作为最终融合图像的能量层。通过使用均值滤波方法，可以提高分离的效率。
34.在一些实施方式中，步骤s4包括：s401.基于边缘特征提取算子，分别对各第二细节层进行边缘特征提取，以生成对应的边缘信息决策图；s402.基于空间频率算子，分别对各边缘信息决策图进行优化，以获取对应的第一最终决策图。
35.在进一步的实施方式中，步骤s401包括：使用扩展高斯差分分别对各第二细节层进行边缘特征提取，以生成对应的边缘信息决策图。
36.具体的，根据以下公式计算高斯差分变体：其中，为高斯差分变体；和均为高斯平滑滤波函数；为检测出的物体边缘轮廓的权重；为空间域内高斯分布的标准差；代表像素点的二维坐标，即像素点；为该像素点的向量的模；k为精确近似和合适灵敏度之间的权衡参数。
37.优选地，取0.98；k取1.6；取0.8。高斯平滑滤波函数和像素点的二维坐标的获取方式为现有技术。
38.在实际应用中，扩展高斯差分滤波描述了是否捕捉到了邻近边缘的形状和结构，从而使得每个像素都比它的邻域像素更亮。因此可以设定一个阈值，具体如下：其中，是像素点的高斯的差分变体和第一源图像a的像素点的乘积，为；为连续斜坡因子, 为设定好的阈值，此处取200；是一个预设值，取0.1；为双曲正切函数；为第一源图像a的扩展高斯差分滤波；为像素点的高斯差分变体；为第一源图像a的像素点（即第二像素点）的像素值。
39.同理，可以得到第一源图像b的扩展高斯差分滤波:其中，是像素点的高斯的差分变体和第一源图像b的像素点的乘积，为；为连续斜坡因子, 为设定好的阈值，此处取200；取0.1；为第一源图像b的扩展高斯差分滤波；为像素点的高斯差分变体；为第一源图像b的像素点（即第三像素点）的像素值。
40.最后，通过比较两个扩展高斯差分滤波得到的图像，可以得到第一源图像a和第一源图像b分别对应的边缘信息决策图，具体计算公式如下：其中，为第一源图像a的边缘信息决策图的像素点的像素值。
41.同理，可以得到第一源图像b的边缘信息决策图：其中，为第二源图像b的边缘信息决策图的像素点的像素值。
42.通过这种方式，可以使最终融合图像的边界更加清晰。
43.在一些实施方式中，由于空间频率源于人类视觉系统，可以表示图像的整体活动水平，并且能够提取细节层图像中的梯度信息。
44.因此，步骤s402中，可以直接使用空间频率算子，对各边缘信息决策图进行优化，具体操作为现有技术，以获取对应的第一最终决策图。
45.虽然空间频率算子可以检测图像的大量梯度信息，但是，一些细节层中的能量信息难以检测识别。为了解决这个不足之处，本发明对传统的空间频率算子进行优化，提出能量空间频率算子。
46.因此在一些优选的实施方式中，步骤s402包括：s4021.对空间频率算子进行优化计算，分别获取各第二源图像对应的能量空间频率算子；s4022.分别使用各能量空间频率算子对各边缘信息决策图进行优化，以获取对应的第一最终决策图。
47.其中，能量空间频率算子的计算公式如下：算子的计算公式如下：其中，代表第一源图像a的像素点的能量空间频率算子; 代表第一源图像a的像素点的空间频率算子； 代表第一源图像a的像素点的能量算子；x和y分别表示离第一源图像a的像素点处的水平像素距离和垂直像素距离；w为第一源图像a的像素点处的邻域大小。其中，能量算子和空间频率算子为现有技术。
48.同理，可以获得第一源图像b的能量空间频率算子：同理，可以获得第一源图像b的能量空间频率算子：其中，代表第一源图像b的像素点的能量空间频率算子;代表第一源图像b的像素点的空间频率算子； 代表第一源图像b的像素点的能量算子；x和y分别表示离第一源图像b的像素点处的水平像素距离和垂直像素距离；w为第一源图像b的像素点处的邻域大小。其中，能量算子和空间频率算子为现有技术。
49.根据以下公式获取对应的第一最终决策图：其中， 代表第一源图像a的第一最终决策图的像素点的像素值。
50.同理，可以获得第一源图像b的第一最终决策图的像素点的像素值：
通过这种方式，相较于空间频率算子，本技术的能量空间频率算子不仅能够有效检测细节层中的梯度信息，还能有效检测到其中的能量信息，使得融合图像能在最大程度上保留细节层图像中的非显著边缘信息。
51.步骤s5中，分别对各第一最终决策图进行引导滤波的具体计算公式如下：其中， 代表第一源图像a的第二最终决策图的像素点的像素值；为引导滤波函数；取7；取。
52.同理，可以获得第一源图像b的第二最终决策图:其中， 代表第一源图像b的第二最终决策图的像素点的像素值；为引导滤波函数；取7；取。
53.通过这种方式，可以使得得到的第二最终决策图的边缘更加平滑，较好地保留输入图像中的有用信息，且不引入任何伪影。
54.步骤s6中，最终融合图像的计算公式如下：其中，为最终融合图像的像素点的像素值；为最终融合图像的细节层图像的像素点的像素值。
55.由上可知，本技术的基于扩展高斯差分和引导滤波的图像融合方法，通过获取多张第一源图像；基于绝对值取大的融合规则，对多张第一源图像两两进行初步融合，以获取初始融合图像；使用均值滤波方法将初始融合图像和初始融合图像对应的两张第二源图像进行分离处理，以获取初始融合图像的第一能量层和两张第二源图像的第二细节层；第二源图像为生成初始融合图像的第一源图像；根据各第二细节层分别获取对应的第一最终决策图；分别对各第一最终决策图进行引导滤波，以获取对应的第二最终决策图；根据第二最终决策图、第二细节层和第一能量层获取对应的最终融合图像。本技术提供的基于扩展高斯差分和引导滤波的图像融合方法，可以提取源图像中丰富的能量信息和完整保留源图像中完整的边缘信息，在图像融合中有良好的融合效果。
56.在本技术所提供的实施方式中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施方式仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或
者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
57.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
58.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
59.以上所述仅为本技术的实施方式而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。