一种基于频带系数分解的图像融合方法及系统与流程

1.本发明涉及车辆行驶路况图像信息采集处理领域，尤其涉及一种基于频带系数分解的图像融合方法及系统。


背景技术：

2.作为多源传感信息融合技术的重要分支，图像融合技术最早出现于20世纪70年代末，1979年daily等人进行雷达图像和landsat-mss图像融合；1985年，bonn等人进行多光谱遥感图像和spot卫星的高分辨率图像融合。然而这些融合都是基于一个层次的空间域内，直接对图像的像素值进行选择或加权平均，信噪比低，特征不明显。
3.随后，多尺度分析工具被引入图像融合领域。1984年，burt等人首次提出了基于拉普拉斯金字塔分解的单像素图像融合方法；1985年，li等人提出基于对比度金字塔的图像融合方法来融合红外图像和sar图像。到了90年代，小波变换被应用到图像融合领域，进一步，ranchin等人提出基于离散小波变换的图像融合方法。小波变换在捕捉零维奇异点上效果显著，但处理二维图像时效率低下，方向上具有局限性。为此，研究人员提出了contourlet、剪切波等多尺度变换工具，实现图像的二维变换。2002年，do等人提出contourlet变换，2006年，a.l.cunha等人提出了非下采样contourlet变换，该方法具有多尺度性、方向灵活性和平移不变性等优点。2005年，cunha等人提出shearlet变换，2008年，easley等人提出非下采样shearlet变换，具有非下采样contourlet变换的优点，并且计算效率更高。2010年，yang等人将稀疏表示引入图像融合领域，随后，liu等人提出了结合多尺度分解和稀疏表示模型的图像融合方法。近年来，深度神经网络被引入了图像融合领域。2017年，刘羽等人第一次将卷积神经网络应用于多聚焦图像融合；ma等人将对抗神经网络用于融合红外和可见光图像；2020年，zhang等人提出了基于cnn的图像融合模型。
4.红外和可见光图像融合研究开始于20世纪90年代，最开始被应用于军事领域，装载于战斗机上，以增强飞机的全天候作战能力。2000年以后，红外和可见光图像融合被应用到安防领域，英国的octce、美国的lehigh大学等研制出红外和可见光融合系统，随后美国的infrared solutions公司研制出商用的红外和可见光图像融合的相机，红外和可见光图像融合开始进入民用领域。
5.当前，针对红外和可见光图像融合算法有很多，例如，多尺度变换、稀疏表示、深度神经网络等。其中，基于稀疏表示的方法不能对多尺度提取信息，易造成信息丢失；基于深度神经网络的方法可以处理大量信息，计算量需求大，计算速度受到制约；多尺度变换结构简单，计算效率较高，其中非下采样shearlet变换具有多尺度、方向灵活性、平移不变性和较高的计算速度，被广泛应用于生活中，然而，该方法仍然存在图像信息不完整、融合图像在清晰度和分辨率上融合效果不佳等难题。因此，本发明提出了一种基于频带系数分解的图像融合方法及系统，安装于汽车上，输出更高质量水平的融合图像，用于提高驾驶人员的视觉观察水平，避免交通事故的发生。


技术实现要素：

6.本发明需要解决的技术问题是：提供一种基于频带系数分解的图像融合方法及系统，以便解决现有的单一传感器获取信息不充分、准确率低和现存的多源传感器融合效果不显著，信息丢失严重等缺陷。
7.本发明解决其技术问题采用以下的技术方案：
8.本发明提供的基于频带系数分解的图像融合系统，包括两个模块，其中，第一模块为图像采集模块，设有红外热像仪和可见光摄像机；第二模块为图像融合模块，设有车载电脑；两个模块之间通过网线进行连接。
9.所述的红外热像仪，其采集红外图像ir，可见光摄像机采集可见光图像vis，采集的图像借助网线传递给车载电脑，并在车载电脑中完成基于频带系数分解的图像融合，进而显示融合图像f。
10.本发明提供的基于频带系数分解的图像融合系统，其根据设置的10-15ms时间间隔实时更新融合图像f。
11.本发明提供的基于频带系数分解的图像融合方法，具体是：首先，对红外图像ir和可见光图像vis进行nsst频带系数分解，以获取低频子带和高频带通方向子带，其中：低频子带先采用基于局部方向能量和匹配的融合规则，后采用基于图像显著性的融合规则，进行低频子带系数融合；高频带通方向子带采用最高分解层使用基于局部方向对比度的融合规则，其它分解层使用基于局部能量匹配的融合规则进行高频带通方向子带系数融合。然后，对上述融合后的系数进行系数逆变换，获取融合图像f。
12.上述方法中，可以对低频子带系数先采用基于局部方向能量和匹配的融合规则、后采用基于图像显著性的融合规则时，所得融合图像f在像素点(m,n)处的低频子带系数计算公式为：
[0013][0014]
式中：cf(m,n)为融合图像f像素点(m,n)处的低频子带系数，c
ir
(m,n)为红外图像像素点(m,n)处的低频子带系数，c
vis
(m,n)为可见光图像像素点(m,n)处的低频子带系数，g
ir
(m,n)为红外图像像素点(m,n)处的局部方向能量和，g
vis
(m,n)为可见光图像像素点(m,n)处的局部方向能量和，mg(m,n)为像素点(m,n)处的局部方向能量和匹配度，w
x
(m,n)为源图像x像素点(m,n)处的低频子带系数融合加权系数，γ为局部方向能量和匹配度阈值，取γ＝0.7，x＝ir or vis，ir为红外图像，vis为可见光图像。
[0015]
上述方法中，当mg(m,n)≤γ时，可以对低频子带系数采取基于局部方向能量和匹配的融合规则，具体包括以下步骤：
[0016]
step1、分别计算源图像x像素点(m,n)在水平h、垂直v和对角d方向上的局部方向能量，计算公式为：
[0017][0018]
式中：i
x
(m,n)为源图像x的像素点(m,n)的灰度值，同理，i
x
(m,n z)、i
x
(m z,n)、i
x
(m z,n z)为对应图像像素点的灰度值，z的取值为-1、1、-2、2，为源图像x像素点(m,n)在水平h、垂直v和对角d方向上的局部方向能量，x＝ir or vis，ir为红外图像，vis为可见光图像；
[0019]
step2、计算局部方向能量和，计算公式为：
[0020][0021]
式中：所选局部区域记为a，尺寸大小为a
×
a，w(m,n)为系数矩阵对应的加权矩阵，为源图像x像素点(m,n)在水平h、垂直v和对角d方向上的局部方向能量，ag
x
(m,n)为源图像x像素点(m,n)的局部方向能量和，x＝ir or vis，ir为红外图像，vis为可见光图像；
[0022]
step3、计算红外和可见光图像的像素点(m,n)的水平h、垂直v及对角d方向上交叉局部方向能量，计算公式为：
[0023][0024]
式中：i
ir
(m,n)为红外图像ir的像素点(m,n)的灰度值，i
vis
(m,n)为可见光图像vis的像素点(m,n)的灰度值，同理，i
ir
(m,n z)、i
vis
(m,n z)、i
ir
(m z,n)、i
vis
(m z,n)、i
ir
(m z,n z)、i
vis
(m z,n z)为对应图像的像素点的灰度值，z的取值为-1、1、-2、2，gh(m,n)、gv(m,n)、gd(m,n)为红外和可见光图像的像素点(m,n)的水平h、垂直v及对角d方向上交叉局部方向能量；
[0025]
step4、根据上述步骤，对低频子带系数c
x
(m,n)进行选择。当mg(m,n)≤γ时，选择局部方向能量和大的图像子带系数作为最终值cf(m,n)，计算公式为：
[0026][0027]
式中：cf(m,n)为融合图像f像素点(m,n)处的低频子带系数，c
ir
(m,n)为红外图像像素点(m,n)处的低频子带系数，c
vis
(m,n)为可见光图像像素点(m,n)处的低频子带系数，g
ir
(m,n)为红外图像像素点(m,n)处的局部方向能量和，g
vis
(m,n)为可见光图像像素点(m,n)处的局部方向能量和，mg(m,n)为像素点(m,n)处的局部方向能量和匹配度，γ为局部方向能量和匹配度阈值，取γ＝0.7。
[0028]
上述方法中，可以根据公式(3)计算交叉红外和可见光图像的交叉局部方向能量和ag(m,n)，然后计算像素点(m,n)的局部方向能量和匹配度，计算公式为：
[0029][0030]
式中：mg(m,n)为像素点(m,n)局部方向能量和匹配度，ag(m,n)为红外和可见光图像像素点(m,n)的交叉局部方向能量和，ag
ir
(m,n)为红外图像像素点(m,n)的局部方向能量
和，ag
vis
(m,n)为可见光图像像素点(m,n)的局部方向能量和。
[0031]
上述方法中，当mg(m,n)＞γ时，可以对剩余低频子带系数采取基于图像显著性的融合规则，具体包括以下步骤：
[0032]
step1、对源图像x中像素点(m,n)使用frequency tuned算法进行显著性检测，然后计算在像素点(m,n)处的显著性值s
x
(m,n)，计算公式为：
[0033][0034]
式中：为源图像x的平均灰度值，为源图像x在像素点(m,n)的灰度值经过frequency tuned算法计算后获得的灰度值，x＝ir or vis，ir为红外图像，vis为可见光图像；
[0035]
step2、对显著性值s
x
(m,n)进行归一化计算后再进行s型曲线对比度拉伸变换，计算公式为：
[0036][0037]
式中：min s
x
和maxs
x
为源图像x的显著性图s
x
的最小和最大灰度值，为像素点(m,n)的显著性值s
x
(m,n)的归一化计算值，为像素点(m,n)的归一化值的拉伸变换计算值，x＝ir or vis，ir为红外图像，vis为可见光图像；
[0038]
step3、根据拉伸变换值的大小，选择源图像x的像素点(m,n)处的低频子带系数融合的权重系数w
x
(m,n)，计算公式为：
[0039][0040]
式中：w
ir
(m,n)为红外图像像素点(m,n)处的低频子带系数融合的权重系数，w
vis
(m,n)为可见光图像像素点(m，n)处的低频子带系数融合的权重系数，为红外图像像素点(m,n)的显著性拉伸变换计算值，为可见光图像像素点(m,n)的显著性拉伸变换计算值；
[0041]
step4、对低频子带系数进行加权融合，获得像素点(m,n)处的融合图像f的低频子带系数cf(m,n)，计算公式为：
[0042]cf
(m,n)＝w
ir
(m,n)
×cir
(m,n) w
vis
(m,n)
×cvis
(m,n)mg(m,n)＞γ
ꢀꢀꢀꢀꢀ
(10)
[0043]
式中：cf(m,n)为融合图像f像素点(m,n)处的低频子带系数，c
ir
(m,n)为红外图像的像素点(m,n)处的低频子带系数，c
vis
(m,n)为可见光图像的像素点(m,n)处的低频子带系数，w
ir
(m,n)为红外图像的像素点(m,n)处的低频子带系数融合的权重系数，w
vis
(m,n)为可见光图像的像素点(m,n)处的低频子带系数融合的权重系数，mg(m,n)为像素点(m,n)处的局部方向能量和匹配度，γ为局部方向能量和匹配度阈值，取γ＝0.7。
[0044]
上述方法中，最高分解层使用基于局部方向对比度的融合规则，其他分解层使用基于局部能量匹配的融合规则，具体包括以下步骤：
[0045]
step1、计算源图像x的最高分解层、i方向、像素点(m,n)处的局部方向对比度公式为：
[0046][0047]
式中：所选局部区域为a，尺寸大小为a
×
a，为源图像x的最高分解层、i方向、像素点(m,n)处的高频带通方向子带系数，为源图像x的低频子带系数在像素点(m,n)处局部区域的平均值，c
x
(m,n)为源图像x像素点(m,n)的低频子带系数，为源图像x的最高分解层、i方向、像素点(m,n)处的局部方向对比度，x＝ir or vis，ir为红外图像，vis为可见光图像；
[0048]
step2、根据局部方向对比度，选择融合图像f最高分解层、i方向、像素点(m,n)处的高频带通方向子带系数公式为：
[0049][0050]
式中：为融合图像的最高分解层、i方向、像素点(m,n)处的高频带通方向子带系数，为红外图像的最高分解层、i方向、像素点(m,n)处的高频带通方向子带系数，为可见光图像的最高分解层、i方向、像素点(m,n)处的高频带通方向子带系数，为红外图像的最高分解层、i方向、像素点(m,n)处的局部方向对比度，为可见光图像的最高分解层、i方向、像素点(m,n)处的局部方向对比度；
[0051]
step3、计算源图像x的其它分解层、j尺度、i方向、像素点(m,n)处局部区域的局部能量进一步确定局部能量匹配度me(m,n)，计算公式为：
[0052][0053]
式中：所选局部区域为a，尺寸大小为a
×
a，w(x,y)为高频带通方向子带系数矩阵对应的加权矩阵，i
x
(m,n)为源图像x的像素点(m,n)的灰度值，同理，i
x
(m
±
x,n
±
y)为对应图像的像素点的灰度值，源图像x的其他分解层、j尺度、i方向、像素点(m,n)处局部区域的局部能量，me(m,n)为像素点(m,n)的局部能量匹配度，x＝ir or vis，ir为红外图
像，vis为可见光图像；
[0054]
step4、根据局部能量匹配度计算高频带通方向子带系数的加权系数w
min
(m,n)、w
max
(m,n)，计算公式为：
[0055][0056]
式中：λ为局部能量匹配度阈值，取λ＝0.7，w
min
(m,n)、w
max
(m,n)为像素点(m,n)的高频带通方向子带系数的加权系数，me(m,n)为像素点(m,n)的局部能量匹配度；
[0057]
step5、获取融合图像f在其他分解层、j尺度、i方向、像素点(m,n)处的高频带通方向子带系数计算公式为：
[0058][0059]
式中：为融合图像的其他分解层、i方向、像素点(m,n)处的高频带通方向子带系数，为红外图像的其他分解层、i方向、像素点(m,n)处的高频带通方向子带系数，为可见光图像的其他分解层、i方向、像素点(m,n)处的高频带通方向子带系数，w
min
(m,n)、w
max
(m,n)为像素点(m,n)的高频带通方向子带系数的加权系数，me(m,n)为像素点(m,n)的局部能量匹配度，λ为局部能量匹配度阈值，取λ＝0.7，为红外图像的其他分解层、j尺度、i方向、像素点(m,n)处局部区域的局部能量，为可见光图像的其他分解层、j尺度、i方向、像素点(m,n)处局部区域的局部能量。
[0060]
本发明提供的基于频带系数分解的图像融合方法及系统，用于提高驾驶人员的视觉观察水平，此过程中，能够有效的减弱夜间、雨天等复杂气象条件对驾驶人员视觉观感的影响，融合图像清晰度和分辨率较高，避免交通事故的发生。
[0061]
本发明与现有计术相比具有以下主要优点：
[0062]
(1)结构简单，易于安装。
[0063]
(2)提出一种基于频带系数分解的图像融合方法，低频子带系数采取方向能量和—显著性的融合规则，高频带通方向子带系数采取方向对比度—能量匹配的融合规则。红外图像和可见光图像的信息丢失较少。
[0064]
(3)融合后图像清晰度、分辨率等较高，适合人眼观察，有利于改善驾驶人员的识别性能。
[0065]
(4)在夜间、雨天等复杂气象条件下融合图像具有较好的视觉效果，大幅度提高汽车在复杂气象条件下行车的安全性。
附图说明
[0066]
图1是本发明系统总体结构框图。
[0067]
图2是本发明的系统单次工作流程框图。
[0068]
图3是本发明的图像融合方法工作流程框图。
具体实施方式
[0069]
本发明涉及一种基于频带系数分解的图像融合方法及系统。目的在于提供一种新型的、安装简便且准确率较高的图像融合方法及系统。实现图像融合系统的步骤是：安装红外热像仪、可见光摄像机和车载电脑，实现系统初始化，红外热像仪和可见光摄像机实时同步采集红外图像和可见光图像，车载电脑读取图像、预处理图像、基于频带系数分解融合图像、输出融合图像。本发明能够有效的减弱夜间、雨天等复杂气象条件对驾驶人员视觉观感的影响，融合图像清晰度和分辨率较高，具有较高的实用价值。
[0070]
下面结合实施例及附图对本发明作进一步说明，但不限定本发明。
[0071]
本发明提供的基于频带系数分解的图像融合系统，如图1所示，包括两个模块。第一模块为图像采集模块，设有红外热像仪和可见光摄像机；第二模块为图像融合模块，设有车载电脑。两个模块之间借助网线进行连接。
[0072]
所述红外热像仪、可见光摄像机可以选用型号ds-2td5566t-15/v2双光谱mini云台摄像机，供电电压为直流24v，原始分辨率640*512，支持镜像、视频输出。或者，依据实际情况选用。
[0073]
所述车载电脑可以选用型号dlt-v72 facelift车载终端，供电电压为直流12v，支持waln无线网络连接，支持windows操作系统。或者，依据实际情况选用。
[0074]
所述车载电脑和云台摄像机由车载电源直接或间接进行供电。
[0075]
所述云台摄像机安装于车顶，车载电脑安装于汽车驾驶座仪表板下方，连接车载电源进行供电。云台摄像机使用网线与车载电脑连接，车载电脑连接waln无线局域网，对云台摄像机进行功能配置和参数设置，完成云台摄像机的激活及配置。
[0076]
本发明提供的基于频带系数分解的图像融合系统，具体工作流程如图2所示：
[0077]
step1、进行系统初始化。
[0078]
step2、云台摄像机开始工作，实时采集图像，通过网线传输图像数据给车载电脑。
[0079]
step3、车载电脑接收红外图像和可见光图像，并对图像进行灰度化、降噪、配准等处理。
[0080]
step4、车载电脑读取处理后的红外图像和可见光图像。
[0081]
step5、车载电脑对读取的红外图像和可见光图像进行图像融合。即对图像进行nsst频带系数分解，获取对应图像的低频子带和高频带通方向子带，低频部分先采用基于局部方向能量和匹配的融合规则、后采用基于图像显著性的融合规则进行低频子带系数融合，高频部分采用最高分解层使用基于局部方向对比度的融合规则、其他分解层使用基于局部能量匹配的融合规则进行高频带通子带系数融合，最后将融合后的子带系数进行系数逆变换，获得融合图像。
[0082]
step6、车载电脑对融合图像进行输出，并在显示器上进行显示。
[0083]
step7、单次系统工作结束。
[0084]
本发明图像融合系统按照上述步骤循环工作，根据用户设置的10-15ms间隔时间显示融合图像，实时更新。
[0085]
本发明提供的基于频带系数分解的图像融合方法，如图3所示，包括以下步骤：
[0086]
step1、读取红外图像ir和可见光图像vis。
[0087]
step2、对读取的红外图像ir和可见光图像vis进行nsst频带系数分解，以获取低频子带系数c
x
(m,n)和高频带通方向子带系数，进一步对高频带通方向子带系数划分为最高分解层高频带通方向子带系数和其他分解层高频带通方向子带系数(x＝ir or vis，ir为红外图像，vis为可见光图像，i为方向级数，j为尺度级数)。
[0088]
step3、对于低频子带系数，先采用基于局部方向能量和匹配的融合规则，后采取基于图像显著性的融合规则，以获取融合图像f的低频子带系数，总体计算公式为：
[0089][0090]
式中：cf(m,n)为融合图像f像素点(m,n)处的低频子带系数，c
ir
(m,n)为红外图像像素点(m,n)处的低频子带系数，c
vis
(m,n)为可见光图像像素点(m,n)处的低频子带系数，g
ir
(m,n)为红外图像像素点(m,n)处的局部方向能量和，g
vis
(m,n)为可见光图像像素点(m,n)处的局部方向能量和，w
x
(m,n)为源图像x像素点(m,n)处的低频子带系数融合加权系数，mg(m,n)为像素点(m,n)处的局部方向能量和匹配度，γ为局部方向能量和匹配度阈值，取γ＝0.7，x＝ir or vis，ir为红外图像，vis为可见光图像；
[0091]
step4、首先，对低频子带系数采取基于局部方向能量和匹配的融合规则，具体过程如下：
[0092]
step4-1、在源图像x低频子带中某一像素点(m,n)处取一局部区域a，尺寸大小为a
×
a。定义局部方向能量等于该区域内的固定方向上的灰度值与选定灰度值的差值平方的累加和，分别计算该像素点(m,n)在该局部区域内水平、垂直和对角方向上的局部方向能量直和对角方向上的局部方向能量计算公式如下：
[0093][0094]
式中：i
x
(m,n)为源图像x的像素点(m,n)的灰度值，同理，i
x
(m,n z)、i
x
(m z,n)、i
x
(m z,n z)为对应像素点的灰度值，z的取值为-1、1、-2、2，为源图像x像素点(m,n)在水平h、垂直v和对角d方向上的局部方向能量，x＝ir or vis，ir为红外图像，vis为可见光图像；
[0095]
step4-2、源图像x的像素点(m,n)的局部方向能量和等于窗口区域的各个方向能量相加，根据上述计算结果，计算像素点(m,n)在局部区域内的局部方向能量和，计算公式如下：
[0096]
[0097]
式中：为源图像x像素点(m,n)在水平h、垂直v和对角d方向上的局部方向能量，ag
x
(m,n)为源图像x像素点(m,n)的局部方向能量和，所选局部区域记为a，尺寸大小为a
×
a，为了使计算结果更加准确，将局部方向能量和除去局部区域的大小，避免局部区域大小对计算结果的干扰，另外，为了减少图像噪声对计算结果的影响，需要对局部方向能量和进行加权处理，令w(m,n)为子带系数矩阵对应的加权系数矩阵，x＝ir or vis，ir为红外图像，vis为可见光图像；
[0098]
step4-3、计算交叉局部方向能量，定义交叉局部方向能量等于红外图像ir和可见光图像vis低频子带中像素点(m,n)所在局部区域a内在某一方向上的灰度值与选定灰度值i
x
(m,n)的差值乘积，计算像素点(m,n)在邻域内水平、垂直和对角方向上的交叉局部方向能量gh(m,n)、gv(m,n)、gd(m,n)，计算公式如下：
[0099][0100]
式中：i
ir
(m,n)为红外图像ir的像素点(m,n)的灰度值，i
vis
(m,n)为可见光图像vis的像素点(m,n)的灰度值，同理，i
ir
(m,n z)、i
vis
(m,n z)、i
ir
(m z,n)、i
vis
(m z,n)、i
ir
(m z,n z)、i
vis
(m z,n z)为对应图像的像素点的灰度值，z的取值为-1、1、-2、2，gh(m,n)、gv(m,n)、gd(m,n)为红外和可见光图像的像素点(m,n)的水平h、垂直v及对角d方向上交叉局部方向能量；
[0101]
进一步，根据公式(3)计算像素点(m,n)所在局部区域内交叉局部方向能量和ag(m,n)。
[0102]
step4-4、定义像素点(m,n)所在邻域内局部方向能量和匹配度mg(m,n)，近似为两局部方向能量和的相似程度，计算图像的局部方向能量和匹配度，计算公式如下：
[0103][0104]
式中：mg(m,n)为像素点(m,n)的局部方向能量和匹配度，ag(m,n)为像素点(m,n)的红外和可见光图像像素点(m,n)的交叉局部方向能量和，ag
ir
(m,n)为红外图像像素点(m,n)的局部方向能量和，ag
vis
(m,n)为可见光图像像素点(m,n)的局部方向能量和；
[0105]
step3-5、结合以上步骤对红外图像ir和可见光图像vis的低频子带系数进行选择。mg(m,n)的取值范围是[0,1]，给的一个局部方向能量和匹配度阈值γ，取γ＝0.7。比较γ和mg(m,n)的大小，若mg(m,n)≤γ时，根据红外图像ir和可见光图像vis的局部方向能量和的大小选择融合图像f的低频子带系数，即选择局部方向能量和大的图像的低频子带系数作为最终值，获取融合图像f的低频子带系数cf(m,n)，计算公式如下：
[0106][0107]
式中：cf(m,n)为融合图像f像素点(m,n)处的低频子带系数，c
ir
(m,n)为红外图像像素点(m,n)处的低频子带系数，c
vis
(m,n)为可见光图像像素点(m,n)处的低频子带系数，g
ir
(m,n)为红外图像像素点(m,n)处的局部方向能量和，g
vis
(m,n)为可见光图像像素点(m,n)处的局部方向能量和，mg(m,n)为像素点(m,n)处的局部方向能量和匹配度，γ为局部方
向能量和匹配度阈值，取γ＝0.7；
[0108]
step5、若mg(m,n)＞γ时，对剩余的低频子带系数采用基于图像显著性的融合规则，具体过程如下：
[0109]
step5-1、使用frequency tuned算法分别对红外图像ir和可见光图像vis进行显著性检测。对源图像x中像素点(m,n)使用frequency tuned算法进行显著性检测，然后计算在像素点(m,n)处的显著性值s
x
(m,n)，计算公式为：
[0110][0111]
式中：为源图像x的平均灰度值，为源图像x在像素点(m,n)的灰度值经过frequency tuned算法计算后获得的灰度值，x＝ir or vis，ir为红外图像，vis为可见光图像；
[0112]
step5-2、对显著性值s
x
(m,n)分别进行归一化计算和s型曲线对比度拉伸变换，计算公式为：
[0113][0114]
式中：min s
x
和maxs
x
为源图像x的显著性图s
x
的最小和最大灰度值，为源图像x像素点(m,n)的显著性值s
x
(m,n)的归一化计算值，为源图像x像素点(m,n)的归一化值的拉伸变换计算值，x＝ir or vis，ir为红外图像，vis为可见光图像；
[0115]
step5-3、根据拉伸变换值的大小，选择源图像x的像素点(m,n)处的低频子带系数融合的权重系数w
x
(m,n)，即选定值大的图像，取该图像的值作为该低频子带系数的加权系数w
x
(m,n)，另一图像的低频子带系数的加权系数为1-w
x
(m,n)，计算公式如下：
[0116][0117]
式中：w
ir
(m,n)为红外图像的像素点(m,n)处的低频子带系数融合的权重系数，w
vis
(m,n)为可见光图像图像的像素点(m,n)处的低频子带系数融合的权重系数，为红外图像的像素点(m,n)的显著性拉伸变换计算值，为可见光图像的像素点(m,n)的显著性拉伸变换计算值；
[0118]
step5-4、综合以上步骤，当mg(m,n)＞γ时，对红外图像ir和可见光图像vis的低频子带系数采用基于图像显著性的融合规则，即对低频子带系数进行加权融合，获得像素点(m,n)处的融合图像f的低频子带系数cf(m,n)，计算公式如下：
[0119]cf
(m,n)＝w
ir
(m,n)
×cir
(m,n) w
vis
(m,n)
×cvis
(m,n)mg(m,n)＞γ
ꢀꢀꢀ
(10)
[0120]
式中：cf(m,n)为融合图像f像素点(m,n)处的低频子带系数，c
ir
(m,n)为红外图像
的像素点(m,n)处的低频子带系数，c
vis
(m,n)为可见光图像的像素点(m,n)处的低频子带系数，w
ir
(m,n)为红外图像的像素点(m,n)处的低频子带系数融合的权重系数，w
vis
(m,n)为可见光图像的像素点(m,n)处的低频子带系数融合的权重系数，mg(m,n)为像素点(m,n)处的局部方向能量和匹配度，γ为局部方向能量和匹配度阈值，取γ＝0.7；
[0121]
step6、对于高频带通方向子带系数，对最高分解层的高频带通方向子带系数采用基于局部方向对比度的融合规则，其他分解层的高频带通方向子带系数采用基于局部能量匹配的融合规则，以获取融合图像f的高频带通方向子带系数包括以下步骤：
[0122]
step7、首先对最高分解层的高频带通方向子带系数采用基于局部方向对比度的融合规则，具体过程如下：
[0123]
step7-1、定义最高分解层局部方向对比度为该方向上的高频带通方向子带系数除以低频子带系数的均值的绝对值。在最高分解层子带图像上一像素点(m,n)处取一局部区域，计算源图像x的最高分解层、i方向、像素点(m,n)处的局部方向对比度计算公式如下：
[0124][0125]
式中：所选局部区域为a，尺寸大小为a
×
a，为源图像x的最高分解层、i方向、像素点(m,n)处的高频带通方向子带系数，为源图像x的低频子带系数在像素点(m,n)处局部区域的平均值，为源图像x的最高分解层、i方向、像素点(m,n)处的局部方向对比度，c
x
(m,n)为源图像x像素点(m,n)处的的低频子带系数，x＝ir or vis，ir为红外图像，vis为可见光图像；
[0126]
step7-2、结合上述步骤，对比最高分解层像素点(m,n)处的局部方向对比度进行高频带通方向子带系数选择，即选择局部方向对比度值大的图像的高频带通方向子带系数作为最终值，获计算最高分解层的高频带通方向子带系数计算公式如下：
[0127][0128]
式中：为融合图像的最高分解层、i方向、像素点(m,n)处的高频带通方向子带系数，为红外图像的最高分解层、i方向、像素点(m,n)处的高频带通方向子带系数，为可见光图像的最高分解层、i方向、像素点(m,n)处的高频带通方向子带系数，为红外图像的最高分解层、i方向、像素点(m,n)处的局部方向对比度，为可见光图像的最高分解层、i方向、像素点(m,n)处的局部方向对比度；
[0129]
step8、对于其他分解层的高频带通方向子带系数采取基于局部能量匹配的融合规则，具体过程如下：
[0130]
step8-1、在高频带通方向子带中一像素点(m,n)处取一局部区域a，尺寸大小为a
×
a，计算源图像x的其他分解层、j尺度、i方向、像素点(m,n)处局部区域a的局部能量进一步，定义局部能量匹配度，表征两图像局部能量的相似程度，计算在像素点(m,n)处的局部能量匹配度me(m,n)，计算公式为：
[0131][0132]
式中：i
x
(m,n)为源图像x的像素点(m,n)的灰度值，同理，i
x
(m
±
x,n
±
y)为对应图像的像素点的灰度值，源图像x的其他分解层、j尺度、i方向、像素点(m,n)处局部区域a的局部能量，me(m,n)为像素点(m,n)处的局部能量匹配度，为了减少图像噪声对计算结果的影响，需要对局部方向能量和进行加权处理，令w(x,y)为高频带通方向子带系数矩阵对应的加权矩阵，x＝ir or vis，ir为红外图像，vis为可见光图像；
[0133]
step8-2、根据step4-3的局部能量匹配度确定红外图像ir和可见光图像vis高频带通方向子带系数的加权系数w
min
(m,n)、w
max
(m,n)，计算公式如下：
[0134][0135]
式中：λ为局部能量匹配度阈值，取λ＝0.7，w
min
(m,n)、w
max
(m,n)为像素点(m,n)处的高频带通方向子带系数的加权系数，me(m,n)为像素点(m,n)处的局部能量匹配度；
[0136]
step8-3、综合上述步骤，对红外图像ir和可见光图像vis的其他分解层的高频带通方向子带系数进行融合，当me(m,n)≤λ时，根据图像的局部能量的大小选择高频带通方向子带系数，即选择局部能量大的图像的高频带通方向子带系数作为结果；当me(m,n)＞λ时，根据图像的局部能量匹配度确定高频带通方向子带系数的加权比重系数，进行相应高频带通方向子带系数的加权融合，计算融合图像f在其他分解层、j尺度、i方向、像素点(m,n)处的高频带通方向子带系数计算公式为：
[0137][0138]
式中：为融合图像的其他分解层、i方向、像素点(m,n)处的高频带通方向子带系数，为红外图像的其他分解层、i方向、像素点(m,n)处的高频带通方向子带系数，为可见光图像的其他分解层、i方向、像素点(m,n)处的高频带通方向子带系
数，w
min
(m,n)、w
max
(m,n)为像素点(m,n)处的高频带通方向子带系数的加权系数，为红外图像的其他分解层、j尺度、i方向、像素点(m,n)处局部区域a的局部能量，为可见光图像的其他分解层、j尺度、i方向、像素点(m,n)处局部区域a的局部能量，me(m,n)为像素点(m,n)处局部能量匹配度，λ为局部能量匹配度阈值，取λ＝0.7；
[0139]
step9、根据上述步骤获得的低频子带系数cf(m,n)和高频带通方向子带系数进行系数逆变换，获取融合图像f。
[0140]
本发明提供的基于频带系数分解的图像融合方法及系统，具有以下特点：
[0141]
1.提出一种基于频带系数分解的图像融合方法，低频子带系数采取方向能量和—显著性的融合规则，高频带通方向子带系数采取方向对比度—能量匹配的融合规则。
[0142]
2.提出一种低频子带系数融合方法，即先采用基于局部方向能量和匹配的融合规则、后采用基于图像显著性的融合规则进行低频子带系数融合。
[0143]
3.提出一种高频带通方向子带系数融合方法，即采用最高分解层使用基于局部方向对比度的融合规则、其他分解层使用基于局部能量匹配的融合规则进行高频带通方向子带系数融合。
[0144]
4.本发明的基于频带系数分解的图像融合系统结构简单，安装方便，最终融合图像信息较为精准，不受气象条件影响，既保留了红外图像的显著目标特征，又保留了可见光图像清晰的背景细节信息。
[0145]
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各自变化，均为本发明的保护范围。