基于改进双边滤波的红外弱小目标预处理方法及装置

1.本发明涉及红外图像预处理技术，属于红外目标探测技术领域，具体涉及一种基于改进双边滤波的红外弱小目标预处理方法及装置。


背景技术：

2.红外成像系统具有不受光照影响、可昼夜工作、隐蔽性好等优势，随着社会经济和科学技术的发展，红外小目标检测技术已经被广泛地应用于红外制导、红外预警、无人机探测和安防监控等领域。因此，作为该技术的关键技术，红外弱小目标图像预处理技术对于该技术的发展进步具有至关重要的作用。
3.红外弱小目标图像预处理技术主要是从噪声削弱和背景抑制这两方面入手的。由于背景杂波的干扰是影响弱小目标检测的主要因素，因此常用的红外图像预处理方法以背景抑制为主。
4.近几十年来，国内外学者提出了众多的红外弱小目标图像预处理算法。按信号形式的不同，图像预处理算法可分为时间域、空间域和变换域算法三类。
5.空间域图像预处理是在图像空间中借助模板进行邻域操作，模板本身被称为空域滤波器，处理后图像中的每一个像素都是根据模板对输入像素相应邻域内的像素值进行计算得到的。空域滤波方法具有良好的实时性，易于硬件实时实现，但是图像处理受条件限制或者处理效果不佳。
6.时间域图像预处理利用红外图像帧频高，图像背景具有帧间短时平稳性这一特性有效抑制背景。时间域图像预处理的前提是认为图像背景短时间内变化不大，当图像具有快速变化且非平稳的背景时，其对背景的抑制效果不够理想。同时，时域方法较其它方法多了一维时间数据，故该算法运算量较大，实时效果差。
7.变换域图像预处理技术首先将红外图像转换至变换域，得到含有不同频率信号的频谱图，对频谱图进行滤波操作，通过抑制低频信号实现背景抑制，增强高频信号来实现目标增强，最后将处理结果傅里叶反变换至空间域。变换域图像预处理方法处理效果较好，但存在不同域之间正逆变换，因此运算量较大。
8.目前研究者们已经针对不同背景提出了对应目标检测的方法，对某种特定的背景而言，某些方法的背景抑制效果很好，但对其他复杂背景的抑制效果不佳。对于天空或者海域等简单背景下的红外弱小目标检测算法研究已经取得较好成果。而近地背景的小目标检测算法目前还没有形成较好的一体化方法。这主要是因为相较于天空和海面，近地面场景中的杂波更强，对目标检测的干扰更大，因此对红外图像预处理算法的处理效果和实时性要求变得更高。
9.总而言之，现有研究存在的问题是，传统的红外弱小目标图像预处理方法主要是针对空中和海面场景的，近地背景较为复杂，光照变化和强杂波的存在使得图像处理更具挑战性，因此现有算法不在满足日益增加的图像质量要求和实时性要求。随着算法复杂度的提高，为了便于后续目标的检测和跟踪，现有算法需要提高目标与背景的局部信噪比，并
且对应提高算法的实时性。


技术实现要素：

10.本发明要解决的主要技术问题在于，提供一种实时性高，能提高目标与背景局部信噪比的红外弱小目标预处理方法，以满足目标的检测和跟踪要求。
11.本发明的目的可以通过以下技术方案来实现：
12.根据本发明的第一方面，本发明提供了一种基于改进双边滤波的红外弱小目标预处理方法，包括以下步骤：
13.s1、获取红外图像，并将所述红外图像中背景与噪声部分类比为雾天图像中有雾部分，通过图像去雾算法暗化有雾部分，得到背景抑制的暗图像；
14.s2、对双边滤波算法进行改进，包括：
15.通过聚类和插值的方法优化高维双边滤波算法框架；
16.通过移位和聚类计算范围内核的近似值；
17.将所述近似值代入优化后的框架，并用快速卷积的加权组合近似高维滤波以加速算法运算；
18.设定双边滤波算法的空间域核、范围内核为各向同性高斯范围核，得到改进的双边滤波算法；
19.通过所述改进的双边滤波算法对所述背景抑制的暗图像进行处理，得到目标与背景局部信噪比增强的暗图像。
20.优选地，步骤s1包括：
21.s11、红外图像建模：将红外图像模型类比为大气散射模型，将红外图像的处理过程类比为雾天图像的退化过程，其数学模型为公式一：
22.i(y)＝j(y)t(y) a(1-t(y))
23.其中y为像素点的坐标；i(y)为有雾的观测图像，j(y)为无雾的理想图像，即背景抑制的暗图像，a为大气光强度，t(y)为大气光透射率；
24.s12、暗图像假设：根据彩色图像的暗原色先验理论，将红外图像中背景与噪声部分类比为雾天图像中有雾部分，假设在结果图像中除了大面积天空部分，其他部分的某一局部区域，总存在一些灰度值近似于零的像素，其数学表达式为公式二：
25.j
dark
＝min{j(y),y∈m}
→026.式中，m为选取的局部区域，j
dark
为背景抑制的暗图像的暗原色；
27.s13、透射率估计：根据红外图像数学模型，做最小值滤波处理，得到公式三：
[0028][0029]
根据暗通道假设作进一步处理，得到大气光透射率t(y)的初步估计公式为公式四：
[0030][0031]
在实际处理中，考虑到暗原色满足不小于0的灰度下限，即j
dark
≥0，透射率t(y)计算结果偏小，因此在公式四中引入修正因子λ，使得0＜λ＜1，得到透射率t(y)的最终估计公
式为公式五：
[0032][0033]
s14、暗图像计算：将透射率的最终估计公式代入红外图像数学模型中，得到背景抑制的暗图像j(y)的表达式为公式六：
[0034][0035]
优选地，步骤s14背景抑制的暗图像j(y)的表达式公式六中，大气光强度a的估计方法包括：
[0036]
采用暗通道去雾算法中的估计方法：先取j
dark
中灰度值最大的前0.1％的像素点，再取这部分像素点在原图像i(y)中灰度的最大值作为大气光强度a。
[0037]
优选地，步骤s2包括：
[0038]
s21、框架优化：通过聚类和插值的量化方法优化高维双边滤波算法框架，包括：
[0039]
令输入数据为f:ω
→
[0,r]n，其中是空间域，[0,r]n是值域，d和n分别是f的空间域和值域的维度；设p是用于控制滤波的引导图像，p(ι)是像素ι的空间邻域，从ι周围的补丁中提取，ρ是p的值域空间的维数；输出g:ω
→
[0,r]n由公式七给出：
[0040][0041]
在像素ι的空间邻域中选取窗口w，在窗口w上执行上式中的聚合，即w＝[-s,s]d，而j代表的是窗口w中的任一像素，即j∈w，其中s是窗口长度，为单变量高斯核，为空间域核，为范围内核，空间域核w(j)被用于度量像素ι-j到像素ι的空间邻近度，范围内核被用来度量邻域p(ι-j)和邻域p(ι)之间的像素邻近度；
[0042]
s22、近似值计算：包括：
[0043]
s221、对引导图像p的范围空间θ进行聚类，聚类中心为μk；
[0044]
其中θ＝{p(ι):ι∈ω}是分割范围空间，可以分为集群c1,....,ck，其中k表示集群的数量，且设置μk为ck的质心，1≤k≤k，变量x为邻域p(ι-j)中的一个元素，也即x∈{p(ι-j):j∈w}，对于每一个像素ι，均满足公式八：
[0045][0046]
s223、建立矩阵g并计算其伪逆
[0047]
求解公式八两边的最小值，并且对集合λ进行拟合得到公式九，其中λ＝{μ1,....,μk}：
[0048]
[0049]
根据公式八左侧构建矩阵像素根据公式八右侧构建矩阵用矩阵表示法将公式九简化表示为公式十：
[0050][0051]
s224、公式十的解为其中是g的伪逆，即得到范围内核的近似值；
[0052]
s23、快速卷积的加权组合近似高维滤波：
[0053]
用s22计算得到的近似值替换公式七中的范围内核，对于1≤k≤k，将公式七中的分子定义为分母定义为具体见公式十一、十二：
[0054][0055][0056]
并且构建矩阵uk(ι)＝bk(ι)f(ι)，则公式十一、十二表示为卷积的形式，如公式十三、十四：
[0057][0058][0059]
则将s21中公式七表示为公式十五：
[0060][0061]
s24、设置滤波核：使用各向同性高斯距离核来进行双边滤波，即得到改进的双边滤波算法；
[0062][0063]
w(ι)＝exp(-||ι||2)/2σ
2s
[0064]
其中标准偏差σr用于控制范围内核的有效宽度，的输入是差值n＝p(ι)-p(ι-j)，其中标准偏差σs用于控制空间域核的有效宽度，双边滤波的滤波器宽度为s＝3σs；通过所述改进的双边滤波算法对所述背景抑制的暗图像进行处理，得到目标与背景局部信噪比增强的暗图像。
[0065]
优选地，在步骤s2之后，还包括：计算评价指标对改进的双边滤波效果进行性能评价，评价指标包括：峰值信噪比、结构相似性和局部信噪比。
[0066]
根据本发明的另一方面，本发明提供了一种基于改进双边滤波的红外弱小目标预处理装置，包括：
[0067]
背景抑制模块，用于获取红外图像，并将所述红外图像中背景与噪声部分类比为雾天图像中有雾部分，通过图像去雾算法暗化有雾部分，得到背景抑制的暗图像；
[0068]
改进双边滤波模块，用于对双边滤波算法进行改进，通过改进的双边滤波算法对
所述背景抑制的暗图像进行处理，得到目标与背景局部信噪比增强的暗图像；
[0069]
所述改进双边滤波模块，具体用于：
[0070]
通过聚类和插值的方法优化高维双边滤波算法框架；
[0071]
通过移位和聚类来计算范围内核的近似值；
[0072]
将所述近似值代入优化后的框架，并用快速卷积的加权组合近似高维滤波以加速算法运算；
[0073]
设定双边滤波的空间核、范围内核为各向同性高斯范围核。
[0074]
优选地，还包括：性能评价模块，用于计算评价指标对改进的双边滤波效果进行性能评价，评价指标包括：峰值信噪比、结构相似性和局部信噪比。
[0075]
本发明提供的技术方案带来的有益效果为：
[0076]
1.提高算法速度
[0077]
使用快速卷积的加权组合来近似高维滤波，高斯的加权和移位来局部近似核，通过以上两点来提高运算速度。将处理一张256*256大小图片的时间降低到0.6518s。
[0078]
2.提高局部信噪比
[0079]
通过双边滤波和暗通道去雾算法进行去噪，达到抑制背景和提高目标与背景局部信噪比的目的。将目标与背景的局部信噪比提升了约3db。
附图说明
[0080]
下面将结合附图及实施例对本发明作进一步说明，附图中：
[0081]
图1为本发明基于改进双边滤波的红外弱小目标预处理方法的流程图；
[0082]
图2为暗通道去雾算法处理结果图像与原图的二维灰度直方图比较图；其中，图2(a)为原始红外图像的二维灰度直方图；图2(b)为暗通道去雾算法处理结果图像的二维灰度直方图；
[0083]
图3为本发明基于改进双边滤波的红外弱小目标预处理方法各阶段的图像结果以及相关算法图像处理结果；其中，图3(a)为原始红外图像；图3(b)为暗通道去雾算法(dark channel prior，dcp)处理后的图像；图3(c)为暗通道去雾和原始双边滤波方法(bilateral filter，bf)处理后的图像；图3(d)为暗通道去雾和改进双边滤波方法(improved bilateral filter，ibf)处理后的图像；
[0084]
图4为本发明基于改进双边滤波的红外弱小目标预处理装置的结构图。
具体实施方式
[0085]
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
[0086]
实验在windows10操作系统下(intel(r)core(tm)运用matlab2020a软件完成，本实施例的图像数据来源于地/空背景下红外图像弱小飞机目标检测跟踪数据集，选择大小为256*256像素，地空交叉背景data20中的单目标图像进行实验。
[0087]
采取的评价指标包括计算峰值信噪比(peak signal to noise ratio，psnr)、结构相似性(structural similarity index，ssim)、局部信噪比(local signal noise ratio，lsnr)。
[0088]
其中峰值信噪比(psnr)表示信号最大功率和影响它的表示精度的噪声功率的比值，在图像领域通常用作衡量图像失真或是噪声水平的客观标准。计算公式如下：
[0089][0090]
其中mse为真实图像与含噪图像之差的能量均值，而两者的差即为噪声，图像像素点数值以量化方式保存，bits即每个像素点存储所占的位数。
[0091]
结构相似性(ssim)通过对比图像判断结果图像与原图像辐射分布是否一致，计算公式如下：
[0092][0093]
其中，f代表原始图像，f'为预测图像，ef和e
f'
分别代表对应图像的均值，σf和σ
f'
分别代表对应图像的协方差，ε1和ε2为常数，一般取0.01；
[0094]
描述图像中弱小目标的信噪比被称为图像的局部信噪比(lsnr)，计算公式如下：
[0095]
lsnr＝10log
10
(e
r-eb)/σb[0096]
其中er为目标区域的均值；eb为背景区域的均值；σb为背景区域的标准差。
[0097]
参考图1，图1为本发明基于改进双边滤波的红外弱小目标预处理方法的流程图，详细步骤如下：
[0098]
s1、背景抑制：获取红外图像，将所述红外图像中背景与噪声部分类比为雾天图像中有雾部分，通过图像去雾算法暗化有雾部分，从而得到背景抑制的暗图像。具体过程可分为红外图像建模、暗图像假设、透射率估计和暗图像计算这四个步骤。
[0099]
s11、红外图像建模：将红外图像模型类比为大气散射模型，将红外图像的处理过程类比为雾天图像的退化过程，其数学模型为：
[0100]
i(y)＝j(y)t(y) a(1-t(y))(1)
[0101]
其中y为像素点的坐标；i(y)为有雾的观测图像，j(y)为无雾的理想图像，即背景抑制的暗图像，a为大气光强度，t(y)为大气光透射率；
[0102]
s12、暗图像假设：根据彩色图像的暗原色先验理论，将红外图像中背景与噪声部分类比为雾天图像中有雾部分，假设在结果图像中除了大面积天空部分，其他部分的某一局部区域，总存在一些灰度值近似于零的像素，其数学表达式为：
[0103]jdark
＝min{j(y),y∈m}
→
0(2)
[0104]
式中j(y)为无雾的理想图像，称为背景抑制的暗图像；m为选取的局部区域，j
dark
为暗图像的暗原色；
[0105]
s13、透射率估计：根据红外图像数学模型，做最小值滤波处理，得到：
[0106][0107]
根据暗通道假设作进一步处理，得到大气光透射率t(y)的初步估计公式为：
[0108][0109]
在实际处理中，考虑到暗原色满足不小于0的灰度下限，即j
dark
≥0，透射率t(y)计
算结果偏小，因此在公式四中引入修正因子λ，使得0＜λ＜1，得到透射率t(y)的最终估计公式为：
[0110][0111]
s14、暗图像计算：将透射率的最终估计公式代入红外图像数学模型中，得到暗图像j(y)的表达式为：
[0112][0113]
在步骤s14暗图像j(y)的表达式(6)中，大气光强度a的估计方法包括：
[0114]
采用暗通道去雾算法中的估计方法：先取j
dark
中灰度值最大的前0.1％的像素点，再取这部分像素点在原图像i(y)中灰度的最大值作为大气光强度a。
[0115]
步骤s1背景抑制的效果如图2(a)和图2(b)所示，从客观指标分析可知，原始图像的灰度值分布[0.2,1]区间，重点分布在[0.25,0.65]区间，而去雾图像的灰度值分布范围更广，遍布在[0,1]区间，重点分布在[0,0.3]区间。灰度值越低，图像越暗，背景部分像素值普遍降低，这说明暗通道去雾使背景得到了有效的抑制。
[0116]
如图3(b)所示，从主观效果来看，经暗图像处理后的图像清晰度得以提高，陆地背景部分得到了明显的抑制，增强了红外弱小目标的局部对比度。
[0117]
s2、改进双边滤波：该算法首先通过聚类和插值的方法优化框架，然后通过移位和聚类来计算范围内核的近似值，接着将该近似值代入得到的优化框架，并用快速卷积的加权组合近似高维滤波以加速算法运算，最后设定双边滤波的空间域核和范围内核为各向同性高斯范围核。则用该算法处理经过s1背景抑制处理的图像，得到目标与背景局部信噪比增强的暗图像。
[0118]
步骤s2包括：
[0119]
s21、框架优化：通过聚类和插值的量化方法优化高维双边滤波算法框架，包括：
[0120]
令输入数据为f:ω
→
[0,r]n，其中是空间域，[0,r]n是值域，d和n分别是f的空间域和值域的维度；设p是用于控制滤波的引导图像，p(ι)是像素ι的空间邻域，从ι周围的补丁中提取，ρ是p的值域空间的维数；输出g:ω
→
[0,r]n由以下给出：
[0121][0122]
在像素ι的空间邻域中选取窗口w，在窗口w上执行上式中的聚合，即w＝[-s,s]d，而j代表的是窗口w中的任一像素，即j∈w，其中s是窗口长度，为单变量高斯核，为空间域核，为范围内核，空间域核w(j)被用于度量像素ι-j到像素ι的空间邻近度，范围内核被用来度量邻域p(ι-j)和邻域p(ι)之间的像素邻近度；
[0123]
s22、近似值计算：包括：
[0124]
s221、对引导图像p的范围空间θ进行聚类，聚类中心为μk；
[0125]
其中θ＝{p(ι):ι∈ω}是分割范围空间，可以分为集群c1,....,ck，其中k表示集群的数量，且设置μk为ck的质心，1≤k≤k，变量x为邻域p(ι-j)中的一个元素，也即x∈{p(ι-j):j∈w}，对于每一个像素ι，均满足：
[0126][0127]
s223、建立矩阵g并计算其伪逆
[0128]
求解公式(8)两边的最小值，并且对集合λ进行拟合得到公式(9)，其中λ＝{μ1,....,μk}：
[0129][0130]
根据公式(8)左侧构建矩阵像素根据公式(8)右侧构建矩阵用矩阵表示法将公式(9)简化表示为：
[0131][0132]
s224、公式(10)的解为其中是g的伪逆，即得到范围内核的近似值；
[0133]
s23、快速卷积的加权组合近似高维滤波：
[0134]
用s22计算得到的近似值替换公式(7)中的范围内核，对于1≤k≤k，将公式(7)中的分子定义为分母定义为具体见公式(11)、(12)：
[0135][0136][0137]
并且构建矩阵uk(ι)＝bk(ι)f(ι)，则公式(11)、(12)表示为卷积的形式：
[0138][0139][0140]
则将s21中公式(7)表示为：
[0141][0142]
s24、设置滤波核：使用各向同性高斯距离核来进行双边滤波，即得到改进的双边滤波算法；
[0143][0144]
w(ι)＝exp(-||ι||2)/2σ
2s
[0145]
其中标准偏差σr用于控制范围内核的有效宽度，的输入是差值n＝p(ι)-p(ι-j)，其中标准偏差σs用于控制空间域核的有效宽度，双边滤波的滤波器宽度为s＝3σs；通过所述改进的双边滤波算法对所述背景抑制的暗图像进行处理，得到目标与背景局部信噪比增强的暗图像。
[0146]
本实施例做了两组对比实验，对比图3(b)和图3(c)，对比结果如表1：
[0147]
表1图像处理结果指标对比
[0148][0149]
从表1可知，两者的图像质量相当，但相较而言图3(c)的lsnr指标较优，说明双边滤波算法的使用可以进一步抑制背景噪声，并一定程度上增强了红外弱小目标。
[0150]
对比图3(c)和图3(d)，psnr和ssim指标有了显著的提升，这表示发明方法在保证图像质量的基础上，背景抑制能力有显著提高，同时算法速度有了质的提升，处理一张256*256的灰度图像的时间从2.8911s减少到了0.6518s，这将极大的有利于后续红外弱小目标的检测和跟踪工作。另一方面，改进双边滤波算法的局部信噪比值更高，这说明改进滤波算法抑制背景噪声，增强弱小目标的能力更强。
[0151]
请参考图4，本实施例还提供了一种基于改进双边滤波的红外弱小目标预处理装置，包括：
[0152]
背景抑制模块1，用于获取红外图像，并将所述红外图像中背景与噪声部分类比为雾天图像中有雾部分，通过图像去雾算法暗化有雾部分，得到背景抑制的暗图像；
[0153]
改进双边滤波模块2，用于对双边滤波算法进行改进，通过改进的双边滤波算法对所述背景抑制的暗图像进行处理，得到目标与背景局部信噪比增强的暗图像；
[0154]
所述改进双边滤波模块2，具体用于：
[0155]
通过聚类和插值的方法优化高维双边滤波算法框架；
[0156]
通过移位和聚类来计算范围内核的近似值；
[0157]
将所述近似值代入优化后的框架，并用快速卷积的加权组合近似高维滤波以加速算法运算；
[0158]
设定双边滤波算法的空间域核、范围内核为各向同性高斯范围核。
[0159]
作为可选的实施方式，该装置还包括：性能评价模块3，用于计算评价指标对改进的双边滤波效果进行性能评价，评价指标包括：峰值信噪比、结构相似性和局部信噪比。
[0160]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0161]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、
第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
[0162]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。