一种实时红外弱小目标检测方法、装置和计算机设备与流程

1.本发明涉及红外小目标检测技术领域，特别涉及一种基于加权的比差联合局部对比度的实时红外弱小目标检测方法、装置和计算机设备。


背景技术：

2.红外(ir)小目标检测在精确制导、预警、海上目标搜索等方面发挥着重要作用，在单个框架内更为重要。然而，由于以下事实，在单帧内实现具有高检测率和低误报率的实时红外小暗淡目标检测通常是一项艰巨的任务：a)在获得的红外图像中，由于目标与红外探测器距离较远，目标通常只占用少数像素，灰度较暗，无法利用任何形状或纹理信息，导致检测率低，b)一些背景区域可能比真实目标具有更高的亮度，这可能会淹没真实目标并导致高误报率，c)复杂的背景边缘和具有高亮度的像素大小的噪声(pnhb)可能被误检测为目标，误报率也很高。
3.已有检测红外小暗淡目标的算法，包括空间域算法、频域算法、形态学算法、背景估计算法等。基于学习的算法，包括监督类型和依赖于先验知识的无监督类型，也被仔细研究过。近年来，人类视觉系统(hvs)的局部对比度机制被引入到红外小暗目标检测领域，并取得了良好的检测性能。现有的基于局部对比度的算法可以分为三类：空间局部对比度、时间局部对比度和时空组合局部对比度。后两类(例如时间对比度滤波器(tcf)和时空局部对比度方法 (stlcm)等)，都需要计算多帧之间的时间局部对比度信息，所以他们不能实时输出目标。空间局部对比度算法倾向于计算单帧内的局部对比度信息，因此它们在检测速度上的表现更好。
4.目前，已经有很多空间局部对比度算法，它们可以通过计算目标区域与其相邻背景之间的空间局部对比度来准确定位目标。例如，高斯拉普拉斯算子 (log)滤波器、高斯差分(dog)滤波器、局部对比度测量(lcm)、改进的 lcm(ilcm)、新颖的lcm(nlcm)、相对lcm(rlcm)、基于多尺度斑块的对比度测量(mpcm)、多方向二维最小均方(mdtdlms)和多尺度三层 lcm(tllcm)等。它们可分为比率型、差值型。理论上，比率型(如 lcm、ilcm等)可以有效增强真实目标，但不能有效消除高亮度背景；差值类型(如log、dog等)可以有效消除高亮度背景，但不能有效增强真实目标。
5.在最新的研究中，带有加权函数的局部对比算法越来越流行。适当的加权函数可以显著提高检测性能。一些研究人员直接选择局部统计作为权重函数。例如，采用局部熵作为权重函数、使用中心单元的方差、利用了中心单元的标准偏差、采用本地scr等。其他研究人员更喜欢自己定义和计算权重函数。例如，将局部区域相似性差异作为权重函数、局部自相似性、导数熵、中心方差和周围方差的差异、考虑了周围亮像素的数量、区域强度水平(ril)来评估一个单元的复杂性，然后他们使用中心和周围的ril差异作为权重函数等。
6.一般来说，具有加权函数的局部对比算法通常可以比基本的局部对比算法获得更好的检测性能，因为考虑了更多的信息。然而，现有的加权局部对比度算法仍然存在一些缺陷。首先，他们选择比率型算法或差值型算法作为基本的局部对比度算法。其次，他们在计
算加权函数时，只使用了差分运算，没有考虑比率运算。第三，一些权重函数对随机噪声很敏感，例如ril使用了一个单元格中最大的像素值，但是如果最大的像素是随机噪声，结果就会与真实目标的结果混淆。


技术实现要素：

7.基于此，有必要针对上述技术问题，提供一种实时红外弱小目标检测方法、装置和计算机设备。
8.本发明实施例提供一种实时红外弱小目标检测方法，包括：
9.获取红外弱小目标的原始图像；
10.根据图像像素的比值和差值运算，结合比值型空间局部对比度算法 rlcm和差值型空间局部对比度算法dlcm，生成比差联合空间局部对比度算法rdlcm；
11.根据最大像素的平均灰度和所有像素的平均值，生成改进的区域强度水平iril；并根据基于改进的区域强度水平iril的图像像素比值和差值运算，生成改进的加权函数wlcm；
12.通过改进的加权函数wlcm对比差联合空间局部对比度算法rdlcm进行加权，生成基于加权的比差联合空间局部对比度算法wrdlcm；
13.采用多尺度算法，将原始图像输入基于加权的比差联合空间局部对比度算法wrdlcm中，并在不同尺度之间进行最大池化，获得三个尺度下基于加权的比差联合空间局部对比度算法wrdlcm的最大值；
14.对比基于加权的比差联合空间局部对比度算法wrdlcm的最大值对应的像素与阈值，将大于阈值的像素作为目标像素，且目标像素的连通区域为原始图像中的红外弱小目标。
15.进一步地，所述原始图像，包括：中心单元格，用于捕捉真实目标；周围单元格，用于捕捉周围背景；且单元格大小n接近或大于真实目标大小，n 设置为9
×
9。
16.进一步地，所述比差联合空间局部对比度算法rdlcm的表达式确定步骤，包括：
17.中心像素cell(0)对于第i方向的rlcm和dlcm的表达式分别定义如下：
[0018][0019]
dlcmi＝imean
0-imeani，i＝1，2，...，8
ꢀꢀꢀꢀꢀꢀ
(2)
[0020]
其中，imean0表示中心像素cell(0)中中心最大灰度值k1的最大像素平均灰度，imeani表示周围像素cell(i)中周围最大灰度值k2的最大像素平均灰度，表达式如下：
[0021][0022][0023]
其中，分别是cell(0)、cell(i)的第j个最大灰度值；且k2大于k1；
[0024]
最终将rlcm和dlcm的表达式定义为：
[0025]
rlcm＝min(rlcmi)，i＝1，2，...，8
ꢀꢀ
(5)
[0026]
dlcm＝max(0，min(dlcmi))，i＝1，2，...，8
ꢀꢀ
(6)
[0027]
用rlcm和dlcm的像素矩阵乘积，计算原始图像的rdlcm的表达式：
[0028]
rdlcm＝rlcm
·
dlcm。
ꢀꢀꢀꢀ
(7)
[0029]
进一步地，对于第i方向，所述改进的区域强度水平iril的表达式为：
[0030]
irili＝m
i-meani，i＝0，1，2，...，8
ꢀꢀꢀꢀꢀꢀꢀ
(8)
[0031]
其中，mi表示周围像素cell(i)中前k个最大像素值的平均值，meani是周围像素cell(i)中所有像素的平均值。
[0032]
进一步地，所述改进的加权函数wlcm的表达式确定步骤，包括：
[0033]
计算irili，并通过max-pooling操作，获得最终iril的值：
[0034]
iril＝max(irili)，i＝1，2，...，8
ꢀꢀꢀꢀꢀꢀꢀ
(9)
[0035]
将比值和差值运算用于加权函数，获得改进的加权函数wlcm的表达式：
[0036][0037]
wlcm＝max(0，w(x，y))
ꢀꢀꢀꢀꢀꢀ
(11)
[0038]
其中，改进的加权函数wlcm的值为正值；w(x,y)为加权函数。
[0039]
进一步地，所述基于加权的比差联合空间局部对比度算法wrdlcm的表达式为：
[0040]
wrdlcm＝rdlcm
·
wlcm。
ꢀꢀꢀꢀ
(12)
[0041]
进一步地，所述获得三个尺度下基于加权的比差联合空间局部对比度算法wrdlcm的最大值，包括：
[0042]
采用多尺度算法检测，将保留层的大小设置为不同的尺度，对于每个尺度，计算单尺度的wrdlcm，并在不同尺度之间进行最大池化：
[0043]
wrdlcm＝max(0，wrdlcm
p
)，p＝1，2，
…
，l
ꢀꢀꢀꢀꢀꢀꢀ
(13)
[0044]
其中，p表示第p个尺度，l是尺度总数。
[0045]
进一步地，所述阈值定义为：
[0046]
th＝μ k
th
×
σ
ꢀꢀꢀꢀꢀꢀꢀ
(14)
[0047]
其中，μ和σ分别是wrdlcm的平均值和标准差；k
th
是一个给定的参数，且k
th
的取值范围从2到7。
[0048]
一种实时红外弱小目标检测装置，包括：
[0049]
原始图像获取模块，用于获取红外弱小目标的原始图像；
[0050]
rdlcm确定模块，用于根据图像像素的比值和差值运算，结合比值型空间局部对比度算法rlcm和差值型空间局部对比度算法dlcm，生成比差联合空间局部对比度算法rdlcm；
[0051]
wlcm确定模块，用于根据最大像素的平均灰度和所有像素的平均值，生成改进的区域强度水平iril；并根据基于改进的区域强度水平iril的图像像素比值和差值运算，生成改进的加权函数wlcm；
[0052]
wrdlcm确定模块，用于通过改进的加权函数wlcm对比差联合空间局部对比度算法rdlcm进行加权，生成基于加权的比差联合空间局部对比度算法wrdlcm；
[0053]
多尺度处理模块，用于采用多尺度算法，将原始图像输入基于加权的比差联合空间局部对比度算法wrdlcm中，并在不同尺度之间进行最大池化，获得三个尺度下基于加权
的比差联合空间局部对比度算法wrdlcm的最大值；
[0054]
目标检测模块，用于对比基于加权的比差联合空间局部对比度算法 wrdlcm的最大值对应的像素与阈值，将大于阈值的像素作为目标像素，且目标像素的连通区域为原始图像中的红外弱小目标。
[0055]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0056]
获取红外弱小目标的原始图像；
[0057]
根据图像像素的比值和差值运算，结合比值型空间局部对比度算法 rlcm和差值型空间局部对比度算法dlcm，生成比差联合空间局部对比度算法rdlcm；
[0058]
根据最大像素的平均灰度和所有像素的平均值，生成改进的区域强度水平iril；并根据基于改进的区域强度水平iril的图像像素比值和差值运算，生成改进的加权函数wlcm；
[0059]
通过改进的加权函数wlcm对比差联合空间局部对比度算法rdlcm进行加权，生成基于加权的比差联合空间局部对比度算法wrdlcm；
[0060]
采用多尺度算法，将原始图像输入基于加权的比差联合空间局部对比度算法wrdlcm中，并在不同尺度之间进行最大池化，获得三个尺度下基于加权的比差联合空间局部对比度算法wrdlcm的最大值；
[0061]
对比基于加权的比差联合空间局部对比度算法wrdlcm的最大值对应的像素与阈值，将大于阈值的像素作为目标像素，且目标像素的连通区域为原始图像中的红外弱小目标。
[0062]
本发明实施例提供的上述实时红外弱小目标检测方法、装置和计算机设备，与现有技术相比，其有益效果如下：
[0063]
本发明提出了一种加权比差联合局部对比度方法(wrdlcm)。它可以分为两个模块，即基本局部对比算法和加权函数。在基本局部对比度算法中，采用了比差结合的局部对比度算法，在增强真实目标的同时抑制高亮度背景。在加权函数中，引入了比差组合的思想，利用比率和差值运算来计算加权函数，从而增强真实目标，进一步抑制高亮度背景。特别是在计算权重函数之前，提出了改进的ril(iril)，它使用一些最大像素的平均值而不是单个最大像素，从而可以抑制随机噪声。在一些真实红外序列上的实验表明，所提出的 wrdlcm在复杂背景下可以实现更好的检测性能。
附图说明
[0064]
图1为一个实施例中提供的一种实时红外弱小目标检测方法的流程图；
[0065]
图2a-1～2a-6为一个实施例中提供的序列1～6对应的原始图像样本；
[0066]
图2b-1～2b-6为一个实施例中提供的尺度1的rlcm结果；
[0067]
图2c-1～2c-6为一个实施例中提供的尺度1的dlcm结果；
[0068]
图2d-1～2d-6为一个实施例中提供的尺度1的rdlcm的结果；
[0069]
图2e-1～2e-6为一个实施例中提供的尺度1的wlcm结果；
[0070]
图2f-1～2f-6为一个实施例中提供的尺度1的wrdlcm的结果；
[0071]
图2g-1～2g-6为一个实施例中提供的wrdlcm结果抑制复杂背景结果；
[0072]
图2h-1～2h-6为一个实施例中提供的wrdlcm结果的真实目标；
[0073]
图3a～3f为一个实施例中提供的序列1～6对应的roc曲线图。
具体实施方式
[0074]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0075]
一个实施例中，提供的一种实时红外弱小目标检测方法，该方法具体包括：
[0076]
首先，分析基于比值和差值联合的对比度算法rdlcm。其次，将提出一种新的加权函数wlcm来抑制复杂的背景和点噪声。最后，结合多尺度算法得到三个尺度下wrdlcm的最大值，计算阈值后得到最终的检测结果。本发明还分析了所提出算法的检测能力。
[0077]
(1)rdlcm计算
[0078]
结合比值型局部对比度和差值型局部对比度的优点，本发明提出了比值差值联合局部对比度算法(rdlcm)，并给出了原始红外图像的rdlcm的计算方法。cell(0)中心像素对于第i方向的rlcm和dlcm分别定义如下：
[0079][0080]
dlcmi＝imean
0-imeani，i＝1，2，...，8
ꢀꢀꢀ
(2)
[0081]
其中imean0表示cell(0)中k1最大像素的平均灰度，imeani表示cell(i)中k2最大像素的平均灰度如下：
[0082][0083][0084]
其中k1和k2是最大灰度值，或是cell(0)或cell(i)的第j个最大灰度值。为了获得更大的rlcm，建议将k2设置为略大于k1的值。
[0085]
为了抑制复杂的背景边缘，利用方向信息，最终将rlcm定义为
[0086]
rlcm＝min(rlcmi)，i＝1，2，...，8
ꢀꢀ
(5)
[0087]
与rlcm一样，最终dlcm被定义为
[0088]
dlcm＝max(0，min(dlcmi))，i＝1，2，...，8
ꢀꢀ
(6)
[0089]
用rlcm和dlcm的像素矩阵乘积计算原始红外图像的rdlcm
[0090]
tdlcm＝rlcm
·
dlcm
ꢀꢀꢀꢀꢀꢀꢀ
(7)
[0091]
需要说明的是，wrdlcm通过生成信号值来描述像素位置。一个弱小目标在局部区域中是显著的，而不是在整个图像中，所以将关注一个局部的小图像块，并利用cell(0)和cell(i)之间的比率和差值(i＝1,2,
…
,8代表不同的方向)。这里中心单元格用于捕捉真实目标，周围单元格用于捕捉周围背景，因此单元格大小n应接近或略大于真实目标。如果目标大小未知，为了确保一个小区可以包含整个目标，同时引入尽可能少的干扰，n应该近似
于小目标的一般最大大小。根据光学仪器工程师协会(spie)的说法，小目标通常小于 9
×
9，因此建议n设置为9
×
9左右。将当前像素(x,y)放在中央单元格的中心。
[0092]
(2)wlcm的计算
[0093]
本发明提出了一种新的加权函数，该加权函数包括两部分，一部分是 iril，另一部分是比差联合加权函数的计算。
[0094]
1)改进的ril
[0095]
ril是一种评估子块复杂度的有效方法，但是，原始ril简单地定义为子块的最大值与平均值的差值，并且对单个随机噪声敏感。在本发明中，提出的iril被定义为：
[0096]
irili＝m
i-meani，i＝0，1，2，...，8
ꢀꢀꢀꢀꢀꢀꢀ
(8)
[0097]
其中，mi表示cell(i)中k的最大像素值的平均灰度，meani是cell(i)中所有像素的平均值。
[0098]
2)wlcm
[0099]
iril＝max(irili)，i＝1，2，...，8
ꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0100]
计算irili，然后通过max-pooling操作，获得最终iril值。
[0101][0102]
在本发明中，比率和差值运算都用于加权函数：
[0103]
wlcm＝max(0，w(x，y))
ꢀꢀꢀꢀꢀꢀꢀ
(11)
[0104]
在定义wlcm时，考虑非负约束并确保权重函数为正值。与现有的一些权重函数定义相比，本发明所用的权重函数利用了目标和背景的特点，以及两者的区别，因此它考虑的更全面。
[0105]
(3)wrdlcm
[0106]
本文结合了rdlcm和权重函数wlcm提出了一种称为wrdlcm的新算法，其定义为
[0107]
wrdlcm＝rdlcm
·
wlcm
ꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0108]
(4)多尺度检测
[0109]
式(3)和式(4)中的k1、k2是所提出算法中的关键参数。为了获得更好的检测性能，应该根据目标的大小自适应地调整k1、k2。然而，在实际应用中，目标大小通常是未知的。因此，本文提出的算法采用多尺度检测，将保留层的大小设置为不同的尺度，对于每个尺度，根据式(1)～式(12)计算单尺度的wrdlcm，然后在不同尺度之间进行最大池化：
[0110]
wrdlcm＝max(0，wrdlcm
p
)，p＝1，2，
…
，l
ꢀꢀꢀꢀꢀꢀ
(13)
[0111]
其中，p表示第p个尺度，l是尺度总数。本发明会根据不同的p值分配不同的k1、k2和n值，其中n是子块的大小。请注意，非负约束用于进一步抑制杂波，因为真正的目标的像素值通常比其邻居更亮。
[0112]
(5)阈值操作
[0113]
对于原始图像的每个像素，计算多尺度wrdlcm并将结果形成为一个名为显著图(sm)的新矩阵。有必要讨论像素(x,y)为真实目标中心、纯背景、背景边缘、破碎云或pnhb时的不同情况。
[0114]
a)、如果(x,y)是真正的目标中心，那么它的imean0和wlcm会很大， imeani会很小，所以它的wrdlcm会大于0。
1～2g-6所示，在wrdlcm结果中可以进一步抑制复杂背景，并且可以成功检测到真实目标而没有任何误报(图2h
‑ꢀ
1～2h-6)。
[0128]
为了进一步说明所提出算法的有效性，选择了八种最先进的算法进行比较，包括dog、var
‑ꢀ
diff、ilcm、nlcm、mpcm、rlcm、wldm、mdtdlms。dog是一种基于滤波器的局部对比度算法，没有加权函数；var-diff是一种以目标与其相邻背景的差异为加权函数的加权局部对比度算法；ilcm和mpcm是基于补丁的局部对比度算法，没有加权函数；rlcm和mdtdlms是同时使用比值和差值运算的局部对比度算法；wldm和nlcm是使用目标特征作为加权函数的加权局部对比度算法；wrdlcm是本文提出的算法。
[0129]
此外，表2和表3给出了6个序列的第一帧的一些特征，这里c
wh
,c
nb
和 scr定义如下，其中为目标的最大灰度值，i
wh
为目标的最大灰度值整幅图像， i
nb
为目标邻域内的平均灰度值，σ
wh
为整幅图像的标准差。对于原始图像的每个像素，计算wslcm并将结果形成一个名为显着图(sm)的新矩阵，scr
in
和 scr
out
分别是原始图像和sm的scr，且σ
in
和σ
out
分别是原始图像和sm的标准差：
[0130][0131][0132][0133][0134]
表2不同算法的scrg值
[0135][0136]
表3不同算法的bsf值
[0137][0138]
从表2和表3可以看出，所提出的算法可以实现六个目标的最佳scrg。此外，所提出的算法可以实现所有六个序列的最佳bsf。这是因为所提出的算法可以根据真实目标的形状有目的地对其进行增强，此外，式(10)中的比差联合加权函数和式(11)中的非负约束可以进一步提高检测性能。
[0139]
然后，图3a～3f给出了不同算法的roc特性曲线，虚警率(tpr)定义为检测到的真目标数与真目标总数的比值，检测率(fpr)定义为检测到的假目标数与总像素数的比值，整
个图中可以看出，所提出的算法在所有情况下都能达到最佳的检测性能。
[0140]
综上所述，由于具有高检出率、低误报率和高检测速度单帧红外(ir)弱小目标检测是一项艰巨的任务，因为目标通常很小且暗淡，并且存在不同类型的干扰，如高亮度背景、复杂的背景边缘和像素大小的高亮度噪声(pnhb)。现有的算法，如比值型局部对比法和差值型局部对比度算法，不能有效地增强真实目标的同时抑制所有干扰，浪费了可用于进一步抑制复杂背景的局部多样性信息。因此本发明提出了一种加权比差联合局部对比度算法 (wrdlcm)，包括两个模块：rdlcm和wlcm，它可以结合比值形式方法和差值形式方法的优点，在增强不同大小的真实目标的同时可以抑制所有类型的干扰，并且不需要任何前置算法。wlcm利用局部多样性信息进一步抑制复杂背景。使用包含不同类型背景和不同大小目标的6个真实ir序列进行实验，实验结果表明所提出的wrdlcm算法在检测率和误报率方面相对于现有算法具有有效性和鲁棒性。此外，提出了一种基于改进区域强度水平 (iril)的加权函数来进一步抑制复杂背景，可以更好地抑制随机噪声。还有，所提出的算法具有并行处理的潜力，这对于提高检测速度非常有用。
[0141]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。