一种基于对比度的红外弱小目标检测、跟踪方法和系统

1.本发明涉及红外图像目标检测跟踪领域中的弱小目标检测跟踪领域，具体地，涉及一种基于对比度的红外弱小目标检测、跟踪方法和系统。


背景技术：

2.红外弱小目标检测与跟踪在反隐身目标、远距离探测中具有重要的作用，是区域防空中必不可少的探测手段。
3.随着目标检测方法的不断发展，基于深度网络的检测算法逐渐成为主流方法，该方法具有检测速度较快，不用手工设计特征，鲁棒性较好等优点。但是受限于数据量，网络的训练结果受到很大影响。此外，一般的深度检测网络模型较大，硬件搭载困难。基于对比度机制的检测方法是基于显著性的检测方法，但该类方法存在虚警率高、漏检率高的问题。由于背景的干扰和遮挡，红外弱小目标容易出现漏检的情况，严重的情况会导致轨迹关联结果分段，需要对前后轨迹进行进一步关联。


技术实现要素：

4.针对现有技术中的缺陷，本发明的目的是提供一种基于对比度的红外弱小目标检测、跟踪方法和系统。
5.根据本发明的一个方面，提供一种基于对比度的红外弱小目标检测方法，包括：
6.对原始红外数据进行预处理；
7.预处理后的图像输入深度网络提取特征图，获得不同层次的特征图；
8.对所述特征图进行不同尺度的对比度计算,获得处理后的不同层次的特征图；
9.将所述处理后的不同层次的特征图进行融合，得到最终的预测特征图。
10.优选地，对原始红外数据进行预处理，包括：
11.通过正规化将图像灰度值变换到指定区间0-255之间；
12.通过图像自适应调整弱小目标对比度，公式为：
[0013][0014]
其中，g(x,y)是像素点灰度值，m是像素平均值。
[0015]
优选地，所述深度网络以mobilenet作为骨干网络，其采用点卷积运算。
[0016]
优选地，所述对比度计算为di＝m
t-mi,i∈1,
…
,8,
[0017]ci
＝min(di*d
i 4
),i∈1,2,3,4,
[0018]
其中，m
t
表示中心块的灰度均值，mi表示从中心块左上方开始按顺时针第i块区域的灰度均值，ci表示中心区域最终的对比度。
[0019]
优选地，所述特征融合包括：通过通道注意力机制融合通道特征，通过双向注意力机制指导不同层次特征图融合。
[0020]
优选地，所述双向注意力机制包括：包含从上到下的注意力机制、从下到上的注意力机制。
[0021]
根据本发明的第二个方面，提供一种基于对比度的红外弱小目标检测系统，包括：
[0022]
数据预处理模块，所述数据预处理模块以原始红外数据作为输入，通过图像正规化将图像灰度区间变换到0-255，并进行图像自适应增强红外弱小目标的对比度；
[0023]
深度网络模块，所述深度网络模块以预处理之后图像作为输入，以mobilenet作为骨干网络；并对骨干网络提取特征图进行不同尺度的对比度计算；
[0024]
特征融合模块，所述特征融合模块采用通道注意力机制融合骨干网络提取特征的通道信息，采用双向注意力机制指导不同层次的特征融合，得到最终的预测特征图。
[0025]
根据本发明的第三个方面，提供一种基于对比度的红外弱小目标跟踪方法，基于上述方法获得的预测特征图作为输入，进行两次轨迹关联。
[0026]
优选地，所述第一次轨迹关联通过近邻匹配和灰度匹配形成可能的目标轨迹(噪点也可能会形成轨迹)；所述第二次轨迹关联将同一目标的不同段轨迹进行合并，得到最终的目标轨迹。
[0027]
优选地，所述第一次轨迹通过紧邻匹配和灰度匹配形成可能的目标轨迹，包括：
[0028]
将初始帧中检测到的目标作为轨迹起点；
[0029]
采用距离阈值和灰度阈值将下一帧的目标匹配到已建立的轨迹上；
[0030]
若有多个目标匹配距离和灰度差小于阈值则进行拟合判断：拟合采用最近一定点的线性拟合，判断标准是距离拟合直线的大小；
[0031]
若某条轨迹在当前帧未匹配到目标，采用拟合预测其在当前帧的位置，用于更新目标在丢失帧的位置，防止目标发生短暂遮挡时导致的前后位置差异过大；
[0032]
若连续多帧未匹配到，则将其保存并不再更新(接下来的图像帧里面不再更新位置等信息)；
[0033]
同时所有的轨迹建立特征列表，保存目标出现的帧数、运动方向和运动速度；
[0034]
所述第二次轨迹关联将同一目标(前后帧数差小于设定阈值，首尾距离小于阈值)的不同段轨迹进行合并，得到最终的目标轨迹，包括：
[0035]
对于前后帧数差不超过设定阈值且两端轨迹首尾拟合误差小于阈值的目标轨迹，通过拟合将同一目标的前后轨迹合并。
[0036]
与现有技术相比，本发明具有如下的有益效果：
[0037]
本发明提供的实施例一种基于对比度的红外弱小目标检测及系统，可以实现对复杂场景下的红外弱小目标识别跟踪，检测准确度高、虚警率低、速度快，目标轨迹完整，模型小，在远距离探测中应用前景广阔，易于实现高效准确的红外弱小目标检测跟踪。
[0038]
本发明实施例中的预处理部分以自适应校正为基础，能够有效增强红外弱小目标的显著性。此外，深度网络模块可涵盖以mobilenet为代表的所有轻量化骨干网络，通过对比度计算能够准确地描述目标的显著性信息。最后，特征融合模块以注意力机制为基础，通过双向特征融合和通道特征融合实现不同层次特征以及不同通道特征的有效融合，能够提高对于弱小红外目标的检出率并降低漏检率。
[0039]
本发明提供的实施例一种基于对比度的红外弱小目标跟踪方法，其轨迹关联方法在第一次关联时通过距离和灰度建立关联准则，形成可能的目标轨迹；之后对目标轨迹特征进行筛选保留真实目标的轨迹。通过二次关联，对同一目标的不同段轨迹进行关联，能够有效保证目标轨迹的完整性。
附图说明
[0040]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0041]
图1是本发明实施例中一种基于对比度的红外弱小目标检测方法流程图；
[0042]
图2是本发明一实施例中的红外图像原图；
[0043]
图3是本发明一实施例中的红外弱小目标检测结果；
[0044]
图4是本发明一实施例中的红外弱小目标跟踪结果。
具体实施方式
[0045]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0046]
如图1所示，为本发明提供的实施例中的一种基于对比度的红外弱小目标检测方法示意图，包括：
[0047]
s1,对原始红外数据进行预处理；
[0048]
s2,预处理后的图像输入深度网络提取特征图，获得不同层次的特征图；
[0049]
s3,对所述特征图进行不同尺度的对比度计算，获得处理后的不同层次的特征图；
[0050]
s4,将所述进行了对比度计算的特征进行融合，得到最终的预测特征图。
[0051]
为了便于后续网络处理、提高检出率和降低漏检率，本发明提供一个优选实施例。在本实施例中，预处理包括：通过图像正规化将图像灰度区间变换到0-255，通过图像均值自适应增强红外弱小目标对比度；图像自适应增强通过图像均值和像素值差值大小对图像像素进行缩放，增强图像对比度。
[0052]
进一步的，对比度增强公式为其中，g(x,y)是像素点灰度值，m是像素平均值。
[0053]
为了避免模型过大及提高弱小目标检出率效果，本发明提供一个优选实施例。在本实施例中，深度网络模块以mobilenet作为骨干网络，并结合对比度计算提取不同层次的特征图。网络采用较浅的层数，并在较大的特征图上进行检测以提高弱小目标检出率效果并避免模型过大。其中，对比度计算公式为：
[0054]di
＝m
t-mi,i∈1,
…
,8,
[0055]ci
＝min(di*d
i 4
),i∈1,2,3,4,
[0056]
其中，m
t
表示中心块的灰度均值，mi表示从中心块左上方开始按顺时针第i块区域的灰度均值，ci表示中心区域最终的对比度；
[0057]
进一步的，所述mobilenet包括：包含点卷积运算，通过减少参数量和运算复杂度实现模型轻量化和实时性检测。
[0058]
经过mobilenet提取的特征和对比度计算可以得到不同层次的对比度特征图，为了得到更加丰富的特征，本发明提供另一个优选实施例，在本优选实施例中，将通道注意力机制融合到骨干网络中提取空间信息，之后采用双向注意力机制将不同层次的特征图融
合，得到最终的特征图。
[0059]
进一步的，双向注意力机制包括：包含从上到下的注意力机制、从下到上的注意力机制。
[0060]
基于相同的发明构思，本发明的其他实施例中提供一种基于对比度的红外弱小目标检测系统，包括：数据预处理模块、深度网络模块和特征融合模块，数据预处理模块以原始红外数据作为输入，通过图像正规化将图像灰度区间变换到0-255，并进行图像自适应增强红外弱小目标的对比度；深度网络模块以预处理之后图像作为输入，以mobilenet作为骨干网络；并对骨干网络提取特征图进行不同尺度的对比度计算；特征融合模块采用通道注意力机制提取全局特征，采用双向注意力机制指导不同层次的特征融合，得到最终的预测特征图。
[0061]
基于相同的发明构思，本发明的其他实施例中还提供一种基于对比度的红外弱小目标跟踪方法，其将预测特征图作为输入，进行两次轨迹关联。具体的，如图2和图3所示，为预测得到的目标检测结果。通过第一次轨迹关联建立可能的轨迹列表，将初始帧中检测到的目标作为轨迹起点，然后采用距离阈值和灰度阈值将下一帧的目标匹配到已建立的轨迹上，若有多个目标匹配距离和灰度差小于阈值则进行拟合判断；若某条轨迹在当前帧未匹配到目标采用拟合预测其在当前帧的位置，若连续多帧未匹配到，则将其保存并不再更新。
[0062]
在建立特征列表时，对出现帧数小于阈值的轨迹认为是噪点轨迹，直接进行删除，保留真实目标的轨迹。
[0063]
由于红外弱小目标的信噪比较低，其检测具有不稳定性。因而可能导致目标在一段时间内无法检测到，对轨迹进行二次轨迹关联，将可能为同一目标轨迹的不同段关联到一起，匹配的原则是前后帧数差小于帧数阈值，同时拟合误差小于拟合阈值，结果如图4所示。
[0064]
本发明上述实施例的基于对比度的红外弱小目标检测方法，可以实现复杂场下红外弱小目标的检测与跟踪，能够保证较高的检出率和较低的虚警率，同时检测速度较快，模型较小，易于在硬件设备上搭载。本发明具有较好的鲁棒性、适应性和灵活性，在红外探测中前景广阔。
[0065]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。