一种弱小目标检测与跟踪方法

1.本发明涉及计算机视觉、图像处理技术领域，具体是一种弱小目标检测与跟踪方法。


背景技术：

2.目标检测与跟踪因为低成本与抗干扰性在当前仍旧是一种重要的手段。特别在反导系统、海面监控、野外侦测等中，所有的潜在的疑似目标都应该尽早的发现，所以对于弱小目标的检测是目标检测与跟踪中的重要一步。由于弱小目标本身缺乏纹理颜色信息，可捕获但不一致的几何特征，急剧变化的尺度，这些都使得弱小目标的检测成为目标检测与跟踪系统中最具挑战性的任务。
3.待检目标经常在各种恶劣环境下、复杂场景中穿梭于密集的云层和海浪之间，这使得检测任务变得更为困难。早期的方法在弱小目标检测中缺乏准确性和鲁棒性使得大量新的检测方法被提出。总的来说，所有的被用于解决这一问题的方法从检测思路上可以被分为两类：基于单帧的跟踪前检测和基于连续帧的检测前跟踪，从实现方法上主要分为三类：基于低秩稀疏矩阵的恢复方法、基于对比度的度量方法，基于数据驱动的机器学习方法。
4.利用非线性自适应滤波器来模拟杂波的时间剖面信号来提取真实目标的时间剖面信号仅仅考虑目标在局部时间域上的信息是不充分、不全面的。有时图像会包含大量的云层与混沌的海洋背景，这时仅仅利用空间域上的局部对比很难将目标有效的检测出来。考虑目标的结构先验知识与背景自相关性的一种基于多帧的高维结构张量模型由于计算量大，在实时运行时需要巨大的硬件成本且准确率也并不理想。
5.基于对比的度量和基于低秩稀疏矩阵的恢复的检测方法已经发展到了一个瓶颈期，各种改进方案对于其检测性能的提升不大，而对于弱小目标的检测又有更高的要求被提出。在数据驱动的支持下，深度学习类的方法能够在漏检率、虚警率、鲁棒性等多方面取得优于传统方法，因此研究深度学习方法在弱小目标领域的应用是十分有必要的。然后，目前的深度学习的方法要么以巨大的参数和计算量追求精度上的极致性能，要么概念性地引入深度学习概念而缺乏实际应用的泛化性和鲁棒性。


技术实现要素：

6.本发明目的是针对背景技术中存在的问题，提出一种基于无锚机制的模型，提出了问询库、自适应滤波，渐进关联等算法进一步提高模型在弱小目标检测应用中的检测性能，并以准确率和召回率作为评价指标获得稳定可靠的检测与跟踪效果的弱小目标检测与跟踪方法。
7.本发明的技术方案：一种弱小目标检测与跟踪方法，包括以下步骤：
8.s1、构建图像数据训练集，具体包括以下步骤：
9.s1.1、从现有公开图像数据库中挑选具有弱小目标的原始图像组成弱小目标数据
库，每一幅原始图像具有一幅人工分割的参考图像；
10.s1.2、任选参考图像进行连通域分析得到相应的每个目标的中心坐标(x0,y0)；
11.s1.3、对任意的原始图像生成与之尺度相同的全零二维张量，对二维张量中与图像中每个目标的中心坐标周边位置的点位按以下公式生进行更替，将更替后的二维张量缩放到(0,255)的范围并保存成图片形式作为无锚标签；
[0012][0013][0014]
s1.4、按照s1.3相同的方法对中弱小目标数据库中的图像进行处理并与原始图像一一对应，得到弱小目标图像数据库；
[0015]
s2、问询式注意力库优化，具体包括以下步骤：
[0016]
s2.1、按照经典的编码模块和解码模块的模型架构，创建一个具有特征提取与热力图生成能力的基线模型，使用之前生成的无锚标签和均方误差来对整个模型进行梯度优化训练；训练完成后可以得到模型的编码模块的编码特征图集为其中的表示第张图片在模型编码器第层的所有特征的集合，相应的解码模块的解码特征图集也就是其中的表示第张图片在模型解码器第层的所有特征的集合；此时从所有弱小目标图像数据库中选出准确率大于总体准确率120％，召回率大于总体召回率120％的所有图像数据作为用于优化问询式注意力库的优化数据库；
[0017]
s2.2、从优化数据库中提取其特征尺寸为2x2,4x4,8x8的所有特征图再组成用于优化问询注意力库的输入向量集其中表示优化数据库中第k张图片中符合尺寸为s的编码特征特征，该特征的通道数为c；从子特征图集提取其特征尺寸为2x2,4x4,8x8的子解码特征图组成用于优化问询注意力库的期待向量集其中表示优化数据库中第k张图片中符合尺寸为s的编码特征特征，该特征的通道数为c；
[0018]
s2.3、对输入向量集合和期待向量集进行尺度归一化操作得到输入向量集s2.3、对输入向量集合和期待向量集进行尺度归一化操作得到输入向量集和期待向量集具体的尺度归一操作即使用4x4、2x2、1x1尺度的最大值算子分别对输入向量集i和期待向量集t进行滑动卷积操作；
[0019]
s2.4、构建问询注意力库中的查询向量集
键值向量集激活向量集激活向量集
[0020]
s2.5、从输入向量集中选取出作为输入向量；
[0021]
s2.6、用选取出的输入向量进行问询过程得到输出向量其中问询过程如下所示；
[0022][0023]
s2.7、从期待向量集中选取出与输入向量
[0024][0025]
对应的期待向量按以下公式计算出输出与期待之间的残差量；
[0026][0027]
s2.8、使用输出与期待之间的残差量、输出对查询向量的雅克比矩阵jq、输出对键值向量的雅克比矩阵jk、输出对激活向量的雅克比矩阵jv按以下公式对注意力库中的查询向量集q、键值向量集k、激活向量集v进行更新；
[0028][0029][0030][0031]
s2.9、按照行序列顺序从输入向量集选出下一行作为输入向量；重复s2.5-2.7迭代优化m次；
[0032]
s2.10、加入问询式注意力库进入基线模型，从s2.1开始重复操作直到直到残差收敛到允许范围内；
[0033]
s3、自适应滤波，具体包括以下步骤：
[0034]
s3.1、对加入优化后的问询式注意力库的模型输出的热力图进行池化操作得到的检出目标二值图，由二值图构建当前管道输入ip＝{ip1,ip2,
…
,ipn}；获取或构建历史管道信息h＝{h1,h2,
…
,h
l
}；
[0035]
s3.2、由历史管道信息h＝{h1,h2,
…
,hn}由以下过程计算参考中心c；
[0036][0037]
s3.3、由历史管道信息h＝{h1,h2,
…
,hn}和参考中心由以下过程计算出径变化再由搜索径长r
01
和超参数k1得出筛选径长；
[0038][0039][0040]
s3.4、遍历当前管道输入，对于满足以下情况的候选点进行剔除得到剔除后管道集为op＝{op1,op2,
…
,opn}：
[0041][0042]
s3.5、如op不为空集则对历史管道信息按以下公式进行更新：
[0043]
h＝(h-{h1}∪op)
[0044]
s4、渐进关联挖掘，具体包括以下步骤：
[0045]
s4.1、对加入优化后的问询式注意力库的模型输出的热力图进行池化操作后得到目标图，对目标图进行多级阈值筛选后得到的目标二值图集，使用目标二值图集进行s3操作得到多级管道集
[0046]
s4.2、从多级管道集p抽取最高级目标二值图组成参考管道集r＝{r
1 r2ꢀ…ꢀrl
}，从多级管道集p抽取比当前参考管道集的目标二值图低一级的目标二值图组成候选管道集z＝{z
1 z2ꢀ…ꢀzl
}；
[0047]
s4.3、由参考管道集r＝{r
1 r2ꢀ…ꢀrl
}由以下过程计算参考中心c2；
[0048][0049]
s4.4、由参考管道集r＝{r
1 r2ꢀ…ꢀrl
}和参考中心由以下过程计算出径变化σ2，再由搜索径长r
02
和超参数k2得出筛选径长；
[0050][0051][0052]
s4.5、遍历当前管道输入，对于满足以下情况的候选点从候选管道集进行目标抽取得到新的参考管道集为r＝{r
1 r2ꢀ…ꢀrl
}：
[0053]
[0054][0055]
s4.6、降低参考管道集的等级并从多级管道集p抽取比当前参考管道集的目标二值图低一级的目标二值图组成新的候选管道集z＝{z
1 z2ꢀ…ꢀzl
}，从s4.3重复直到参考管道集的等级降为最低。
[0056]
优选的，所述radius＝30。
[0057]
优选的，所述th resh old
pre
＝1.2,th resh old
recall
＝1.2。
[0058]
优选的，所述s0、s1、s2、s3的取值为：4，8，4，2。
[0059]
优选的，所述m值的取值范围为5至10。
[0060]
优选的，所述m取值为7。
[0061]
优选的，所述r
01
、r
02
值的取值范围为10至30。
[0062]
优选的，所述r
01
、r
02
值的取值20。
[0063]
与现有技术相比，本发明具有如下有益的技术效果：
[0064]
一、本发明使用无锚机制来对弱小目标进行识别。相较于锚框和二值分割图是一种更弱的一致性假设，模型更具泛化能力的同时也能有效的防止模型过拟合。
[0065]
二、本发明方法仅使用问询式注意力库来对深度学习模型的效果进行增强。由于弱小目标实际本身的基于颜色、纹理等更高级的语义信息都是极少的，更多的是与周围环境的对比式语义信息。然后仅仅依靠数据本身和深度学习模型学习到的语义信息是片面或者局部最优的，因此利用数据库的较优数据通过牛顿法的方法和迭代优化的方式能够得到一个更充分理解上文中的对比式语义信息。
[0066]
三、本发明方法在追踪时使用自适应滤波来滤去方差波动大的候选点，在可控范围内进一步提高对于弱小目标的追踪准确率。滤波后采用的渐进性关联挖掘能有效利用高阈值滤波关联后的强参考性挖掘出低阈值下的有效目标，在可控范围内弥补了自适应滤波造成的召回率下降且原本模型对弱小目标的检出准确率提到了一个新的高度。
附图说明
[0067]
图1为方法的整体工作流程图；
[0068]
图2为问询式库的运行过程。
具体实施方式
[0069]
实施例一
[0070]
如图1-2所示，本发明提出的一种弱小目标检测与跟踪方法，包括以下步骤：
[0071]
s1、构建图像数据训练集，具体包括以下步骤：
[0072]
s1.1、从现有公开图像数据库中挑选具有弱小目标的原始图像组成弱小目标数据库，每一幅原始图像具有一幅人工分割的参考图像；
[0073]
s1.2、任选参考图像进行连通域分析得到相应的每个目标的中心坐标(x0,y0)；
[0074]
s1.3、对任意的原始图像生成与之尺度相同的全零二维张量，对二维张量中与图像中每个目标的中心坐标周边位置的点位按以下公式生进行更替，将更替后的二维张量缩放到(0,255)的范围并保存成图片形式作为无锚标签；
[0075][0076][0077]
s1.4、按照s1.3相同的方法对中弱小目标数据库中的图像进行处理并与原始图像一一对应，得到弱小目标图像数据库；
[0078]
s2、问询式注意力库优化，具体包括以下步骤：
[0079]
s2.1、按照经典的编码模块和解码模块的模型架构，创建一个具有特征提取与热力图生成能力的基线模型，使用之前生成的无锚标签和均方误差来对整个模型进行梯度优化训练；训练完成后可以得到模型的编码模块的编码特征图集为其中的表示第张图片在模型编码器第层的所有特征的集合，相应的解码模块的解码特征图集也就是其中的表示第张图片在模型解码器第层的所有特征的集合；此时从所有弱小目标图像数据库中选出准确率大于总体准确率120％，召回率大于总体召回率120％的所有图像数据作为用于优化问询式注意力库的优化数据库；
[0080]
s2.2、从优化数据库中提取其特征尺寸为2x2,4x4,8x8的所有特征图再组成用于优化问询注意力库的输入向量集其中表示优化数据库中第k张图片中符合尺寸为s的编码特征特征，该特征的通道数为c；从子特征图集提取其特征尺寸为2x2,4x4,8x8的子解码特征图组成用于优化问询注意力库的期待向量集其中表示优化数据库中第k张图片中符合尺寸为s的编码特征特征，该特征的通道数为c；
[0081]
s2.3、对输入向量集合和期待向量集进行尺度归一化操作得到输入向量集和期待向量集具体的尺度归一操作即使用4x4、2x2、1x1尺度的最大值算子分别对输入向量集i和期待向量集t进行滑动卷积操作；
[0082]
s2.4、构建问询注意力库中的查询向量集键值向量集激活向量集激活向量集
[0083]
s2.5、从输入向量集中选取出
作为输入向量；
[0084]
s2.6、用选取出的输入向量进行问询过程得到输出向量其中问询过程如下所示；
[0085][0086]
s2.7、从期待向量集中选取出与输入向量对应的期待向量按以下公式计算出输出与期待之间的残差量；
[0087][0088]
s2.8、使用输出与期待之间的残差量、输出对查询向量的雅克比矩阵jq、输出对键值向量的雅克比矩阵jk、输出对激活向量的雅克比矩阵jv按以下公式对注意力库中的查询向量集q、键值向量集k、激活向量集v进行更新；
[0089][0090][0091][0092]
s2.9、按照行序列顺序从输入向量集选出下一行作为输入向量；重复s2.5-2.7迭代优化m次；
[0093]
s2.10、加入问询式注意力库进入基线模型，从s2.1开始重复操作直到直到残差收敛到允许范围内；
[0094]
s3、自适应滤波，具体包括以下步骤：
[0095]
s3.1、对加入优化后的问询式注意力库的模型输出的热力图进行池化操作得到的检出目标二值图，由二值图构建当前管道输入ip＝{ip1,ip2,
…
,ipn}；获取或构建历史管道信息h＝{h1,h2,
…
,h
l
}；
[0096]
s3.2、由历史管道信息h＝{h1,h2,
…
,hn}由以下过程计算参考中心c；
[0097][0098]
s3.3、由历史管道信息h＝{h1,h2,
…
,hn}和参考中心由以下过程计算出径变化再由搜索径长r
01
和超参数k1得出筛选径长；
[0099][0100]
[0101]
s3.4、遍历当前管道输入，对于满足以下情况的候选点进行剔除得到剔除后管道集为op＝{op1,op2,
…
,opn}：
[0102][0103]
s3.5、如op不为空集则对历史管道信息按以下公式进行更新：
[0104]
h＝(h-{h1}∪op)
[0105]
s4、渐进关联挖掘，具体包括以下步骤：
[0106]
s4.1、对加入优化后的问询式注意力库的模型输出的热力图进行池化操作后得到目标图，对目标图进行多级阈值筛选后得到的目标二值图集，使用目标二值图集进行s3操作得到多级管道集
[0107]
s4.2、从多级管道集p抽取最高级目标二值图组成参考管道集r＝{r
1 r2ꢀ…ꢀrl
}，从多级管道集p抽取比当前参考管道集的目标二值图低一级的目标二值图组成候选管道集z＝{z
1 z2ꢀ…ꢀzl
}；
[0108]
s4.3、由参考管道集r＝{r
1 r2ꢀ…ꢀrl
}由以下过程计算参考中心c2；
[0109][0110]
s4.4、由参考管道集r＝{r
1 r2ꢀ…ꢀrl
}和参考中心由以下过程计算出径变化σ2，再由搜索径长r
02
和超参数k2得出筛选径长；
[0111][0112][0113]
s4.5、遍历当前管道输入，对于满足以下情况的候选点从候选管道集进行目标抽取得到新的参考管道集为r＝{r
1 r2ꢀ…ꢀrl
}：
[0114][0115][0116]
s4.6、降低参考管道集的等级并从多级管道集p抽取比当前参考管道集的目标二值图低一级的目标二值图组成新的候选管道集z＝{z
1 z2ꢀ…ꢀzl
)，从s4.3重复直到参考管道集的等级降为最低。
[0117]
本发明通过下列两个实验验证其有益效果。
[0118]
实验一
[0119]
验证本发明方法中的无锚机制的有效性与问询式注意力库的有效性。通过从多个数据库收集，最终构建了总共16023张图片、22个场景、单个及多个目标、静止及运动干扰目标、目标机动且多尺度变化等多种复杂特性的数据集。
[0120]
通过对22个场景数据特性的分析将其平均划分成训练集和测试集。如图2所示，训
练集和测试集都由11个不同的图像序列组成，每个序列都是在不同的场景中采集的视频图像序列，训练集和测试集分别包含8886和7291张图像。从图2中可以发现训练集和测试集都包含了不同场景的数据，所以实验可以充分反映算法的检测性能和泛化性能。
[0121]
利用现有方法与本发明方法进行比对，选择召回率、准确率、综合评价指标作为3种常见的评价方法，与mlcm、mpcm、pstnn、srws、ssd512进行对比，mlcm、mpcm、pstnn、srws使用其自适应阈值算法进行结果输出，ssd512采用0.01进行非极大值抑制，为保证对比的公平ssd512和本发明方法均采用0.5作为阈值进行结果输出，最终对比结果如下表所示。从下表可以看出，本发明方法无论是在单帧图像检测性能上无论相比于基于人类视觉系统的mlcm、mpcm，还是基于张量优化的pstnn、srws，还是输入图像尺寸是本发明方法2倍的深度学习方法ssd，在召回率、准确率、综合评价指标上都明显高于以上方法，证明了本发明的有效性。
[0122]
methodrecall(％)precision(％)fmeausre(％)mlcm87.986.8712.74mpcm44.6219.2826.93aagd46.1112.608.02pstnn88.722.104.10srws87.6310.4318.63ssd51290.0580.0084.93ours88.6392.2690.41
[0123]
实验二
[0124]
验证本发明方法中的自适应滤波(af)与渐进关联挖掘(gre)的有效性。由于基于人类视觉系统的mlcm、mpcm和基于张量优化的pstnn、srws这些方法即是在高阈值下准确率依然欠佳，这里不再将其并入实验二的比较之列。通过对ssd512和本发明方法在0.9阈值下的检测性能、经过0.9阈值筛选后加入自适应滤波后的检测性能，以及0.9阈值筛选并自适应滤波后再在阈值(0.9-0.1)进行渐进关联挖掘后的检测性能进行实验后相关指标如下表所示。从表中可以发现，只要存在阈值筛选的检测方法且在高阈值下能够有较优的准确率，通过本发明方法中的自适应滤波(af)与渐进关联挖掘(gre)都能够再一次有效的提高检测性能。但是原本的检测方法对弱小目标的实际识别准确率也将成为能够再次提高性能的瓶颈，这里也再次说明了本发明所提出的无锚机制和问询式注意力库在弱小目标检测中的有效性。
[0125][0126]
本实施例的积极效果是：
[0127]
一、使用无锚机制来对弱小目标进行识别。相较于锚框和二值分割图是一种更弱的一致性假设，模型更具泛化能力的同时也能有效的防止模型过拟合。
[0128]
二、仅使用问询式注意力库来对深度学习模型的效果进行增强。由于弱小目标实际本身的基于颜色、纹理等更高级的语义信息都是极少的，更多的是与周围环境的对比式语义信息。然后仅仅依靠数据本身和深度学习模型学习到的语义信息是片面或者局部最优的，因此利用数据库的较优数据通过牛顿法的方法和迭代优化的方式能够得到一个更充分理解上文中的对比式语义信息。
[0129]
三、在追踪时使用自适应滤波来滤去方差波动大的候选点，在可控范围内进一步提高对于弱小目标的追踪准确率。滤波后采用的渐进性关联挖掘能有效利用高阈值滤波关联后的强参考性挖掘出低阈值下的有效目标，在可控范围内弥补了自适应滤波造成的召回率下降且原本模型对弱小目标的检出准确率提到了一个新的高度。
[0130]
实施例二
[0131]
本发明提出的一种弱小目标检测与跟踪方法，相较于实施例一，所述radius＝30，所述th resh old
pre
＝1.2,th resh old
recall
＝1.2，所述s0、s1、s2、s3的取值为：4，8，4，2，所述m值的取值范围为5至10，所述m取值为7，所述r
01
、r
02
值的取值范围为10至30，所述r
01
、r
02
值的取值20。
[0132]
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于此，在所属技术领域的技术人员所具备的知识范围内，在不脱离本发明宗旨的前提下还可以作出各种变化。