一种弱小目标智能检测识别方法与流程

1.本发明涉及图像识别技术领域，尤其涉及一种弱小目标智能检测识别方法。


背景技术：

2.随着飞机、导弹等进攻性武器速度的不断提高，要求红外光学系统能在较远的距离处搜索到来袭目标，为我方对抗系统提供足够的预警时间。然而，当目标较远时，系统接收的是一种复杂背景中的弱信号，其不仅背景复杂、目标信号微弱、信噪比低、尺寸小，而且无形状、纹理信息，很难将其从背景中检测出来，以致如何实现复杂背景下弱小目标的可靠检测识别，成了当今国内外广为研究的热门课题。
3.针对红外系统弱小目标的检测识别问题，学者们提出了先检测后分类的方法和基于深度学习的智能方法两类。前者主要可分为基于单帧空域和基于时域序列图像的检测方法，当目标信噪比较低时，通常会导致数量较多的检测虚警以及较差的检测性能，且存在着人为调整的参数较多并且需要在线自适应计算的缺点。随着人工智能的发展，出现基于深度学习的智能检测方法，在智能监控、人脸识别、医疗领域等都达到了较好的效果，主要可分为两阶段检测模型，如fasterr-cnn，和单阶段模型，如yolo，ssd等检测识别算法，针对不同的场景和时效性、准确率等指标要求下，可以有针对性地选择和改进对应的方法。
4.然而，传统智能检测识别方法主要针对大尺度目标进行，对弱小目标检测识别性能较差。具体来讲有以下几方面不足：一针对大尺度目标进行，对目标像素小于16
×
16的弱小目标检测识别性能较差；二是用于训练的红外图像噪声多，数量不足，影响检测识别结果；三是检测识别速度不能满足实际设备的实时检测需求；四是目标检测虚警率比较高。


技术实现要素：

5.鉴于上述的分析，本发明实施例旨在提供一种弱小目标智能检测识别方法，用以解决现有红外弱小目标识别结果不准确和识别速度慢的问题。
6.一方面，本发明实施例提供了一种弱小目标智能检测识别方法，包括如下步骤：
7.提取多类图像的语义信息，并基于语义信息，构建条件对抗变分自编码器；通过前移尺度检测结构和调整卷积结构，构建改进的yolov3模型；
8.对接收到的红外图像进行去噪处理，得到去噪后图像，加入无噪声图像集；
9.将无噪声图像集输入构建的条件对抗变分自编码器，得到扩展图像集，将扩展图像集分为训练集和测试集；
10.基于训练集，对改进的yolov3模型进行训练得到目标识别模型；将测试集输入目标识别模型中，得到红外图像中目标的识别结果，包括目标的位置和类型。
11.基于上述方法的进一步改进，提取多类图像的语义信息，包括：
12.基于公共图像数据集，得到训练好的神经网络；其中训练好的神经网络的输入是公共图像数据集中的图像，输出是图像特征；
13.从公共图像数据集中，随机选择多类背景图像，每类选择多张，作为公共样本集；
14.将公共样本集中的每张图像输入训练好的神经网络，获取全连接层输出的图像特征，作为每张图像的语义信息；
15.根据每张图像的语义信息和图像类别，求和取平均后得到每类图像的语义信息。
16.基于上述方法的进一步改进，条件对抗变分自编码器包括：编码器模块、解码器模块、判别器模块；其中，
17.编码器模块，用于根据输入图像的特征图，得到服从正态分布的特征图；
18.解码器模块，用于对融合语义信息的特征图进行解码，生成重构图像和随机图像；正态分布的特征图、图像的语义信息和随机生成的语义信息拼接得到融合语义信息的特征图；
19.判别器模块，用于对输入图像、重构图像和随机图像分别进行判别，得到输入图像、重构图像和随机图像是否携带真实信息的判别结果。基于上述方法的进一步改进，条件对抗变分自编码器中的损失函数包括：变分自编码器损失函数和判别器损失函数；其中，
20.变分自编码器损失函数包括：kl散度、边际似然变分下限和重构图像的判别损失函数；
21.判别器损失函数包括：输入图像的判别损失函数和随机图像的判别损失函数。
22.基于上述方法的进一步改进，通过前移尺度检测结构和调整卷积结构，构建改进的yolov3模型，包括：
23.将yolov3模型中原有的3个尺度检测结构全部前移一个模块，3个尺度大小分别为26
×
26，52
×
52和104
×
104，分别输出1:1，1:2和2:1三种宽高比；
24.对主干网络中输出8倍下采样特征图进行2倍上采样，使尺寸与主干网络的4倍下采样特征图匹配；
25.将经2倍上采样处理后的8倍降采样特征图与4倍降采样特征图进行拼接融合，在得到104
×
104大小的特征图上进行分类和坐标回归；
26.将卷积层与批归一化层合并成一层。
27.基于上述方法的进一步改进，还包括：将目标的识别结果与测试集进行对比，根据目标的识别结果中目标的类型，识别是否存在于测试集中对应图像上，若不存在，则目标为虚警目标，设置虚警标志；
28.从目标的识别结果中按固定数量取出图像序列，识别图像序列的平均虚警率是否大于虚警率指标；如果大于，则通过滑窗迭代识别出当前图像序列中的真实目标，删除对应的虚警标志，输出优化后的图像序列；否则，直接输出当前图像序列，再按固定数量取出下一批图像序列继续识别和输出。
29.基于上述方法的进一步改进，滑窗的步长为1，滑窗的长度根据下式得到：
[0030][0031]
其中，s表示红外图像帧频为s帧/秒，m表示目标速度为m米/秒，[s/2]表示对s/2的值向上取整。
[0032]
基于上述方法的进一步改进，通过滑窗迭代识别出当前图像序列中的真实目标，
包括：
[0033]
将当前图像序列中的虚警目标作为待识别目标，加入待识别集合中；
[0034]
设置滑窗长度l，并根据滑窗长度l取出滑窗序列；
[0035]
识别滑窗序列中每个待识别目标出现的次数是否大于对应的门限，如果大于，则待识别目标为真实目标，从待识别集合中移除，并删除当前图像序列中待识别目标的虚警标志，否则，进入下一次滑窗迭代，直至待识别集合为空，或者当前图像序列全部滑窗结束；
[0036]
输出当前图像序列优化后的图像序列，包括：
[0037]
从当前图像序列的第l 1张图像开始，如果图像的虚警目标包含在待识别集合中，则不输出虚警目标。
[0038]
基于上述方法的进一步改进，通过基于残差学习的前馈卷积神经网络对接收到的红外图像进行去噪处理，得到去噪后图像，包括：
[0039]
接收到的红外图像输入输入层；
[0040]
中间层采用残差结构，将残差映射近似为图像噪声进行学习，不采用池化层，利用卷积直接填充特征图的边界；其中，第一层采用卷积和批归一化，第二层至倒数第二层中将批归一化加在卷积和relu激活函数之间，最后一层采用卷积；
[0041]
输出层输出残差图像；
[0042]
将红外图像的特征图与残差图像的特征图相减，得到去噪后图像。
[0043]
基于上述方法的进一步改进，将残差映射近似为图像噪声进行学习，包括：
[0044]
通过下式计算得到平均误差，学习训练参数；当平均误差收敛至阈值，得到训练好的网络模型：
[0045][0046]
其中，n表示图像大小，k表示滤波器个数，b表示期望的残差图像，a表示估计的残差图像，λ表示正则化参数，fk·
a表示估计的残差图像a与第k个滤波器fk的卷积，ρk(
·
)表示网络模型中可以调节的第k个惩罚参数，p表示第p个像素。
[0047]
与现有技术相比，本发明至少可实现如下有益效果之一：
[0048]
1、提供了一个体系化的方案，通过红外图像接收、图像去噪、数据集扩展、智能检测网络优化、虚警率处理五个方面，自动提高训练集质量，有效扩展样本数量，提高检测识别速率，降低虚警率；
[0049]
2、基于残差学习的去噪方法，该方法不学习具有显示图像先验的判别模型，而是将图像去噪视为一种简单的判别学习问题，通过前馈卷积神经网络将噪声与图像分离，实现图像自动去噪，解决原始图像质量低的问题；
[0050]
3、基于条件变分自编码技术，引入对抗思想，加入公共背景图像的特征，扩展数据集，克服了数据获取渠道的局限性，为弱小目标智能检测识别方法泛化能力的提升提供数据基础；
[0051]
4、通过特征前移、预测前移、推理加速，优化和调整yolov3模型，解决了传统方法无法很好适应弱小目标的问题；
[0052]
5、基于目标运动灵活设置滑窗尺寸，通过对图像序列的检测，识别出真实目标，解
决了复杂背景下弱小目标检测识别虚警率高的问题。
[0053]
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
[0054]
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
[0055]
图1为本发明实施例中弱小目标智能检测识别方法流程图；
[0056]
图2为本发明实施例中条件变分自编码器框架示意图；
[0057]
图3为本发明实施例中改进的yolov3结构示意图；
[0058]
图4为本发明实施例中基于残差学习的前馈卷积神经网络示意图；
[0059]
图5为本发明实施例中滑窗和计数处理过程示意图。
具体实施方式
[0060]
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
[0061]
本发明中的红外图像可以是来自于空中、陆地、海面等不同空间域中不同平台和装备所配备的中长波、中波等不同波段以及不同口径红外光学系统的目标图像。一张红外图像可以包括1个或多个目标，红外图像信息包括：图像类型，信息获取时间，图像像素信息，每个目标在图像中的左上角坐标位置，右下角坐标位置，以及目标类型。
[0062]
本发明的一个具体实施例，公开了一种弱小目标智能检测识别方法，如图1所示，包括如下步骤：
[0063]
s11：提取多类图像的语义信息，并基于语义信息，构建条件对抗变分自编码器；
[0064]
由于红外图像的目标信息在整幅图像中占比像素数少，为了有效利用有限的目标几何属性，如：长、宽、倾斜角度等，在条件变分自编码器(cvae)的基础上，进一步引入语义，从而生成符合特定语义信息的新样本。
[0065]
具体来说，根据公共图像数据集和传统神经网络，提取图像语义信息，包括：
[0066]
①
基于公共图像数据集，得到训练好的传统神经网络；其中训练好的神经网络的输入是公共图像数据集中的图像，输出是图像特征；
[0067]
示例性的，利用coco数据集(commonobjectsincontext，微软团队提供的一个可以用来进行图像识别的数据集)训练传统cnn网络。
[0068]
②
从公共图像数据集中，随机选择多类背景图像，每类选择多张，作为公共样本集；
[0069]
需要说明的是：从公共图像数据集中选择的背景图像类别数量，以及每类选择的图像数，大于步骤s11得到的无噪声图像集的类别数量和每类图像数量，优选地，类别数量大于20，每类图像数大于100。
[0070]
示例性地，选择公共图像数据集中的边框、纹理和形状等图像组成公共样本集。
[0071]
③
将公共样本集中的每张图像输入训练好的传统神经网络，获取全连接层输出的图像特征，作为每张图像的语义信息；
[0072]
④
根据每张图像的语义信息和图像类别，求和取平均后得到每类图像的语义信息，公式是：
[0073][0074]
其中，k表示图像类别数，mk表示第k类图像的数量，表示第k类第i张图像的语义信息，feak表示第k类图像语义信息。
[0075]
基于提取的图像语义信息，构建条件对抗变分自编码器，如图2所示，条件对抗变分自编码器包括：编码器模块、解码器模块、判别器模块；其中，
[0076]
编码器模块，用于根据输入图像的特征图，得到服从正态分布n(μ,δ2)的特征图；其中μ表示均值，δ2表示协方差。
[0077]
解码器模块，用于对融合语义信息的特征图进行解码，生成重构图像和随机图像；正态分布的特征图、图像的语义信息和随机生成的语义信息拼接得到融合语义信息的特征图；
[0078]
需要说明的是，随机生成的语义信息是从输入图像的所有可能的潜在分布空间中随机采样得到。
[0079]
判别器模块，用于对输入图像、重构图像和随机图像分别进行判别，得到输入图像、重构图像和随机图像是否携带真实信息的判别结果。
[0080]
需要说明的是，判别器的作用是将输入图像和重构图像判别为携带真实图像，将随机图像判别为未携带真实信息，而编码器和解码器使带有随机信息的随机图像尽可能真实，因此，判别器同编码器和解码器相互对抗，以此促进编解码器生成更加真实的图像。
[0081]
在条件对抗变分自编码器中，将输入图像、重构图像、随机图像及相关语义信息一起输入到判别器中，将判别器对原始图像和生成图像的判别损失定义为判别器损失，而对重构图像的判别损失仍看作为变分自编码器(conditionalautoencoder，cvae)中的损失，用于改善cvae的仅依靠重构误差调节网络参数的情况，同时增强对条件对抗变分自编码器网络的训练，因此，改进的损失函数为：
[0082]
l
cavae
＝l
icvae
e
x～p(x)
[log(d(x))] e
h～p(h)
[log(1-d(g(h|y)))]
ꢀꢀꢀ
公式(2)
[0083]
其中，x表示输入图像，y表示x的语义属性，h表示随机图像，e
x～p(x)
[log(d(x))]为输入图像的判别损失，e
h～p(h)
[log(1-d(g(h|y)))]为随机图像的判别损失，l
icvae
为改进的cvae损失函数，即在原cvae损失函数l
cvae
的基础上增加了重构图像判别损失的cvae损失函数，如下所示：
[0084]
l
icvae
＝l
cvae
λe
z～p(z)
[log(d(g(z|y)))]
ꢀꢀꢀ
公式(3)
[0085][0086]
其中，z表示输入图像x的潜在变量，φ表示编码器的参数，θ表示解码器的参数，e
z～p(z)
[log(d(g(z|y)))]为重构图像的判别损失，λ为平衡参数，d
kl
(q
φ
(z|x,y)||p
θ
(z))是
辅助分布和先验分布的相对熵或kullback-leiler(kl)散度，表示边际似然变分下限。
[0087]
s12：通过前移尺度检测结构和调整卷积结构，构建改进的yolov3模型；
[0088]
需要说明的是，现有的yolov3模型不能很好地支持弱小目标的检测识别，通过前移尺度检测结构和调整卷积结构，构建改进的yolov3模型，如图3所示，具体来说，改进点包括：
[0089]
将yolov3模型中原有的3个尺度检测结构全部前移一个模块，即3个检测尺度大小分别为26
×
26，52
×
52和104
×
104，对应的3条预测支路基于图像中目标比例进行设置和调整，分别输出1:1，1:2和2:1三种宽高比，适应更多的分辨率，改进算法对弱小目标的检测识别能力。
[0090]
对主干网络中输出8倍下采样特征图进行2倍上采样，使尺寸与主干网络的4倍下采样特征图匹配；
[0091]
将经2倍上采样处理后的8倍降采样特征图与4倍降采样特征图进行拼接融合，在得到104
×
104大小的特征图上进行分类和坐标回归；
[0092]
将卷积层与批归一化层合并成一层，提高推理速度。
[0093]
通过特征前移、预测前移、推理加速，优化和调整yolov3模型，解决了传统方法无法很好适应弱小目标的问题。
[0094]
需要说明的是，s11和s12在处理上不具有必然的先后顺序，本实施例对其处理顺序不做限制。
[0095]
s13：对接收到的红外图像进行去噪处理，得到去噪后图像，加入无噪声图像集；
[0096]
优选地，将对接收到的红外图像去噪预处理视为一种判别学习问题，通过前馈卷积神经网络，基于残差学习的去噪方法不学习图像先验信息，将噪声与图像分离，网络架构如图4所示，包括：
[0097]
输入层是接收到的红外图像；
[0098]
中间层采用残差结构，将残差映射近似为图像噪声进行学习，提升训练速度，稳定性和精度；不采用池化层，尽可能保留原图像特征；利用卷积直接填充特征图的边界，确保中间的每个特征层具有与输入图像相同的大小，同时有效去除边界伪影，便于后续处理；其中，第一层采用卷积和批归一化，第二层至倒数第二层中将批归一化加在卷积和relu激活函数之间，最后一层采用卷积；
[0099]
输出层是残差图像；
[0100]
将红外图像的特征图与残差图像的特征图相减，得到去噪后图像。
[0101]
在网络模型训练过程中，通过期望的残差图像与来自噪声输入的估计残差图像之间的平均误差来学习训练参数，当平均误差收敛至阈值，得到训练好的网络模型。其中计算平均误差的公式是：
[0102][0103]
其中，n表示图像大小，k表示滤波器个数，b表示期望的残差图像，a表示估计的残差图像，λ表示正则化参数，fk·
a表示估计的残差图像a与第k个滤波器fk的卷积，ρk(
·
)表
示网络模型中可以调节的第k个惩罚参数，p表示第p个像素。
[0104]
为了解决样本数据数量有限、样本不均衡的问题，对去噪后的图像进行数据集的扩展。
[0105]
s14：将无噪声图像集输入构建的条件对抗变分自编码器，得到扩展图像集，将扩展图像集分为训练集和测试集；
[0106]
需要说明的是，将无噪声图像集中的图像作为样本集，输入构建的条件对抗变分自编码器，根据条件对抗变分自编码器的损失函数，通过反向传播算法分别优化编码器、解码器和判别器中的网络参数，输出生成图像是否携带真实信息的判别结果，将携带真实信息的生成图像作为扩展图像，将扩展图像与去噪后图像两两对比，获得目标类型，然后人工标注目标的坐标位置，得到扩展图像集，按照8:2或7:3的比例划分为训练集和测试集。
[0107]
s15：基于训练集，对改进的yolov3模型进行训练得到目标识别模型；将测试集输入目标识别模型中，得到红外图像中目标的识别结果，包括目标的位置和类型。
[0108]
具体来说，基于训练集，训练改进的yolov3模型，将目标的识别结果中目标的坐标位置和类型与人工标记得到目标的坐标位置和类型进行比较，以map(mean average precision，均值平均精度)值作为评估指标，当map值小于设定的阈值时，调整网络参数重新进行网络训练过程；当网络训练达到设置的迭代次数且map达标时，保存训练得到的网络模型的权重参数，得到训练好的改进的yolov3模型，即目标识别模型。
[0109]
再将测试集输入到目标识别模型中，得到目标的识别结果，包括目标的位置和类型。
[0110]
s16：基于目标的识别结果，通过滑窗的图像序列检测，识别出真实目标，输出优化后的图像序列。
[0111]
优选地，将目标的识别结果与测试集进行对比，根据目标的识别结果中目标的类型，识别是否存在于测试集中对应图像上，若不存在，则目标为虚警目标，设置虚警标志。
[0112]
由于单帧图像的虚警率一般较高，特别是针对复杂背景，比如目标穿云、空地等场景，因此，采用滑窗机制，基于目标运动灵活设置滑窗尺寸，对连续的图像序列进行虚警目标的计数判断，识别出真实目标，降低虚警率。
[0113]
具体来说，从目标的识别结果中按固定数量取出图像序列，识别图像序列的平均虚警率是否大于虚警率指标；如果大于，则通过滑窗迭代识别出当前图像序列中的真实目标，删除对应的虚警标志，输出优化后的图像序列；否则，直接输出当前图像序列，再按固定数量取出下一批图像序列继续识别和输出。
[0114]
需要说明的是，固定数量根据目标的运动速度预先设置，示例性地，按100张或500张取出连续的图像序列进行下一步检测。而且，考虑到一张图像有1个或多个目标，对取出来的图像序列，计算出每个目标的虚警率后，求和取平均作为平均虚警率与预置的虚警率指标进行比较。如果大于虚警率指标，说明虚警率比较高，需要进一步优化，通过滑窗迭代识别出当前图像序列中的真实目标，删除对应的虚警标志。
[0115]
滑窗的步长为1，滑窗的长度根据下式得到：
[0116][0117]
其中，s表示红外图像帧频为s帧/秒，m表示目标速度为m米/秒，[s/2]表示对s/2的值向上取整。
[0118]
如图5所示，通过滑窗迭代识别出当前图像序列中的真实目标，其中d表示当前图像序列的长度，r表示滑窗的次数，具体过程如下：
[0119]
将当前图像序列中的虚警目标作为待识别目标，加入待识别集合中；
[0120]
根据公式(6)设置滑窗长度l，并根据滑窗长度l取出滑窗序列；
[0121]
识别滑窗序列中每个待识别目标出现的次数是否大于对应的门限，如果大于，则待识别目标为真实目标，从待识别集合中移除，并删除当前图像序列中待识别目标的虚警标志，否则，进入下一次滑窗迭代，直至待识别集合为空，或者当前图像序列全部滑窗结束。
[0122]
根据滑窗结果，同时输出当前图像序列优化后的图像序列，包括：
[0123]
从当前图像序列的第l 1张图像开始，如果图像的虚警目标包含在待识别集合中，则不输出虚警目标。
[0124]
示例性地，假设l为60，则第61张图像中目标的输出，取决于1-60滑窗序列检测中的待识别集合，第62张图像中目标的输出，取决于2-61滑窗序列检测中的待识别集合。
[0125]
通过对图像连续性的检测，既可以将假的虚警目标转换为真实目标，又可以根据实时的滑窗检测结果，不显示可能的虚警目标，从而降低整个图像序列的虚警率。
[0126]
优化地，将优化后的图像序列中的虚警率，与步骤s15中得到的目标的识别结果中的虚警率进行对比分析，根据差异结果，对模型结构或参数进行优化调整。
[0127]
进一步地，对弱小红外图像实时检测识别时，通过步骤s13得到无噪声的图像后，输出步骤s15中的目标识别模型，得到实时红外图像中目标的识别结果，包括目标的位置和类型。
[0128]
与现有技术相比，本实施例提供的一种弱小目标智能检测识别方法，提供了一个体系化的方案，通过红外图像接收、图像去噪、数据集扩展、智能检测网络优化、虚警率处理五个方面，自动提高训练集质量，有效扩展样本数量，提高检测识别速率，降低虚警率；基于残差学习的去噪方法，该方法不学习具有显示图像先验的判别模型，而是将图像去噪视为一种简单的判别学习问题，通过前馈卷积神经网络将噪声与图像分离，实现图像自动去噪，解决原始图像质量低的问题；通过条件变分自编码技术，扩展数据集，克服了数据获取渠道的局限性，为弱小目标智能检测识别方法泛化能力的提升提供数据基础；通过特征前移、预测前移、推理加速，优化和调整yolov3模型，解决了传统方法无法很好适应弱小目标的问题；基于目标运动灵活设置滑窗尺寸，通过对图像序列的检测，识别出真实目标，解决了复杂背景下弱小目标检测识别虚警率高的问题。
[0129]
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
[0130]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，
任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。