一种基于超像素分割以及数据增强的红外小目标检测方法与流程

1.本发明涉及红外图像检测技术领域，特别是涉及一种基于超像素分割以及数据增强的红外小目标检测方法。


背景技术：

2.红外图像的背景和噪声占有很大比例，目标不清晰、占比小也增加了检测的难度；另外，实际的红外小目标检测任务中，目标与背景之间的语义联系往往较弱，缺乏明显的形状、纹理和颜色等信息，难以直接检测，因此直接使用通用小目标检测方法进行红外小目标检测具有局限性。其次，在真实场景下，虚警也是一个难以解决的问题，它大多由两个方面的因素造成，首先探测器视场中有时不可避免地会出现各种各样的复杂背景，如树木、建筑、云层、海浪等，它们可能具有超过真实目标的亮度和比较复杂的边缘杂波信息，容易干扰检测，其次由于器件制造缺陷以及系统工作时的随机电噪声等因素，原始图像中会存在一些高亮度点噪声，这些点噪声也容易被错当成目标；一些实际应用场合(如制导等)对实时性的要求很高，这进一步增加了目标检测的难度。红外小目标也存在样本难以采集、红外成像纹理信息的缺乏以及红外小目标图像的前景和背景之间的严重不平衡，更使得精确检测红外小目标变得困难。实现对红外小目标的精确检测具有重要意义。


技术实现要素：

3.本发明改善了现有技术中红外图像小目标检测方面存在的不足，提供一种容易采集红外小目标样本的基于超像素分割以及数据增强的红外小目标检测方法。
4.本发明的技术解决方案是，提供一种具有以下步骤的基于超像素分割以及数据增强的红外小目标检测方法：含有以下步骤：
5.步骤1、制作数据集并对数据集进行扩充，增加训练样本；
6.步骤2、将得到的所有图像输入至生成对抗网络模型得到输出结果，将原始数据集与生成对抗网络得到的图像数据视为新的数据集；
7.步骤3、使用超像素分割算法，将数据集中的原始图像进行超像素分割；
8.步骤4、建立u-net网络模型，并使用生成的超像素分割后的图像与其对应的原真实标签输入至u-net 网络模型进行训练；
9.步骤5、建立分类网络模型，使用数据集中的mask标签图像和分类标签输入至分类网络进行训练；
10.步骤6、建立红外小目标检测管道，其中包含步骤4训练好的u-net网络模型和步骤5训练好的分类网络模型，再输出分类检测结果。
11.优选地，所述步骤1中通过在包含小目标样本中多次复制粘贴小目标对数据集进行扩充，粘贴每个目标时保证粘贴的目标与现有的目标不重叠，在任意位置进行粘贴，不与其他对象重叠，每个对象粘贴在一张图像内不超过3个。
12.优选地，所述步骤2含有以下步骤，
13.步骤2.1、先把原始训练集中的图片送入gan网络训练得到gan的生成模型和判别模型，同时将原始训练集中的图片送入cnn网络中训练得到第一个预测模型；
14.步骤2.2、将原始训练集中的图再送步骤2.1中训练gan后得到的生成模型中，得到若干输出的假样本；
15.步骤2.3、将步骤2.2得到的假样本和原始训练集组合得到一个在原始数据集上加了假样本进行扩充后的新训练集，将原始数据集与生成对抗网络得到的图像数据视为新的数据集。
16.优选地，所述步骤3中输入为数据集中的原始图像，将其预处理为128
×
128大小，将红外图像转换为三维特征向量v＝[l,x,y]
t
，该特征向量描述亮度空间和坐标空间，算法聚类过程从初始化聚类中心 ck＝[lk,xk,yk]
t
开始，其中k个初始聚类中心在间隔s个像素的规则网格进行上采样，将聚类中心移动到与3
×
3邻域中的最低梯度位置相对应的位置，在分配步骤中的每个像素必须与所有聚类中心比较，通过引入距离测量d来实现，该距离测量d确定每个像素的最近聚类中心，由于超像素的预期空间范围是近似尺寸s
×
s的区域，则在超像素中心周围的区域2s
×
2s中进行类似像素的搜索，聚类中心到每一个像素之间的距离表示为d，如式m表示空间和像素颜色的相对重要性的度量，其中d
l
和ds分别表示颜色接近度和空间接近度，在计算距离d时，构造以像素i为中心，大小为的正方形区域来表示i的亮度值，在区域中，排除极端点后的非边缘像素集合表示为其平均值用于计算像素点和聚类中心的亮度相似度，其中颜色接近度如式其中其中表示像素总数，表示的平均值，空间接近度直到每个像素点聚类中心不再发生变化停止迭代得到超像素分割图像。
[0017]
优选地，所述步骤4中将步骤3中的每一个超像素分割后的图像像素进行归一化，方法为p'为归一化后的像素值，p
min
为图像中像素值的最小值，p
max
为图像中像素值的最大值，归一化后连同其原真实标签图像输入至u-net网络模型进行训练，得到训练好的u-net网络模型。
[0018]
优选地，所述步骤5中建立分类网络模型，利用迁移学习，使用预训练模型darknet-19网络作为特征提取器，使用5个完全连接的层进行分类，在预训练模型darknet-19和第一个dense层之间加入dropout 操作再进行flatten操作；第二个dense层和第三个dense之间、第三个dense层和第四个dense层之间加入dropout操作，dropout比率选择0.2，以最小化过度拟合，且在每一个dense层中，使用“tanh”激活函数，全连接层的末尾，使用具有一个节点的softmax层映射类别标签，以从红外图像中检测目标，并且使用数据集中的mask标签图像和分类标签输入至分类网络进行训练。
[0019]
优选地，所述步骤6中建立红外小目标检测管道，其中包含了步骤4训练好的u-net网络模型和步骤 5训练好的分类网络模型，将128x128像素的红外原始图像作为输入，输入图像将使用超像素分割进行预处理，然后使用步骤4中训练好的u-net模型，将生成对应的mask图像，再经过必要的预处理步骤后的 mask图像将被输入至步骤5中训练好的分类模型中，该模型预测图像中目标的类别。
[0020]
与现有技术相比，本发明基于超像素分割以及数据增强的红外小目标检测方法具有以下优点：
[0021]
1、扩充了样本数据集，发掘了红外图像中的局部对比度特征，基于超像素分割以及数据增强，来用于提升对红外小目标的检测能力，特别是弱小目标样本少的数据集下。
[0022]
2、不仅使用了小目标在每张图像上的复制粘贴，还使用了生成对抗网络模型，进一步扩充了数据集，增加了弱小目标的正样本。通过在包含小目标样本中多次复制粘贴小目标以及生成对抗网络。增加了小目标位置的多样性，同时保证目标出现在合适的上下文，扩充了数据集。
[0023]
3、由于引入了超像素分割，红外图像被聚类为超级像素，为进一步的语义分割任务提供更好的表示。
[0024]
4、由于结合了分类网络模型，能够在分割的基础上进行分类检测，对红外小目标的检测更加精确。
[0025]
5、利用扩充后的整个数据集，减少过拟合现象，增加模型的泛化能力。再通过改进原始的简单的线性迭代聚类slic算法，使其适用于红外图像，并且构造了以像素点为中心的大小为的正方形区域来表示像素点的亮度值，结合像素邻域信息提高了对异常像素的鲁棒性。为进一步的u-net语义分割提供了更好的表示。
[0026]
6、小目标检测的管道。包含训练好的u-net语义分割网络模型和分类网络模型，是一种集成的自动化流水线，能够在分割的基础上进行分类检测，以低成本且更加准确地实现红外小目标的检测。
附图说明
[0027]
图1是本发明的方法流程图；
[0028]
图2是本发明中目标检测的框架流程图；
[0029]
图3是本发明目标检测的框架中的分类模型的具体网络框架示意图；
[0030]
图4是本发明复制粘贴小目标对象的具体实施流程算法图。
具体实施方式
[0031]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0032]
下面结合附图和具体实施方式对本发明基于超像素分割以及数据增强的红外小目标检测方法作进一步说明：如图所示，本实施例中包括以下步骤：
[0033]
步骤1、首先，使用labelme标签标注工具生成yolo格式的标签txt文件和语义分割的mask标签，并与原始图像共同组成数据集。其次，对于语义分割的mask标签图像，使用labelme标签标注工具对其进行分类标注。对于其中已有的yolo格式数据集中的一半图片中选取所标注标签真值像素不超过64
×
64的小目标，复制其图像对象，粘贴至当前图像当中，粘贴时同时创建其标签真值，其中，粘贴小目标的具体算法过程为：
[0034]
步骤1.1、读入待处理图像，并且读入待处理图像的标签txt文件。
[0035]
步骤1.2、判断标签文件中的小目标标签像素宽高是否小于64
×
64，如果小于则选取没有目标的位置创建新的标签真实框并添加到当前图像中的标签文件。
[0036]
步骤1.3、将图片抠出复制至创建的标签真实框中且count 1。
[0037]
步骤1.4、判断count值是否大于4，若大于4则停止复制粘贴小目标对象的操作，若小于4，则重复步骤1.2。
[0038]
步骤2、将上述所有图像输入至生成对抗网络模型，得到输出结果。
[0039]
步骤2.1、先把原始训练集中的图片送入gan网络训练得到gan的生成模型和判别模型，同时将原始训练集中的图片送入cnn网络中训练得到第一个预测模型。
[0040]
步骤2.2、将原始训练集中的图再送步骤2.1中训练gan后得到的生成模型中，得到若干输出的“假样本”。
[0041]
步骤2.3、将步骤2.2得到的“假样本”和原始训练集组合得到一个在原始数据集上加了“假样本”进行扩充后的新训练集。将原始数据集与生成对抗网络得到的图像数据视为新的数据集。
[0042]
步骤3、使用超像素分割算法，将数据集中的原始图像应用尺度比例转换为128
×
128大小后进行超像素分割，其具体步骤如下：
[0043]
步骤3.1、初始化；步骤3.1.1、初始化聚类中心ck＝[lk,xk,yk]
t
：按照预先设定的超像素个数，在图像内均匀的分配聚类中心，相邻聚类中心的距离(步长)近似为其中l表示亮度值，x,y表示坐标图像的空间信息，n表示图像像素点个数，k表示预分割相同尺寸的超像素个数。
[0044]
步骤3.1.2、在聚类中心的3
×
3邻域内重新选择聚类中心，其具体方法为：计算该邻域内所有像素点的梯度值，将聚类中心移动到该邻域内梯度最小的地方。
[0045]
步骤3.1.3、在每个聚类中心周围的邻域内为每个像素点分配类标签label(i)＝-1。
[0046]
步骤3.1.4、在每个聚类中心周围的邻域内为每个像素点设置距离d(i)＝∞。
[0047]
步骤3.2、将每一个像素i在每一个聚类中心ck周围的2s
×
2s区域内计算聚类中心ck和像素i的距离d，设置标签label(i)＝k，其中m表示空间和像素颜色的相对重要性的度量，其中d
l
和ds分别表示颜色接近度和空间接近度。
[0048]
步骤3.3、构造以像素i为中心，大小为的正方形区域来表示i的亮度值，在区域中，排除极端点后的非边缘像素集合表示为其平均值用于计算点i
和聚类中心ck的亮度相似度，其中颜色接近度的亮度相似度，其中颜色接近度表示像素总数，表示的平均值，空间接近度
[0049]
步骤3.5、直到每个像素点聚类中心不再发生变化停止迭代得到超像素分割图像。
[0050]
步骤4、建立u-net网络模型，使用上述步骤3生成的超像素分割后的图像与其对应的原ground truthmask输入至u-net网络模型进行训练；将步骤3中的每一个超像素分割后的图像像素进行归一化。其中归一化方法为p'为归一化后的像素值，p
min
为图像中像素值的最小值，p
max
为图像中像素值的最大值。归一化后，连同其原真实标签(ground truth masks)图像输入至u-net网络模型进行训练，得到训练好的u-net网络模型。
[0051]
步骤5、建立分类网络模型，利用迁移学习，使用预训练模型darknet-19网络作为特征提取器，使用 5个完全连接的层进行分类，在预训练模型darknet-19和第一个dense层之间加入dropout操作再进行 flatten操作；进一步地，第二个dense层和第三个dense之间、第三个dense层和第四个dense层之间加入dropout操作，dropout比率选择0.2，以最小化过度拟合，且在每一个dense层中，使用“tanh”激活函数，如式
[0052]
进一步地，全连接层的末尾，使用具有一个节点的softmax层映射类别标签。其中将数据集中的mask 标签图像应用比例转换为128
×
128大小，并将其图像像素进行归一化操作，预处理后和其对应的分类标签输入至分类网络进行训练。得到训练好的分类网络模型。
[0053]
步骤6、建立红外小目标检测管道，包含了上述步骤4训练好的u-net网络模型和上述步骤5训练好的分类网络模型。其中将128x128像素的红外原始图像作为输入，输入图像将使用超像素分割进行预处理，然后使用步骤4中训练好的u-net模型，将生成对应的mask图像，再经过必要的预处理步骤后的mask 图像将被输入至步骤5中训练好的分类模型中，该模型将预测图像中目标的类别，其中为“有目标”一类。该管道只需要原始的红外图像，它可以自动生成mask的图像，从而实现最终的检测结果。
[0054]
其具体包括以下步骤：
[0055]
具体地、x是一组包含原始红外图像的数字矩阵表示的向量，创建一个向量t，用于存储由u-net 分割模型预测的标签mask图像。进一步地、在x中的每一个xi上，应用比例转换，将其转换为128
×
128 像素的图像，进行u-net图像分割，使用最大值归一化对图像像素进行标准化处理；通过之前训练的u-net 分割模型预测相应xi的分割mask图像，并将其保存在向量t中；在t中的每一个ti上，应用比例转换，将其转换为128
×
128像素的图像；通过先前训练的分类模型预测变换后的图像的分类标签，输出检测结果，类别为有目标。