一种深度学习单帧红外弱小目标高分辨率分割方法

1.本发明涉及红外弱小目标探测领域，具体为一种深度学习单帧红外弱小目标高分辨率分割方法。


背景技术：

2.红外弱小目标检测在民用与军用的许多场景中有着重要的研究价值，是诸多应用中的核心技术。红外波作为一种长电磁波，其真空波长介于750nm-1mm之间，不同于来源丰富的可见光波段，红外波段主要由物体自身的热辐射与反射的太阳光产生，由于波段的特殊性，在可见光探测难以解决的遮挡与夜视等问题中，使用红外探测往往能迎刃而解。由于红外波段自身特点、传感器特性与成像距离远等因素，探测到的目标在红外图像上往往呈现像素占比少、缺乏形状与纹理的特点，这使得红外弱小目标检测算法成为红外图像处理领域的关键技术。
3.在单帧红外弱小目标检测任务中，重点有效检测出图像中像素占比极小且信噪比较低的目标，需要输出弱小目标在图像上像素位置。传统的单帧红外弱小目标检测算法均是基于先验与模型驱动的算法，这些算法都通过分析目标与背景的数据特点，充分挖掘先验信息，提出合适的假设来设计检测模型，但高度依赖先验假设的特点限制了传统算法的泛用性，这些算法依赖手工特征的设计，对超参数高度敏感，在目标图像与先验假设不同的场景里的表现往往不如人意；而另一方面，当前的深度学习分割算法均是针对具有丰富形状、纹理、颜色等表观信息的自然目标设计的，在缺少以上所有表观信息的红外弱小目标上，是几乎无能为力的。


技术实现要素：

4.针对上述现有技术中存在的问题，本发明提供一种深度学习单帧红外弱小目标高分辨率分割方法，设计了基于高分辨率分割网络的小目标检测框架，将单帧红外图像输入本发明的网络中，能直接输出图像中红外弱小目标的像素级分割结果。针对红外弱小目标像素占比极低的问题，本发明设计了高分辨特征提取模块，与传统的串联分割网络不同，该模块在不同尺度的特征中采用并联结构，始终维持了一条原图像尺度的特征支路，最大程度地保留了弱小目标的空间信息；针对红外弱小目标缺少有效表观特征的问题，本发明设计了一种有效的上下层特征融合策略，在高层特征支路提取优势语义信息，在底层特征支路提取优势空间信息，融合出更好的输出特征；针对红外弱小目标在图像中极其稀疏、目标数量极少的问题，本发明设计了一种样本随机复制的数据增强方案，能有效改善红外图像中样本数量过少造成的样本不均衡问题。
5.为达到上述目的，本发明采用的技术方案如下：
6.一种深度学习单帧红外弱小目标高分辨率分割方法，其特征在于，包括如下步骤：
7.s1.获取输入数据及标注，输入数据为包含红外弱小目标的灰度图像，标注红外弱小目标在图像中的真值像素点，并划分训练数据集与测试数据集；
8.s2.对输入的训练数据集，获取其中的红外弱小目标，对目标进行随机尺度缩减、翻转变换，将得到的新目标随机粘贴在原图像中，并基于粘贴位置进行统计变换，得到经过样本随机复制增强的红外图像；
9.s3.设计基于高分辨率分割网络的检测算法，输入图像先后经过特征预提取模块、高分辨率特征提取模块与最后的特征分割模块，输出最终的红外弱小目标分割图，即实现端到端的红外弱小目标检测；
10.s4.在模型训练阶段，由标注生成每张红外图像中目标区域的真值，对算法输出的分割结果采用所述真值计算损失以进行监督训练；
11.s5.在模型推理阶段，输入的单帧红外图像经过高分辨率分割网络输出每个目标概率图，每个像素点的值为目标的出现概率，经过sigmoid激活后，得到最终分割结果，即将出现概率大于0的像素点作为目标的出现位置，最终得到红外弱小目标的精确像素位置。
12.进一步地，所述的步骤s1中，所述输入数据使用单通道16位深图像；标注生成是通过对观测天区内的参考星进行星图匹配获得天文定位信息，根据精密星历和星表获得包括自然天体和人造天体的精确天文坐标，经映射后转换到图像坐标获得亚像素级别定位信息。
13.进一步地，所述的步骤s2具体包括如下：
14.s21.目标提取阶段，利用输入图像的真值图，从输入图像中提取出每一个红外弱小目标，具体操作即截取出每一个弱小目标的最小外接矩形图像块，同时利用真值图生成该矩形块中的透明度数值，以精准地保留目标的具体轮廓；
15.s22.目标增强阶段，在提取出的每个目标的图像块上进行随机尺度缩放与翻转的图像变换操作，生成与原始目标有一定区分的变形；
16.s23.目标随机粘贴阶段，在原始图像上指定的范围中，随机选取粘贴点，随后统计粘贴点附近窗口的像素平均值与方差，对待粘贴的目标图像进行统计上的微调，使得目标在粘贴窗口处表现地更加自然，并能控制粘贴目标的信噪比。
17.进一步地，所述步骤s3的分割网络包括特征预提取模块、高分辨率特征提取模块和最终的特征分割模块；所述特征预提取模块采用轻量化的卷积层，提取红外图像的初级特征，输入到高分辨率特征提取模块中；所述高分辨率特征提取模块得到的四个特征支路中，上层的输出特征与原图的分辨率完全一致，保持最好的空间信息，下层的三个特征支路中，特征空间尺度减小，但通道维数逐渐增加，用于学习到更抽象的语义信息；所述高分辨率特征提取模块输出的四个特征支路的特征尺度统一到原始图像大小后，经过通道拼接输入所述特征分割模块。得到最终的弱小目标分割图；
18.不同尺度的所述特征支路采用并联的方式构建；采用轻量化的基础残差卷积块；在低分辨率特征支路向高分辨率特征支路的融合过程中，采用反卷积层，增加网络的可学习参数，其中，不同尺度差别间的反卷积层采用的反卷积步幅为2的次方；
19.以每个阶段作为划分点，位于后面的阶段接收到前面所有阶段最后的输出特征，对于每个特征支路的连接点，其输出为自身与过去阶段中同一支路的加和；
20.在低层特征图提取空间信息权重，在高层特征图提取通道信息权重，加强每个支路学习到的优势信息，给下一个阶段输出更好的特征支路；
21.在最终的特征分割模块中，高层特征图向低层特征图逐步注入语义权重，将最终
的加强高分辨特征用于最后的分割结果输出。进一步地，所述步骤s4，具体包括：
22.s41.真值生成阶段，对原始图像使用的数据增强方法为随机翻转和随机高斯模糊，对应的真值图像需要进行相应的变换，而对于样本随机复制增强的真值区域，还需要统计样本复制粘贴区域的灰度分布，为了使样本与背景区域分布平滑自然，对样本根据背景区域的灰度均值与方差进行灰度直方图拉伸处理；
23.s42.损失计算，对最终的特征分割模块的输出目标分割图，采用平滑交并比损失函数作为目标函数，用于监督整个模型的训练。
24.进一步地，所述步骤s5，具体包括：
25.s51.数据预处理，将输入图像先后进行归一化与尺度统一操作，统计整个输入图像数据集上的平均灰度值与方差用于归一化，所有输入图像尺度统一到256像素
×
256像素的大小；
26.s52.模型推理，经过数据预处理的图像输入到模型中，输出与原图尺寸大小相同的目标概率图，采用sigmoid运算，将每个像素点的概率值统一到0-1，设置一个置信阈值，将概率值大于阈值的部分即视为目标；
27.s53.数据后处理，将得到的最终目标分割图进行8领域的连通合并操作，将相邻足够近的像素聚合为一个目标。
28.本发明以下有益效果：
29.1、相比现有传统方法，本发明为基于数据驱动的深度学习算法，在模型的推理与检测过程中，不需要人工调整复杂的超参数，检测速度更快的同时具有更高的鲁棒性；
30.2、相比于多帧检测的方法，本发明完全在单帧图像上进行训练与检测，不需要多帧检测算法中的时序信息，在保证检测精度与速度的同时，在应用中更具实用性；
31.3、相比一般深度学习分割算法，本发明设计的高分辨红外弱小目标检测算法能更好地得到红外弱小目标的精准位置，具有更高的目标交并比与检测精确度。
附图说明
32.图1是本发明的深度学习单帧红外弱小目标高分辨率分割方法整体流程图，虚线部分表示在测试阶段会跳过数据增强步骤，直接将图像输入到网络中；
33.图2是本发明的构建红外弱小目标数据库的示意图，图中的左边虚线框部分为原图数据集，白色框标识出了图像中的目标，经过实例提取得到右边虚线框部分，即由红外弱小目标构成的数据库；
34.图3是本发明提出的随机样本复制增强策略的示意图；
35.图4是本发明设计的红外弱小目标高分辨率分割网络的结构图由特征预提取模块、高分辨率特征提取模块和最终的特征分割模块三部分组成；
36.图5是本发明所用高分辨率特征提取模块中设计的同级特征跨层连接策略，浅色框部分为不同尺度特征组成的并联层、灰色框部分为并联层之间的并联层、深色框中为最后输出的特征；
37.图6是本发明中高分辨率特征提取模块中不同并联阶段过渡层的连接示意图，左图部分为两个并联层之间的过渡连接示意，右图部分展示了不同尺度的特征如何融合到一个支路；
38.图7是本发明所用高分辨率特征提取模块中设计的上下层特征融合策略；
39.图8a是本分明与其他传统算法的精度对比结果图，第一列为对比的各个传统算法与本发明的算法，第二列为不同算法实验测试出的miou指标结果；
40.图8b是本发明的最终检测结果图，其中第一行图像为测试的红外图像，白色框标出的为图像中的弱小目标，第二行图像为输出的真值分割图。
具体实施方式
41.为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方案和附图，对本发明进一步详细说明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
42.在本实施例中，如图1所示，本发明的一种深度学习单帧红外弱小目标高分辨率分割方法，包括以下步骤：
43.s1.获取输入数据及标注，输入数据为包含红外弱小目标的灰度图像，标注红外弱小目标在图像中的真值像素点，并划分训练数据集与测试数据集。
44.s2.对输入的训练数据集，获取其中的红外弱小目标，对目标进行随机尺度缩减、翻转等变换，将得到的新目标随机粘贴在原图像中，并基于粘贴位置的灰度分布，对样本根据背景区域的灰度均值与方差进行灰度直方图拉伸处理，得到经过样本随机复制增强的红外图像。
45.s3.设计基于高分辨率分割网络的检测算法，输入图像先后经过特征预提取模块、高分辨率特征提取模块与最后的特征分割模块，输出最终的红外弱小目标分割图，即实现了端到端的红外弱小目标检测。
46.s4.在模型训练阶段，由标注生成每张红外图像中目标区域的真值，对算法输出的分割结果采用所述真值计算损失以进行监督训练；
47.s5.在模型推理阶段，输入的单帧红外图像经过高分辨率分割网络输出每个目标概率图，每个像素点的值为目标的出现概率，经过sigmoid激活后，得到最终分割结果，即将出现概率大于0的像素点作为目标的出现位置，最终得到红外弱小目标的精确像素位置。
48.具体而言，对于步骤s1，在本实施例中的数据使用真实的红外图像，数据类型为png格式的8位单通道图像。本实施例采用的真实红外图像数据集总共包含427张不同场景下拍摄的红外图像，背景场景包括云雾、城市以及海面三种，数据集的真值均为人工标注，标注的方式为给出单通道的分割真值图，分割真值图上，像素值为0的区域为背景区域，像素值为1的区域为真值区域。在具体的数据集划分中，本发明大致将一半的数据集划分为训练数据集，另一半为测试数据集。所述输入数据使用单通道16位深图像；标注生成是通过对观测天区内的参考星进行星图匹配获得天文定位信息，根据精密星历和星表获得包括自然天体和人造天体的精确天文坐标，经映射后转换到图像坐标获得亚像素级别定位信息。
49.对于步骤s2，在训练的过程中除了对输入的红外图像进行了随机尺度缩放、随机裁剪与随机高斯模糊等一般数据增强操作外，还进行样本随机复制增强操作。具体地，在拿到训练数据后，首先利用训练数据真值分割图，将训练数据中的每个红外目标实例提取出来，如图2所示，构建出当前数据集的目标数据库。随后在训练过程中，利用构建出的目标数据库在输入图像上进行样本随机复制增强的操作，以解决输入的红外图像样本不均衡的问
题。
50.具体地，在样本随机复制增强的过程中，随机从样本数据库中选取红外弱小目标，并进行随机尺度与翻转等图像变换操作，然后在输入图像上的背景区域中随机选取粘贴点，统计粘贴点附近窗口的像素平均值与方差，对待粘贴的目标图像进行统计上的微调，使得目标在粘贴窗口处表现地更加自然，并能控制粘贴目标的信噪比。如图3所示，在红外弱小目标数据库中抽取出数个弱小目标后，经过增强随机复制在原图的背景区域；所述步骤2在训练过程中能有效解决输入样本不均衡的问题。
51.对于步骤s3，本发明的红外弱小目标高分辨率分割网络的整体结构如图4所示，主要由三部分组成，特征预提取模块、高分辨率特征提取模块和最终的特征分割模块。特征预提取模块在原始图像提取出初级特征，送入高分辨率特征提取模块中，输出高分辨率且具有丰富语义信息的特征，最后由特征分割模块输出分割结果图。其中特征预提取模块采用轻量化的卷积层，提取红外图像的初级特征，输入到高分辨率特征提取模块中；高分辨率特征提取模块为网络的主体部分，最终得到的四个特征支路中，上层的输出特征与原图的分辨率完全一致，保持了最好的空间信息，下层的三个特征支路中，特征空间尺度减小，但通道维数逐渐增加，能学习到更抽象的语义信息；高分辨率特征提取模块输出的四个特征支路的特征尺度统一到原始图像大小后，经过通道拼接输入所述特征分割模块，得到最终的弱小目标分割图。
52.在连接设计上，如图5所示，本发明采取同级特征跨层连接的策略。红外弱小目标在高分辨率特征提取模块中，期望是每个特征支路在从前到后的阶段中逐渐学习到更好更精准的信息。对于低层特征支路而言，从前到后逐渐学习到更好的空间信息，而对于高层特征支路而言，从前到后逐渐学习到更好的高级语义表达。总体而言，本发明以每个并联阶段作为划分点，位于后面的并联阶段会接收到前面所有阶段最后的输出特征，对于每个特征支路的连接点，其输出为自身与过去阶段中同一支路的加和：
[0053][0054]
在上式中，x表示过渡层中的输出的特征图，(i，j)表示第i个过渡层中第j条支路的位置，可以看到位于第m个过渡层的第j条支路输出的特征图为所有前面过渡层模块在第j条支路的累加。
[0055]
在特征融合上，本发明设计每个并联阶段中的上下层特征融合策略，如图6所示，在两个并联阶段的过渡层中，x，y，z特征的尺度依次减少，语义信息依次变深。低层特征x经过本砝码设计的低层至高层的融合策略，高层特征z经过本砝码设计的高层至低层的融合策略，最终与y特征融合输出。具体地，本发明设计的特征融合策略在低层特征图提取空间信息权重，在高层特征图提取通道信息权重，加强每个支路学习到的优势信息，能给下一个并联层输出更好的特征支路。图7为本发明所设计的低层至高层(bottomup)与高层至低层(topdown)的具体计算流程，其中bottomup模块的作用是提取低层特征x中所包含的高分辨空间信息权重；而topdown模块的作用提取高层特征z中包含的语义通道权重；对于输出特征y
′
，本发明设计的融合策略得到其的具体公式如下：
[0056]y′
＝bottomup(x)
⊙
x topdown(z)
⊙
z y
[0057]
在上式中，
⊙
表示点乘运算，其中bottomup(x)与topdown(z)为融合模块输出的权
重矩阵，在bottomup模块中，输入的低层特征x经过两层逐点卷积，特征维度在通道上先收缩到原始的1/4，然后再恢复到原始尺寸，两次逐点卷积的目的是提取低层特征x中所包含的高分辨空间信息权重；而在topdown模块中，输入的高层特征z首先通过全局平均池化得到c
×1×
1的池化特征，然后通过两次全连接层，通道尺度先收缩到1/4再恢复到原尺度大小，这样最终得到的就是高层特征z中包含的语义通道权重。最终，将得到的两个权重矩阵分别与对应特征点乘即可得到空间信息加强和通道信息加强的特征，两者加和得到既包含丰富语义信息又包含高分辨率空间信息的融合特征y
′
。
[0058]
对于步骤s4，最终特征分割模块的输出目标分割图，采用soft-iou loss(平滑交并比损失函数)作为目标函数，用于监督整个模型的训练。
[0059]
soft-iou衡量的是预测目标与真值目标间的交叠程度，在红外弱小目标分割中，由于目标仅有约数十个像素的大小，因此采用像素级的soft-iou loss来更好地学习高分辨地目标预测，soft-iou loss的具体计算公式如下：
[0060][0061]
上式中，p
i，j
与y
i，j
表示预测图与真值图在像素位置(i，j)上的像素值。
[0062]
对于步骤s5，数据预处理过程中，将输入图像先后进行归一化与尺度统一操作，具体地，统计整个输入图像数据集上的平均灰度值与方差用于归一化，所有输入图像尺度统一到256
×
256像素的大小。模型推理时，经过数据预处理的图像输入到模型中，输出与原图尺寸大小相同的目标概率图，采用sigmoid运算，将每个像素点的概率值统一到0-1，设置一个置信阈值，将概率值大于阈值的部分即视为目标。最后一步进行数据后处理，将得到的最终目标分割图进行8领域的连通合并操作，类似于目标检测中的nms操作，将相邻足够近的像素聚合为一个目标。
[0063]
为说明本发明提出的一种深度学习单帧红外弱小目标高分辨率分割方法的分割效果，在公开的红外弱小目标数据集nuaa-sirst上与传统检测算法顶帽滤波(tophat)、局部对比度算法(lcm)、多尺度分块对比度算法(mpcm)以及其他深度学习算法进行了比较，采用miou指标进行比较，最后的结果表明了本发明的算法的精度优势。图8a为本发明的算法与其他算法的具体比较，图8b为本发明的算法的部分可视化结果，其中第一行图像为测试的红外图像，白色框标出的为图像中的弱小目标，第二行图像为输出的真值分割图。
[0064]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，在本发明的技术方案的基础上，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。