一种基于卷积神经网络的红外图像目标检测网络压缩方法与流程

1.本发明一种基于卷积神经网络的红外图像目标检测网络压缩方法，属于计算机视觉和红外图像处理领域，可以应用在红外图像识别领域中。


背景技术：

2.红外场景图像存在目标的数量和位置的不确定性、低信噪比、缺乏背景统计的先验信息等问题。因此，复杂环境下的红外目标检测仍然是一个具有挑战性的研究问题。面向红外图像目标提取方法研究目前常用的目标提取方法包括传统的数字图像处理算法如sift算法、达到筛选目的的背景减除法、基于神经网络的智能特征提取方法等，其中传统的图像处理算法红外目标、背景变化和干扰对抗的适应能力较差，尤其是抗干扰信息处理未能充分利用目标形状、运动信息及挖掘隐性对抗信息，不能完全满足和适应复杂环境的要求。因此，针对复杂环境中的随机不确定性问题，要求信息处理算法具备更强的自适应能力，需要寻求一种更有效的信息处理框架。基于深度学习的卷积神经网络目标识别分类技术，主要是能在高维特征空间对目标分类识别进行精细化建模与学习，实现对目标特征进行认知。近年来，深度学习技术在准确性、鲁棒性等方面愈发凸现优势，网络结构也不断发展完善，在卷积神经网络(cnn)基础上催生了适于不同需求的r-cnn、fast r-cnn、faster r-cnn等网络结构，但以一个中等规模的深度学习网络模型为例，通常拥有百万级甚至上亿级的参数量，在运算过程中对硬件计算和存储的开销需要非常大，目前基于dsp fpga的嵌入式信息处理架构运算能力十分有限，导致智能算法模型目标识别的帧频不高，使得基于深度学习的目标识别算法模型难以在弹载、星载等终端嵌入式平台上进行工程化部署应用，因此急需开展面向工程应用的卷积神经网络优化设计技术和训练策略方法研究。


技术实现要素：

3.本发明解决的技术问题为：克服现有技术不足，提出了一种基于卷积神经网络的红外图像目标检测网络压缩方法，能够快速有效地检测红外图像中的飞行器目标，比传统算法识别精度和效率更高，同时网络使用的存储空间和计算资源减少，减轻了弹载、星载等终端平台对资源需求的负担。
4.为实现上述目的采用的技术方案为：
5.一种基于卷积神经网络的红外图像目标检测网络压缩方法，其步骤如下：
6.步骤1，采集不同气候环境下、不同背景下和不同干扰下飞行器红外图像，对每个飞行器红外图像进行属性标定，形成红外图像数据集，分成训练图像集和测试图像集；由标定的属性，确定飞行器红外图像的特征值，作为特征真值；
7.步骤2，使用图像样本，训练卷积神经网络模型，得到初始化的卷积神经网络模型；
8.步骤3，读取训练图像集的图像，训练步骤2初始化的卷积神经网络模型，通过反向传播方式更新卷积神经网络模型中卷积核权重，以降低训练后的卷积神经网络模型输出的飞行器红外图像的特征值与步骤1确定的特征真值的误差；当该误差小于设定的误差阈值，
则停止训练；在训练过程中对初始化的卷积神经网络模型进行网络模型参数轻量化，得到轻量化的卷积神经网络模型；
9.步骤4，读取测试图像集中的图像，将测试图像集中的图像输入到步骤3轻量化的卷积神经网络模型中，得到飞行器的类型以及在图像中的位置。
10.未经轻量化的卷积神经网络模型占用较多存储空间和计算资源，进行网络模型参数轻量化，通过在训练过程中将步骤2初始化的卷积神经网络模型参数中的浮点参数转化为定点参数，减少网络模型工作所占用的资源，进而达到网络轻量化的目标。
11.步骤3网络模型参数轻量化，包括在训练中将步骤2初始化的卷积神经网络模型参数中的浮点参数转化为定点参数，以及将步骤2初始化的卷积神经网络模型中每个卷积层输出的图像特征值由浮点参数转化为定点参数，得到轻量化的卷积神经网络模型，为精度较高的目标检测网络。
12.所述步骤(2)中，获取初始化的卷积神经网络模型的具体步骤为：
13.将训练图像输入，于第一部分一层卷积层采用3
×
3的卷积核以获取特征图f1；
14.对特征图进行池化操作，经过池化窗口大小为2
×
2的池化层，获取特征图f2；
15.将特征图f2输入第三部分卷积层并获取第三部分特征图f3，以此类推以获取后续特征图输出。
16.所述步骤(3)中：
17.由训练集中随机选取图像进行训练，并通过卷积神经网络模型获取特征图；
18.将提取后的特征图经过卷积层获取最终检测结果，包括目标位置、目标类别、置信度；
19.计算损失函数，并通过梯度下降算法降低网络损失；
20.加入多级特征融合模块，通过小目标检测层获取高分辨率特征图。
21.所述步骤(3)中，通过修改卷积层结构，将卷积层的输入和权重量化为整型，大幅减少权重存储空间，提升卷积运算速度。
22.与传统的红外图像检测算法相比，本发明的有益效果是：
23.(1)本发明可以同时对图像中的多个、多类目标进行检测，具体目标的种类根据训练图像数据集而定；
24.(2)本发明采取端到端的目标检测流程，如无特殊需要，中间过程不参与存储，与传统的算法相比，鲁棒性更高；
25.(3)本发明将网络模型的权重参数进行定点量化处理，可有效降低网络权重参数的存储空间和运算资源；
26.(4)本发明提出的红外图像目标检测方法通过对高维特征进行学习，对目标检测具有较强的泛化能力，可有效检测图像中的小目标；
27.(5)本发明压缩处理的卷积神经网络模型有较强的可迁移性，无论是将其他任务的网络迁移到本框架中，或是将本网络迁移到其他任务中，都具备很好的适应性。
附图说明
28.图1为本发明红外图像目标检测网络的单目标标记示意图
29.图2为本发明红外图像目标检测网络的多目标标记示意图
30.图3为本发明红外图像目标检测网络框架示意图；
31.图4为本发明红外图像目标检测网络检测流程图；
32.图5为本发明红外图像目标检测网络的各类目标识别结果图；
具体实施方式
33.为了使本发明实现的措施、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步地阐述本发明。
34.卷积神经网络模型的设计目的是最大化目标识别的准确度，因此深度学习网络模型一直在向更深层级、更多特征参数方向发展，但随之带来硬件实现的能耗和成本增加，同时导致运算量增加，增大目标识别延迟，难以满足复杂战场环境下红外制导领域的高帧频目标识别需求，因此需要进行网络模型压缩研究，减少网络模型的运算量以及模型大小，从而减小硬件资源开销同时提升目标识别的速度。本专利将在算法架构层面，研究红外图像目标识别算法的基础理论，以深度学习中经典的目标检测分类yolo网络模型为基础网络，主要通过网络参数量化方式对目标识别算法进行网络压缩，降低卷积核权重参数的复杂度，并对压缩后网络的准确率进行理论分析，期望以较低的复杂度接近最佳的目标检测性能。本发明在红外目标检测的基础上，研究神经网络的压缩方法，力求达到更高的空间使用率和时间利用率，提高检测精度，降低检测时间。
35.本发明一种基于卷积神经网络的红外图像目标检测网络压缩方法，包含了以下步骤：
36.步骤1，采集不同气候环境下、不同背景下和不同干扰下飞行器红外图像，对每个飞行器红外图像进行属性标定，形成红外图像数据集，分成训练图像集和测试图像集；由标定的属性，确定飞行器红外图像的特征值，作为特征真值；具体如下：
37.红外图像的背景主要包含作战环境下的云背景、地物背景、海天背景等；
38.气候环境主要包含晴天、雾霾天、阴天等；干扰主要包含点源、面源等人工诱饵干扰；飞行器目标主要包含战斗机、直升机、无人机等；
39.训练图像集的具体要求为：从红外图像数据集中随机取70％图像作为训练集，包含各类背景、气候环境和干扰下的各类目标；测试图像集，具体要求为：从红外图像数据集中取剩下的30％图像作为测试集。
40.对每个飞行器红外图像进行属性标定，包括对飞行器目标类型、位置进行手工标定，具体为采用labelimg标记工具，如图1所示，主要框选出目标区域的矩形框，记录其图像坐标信息，并赋予目标类型属性，如(a,b,a width,b height,’直升机’)，其中a，b分别为目标区域左上角点x轴和y轴方向坐标；width和height分别为目标区域的长度和高度；当图像中有两种以上飞行器目标时，需要多个目标进行分别标定，如图2所示。
41.根据标定的属性进一步确定飞行器红外图像的特征真值，具体为根据目标类别属性构建特征真值向量，假设数据集中包含直升机、战斗机、无人机、民航客机有四类红外目标，则战斗机目标的特征真值为向量[0,1,0,0]，民航客机的特征真值为向量[0,0,0,1]。
[0042]
形成的红外图像数据集，要求为每类目标的图像样本数大于5000幅，图像中目标像素数大于10
×
10。
[0043]
步骤2，使用图像样本，训练卷积神经网络模型，得到初始化的卷积神经网络模型
及其参数；具体如下：
[0044]
图像样本具体要求为voc公开数据集中的各类飞机目标图像。训练前的卷积神经网络模型框架示意图如图3所示和表1所示，包含13层卷积层，6层最大池化层，其中两个输出层负责输出检测结果。初始化训练卷积神经网络模型具体步骤如下：
[0045]
步骤2-1，将训练图像输入模型，模型第一层为卷积层，采用3
×
3的卷积核，得到特征图f1。
[0046]
步骤2-2，对f1进行池化操作，经过池化窗口大小为2
×
2的池化层，得到特征图f2。
[0047]
步骤2-3，将f2输入到模型的第三层，第三层为3
×
3卷积核的卷积层，得到特征图f3，后续的卷积运算都是以此类推，具体的参数如表1。
[0048]
表1卷积神经网络的参数设置
[0049]
[0050][0051]
得到初始化的卷积神经网络模型，具体为在对公开数据集预训练后，网络模型每
一层的卷积核权重参数获得更新。
[0052]
步骤3，读取训练图像集的图像，训练步骤2初始化的卷积神经网络模型，通过反向传播方式更新卷积神经网络模型中卷积核权重，来降低训练后的卷积神经网络模型输出的飞行器红外图像的特征值与步骤1确定的特征真值的误差；当该误差小于设定的误差阈值，则停止训练；在训练过程中对初始化的卷积神经网络模型进行网络模型参数轻量化，得到轻量化的卷积神经网络模型；在训练过程中根据红外图像中目标大小属性特征对检测网络模型进行压缩框架训练处理。具体如下：
[0053]
网络模型的具体训练步骤如下：
[0054]
步骤
①
，检测网络的具体结构如图3所示，从训练集中随机选取图像xi进行训练，通过卷积神经网络模型中的conv1至conv10得到特征图fk。
[0055]
步骤
②
，将提取到的特征再经过卷积层，得到最终的检测结果。检测结果包括目标的位置、类别及置信度。
[0056]
步骤
③
，反向传播是训练过程中的重要步骤，在计算出损失函数后，梯度下降算法可降低网络的损失。检测网络的主要目标有两个，其一是准确预测目标的位置，其二是确定目标的类别，此处对应着损失函数的两个组成部分。设样本的真实类别为y，预测类别为p，真实坐标为集合d＝(d
x
,dy,dw,dh)，预测坐标为集合其中l
cls
(p,y)＝-log(py)，代表了分类损失，当y≥1时，即不是背景类别时，定位的损失为
[0057]
步骤
④
，由于计算机资源的限制，大部分神经网络都被设计成特征图长宽随网络深度逐渐减小的模式。但这种模式不利于小目标的检测，因此网络中加入了多级特征融合的模块，使小目标检测层能够在拥有较高分辨率特征图的同时得到深层的语义信息。
[0058]
步骤
⑤
，通过梯度下降算法，降低整个检测网络的损失，同时更新卷积层中的权重，训练达到最大迭代次数后，保存模型。
[0059]
更新卷积核权重，具体为采用红外训练图像集对模型进行训练，进一步更新网络模型各层卷积核的权重参数，使卷积核参数与红外目标图像特征具有更优的高维特征值匹配度。
[0060]
轻量化的卷积神经网络模型，具体为在不改变网络层级结构的情况下，将各卷积层的输入和权重参数量化处理成低bit整型，大幅减少权重参数存储空间，提升卷积运算速度。在训练过程中进行轻量化网络模型的具体步骤如下：
[0061]
步骤
①
，通过最大最小值量化，将权重参数从原本浮点区间投射进目标区间。例如权重量化位数为8，则将权重从w
max-w
min
线性投射进256-0。
[0062]
步骤
②
，通过最大最小值量化，将特征值从原本浮点区间投射进目标区间。由于特征值最大最小值不确定性，因此使用统计量作为区域边界。例如权重量化位数为8，则将特征值从a
max-a
min
线性投射进256-0。
[0063]
网络模型压缩框架训练处理，具体是保存在浅层卷积运算过程中的特征值，并与深层的特征值进行融合，使模型对小目标检测识别具有更强的适应能力，模型压缩框架处理的具体步骤如下：
[0064]
步骤
①
，前置检测层采用conv10层的特征并利用面积较大的基准框集合适应大目标选框的产生，后置采用conv13层的特征并利用面积较小的基准框集合产生更多小目标的选框，最终双检测层产生的目标框通过非极大值抑制后进行输出。
[0065]
步骤
②
，训练中的特征融合方式是，conv5输出的特征f9和conv11输出的特征f
20
在尺度上相差两倍，即f9的宽度和高度w9和h9是f
20
宽高w
20
和h
20
的两倍，通过上采样操作，先将f
20
的特征图上采样，得到特征图后，将二者拼接在一起。融合的两层特征在w和h两个维度上保持一致。
[0066]
步骤
③
，在网络训练过程中，设置渐变型学习率，这样可以加速网络的收敛速度，获得更高的准确率。
[0067]
步骤4，读取测试图像集中的图像，将测试图像集中的图像输入到步骤3轻量化的卷积神经网络模型中，得到飞行器目标的类型属性、位置信息、置信度以及检测准确率等信息，具体如下：
[0068]
飞行器的类型，具体为步骤1中训练图像集所涉及的目标类型，主要包含直升机、战斗机、无人机、民航客机等。
[0069]
飞行器在图像中的位置信息，具体为对检测网络预测的目标区域进行识别框标识，输出信息包括识别框的左上角坐标(a’,b’)，以及识别框的宽w’和高h’。
[0070]
置信度，具体为识别为某类飞行器类型的概率，是通过网络模型中特征值计算得到。
[0071]
检测准确率，具体是将测试集图像的检测识别结果与实际标记的目标属性结果进行对比，得到检测准确率。
[0072]
本发明提供了一种基于卷积神经网络的红外图像目标检测网络压缩方法，主要包括以下步骤：
[0073]
步骤1，采集红外图像数据集，主要由包含飞行器的红外图像组成，分成训练图像和测试图像。
[0074]
步骤2，设置卷积神经网络参数，使用voc数据集上得到的模型作为预训练模型，权重数据作为模型的参数设置。
[0075]
步骤3，读取训练集，训练卷积神经网络模型，通过反向传播更新权重来降低实际网络输出与真值输出的误差损失，当迭代达到设定最大值，停止训练，得到权重模型。
[0076]
步骤4，通过修改卷积层结构，将卷积层的输入和权重量化为整型，大幅减少权重存储空间，提升卷积运算速度。
[0077]
步骤5，读取测试集，将测试图像输入到训练完成后的模型中，得到测试输出并与真值比对，得到检测准确率、召回率及map等指标。
[0078]
所述的步骤1中，需要对数据集进行预处理，包括去噪、尺度缩放等操作。
[0079]
所述的步骤2中，采用的卷积神经网络模型包含13层卷积层，6层最大池化层，其中两层输出层负责输出检测结果。
[0080]
所述的步骤3中，检测方法为一个整体，网络使用卷积的结构特点进行图像的特征提取，而后通过卷积层提取出的特征预测该图像中目标的位置与种类。
[0081]
所述的步骤2中，卷积神经网络的模型设置具体如下：
[0082]
步骤2-1，将训练图像输入，第一部分为一层卷积层，采用3
×
3的卷积核，得到特征
图f1。
[0083]
步骤2-2，对f1进行池化操作，经过池化窗口大小为2
×
2的池化层，得到特征图f2。
[0084]
步骤2-3，f2输入第三部分的卷积层，为一层卷积层，采用3x3的卷积核，得到第三部分的特征图f3，后续的卷积部分都是以此类推，具体的参数如表2。
[0085]
表2卷积神经网络的参数设置
[0086]
[0087]
[0088][0089]
所述的步骤3，检测网络的具体训练步骤如下：
[0090]
步骤3-1，检测网络的具体结构如图1所示，从训练集中随机选取图像xi进行训练，通过卷积神经网络模型中的conv1至conv7得到特征图fk。
[0091]
步骤3-2，将提取到的特征再经过卷积层，得到最终的检测结果。检测结果包括目标的位置、类别及置信度。
[0092]
步骤3-3，反向传播时训练过程中的重要步骤，在计算出损失函数后，梯度下降算法可降低网络的损失。检测网络的主要目标有两个，其一是准确预测目标的位置，其二是确定目标的类别，此处对应着损失函数的两个组成部分。设样本的真实类别为y，预测类别为p，真实坐标为集合d＝(d
x
,dy,dw,dh)，预测坐标为集合其中l
cls
(p,y)＝-log(py)，代表了分类损失，当y≥1时，即不是背景类别时，定位的损失为
[0093]
步骤3-4，由于计算机资源的限制，大部分神经网络都被设计成特征图长宽随网络深度逐渐减小的模式。但这种模式不利于小目标的检测，因此网络中加入了多级特征融合的模块，使小目标检测层能够在拥有较高分辨率特征图的同时得到深层的语义信息。
[0094]
步骤3-5，通过梯度下降算法，降低整个检测网络的损失，同时更新卷积层中的权重，训练达到最大迭代次数后，保存模型。
[0095]
步骤4-1，通过最大最小值量化，将权重从原本区间投射进目标区间。例如权重量化位数为8，则将权重从w
max-w
min
线性投射进128-0。
[0096]
步骤4-2，通过最大最小值量化，将特征值从原本区间投射进目标区间。由于特征值最大最小值不确定给，因此使用统计量作为边界。例如权重量化位数为8，则将权重从a
max-a
min
线性投射进128-0。
[0097]
步骤4-3，使用量化后的权重和特征值进行卷积计算，得到卷积层的输出，根据w
max
、w
min
、a
max
、a
min
再反量化回浮点数。
[0098]
如图4所示，为本发明实施例的流程图，包括如下步骤：
[0099]
步骤1，通过红外成像设备获取不同飞行器的红外图像数据集，构建训练图像集和测试图像集。
[0100]
步骤2，设置卷积神经网络预训练参数，采用voc数据集中的飞行器图像样本对模型进行预训练，训练获得的卷积核权重参数为模型的初始参数。
[0101]
步骤3，读取训练集，训练卷积神经网络模型，通过反向传播更新权重来降低实际网络输出与真值输出的误差损失，当迭代达到设定最大值，停止训练，得到权重模型。
[0102]
步骤4，将神经网络中的权值和特征值量化后进行重训练，使用量化后模型的指标与量化前相比较。
[0103]
步骤5，读取测试图像，将测试图像输入到训练完成后的模型中，得到测试图像的输出并与实际结果比对，得到检测准确率。
[0104]
所属步骤1中的数据集，主要由红外飞行器图像构成，其中小目标的像素大小在20
×
20左右，大目标约在150
×
120左右。为了验证提出的网络的识别精度，数据集被划分为训练数据集(70％)和测试集(30％)。
[0105]
所述步骤2中的深度学习平台，训练机器主要是一台单cpu intel(r)xeon(r)cpu e5-1620 v4@3.50ghz，单gpu nvidia gtx 1080ti的服务器，软件系统主要是ubuntu16.04以及开源的深度学习训练框架darknet；
[0106]
所述步骤2中的卷积神经网络具体设置以及输入输出如下：
[0107]
步骤2-1，采用的卷积神经网络模型是一个包含13层卷积层，6层最大池化层的网络。
[0108]
表2卷积神经网络的输入输出大小关系
[0109]
[0110][0111]
步骤2-2，卷积神经网络在不加入全连接层的情况下，由于卷积本身的特性，可以适应任意长度、任意比例的图像输入。训练时，为了增加模型的健壮性，我们会随机变换输入图片的尺度进行训练，训练图片的长宽会以同比例缩放至长边最大为618作为输入。
[0112]
所述步骤3中的红外图像检测网络压缩框架的训练步骤如下：
[0113]
步骤3-1，前置检测层采用conv10层的特征并利用面积较大的基准框集合适应大目标选框的产生，后置采用conv13层的特征并利用面积较小的基准框集合产生更多小目标的选框，最终双检测层产生的目标框通过非极大值抑制后进行输出。
[0114]
步骤3-2，训练中的特征融合方式是，conv5输出的特征f9和conv11输出的特征f
20
在尺度上相差两倍，即f9的宽度和高度w9和h9是f
20
宽高w
20
和h
20
的两倍，通过上采样操作，先将f
20
的特征图上采样，得到特征图后，将二者拼接在一起。融合的两层特征在w和h两个维度上保持一致。
[0115]
步骤3-3，在网络训练过程中，设置渐变型学习率，这样可以加速网络的收敛速度，获得更高的准确率。
[0116]
所述步骤4中的红外图像测试的步骤如下：
[0117]
步骤4-1，通过最大最小值量化，将权重从原本区间投射进目标区间。例如权重量化位数为8，则将权重从w
max-w
min
线性投射进256-0。
[0118]
步骤4-2，通过最大最小值量化，将特征值从原本区间投射进目标区间。由于特征值最大最小值不确定给，因此使用统计量作为边界。例如权重量化位数为8，则将权重从a
max-a
min
线性投射进256-0。
[0119]
所述步骤5中的红外图像测试的步骤如下：
[0120]
步骤5-1，通过对红外测试图像集进行测试，可以得到轻量化压缩处理的深度学习目标检测模型的测试准确率，不同类别红外飞行器的测试准确率如表3所示，具有较高目标识别精度和目标分选准确率，量化后的平均检测精度相对于量化前衰减小于3％，满足红外制导领域的目标识别精度要求。
[0121]
表3量化处理前后网络模型目标识别精度
[0122][0123][0124]
步骤5-2，如图5所示为测试数据集中部分类别的测试效果图，可以看到本发明可以很好地检测多种飞行器目标，在小目标检测问题上也取得很好检测效果。
[0125]
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
[0126]
本发明说明书中未作详细描述的内容属于本领域技术人员的公知技术。