一种基于卷积神经网络的光学遥感影像舰船目标识别方法与流程

1.本发明涉及图像识别领域，特别是一种基于卷积神经网络的光学遥感影像舰船目标识别方法。


背景技术：

2.随着遥感卫星和人工智能技术的发展，空天平台遥感数据的获取能力不断增强，基于光学遥感影像的目标检测引起了人们极大的关注。舰船作为海上运输载体和重要的敏感目标，其自动检测与识别具有非常重要的现实意义,无论在民用还是军事领域都有着广阔的应用前景。
3.为了对光学遥感影像中的舰船目标进行检测，现有基于卷积神经网络的光学舰船目标识别方法存在以下不足：1、骨干网络结构复杂，计算参数多，导致算法检测较慢；2、锚框评价损失函数简单，起不到筛选作用，网络产生锚框较多，导致产生很多冗余的错检框；3、非极大值抑制(nms)算法评价规则直接将目标周围候选框剔除，导致部分潜在目标框被删除，进而导致检测准确率降低。


技术实现要素：

4.为了解决现有技术的不足，本发明提供了一种基于卷积神经网络的光学舰船目标识别方法，构建基于mobilenetv3骨干网络的卷积神经网络对特征进行提取，基于双重加权损失评价函数进行置信度评价和类别预测，基于soft-nms方法对锚框进行筛选，提高了检测效率和检测准确率。
5.本发明采用的技术方案为一种基于卷积神经网络的光学遥感影像舰船目标识别方法，包括：
6.获取光学遥感舰船影像数据，输入卷积神经网络模型对特征进行提取，产生若干候选的舰船目标锚框；
7.基于双重加权损失评价函数，对所述舰船目标锚框进行置信度评价和类别预测；
8.基于soft-nms方法对锚框进行筛选，得到更准确的舰船目标。
9.进一步地，所述卷积神经网络模型基于mobilenetv3骨干网络。
10.进一步地，所述mobilenetv3骨干网络结合了深度可分离卷积、逆残差结构、以及注意力机制结构。
11.进一步地，所述双重加权损失评价函数为：
[0012][0013][0014][0015]
其中，为最终的损失函数，为类别损失，为定位损失，β是一个平衡因
子，n表示锚框正样本的数量，m表示锚框负样本的数量，fl是交叉熵损失函数，giou是回归损失，s是预测的分类得分，b和b'分别是预测框和真实目标的位置，ω
pos
和ω
neg
分别为正样本权重和负样本权重。
[0016]
进一步地，正样本权重由分类和定位分数之间的一致性程度决定，负样本权重被分解为两个项：锚框是一个负样本的概率和锚框成为负样本后的重要性。
[0017]
进一步地，所述soft-nms方法将预测区域与最高置信度区域的交并比超过交并比阈值的检测框的置信度不直接置为0，而是变为和预测区域与最高置信度区域的交并比相关的一个函数，公式为：
[0018][0019]
其中，m代表最高置信度的区域，n
t
代表交并比阈值，ai代表目标附近的检测框，bi代表检测框的置信度，iou(m,ai)代表预测区域与最高置信度区域的交并比。
[0020]
进一步地，所述soft-nms方法采用连续的惩罚函数，公式为：
[0021][0022]
其中，m代表最高置信度的区域，ai代表目标附近的检测框，bi代表检测框的置信度，σ为调节参数，c为待比较集合，iou(m,ai)代表预测区域与最高置信度区域的交并比。
[0023]
本发明的有益效果在于：
[0024]
卷积神经网络模型基于mobilenetv3骨干网络，减少了运算量和参数量，提高了特征提取的速度；
[0025]
双重加权损失评价函数提供了更大的灵活性来区分重要和不太重要的样本，从而产生更有效的舰船目标检测器，使舰船目标预测更加准确；
[0026]
通过soft-nms方法对锚框进行筛选，避免重叠框如果包含目标却被删除造成漏检的情况，同时不保留同一个目标两个相似的检测框，提升检测的准确率。
附图说明
[0027]
此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。
[0028]
图1为本发明的方法流程示意图；
[0029]
图2为集成了mobilenetv3的卷积神经网络模型的结构示意图；
[0030]
图3为包含正样本和负样本的锚框示意图；
[0031]
图4为未经筛选的锚框示意图。
具体实施方式
[0032]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0033]
本发明提供一种基于卷积神经网络的光学遥感影像舰船目标识别方法，包括：
[0034]
s1：获取光学遥感舰船影像数据，构建mobilenetv3骨干网络，将遥感舰船影像数据输入至mobilenetv3骨干网络，产生若干候选的舰船目标锚框。
[0035]
mobilenetv3网络结构如表1所示：
[0036]
表1
[0037][0038]
其中，从左至右每列分别代表：每个特征层的尺度大小、每次特征层即将经历的block结构、bneck残差结构上升后的通道数、输入到bneck时特征层的通道数、是否在该网络层引入注意力机制、激活函数的种类、每一次block结构所用的步长。
[0039]
mobilenetv3骨干网络结合了深度可分离卷积、逆残差结构、以及注意力机制结构。针对舰船目标较小，通过多层卷积之后容易丧失特征的特点，将最后一个卷积层删除并前移最后一个平均池化层，提高了舰船目标的特征维度，更有利于检测。
[0040]
s2：将上一步产生的舰船目标锚框，根据双重加权损失评价函数进行置信度评价和类别预测。
[0041]
双重加权损失评价函数如下所示：
[0042][0043][0044][0045]
其中，为最终的损失函数，为类别损失，为定位损失，β是一个平衡因子，n表示锚框正样本的数量，m表示锚框负样本的数量，fl是交叉熵损失函数，giou是回归
损失，s是预测的分类得分，b和b'分别是预测框和真实目标的位置，ω
pos
和ω
neg
分别为正样本权重和负样本权重。
[0046]
正样本权重由分类和定位分数之间的一致性程度决定，负样本权重被分解为两个项：锚框是一个负样本的概率和锚框成为负样本后的重要性。
[0047]
图3为包含正样本和负样本的锚框示意图，浅色框为正样本，锚框完全覆盖整个舰船目标；深色框为负样本，锚框不能完全覆盖真个舰船目标。
[0048]
双重加权策略提供了更大的灵活性来区分重要和不太重要的样本，从而产生更有效的舰船目标检测器，使舰船目标预测更加准确。
[0049]
s3：将上一步得到的舰船目标锚框及其置信度与类别信息，通过soft-nms方法对锚框进行筛选得到更准确的舰船目标。
[0050]
图4为未经筛选的锚框示意图，如图4所示，一个舰船目标产生了若干个锚框，另一个舰船目标产生了一个锚框。
[0051]
非极大值抑制算法(nms)的原理为：设定目标附近的全部检测框为集合a，设定各个框的置信度集合为b；在a中选取一个最高置信度的区域m，然后在集合a中将m删除，并将m添加至待比较集合c中；接着选取a中剩下的预测区域与m进行比较，设定一个交并比阈值n
t
，计算预测区域与m的交并比，当该交并比超过阈值n
t
时，采用非极大值抑制算法将该预测区域的锚框置信度赋予为0，直接删除；当循环完一次之后，在集合a中选取一个次大值n，在a中将n删除，再进行一轮阈值比较；这个流程重复实施，直到b删除为空集时结束。
[0052]
非极大值抑制算法可以用公式表示为：
[0053][0054]
该方法的主要问题是当集合a里的其他框与最高置信度检测框m的交并比超过阈值n
t
时，非极大值抑制算法就会直接将这个框的置信度降为0。因此如果出现在一个真实候选区域里包含另一个真实候选区域的情况，那么其中一个真实候选区域就会被删除，这样就损失了一个真实样本，影响识别的准确率。
[0055]
soft-nms方法将超过阈值的检测框的置信度变为一个与m及iou(m,ai)的一个相关函数，将其继续保留在集合b中，而不是直接降为0，如公式(5)所示：
[0056][0057]
soft-nms方法降低那些与最高置信度候选区域有较高重叠率的候选框的置信度，重叠区域越高的，置信度降得越低。
[0058]
公式(5)通过设定一个线性相关的函数来使那些被包含或者重叠的候选区域获得合适的置信度分数，与最高置信度区域没有重叠的其他候选区域在此函数中的效果与原先非极大值抑制算法中的效果相比没有发生改变，而重叠率较高的就会得到较低的置信度分数。
[0059]
由公式(5)可以看出该函数不是一个连续的函数，在超过阈值n
t
时，会增加一个惩罚项，这个惩罚项会导致函数的值突变。
[0060]
更优的方法为采用连续的惩罚函数，连续的惩罚函数对那些没有重叠的候选区域没有惩罚，对于那些重叠区域较高的候选区域施加大的惩罚项，重叠区域小的区域施加小
的惩罚项，惩罚项大小与重叠区域比例呈正相关。使用一个加入高斯函数的惩罚函数，如公式(6)所示：
[0061][0062]
上式中的参数σ＝0.5，交并比阈值设置为0.001。
[0063]
soft-nms方法同时考虑了置信度和重合程度，对于与最高置信度的检测框重叠度较高的框设置一个惩罚项，避免重叠框如果包含目标却被删除造成漏检的情况，同时不保留同一个目标两个相似的检测框。soft-nms算法在每一次迭代中参数不变，没有引入新的参数，对于计算量的增加不大，提升检测效率，优化模型检测性能。
[0064]
集成了mobilenetv3的卷积神经网络模型如图2所示，其中，cbl是经过批量归一化使用leaky relu激活函数的卷积层，concat是将尺寸大小相同的特征图进行特征联合，spp是金字塔池化层，upsample是上采样处理。