基于两次迁移学习和数据增广的船舶目标检测方法与流程

1.本发明属于计算机视觉和人工智能技术领域，具体涉及基于两次迁移学习和数据增广的船舶目标检测方法。


背景技术：

2.目标检测是计算机视觉和人工智能领域的研究热点，从传统的检测算法viola
‑
jones detector、hog、dpm等到当今rcnn、yolo等深度学习土壤孕育下的gpu暴力美学，整个目标检测技术和算法的发展可谓是计算机视觉领域的一部浓缩史，其在智能视频监控、人机交互、图像搜索、自主导航等方面有着广泛应用。
3.近年来，基于深度学习的目标检测算法由于其突出的特征描述能力、检测和定位精度，正逐渐成为目标检测技术领域的主要研究方向之一。已有算法可分为两阶段(two
‑
stage)和单阶段(one
‑
stage)两类；其中two
‑
stage算法如r
‑
cnn、fast r
‑
cnn、faster r
‑
cnn，首先生成候选区域(region proposal)，然后将其分成不同的目标类别，该类算法的定位和检测准确率较高，但运算速度较慢；2016年6月，dai j,li y等在inps上发表的文章r
‑
fcn:object detection via region
‑
based fully convolutional networks中对faster r
‑
cnn进行了改进，进一步精简了模型，使其精度和速度都有所提升，但是耗时还是较多，无法满足多目标检测系统的实时性要求。one
‑
stage算法如yolo、ssd、yolo900等依据回归思想，使实时检测成为可能，但其在检测精度方面与two
‑
stage算法相比，要逊色一些。此外，在棘手环境下，如风浪导致的船舶剧烈颠簸或姿态巨变、遮挡和目标模糊等，由于数据集样本较少，通常叠加使用镜像、旋转、裁剪等技术以增广数据集，由于参数多为随机选取，可能因无法全覆盖各种目标状态导致重复训练某个范围内的目标状态，引起训练效率低以及误检测与漏检测等问题。
4.针对上述问题，通过实验发现：采用one
‑
stage框架中的yolo v3算法框架结合两次迁移学习，可以提高检测速度与精度，使检测系统满足实时性要求；采用固定步长旋转，实现覆盖360
°
目标状态，可以提高其检测精度；采用增广与拼接可以提高不同尺度目标在混杂场景中的小目标检测精度。


技术实现要素：

5.本发明所要解决的技术问题是针对上述现有技术的不足，提供基于两次迁移学习和数据增广的船舶目标检测方法，解决棘手场景中样本数据难以大量获得、基于深度学习的船舶目标检测中小样本学习困难的问题，提高鲁棒性、准确性和快速性，可用于智慧海洋、港口监控、智慧城市等人工智能领域。
6.为实现上述技术目的，本发明采取的技术方案为：
7.基于两次迁移学习和数据增广的船舶目标检测方法，包括：
8.步骤1.建立船舶目标的小样本图像数据集；
9.步骤2.对步骤1数据集进行数据增广，以扩充图像数据集的总样本数量；
10.步骤3.对步骤2增广后的图像数据集中的每个图像进行标注，得到符合pascal voc格式的xml标签文件，将标注后的数据集按比例划分为训练集和测试集；
11.步骤4.采用两次迁移学习技术来构建以yolo v3为框架的船舶检测模型：对darknet网络模型进行预训练，从coco数据集中筛选出boat类图像及标签文件，并将其应用在预训练好的darknet网络模型上，进行第一次迁移学习，得到船舶检测初步模型；
12.步骤5.利用步骤3训练集图像在步骤4船舶检测初步模型上进行第二次迁移学习，并利用步骤3测试集对第二次迁移学习后得到的模型进行测试，获得最终的船舶检测模型；
13.步骤6.利用步骤5最终船舶检测模型，对待检测视频图像序列进行检测，获得船舶目标检测结果。
14.为优化上述技术方案，采取的具体措施还包括：
15.上述的步骤2中，利用固定步长全覆盖旋转和图像拼接对步骤1数据集进行数据增广，以扩充图像数据集的总样本数量。
16.上述的固定步长覆盖旋转，如式(1)所示：
[0017][0018]
式中：(x0,y0)为原始图像坐标；(x,y)为旋转后图像坐标；h
rotate
为旋转矩阵；旋转范围为[0
°
，360
°
]；表示每次旋转的步长；i∈[0、1、2、...n
‑
1]表示旋转的序数；n∈[36、45、60、90、180]为总旋转次数，以使旋转范围全覆盖。
[0019]
上述的图像拼接，具体为：
[0020]
首先按照每隔三张图像选取一张图像为步长来抽取一定数量的图像进行图像拼接，即：每四幅图像分为一组，然后对组内每幅图像的宽高按照1/2
×
1/2的比例进行缩小如式(2)所示，使四幅图像拼接后的尺度等于原始图像尺度；
[0021]
再进行拼接的公式如式(3)所示，最后将拼接图像放进图像数据集中：
[0022][0023][0024]
其中：(x,y)为旋转后图像坐标；为缩放后图像坐标；h
scale
为尺度缩放矩阵；
[0025]
为缩小后得到的四幅对应图像,，可作为一组构成拼接图像a'
w*h
；w，h表示原始图像的宽高尺度。
[0026]
上述的步骤3中，采用labeling标注工具对图像逐个进行标注，生成与图像相对应的xml标签文件。
[0027]
上述的步骤3还包括：
[0028]
利用式(4)～(5)对标注后的目标外接矩形框参数进行归一化处理，并通过式(6)～(7)得到归一化后的矩形框中心坐标：
[0029][0030][0031][0032][0033]
其中：w
i
、h
i
表示当前图像中第i个目标外接矩形框归一化后的宽度和高度；表示当前图像中第i个目标外接矩形框归一化后的宽度和高度；分别表示归一化处理之前的目标外接矩形框左上角坐标和右下角坐标；w、h表示图像数据集中任一图像的宽度和高度；x
i
、y
i
分别表示目标i归一化后的外接矩形框中心横、纵坐标。
[0034]
上述的步骤4和步骤5的迁移学习过程中，参数的学习更新基于小批量梯度下降算法(mini
‑
batch gradient descent)，具体为：
[0035]
首先计算小批量样本数据b
t
在目标函数f(θ)位于θ
t
‑1处的梯度g
t
，如式(8)所示：
[0036][0037]
式中：t表示选取批量样本的步长；b
t
表示在样本图像数据集中按t随机采样得到的小批量训练样本数据；m表示批量大小；i表示小批量训练样本数据里的单个数据；θ
t
‑1表示未更新前的权重与偏置等参数；表示线性回归的预测函数；y
i
表示线性回归中的实际函数；f(θ)表示预测值与实际值的平方误差函数；表示批量训练样本的总平方误差函数；
[0038]
然后给定学习率η
t
，并利用小批量梯度下降算法对模型参数进行学习更新，如式(9)所示：
[0039]
θ
t
←
θ
t
‑1‑
η
t
g
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0040]
式中：θ
t
表示更新后在t时刻的权重与偏置等参数；θ
t
‑1表示未更新前在t
‑
1时刻的权重与偏置等参数；η
t
表示学习率，通常选择0.01、0.05、0.001等数据；g
t
表示小批量梯度下降。
[0041]
本发明具有以下有益效果：
[0042]
本发明在yolo v3的目标检测框架上，构建小样本船舶目标图像数据集，使用数据增广技术和两次迁移学习技术，提高了船舶目标检测的鲁棒性和快速性，具体的：
[0043]
1)首先构建船舶目标的小样本图像数据集，通过采用固定步长旋转技术和图像拼
接技术对小样本船舶图像数据集进行样本数量上的增广，提高了棘手场景中难以获取大量样本数据情况下进行深度学习的鲁棒性和准确性；
[0044]
2)采用了两次迁移学习，首先用coco数据集中boat类数据在darknet网络模型上进行第一次迁移学习，得到船类目标的一般性特征和船舶目标检测初步网络模型，提高了船舶检测模型的构建效率；然后使用训练集图像在初步得到的船舶目标检测网络模型上进行第二次迁移学习，获得最终的船舶检测模型，有利于进一步提高模型的检测精度；
[0045]
3)在基于one
‑
stage的yolo v3算法框架基础上进行两次迁移学习，有助于综合提高船舶目标检测算法的准确性、鲁棒性和快速性。
附图说明
[0046]
图1为本发明的实施例流程图，其中：增广数据集中，采用固定步长旋转获得的图像数量占80％；采用图像拼接技术获得的图像数量占20％；将总图像数据集分为训练集与测试集时，训练集占据总图像数据集的70％；测试集占据总图像数据集的30％。
[0047]
图2为本发明的数据增广中固定步长旋转方法，固定旋转步长为δ。
[0048]
图3为本发明基于图像拼接方法的数据集增广方法；w、h为原始图像的宽和高；
[0049]
0.5w、0.5h为图像缩放后的宽和高。
[0050]
图4为图像数据集在无旋转(左)、随机旋转(中)、本发明固定步长旋转(右)三种数据增广方法下，针对不同场景目标的检测结果对比图，其中：图4(a)为航拍外观模糊小目标的检测结果对比图；图4(b)为巨浪颠簸并伴随遮挡场景下的检测结果对比图；图4(c)为碰撞场景下的多目标互干扰场景下的目标检测结果对比图。
[0051]
图5为图像数据集在固定旋转(左)、本发明中固定步长旋转和拼接(右)两种样本增广方法下，不同场景目标的检测结果对比图，其中：图5(a)为航拍俯视场景下的多目标检测结果对比图；图5(b)为干扰场景下的检测结果对比图；图5(c)为低空俯视场景下的单目标检测结果对比图。
具体实施方式
[0052]
以下结合附图对本发明的实施例作进一步详细描述。
[0053]
参见图1，本发明基于两次迁移学习和数据增广的船舶目标检测方法，包括：
[0054]
步骤1.建立的船舶目标小样本图像数据集；
[0055]
步骤2.利用固定步长全覆盖旋转和图像拼接对步骤1数据集进行数据增广，以扩充图像数据集的总样本数量。
[0056]
图像固定步长旋转如式(1)所示：
[0057][0058]
式中：(x0,y0)为原始图像坐标；(x,y)为旋转后图像坐标；h
rotate
为旋转矩阵；旋转范围为[0
°
，360
°
]；表示每次旋转的步长；i∈[0、1、2、...n
‑
1]表示旋转的序数；n∈[36、45、60、90、180]为总旋转次数，以使旋转范围全覆盖；
[0059]
为了进一步增广图像数据集样本数量和有效应对不同尺度目标混杂场景中的小目标检测精度低或漏检等问题，采用图像拼接技术，在上一步增广后数据集中，首先按照每隔三张图像选取一张图像为步长来抽取一定数量的图像进行图像拼接，即：每四幅图像分为一组，然后对组内每幅图像的宽高按照1/2
×
1/2的比例进行缩小,如式(2)所示，使四幅图像拼接后的尺度等于原始图像尺度，再进行拼接,公式如式(3)所示，最后将拼接图像放进图像数据集中。
[0060][0061][0062]
其中：(x,y)为旋转后图像坐标；为缩放后图像坐标；h
scale
为尺度缩放矩阵；
[0063]
为缩小后得到的四幅对应图像,，可作为一组构成拼接图像a'
w*h
；w，h表示原始图像的宽高尺度。
[0064]
利用固定步长旋转增广技术获得360度全覆盖扩充图像数据集，进一步按四幅图像为一组先分别缩放到原图像宽高尺度的1/2
×
1/2，再采用拼接技术获得一幅原尺度图像，以再次扩充图像数据集，提高小样本图像数据集进行深度学习的鲁棒性，也为棘手场景中难以获取大量样本数据情况下的深度学习提供了一种有效思路；
[0065]
图2为本发明的数据增广中固定步长旋转方法，固定旋转步长为δ。
[0066]
图3为本发明基于图像拼接方法的数据集增广方法；w、h为原始图像的宽和高；
[0067]
0.5w、0.5h为图像缩放后的宽和高。
[0068]
步骤3.对步骤2增广后的图像数据集中的每个图像进行标注，得到符合pascal voc格式的xml标签文件，将标注后的数据集按照7:3的比例划分为训练集与测试集；
[0069]
为了与模型中的其它参数统一纲量利于后面的模型更新，同时增加模型的学习能力，利用式(4)～(5)对标注后的目标外接矩形框参数进行归一化处理，并通过式(6)～(7)得到归一化后的矩形框中心坐标：
[0070][0071][0072]
[0073][0074]
其中：w
i
、h
i
表示当前图像中第i个目标外接矩形框归一化后的宽度和高度；表示当前图像中第i个目标外接矩形框归一化后的宽度和高度；分别表示归一化处理之前的目标外接矩形框左上角坐标和右下角坐标；w、h表示图像数据集中任一图像的宽度和高度；x
i
、y
i
分别表示归一化后的外接矩形框中心横、纵坐标。
[0075]
实施例中，采用两次迁移学习技术来构建以yolo v3为框架的船舶检测模型；
[0076]
yolov3是one
‑
stage的代表性方法之一，其主要由特征提取主干网络darknet53与检测网络组成；其检测流程是将输入的待检测图像经过主干网络进行特征提取得到特征图，由特征图预测得到目标的边框和所属类别信息，接着经过置信度评分与非极大值抑制对目标边框进行过滤得到最终的目标边框和类别信息；yolov3具有较高的特征表达与特征迁移能力，其检测速度快、精度高，具有较高的实时性。
[0077]
先使用imagenet数据集对darknet网络模型进行预训练，训练时将训练类别设置成只有船这一类来进行训练，这样就得到只包含船的权重等参数文件。
[0078]
然后从coco数据集中筛选出boat类图像及标签文件，将已标记的boat类样本特征映射到预训练好的darknet网络模型上进行训练，进行第一次迁移学习得到船舶检测初步模型；再利用上述增广后的图像数据集在第一次迁移学习后的网络上进行第二次迁移学习，获得最终船舶检测模型，即运用训练集中标记好的船舶类样本图像特征，将其映射到第一次迁移学习后的初步模型中进行训练；然后使用测试集对船舶检测模型进行测试。
[0079]
迁移学习过程中，参数的学习更新基于小批量梯度下降算法(mini
‑
batch gradient descent)；首先计算小批量样本数据b
t
在目标函数f(θ)位于θ
t
‑1处的梯度g
t
如式(8)所示：
[0080][0081]
式中：t表示选取批量样本的步长；b
t
表示在样本图像数据集中按t随机采样得到的小批量训练样本数据；m表示批量大小；i表示小批量训练样本数据里的单个数据；θ
t
‑1表示未更新前的权重与偏置等参数；表示线性回归的预测函数；y
i
表示线性回归中的实际函数；f(θ)表示预测值与实际值的平方误差函数；表示批量训练样本的总平方误差函数。
[0082]
然后给定学习率η
t
，并利用小批量梯度下降算法对模型参数进行学习更新，如式(9)所示：
[0083]
θ
t
←
θ
t
‑1‑
η
t
g
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0084]
式中：θ
t
表示更新后在t时刻的权重与偏置等参数；θ
t
‑1表示未更新前在t
‑
1时刻的权重与偏置等参数；η
t
表示学习率，通常选择0.01、0.05、0.001等数据；g
t
表示小批量梯度下降。
[0085]
具体实施为：
[0086]
步骤4.采用两次迁移学习技术来构建以yolo v3为框架的船舶检测模型：对
darknet网络模型进行预训练，筛选出样本数据量较大的coco数据集中的boat类图像及标签文件，然后应用在预训练好的darknet网络模型上，进行第一次迁移学习，第一次迁移学习完成后，获得船舶检测初步模型；
[0087]
模型参数进行更新：x
t
←
x
t
‑1‑
η
t
g
t
，η
t
＝0.001。
[0088]
步骤5.利用步骤3训练集图像在步骤4船舶检测初步模型上进行第二次迁移学习，模型参数进行更新：x
t
←
x
t
‑1‑
η
t
g
t
，η
t
＝0.01；
[0089]
在第二次迁移学习后用测试集中图像对网络模型进行测试，获得最终的船舶检测模型。
[0090]
步骤6.在船舶检测模型上，对待检测的视频图像序列进行检测，获得目标检测结果。
[0091]
图4为图像数据集在无旋转(左)、随机旋转(中)、本发明固定步长旋转(右)三种数据增广方法下，针对不同场景目标的检测结果对比图，其中：图4(a)为航拍外观模糊小目标的检测结果对比图；图4(b)为巨浪颠簸并伴随遮挡场景下的检测结果对比图；图4(c)为碰撞场景下的多目标互干扰场景下的目标检测结果对比图。
[0092]
图5为图像数据集在固定旋转(左)、本发明中固定步长旋转和拼接(右)两种样本增广方法下，不同场景目标的检测结果对比图，其中：图5(a)为航拍俯视场景下的多目标检测结果对比图；图5(b)为干扰场景下的检测结果对比图；图5(c)为低空俯视场景下的单目标检测结果对比图。
[0093]
综上所述，本发明建立船舶目标的小样本图像数据集，融合固定步长旋转技术和图像拼接技术以增广图像数据集的总样本数量；对增广后的样本图像数据集进行标注，得到符合pascal voc格式的xml标签文件；将标注后的图像数据集中的样本按照7:3的比例划分为训练集和测试集；采用两次迁移学习技术来构建yolo v3目标检测网络模型；先使用imagenet数据集对darknet网络模型进行预训练，然后从coco数据集中筛选出boat类图像及标签文件，并将其应用在预训练好的darknet网络模型上，进行第一次迁移学习得到船类目标的一般性特征；再利用上述增广后的图像数据集在第一次迁移学习后的网络上进行第二次迁移学习，获得最终船舶检测模型。本发明可应用于智慧海洋、港口监控、智慧城市等人工智能领域。
[0094]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。