基于轻量级神经网络模型的内河船舶目标识别方法及系统与流程

1.本发明涉及的是图像识别技术领域，具体是一种基于轻量级神经网络模型的内河船舶目标识别方法及系统。


背景技术：

2.随着内河航运业务的飞速发展，内河航道交通量迅速增加，通航环境日益复杂，利用航道视频监控系统对船舶目标进行识别，是船舶安全监测和危险预警的重要基础。目前，内河视频监控信息的分析及处理需要大量人工完成，人为因素的影响容易导致信息处理失误和不及时的问题。通过部署内河船舶识别模型，可以实时定位及分类船舶目标，为船舶通航监管及危险行为预警提供数据支撑。
3.传统的目标识别算法基于数学建模思想进行设计，通过提取图像中船舶轮廓特征进行目标识别。由于船舶轮廓信息容易受到图像背景干扰，因此传统目标识别算法对复杂环境下船舶分类及定位能力较弱，同时小尺度船舶图像目标特征信息较少，传统识别算法对此类船舶的识别精度较低。针对上述问题，很多学者提出了基于深度卷积神经网络的目标识别算法，此类算法通过深层网络提取船舶图像特征，实现了多尺度船舶图像目标的精确分类及定位。但基于深度卷积神经网络的算法需要借助大量船舶图像数据进行训练，在训练过程中将产生大量网络参数。同时，船舶识别模型需要借助高性能图像处理器才能达到船舶实时识别和精确识别要求。而内河船舶监控设备属于典型的嵌入式设备，计算能力较弱，无法运行计算消耗量和模型参数量较大的识别模型。


技术实现要素：

4.本发明主要目的在于提供一种无需人为提取特征即可实现船舶特征的快速获取和船舶目标的精确分类及定位的基于轻量级神经网络的内河船舶识别方法及系统。
5.本发明所采用的技术方案是：
6.提供一种基于轻量级神经网络模型的内河船舶目标识别方法，包括以下步骤：
7.s1.构建轻量级神经网络模型，在特征提取网络部分，在mobilenetv3large网络原有15个bneck模块基础上，去除第5、第9个bneck模块，得到压缩后的特征提取网络s
‑
mobilenet网络；在算法预测结构上，利用特征金字塔结构对s
‑
mobilenet网络的第6、第9、第13个bneck模块进行多卷积层特征融合；在预测框回归损失函数和目标预测框非极大值抑制方面，利用融合距离度量指标的损失函数进行损失计算；
8.s2.对内河船舶图像进行筛选整理，形成内河船舶图像数据集；并利用随机划分的原则将数据集分为训练集和测试集；
9.s3、通过训练集和测试集对构建的轻量级神经网络模型进行训练；
10.s4、利用训练好的模型对内河船舶目标进行识别。
11.接上述技术方案，在预测框损失值计算过程中，利用标签平滑方法进行预测框分类损失和位置损失的调整，避免过拟合。
12.接上述技术方案，所述融合距离度量指标的损失函数为利用目标预测框与真实框的交并比和两框中心点距离度量指标，构建miou损失指标函数，具体为：
[0013][0014][0015]
其中，|p∩g|为目标预测框与真实框的交集面积，|p∪g|为两框并集面积，l
miou
为miou损失函数，d1为两框中心点距离，d2为两框最小闭包区域的对角线距离，b、b
gt
分别为预测框和真实框的中心点，(x1,y1)、(x2,y2)分别为预测框和真实框的中心点坐标。
[0016]
接上述技术方案，所述标签平滑方法具体计算过程如下：
[0017][0018]
其中，p
i
表示调整后的预测概率，k表示待分类的类别总数，ε表示设置的超参数，i表示目标预测值，y表示目标真实值。
[0019]
接上述技术方案，所述特征金字塔结构具有自上而下的运算逻辑，具体通过与特征提取网络部分的卷积层信息进行横向连接，构建3个目标预测通道，提高对多尺度图像目标的识别能力。
[0020]
接上述技术方案，模型训练过程具体为：应用迁移学习方法进行模型训练；同时，在模型训练过程中，每次迭代均计算模型损失值，当模型损失值在一定次数训练迭代的差值小于中断阈值时，模型训练结束。
[0021]
接上述技术方案，所述迁移学习方法为：在模型训练初期，只开启s
‑
mobilenet网络最后的全连接层，冻结bneck模块的卷积层，进行模型预训练，并将预训练后的参数保存；预训练结束后，开启s
‑
mobilenet网络全部卷积模块，进行全卷积层运算。
[0022]
接上述技术方案，训练集和测试集两部分的图像数量比例为8:2。
[0023]
接上述技术方案，在模型训练过程中，随机对三张或四张图像进行包括裁剪、平移、缩放的操作，并对图像色彩饱和度、亮度及对比度进行调整，按规定顺序摆放好所选图片，将处理后的图片组合成一张图片后，再进行训练。
[0024]
本发明还提供一种基于轻量级神经网络模型的内河船舶目标识别系统，包括：
[0025]
轻量级神经网络模型构建模块，用于构建轻量级神经网络模型，在特征提取网络部分，在mobilenetv3large网络原有15个bneck模块基础上，去除第5、第9个bneck模块，得到压缩后的特征提取网络s
‑
mobilenet网络；在算法预测结构上，利用特征金字塔结构对s
‑
mobilenet网络的第6、第9、第13个bneck模块进行多卷积层特征融合；在预测框回归损失函数和目标预测框非极大值抑制方面，利用融合距离度量指标的损失函数进行损失计算；
[0026]
数据集处理模块，用于对内河船舶图像进行筛选整理，形成内河船舶图像数据集；并利用随机划分的原则将数据集分为训练集和测试集；
[0027]
训练模块，用于通过训练集和测试集对构建的轻量级神经网络模型进行训练；
[0028]
识别模块，用于利用训练好的模型对内河船舶目标进行识别。
[0029]
本发明产生的有益效果是：本发明通过将mobilenetv3large网络中权重较小的第5、第9个bneck模块删除，并对压缩后的网络的第6、第9、第13个bneck模块进行多卷积层特征融合，从而构建新的轻量级神经网络模型，利用该新的网络模型实现了多尺度内河船舶图像目标的精确识别，减少了船舶识别及定位中人为因素的影响，降低了船舶目标识别对硬件设备计算能力的依赖，有效提高内河环境船舶视频监控信息的处理能力。
[0030]
进一步地，通过将特征金字塔结构过与特征提取网络卷积层信息进行横向连接，构建3个目标预测通道，提高对多尺度图像目标的识别能力。
[0031]
进一步地，在预测框损失值计算过程中，利用标签平滑方法进行预测框分类损失和位置损失的调整，避免模型出现过拟合现象。
[0032]
进一步地，在模型训练过程中，通过对图像进行裁剪、平移、缩放等操作，并对图像色彩饱和度、亮度及对比度等进行调整，最后进行拼接，有效提高了小型船舶数据集图像信息利用率，增强了数据集的多样性，保证了轻量级船舶识别算法训练效果。
[0033]
进一步地，利用miou损失函数，通过融入预测框与真实框的中心点归一化距离，提高了目标预测框向真实框的回归速度。当预测框与真实框不相交时，距离指标将加快两框产生重叠的速度；当预测框与真实框相交时，在两框交并比与距离度量指标的共同作用下，预测框边界将加快缩小与真实框边界的差值。
附图说明
[0034]
下面将结合附图及实施例对本发明作进一步说明，附图中：
[0035]
图1是本发明实施例基于轻量级神经网络模型的内河船舶目标识别方法的流程图；
[0036]
图2(a)是本发明实施例三张图像拼接示意图；
[0037]
图2(b)是本发明实施例四张图像拼接示意图；
[0038]
图3是本发明实施例构建s
‑
mobilenet网络的具体过程示意图；
[0039]
图4是本发明实施例模型训练过程中两类损失收敛曲线示意图；
[0040]
图5(a)是本发明实施例大尺度船舶识别示意图；
[0041]
图5(b)是本发明实施例小尺度船舶识别示意图；
[0042]
图5(c)是本发明实施例船舶部分遮挡示意图。
具体实施方式
[0043]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0044]
如图1所示，本发明实施例基于轻量级神经网络模型的内河船舶目标识别方法，包括以下步骤：
[0045]
s1.构建轻量级神经网络模型，在特征提取网络部分，在mobilenetv3large网络原有15个bneck模块基础上，去除第5、第9个bneck模块，得到压缩后的特征提取网络s
‑
mobilenet网络；在算法预测结构上，利用特征金字塔结构对s
‑
mobilenet网络的第6、第9、第13个bneck模块进行多卷积层特征融合；在预测框回归损失函数和目标预测框非极大值
抑制方面，利用融合距离度量指标的损失函数进行损失计算；
[0046]
s2.对内河船舶图像进行筛选整理，形成内河船舶图像数据集；并利用随机划分的原则将数据集分为训练集和测试集；
[0047]
s3、通过训练集和测试集对构建的轻量级神经网络模型进行训练；
[0048]
s4、利用训练好的模型对内河船舶目标进行识别。
[0049]
本发明无需人为提取特征即可实现船舶特征的快速获取和船舶目标的精确分类及定位。本发明构建的模型具有训练时长短、参数量小、算力消耗低等特点，适合部署在计算能力弱的嵌入式设备中。
[0050]
进一步地，本发明通过对内河船舶图像进行筛选整理，形成内河船舶图像数据集，利用随机划分的原则将数据集分为训练集和测试集。本发明实施例中，具体利用网络爬虫技术初步整理6000张内河船舶图像，考虑船舶图像数据的多样性和适应性，经过进一步筛选，形成由4000张图像组成的船舶数据集。再将内河船舶图像数据集随机划分为训练集和测试集两部分，两者的图像数量比例为8:2，即训练集由3200张图像组成，测试集由800张图像组成。
[0051]
如图2(a)、图2(b)所示，为避免小样本数据集训练容易产生过拟合问题，在模型训练过程中，利用图像拼接数据增强方法对船舶图像进行随机翻转、缩放和色域变化等，增强船舶数据的多样性。具体地，在模型训练过程中，随机对三张或四张图像进行裁剪、平移、缩放等操作。同时，对图像色彩饱和度、亮度及对比度等进行调整，并按规定顺序摆放好所选图片，将处理后的图片组合成一张图片后，输入船舶识别算法进行训练。该方法有效提高了小型船舶数据集图像信息利用率，增强了数据集的多样性，保证了轻量级船舶识别算法训练效果。
[0052]
构建轻量级神经网络模型时，在特征提取网络部分，基于mobilenetv3large网络进行压缩，得到s
‑
mobilenet网络；在算法预测结构上，利用特征金字塔结构实现多卷积层特征融合，提高小尺度船舶图像目标的识别能力；在预测框回归损失函数和目标预测框非极大值抑制方面，利用融合距离度量指标的损失函数进行损失计算；最后在预测框损失值计算过程中，利用标签平滑方法进行预测框分类损失和位置损失的调整，避免模型出现过拟合现象。
[0053]
标签平滑方法具体通过对交叉熵损失函数计算值进行修正，优化模型训练过程中的对部分错误标签的过度信任，更好地校准网络的各项参数，提高识别模型泛化能力。标签平滑方法具体计算过程如下：
[0054][0055]
其中，p
i
表示调整后的预测概率，k表示待分类的类别总数，ε表示设置的超参数，i表示目标预测值，y表示目标真实值。由于模型预测更倾向于相信更高的预测框置信度，所以加入超参数0.5，用来减少标签平滑方法对置信度值的影响。如表1所示，基于相同内河船舶图像数据，当超参数设置为0.5时，船舶识别实验精度(map值)最高。
[0056]
表1不同超参数实验结果
[0057]
超参数数值实验map值
1.00.94270.80.95020.60.95880.50.96370.40.95410.20.9523
[0058]
如图3所示，s
‑
mobilenet网络具体通过如下步骤得到：在mobilenetv3large网络原有15个bneck模块基础上，去除第5、第9个bneck模块，得到压缩后的特征提取网络，该网络由13个bneck模块构成，相比原网络，进一步降低了模型参数量和计算量。
[0059]
s
‑
mobilenet特征提取网络通过前向卷积计算，具有自下而上的运算逻辑和深层的语义信息，可以有效提取船舶图像特征，提高船舶目标的分类及定位精度。该网络的输入为608
×
608分辨率大小的rgb三通道图像，网络各个bneck模块卷积通道数、通道大小、卷积核大小如表2所示：
[0060]
表2 bneck模块介绍
[0061]
bneck序号卷积通道数通道大小卷积核大小116304
×
3043
×
3216304
×
3043
×
3324152
×
1523
×
3424152
×
1525
×
554076
×
765
×
564076
×
763
×
378038
×
383
×
388038
×
383
×
398038
×
383
×
31011238
×
383
×
31111238
×
385
×
51216019
×
195
×
51316019
×
195
×5[0062]
bneck模块融合了深度可分离卷积、轻量级注意力模型以及具有线性瓶颈的逆残差结构，同时利用h
‑
swish激活函数代替swish函数，减少计算量，提高特征提取能力。
[0063]
特征金字塔结构是指：在本发明得到s
‑
mobilenet网络后，利用特征金字塔设计算法的预测结构，将特征提取网络第6、第9、第13个bneck模块进行卷积层的拼接(concat)。同时，利用标准卷积(conv2d)和上采样(upsampling2d)完成不同大小特征图的融合及特征信息的输出。该预测结构具有自上而下的运算逻辑，通过与特征提取网络卷积层信息进行横向拼接，构建3个目标预测通道，分别进行不同尺度的船舶目标预测，提高对多尺度船舶图像目标的识别能力。
[0064]
进一步地，融合距离度量指标的损失函数是指：利用目标预测框与真实框的交并比和两框中心点距离度量指标，构建miou损失指标，具体为：
[0065][0066][0067]
其中，|p∩g|为目标预测框与真实框的交集面积，|p∪g|为两框并集面积，l
miou
为miou损失函数，d1为两框中心点距离，d2为两框最小闭包区域的对角线距离，b、b
gt
分别为预测框和真实框的中心点，(x1,y1)、(x2,y2)分别为预测框和真实框的中心点坐标。
[0068]
本发明实施例中，基于轻量级神经网络的内河船舶识别模型训练过程，具体步骤如下：
[0069]
s31、应用迁移学习方法进行内河船舶识别模型的训练；
[0070]
s32、在模型训练过程中，每次迭代均计算模型损失值；
[0071]
s33、当模型损失值在10次迭代中的差值小于中断阈值时，模型训练结束。
[0072]
进一步地，迁移学习方法是指：在模型训练初期，只开启s
‑
mobilenet网络最后的全连接层，冻结bneck模块全部卷积层，进行模型预训练，并将训练后的参数进行更新；预训练结束后，开启s
‑
mobilenet网络全部卷积模块，进行全卷积层训练。
[0073]
本发明的基于轻量级神经网络模型的内河船舶目标识别系统主要用来实现上述方法实施例，该系统包括：
[0074]
轻量级神经网络模型构建模块，用于构建轻量级神经网络模型，在特征提取网络部分，在mobilenetv3large网络原有15个bneck模块基础上，去除第5、第9个bneck模块，得到压缩后的特征提取网络s
‑
mobilenet网络；在算法预测结构上，利用特征金字塔结构对s
‑
mobilenet网络的第6、第9、第13个bneck模块进行多卷积层特征融合；在预测框回归损失函数和目标预测框非极大值抑制方面，利用融合距离度量指标的损失函数进行损失计算；
[0075]
数据集处理模块，用于对内河船舶图像进行筛选整理，形成内河船舶图像数据集；并利用随机划分的原则将数据集分为训练集和测试集；
[0076]
训练模块，用于通过训练集和测试集对构建的轻量级神经网络模型进行训练；
[0077]
识别模块，用于利用训练好的模型对内河船舶目标进行识别。
[0078]
各个模块进一步的功能详见上述方法实施例，在此不一一赘述。
[0079]
本发明通过设计面向内河环境的轻量级船舶目标识别模型，利用多特征融合结构、标签平滑以及迁移学习等技术，基于内河船舶图像数据集和数据增强方法，实现了多尺度内河船舶图像目标的精确识别，有效消除了背景信息干扰，并提高了船舶遮挡等不利情况下目标识别精度，减少了船舶识别及定位中人为因素的影响，降低了船舶目标识别对硬件设备计算能力的依赖，有效提高内河环境船舶视频监控信息的处理能力。
[0080]
模型训练及验证实例：
[0081]
上述实施例中，模型训练过程的各项参数具体设置为：在轻量级内河船舶识别算法训练中，算法动量(momentum)设置为0.9，首先在迁移学习阶段，批(batch size)设置为30，运行15轮迭代，初始学习率设置为10
‑3；在开启全部卷积层后，由于参数规模的增大，批设置为6，初始学习率设置为10
‑4，该阶段共进行90轮迭代。
[0082]
上述实施例中，模型训练过程中两类损失收敛曲线如图4所示，其中loss收敛曲线基于训练集得出，val_loss收敛曲线基于验证集得出。在迁移学习阶段，学习率保持在10
‑3，
两类损失收敛至30左右；在卷积层全部开启后，学习率为10
‑4时，两类损失收敛至7.4左右；当epoch＝56时，学习率降低至10
‑5，两类损失收敛至5.6左右；当epoch＝85时，学习率降低至10
‑6，两类损失最终收敛至3.8左右。从数据得出，模型两类损失相差很小，具有较强的抗过拟合能力。
[0083]
为进一步验证本发明的有效性，本发明选取每类船舶的平均识别精度ap
i
以及各类船舶平均精度的均值map进行定量评价，其计算公式为：
[0084][0085]
其中，tp为预测框分类正确且边界位置达标的数量；fp为预测框分类错误或边界位置不达标的数量；fn为没有被预测出来的真实框数量；pr为准确率，即预测结果中为真实目标的比例；re为召回率，即预测结果最多可以覆盖真实目标的比例；p(r)为每一类船舶对应的pr
‑
re特征曲线；n为船舶类别数，本次实验中n＝5，分别为：矿砂船、集装箱船、货船、渔船及客船。
[0086]
为更好地验证本发明的有效性，分别将yolo2、yolov3、tiny
‑
yolo3和yolov3
‑
mobilenetv3large算法(以下简称yolov3
‑
ml算法)作对比实验，实验结果如表3：
[0087]
表3不同测试结果对比
[0088][0089][0090]
从表3数据可以看出，上述3种算法对集装箱船、矿砂船、货船具有良好的识别精度，这三类船舶相比其他类型船舶目标尺度大，方便进行图像特征提取。通过对比分析yolov2和yolov3的实验结果，可以发现darknet
‑
53网络对渔船、客船等小尺度船舶识别能力有很大提升；tiny
‑
yolo3由于卷积层数量较少，其对船舶目标特征提取不完整，不具有深层语义信息，因此该算法实验结果较差；本发明提供的轻量级船舶目标识别模型可以有效识别渔船等小尺度目标，且模型参数量及算力消耗量只有yolov3的1/3左右。
[0091]
基于轻量级神经网络的内河船舶识别模型实验结果如图所示，由图5(a)可以看出，本发明可以精确识别渔船、客轮等小尺度船舶，没有发生目标漏识或误识；由图5(b)可以看出，本发明对各类大尺度船舶目标具有良好的识别能力，并且有效排除了近岸背景的干扰；由图5(c)可以看出，本发明可以很好地识别船舶遮挡情况下的船舶图像目标，展现出很好的鲁棒性。
[0092]
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。