一种基于WGAN-GP和YOLO的船体附着物快速识别方法与流程

一种基于wgan
‑
gp和yolo的船体附着物快速识别方法
技术领域
1.本发明涉及船体附着物清洗的技术领域，特别涉及一种基于 wgan
‑
gp和yolo的船体附着物快速识别方法。


背景技术：

2.海洋占据着地球的七成面积，约是地球陆地面积的2.44倍，海上交通运输一直是不可或缺的方式。自航运与海洋强国已成为国家的重大战略后，为了满足航运的快速发展需求，船舶的体积越来越巨大、航行的速度也越来越快。然而船舶在海水中会被海洋生物附着，导致了船体的航行阻力增加、航行速度降低，增加了燃油消耗及污染排放。船体附着物种类繁多，包括藤壶、贝类、苔藓等，不同的附着物清洗手段和清洗力度不同，因此对船体附着物进行清洗时需要对附着物的种类和密度进行识别和评估，才能提高清洗效率。
3.近年来，随着人工智能领域的快速发展、深度神经网络的不断创新和应用，利用深度神经网络进行图像识别的方法得到了很大的发展，也因其具备优异的性能，越来越受到人们的重视。目前基于深度学习的图像识别技术已在生物识别领域展开了广泛的研究，但对船体附着物的识别仍存在以下三个问题：(1)船体附着物真实图像样本数据较小且获取困难，识别准确率有待提高；(2)没有对附着物的位置和大小进行识别，缺少对附着物区域的可视化显示；(3)在对船体附着物的识别过程中没有更深一步的对识别结果的船体附着物密度进行评估。


技术实现要素：

4.针对现有技术中存在的不足之处，本发明的目的是提供一种基于 wgan
‑
gp和yolo的船体附着物快速识别方法，解决了现有基于深度神经网络的船体附着物识别方法因数据匮乏导致的识别准确率偏低及附着物识别结果的可视化问题，并计算附着物的密度大小，为后续船体附着物的高效清洗提供指导性建议。为了实现根据本发明的上述目的和其他优点，提供了一种基于wgan
‑
gp和yolo的船体附着物快速识别方法，包括：
5.s1、采集船体附着物真是样本图像并进行标注，完成原始数据集的创建；
6.s2、旋转增强原始数据集并进行标准化预处理；
7.s3、将采集到的少量真实样本图像输入wgan
‑
gp网络进行数据扩充并划分训练集、测试集；
8.s4、搭建yolo新型检测网络；将预处理好的船体附着物数据输入搭建的yolo检测网络训练并测试，完成对船体附着物位置和大小的识别，并计算出识别准确率指标giou；
9.s5、在识别过程中对船体附着物进行密度评估，计算出附着物面积占比。
10.优选的，所述步骤s1中通过开源工具labelimg对船体附着物进行标注，且将藤壶，扇贝，苔藓，水草分别被标注为0，1，2，3。
11.优选的，所述步骤s2中采用[0
°
，360
°
]的旋转数据增强技术扩充原始图像
‑
检测标签数据集，然后对图像进行标准化预处理：
[0012][0013]
其中，x表示船体附着物图像中r，g，b任意一个维度的数据； x
min
，x
max
分别表示x中的最小，最大像素值；x最终被标准化到[
‑
1,1]。
[0014]
优选的，所述步骤s3中将采集到的不同类别的船体附着物真实样本图像输入至wgan
‑
gp生成式对抗网络进行扩充，获得大量带有船体附着物样本特征的图像，并对新生成的图像进行标注以及标准化预处理。再将得到数据按9：1的比例划分为训练集、测试集；
[0015][0016]
其中l为wgan
‑
gp的目标函数；为wasserstein距离下wgan的损失函数；为在wgan的基础上对每个样本独立施加的梯度惩罚。
[0017]
优选的，所述步骤s3中添加三个注意力机制se模块，强化含有重要信息的通道特征、抑制无关的通道特征，进而使模型捕获更多关键的特征信息；在特征融合层与检测层网络中使用fpn pan结构增强特征与定位的传递性；ghost bottleneck网络主要由两个ghost模块堆叠而成，基于一组内在特征映射，应用一系列线性变换来生成更多 ghost特征映射，具体为：
[0018]
y'＝x*f b
[0019]
其中，x为输入特征图；*为卷积操作；f为当前层的卷积核；y’为m个通道的本征特征图；b为偏置项。
[0020]
优选的，力机制se模块在通道上的计算：
[0021][0022]
s＝f
ex
(z,w)＝σ(g(z,w))＝σ(w2δ(w1z))
[0023][0024]
其中，u
c
为整个图像局部描述符的集合，即图像特征图；σ为 sigmoid函数；δ为relu函数；z
c
是squeeze 操作即全局平均池化；s是excitation操作，通过引入w参数来为每个特征通道生成权重；scale操作为使用标量在s
c
通道维度上对原始特征图u
c
重标定，具体流程为：首先对输入特征图 (h,w,c)进行全局池化，池化尺寸为(h,w)，输出(1x1xc)大小的特征图，随后经过两个全连接层，分别是c/12个神经元和c个神经元以增加非线性因子，最后通过sigmoid激活函数输出(1x1xc)大小的权重因子，利用权重因子对原始特征图(h,w,c)各通道进行乘积，最终输出不同比重的通道的特征图。
[0025]
优选的，所述步骤s4中将预处理好的训练集图像数据输入至 yolo检测网络中，并使用预训练权重初始化网络结构并对整个网络进行全局训练，直到训练次数达到设定的最
大值，记录最终的训练权重以及最优的训练权重，然后使用预处理好的测试集输入到训练好的 yolo检测网络中，完成对图像中藤壶，扇贝，苔藓，水草的位置和大小识别。并计算识别准确率指标giou。
[0026][0027][0028]
其中，c表示物体的存在位置；g为模型的检测框；a为能够包含c、g的最小框。
[0029]
优选的，所述步骤s5中通过图像锐化、边缘检测、边缘闭合和孔洞填充的图像目标获取方法，实现船体附着物二值图像的快速分割，进而计算出船体附着物的密度大小；
[0030][0031]
其中，aap为船体附着物的密度大小，即面积占比；fouling，all 分别表示附着物和整张图片区域；count(.)用于计算指定区域内的像素点个数。
[0032]
本发明与现有技术相比，其有益效果是：
[0033]
(1)本发明使用的是具有三个维度(r,g,b)的三通道图像数据，相比于单通道的灰度图能提取到更丰富、直观的船体附着物特征信息。
[0034]
(2)本发明所采用的基于wgan
‑
gp的数据扩增方法可以有效提高检测网络的泛化能力，解决了数据不足导致的识别精度偏低的问题。
[0035]
(3)本发明提出的yolo检测网络能对船体附着物图像进行有效检测，识别不同类别的附着物，并完成附着物位置和大小的输出。
[0036]
(4)本发明中的附着物识别方法可以对识别结果中附着物的密度进行评估，为后续船体附着物的高效清洗提供指导性建议。
附图说明
[0037]
图1为根据本发明的基于wgan
‑
gp和yolo的船体附着物快速识别方法的三维结构示意图；
[0038]
图2为根据本发明的基于wgan
‑
gp和yolo的船体附着物快速识别方法的三维爆炸结构示意图；
[0039]
图3为根据本发明的基于wgan
‑
gp和yolo的船体附着物快速识别方法的制作流程框图。
具体实施方式
[0040]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
参照图1
‑
3，一种基于wgan
‑
gp和yolo的船体附着物快速识别方法，包括：s1、采集
船体附着物真是样本图像并进行标注，完成原始数据集的创建；
[0042]
s2、旋转增强原始数据集并进行标准化预处理；
[0043]
s3、将采集到的少量真实样本图像输入wgan
‑
gp网络进行数据扩充并划分训练集、测试集；
[0044]
s4、搭建yolo新型检测网络；将预处理好的船体附着物数据输入搭建的yolo检测网络训练并测试，完成对船体附着物位置和大小的识别，并计算出识别准确率指标giou；
[0045]
s5、在识别过程中对船体附着物进行密度评估，计算出附着物面积占比。
[0046]
进一步的，所述步骤s1中通过开源工具labelimg对船体附着物进行标注，且将藤壶，扇贝，苔藓，水草分别被标注为0，1，2，3。
[0047]
进一步的，所述步骤s2中采用[0
°
，360
°
]的旋转数据增强技术扩充原始图像
‑
检测标签数据集，然后对图像进行标准化预处理：
[0048][0049]
其中，x表示船体附着物图像中r，g，b任意一个维度的数据； x
min
，x
max
分别表示x中的最小，最大像素值；x最终被标准化到[
‑
1,1]。
[0050]
进一步的，所述步骤s3中将采集到的不同类别的船体附着物真实样本图像输入至wgan
‑
gp生成式对抗网络进行扩充，获得大量带有船体附着物样本特征的图像，并对新生成的图像进行标注以及标准化预处理。再将得到数据按9：1的比例划分为训练集、测试集；
[0051][0052]
其中l为wgan
‑
gp的目标函数；为wasserstein距离下wgan的损失函数；为在wgan的基础上对每个样本独立施加的梯度惩罚。
[0053]
进一步的，所述步骤s3中添加三个注意力机制se模块，强化含有重要信息的通道特征、抑制无关的通道特征，进而使模型捕获更多关键的特征信息；在特征融合层与检测层网络中使用fpn pan结构增强特征与定位的传递性；ghost bottleneck网络主要由两个ghost 模块堆叠而成，基于一组内在特征映射，应用一系列线性变换来生成更多ghost特征映射，具体为：
[0054]
y'＝x*f b
[0055]
其中，x为输入特征图；*为卷积操作；f为当前层的卷积核；y’为m个通道的本征特征图；b为偏置项。
[0056]
进一步的，力机制se模块在通道上的计算：
[0057][0058]
s＝f
ex
(z,w)＝σ(g(z,w))＝σ(w2δ(w1z))
[0059]
[0060]
其中，u
c
为整个图像局部描述符的集合，即图像特征图；σ为 sigmoid函数；δ为relu函数；z
c
是squeeze 操作即全局平均池化；s是excitation操作，通过引入w参数来为每个特征通道生成权重；scale操作为使用标量在s
c
通道维度上对原始特征图u
c
重标定，具体流程为：首先对输入特征图 (h,w,c)进行全局池化，池化尺寸为(h,w)，输出(1x1xc)大小的特征图，随后经过两个全连接层，分别是c/12个神经元和c个神经元以增加非线性因子，最后通过sigmoid激活函数输出(1x1xc)大小的权重因子，利用权重因子对原始特征图(h,w,c)各通道进行乘积，最终输出不同比重的通道的特征图。
[0061]
进一步的，所述步骤s4中将预处理好的训练集图像数据输入至yolo检测网络中，并使用预训练权重初始化网络结构并对整个网络进行全局训练，直到训练次数达到设定的最大值，记录最终的训练权重以及最优的训练权重，然后使用预处理好的测试集输入到训练好的 yolo检测网络中，完成对图像中藤壶，扇贝，苔藓，水草的位置和大小识别。并计算识别准确率指标giou。
[0062][0063][0064]
其中，c表示物体的存在位置；g为模型的检测框；a为能够包含c、g的最小框。
[0065]
进一步的，所述步骤s5中通过图像锐化、边缘检测、边缘闭合和孔洞填充的图像目标获取方法，实现船体附着物二值图像的快速分割，进而计算出船体附着物的密度大小；
[0066][0067]
其中，aap为船体附着物的密度大小，即面积占比；fouling，all 分别表示附着物和整张图片区域；count(.)用于计算指定区域内的像素点个数。
[0068]
这里说明的设备数量和处理规模是用来简化本发明的说明的，对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。尽管本发明的实施方案已公开如上，但其并不仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。