一种基于改进卷积神经网络的水面漂浮垃圾识别方法与流程

1.本发明涉及图像识别技术领域，尤其涉及一种基于改进卷积神经网络的水面漂浮垃圾识别方法。


背景技术：

2.水面漂浮垃圾清理现今主要采用人工打捞的方式，但其存在成本高昂、清理缓慢等问题；研究表明，将水面机器人与视频实时监测技术相结合可以有效地提高其自动化程度和降低成本；就检测水面漂浮垃圾来说，传统的检测方法主要有背景建模法、光流法等方法；然而，由于水面存在光照反射不均、水面场景复杂、目标尺寸差距过大等干扰检测的问题，上述算法难以适应各种环境变化。
3.随着计算机硬件的发展和算力的提升，促进了卷积神经网络的发展，基于卷积神经网络的目标检测算法也逐渐兴起；与传统的检测算法相比，基于卷积神经网络的目标检测算法具有更好的特征表达和泛化能力；基于卷积神经网络的目标检测算法分为一阶段算法和二阶段算法两种，如yolov2、yolov3、ssd等，称为一阶段算法，如faster rcnn、fast rcnn、rcnn等，称为两阶段算法。faster rcnn是一种经典的目标检测算法，它的主干网络采用的是vgg16，并提出了区域建议网络(rpn)，在特征图的基础上再生成一系列候选框，最后通过roi pooling得到预测结果，该方法对于一般的目标具有较高检测精度，但是对于图像中存在目标遮挡、光照反射不均、目标尺寸占比太小等问题的目标，检测效果仍然不佳。


技术实现要素：

4.本发明所要解决的技术问题是：本发明对faster rcnn进行改进，针对光照反射不均问题，提出金字塔式锚框生成方式；针对目标互相遮挡问题，引入soft-nms算法，针对目标尺寸占比太小问题，提出分类判别图，能够对水面漂浮垃圾进行有效检测，并且达到较高的检测精度。
5.本发明所采用的技术方案是：一种基于改进卷积神经网络的水面漂浮垃圾识别方法包括以下步骤：
6.s1：对水面漂浮垃圾图像数据集进行扩充，并划分为训练集和验证集以及测试集三部分；
7.数据集中训练集占比80％、验证集占比10％、测试集占比10％；
8.s2：将resnet50作为特征提取网络层，水面漂浮垃圾图像经由特征层提取后，生成语义信息更好的特征图，之后经过rpn网络采用金字塔式锚框生成方式产生锚框，再经过soft-nms算法筛选出可能是水面漂浮垃圾的一系列目标候选框，然后基于rpn网络提取出的候选框映射到相对应的分类判别图，roi pooling基于候选框映射的分类判别图来对目标进行分类和回归；
9.进一步的，金字塔式锚框生成方式包括步骤如下：
10.s21、利用标注框对每幅水面漂浮垃圾图像都生成一个二值化标签图，其中含有目
标的标注框位置编码为1，其余编码为0，即前景部分标记为1，背景部分标记为0；
11.s22、将标注框坐标位置信息(xg,yg,wg,hg)映射到不同语义信息特征图尺度上，获得对应坐标位置信息(x'g,y'g,w'g,h'g)，其中，wg为标注框的宽度，hg为标注框的高度，xg为该标注框的正中心横坐标，yg为该标注框的正中心纵坐标，w'g为标注框映射到语义信息特征图后的宽度，h'g为标注框映射到语义信息特征图后的高度，x'g为标注框映射到语义信息特征图后的正中心横坐标，y'g为标注框映射到语义信息特征图后的正中心纵坐标，之后再将标注框分为三类：
12.1、内部区域ca＝(x'g,y'g,σ1w'g,σ1h'g)定义了标注框的中心区域，该部分为标注框最中心区域，以该部分为中心生成的锚框属于正样本；
13.2、缓冲区域ia＝(x'g,y'g,σ2w'g,σ2h'g)是一个较大的区域，若以该部分为中心生成锚框，其iou相对不高，故把此部分忽略，作为缓冲区域；
14.3、外部区域oa，该部分区域是在特征图中除过ca以及ia两部分以外的区域，以该部分为中心生成的锚框被当作负样本对待；
15.其中，σ1和σ2分别为内部区域和缓冲区域面积的系数；
16.s23、将锚框和标注框进行对照，根据锚框和与其对照的标注框的iou，进行预测水面漂浮垃圾的形状；
17.另外，考虑到标注框大小不同，差异性很大，所以采用三个等级大小的锚框，如下表所示：
18.表1锚框等级
[0019][0020]
三个锚框纵横比分别为1:1，1:2，2:1。三个等级纵横比统一，公式表达如下：
[0021][0022]
其中，wg为标注框的宽度，hg为标注框的高度，l为锚框生成等级；
[0023]
再经过soft-nms筛选出可能是水面漂浮垃圾的一系列目标候选框，然后基于rpn网络提取出的候选框映射到相对应的分类判别图；
[0024]
进一步的分类判别图包括如下步骤：
[0025]
s241、resnet50网络特征层部分的第五层上采样和第四层特征图融合后传入roi pooling，经过rpn处理后生成的建议框同比例扩大后映射到融合后的特征图上，形成分类判别图；
[0026]
s242、roi pooling在分类判别图基础上，经过最大池化，然后分类和回归操作；
[0027]
s3：将水面漂浮垃圾图像数据的训练集和验证集加载到改进后的faster rcnn网络进行模型训练，之后保存训练好的结果模型，网络训练结果模型为rpn网络和fast rcnn网络的联合训练结果；
[0028]
s4：用训练好的结果模型对测试集部分进行测试，从而得到测试结果，完成水面漂浮垃圾的检测；
[0029]
对测试集图像进行测试，是将水面漂浮垃圾测试集图像导入训练结果模型中，输出的图像能够标记出水面漂浮垃圾部分的位置，并显示出该水面漂浮垃圾的类别以及准确率，从而完成水面漂浮垃圾目标的检测。
[0030]
本发明的有益效果是：
[0031]
1、在原始faster rcnn上提出金字塔式锚框生成方式提升光照反射不均时检测准确率；
[0032]
2、针对目标尺寸占比太小，提出分类判别图提升小目标检测准确率，并采取soft-nms替代nms，经过迭代阈值收缩算法调整参数后提升遮挡目标检测准确率。
附图说明
[0033]
图1是本发明基于改进faster rcnn的水面漂浮垃圾识别方法的流程图；
[0034]
图2是本发明基于改进faster rcnn的水面漂浮垃圾识别方法的resnet50结构图；
[0035]
图3是本发明基于改进faster rcnn的水面漂浮垃圾识别方法的分类判别图；
[0036]
图4是本发明基于改进faster rcnn的水面漂浮垃圾识别方法的金字塔式锚框生成示意图；
[0037]
图5是本发明基于改进faster rcnn的水面漂浮垃圾识别方法的部分结果展示图。
具体实施方式
[0038]
下面结合附图和实施例对本发明作进一步说明，此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
[0039]
如图1所示，一种基于改进卷积神经网络的水面漂浮垃圾识别方法包括以下步骤：
[0040]
s1、将收集到的水面漂浮垃圾图像进行翻折和旋转的图像扩充，并划分为训练和验证以及测试三部分，其中80％为训练集、10％为验证集、10％为测试集。
[0041]
s2、将resnet50作为faster rcnn的特征提取网络层，resnet50网络如图2所示，将水面漂浮垃圾图像调整至统一的800
×
600，然后将水面漂浮垃圾图像经由特征层提取后，生成语义信息更好的特征图；之后经过rpn网络采用金字塔式锚框生成方式产生锚框，以标注框为中心生成锚框，可以很好的避免目标周围环境的干扰，如光照反射不均；
[0042]
金字塔式锚框生成方式具体步骤如下(如图3所示)：
[0043]
s21、利用标注框对每幅图像都生成一个二值化标签图，其中含有目标的标注框位置编码为1，其余编码为0，即前景部分标记为1，背景部分标记为0。
[0044]
s22、将标注框坐标位置信息(xg,yg,wg,hg)映射到不同特征图尺度上，获得对应坐标位置信息(x'g,y'g,w'g,h'g)，其中，xg为该标注框的正中心横坐标，yg为该标注框的正中心纵坐标，σ1,σ2为系数，之后再将标注框分为三类：
[0045]
1、内部区域ca＝(x'g,y'g,σ1w'g,σ1h'g)定义了标注框的中心区域，该部分为标注
框最中心区域，以该部分为中心生成的锚框属于正样本；
[0046]
2、缓冲区域ia＝(x'g,y'g,σ2w'g,σ2h'g)是一个较大的区域，若以该部分为中心生成锚框，其iou相对不高，故把此部分忽略，作为缓冲区域；
[0047]
3、外部区域oa，该部分区域是在特征图中除过ca以及ia两部分以外的区域，以该部分为中心生成的锚框被当作负样本对待；
[0048]
s23、将锚框和标注框进行对照，根据锚框和与其对照的标注框的iou，去进行预测；
[0049]
式中，wg为标注框的宽度，hg为标注框的高度，xg为该标注框的正中心横坐标，yg为该标注框的正中心纵坐标，σ1和σ2分别为内部区域和缓冲区域面积的系数，本实施例中，当σ1＝0.18,σ2＝0.54时，检测精度最高；
[0050]
另外，考虑到标注框大小不同，差异性很大，所以本发明采用三个等级大小的锚框，如下表1所示：
[0051]
表1锚框等级
[0052][0053]
三个锚框纵横比分别为1:1，1:2，2:1；三个等级纵横比统一，公式表达如下：
[0054][0055]
其中，wg为标注框的宽度，hg为标注框的高度，l为锚框生成等级；
[0056]
再经过soft-nms筛选出可能是水面漂浮垃圾的一系列目标候选框，由于nms对重叠度较高的预测框处理效果不好，而soft-nms可以有效改善nms对高重叠度的处理问题；通过soft-nms代替nms，nms算法如(2)所示，式中m为得分最高的预测框，为与当前预测框有重叠度的预测框，为设置的处理阈值。其主要思想是iou一旦超过某个阈值，对应值就置为零；
[0057][0058]
soft-nms算法如式(3)所示，其主要思想是iou一旦超过某个阈值，就采用相应公式衰减，而不是直接把对应值置为零：
[0059][0060]
式中si为目标分数，m为得分最高的预测框，bi为与当前预测框有重叠度的预测框，n
t
为设置的处理阈值。
[0061]
本发明优化调整了soft-nms的参数，经过迭代阈值收缩算法调参，soft-nms算法的n
t
阈值在0.45-0.65的参数范围内有最好的效果，如果超出这个范围，平均检测精度会有明显降低。
[0062]
然后基于rpn网络提取出的候选框映射到相对应的分类判别图，分类判别图可以很好的提升小目标检测准确率；
[0063]
分类判别图具体实现如下：
[0064]
s241、如图4所示，resnet50网络特征层第五层上采样和第四层特征图融合后传入roi pooling，经过rpn处理后生成的建议框同比例扩大后映射到融合后的特征图上，形成分类判别图；
[0065]
s242、roi pooling在分类判别图基础上，经过最大池化，然后分类和回归操作；
[0066]
s3、将水面漂浮垃圾图像数据的训练集和验证集加载到改进后faster rcnn网络进行模型训练，之后保存训练好的结果模型，再用保存好的结果模型对测试集的图像进行测试，得到测试结果，完成水面漂浮垃圾的检测。
[0067]
s4、对测试集图像进行测试，是将水面漂浮垃圾测试集图像导入训练结果模型中，输出的图像能够标记出水面漂浮垃圾部分的位置并显示出该水面漂浮垃圾的类别以及准确率，如图5所示是不同种类的水面漂浮垃圾检测结果图；
[0068]
为了评估本发明对水面漂浮垃圾检测的有效性，实验使用精确度(precision)和召回率(recall)来衡量方法有效性，计算公式如公式(4)(5)所示。
[0069][0070][0071]
式中tp(true positive)表示被模型预测为正的正样本；fp(false positive)表示被模型预测为负的正样本；fn(false negative)表示被模型预测为负的正样本。
[0072]
将本发明提出的方法和faster rcnn(resnet50)、yolox、ssd三种方法分别对本数据集进行检测，然后将平均检测精度和召回率记录并汇总如表2所示：
[0073]
表2不同模型下召回率和精确度的结果
[0074][0075]
从表2中可以看出，本发明方法与faster rcnn(resnet50)相比提升了4个百分点，本发明方法相对ssd算法提升提高了7.3％，同时相较于最新的yolo系列算法—yolox提高
了3.6％，综合识别率达到了86.4％。
[0076]
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。