一种基于深度学习的水面垃圾识别方法

1.本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的水面垃圾识别方法。


背景技术：

2.水面垃圾识别与水环境的保护和污染治理问题相关，随着人们环保意识的增强，世界范围内对水环境污染问题日益关切。由各种垃圾散落形成的水面漂浮物是水域的主要污染物之一，各种塑料制品、易拉罐对水质和生态造成了很大的破坏；对水面垃圾的清除是环境保护的一项重要任务；水面垃圾识别方法的发明有利于实现水面污染情况的自动监控或有助于无人船对水面垃圾的自动打捞。
3.当前的水面垃圾识别主要有基于数字图像处理的方法和基于深度学习的方法。传统的方法有阈值分割、gabor滤波器、直方图、随机结构森林等。近年来，随着人工智能的发展，深度学习的方法开始应用于水面垃圾识别的任务中，基于深度学习的水面垃圾识别方法主要利用深度神经网络进行图像分类、目标检测、语义分割等任务。
4.在水面垃圾识别任务中，虽然与传统方法相比，深度学习方法提高了识别的准确性，但是它仍有许多不足。一方面，水面场景存在较多的反光、倒影等噪声干扰，这些噪声容易形成伪目标，影响识别结果。另一方面，已有的深度学习方法的网络结构模型规模较大，占用存储空间大，消耗计算资源多，在实际应用中存在困难。


技术实现要素：

5.针对现有算法的不足，本发明所采用的技术方案是：一种基于深度学习的水面垃圾识别方法包括以下步骤：
6.步骤一、对水面垃圾识别数据集图片进行剪裁，并划分为训练、验证和测试集；
7.步骤二、使用拉普拉斯卷积得到包含边缘信息的初步去噪的特征图f
l
，将特征图f
l
与输入图i通过残差连接相加后，再通过多次卷积进一步提取特征，通过sigmoid激活函数得到抑制权重ω；输入图i的每个通道分别与作差后的抑制权重(1-ω)逐元素相乘得到带权重的特征图；带权重的特征图输出到后续的编码器-解码器；
8.进一步的，使用拉普拉斯卷积得到包含边缘信息的初步去噪的特征图f
l
的公式为：
9.f
l
＝conv
l
(i)，f
l
∈rh×w×3ꢀꢀ
(1)
10.其中，conv
l
(
·
)表示拉普拉斯卷积。
11.进一步的，将特征图f
l
与输入图i通过残差连接相加后，再通过多次卷积进一步提取特征，通过sigmoid激活函数得到抑制权重ω的过程为：
12.抑制权重ω的计算过程为：
13.ω＝σ(conv(i f
l
))，ω∈rh×w×1ꢀꢀ
(3)
14.其中，conv(
·
)包含1个3
×
3卷积，2个7
×
7卷积，1个1
×
1卷积，每个卷积都包含
batch normalization和relu激活函数。
15.进一步的，输入图i的每个通道分别与作差后的抑制权重(1-ω)逐元素相乘得到带权重的特征图的过程为：
16.conv(f)＝conv1×1(conv7×7(conv7×7(conv3×3(f))))
ꢀꢀ
(4)
17.其中，conv3×3(
·
)、conv7×7(
·
)、conv1×1(
·
)分别为3
×
3卷积、7
×
7卷积和1
×
1卷积；
18.拉普拉斯特征图通过3
×
3卷积，并使用扩充的通道数16，再使用7
×
7卷积对特征图进行信息提取，期间通道数保持不变为16；最后用1
×
1卷积对通道信息进行整合，生成抑制权重ω；
19.带权重的特征图的输出为：
[0020][0021]
其中，为hadamard product，ii为i的第i个通道，concat(
·
)为特征图拼接，o为模块输出。
[0022]
步骤三、对u-net网络进行改进，网络在深层使用两个深度可分离卷积组成dsc模块，网络的浅层使用res模块；
[0023]
进一步的，具体包括：
[0024]
首先图片在编辑器中通过一层res模块，再通过三层dsc模块，随后在解码器中通过对称的过程完成上采样，即依次通过三层dsc模块和一层res模块，最后通过1
×
1卷积减小通道数；
[0025]
进一步的，dsc模块的计算公式为：
[0026]
dsc(f)＝conv1×1(dw(conv1×1(dw(f))))
ꢀꢀꢀꢀ
(9)
[0027]
其中，dw(
·
)为深度卷积，conv1×1(
·
)为逐点卷积，f为特征图。
[0028]
步骤四、使用结合注意力机制的深度可分离卷积，通道注意力机制首先对特征图空间进行全局平均池化，压缩长度和宽度等空间维度，保留通道维度，得到一维的特征矢量，再使用一维卷积生成通道权重，最后将通道权重与原特征图相乘；编码器的res模块和dsc模块后加入了eca模块；解码器使用深度可分离卷积模块。
[0029]
进一步的，通道注意力机制的计算方式为：
[0030]
ωc＝σ(conv
1d
(ave(f)))，f∈rh×w×c，ωc∈r1×1×cꢀꢀ
(11)
[0031][0032]
其中，f为输入特征图，f
′
为输出特征图，ave(
·
)为全局平均池化，conv
1d
(
·
)为一维卷积，σ(
·
)为sigmoid激活函数，ωc为通道权重。
[0033]
进一步的，解码器使用深度可分离卷积模块包括深层次的三层dsc模块和浅层次的一层res模块，特征图依次通过深层次模块和浅层次模块，每层的特征图与对应编码器的特征图通过跳跃连接拼接，转置卷积上采样使分辨率增大为2倍，四次上采样操作使分辨率逐步恢复到原始尺寸，特征图最后通过1
×
1卷积减小通道数。
[0034]
步骤五、在深度学习框架下训练网络模型，得到网络参数值，将水面垃圾图片输入网络，输出水面垃圾图片分割结果。
[0035]
本发明的有益效果：
[0036]
1、利用可学习的拉普拉斯卷积提取图像特征，使用卷积对拉普拉斯特征图的边缘
信息进行处理，抑制噪声，增强对水面漂浮物的识别精度；
[0037]
2、在编码器和解码器部分使用深度可分离卷积来替换传统的双层卷积运算，减小网络模型的参数量；
[0038]
3、在编码部分使用通道注意力机制，增强了对通道信息的提取能力，增强方法的性能。
附图说明
[0039]
图1是本发明的基于深度学习的水面垃圾识别方法的流程图；
[0040]
图2是本发明的反射抑制模块示意图；
[0041]
图3是本发明的残差模块示意图；
[0042]
图4是本发明的深度可分离卷积模块示意图；
[0043]
图5是本发明的通道注意力机制模块示意图。
具体实施方式
[0044]
下面结合附图和实施例对本发明作进一步说明，此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
[0045]
如图1所示，一种基于深度学习的水面垃圾识别方法，包括以下步骤：
[0046]
步骤一、将水面垃圾识别数据集剪裁为416
×
416大小的图片，并划分为训练和验证以及测试三部分；
[0047]
步骤二、针对水面场景有较多反射噪声干扰的现象，设计反射抑制模块来抑制噪声；
[0048]
网路初始处设计反射抑制模块，如图2，用以抑制反射噪声，传统去噪方法需要人为设置阈值等超参数，且容易对无噪声的图像造成破坏，使用卷积神经网络方法能让网络辨别目标和噪声的特征，对图像进行自适应的噪声过滤，实现无损去噪。
[0049]
拉普拉斯算子是二阶偏导数算子，能去除低频噪声，并能提取边缘信息；在水面场景中，低频噪声指模糊的水面倒影，用拉普拉斯算子容易将目标和噪声区分开。本发明利用可学习的拉普拉斯卷积提取图像特征，使用卷积对拉普拉斯特征图的边缘信息进一步处理，分辨目标，抑制噪声；使用拉普拉斯卷积得到特征图，特征图有三个通道，包含边缘信息和去噪结果：
[0050]fl
＝conv
l
(i)，f
l
∈rh×w×3ꢀꢀ
(1)
[0051]
其中，conv
l
(
·
)表示拉普拉斯卷积，它是一个3
×
3卷积，用k
l
初始化：
[0052][0053]
在训练过程中，将k
l
作为可训练参数，在梯度反向传播过程中进行优化，更好地配合网络特征提取。
[0054]
将拉普拉斯卷积得到的特征图f
l
与输入图i通过残差连接相加后，再通过4次卷积进一步提取特征，这些卷积能结合原图信息与拉普拉斯特征图的边缘信息，识别水面垃圾，通过sigmoid激活函数σ得到抑制权重ω：
[0055]
ω＝σ(conv(i f
l
))，ω∈rh×w×1ꢀꢀ
(3)
[0056]
其中，conv(
·
)包含1个3
×
3卷积，2个7
×
7卷积，1个1
×
1卷积，每个卷积都包含batch normalization和relu激活函数；拉普拉斯特征图通过3
×
3卷积使得细节更加精细，同时使通道数得到扩充，扩充的通道数设置为16；随后用感受野较大的7
×
7卷积对特征图进行信息提取，期间通道数保持不变；最后用1
×
1卷积对通道信息进行整合，生成抑制权重ω，过程为：
[0057]
conv(f)＝conv1×1(conv7×7(conv7×7(conv3×3(f))))
ꢀꢀ
(4)
[0058]
其中，conv3×3(
·
)、conv7×7(
·
)、conv1×1(
·
)分别为3
×
3卷积、7
×
7卷积和1
×
1卷积；
[0059]
输入图i的每个通道分别与作差后的抑制权重(1-ω)逐元素相乘得到带权重的特征图，带权重的特征图输出到后续的编码器-解码器当中用于进一步识别水面垃圾；由于拉普拉斯特征图中包含边缘信息，有助于精细分割，所以将拉普拉斯特征图一起输出：
[0060][0061]
其中，为hadamard product，ii为i的第i个通道，concat(
·
)为特征图拼接，o为模块输出。
[0062]
步骤三、对u-net网络进行搭建，编码部分提取水面垃圾特征，解码部分对图像进行还原并输出最终特征图；
[0063]
网络的主体结构与u-net类似，由下采样和上采样部分组成，下采样过程减小特征图分辨率、增加通道数，提取深层次语义信息，上采样过程减小特征图通道数，恢复分辨率，生成结果；本发明轻量级网络利用深度可分离卷积搭建，深度可分离卷积包含深度卷积和逐点卷积两个部分；其中，深度卷积的一个卷积核只对输入的一个特征图进行运算，逐点卷积使用1
×
1大小的卷积核，融合通道信息；
[0064]
网络在深层使用了深度可分离卷积，与普通卷积不同，深度可分离卷积利用深度卷积和逐点卷积分别对空间信息和通道信息进行处理，能大幅度减少训练参数量。设输入特征图的通道数为c
in
，输出特征图的通道数为c
out
，卷积核的大小为k
×
k，则普通卷积的参数量为：
[0065]k×k×cin
×cout
ꢀꢀ
(6)
[0066]
深度可分离卷积的参数量为：
[0067]k×k×cin
c
in
×cout
ꢀꢀ
(7)
[0068]
相比普通卷积，深度可分离卷积减少的参数量的倍率是：
[0069][0070]
原始u-net网络的每一层包含了两个3
×
3卷积，本发明使用两个深度可分离卷积组成深度可分离卷积模块(dsc模块，如图3)，代替u-net中原模块：
[0071]
dsc(f)＝conv1×1(dw(conv1×1(dw(f))))
ꢀꢀꢀꢀ
(9)
[0072]
其中，dw(
·
)为深度卷积，conv1×1(
·
)为逐点卷积，f为特征图。
[0073]
网络的浅层包含边缘、纹理等浅层语义信息，其中首层和最后一层分别为图像输入和预测图输出，含有通道数较少，参数量小，使用深度可分离卷积减少的参数量有限，而且深度可分离卷积不能同时融合空间和通道信息，容易影响网络性能，所以浅层使用了残
差模块(res模块，如图4)，通过残差结构来加强特征表达能力：
[0074]
res(f)＝f conv3×3(conv3×3(f))
ꢀꢀ
(10)
[0075]
其中，conv3×3(
·
)为3
×
3卷积，模块使用的卷积都包含了batch normalization和relu激活函数。
[0076]
输入的水面图片在编码器首先通过一层res模块，再通过三层dsc模块，过程中分辨率不断减小，通道数不断增加，然后到达瓶颈层，随后在解码器通过对称的过程通过三层dsc模块和一层res模块，分辨率恢复到原始尺寸，最后通过1
×
1卷积减小通道数，形成识别结果。
[0077]
步骤四、针对网络模型规模过大的问题，在网络中使用结合注意力机制的深度可分离卷积来降低模型规模，通道注意力机制首先对特征图空间进行全局平均池化，压缩长度和宽度等空间维度，保留通道维度，得到一维的特征矢量，再使用一维卷积生成通道权重，使通道注意力模块在不损失精度的情况下拥有更高的计算效率，最后将通道权重与原特征图相乘，高效地实现通道注意力；
[0078]
如图5，通道注意力机制是注意力机制的一种，旨在让模型关注部分通道信息而非全部通道，从而剔除作用不大的通道，通道注意力机制的计算方式为：
[0079]
ωc＝σ(conv
1d
(ave(f)))，f∈rh×w×c，ωc∈r1×1×cꢀꢀ
(11)
[0080][0081]
其中，f为输入特征图，f
′
为输出特征图，ave(
·
)为全局平均池化，conv
1d
(
·
)为一维卷积，σ(
·
)为sigmoid激活函数，ωc为通道权重。
[0082]
本发明的u-net网络中通道数偏多，一些通道含有较少的有效信息，使用通道注意力增益更大；本发明在编码器的res模块和dsc模块后加入了eca模块，弥补网络不足，特征图依次通过这些模块：
[0083]
f1＝eca(res(f))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0084]
f2＝eca(dsc(d(f1)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0085]
f3＝eca(dsc(d(f2)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)
[0086]
f4＝eca(dsc(d(f3)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)
[0087]
f5＝dsc(d(f4))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)
[0088]
其中，d(
·
)为平均池化下采样，eca(
·
)为通道注意力机制，fi(i＝0，1，...，5)为网络中间过程特征图。
[0089]
网络在解码器未使用通道注意力机制，解码器继续用深度可分离卷积减小参数量；具体的结构：包括深层次的三层dsc模块和浅层次的一层res模块，特征图依次通过深层次模块和浅层次模块，逐步形成分割结果，每层的特征图与对应编码器的特征图通过跳跃连接拼接，转置卷积上采样使分辨率增大为2倍，四次上采样操作使分辨率逐步恢复到原始尺寸，特征图最后通过1
×
1卷积减小通道数，得到结果：
[0090]
f4′
＝dsc(up(f5) f4)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(18)
[0091]
f3′
＝dsc(up(f4′
) f3)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(19)
[0092]
f2′
＝dsc(up(f3′
) f2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(20)
[0093]
f1′
＝conv1×1(res(up(f
′2) f1))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(21)
[0094]
其中，up(
·
)为转置卷积上采样，fi和fi′
(i＝1，2，...，4)为网络中间过程特征图，
conv1×1(
·
)为1
×
1卷积。
[0095]
步骤五、将水面垃圾图像数据的训练集和验证集图像加载到改进的网络中进行训练和验证，得到网络参数值，保存效果最好的模型；用保存好的结果模型对测试集的图像进行测试，输出水面垃圾图片分割结果。
[0096]
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。