一种用于垃圾转运站的垃圾分拣处理方法和系统与流程

1.本发明涉及计算机视觉技术技术领域，具体而言涉及一种用于垃圾转运站的垃圾分拣处理方法和系统。


背景技术：

2.随着社会经济发展突飞猛进，环境污染问题也日益严重。各大城市接连实施生活垃圾分类管理，已经逐步进入垃圾分类“强制时代”。2020年是我国垃圾分类政策落地的关键期，政策驱动垃圾分类行业发展。在国内，在垃圾转运站进行垃圾分类时，垃圾车将垃圾倒入料场，通过传送带，两侧的工人会将大件垃圾分拣出来，其余的垃圾会进入滚筒筛进行第一次分拣；从这个滚筒筛里漏出来的都是厨余垃圾和其他垃圾。这些垃圾会进入振动筛进行二次分拣，有机物送入堆肥厂，其他垃圾送去填埋厂；被滚筒筛留下来的大都是一些直径大于80毫米的高回收价值垃圾，小厂直接送去焚烧厂，大厂会经过磁选和风选选出金属和纸张用于回收。因此，研究一种可以有效的运用被滚筒筛留下的高回收价值的垃圾图像上，进行垃圾分拣，对环保工作具有重要的现实意义。
3.在过去的几年里，在深度学习算法的发展下，研究者们在垃圾图像分类方面也做了大量的工作。trashnet数据集由斯坦福大学的yang和thung创建, 该数据集由2527张图像组成，该数据集包含六类垃圾的rgb图像，其中每个图像仅包含一种类型的垃圾。分别是:玻璃、纸张、纸板、塑料、金属和普通垃圾。gini数据集包含2561张垃圾图像，其中956张图像通过在互联网上查询“路边垃圾”，“市场垃圾”等垃圾相关的关键词获得。taco是一个用于垃圾分类和检测的数据集，包括1500张图像和4784个标注,尽管该数据集非常小，但是在此数据集上可以进行垃圾分类。aquatrash数据集是通过对trashnet数据集和taco数据集进行比较研究后，发现两个数据集存在一些缺点，trashnet数据集没有注释，taco数据集的注释不可靠等，因此提出aquatrash数据集，该数据集包含来自与各种垃圾物品相关的4个不同类别的369张图像。研究者采用inceptionresnetv2、mobilenet、vgg16等体系结构来进行训练，取得不错的效果。但他们采用的垃圾数据集的图像数量很少，每张图像包含垃圾物体数目很少，特征信息较单一，不适合作为垃圾转运站识别特征丰富的垃圾图像的数据集，无论从实际操作还是最终的分拣效率，均无法满足垃圾转运站的垃圾分拣业务需求。


技术实现要素：

4.本发明针对现有技术中的不足，提供一种用于垃圾转运站的垃圾分拣处理方法和系统，可接受任意尺寸的图像输入，轻量化网络适合垃圾转运站快速垃圾分拣处理，可部署在嵌入式处理终端上，同时兼顾了堆叠垃圾整体分拣处理时的精度和效率需求，有效地克服了垃圾转运站中可回收物分拣处理的不足。
5.为实现上述目的，本发明采用以下技术方案：第一方面，本发明实施例提出了一种用于垃圾转运站的垃圾分拣处理方法，所述垃圾分拣处理方法包括以下步骤：
s1，在滚筒筛出口处安装两层具有高度差的传送带，将被滚筒筛留下的直径大于80毫米的垃圾放入第一层传送带中，当传入第二层传送带时，对传送带指定区域上的所有垃圾进行拍摄；将拍摄得到的堆叠垃圾图像送至安装在嵌入式处理终端上的垃圾识别模块，对垃圾进行分类；s2，将垃圾分类结果送入嵌入式处理器arm，设置相应程序控制伺服电机，转动传送带旁的机械臂，采用机械手抓取垃圾送去相应的垃圾分类槽；所述垃圾识别模块采用一定量的同种类堆叠垃圾样本图像训练得到，包括依次连接的自适应池化层、特征提取单元、特征融合单元、自适应最大池化层、全局平均池化层和全连接层；所述特征提取单元基于轻量化方式提取特征，包括五个卷积模块，均采用深度可分离卷积方式，对自适应池化层中调整尺寸后的多视野特征图进行深层特征提取；其中，第一卷积模块、第二卷积模块和第三卷积模块中添加有压缩和激励模块；所述特征融合单元用于将第四卷积模块和第五卷积模块的输出提取出来，进行不同尺寸的特征融合；融合后的特征分别经自适应最大池化层和全局平均池化层进行自适应最大池化和全局平均池化处理后，提取得到堆叠垃圾图像全局特征；所述全连接层用于对提取得到的堆叠垃圾图像全局特征进行分类处理，计算得到该堆叠垃圾图像属于每个类别的概率，输出当前堆叠垃圾图像的类别信息和相应的概率。
6.进一步地，所述堆叠垃圾样本图像的类型至少包括预处理后的厨余垃圾、可回收物、其他垃圾、有害垃圾四大类，每张堆叠垃圾样本图像上的垃圾数量不小于预设的垃圾数量阈值；所述预处理的过程包括：对每个批次的堆叠垃圾样本图像进行增强，采用缩放、旋转、变换、翻转多种方法以扩充数据集。
7.进一步地，所述预设的垃圾数量阈值为3，即每张堆叠垃圾样本图像上的垃圾数量不少于3。
8.进一步地，所述特征提取单元包括五个卷积模块，每个卷积模块均采用交替连接的depthwise卷积层和pointwise卷积层：第一个卷积模块有一组交替连接的depthwise卷积层和pointwise卷积层；第二个卷积模块有两组交替连接的depthwise卷积层和pointwise卷积层；第三、四、五个卷积模块各自有三组交替连接的depthwise卷积层和pointwise卷积层；在每个卷积层之后添加有bn层；在每组卷积模块的卷积层之后添加有zeropadding层；在第一卷积模块、第二卷积模块、第三卷积模块的zeropadding层之后还添加有注意力机制中的压缩和激励模块；每个卷积模块的卷积核个数随着网络层数的加深而变多，改变卷积步长以缩小特征图。
9.进一步地，所述特征融合单元的融合过程包括以下步骤：在融合特征中，分别提取第四卷积模块输出的29
×
29
×
512的第一输出特征以及第五卷积模块输出的14
×
14
×
512的第二输出特征；对于第四卷积模块的第一输出特征，进行卷积核大小为3
×
3，核数目为256，步长为1，有填充的卷积；随后进行批归一化处理，用relu函数进行激活，得到输出为28
×
28
×
256的第一特征值；此时输出的第一特征值，反映垃圾图像的感受野比较适中，垃圾的几何
细节信息表征能力强，对垃圾图像中型目标的提取能力更好。虽然分辨率高，但是语义信息表征能力弱。
10.对于第五卷积模块的输出特征，进行卷积核大小为1
×
1，核数目为512，步长为1，有填充的卷积；随后进行批归一化处理，用relu函数进行激活，通过上采样，将深度特征缩放到相同的尺度，得到输出为28
×
28
×
512的第二特征值；此时输出的第二特征值，反映垃圾图像的感受野比较大，垃圾的语义信息表征能力强，对于垃圾图像中大型目标的提取能力更好，但是特征图的分辨率低，几何信息的表征能力弱。
11.将第四卷积模块、第五卷积模块输出的第一特征值和第二特征值调整至尺寸一致，进行concatenate融合形成28
×
28
×
768的特征图，融合网络中不同层次的特性，得到堆叠垃圾图像全局特征。
12.进一步地，所述垃圾识别模型的训练过程包括以下步骤：开始训练时，将预处理的图像经过自适应池化层，使垃圾识别模型接收的输入图像的分辨率保持为224
×
224
×
3；设初始化学习率为1
×
10
‑3，每当迭代7个epoch学习率不下降时，学习率将自动下降10%，达到100epoch停止训练，batch_size设置为16；采用随机梯度下降法，动量设置为0.9，重量衰减系数设置为2
×
10
‑4；训练100个epoch后，保存当前权重文件；根据权重文件和测试集，从参数量、准确率、精确率、召回率、f1
‑
score和fps六个方面对训练完成后的垃圾识别模型的性能进行评估。
13.进一步地，所述计算得到该堆叠垃圾图像属于每个类别的概率的过程包括以下步骤：将训练好的权重文件加载至模型中，利用预测函数预测测试集的中垃圾图像所属类别的概率值。使用scikit
‑
learn包中计算混淆矩阵的api 接口函数, 计算混淆矩阵用来评估分类的准确度。混淆矩阵中数字1代表其他垃圾，数字2代表厨余垃圾，数字3代表可回收物，数字4代表有害垃圾。
14.进一步地，所述垃圾分拣处理方法还包括以下步骤：s3，将全连接层输出的垃圾分类结果发送至嵌入式处理器arm，根据垃圾分类结果设置相应程序控制伺服电机，以转动传送带旁的机械臂，用机械手抓取垃圾送去垃圾分类槽，对垃圾进行分拣。
15.进一步地，所述垃圾分拣处理方法还包括以下步骤：s31，将第二层传送带按照传输方向分为n个传送区域；s32，采用垃圾识别模块对n个传送区域上的堆叠垃圾图像进行垃圾类别识别：如果识别出的垃圾类别对应的概率高于预设的概率阈值，则采用机械臂将前述n个传送区域上的堆叠垃圾一次抓取至对应的垃圾分类槽，否则，对最邻近的传送区域上的堆叠垃圾图像进行再次识别，按照识别结果对最近邻的传送区域上的堆叠垃圾抓取至对应的垃圾分类槽；s33，重复步骤s32，直至所有垃圾被分拣完成。
16.第二方面，本发明实施例提出了一种基于前述垃圾分拣处理方法的用于垃圾转运站的垃圾分拣处理系统，包括：
安装在滚筒筛出口处的两层具有高度差的传送带，将被滚筒筛留下的直径大于80毫米的垃圾放入第一层传送带中。由于两层传送带具有一定的高度差，并且控制第一层传送带传输速度慢于第二层传送带传输速度，以有效缓解垃圾放入传送带的堆叠状况。
17.摄像头，安装在第二层传送带上方，当传入第二层传送带时，对传送带指定区域上的所有垃圾进行拍摄；将拍摄得到的堆叠垃圾图像送至安装在嵌入式处理终端上的垃圾识别模块，对垃圾进行分类。
18.嵌入式处理器arm，其内部安装有垃圾识别模块和伺服电机控制软件；所述垃圾识别模块用于对摄像头拍摄的堆叠垃圾图像进行处理，识别得到其所属类别和相应的概率；所述伺服电机控制软件根据识别结果生成相应的控制程序，转动传送带旁的机械臂，采用机械手抓取垃圾送去相应的垃圾分类槽。
19.本发明的有益效果是： (1) 本发明提出的垃圾分拣处理方法可接受任意尺寸的图像输入，网络中采用深度可分离卷积方式，减少了网络的参数。本发明的参数量在3m左右，而其他同类方法的参数量是本方法的10倍以上，因此本方法的网络更轻量化，有利于将其部署在嵌入式处理终端上进行快速垃圾分拣处理。
[0020] (2)在第一至第三卷积模块里添加了注意力机制中压缩和激励模块，增强垃圾图像通道之间的依赖性。将第四、第五卷积模块的输出特征融合，有效提升了垃圾图像识别准确率。针对垃圾分拣问题，本发明的识别准确率能够达到75%以上，其他同类方法一般在71%左右。并且，本发明提出的垃圾分拣处理方法是对区域内所有垃圾进行统一识别，同时兼顾了堆叠垃圾整体分拣处理时的精度和效率需求，有效地克服了垃圾转运站中可回收物分拣处理的不足。
[0021] (3)采用自适应最大池化和全局平均池化，它通过加强垃圾图像的特征图和类别之间的对应，更适合卷积结构。此外，全局平均池中没有需要优化的参数，从而避免了该层的过拟合。全局平均池化对空间信息进行求和，因此对输入的空间翻译具有更强的鲁棒性。
附图说明
[0022]
图1是本发明实施例的垃圾分拣处理整体流程。
[0023]
图2是本发明实施例的传送带周边配置图。
[0024]
图3是本发明实施例的lw
‑
gcnet结构示意图。
[0025]
图4是本发明实施例的轻量化处理过程。
[0026]
图5是本发明实施例的压缩和激励模块示意图。
[0027]
图6是本发明实施例的特征融合模块示意图。
[0028]
图7是本发明实施例的lw
‑
gcnet与其他几种方法的识别准确率对比图。
[0029]
图8是本发明实施例的混淆矩阵示意图；其中，数字1代表其他垃圾，数字2代表厨余垃圾，数字3代表可回收物，数字4代表有害垃圾。
具体实施方式
[0030]
现在结合附图对本发明作进一步详细的说明。
[0031]
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦
仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
[0032]
图1是本发明实施例的垃圾分拣处理整体流程。参见图1，该垃圾分拣处理方法包括以下步骤：s1，在滚筒筛出口处安装两层具有高度差的传送带，将被滚筒筛留下的直径大于80毫米的垃圾放入第一层传送带中，当传入第二层传送带时，对传送带指定区域上的所有垃圾进行拍摄；将拍摄得到的堆叠垃圾图像送至安装在嵌入式处理终端上的垃圾识别模块，对垃圾进行分类。图2是本发明实施例的传送带周边配置图。
[0033]
s2，将垃圾分类结果送入嵌入式处理器arm，设置相应程序控制伺服电机，转动传送带旁的机械臂，采用机械手抓取垃圾送去相应的垃圾分类槽。
[0034]
参见图3，本实施例的垃圾识别模块（lw
‑
gcnet网络结构）采用一定量的同种类堆叠垃圾样本图像训练得到，包括依次连接的自适应池化层、特征提取单元、特征融合单元、自适应最大池化层、全局平均池化层和全连接层；特征提取单元基于轻量化方式提取特征，包括五个卷积模块，均采用深度可分离卷积方式，对自适应池化层中调整尺寸后的多视野特征图进行深层特征提取；其中，第一卷积模块、第二卷积模块和第三卷积模块中添加有压缩和激励模块；特征融合单元用于将第四卷积模块和第五卷积模块的输出提取出来，进行不同尺寸的特征融合；融合后的特征分别经自适应最大池化层和全局平均池化层进行自适应最大池化和全局平均池化处理后，提取得到堆叠垃圾图像全局特征；全连接层用于对提取得到的堆叠垃圾图像全局特征进行分类处理，计算得到该堆叠垃圾图像属于每个类别的概率，输出当前堆叠垃圾图像的类别信息和相应的概率。
[0035]
（一）样本数据集垃圾识别模块训练时采用的样本图像也是堆叠垃圾图像，但和实际垃圾图像不同的是，每张样本图像上的堆叠垃圾即使各不相同，也会属于同一个类别。例如，其中一张样本图像上的垃圾都属于可回收垃圾，图像中可能同时包括旧家具、纸张、易拉罐等。示例性地，堆叠垃圾样本图像的类型至少包括预处理后的厨余垃圾、可回收物、其他垃圾、有害垃圾四大类，每张堆叠垃圾样本图像上的垃圾数量不小于预设的垃圾数量阈值。应当理解，在实际应用中，垃圾的类别可以不限于以上四种，具体可以根据垃圾分拣槽的种类来设置垃圾识别模块可识别的垃圾种类以及选择垃圾样本图像的类别。例如，增加金属类垃圾分拣槽，甚至易拉罐分拣槽等等。
[0036]
在数据预处理部分，对每个批次的图像数据进行增强，采用缩放、旋转、变换、翻转多种方法来扩充数据集的大小，增强模型的泛化能力。数据集被划分成训练集和测试集。
[0037]
由于开源的垃圾数据集较少，研究人员一般采用自行拍摄和互联网查找的方式建立数据集。本实施例采用的垃圾数据集由12500张不同分辨率的垃圾图像组成，里面包含厨余垃圾、可回收物、其他垃圾、有害垃圾四大类，每个大类里面包含若干类垃圾。垃圾图像包含的垃圾的数目较多，特征信息丰富。由于网络模型是部署在嵌入式处理终端上，所以需要轻量化的网络模型lw
‑
gcnet。最后，将训练好的lw
‑
gcnet应用在垃圾转运站处理高回收价值的垃圾方面，让垃圾分类更贴近实际。
[0038]
（二）垃圾识别模块的网络结构参见图3至图6，本实施例提出的轻量化网络模型lw
‑
gcnet是用keras v2.3.1开发
的，在显卡nvidia geforce rtx 2080ti、处理器intel core i7
‑
9700k和主板为微星mag z390 tomahawk上训练轻量化的垃圾分类网络模型。
[0039]
特征提取单元包括五个卷积模块，每个卷积模块均采用交替连接的depthwise卷积层和pointwise卷积层：第一个卷积模块有一组交替连接的depthwise卷积层和pointwise卷积层；第二个卷积模块有两组交替连接的depthwise卷积层和pointwise卷积层；第三、四、五个卷积模块各自有三组交替连接的depthwise卷积层和pointwise卷积层；在每个卷积层之后添加有bn层；在每组卷积模块的卷积层之后添加有zeropadding层。
[0040]
在第一卷积模块、第二卷积模块、第三卷积模块的zeropadding层之后还添加有注意力机制中的压缩和激励模块。
[0041]
每个卷积模块的卷积核个数随着网络层数的加深而变多，改变卷积步长以缩小特征图。
[0042]
垃圾图像被送至嵌入式处理终端上，利用lw
‑
gcnet网络来处理，处理过程包括以下步骤：步骤一，采用自适应池化层，解决网络对任意尺寸图像的接受问题。经过自适应池化层，输出图像的大小为224
×
224
×
3作为特征提取模块的输入图像尺寸。
[0043]
步骤二，网络中的五个卷积模块均采用深度可分离卷积方式对输入图像进行处理，以此来减小网络模型的参数量，轻量化方式提取特征构成如表1所示。
[0044]
表 1 轻量化方式提取特征构成表
步骤2
‑
1）轻量化提取特征有五个卷积模块，每个卷积模块均采用交替连接的depthwise卷积层和pointwise卷积层。第一个卷积模块有一组交替连接的depthwise卷积
层和pointwise卷积层。第二个卷积模块有两组交替连接的depthwise卷积层和pointwise卷积层。第三、四、五个卷积模块各自有三组交替连接的depthwise卷积层和pointwise卷积层。五个卷积模块中所使用的卷积核个数分别为64，128，256，512，512，其中depthwise卷积层卷积核大小为3
×
3，pointwise卷积层卷积核大小为1
×
1。
[0045]
步骤2
‑
2）在每层卷积层后加入bn层，每个模块的卷积核个数随着网络层数的加深而变多，改变卷积步长以缩小特征图。每个卷积模块卷积完之后，加入zeropadding层。
[0046]
步骤2
‑
3）在第一、二、三卷积模块的zeropadding层之后还添加注意力机制中压缩和激励模块，压缩和激励模块如图5所示，分别为输入特征图的宽度、高度和通道数，输入的，压缩后的结果，用超参数r来调整两个全连接层之间的尺寸，控制压缩和激励模块的容量和计算量，确定r=16。激励后输出权重，利用scale乘法逐通道加权，权重分配后的输出结果，增强了通道之间的依赖性。
[0047]
步骤三，融合特征如图6所示。
[0048]
步骤3
‑
1）在轻量化方式提取特征中，当第四个卷积模块输出为29
×
29
×
512，第五个卷积模块输出为14
×
14
×
512时，分别将特征图提取出来。
[0049]
步骤3
‑
2）将第四卷积模块输出进行卷积下采样，第五卷积模块输出进行上采样，然后将调整尺寸后的图像进行concatenate融合成28
×
28
×
768的特征，防止卷积过程中，网络丢失细节特征，增强网络提取的特征。
[0050]
步骤四，对融合过后的特征采用自适应最大池化和全局平均池化，提取垃圾图像的全局特征。
[0051]
步骤五，对提取的全局特征用全连接层层进行分类识别，根据全连接层层垃圾分类的结果，将结果送入嵌入式处理器arm，并设置相应程序控制伺服电机，并转动传送带旁的机械臂，用机械手抓取垃圾送去垃圾分类槽，实现分拣目的。
[0052]
图7是本发明lw
‑
gcnet与其他几种方法的识别准确率对比图。可以发现，本发明的lw
‑
gcnet垃圾识别方法可接受任意尺寸的图像输入，轻量化网络适合垃圾转运站快速垃圾分拣处理，在保证网络层数的前提下，减少网络模型的参数到3.15m，同时提升了垃圾分拣的精度。
[0053]
（三）垃圾识别模型的训练过程开始训练时，将预处理的图像经过自适应池化层，使模型接收的输入始终为224
×
224
×
3，初始化学习率为1
×
10
‑3，然后每当迭代7个epoch学习率不下降时，学习率将自动下降10%，达到100epoch停止训练，batch_size设置为16。使用随机梯度下降法，动量设置为0.9，重量衰减系数设置为2
×
10
‑4。
[0054]
经过lw
‑
gcnet训练100个epoch后，网络会保存一个权重文件。
[0055]
在测试阶段，我们根据权重文件和测试集，从参数量、准确率、精确率、召回率、f1
‑
score和fps六个方面来评价网络模型的性能。性能评估结果详见表2和表3。
[0056]
表2其他网络模型对在测试集上的性能评估
表3 其他网络模型在测试集上对每类垃圾识别精度（四）机械臂分拣过程在本实施例中，机械臂的分拣过程包括以下步骤：将全连接层输出的垃圾分类结果发送至嵌入式处理器arm，根据垃圾分类结果设置相应程序控制伺服电机，以转动传送带旁的机械臂，用机械手抓取垃圾送去垃圾分类槽，对垃圾进行分拣。
[0057]
示例性地，为了在满足分拣精度的前提下进一步提高分拣效率，垃圾分拣处理方法还包括以下步骤：s31，将第二层传送带按照传输方向分为n个传送区域；s32，采用垃圾识别模块对n个传送区域上的堆叠垃圾图像进行垃圾类别识别：如果识别出的垃圾类别对应的概率高于预设的概率阈值，则采用机械臂将前述n个传送区域上的堆叠垃圾一次抓取至对应的垃圾分类槽，否则，对最邻近的传送区域上的堆叠垃圾图像进行再次识别，按照识别结果对最近邻的传送区域上的堆叠垃圾抓取至对应的垃圾分类槽。
[0058]
s33，重复步骤s32，直至所有垃圾被分拣完成。
[0059]
本发明实施例提出了一种用于垃圾转运站的垃圾分拣处理系统，包括以下结构件：（1）安装在滚筒筛出口处的两层具有高度差的传送带，将被滚筒筛留下的直径大于80毫米的垃圾放入第一层传送带中。由于两层传送带具有一定的高度差，并且控制第一层传送带传输速度慢于第二层传送带传输速度。这样，可以有效缓解垃圾放入传送带的堆叠状况。当传入第二层传送带时，对传送带指定区域上的所有垃圾进行拍摄；将拍摄得到的堆叠垃圾图像送至安装在嵌入式处理终端上的垃圾识别模块，对垃圾进行分类；（2）摄像头，安装在第二层传送带上方，用于对传送带指定区域上的所有垃圾进行拍摄。
[0060]
（3）嵌入式处理器arm，其内部安装有垃圾识别模块和伺服电机控制软件；所述垃
圾识别模块用于对摄像头拍摄的堆叠垃圾图像进行处理，识别得到其所属类别和相应的概率；所述伺服电机控制软件根据识别结果生成相应的控制程序，转动传送带旁的机械臂，采用机械手抓取垃圾送去相应的垃圾分类槽。
[0061]
示例性地，如果选择根据传送带的长度，等间距划分m个垃圾传送带区域，可以在旁边配置m组可以用于垃圾分拣处理的的摄像头、嵌入式处理终端、伺服电机、机械臂、机械手和垃圾分类槽，它们之间利用有线连接，可保证实时通信，没有时延，提高分拣效率。通过m个机械臂同步分拣，实现更高的分拣效率。
[0062]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。