一种基于目标检测技术的厨余垃圾杂质识别方法与流程

1.本发明属于计算机视觉领域，具体涉及一种基于目标检测技术的厨余垃圾杂质识别方法。


背景技术：

1.随着人们生活水平的提高，垃圾产生的速度也日益变快，对垃圾进行分类管理，能最大限度的实现垃圾资源回收利用。厨余垃圾是日常生活中常见的垃圾类型，对其经过处理之后可以作为肥料、饲料等，实现资源循环再利用。日常生活中投递厨余垃圾时，容易混投其他类型的杂质，如塑料瓶、玻璃瓶、易拉罐、纸盒等。通过厨余垃圾杂质分拣回收，可以提高厨余垃圾的资源价值和经济价值。
2.传统的垃圾中杂质的分拣依靠人工手动分类，这需要耗费大量的人力物力，并且分类效率低。目标检测技术是实现厨余垃圾种杂质识别的有效方法，基于神经网络模型的目标检测技术具有准确度高，泛化性能好等优点。
3.近年来，在计算机视觉领域，卷积神经网络应用十分广泛，数据充足时，在图像分类与目标检测任务中，卷积神经网络已经被证明能取得优异的表现。目标检测技术是一种与计算机视觉和图像处理相关的技术，用于检测数字图像或者视频种的某个类别(例如建筑物或汽车)的语义对象的实例，是计算机视觉领域最重要也是最具有挑战性的方向之一。它在人们生活中得到了广泛的应用，如监控安全、自动驾驶等。随着深度学习技术的快速发展，目标检测模型的性能得到了极大的提高。
4.本项目将基于深度学习的目标检测技术应用于厨余垃圾杂质识别场景，针对厨余垃圾中的杂质进行识别和定位，提出解决方案，改变目前人工监督分类成本高的难题，提高垃圾分类管理效能、减少分类管理成本。


技术实现要素：

1.本发明的目的是提供一种基于目标检测技术的厨余垃圾杂质识别方法，实现在垃圾分类过程中的智能辅助化操作，缓解厨余垃圾杂质识别依靠人力资源解决的问题，改善厨余垃圾投递现状。目标检测是一种与计算机视觉和图像处理相关的计算机技术，用于检测数字图像和视频中某一类语义对象的实例。厨余垃圾投递场景中，往往容易混入多个不同类别的杂质，例如塑料袋、纸巾等。相比基于图像分类的杂质检测算法只能检测出是否包含杂质，基于目标检测的算法检测方法能够识别出处于垃圾中是否含有多个不同类别的杂质，并对他们进行定位。这对于改善厨余垃圾投递现状提供了更进一步的帮助。
2.为达到上述发明目的，本发明提出了一种基于目标检测技术的厨余垃圾杂质识别方法，如附图1所示。
3.首先，建立包含杂质的厨余垃圾图像库，且保证各类杂质数目均有一定规模，主要包括如下方面：
4.(1)通过多种渠道采集厨余垃圾图像，例如通过互联网采集，或者进行实地采集。
5.(2)将收集到的厨余垃圾图像进行筛选，获取含有杂质的图像，杂质主要包括以下类别：塑料瓶、纸盒、玻璃、金属、其他(如塑料袋、餐盒、纸巾等)。
6.(3)将筛选完毕的厨余垃圾图像使用标注工具进行标注，通过标注，使每张图像包含有其中所含杂质的位置以及类别。
7.其次对厨余垃圾图像数据集进行预处理，主要工作如下：
8.(1)将标注好的厨余垃圾图像按照一定比例划分为训练集与测试集。
9.(2)统一输入厨余垃圾图像的图像大小。
10.(3)使用方法一进行数据增强：对输入的厨余垃圾图像进行随机裁剪，不仅能够增加图像数据，同时弱化数据噪声，增强模型的稳定性。
11.(4)使用方法二进行数据增强：将厨余垃圾图像分别进行垂直翻转和水平翻转，以及随机旋转一定角度，该方法能够提升模型的泛化能力，使模型对各种形状的垃圾图像均能有效的提取图像特征。
12.(5)使用方法三进行数据增强：对厨余垃圾图像进行颜色变换，随机添加一些噪声。最常见的方法是高斯噪声，或者在面积大小可选定、位置随机的矩形区域上丢弃像素产生黑色矩形块，从而产生彩色噪声，还可以在图片上随机选取一块区域并擦除图像信息。
13.(6)对旋转变换后的厨余垃圾图像进行归一化，让输入的分布更利于模型学习。
14.第三，构建基于卷积神经网络的目标检测模型，主要工作如下：
15.(1)使用卷积神经网络进行学习，其结构图如图2所示，包括输入层，卷积层，批归一化层，激活函数层，全连接层，构建特征提取网络。
16.(2)使用sigmoid分类层和回归计算层，计算杂质的类别以及位置。
17.第四，利用厨余垃圾图像训练集训练基于卷积神经网络的目标检测模型，具体工作如下：
18.将预处理后的训练集图像利用搭建的卷积神经网络模型进行训练，模型通过卷积神经网络进行特征提取，再利用线性回归层和sigmoid层进行位置计算和分类。通过在训练集上的学习过程，目标检测模型对厨余垃圾图像中的杂质具有了较强的识别能力。
19.(1)将待识别的厨余垃圾图像输入至训练好的目标检测模型中，模型通过卷积神经网络提取图像的关键特征，根据提取到的关键特征判断目标图像是否包含杂质，如果检测到含有杂质，则计算其位置以及对应杂质类别。
20.(2)使用测试集进行验证。通过测试集的验证可计算得到模型对厨余垃圾图像中杂质的定位和分类的准确率。
21.本发明的有益效果是：本发明提供了一种基于目标检测技术的厨余垃圾中杂质识别的方法，通过采集图像，标记数据，构建模型以及训练模型的过程，实现了较为准确的厨余垃圾杂质定位和识别，使得厨余垃圾分类更智能化，减轻了人工操作。
附图说明
1.图1为本发明提出的一种基于目标检测技术的厨余垃圾杂质智能识别方法流程图；
2.图2为本发明中卷积神经网络结构示意图；
具体实施方式
1.下面结合附图对本发明进行进一步说明。
2.如图1所示，一种基于目标检测技术的厨余垃圾杂质识别方法，包括以下步骤：s1.建立包含k类杂质的厨余垃圾图像库，采集厨余垃圾图像n张，保障每种杂质的实例具有一定规模；s2.将厨余垃圾图像按比例划分训练集与测试集，并分别进行预处理；s3.构建基于卷积神经网络的目标检测模型；s4.利用厨余垃圾图像训练集来训练基于卷积神经网络的目标检测模型；s5.将目标图像输入至预先训练好的目标检测模型中，最终输出目标图像中含有杂质的位置以及类别。
3.进一步地，所述步骤s1中构建厨余垃圾图像库的具体方法为：
4.首先，通过多种方式采集到数千张垃圾图像，构建厨余垃圾图像库。
5.基于厨余垃圾图像库，筛选出含有杂质的厨余垃圾图像。
6.最后，对厨余垃圾图像种的杂质按照筛选的类别进行标注，通过标注使每张图片中的杂质包含相应的类别以及位置标签。
7.所述步骤s2中对厨余垃圾图像进行预处理的具体方法为：
8.为了更好的进行说明，现介绍如下相关函数：表1数据增强相关函数表
9.对采集到的厨余垃圾图像按8:2的比例划分为训练集与测试集并打乱顺序，训练集大约4000张图像，测试集大约1000张图像。
10.利用resize()函数统一输入图像大小；
11.利用random_crop(size)函数对输入的图像进行随机裁剪，设置裁剪的尺寸(size)为416，将输入的图像缩放为416*416的图像；
12.利用random_vertical_flip()和random_horizontal_flip()函数对图像分别依照默认的概率(0.5)进行垂直翻转或水平翻转；
13.利用random_rotation()函数对翻转后的图像进行随机旋转一定角度；
14.利用random_erasing()函数对图像随机删除一部分色块并使用随机像素点填充；
15.最后，利用normalize()和to_tensor()函数对旋转变换后的图像进行归一化，使模型训练时更加稳定。
16.经过数据预处理，将图像输入模型进行训练，同时训练集更加丰富，使模型具有较好的泛化能力。
17.如图2所示，所述步骤s3中构建基于卷积神经网络的厨余垃圾杂质识别模型，具体为：
18.使用卷积神经网络进行学习，包括输入层，以及卷积层(图2中conv模块)，批归一化层(图2中bn模块)，激活函数层(图2中leaky模块)，残差连接层(图2中add模块)等初级组件。dbl、res unit、resn等是由初级组件进行组合和堆叠构成的高级组件，再将他们进行组合和堆叠以提取图像高阶特征。
19.输入层：将预处理后的图像作为输入，输入到模型中；
20.卷积层(conv)：卷积层由若干卷积单元组成，每个卷积单元的参数都是通过随机初始化并通过反向传播算法优化得到的。卷积运算的目的是提取输入图像的不同特征，低层的卷积层可能只能提取一些低级的特征如边缘、线条和角等，位于高层的卷积层能从低级特征中提取组合出更复杂的特征。
21.我们假设单一通道输入图像的空间坐标为(x,y)，卷积核大小是p
×
q，卷积核权重为w，卷积层的输入为v，偏置为b，卷积过程就是卷积核所有权重与其在输入图像上对应像素相乘之和再加上偏置，可以表示为：
22.卷积之后，使用批归一化层(bn)，批归一化能够使得输入数据的分布相对稳定，加速模型收敛速度，并且让更高层的网络的参数不那么敏感，让模型学习更稳定，并且能够缓解梯度消失问题，其含义如下。解梯度消失问题，其含义如下。解梯度消失问题，其含义如下。解梯度消失问题，其含义如下。其中，μ
b
表示该批数据同一位置所有输出的均值，表示该批数据同一位置所有输出的方差，通过批归一化，能够让该批数据的样本的输出分布趋于整批数据的分布。
23.激活函数层(leaky)：赋予神经网络模型非线性拟合能力，提高模型表达能力，同
时对于深层网络，很容易出现梯度消失或过拟合的情况，leakyrelu激活函数能缓解梯度消失以及过拟合问题。
24.在批归一化层之后，加入非线性激活函数h()，经过激活函数后，得到的结果如下,化层之后，加入非线性激活函数h()，经过激活函数后，得到的结果如下,其中，z
x,y
表示该卷积值经过激活函数激活之后的值，激活函数能够有效的提高模型的表达能力，提高模型预测的准确性。此处的激活函数采用的是leakyrelu，它既具有relu激活函数的优点，又避免了relu容易导致神经元死亡的弊端。
25.残差连接层(add)是为了解决深度神经网络中的梯度消失和梯度爆炸的问题提出的，其含义如下：f(x)＝x f(x)即网络的输出项中添加网络的输入项，从而使得梯度传导更加直接，缓解了梯度弥散或梯度爆炸问题。
26.图2中，dbl组件由卷积层、批归一化层、激活函数层构成。
27.图2中，残差单元组件(res unit)由两个dbl组件和一个残差连接层组合构成。
28.图2中，resn组件则是由一个补0填充层和dbl组件以及n个残差单元组件构成。
29.网络通过以上组件堆叠，提取图像高阶特征，并通过三种不同的尺度来提取图像中不同大小的实体的特征，以识别不同大小的物体。
30.如图1所示，所述步骤s4中利用厨余垃圾图像训练集来训练基于卷积神经网络的目标检测模型，具体方法为：
31.(1)将预处理后的训练集输入至模型进行训练，模型通过卷积神经网络进行特征提取并计算位置和类别。传统的卷积神经网络目标检测模型提取图像的特征后通常采用softmax分类层对实例进行分类，本发明不同于传统的目标检测模型，使用sigmoid层代替传统目标检测模型的分类层中的softmax层。sigmoid本身是二分类分类器，在目标检测任务中，是为了解决同一个检测框中包含多个物体的问题，可以有效改善物体出现重叠时的识别效果。
32.(2)通过在训练集上的训练，目标检测模型对厨余垃圾图像中的杂质具有较强的识别能力。
33.所述步骤s5中将目标图像输入至预先训练好的目标检测模型中，最终输出目标图像种杂质的位置和对应类别，具体步骤为：
34.(1)将待识别目标图像输入至训练好的目标检测模型中，模型通过卷积神经网络提取图像的关键特征，并根据提取到的关键特征判断目标图像中是否包含杂质，以及其位置和对应杂质的类别，最后输出相应信息。
35.(2)使用测试集进行验证，可计算得到模型对厨余垃圾图像中杂质定位和分类的准确率。
36.我们采用平均准确率均值(mean average precision，map)来对测试结果进行评
价，通常，map值越高，目标检测模型越优秀。
37.map指标的计算较为复杂，ap(average precision)是指平均准确率，在不同recall(recall即召回率，通常选定0,0.1,0.2,
…
,0.9,1共11个值)下的最高precision(准确率)的均值(一般会对各类别分别计算各自的ap)，map则是所有类别的ap值的均值。
38.在计算中，tp(true positives)：iou>iou
threshold
(iou
threshold
一般设置为0.5)的检测框数量(同一个ground truth只计算一次，ground truth在此处表示标签中的真实检测框)；iou即交并比，用于度量两个检测框的交叠程度，即模型检测的结果与真实位置ground truth的重叠程度。
39.fp(false positives)：iou<iou
threshold
的检测框的数量，或者是检测到同一个ground truth的多余检测框的数量；
40.fn(false negatives)：没有被检测到的ground truth的数量；
41.