基于计算机视觉的垃圾智能分类方法

1.本发明涉及垃圾分类回收领域，具体涉及一种基于计算机视觉的垃圾智能分类方法。


背景技术：

2.随着社会的快速发展，各类产品不断涌现，所使用的材料的种类多种多样，产生的废弃垃圾越来越多，带来严重的环境污染问题。早在上世纪人们就已经意识到垃圾分类的重要性，随着科学技术的进步垃圾分类也越来越智能化，目前进行垃圾分类的主要靠人们的传统观念认识进行初步分类，但是由于认为习惯或部分垃圾需要进行包裹，初步分类好的垃圾中仍然存在部分塑料袋，导致垃圾在运输到处理站进行处理时，还需要进行二次分类，在对垃圾进行二次分类时，需要先将部分垃圾外面被塑料袋包裹的地方破开，从而使塑料袋和垃圾分离，此时需要先将垃圾中的塑料袋挑拣出来。
3.现有技术中存在利用风选将塑料袋与垃圾分离的技术手段，但是这个过程中可能需要进行多次风选才能保证将垃圾中的塑料袋完全分离，同时风选导致的垃圾臭味散发较为严重，效率较差且智能化水平较低；通过计算机视觉对垃圾中的塑料袋进行识别的方法，由于塑料袋和垃圾所处的环境较为复杂，通过计算机视觉得到的图像质量存在大量噪声，直接对图像进行边缘检测后利用神经网络进行塑料袋识别，会存在将垃圾误判为塑料袋的情况出现，使得塑料袋的识别不够准确，导致在将塑料袋分离出去的时候会将图像中与塑料袋相似的垃圾抓取出去，垃圾的分类效果较差。


技术实现要素：

4.为了解决现有技术中通过计算机视觉得到的图像质量存在大量噪声，导致后续塑料袋的识别不够准确的问题，本发明提供一种基于计算机视觉的垃圾智能分类方法，包括：采集完全平铺后的垃圾灰度图像；获取每个像素点的均匀性；根据每个像素点与其他相同梯度幅值像素点之间的平均距离以及每个像素点的均匀性获取每个像素点的附着度；获取每个像素点的滤波窗口尺寸，对垃圾灰度图像中的每个像素点进行滤波，得到滤波后的垃圾灰度图像；利用神经网络识别每个连通域中的塑料袋，将垃圾中的塑料袋分离。本发明通过对垃圾灰度图像选取自适应滤波窗口，从而进行塑料袋的识别，能够准确的将垃圾中的塑料袋分离出来，有效提升垃圾分类的效率。
5.本发明采用如下技术方案，基于计算机视觉的垃圾智能分类方法，包括：
6.利用滚轮装置将垃圾外包裹的塑料袋破开，将垃圾以及破开后的塑料袋平铺在传送带上，采集传送带上完全平铺后的垃圾灰度图像；
7.根据垃圾灰度图像中每个像素点与其八邻域内每个像素点的梯度幅值获取每个像素点的均匀性；
8.获取垃圾灰度图像中相同梯度幅值的两两像素点之间的距离，根据每个像素点与其他相同梯度幅值像素点之间的平均距离以及每个像素点的均匀性获取每个像素点的附
着度；
9.根据每个像素点的附着度获取每个像素点的滤波窗口尺寸，以每个像素点的滤波窗口尺寸对垃圾灰度图像中的每个像素点进行滤波，得到滤波后的垃圾灰度图像；
10.对滤波后的垃圾灰度图像进行边缘检测，得到多个连通域，将滤波后的垃圾灰度图像作为神经网络的输入，输出为每个连通域中的塑料袋；将每个连通域中的塑料袋与垃圾分离。
11.进一步的，一种基于计算机视觉的垃圾智能分类方法，获取每个像素点的均匀性的方法为：
12.获取垃圾灰度图像中每个像素点的梯度幅值；
13.根据每个像素点与其八邻域内像素点的梯度幅值获取每个像素点的信息熵；
14.获取每个像素点与其八邻域像素点之间梯度幅值差值的均值；
15.根据每个像素点与其八邻域像素点之间梯度幅值差值的均值以及该像素点的信息熵获取每个像素点的均匀性。
16.进一步的，一种基于计算机视觉的垃圾智能分类方法，获取每个像素点的附着度的方法为：
17.获取垃圾灰度图像中每个像素点与其相同梯度像素点之间的平均距离；
18.获取每个像素点的梯度幅值，与每个像素点到其相同梯度像素点之间的平均距离的比值；
19.根据该比值与垃圾灰度图像中每个像素点均匀性的乘积获取每个像素点的附着度。
20.进一步的，一种基于计算机视觉的垃圾智能分类方法，获取每个像素点的附着度的表达式为：
[0021][0022]
其中，fi表示第i个像素点的附着度，di表示第i个像素点与其相同梯度像素点之间的平均距离，gi表示第i个像素点的梯度幅值，e表示以e为底的指数函数，ji表示第i个像素点的均匀性。
[0023]
进一步的，一种基于计算机视觉的垃圾智能分类方法，获取每个像素点的滤波窗口尺寸的方法为：
[0024]
将每个像素点的附着度作为指数函数的指数；
[0025]
获取该指数函数与设定常数的乘积并向上取整，得到每个像素点的滤波窗口尺寸。
[0026]
进一步的，一种基于计算机视觉的垃圾智能分类方法，将滤波后的垃圾灰度图像作为神经网络的输入，输出为每个连通域中塑料袋的方法为：
[0027]
获取各种颜色的塑料袋灰度图像作为数据集，利用数据集对神经网络进行训练；
[0028]
利用训练好的神经网络对滤波后的垃圾灰度图像中的多个连通域进行目标识别，得到滤波后垃圾灰度图像中的塑料袋。
[0029]
进一步的，一种基于计算机视觉的垃圾智能分类方法，对垃圾灰度图像中的每个像素点进行滤波的方法为：
[0030]
以垃圾灰度图像中每个像素点为中心点，根据每个中心点所在滤波窗口中所有像素点的灰度值，获取每个中心点所在滤波窗口的高斯核；
[0031]
根据每个中心点所在滤波窗口的高斯核对每个中心点进行高斯滤波。
[0032]
本发明的有益效果是：本发明通过获取图像中每个像素点的均匀性来反应图像中像素点的分布情况，可以作为区分图像中像素点和噪声的指标之一，进一步结合每个像素点与其相同梯度像素点之间的平均距离获取每个像素点的附着度，能够体现每个像素点所在区域的灰度变化情况以及像素点的聚集程度，从而以此为依据自适应获取每个像素点的滤波窗口，保证对图像中像素点具有很好的滤波效果，能够有效提升后续进行塑料袋识别的准确度，有助于实现垃圾的智能分类。
附图说明
[0033]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0034]
图1为本发明实施例的一种基于计算机视觉的垃圾智能分类方法结构示意图。
具体实施方式
[0035]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0036]
如图1所示，给出了本发明实施例的一种基于计算机视觉的垃圾智能分类方法结构示意图，包括：
[0037]
101.采集完全平铺后的垃圾灰度图像。
[0038]
本发明所针对的场景为：将社区分好类的厨余垃圾运送到垃圾回收站进行二次处理时，需要对回收站传送带上的厨余垃圾进行二次分类，将垃圾中的塑料袋分离出去，因此，本发明采集垃圾灰度图像的前提为，在传送带的进料口设置有滚轮装置，该滚轮装置上安装锯齿或钢刀状的锋利刀刃，以此将垃圾中的塑料袋破开，使得塑料袋中的垃圾倾倒出来；其次，在传送带中设置有抖动装置，从而将传送带上的厨余垃圾抖散呈平铺状，保证厨余垃圾没有堆叠，此时通过传送带上方布设的高清相机采集传送带中平铺的垃圾图像，当传送带为开启状态时，本发明需要每隔一定时间采集一张传送带中的垃圾图像，假设传送带是做匀速直线运动，传输速度为v,传送带的宽度为l，采集的图片的长宽比为4:3,则间隔采样时间t为：
[0039][0040]
为了防止在采集图像时，将同一个物体采集在不同的画面中，所以需要在较小范围的采样时间进行采样t
′
＝t-α。为了减少光线对后续图像处理的影响，所以图像采集时的光源需要从上向下的均匀打在传送带的表面，通过高倍相机拍摄图像。
[0041]
然后将采集到的图像进行灰度化，得到对应的垃圾灰度图像，具体灰度化方法为现有技术，本发明不做限制。
[0042]
由于检测的厨余垃圾的边缘的会存在许多的边缘噪声，所以需要对边缘进行降噪处理，目的是为了在获取边缘时，防止噪声影响得到的虚拟边缘。
[0043]
厨余垃圾主要包括丢弃不用的菜叶、剩菜、剩饭、果皮、蛋壳、茶渣、骨头等，厨余垃圾中的塑料袋，相较于其他厨余垃圾有较为明显的特征区别，但是垃圾的形态和种类较多，再进行识别的时候会有很多的干扰因素，比如较大的菜叶、果皮等会对塑料袋的识别产生影响，本发明在获得垃圾灰度图像后，进一步使用canny边缘检测算法获取垃圾灰度图像中的边缘像素点。
[0044]
102.根据垃圾灰度图像中每个像素点与其八邻域内每个像素点的梯度幅值获取每个像素点的均匀性。
[0045]
在对图像进行降噪处理时，需要考虑噪声对边缘检测时边缘像素点的影响程度，因为噪声像素点是杂乱分布的，而厨余垃圾的虽然形态特征较多，但是在极小范围内的灰度特征可以将其看作是相等或者相似的，因此本发明通过计算小范围内的像素点的均匀性，来将噪声与原本的像素点进行区分。
[0046]
获取每个像素点的均匀性的方法为：
[0047]
获取垃圾灰度图像中每个像素点的梯度幅值；
[0048]
本发明首先通过计算每个像素点的梯度连续性，从而获得像素点的均匀程度，计算每个像素点的梯度幅值和梯度方向为：
[0049][0050][0051]
式中，g(x,y)代表梯度幅值，θ代表梯度方向，g
x
表示二元函数f(x,y)对x的偏导，gy表示二元函数f(x,y)对y的偏导，梯度方向会取绝对值，因此得到的角度范围是[00,1800]，在每个像素处，梯度有一个大小和一个方向，x方向梯度会强化垂直边缘特征，y方向梯度会强化水平边缘特征。
[0052]
根据每个像素点与其八邻域内像素点的梯度幅值获取每个像素点的信息熵；
[0053]
获取每个像素点与其八邻域像素点之间梯度幅值差值的均值；
[0054]
根据每个像素点与其八邻域像素点之间梯度幅值差值的均值以及该像素点的信息熵获取每个像素点的均匀性，表达式为：
[0055][0056]
式中，ji表示第i个像素点的均匀性，gj(x,y)表示坐标为(x,y)的第i个像素点八邻域内第j个像素点的梯度幅值，g(x,y)表示中心点为第i个像素点的梯度幅值，p
in
表示第i个像素点所在八邻域内第n个像素点的梯度幅值的占比，表示第i个像素点所在八邻域内的信息熵，表示每个像素点所在八邻域内梯度的混乱程度。
[0057]
像素点的梯度值的大小，表示的是像素点灰度值的变化，通过计算每个像素点所
在八邻域内的平均梯度能反映每个像素点周围邻域像素点的整体梯度大小；计算梯度的信息熵，来表示模板内梯度的变化程度，若梯度信息熵的改变量较大时，说明模板内的像素点的灰度值的改变较为剧烈，表示其均匀程度较低。
[0058]
103.获取垃圾灰度图像中相同梯度幅值的两两像素点之间的距离，根据每个像素点与其他相同梯度幅值像素点之间的平均距离以及每个像素点的均匀性获取每个像素点的附着度。
[0059]
在垃圾灰度图像的去噪过程中，因为噪点相对于图像上的垃圾像素点是多余的像素点，并且噪点多为离散杂乱的像素点，与图像中本身的垃圾区域的像素点相比，其像素点的离散程度较大，而附着度表示的是像素点在此区域上的聚集性与灰度的变化，则对应噪声像素点的附着度较小。
[0060]
获取每个像素点的附着度的方法为：
[0061]
获取垃圾灰度图像中每个像素点与其相同梯度像素点之间的平均距离；
[0062]
根据垃圾灰度图像中每个像素点的均匀性、每个像素点的梯度幅值以及每个像素点与其相同梯度像素点之间的平均距离，获取每个像素点的附着度。
[0063]
获取每个像素点的附着度的表达式为：
[0064][0065]
其中，fi表示第i个像素点的附着度，di表示第i个像素点与其相同梯度像素点之间的平均距离，gi表示第i个像素点的梯度幅值，e表示以e为底的指数函数，ji表示第i个像素点的均匀性。
[0066]
由于噪声像素点的灰度值与原本图像的像素点的灰度值有差异，且噪声的分布范围较为杂乱，因此本发明根据像素点的梯度幅值与像素点之间的平均距离来表示像素点的特征值，梯度幅值越大且相较于其他相同梯度像素点的平均距离越远，表示像素点的灰度变化越大，即表示其为噪声像素点的可能程度就会越大，然后像素点的均匀性越小，说明该像素点的邻域内像素点灰度变化较为复杂，则其是噪声像素点的可能程度越大，则因此像素点的附着度越小，则越说明该像素点为噪声的可能性越大，后续根据每个像素点的附着度选取对其进行滤波的滤波窗口。
[0067]
104.根据每个像素点的附着度获取每个像素点的滤波窗口尺寸，以每个像素点的滤波窗口尺寸对垃圾灰度图像中的每个像素点进行滤波，得到滤波后的垃圾灰度图像。
[0068]
获取每个像素点的滤波窗口尺寸的方法为：
[0069]
将每个像素点的附着度作为指数函数的指数；
[0070]
获取该指数函数与设定常数的乘积并向上取整，得到每个像素点的滤波窗口尺寸，表达式为：
[0071][0072]
其中，ki表示第i个像素点的滤波窗口尺寸，e表示以e为底的指数函数，fi表示第i个像素点的附着度，由于滤波窗口应当为正整数，因此设定常数10与指数函数相乘，并将相乘后得到的结果向上取整，从而得到准确的滤波窗口尺寸。
[0073]
附着度越小，像素点越可能是噪声，则对其进行滤波的滤波窗口就越大，从而在对其进行高斯滤波时，能够保证中心像素点的权重更小，达到更好的去噪效果。
[0074]
对垃圾灰度图像中的每个像素点进行滤波的方法为：
[0075]
以垃圾灰度图像中每个像素点为中心点，根据每个中心点所在滤波窗口中所有像素点的灰度值，获取每个中心点所在滤波窗口的高斯核；
[0076]
根据每个中心点所在滤波窗口的高斯核对每个中心点进行高斯滤波。
[0077]
根据每个像素点的滤波窗口以及每个像素点的灰度值，利用高斯函数生成高斯核：
[0078][0079]
式中，ki为滤波窗口尺寸，f(x,y)表示像素点(x,y)的灰度值，σ为标准差，根据方差的大小求得高斯核标准差σ，图像某区域内方差的大小计算公式为：
[0080][0081]
其中：
[0082][0083]
式中，表示中心点所在区域的卷积窗口中像素点的灰度值均值，s
x,y
表示为中心点(x,y)所在区域的卷积窗口大小，f(m,n)表示该卷积窗口内坐标为(m,n)的像素点的灰度值，n
x,y
表示中心点(x,y)所在区域的卷积窗口中所包含的像素点个数，方差d(i,j)越大，s
x,y
区域内像素值的离散程度越大，选取更小的σ生成的高斯核系数权重越大，对该区域影响越小。
[0084]
本发明中采用高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，此处为现有技术中高斯滤波的滤波过程，本发明中不做过多阐述。
[0085]
105.对滤波后的垃圾灰度图像进行边缘检测，得到多个连通域，利用神经网络识别每个连通域中的塑料袋，并将塑料袋进行分离。
[0086]
利用神经网络识别每个连通域中的塑料袋的方法为：
[0087]
获取各种颜色的塑料袋灰度图像作为数据集，利用数据集对神经网络进行训练；
[0088]
利用训练好的神经网络对滤波后的垃圾灰度图像中的多个连通域进行目标识别，获取滤波后垃圾灰度图像中的塑料袋。
[0089]
因为垃圾袋都为塑料材质，其颜色都比较单一，较为容易识别，因此本发明通过cnn神经网络对垃圾袋的颜色进行训练学习，输入为各种颜色的塑料垃圾袋，利用训练好的cnn神经网络对去噪后的垃圾灰度图像进行塑料袋识别，从而将传送带上的塑料袋抓取出来，去除塑料袋对垃圾二次分类造成的影响，进一步对传送带中剩余的垃圾根据不同的垃圾种类进行筛拣，完成垃圾的智能分类。
[0090]
本发明通过获取图像中每个像素点的均匀性来反应图像中像素点的分布情况，可以作为区分图像中像素点和噪声的指标之一，进一步结合每个像素点与其相同梯度像素点之间的平均距离获取每个像素点的附着度，能够体现每个像素点所在区域的灰度变化情况
以及像素点的聚集程度，从而以此为依据自适应获取每个像素点的滤波窗口，保证对图像中像素点具有很好的滤波效果，能够有效提升后续进行塑料袋识别的准确度，有助于实现垃圾的智能分类。
[0091]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。