一种结合视觉与深度学习的塑料瓶分拣方法

1.本发明涉及塑料瓶分拣技术领域，具体为一种结合视觉与深度学习的塑料瓶分拣方法。


背景技术：

2.深度学习在图像识别分类领域已有应用，但因不同材质的塑料瓶的图像特征有限，利用深度学习网络提取塑料瓶的图像特征，从而判断其材质较为困难。


技术实现要素：

3.为解决现有技术中利用深度学习网络提取塑料瓶的图像特征，从而判断其材质较为困难的技术问题，本发明提出一种结合视觉与深度学习的塑料瓶分拣方法，具体采取了如下的技术方案。
4.一种结合视觉与深度学习的塑料瓶分拣方法，包括如下步骤：
5.步骤1：使用偏振相机对pet、pe、pp和ps塑料材质的塑料瓶进行图像采集，以文件夹的形式分别对pet、pe、ps和pp四类塑料瓶图像分类并做上标签；
6.步骤2：对每个文件夹中偏振相机采集到的图像进行计算得到偏振角图像；
7.步骤3：对偏振角图像数据集进行数据增强和数据集划分操作，数据集划分为训练集、验证集和测试集；
8.步骤4：构造深度卷积神经网络，将训练集使用构造的深度卷积神经网络进行训练得到塑料瓶分类模型，评估塑料瓶分类模型分类效果，根据分类效果进一步继续优化深度卷积神经网络结构。
9.进一步的，所述步骤1具体包括：采用分辨率为1224*1024的偏振工业相机对pet，pe，pp，ps塑料材质的塑料瓶进行图片拍摄，会得到每种塑料瓶0度、45度、90度、135度四个偏振方向的强度图像。
10.进一步的，所述步骤2具体包括：从步骤1中得到的四个偏振方向的强度图像，通过斯托克斯矢量公式计算得到塑料瓶的偏振角数据，将值域在0-360度偏振角数据归一化到0-255的数据，以像素图像存储进偏振角数据集。
11.进一步的，所述步骤3具体包括：对步骤2得到的偏振角数据集的图像进行平移或0到20度的中心旋转，将数据集图片数量扩充至原来的5倍。将数据集按照3:1:1的比例划分为训练集、验证集和测试集。
12.进一步的，所述步骤4具体包括：所述训练集的图片输入网络时图片大小设置112*112分辨率，batch-size设置为32，采用不同次数的卷积和下采样次数对训练集进行训练，使用交叉熵损失函数评估模型实际的输出与期望的输出的接近程度，使用测试集的精确率、召回率和f1-score综合评估模型准确率，调整训练出有高精度的网络模型。
13.本发明的有益效果在于：
14.本发明将深度学习与偏振视觉相结合，利用塑料瓶在偏振图像下的特征，通过深
度学习网络提取，大大提升了塑料瓶分拣的准确率与效率。
附图说明
15.图1为本发明的流程图；
16.图2为偏振角数据集示意图；其中，2a为pet塑料瓶偏振角图像，2b为pe塑料瓶偏振角图像，2c为pp塑料瓶偏振角图像，2d为ps塑料瓶偏振角图像；
17.图3为卷积神经网络结构示意图；
18.图4为卷积神经网络对应的损失函数，其中4a为cnn_3_112的损失函数曲线，4b为cnn_4_112的损失函数曲线，4c为cnn_5_112的损失函数曲线。
具体实施方式
19.为了使本发明的目的、技术方案和技术效果更加清楚明白，下面结合说明书附图和实施例，对本发明作进一步详细说明。
20.如图1所示，一种结合视觉与深度学习的塑料瓶分拣方法包括以下步骤：
21.步骤1：使用偏振相机对pet，pe，pp，ps塑料材质的塑料瓶进行图像采集，具体为：
22.设置暗箱去除自然光干扰，在暗箱中使用正面明场漫反射照明，采用分辨率为1224*1024的偏振工业相机对pet，pe，pp，ps塑料材质的塑料瓶进行图片拍摄，会得到每种塑料瓶0度、45度、90度、135度四个偏振方向的强度图像i0，i
45
，i
90
，i
135
。
23.步骤2：对偏振相机采集到的图像进行计算，得到偏振角图像,具体为：
24.斯托克斯矢量可以用来描述单色光的偏振态，衡量光的偏振特征，斯托克斯矢量各参数如式(1)(2)(3)，式中i0，i
45
，i
90
分别代表偏振片在0度、45度和90度获取的图像光强；s0表示总光强，s1表示0
°
与90
°
线偏振光分量之差、s2表示45
°
与135
°
线偏振光分量之差。
25.s0(x，y)＝i0(x，y) i
90
(x，y)
ꢀꢀꢀ
(1)
26.s1(x,y)＝io(x,y)-i
so
(x，y)
ꢀꢀꢀ
(2)
27.s2(x，y)＝2i
45
(x，y) s0(x，y)
ꢀꢀꢀ
(3)
28.偏振角(aop)：当光线以偏振角入射时，反射光和折射光的传播方向互相垂直，如式(4)所示。
[0029][0030]
图片像素坐标上(x，y)位置处的偏振度经过stokes参数计算得到为θ(x，y),它的值域是0-360，通过归一化处理，将θ归一化到像素值0-255之间，以灰度图片形式保存下来，偏振角图像存储为偏振角数据集，如图2所示，2a为pet塑料瓶偏振角图像，2b为pe塑料瓶偏振角图像，2c为pp塑料瓶偏振角图像，2d为ps塑料瓶偏振角图像。
[0031]
步骤3：对偏振角图像数据集进行数据增强操作和数据集划分，数据集划分为训练集，验证集和测试集，具体为：
[0032]
对步骤2得到的偏振角数据集图像进行0到20度的中心旋转或水平移动操作，将原数据集扩大为原本的5倍，最终获得偏振角数据集图像3111张，将数据集按照3:1:1的比例划分为训练集、验证集和测试集，这样分类的比例能使网络训练与验证结果更佳。
[0033]
步骤4：构造深度卷积神经网络，将训练集使用优化的深度卷积神经网络进行训练
得到塑料瓶分类模型，评估塑料瓶分类模型分类效果，根据分类效果进一步继续优化深度卷积神经网络结构，具体为：
[0034]
如图3所示是分别使用了3次，4次，5次下采样的cnn_3_112，cnn_4_112,cnn_5_112网络模型结构。
[0035]
本发明首先使用了基本的卷积神经网络结构，3次下采样的cnn_3_112网络结构，以112
×
112像素作为输入，softmax作为最后输出层的激活函数，cnn_3_112网络先使用两个滤波器数目为64的大小为3
×
3的卷积层和一次下采样，两个滤波器数目为128的大小为3
×
3的卷积层和一次下采样，三个滤波器数目为256的大小为3
×
3的卷积层和一次下采样，和神经元数目为1024的全连接层。
[0036]
使用训练集训练得到cnn_3_112的网络模型，通过计算pet，pe，ps，pp四种塑料瓶的精确率、召回率和f1得分来评估网络模型准确度，精确度、召回率和f1得分如式(5)(6)(7)所示，由tp、fp、fn三个元素组成。tp是正样本被预测为正，fp是负样本被预测为正，fn是负样本被预测为负。f1得分是精确率和召回率的调和平均值。
[0037][0038][0039][0040]
第一准确度是预测最可能的类别以匹配实际结果的准确性。
[0041]
cnn_3_112模型对测试集预测结果如表1所示，损失函数采用交叉熵损失函数评估模型实际的输出与期望的输出的接近程度，曲线如图4a所示，模型的训练集与验证集的损失函数均收敛趋于平缓，说明模型的训练可以达到收敛状态，说明训练的模型设计合理。cnn_3_112模型的pet，pe，pp，ps的f1得分分别为98.32％，88.04％，93.26％和97.78％，准确度还有提高空间。所以本发明使用加深卷积神经网络和增加滤波器的方法对cnn_3_112网络进行结构优化得到cnn_4_112。
[0042]
cnn_4_112网络在cnn_3_112网络基础上加上了三个的滤波器数目为512的大小为3
×
3的卷积层和一次下采样，全连接层神经元数目增加为2048。
[0043]
cnn_4_112模型对测试集预测结果如表1所示，如图4b所示，模型的训练集与验证集的损失函数均收敛趋于平缓，说明模型的训练可以达到收敛状态，说明训练的模型设计合理，其中pet，pe，pp，ps的f1得分相较cnn_3_112有所提高分别为98.89％，93.42％，94.65％和97.73％，准确度有所上升，说明使用加深卷积神经网络和增加滤波器的方法可以提升网络准确度。所以本发明继续使用加深卷积神经网络和增加滤波器的方法对cnn_4_112网络进行结构优化得到cnn_5_112。
[0044]
cnn_5_112网络在cnn_3_112网络基础上加上了三个的滤波器数目为512的大小为3
×
3的卷积层和一次下采样，全连接层神经元数目增加为4096。
[0045]
cnn_5_112模型对测试集预测结果如表1所示，如图4c所示，模型的训练集与验证集的损失函数均收敛趋于平缓，说明模型的训练可以达到收敛状态，说明训练的模型设计合理，pet，pe，pp，ps的f1得分均达到99％左右，整体第一正确度达到99.52％，经过测试cnn_5_112网络模型预测一张图片时间仅需5.9ms，准确率与预测时间均能够符合实际生产
分拣需求。
[0046]
表1 cnn_3_112、cnn_4_112、cnn_5_112网络模型结果
[0047][0048][0049]
应当理解的是，本发明书未详细阐述的部分均属于现有技术。
[0050]
以上结合附图所示，仅为本发明的具体实施方法及流程，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员应当理解，此仅为举例说明，可以对此实施方法做出多种变化和替代，而不背离本发明的实质内容。本发明的范围仅有所附权利要求书限定。