垃圾实时监测方法与系统与流程

1.本发明涉及图像识别领域，尤其涉及一种垃圾实时监测方法与系统。


背景技术：

2.随着社会发展，国家对环保要求越来越高，针对垃圾处理要求也越来越严格，建设美丽乡村与城市。因此，需要对各个地方的垃圾状况进行实时的监控。确保垃圾不随意倒放。传统的做法，通过拍照后，采用人工的方式对图像进行挑选，费时费力。
3.因此，需要开发一种智能识别系统和方法，对垃圾进行实时监控，确认监控的对象是否是垃圾。由于垃圾的种类繁多，现有的监控系统，其准确率低，大概在60%左右，这远远不满足使用者的需求。
4.中国专利申请号第cn202010127360.3号专利，公开了一种湿垃圾中垃圾袋目标检测方法及检测系统，其包含：采集含有垃圾袋的湿垃圾图像形成湿垃圾图像库；湿垃圾图像标注垃圾袋的位置和类别信息，分为训练集、验证集和测试集；搭建深度学习神经网络进行训练；调整训练网络模型参数优化网络模型；将测试集中的湿垃圾图像输入训练完成的深度学习神经网络进行测试，若正确率和漏检率符合场景使用的阈值范围，则本地化保存。本发明采用深度学习网络进行湿垃圾图像中的垃圾袋的检测识别，实现大量湿垃圾中自动化识别垃圾袋，提高识别效率，提高垃圾再利用率。
5.由于采用神经网络进行训练，所以对神经网络的模型的要求是非常重要的，针对不同模型，所识别出的准确率不同，如何提高垃圾识别的准确率，是待解决的问题。
6.故，有必要提出一种新的垃圾实时监测方法与系统来提高对垃圾的识别准确率。


技术实现要素：

7.针对上述提出的问题，本发明的目的在于提供一种准确率高的垃圾实时监测方法与系统。
8.为实现上述目的，本发明采用如下技术方案：一种垃圾实时监测方法，其特征在于，其包括：步骤1：获取图像；步骤2：将图像的特征信息输入已经完成学习的神经网络中进行训练；其步骤为：将图像的特征信息输入backbone主干网络模型进行训练，提取图像的特征信息；其步骤包括：（1）对图像像素进行归一化处理；获得特征分布不均匀的图像特征向量值；（2）将归一化后的图像特征向量值进行加权，获得将特征聚集在一个区间范围内新的图像特征向量值；（3）把加权后的特征向量值输入设定的激活函数进行训练，使得新的特征向量值再一次聚集在更小的区间范围内；进入neck层对新的特征向量值进一步进行特征提取，同时将提取的特征向量值进行concat操作得出模型从而进入head层进行预测。
9.所述特征向量值输入激活函数进行训练时，当加权后的特征向量值大于0，加权后图像特征向量值与xoy坐标0点进行比较，取最大值；当加权后的特征向量值小于0，加权后图像特征向量值与xoy坐标0点进行比较，取最小值。
10.所述激活函数为：，其中，
x为加权后图像的特征向量值。
11.所述神经网络学习步骤包括：获取样本的像素值，提取垃圾图像的特征向量值，并设定判断垃圾图像的阈值；对垃圾图像数据增强；对采集和数据增强的垃圾图像进行命名；对命名的垃圾图像进行标注；将所述垃圾图像预处理后的xml文件放入gpu进行训练；采用mosaic神经网络模型进行图像数据增强；输入backbone主干网络模型进行训练，进入neck层对新的特征向量值进一步进行特征提取，进入head层进行预测，将训练成功的图像的结果进行保存，并对图像的结果进行再次训练。
12.为实现上述目的，本发明还采用如下技术方案：一种垃圾实时监测系统，其包括：图像获取系统，用于获取图像；神经网络，对图像进行训练，通过归一化处理、图像特征向量值加权、聚集图像特征向量值的区间范围，然后对聚集的图像特征向量值进行特征提取，并进行预测。
13.与现有技术相比，本发明一种准确率高的垃圾实时监测方法与系统的有益效果在于：（1）在应用过程中，获取的图片无需再进行编号、标注和图像加强，可以直接的将图像的特征信息输入backbone主干网络模型进行训练；提升了监测、识别出垃圾的效率；（2）在backbone主干网络模型中的训练中，通过激活函数进行训练，使得新的特征向量值再一次聚集在更小的区间范围内，其为后端得到的判断是否为垃圾的图片更加精准。
附图说明
14.图1为本发明垃圾实时监测方法的流程框架图。
15.图2为本发明对图像进行训练的流程框架图。
16.图3为本发明图像的真实框与预测框的比较分析图。
具体实施方式
17.下面通过本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.参考图1，为本发明垃圾实时监测方法的流程框架图。
19.本发明提供一种垃圾实时监测方法，其步骤包括如下：步骤1：获取图像。
20.前端通过调用相关区域摄像头，获得对应区域的n张图像，通过base64加密格式传输到云服务器中。
21.步骤2：将图像的特征信息输入已经完成学习的神经网络中进行训练，并输出预测为垃圾的图像。
22.本发明中，采用yolo v5神经网络模型，对垃圾监测应用前，首先需对该网络模型进行学习，以便确认出垃圾的特征向量值。
23.201、获取样本的像素值，提取垃圾图像的特征向量值，并设定判断垃圾图像的阈值。
24.根据预期所想达到的识别垃圾图像的置信度为90%来计算样本数量：
，其中n为样本量，z为统计量，p为统计学中的概率，e为误差值。
25.当置信度为95%时，z=1.96；当置信度为90%时，z=1.64。本次取值如下：z=1.64，e=3%，p=0.5，计算得出n=747，由此确定一阶训练样本数量为747，上下误差为
±
3%。因此，前期收集747张垃圾图像用来训练对应的初始模型。
26.步骤202：对垃圾图像数据增强。
27.首先，对垃圾图像进行镜像处理，具体地，通过找到垃圾图像的中心点，像素进行左右置换，得到新的垃圾图像。
28.其次，利用mixup混合模型数据增强，处理是通过将两张图像通过的取值，混合成一张新的图像，对应公式：，经过一系列实验得出，当时，效果最佳，故。
29.其中，为图像对应的像素值；为one
‑
hot编码，将离散特征的取值扩展到了欧式空间，λ为β分布最优点的值。
30.然后，通过直方均衡化调整图像的灰阶分布，使得在0~255灰阶上的分布更加均衡，提高图像的对比度，达到改善图像主观视觉效果的目的。对比度较低的图像适合使用直方图均衡化方法来增强图像细节。
31.步骤203：对采集和数据增强的垃圾图像进行命名，按照数字从1到n递增的顺序命名，方便后期图像标注与校准。
32.由于标注由不同的人员完成，对于标注生成的xml文件中的path值不一致，因此，可以通过最终文件存放位置对其所有的标注文件进行统一赋值。
33.步骤204：对命名的垃圾图像进行标注。
34.本实施例，采用labelimg标注，对数据增强的图像进行矩形框标注，将标注好的结果写入xml文件中，方便后期使用深度学习网络对其特征进行学习。
35.步骤205：将所述垃圾图像预处理后的xml文件放入gpu进行训练。
36.具体的，将训练的batch_size设置成特定一个值（例如32），其好处在于加快其收敛速度同时也能够减少震荡，将epochs设置为特定一个值（例如201），防止epochs值过高后模型过拟合问题，防止epochs值过低后模型还未收敛就结束训练问题。
37.步骤206：采用mosaic神经网络模型进行图像数据增强。
38.具体的，将多张图像通过翻转，缩放，区域内的色域变化等拼接在一张图像内，大大加强了处理效率。
39.紧接着进行自适应的图像缩放，规定进行训练的图像大小，假定图像大小为608
×
608，对图像的尺寸x
×
y进行缩放。
40.缩放后的图像尺寸：如果，则对应的x高度上下添加的黑边凑成最终的608
×
608，同理对应y高度与x高度计算方式相同。
41.处理好的图像通过focus模型进行切片操作，得到的特征图后经过一个32的卷积核最终得出304
×
304
×
32的特征图。此些操作也是原有数据的再次扩充，方便步骤207进
行。
42.步骤207：对获得的特征图进入backbone主干网络模型进行训练。
43.此网络目的在于提取图像的特征信息，这里使用了bn算法，目的加快梯度下降求最优解的速度同时尽可能提高精度，并且可以把训练好的数据集打乱防止发生偏移。
44.如图2所示，为本发明对图像进行训练的流程框架图。
45.具体的步骤包括：（1）对扩充后的图像像素进行归一化处理；获得特征分布不均匀的图像特征向量值；可能分布在平面坐标系xoy中任意象限；那么对垃圾识别的界线不清楚。
46.具体的，归一化处理采用z
‑
score标准化方法，其计算方法如下：，其中，为输入图像的像素的特征向量的均值，x为输入图像的像素的特征向量，为输入图像归一化后的特征向量值。
47.为标准差，那么标准化计算方式可以记为：，通过此方法目的主要在于把输入值的分布强行拉回到均值为0，方差为1的标准正态分布，如此就可以把绝大多数的特征值聚集在相对区间内，方便后期训练时，后期反向传播时容易收敛。
48.（2）将归一化后的图像特征向量值进行加权，获得将特征聚集在一个区间范围内新的图像特征向量值。
49.其加权方式为：，这里先自定一个的初始值，为加权后图像得到的特征向量，为权重值；为归一化后的图片特征向量值，为附加偏置值。
50.初期，对随机取值，后期反向传播时会对其更新，所以初期取值对后期计算影响不大。
51.（3）把加权后的特征向量输入设定的函数进行训练，使得新的特征向量值再一次聚集在更小的区间范围内；以方便后期方向传播确定对图像特征向量设定的权重值与。
52.本发明采用elu函数对加权后的特征向量进行训练，其中，所述激活函数为：，或者，或者。
53.即：当加权后的特征向量值大于0，加权后图像特征向量值与xoy坐标0点进行比较，取最大值；当加权后的特征向量值小于0，加权后图像特征向量值与xoy坐标0点进行比较，取最小值。
54.其中，通过如下函数的应用，，特征向量值更加聚集，为最佳一种技术效果。
55.根据选取的特征向量值进行反向传播，更新原有的参数，由此迭代，将判断是不是垃圾的特征向量值误差控制在对应的阈值内。
56.x为加权后图像的特征向量值；negtiveslope为设定的权重值；max为加权后图像的特征向量值与0比较后的最大值；min为加权后图像的特征向量值与0比较后的最小值；即经过elu后的输出结果为，由此做的好处在于elu函数能够实现更加精准的识别垃圾。
57.本发明中的上述训练方式不仅继承了现有技术模型的识别垃圾精度的特点，同时图像特征向量值在坐标系中单侧饱和，同时通过该函数让主干网络更好的学习图像特征，训练后获得的特征向量曲线是平滑的，包括当z=0时，这有助于加速梯度下降，在z=0时不会发生大量的左右跳跃，可以更好地收敛，其更能够提高垃圾识别后的准确度。
58.进行正向传播学习得出后，对训练过后得到的与预期结果（比如是垃圾结果为1，不是为0）进行方差，用得出的方差通过反向传播得出对应训练的权重对误差产生了多少影响，并更新对应权重。由此继续迭代，直至与期望值很近或者相同。
59.主干网络可以使用resnet unit，用来计解决梯度随着层数增加持续衰减的问题。
60.步骤208：backbone层处理后结果进入neck层，通过spp模块与fpn与pan网络结构对backbone层的数据进一步进行特征提取，同时将不同尺度的特征图进行concat函数操作，得出模型从而进入head层进行预测。
61.步骤209：进入head层后，head层中采用ciou_loss函数做图像边框的损失函数。在深度学习中，损失函数扮演着至关重要的角色。通过最小化损失函数，使模型达到收敛状态，减少模型预测值的误差。因此，不同的损失函数，对模型的影响是重大的。其效果在于：当预测框与真实框重合时判断了中心对准关系，同时优化预测框与真实框之间宽高不同问题。其中，ciou_loss函数计算方法如下:；其中，b为图像真实框的空间位置，bgt为图像检测的预测框空间位置，为图像真实框与预测框之间交集位置；为图像真实框与预测框所占空间的所有位置；表示预测框和真实框中心点之间的距离，表示二者形成的外接矩形对角线的长度。w为图像的宽度，h为图像的高度。
62.如图3为图像的真实框与预测框的比较分析图。图像的预测框与实际的真实框可能出现一定偏差。
63.假如两个框之间位置相差过大，那么值会接近于2，同理，当两个框无限接近，甚至包含后，值会根据包含后的两个框的宽高比进行计算，当两个框完全一致重叠，达到最大精度，由此得出最理想的结果。
64.通过采用的最小化损失函数，使模型达到收敛状态，减少模型预测值的误差。因此，不同的损失函数，对模型的影响是重大的。
65.步骤3：输出识别结果。
66.如果识别成功，将得出的结果通过json值返回给前端进行调用；并将训练成功的图像的结果进行保存，保存内容包括不仅限于图像存储地址，图像标记框的位置，图像标注的名字，用来自动生成新的xml文件，进行模型再次训练。
67.将二次训练后的模型用来更新替换上一个阶段的模型，由此反复，加强了此模型识别的置信度。
68.对于成功识别的图像，前端接收到识别成功的指令后，进行系统化的处理，包括不仅限于整理位置信息，判断相关垃圾大小等，将信息交给相关单位进行对该区域的有针对的垃圾清洁，由此加快了区域内的清洁效率。
69.另外，可以将失败的图像训练进行人工识别判断，假设出现了垃圾但未标注，则需人工手动标注，后进入步骤2进行再次训练。这里图像失败的图像是指出现垃圾但没有标注或者标注后但标注错的图像与识别的置信度较低的图像。
70.本发明还揭露一种垃圾实时监测系统，其包括：图像获取系统，用于获取图像；神经网络，对图像进行训练，通过归一化处理、图像特征向量值加权、聚集图像特征向量值的区间范围，然后对聚集的图像特征向量值进行特征提取，并进行预测。
71.神经网络包括：backbone层，用于提取图像的特征信息；neck层，用于对新的特征向量值进一步进行特征提取，同时将提取的特征向量值聚集在更小的区间范围内；head层，用于采用特征向量值对垃圾图像进行预测。
72.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，均系本发明所保护范围。