一种AI智能垃圾识别分类系统和方法与流程

一种ai智能垃圾识别分类系统和方法
技术领域
1.本发明垃圾分类技术领域，尤其涉及一种ai智能垃圾识别分类系统和方法。


背景技术：

2.目前大部分垃圾站都是人工分拣，由此在垃圾处理时会耗费大量的人力，并且在恶劣的工作环境中对工人的身体健康存在种种威胁，人工分拣的效率也会大为折损，垃圾分类率也很低。


技术实现要素：

3.本发明实施例提供了一种ai智能垃圾识别分类系统和方法，用以解决人工分拣垃圾效率低的技术问题。
4.所述技术方案如下：
5.一方面，本发明提供了一种ai智能垃圾识别分类方法，包括以下步骤：
6.搭建预训练的faster
‑
rcnn模型；获取包括多种垃圾类别的图像数据集，并指定识别对象，将所述图像数据集输入到所述预训练的faster
‑
rcnn模型进行训练，获得训练好的faster
‑
rcnn模型；获取现场图像，将所述现场图像输入到所述训练好的faster
‑
rcnn模型中，识别所述现场图像中垃圾类别并确定垃圾在所述现场图像中的实时坐标；分析所述实时坐标获取行进量，根据所述行进量抓取垃圾并将抓取到的垃圾放在指定位置。
7.优选地，所述搭建预训练的faster
‑
rcnn模型包括以下步骤：搭建convlayers，用于提取图片的特征图，其中所述conv layers包括conv、pooling、 relu三种层；搭建区域生成网络层，使用区域生成网络层生成检测框，初步提取图片中目标候选区域；搭建区域池化层，获取并分析所述特征图和目标候选区域后提取候选特征图；搭建分类层，使用边框回归获得检测框最终精确位置，以及通过所述候选特征图判定目标类别。
8.优选地，所述预训练的faster
‑
rcnn模型进行训练的训练步骤包括：对所述图像数据集中的图片进行预处理；所述预训练的faster
‑
rcnn模型对预处理后的图片进行测试，获取测试结果；预设平均精确率ap阈值，根据所述测试结果进行评估，若评估结果低于平均精确率ap阈值，则修改所述预训练的 faster
‑
rcnn模型参数，直至测试结果达到所述平均精确率ap阈值。
9.优选地，所述行进量包括x轴行进量、y轴行进量和z轴行进量，其中，所述z轴行进量为预设数值，所述x轴行进量和所述y轴行进量根据所述实时坐标计算得到。
10.优选地，所述x轴行进量和所述y轴行进量根据所述坐标计算得到的计算步骤包括：
11.设定参考坐标点；计算所述参考坐标点和所述实时坐标的x轴偏移量和y 轴偏移量；将所述x轴偏移量和所述y轴偏移量分别乘以变换因子a获得所述 x轴行进量和所述y轴行进量。
12.另一方面，本发明还提供了一种ai智能垃圾识别分类系统，包括：机械臂子系统、
传送带、图像采集单元和控制模块，所述传送带用于运输待分类的垃圾；所述图像采集单元，用于获取传送带上运输垃圾的现场图像，并将所述现场图像输入到所述控制模块；所述控制模块包括识别单元、训练单元、坐标单元和行进量单元，所述识别单元上搭建有预训练的faster
‑
rcnn模型，用于识别垃圾类别；所述训练单元用于获取包括多种垃圾类别的图像数据集，并指定识别对象，将多种垃圾类别的图像数据集输入到所述预训练的faster
‑
rcnn模型进行训练，获得训练好的faster
‑
rcnn模型；所述坐标单元用于获取垃圾在所述现场图像中的实时坐标；所述行进量单元用于根据所述坐标确定行进量，并将所述行进量传输至所述机械臂子系统；机械臂子系统用于根据所述行进量抓取垃圾并将抓取到的垃圾放在指定位置。
13.优选地，所述控制模块还包括复位单元，所述复位单元用于当将抓取到的垃圾放在指定位置后，控制所述机械臂控制系统回到初始位置。
14.优选地，所述行进量单元包括预设子单元和计算子单元，所述预设子单元用于获取预设的z轴行进量，所述计算子单元用于根据所述实时坐标计算x轴行进量和y轴行进量。
15.优选地，所述识别单元包括：第一搭建子单元，用于搭建conv layers，用于提取图片的特征图，其中所述conv layers包括conv、pooling、relu三种层；第二搭建子单元，用于搭建区域生成网络层，使用区域生成网络层生成检测框，初步提取图片中目标候选区域；第三搭建子单元，用于搭建区域池化层，获取并分析所述特征图和目标候选区域后提取候选特征图；第四搭建子单元，搭建分类层，使用边框回归获得检测框最终精确位置，以及通过所述候选特征图判定目标类别。
16.优选地，所述训练单元包括：预处理子单元，用于对所述图像数据集中的图片进行预处理；测试子单元，用于所述预训练的faster
‑
rcnn模型对预处理后的图片进行测试，获取测试结果；评估子单元，用于预设平均精确率ap阈值，根据所述测试结果进行评估，若评估结果低于平均精确率ap阈值，则修改所述预训练的faster
‑
rcnn模型参数，直至测试结果达到所述平均精确率ap阈值。
17.从以上技术方案可以看出，本技术实施例具有以下优点：
18.本发明实施例提供的一种ai智能垃圾识别分类方法，包括：通过训练 faster
‑
rcnn模型，获取现场图像，将所述现场图像输入到所述训练好的 faster
‑
rcnn模型中，利用训练好的faster
‑
rcnn模型识别垃圾站内的垃圾类别，并确定垃圾在所述现场图像中的实时坐标，根据所述实时坐标确定行进量，从而根据行进量控制机械臂或其他抓取装置抓取垃圾，实现对站内垃圾的智能分拣工作，无需工人分拣操作，不仅提高了分拣效率，同时还制止了恶劣环境对工人的危害，并且适用于不同场景，有效解决了人工分拣垃圾效率低的技术问题。
19.本发明实施例提供的一种ai智能垃圾识别分类系统，具有和上述方法相同的效果，在此不做赘述。
附图说明
20.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中附图仅仅是本发明的一些实施例，对于本领域普通的技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他
附图，应当理解的是，本说明书中描述的具体实施方式仅仅为了解释本发明，并非为了限定本发明。
21.图1为本发明实施例提供的一种ai智能垃圾识别分类方法的流程图；
22.图2为本发明实施例提供的一种ai智能垃圾识别分类系统的模块框图；
23.图3为本发明实施例提供的一种ai智能垃圾识别分类系统的结构示意图。
具体实施方式
24.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
25.参见图1，本发明实施例的一种ai智能垃圾识别分类方法，包括以下步骤：
26.步骤1、搭建预训练的faster
‑
rcnn模型，faster rcnn是由rossgirshick由何凯明等人在2016年将其用于目标检测任务中，能够完成高效的与传统的rcnn相比，利用rpn(region proposal networks)完成候选框的选择。faster r
‑
cnn网络分为两部分，一是region proposal network(rpn)，二是fast r
‑
cnn。其中rpn包括图中proposals和conv layers，fast r
‑
cnn 包括卷积层、roi pooling及后面全连接层等部分。faster rcnn首先将整张图片输进cnn，提取图片的feature maps。将图片特征输入到到rpn，得到候选框的特征信息。rpn对于候选框中提取出的特征，使用分类器判别是否属于待识别的目标的候选框，将属于某一类别的候选框，用回归器进一步调整其位置。最后将目标框和图片的特征向量输入到roi pooling层，再通过分类器进行分类，完成目标检测的任务，并且通过边框回归(bounding box regression) 获得目标最终的位置。
27.步骤2、获取包括多种垃圾类别的图像数据集，并指定识别对象，将图像数据集输入到预训练的faster
‑
rcnn模型进行训练，获得训练好的faster
‑
rcnn 模型。本实施例的图像数据集包括多种不同类型的垃圾图像组，每个垃圾图像组用于训练识别某一种类垃圾的faster
‑
rcnn模型，识别模型由操作人员指定识别对象，即垃圾图像识别模型由操作人员自定义命名。当利用图像数据集中的数据训练完成后，faster
‑
rcnn模型就可以识别图像数据集中包含的垃圾类别。例如，图像数据集包括矿泉水瓶、旧衣物、塑料袋三种垃圾图像组，将每个垃圾图像组依次输入到预训练的faster
‑
rcnn模型，训练完成后得到的 faster
‑
rcnn模型能识别这三种类型的垃圾，并且垃圾图像组中的数据量越多，识别精度越高。
28.步骤3、获取现场图像，将现场图像输入到训练好的faster
‑
rcnn模型中，识别现场图像中垃圾类别并确定垃圾在现场图像中的实时坐标。本实施例中识别分类方法可以应用于垃圾站、垃圾回收场或垃圾丢弃堆积的地点，现场图像为需要对垃圾分类的场所的实时图片。faster
‑
rcnn模型识别垃圾类别并确定垃圾在现场图像中的实时坐标，faster
‑
rcnn模型在识别目标时会产生检测框，其中实时坐标为识别完成时检测框的中心点坐标。
29.步骤4、分析实时坐标获取行进量，根据行进量抓取垃圾并将抓取到的垃圾放在指定位置。本实施例中，将实时坐标转换为机械手臂运动的行进量，以控制机械手臂抓取垃圾，且根据识别到的垃圾种类将垃圾放在指定位置。例如识别到的垃圾为矿泉水瓶，则机械手臂抓取垃圾后既运动到设定的用来放置矿泉水瓶的位置，实现对垃圾的分拣，便于后续回收。
30.本发明实施例实现对站内垃圾的智能分拣工作，无需工人分拣操作，不仅提高了
分拣效率，同时还制止了恶劣环境对工人的危害，并且适用于不同场景，有效解决了人工分拣垃圾效率低的技术问题。
31.进一步，在本发明实施例的一种ai智能垃圾识别分类方法中，搭建预训练的faster
‑
rcnn模型包括以下步骤：搭建conv layers，用于提取图片的特征图，其中conv layers包括conv、pooling、relu三种层；搭建区域生成网络层，使用区域生成网络层生成检测框，初步提取图片中目标候选区域；搭建区域池化层，获取并分析特征图和目标候选区域后提取候选特征图；搭建分类层，使用边框回归获得检测框最终精确位置，以及通过候选特征图判定目标类别。在本实施例中，利用树莓派来搭建faster
‑
rcnn模型。树莓派是一款基于arm 的微型电脑主板，以sd/mocrosd卡为内存硬盘，具备所有pc的基本功能，本实施例尤其涉及树莓派3b ，树莓派3b 根据faster
‑
rcnn模型框架的特点进行设计。在本实施例中，conv层的参数设置为：卷积核的大小为3＊3，步长为1，pad填充为1，将图片转换成矩阵，在conv layers经过计算后，得到的矩阵为特征图(proposal feature maps)；搭建池化层，使用roi pooling 层收集输入的特征图和proposals，提取proposal feature maps，送入到全连接层进行目标类型的判定；搭建分类层，利用proposal feature maps计算 proposal的类别，确定检测框的最终精确位置，以及通过候选特征图判定目标类别。
32.进一步，在本发明实施例的一种ai智能垃圾识别分类方法中，预训练的 faster
‑
rcnn模型进行训练的训练步骤包括：对图像数据集中的图片进行预处理；预训练的faster
‑
rcnn模型对预处理后的图片进行测试，获取测试结果；预设平均精确率ap阈值，根据测试结果进行评估，若评估结果低于平均精确率 ap阈值，则修改预训练的faster
‑
rcnn模型参数，直至测试结果达到平均精确率ap阈值。具体地，在本实施例中，用户可以自行拍摄或从网上下载图像数据集，也可以选择现有数据集pascalvoc作为用于目标检测的数据集，该数据集包含约10000张已经标注好的并且带有边框的图片，含有20个类别，用于训练模型调整系统参数；图像数据集的预处理将所有图片调整为统一大小，并且人工进行标注，在此使用labelimg进行标注生成相应的xml文件。其中阈值ap是一个小于1的百分数，其数值越接近1效果越好，但是目前的目标检测模型的ap值大概在40％到50％之间，本实施例中，平均精确率ap阈值设置为42％，利用树莓派上训练好的faster
‑
rcnn模型并用数据集进行测试，若平均精确率ap阈值低于42％，则修改参数，再次进行训练后对训练结果进行测试，若平均精确率阈值ap高于或等于42％，则可开始输入需要检测的图片，利用训练后的faster
‑
rcnn模型进行目标识别。
33.进一步，在本发明实施例的一种ai智能垃圾识别分类方法中，行进量包括 x轴行进量、y轴行进量和z轴行进量，其中，z轴行进量为预设数值，x轴行进量和y轴行进量根据实时坐标计算得到。本实施例中，抓取垃圾的机械手臂在初始时位于固定高度，每次抓完垃圾后既返回初始位置，因此，z轴行进量的预设数值可以根据机械手臂与垃圾放置点的高度设置，并进行人工校准。x轴行进量和y轴行进量根据坐标计算得到的计算步骤包括：设定参考坐标点；计算参考坐标点和实时坐标的x轴偏移量和y轴偏移量；将x轴偏移量和y轴偏移量分别乘以变换因子a获得x轴行进量和y轴行进量。参考坐标点为机械手臂在水平面上的坐标，也为原点坐标，将其和实时坐标相减获得x轴偏移量和y 轴偏移量，变换因子a为一个常数，根据实际抓取的行进量确定。例如，在实际操作时先调校确定变换因子a的值，取参考坐标为(0，0)，实时坐标为(x， y)，则x轴偏移量和y轴偏移量分别为x和y，人工输入行进量控
制机械手臂到达实时坐标的上方，然后用此时的x轴行进量和y轴行进量分别除以x和y 既获得两个方向上的变换因子a。
34.参见图2和图3，本技术实施例还提出一种ai智能垃圾识别分类系统，包括机械臂子系统100、传送带300、图像采集单元400和控制模块200。图像采集单元400，用于获取传送带300上运输垃圾的现场图像，并将现场图像输入到控制模块200；控制模块200包括识别单元220、训练单元210、坐标单元230和行进量单元240，识别单元220上搭建有预训练的faster
‑
rcnn模型，用于识别垃圾类别；训练单元210用于获取包括多种垃圾类别的图像数据集，并指定识别对象，将多种垃圾类别的图像数据集输入到预训练的 faster
‑
rcnn模型进行训练，获得训练好的faster
‑
rcnn模型；坐标单元230 用于获取垃圾在现场图像中的实时坐标；行进量单元240用于根据坐标确定行进量，并将行进量传输至机械臂子系统100；机械臂子系统100用于根据行进量抓取垃圾并将抓取到的垃圾放在指定位置。本实施例的ai智能垃圾识别分类系统，采用传送带300来运输待分类的垃圾，图像采集单元400和机械臂子系统100设置在传送带300上方且使其在水平面上尽量处于同一位置，当垃圾运输到图像采集单元400和机械臂子系统100的位置时传送带300暂时停止运行直至分拣完毕，控制模块200再控制传送带300前进。分拣过程如下：当传送带300将垃圾运输到图像采集单元400和机械臂子系统100的位置后，图像采集单元400拍摄传送带300上的现场图片，将现场图片输入到识别单元220和坐标单元230，然后通过识别单元220识别垃圾类型和通过坐标单元230获取垃圾实时坐标，坐标单元230再把实时坐标发送给行进量单元240，行进量单元240根据实时坐标确定行进量，并将行进量传输至机械臂子系统100，机械臂子系统100根据行进量抓取垃圾并将抓取到的垃圾放在指定位置，实现垃圾分拣，无需工人分拣操作，不仅提高了分拣效率，同时还制止了恶劣环境对工人的危害，并且适用于不同场景。
35.在本实施例中，控制模块200采用树莓派来实现，树莓派内部放置一块 3.7v3800mah的mini电池，用于给树莓派系统供电，最大输出电流1.4a，持续使用可以保证8小时左右的续航；一方面，可以在供电系统出现事故时，维持树莓派操作系统的正常运行。图像采集单元400采用高清摄像头，高清摄像头通过固定架固定在传送带300上方。
36.进一步，在本发明实施例的一种ai智能垃圾识别分类系统中，控制模块200 还包括复位单元，复位单元用于当将抓取到的垃圾放在指定位置后，控制机械臂控制系统回到初始位置。
37.进一步，在本发明实施例的一种ai智能垃圾识别分类系统中，行进量单元 240包括预设子单元和计算子单元，预设子单元用于获取预设的z轴行进量，计算子单元用于根据实时坐标计算x轴行进量和y轴行进量。
38.进一步，在本发明实施例的一种ai智能垃圾识别分类系统中，识别单元220 包括：第一搭建子单元，用于搭建conv layers，用于提取图片的特征图，其中 conv layers包括conv、pooling、relu三种层；第二搭建子单元，用于搭建区域生成网络层，使用区域生成网络层生成检测框，初步提取图片中目标候选区域；第三搭建子单元，用于搭建区域池化层，获取并分析特征图和目标候选区域后提取候选特征图；第四搭建子单元，搭建分类层，使用边框回归获得检测框最终精确位置，以及通过候选特征图判定目标类别。
39.进一步，在本发明实施例的一种ai智能垃圾识别分类系统中，训练单元210 包括：预处理子单元，用于对图像数据集中的图片进行预处理；测试子单元，用于预训练的
faster
‑
rcnn模型对预处理后的图片进行测试，获取测试结果；评估子单元，用于预设平均精确率ap阈值，根据测试结果进行评估，若评估结果低于平均精确率ap阈值，则修改预训练的faster
‑
rcnn模型参数，直至测试结果达到平均精确率ap阈值。
40.以上，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。