基于深度学习技术的智能垃圾分拣装置及方法与流程

1.本发明属于电子信息技术领域，涉及一种基于深度学习技术的offline智能垃圾分拣装置及其使用方法。


背景技术：

2.当前人们面临日益增加的垃圾产量和环境状况恶化的局面，如何有效实施垃圾分类，是当时世界各国共同关注的火急问题。智能分类垃圾桶在一定程度上能够有效的缓解上述问题。智能垃圾桶的发明，可以有效推进垃圾分类政策的实施、减少政策实施成本。
3.就目前而言，国内外的家用智能垃圾桶其功能主要为感应开盖、自动打包垃圾袋，不具备垃圾分拣的能力。而像公共区域中的智能垃圾箱同样不能够识别垃圾类型，而是人为选择后对其进行积分的奖赏。即国内外目前尚未出现能够自行分拣垃圾的垃圾桶产品。
4.国家知识产权局于2021年4月2日公开了一件公开号为cn111153085b、名称为“垃圾分类装置”的发明专利，采用筒体、分类箱、竖版等机械部件实现垃圾分类与倾倒，但不便将分类箱内的垃圾到处，并且结构仅靠物理实现，智能化差。
5.国家知识产权局于2021年5月7日公开了一件公开号为cn213140033u、名称为“智能垃圾分类装置”的实用新型专利，依靠图像识别技术来识别垃圾种类并将垃圾分类投放到对应垃圾箱中，但其缺少对于图像识别技术这一核心模块的具体讲解，缺少图像识别的操作机理与工作过程。
6.国家知识产权局于2021年月30日公开了一件公开号为cn112722633a、名称为“智能垃圾分类装置及其方法”的发明专利，可实现桶盖的开启闭合、垃圾类别提醒、垃圾投放时间提醒，但其缺少对于垃圾的自动分拣投放功能。
7.同时，得力于现如今大数据及人工智能技术的发展，尤其是机器视觉如今已有了很多落地项目，更够满足识别垃圾类别的要求。其中，mobilenet v3神经网络具有分类精度高、madd计算量小、模型轻量化的特点，引起了学者的广泛关注。
8.得力于现代电子技术发展，单片机的智能控制在生产中得到了大量的应用。其中树莓派4b和stm32单片机作为较为前沿的单片机具有大量的应用实例，具有控制性能好、操作性高等优点。
9.综上，本发明采取了基于深度学习技术的offline智能垃圾分拣装置实现高效率智能分拣垃圾的目的。该装置适用于各种环境，且安装便捷，操作简单，较为实惠，很有推广价值。


技术实现要素：

10.针对当前传统垃圾分类装置智能化差、效率低、操作性欠佳等问题，本发明的目的是提供一种基于深度学习技术的offline智能垃圾分拣装置及其使用方法
11.为了实现上述目的，本发明采用以下技术方案：
12.一种基于深度学习技术的智能垃圾分拣装置，包括框架、第一单片机、第二单片
机、lcd显示屏、电池、电池扩展板，所述框架内部通过隔板分割为上下两个空间，上方为收集部分，下方为分类部分，收集部分开设有投放口，分类部分中设置有多个垃圾桶，多个垃圾桶放置于一块圆形板上，圆形板下方安装有若干万向轮，并置于框架底部；所述隔板上开设有一个分类口，分类口的口径小于等于单个垃圾桶的口径，隔板下端的中心位置设置有第一舵机，第一舵机连接有投放板，投放板位于隔板和垃圾桶之间，投放板能够在第一舵机带动下相对于隔板的中心转动，投放板能够完全遮住或漏出分类口，所述圆形板下端的中心位置设置有第二舵机，圆形板能够在第二舵机带动下相对于隔板底部转动；所述第一单片机、第二单片机、电池安装在框架上，框架的顶部设置有lcd显示屏，投放口一侧设置有第一红外测距模块，用于检测是否有垃圾掉入，投放板底面设置有第二红外测距模块，用于检测垃圾桶剩余容量，投放板的上设置有摄像头，用于采集垃圾图像数据；所述第一单片机与第一舵机、第二舵机并联接于电池，电池与电池扩展板连接，第一单片机的usb接口与第二单片机的usb转串口模块相连，用于串口通信和供电，第一单片机通过csi总线与摄像头相连，lcd显示屏通过hdmi接口与第一单片机相接，用于实现交互功能。
13.进一步的，所述第一单片机为树莓派4b单片机，第二单片机为stm32单片机，树莓派4b单片机与stm32单片机通过usb
‑
ttl接口，利用micro
‑
usb数据线相接，用于stm32单片机的供电以及树莓派4b单片机与stm32单片机之间的串口通信。
14.进一步的，所述电池的输出线与电池扩展板上的ph2.0锂电池输入接口相接，第一单片机通过tpye
‑
c数据线连接电池扩展版上的usb
‑
a座供电。
15.进一步的，所述第一舵机和第二舵机相同，其正极与负极通过usb面焊接插头与电池扩展板上的usb
‑
b座连接，舵机信号线分别连接stm32上的io口，io口能够配置pwm输出。
16.进一步的，所述第一红外测距模块和第二红外测距模块均配置有红外传感器，其vcc与gnd分别并联接至第二单片机的5v与gnd引脚，其模拟输出信号接至第二单片机的io口。
17.进一步的，所述摄像头通过ffc软排线接到第一单片机的csi接口。
18.进一步的，所述树莓派4b单片机安装有debian系统，安装有python语言，配置pytorch、opencv深度学习框架与模块，安装pyqt5用于设计图形交互界面。
19.一种基于深度学习技术的offline智能垃圾分拣装置的使用方法，包括以下步骤：
20.步骤1，用python语言搭建mobilenet v3神经网络模型，寻找垃圾分类数据集并利用已搭建的mobilenet v3神经网络模型采集垃圾图像数据用于网络训练，编写训练脚本，存储网络模型数据；
21.步骤2，将所述智能垃圾分拣装置连接电源，运行用pyinstall打包好的垃圾分类可执行文件，第二单片机初始化其内置的定时器，并配置其内置的定时器终端和adc，第一单片机载入步骤1搭建的mobilenet v3神经网络模型；
22.步骤3，第二单片机利用中断服务函数读取第一红外传感器数据判断距离是否大于阈值，以判断是否有垃圾投入其中，若检测到垃圾投放，则通过串口向第一单片机传输信号；
23.步骤4，第一单片机等待第二单片机的串口传输信号，在接收到信号时，驱动摄像头拍摄照片，对照片进行裁剪，减少图像中的非垃圾数据，并将处理好后的照片传送至mobilenet v3神经网络模型；
24.步骤5，mobilenet v3神经网络对照片进行处理，向第二单片机输出数据，同时继续等待信号；
25.步骤6，第二单片机接收第一单片机的网络输出数据，驱动第一舵机使垃圾落入对应垃圾桶；
26.步骤7，第二单片机读取第二红外测距数据换算成垃圾桶剩余容量，并向第一单片机传输数据；
27.步骤8，第一单片机接收第二单片机的传输数据，并通过led显示屏显示分类信息与容量信息。
28.有益效果：本发明基于深度学习技术，利用树莓派4b单片机于stm32单片机来实现智能垃圾自动分拣一体化并可视化的效果。本发明将垃圾识别、自动分拣、满载检测等功能集成在该装置上，旨在简单、快速、高效地实现智能垃圾分拣。
29.本发明基于深度学习技术、树莓派4b单片机与stm32单片机，可以实现垃圾分类、垃圾自动分拣、垃圾满载检测的功能。这样的设计克服了传统垃圾桶智能化差、自动化程度低、操作不便的问题；此外，采用mobilenet v3神经网络，其具有分类精度高、madd计算量小、模型轻量化的显著优点。
附图说明
30.图1是本发明的offline智能垃圾分拣装置的电路连接图；
31.图2a是本发明的装置结构图；
32.图2b是图2a中a部分的放大图；
33.图3是本发明中mobilenet v3神经网络的执行流程；
34.图4是本发明中mobilenet v3神经网络的block结构图；
35.图5是本发明的方法流程图。
具体实施方式
36.下面结合附图对本发明做更进一步的解释。
37.如图1、2a、2b所示，本发明的一种基于深度学习技术的智能垃圾分拣装置，包括框架1、第一单片机、第二单片机、lcd显示屏、电池、电池扩展板，框架1内部通过隔板4分割为上下两个空间，上方为收集部分2，下方为分类部分3，收集部分2开设有投放口5，分类部分3中设置有多个垃圾桶6，多个垃圾桶6放置于一块圆形板7上，圆形板7下方安装有若干万向轮，并置于框架1底部；隔板4上开设有一个分类口8，分类口8的口径小于等于单个垃圾桶6的口径，隔板4下端的中心位置设置有第一舵机11，第一舵机11连接有投放板9，投放板9位于隔板4和垃圾桶6之间，投放板9能够在第一舵机11带动下相对于隔板4的中心转动，投放板9能够完全遮住或漏出分类口8，圆形板7下端的中心位置设置有第二舵机12，圆形板7能够在第二舵机12带动下相对于隔板4底部转动；第一单片机、第二单片机、电池安装在框架1上，框架1的顶部设置有lcd显示屏10，投放口5一侧设置有第一红外测距模块13，用于检测是否有垃圾掉入，投放板9底面设置有第二红外测距模块，用于检测垃圾桶剩余容量，投放板9的上设置有摄像头，用于采集垃圾图像数据；第一单片机与第一舵机11、第二舵机12并联接于电池，电池与电池扩展板连接，第一单片机的usb接口与第二单片机的usb转串口模
块相连，用于串口通信和供电，第一单片机通过csi总线与摄像头相连，lcd显示屏通过hdmi接口与第一单片机相接，用于实现交互功能。
38.隔板4为两块，且完全相同，第一单片机、第二单片机、电池等放置于两层隔板之间。
39.第一单片机为树莓派4b单片机，第二单片机为stm32单片机，树莓派4b单片机与stm32单片机通过usb
‑
ttl接口，利用micro
‑
usb数据线相接，用于stm32单片机的供电以及树莓派4b单片机与stm32单片机之间的串口通信。
40.述电池的输出线与电池扩展板上的ph2.0锂电池输入接口相接，第一单片机通过tpye
‑
c数据线连接电池扩展版上的usb
‑
a座供电。
41.第一舵机和第二舵机相同，其正极与负极通过usb面焊接插头与电池扩展板上的usb
‑
b座连接，舵机信号线分别连接stm32上的io口，io口能够配置pwm输出。
42.第一红外测距模块和第二红外测距模块均配置有红外传感器，其vcc与gnd分别并联接至第二单片机的5v与gnd引脚，其模拟输出信号接至第二单片机的io口。
43.摄像头通过ffc软排线接到第一单片机的csi接口。
44.树莓派4b单片机型号为树莓派4b 4g；stm32单片机型号为stm32f407；所述第一舵机和第二舵机的型号为td
‑
8120mg；所述第一红外传感器和第二红外传感器的型号为gp2y0a21yk0f(量程10
‑
80cm)；所述摄像头型号为raspberry pi camera module v2；所述lcd显示屏型号为hd disclb 7inch；所述电池型号为raspberry pi club 3.7v 10000mah；所述电池扩展板型号为rpi upspack standard v3p。
45.树莓派4b单片机安装有debian系统，安装有python语言，配置pytorch、opencv深度学习框架与模块，安装pyqt5用于设计图形交互界面。
46.首先要在树莓派4b单片机上部署pytorch框架，安装opencv，pyqt5等模块，搭建好mobilenet v3神经网络，并在电脑上根据采集的生活垃圾数据集进行模型训练，可直接将训练后的模型移植到树莓派上。
47.gp2y0a21yk0f红外测距模块为模拟输出，应对stm32单片机相应io口进行ad转换的初始化。配置定时中断，在定时中断中读取红外测距模块的值，当该值小于某一阈值时认定有垃圾投放到投放板上，此时stm32单片机通过串口发送信息告诉树莓派4b单片机有垃圾投入。此时树莓派4b单片机调用摄像头采集投放板上的图像数据，并将其传入神经网络模型中，再通过串口将识别得到的垃圾种类返回给stm32单片机，stm32单片机根据得到的信息判断底下的垃圾桶应旋转的角度，并控制舵机将对应垃圾桶移动到投放口正下方，控制与投放板相连的舵机旋转，使投放板上的垃圾落入桶中。调用投放板下方的红外测距模块判断垃圾桶剩余容量，将此值通过串口送给树莓派4b单片机，树莓派4b单片机将相应信息通过显示屏显示出来。
48.结合图3、图4，所述的mobilenet v3神经网络采用block结构，图中nl表示非线性激活函数，dwise表示深度可分离卷积，pool表示平均池化层，fc表示全连接层，relu表示relu激活函数，hard
‑
σ表示h
‑
sigmoid激活函数。mobilenet v3的网络块结构综合了mobilenetv1的深度可分离卷积(depthwise separable convolutions)、mobilenetv2的倒残差结构(the inverted residual with linear bottleneck)和mnasnet的基于squeeze and excitation结构的轻量级注意力模型的思想，并且加入了se模块即注意力机制。
49.结合图5，一种基于深度学习技术的offline智能垃圾分拣装置的使用方法，包括以下步骤：
50.步骤1，用python语言搭建mobilenet v3神经网络模型，寻找垃圾分类数据集并利用已搭建的mobilenet v3神经网络模型采集垃圾图像数据用于网络训练，编写训练脚本，存储网络模型数据；
51.步骤2，将所述智能垃圾分拣装置连接电源，运行用pyinstall打包好的垃圾分类可执行文件，第二单片机初始化其内置的定时器，并配置其内置的定时器终端和adc，第一单片机载入步骤1搭建的mobilenet v3神经网络模型；
52.步骤3，第二单片机利用中断服务函数读取第一红外传感器数据判断距离是否大于阈值，以判断是否有垃圾投入其中，若检测到垃圾投放，则通过串口向第一单片机传输信号；
53.步骤4，第一单片机等待第二单片机的串口传输信号，在接收到信号时，驱动摄像头拍摄照片，对照片进行裁剪，减少图像中的非垃圾数据，并将处理好后的照片传送至mobilenet v3神经网络模型；
54.步骤5，mobilenet v3神经网络对照片进行处理，向第二单片机输出数据，同时继续等待信号；
55.步骤6，第二单片机接收第一单片机的网络输出数据，驱动第一舵机使垃圾落入对应垃圾桶；
56.步骤7，第二单片机读取第二红外测距数据换算成垃圾桶剩余容量，并向第一单片机传输数据；
57.步骤8，第一单片机接收第二单片机的传输数据，并通过led显示屏显示分类信息与容量信息。
58.本发明基于深度学习技术、树莓派4b单片机与stm32单片机，可以实现垃圾分类、垃圾自动分拣、垃圾满载检测的功能。这样的设计克服了传统垃圾桶智能化差、自动化程度低、操作不便的问题；此外，采用mobilenet v3神经网络，其具有分类精度高、madd计算量小、模型轻量化的显著优点。
59.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。