一种基于ROS智能AGV小车的生活垃圾回收系统及其运行方法与流程

一种基于ros智能agv小车的生活垃圾回收系统及其运行方法
技术领域
1.本发明涉及生活垃圾回收技术领域，具体涉及一种基于ros智能agv小车的生活垃圾回收系统及其运行方法。


背景技术：

2.随着经济的发展、城市化进程的加快和人民生活水平的日渐提高，垃圾的排放量迅速增加，导致生活垃圾处理与回收难度也日益困难。现阶段虽进行了垃圾分类，将垃圾类别分为可回收垃圾、不可回收垃圾、有害垃圾、厨余垃圾四类，但是因垃圾类别繁多冗余，导致人们将垃圾正确分类并正确投递至对应垃圾箱十分困难。因垃圾分类的困难使得生活垃圾随意丢弃的情况时常出现，生活垃圾难以完成准确、及时的回收，生活垃圾回收体系残缺等问题不断涌出。生活垃圾回收的不到位，导致生活垃圾回收处理更加困难，加上定时定点的单一回收方式，使得人力资源与物力资源耗费较多。
3.现有中虽然研究了智能垃圾回收设备，但大部分生活垃圾智能回收装置缺少智能化、可视化、便利化的人机交互系统，投递生活垃圾没有人性化图标可以引导人们进行生活垃圾正确投递。如授权公告号为cn107918316a的中国发明专利公开了一种智能垃圾回收系统及垃圾桶溢满处理方法，包括智能垃圾桶、智能垃圾车、微信小程序客户端以及上位机监控中心，智能垃圾桶包括垃圾桶桶体、垃圾桶控制器、垃圾检测装置、桶盖翻转装置、垃圾桶定位装置和垃圾桶通信装置，垃圾桶定位装置通过gps定位，本发明的垃圾检测是通过红外对管实现，当垃圾桶的垃圾达到了一定的高度阻挡红外光线而触发垃圾溢满报警信号，这种垃圾量检测方式比较现有的技术提高了垃圾量检测的准确性，将zigbee网络技术和gprs通信方式技术结合使用，降低了现有技术智能垃圾桶均采用gprs网络通信带来的高昂成本。上述方案虽然解决了垃圾溢满报警和节约通信成本的问题，但在垃圾箱与投递者的人机交互及垃圾车的行驶路径选择上还有待优化。


技术实现要素：

4.本发明所要解决的技术问题是提供一种基于ros智能agv小车的生活垃圾回收系统及其运行方法，本系统可自主辨别垃圾种类后正确投递至对应垃圾桶，且当垃圾桶满载时将进行生活垃圾自主回收。
5.为解决上述技术问题，本发明公开了一种基于ros智能agv小车的生活垃圾回收系统，包括上位机，以及与上位机连接的智能回收垃圾箱、智能回收小车、智能回收客户端。
6.所述智能回收垃圾箱包括垃圾箱处理器、显示屏装置、垃圾回收装置、垃圾投递装置、人体检测及照明装置、垃圾箱通信装置、垃圾识别装置和垃圾桶状态检测装置，其中，显示屏装置、垃圾回收装置和垃圾投递装置分别与垃圾箱处理器的输出端连接，人体检测及照明装置、垃圾箱通信装置、垃圾识别装置和垃圾桶状态检测装置分别与垃圾箱处理器的输入端、输出端连接。
7.所述智能回收小车包括小车处理器、定位机构、视觉机构、驱动机构、搬运机构、导
航机构、通信机构、人机交互机构，其中，定位机构和视觉机构分别与小车处理器的输入端连接，驱动机构和搬运机构分别与小车处理器的输出端连接，导航机构、通信机构和人机交互机构分别与小车处理器的输入端、输出端连接。
8.所述智能回收客户端包括客户端处理器、以及与客户端处理器的输入端、输出端分别连接的信息接收模块、通信模块、小车操控模块和积分数据库模块。
9.优选的，所述人体检测及照明装置主要由人体感应测距模块与照明模块组成，人体感应测距模块位于智能回收垃圾箱中偏下部，其包括hc
‑
sr505迷你小型人体感应模块和hc
‑
sr04超声波测距模块；照明模块位于智能回收垃圾箱顶部。
10.优选的，所述垃圾桶状态检测装置主要由红外感应模块和报警电路构成，所述红外感应模块用于判定智能回收垃圾箱内垃圾含量超过安全容量值时，进入“消抖”模式，延迟一段时间后，再进行判定，若智能回收垃圾箱内垃圾含量超过安全容量值，发送信号至垃圾箱处理器，同时智能回收垃圾箱上的报警电路的蜂鸣器鸣叫、报警灯点亮，以作报警作用。
11.优选的，所述垃圾回收装置主要由步进电机、旋转盘、五类垃圾桶组成，其中五类垃圾桶包括可回收垃圾桶、不可回收垃圾桶、有害垃圾桶、其他垃圾桶和人为干预变量垃圾桶，当垃圾种类识别成功后，垃圾箱处理器发送信号驱动步进电机带动旋转盘，使对应垃圾桶对准投递口，准备接收生活垃圾。
12.优选的，所述垃圾投递装置主要由投递电机与格挡板组成，当对应五类垃圾桶转动至投递口下方后，发送信号至垃圾箱处理器，垃圾箱处理器发送信号至投递电机驱动投递电机拉走格挡板，使垃圾因重力掉入对应五类垃圾桶的其中一桶中。
13.优选的，所述垃圾识别装置由语音模块与openmv模块进行双模式识别，通过语音唤醒，进入人机交互模式，通过语音交互进行垃圾类别分类，通过关键词汇进行垃圾种类判定，判定成功后进行语音播报，播放信息为垃圾种类与识别成功与否，通过openmv摄像头进行自主识别，御用microphthon解析器进行图像处理，由edgeimpulse训练模型进行垃圾种类自主识别，识别成功后进行语音播报，播放信息为垃圾种类与识别成功与否。
14.本发明还公开了一种基于ros智能agv小车的生活垃圾回收系统的运行方法，包括以下步骤：
15.(1)智能回收垃圾箱识别垃圾并进行投递；
16.(2)当智能回收垃圾箱容量被判定超过安全容量后，发出警告并发送满载信息到智能回收客户端；
17.(3)智能回收客户端接收消息后，发送信号至智能回收小车；
18.(4)智能回收小车接收信息，搬运空载垃圾桶前往指定地点，取走满载垃圾桶后将空载垃圾桶进行更换，发送处理完毕信号；
19.(5)智能回收垃圾箱解除警报，继续工作；
20.(6)智能回收小车完成更换后将满载垃圾桶进行运输到垃圾终点站处理。
21.优选的，步骤(4)中，
22.首先，智能回收小车搬运空载垃圾桶前往指定地点，先通过由gps模块定义的定位机构确定智能回收小车实时位置，通过由360
°
激光测距雷达自建地图规划最优路线，同时通过驱动机构运作起来，根据最优路线行驶最优路径；
23.其次，垃圾智能回收小车通过视觉机构与导航机构双模式判定前方是否出现障碍物，若出现障碍物则先通过驱动机构减速慢行，如若判定障碍物逐渐靠近小车则小车通过驱动机构停止原地，如若障碍物不移动则通过导航机构进行路径二次规划，重新通过驱动机构行驶最优路径；
24.最后，智能回收小车通过搬运机构、视觉机构、通信机构实时观测搬运状态，当智能回收小车到达智能回收垃圾箱后，置放空载垃圾桶，打开智能回收垃圾箱的保护盖，取走满载垃圾桶后将空载垃圾桶进行更换，而后搬运满载垃圾桶；待智能回收小车按设定路线将垃圾搬运回指定位置后，回归初始启动地点，搬运结束。
25.优选的，在步骤(3)中，
26.智能回收客户端可实时监测垃圾箱满载信息，并可通过自定义来操控智能回收小车。
27.优选的，用户可通过智能回收客户端注册账号，并且当每投递一次垃圾均可进行积分累计，各垃圾积分不同，当积分达到一定数值时，可通过爱心小商铺兑换礼品。
28.与现有技术相比，本发明具有以下优点：
29.1、整套系统完全自主，用户仅需将垃圾放置指定投放口，智能回收垃圾箱不仅可以将自主辨别垃圾种类后正确投递至对应垃圾桶，而且当垃圾桶满载时智能回收小车将进行生活垃圾自主回收，既省人力又省物力。
30.2、垃圾识别装置由语音模块与openmv模块进行双模式识别，识别效率高，且精确度也有保障。
31.3、本系统工作环境适应性强，并且仅当垃圾桶满载时才会进行生活垃圾回收任务，在减少人力资源的同时提高生活垃圾回收效率。
32.4、垃圾箱具有满载报警、播放垃圾分类公益宣传片功能。
33.5、垃圾箱能正确显示用户投递垃圾的对应分类信息。
34.6、本发明支持gmapping、hector/harto算法构建地图，支持键盘、鼠标选择区域构建地图，并且可通过摄像头实时视频传输。
35.7、agv小车(智能回收小车)搭载的机械臂与摄像头可实现动态交互；ros和机械臂运用运动学进行视觉抓取，精确度更高。
36.8、本发明搭载xr
‑
ros人机交互系统，可实现在手机端操控agv小车构建地图、实时导航等功能。
37.9、具有多点定位运动功能，根据构建的地图自主规划路径，按顺序到达目的点；如若道路不同，可进行二次路径规划，实现动态避障。
附图说明
38.图1为本发明一种基于ros智能agv小车的生活垃圾回收系统的模块框图；
39.图2为智能回收垃圾箱的结构示意图；
40.图3为智能回收小车的结构示意图；
41.图4为智能回收小车的室内运行模拟图；
42.图5为智能回收小车的室外运行模拟图。
43.附图标记：1、照明模块，2、垃圾投递装置，3、垃圾箱处理器，4、垃圾箱通信装置，5、
垃圾桶状态检测装置，6、垃圾回收装置，7、垃圾识别装置，8、语音播报单元，9、语音识别单元，10、显示屏装置，11、人体感应测距模块，12、小车处理器，13、视觉机构，14、驱动机构，15、搬运机构，16、人机交互机构，17、通信机构，18、导航机构，19、定位机构。
具体实施方式
44.为了使本发明的目的和优点更清楚明了，下面结合附图和实施例对本发明进行详细的描述。
45.本发明公开了一种基于ros智能agv小车的生活垃圾回收系统，如图1所示，包括上位机、智能回收垃圾箱、智能回收小车和智能回收客户端，所述上位机分别和智能回收垃圾箱、智能回收小车和智能回收客户端连接。
46.如图2所示，所述智能回收垃圾箱包括垃圾箱处理器3、显示屏装置10、垃圾回收装置6、垃圾投递装置2、人体检测及照明装置、垃圾箱通信装置4、垃圾识别装置7和垃圾桶状态检测装置5。所述显示屏装置10、垃圾回收装置6和生活垃圾投递装置2分别与垃圾箱处理器3的输出端连接，所述人体检测及照明装置、垃圾箱通信装置4、垃圾识别装置7和垃圾桶状态检测装置5分别与垃圾箱处理器3的输入端、输出端连接。所述垃圾箱处理器3和垃圾箱通信装置4安装于箱体上，显示屏装置10安装于箱体上端一侧，垃圾投递装置2设置于箱体的投递口正下方，垃圾回收装置6则甚至于垃圾投递装置2的下方，人体检测及照明装置设置于箱体上端、且位于投递口一侧，垃圾识别装置7设置于投递口正上方，垃圾桶状态检测装置5设置于每个垃圾桶内。
47.所述显示屏装置10与垃圾箱处理器3的输入端连接，其由7寸1080触摸显示屏、128g内存卡、喇叭扬声器组成，其可实时显示及播报投递信息，其中投递信息包含当日垃圾收取序号、垃圾种类、垃圾数量、投递是否完成，同时还可循环播放公益环保宣传片、宣传照等。
48.所述垃圾回收装置6与垃圾箱处理器3的输出端连接，垃圾回收装置6主要由步进电机、旋转盘、五类垃圾桶组成，其中五类垃圾桶包括可回收垃圾桶、不可回收垃圾桶、有害垃圾桶、其他垃圾桶和人为干预变量垃圾桶，人为干预垃圾桶专收无法精确识别垃圾种类的生活垃圾。可回收垃圾桶、不可回收垃圾桶、有害垃圾桶、其他垃圾桶和人为干预变量垃圾桶均匀分布在旋转盘的外圆周上，步进电机的主轴与旋转盘连接。当垃圾种类识别成功后，发送识别成功信号s至垃圾箱处理器3，垃圾箱处理器3发送信号驱动步进电机带动旋转盘，使对应垃圾桶对准投递口，准备接收生活垃圾。
49.所述垃圾投递装置2与垃圾箱处理器3的输出端连接，主要由投递电机与格挡板组成，所述格挡板设置于智能回收垃圾箱的投递口下方，所述投递电机的主轴与格挡板连接。当对应五类垃圾桶转动至投递口下方后，发送信号至垃圾箱处理器3，垃圾箱处理器3发送信号至投递电机驱动投递电机拉走格挡板，使垃圾因重力掉入对应类别垃圾桶中。
50.所述人体检测及照明装置与垃圾箱处理器3的输入端、输出端均连接，所述人体检测及照明装置主要由人体感应测距模块11与照明模块1组成，人体感应测距模块11位于智能回收垃圾箱中偏下部，其包括hc
‑
sr505迷你小型人体感应模块和hc
‑
sr04超声波测距模块；照明模块1位于智能回收垃圾箱顶部。当人体感应模块检测到人物时，发送信号h(人体感应信号)至垃圾箱处理器3，启动超声波测距模块，超声波模块启动后开始探测人与垃圾
箱之间的距离d，当d在设定范围内，发送点亮信号l至垃圾箱处理器3，将照明模块1点亮。照明模块1位于智能回收垃圾箱顶部，用以当行人路过或进行垃圾投递时进行照明。
51.所述垃圾箱通信装置4与垃圾箱处理器3的输入端、输出端均连接，垃圾箱通信装置4由gsm模块与无线通信模型组成，当智能回收垃圾箱容量被判定超过安全容量后，通过gsm模块发现短信至指定手机中，同时无线通信模块发送信号至智能回收客户端。
52.所述垃圾识别装置7与垃圾箱处理器3的输入端、输出端均连接，垃圾识别装置7由语音模块与openmv模块进行双模式识别，其中语音模块包括语音播报单元8和语音识别单元9，通过特定语音唤醒，如语音信号“小凯”，进入人机交互模式，通过语音交互进行垃圾类别分类，通过关键词汇进行垃圾种类判定，判定成功后进行语音播报，播放信息为垃圾种类与识别成功与否，以烟头为例，进入人机交互后，说“烟头”，即可将关键词汇信号“烟头”传递至垃圾箱处理器3进行处理。通过openmv摄像头进行自主识别，御用microphthon解析器进行图像处理，由edgeimpulse训练模型进行垃圾种类自主识别，识别成功后进行语音播报，播放信息为垃圾种类与识别成功与否。openmv摄像头拍摄检测区域中的垃圾图像，并通过串口通信将图像数据传输给垃圾箱处理器3中的垃圾检测识别模块；并且在图像传入之前需进行预处理，预处理操作包括了颜色通道顺序转换和图像格式转换；垃圾箱处理器3中的垃圾检测识别模块对采集到的垃圾图像中垃圾种类进行识别，通过算法建立垃圾检测的识别模型，可识别厨余垃圾、可回收物、有害垃圾和其他垃圾四类垃圾，训练所用数据集来源于网络开源的数据集和一部分自制数据集，并采用数据增强的方式，对图片进行翻转、扭曲、色彩抖动等操作增加数据集的增量，增强模型检测的泛化能力。具体的，在利用openmv ide采集数据集，每一个垃圾分类采用至少100张左右的数据集，在openmv ide中采集到的图像上传到edge impulse，利用edge impulse的edgeimpulse自行训练神经网络的模型，用神经网络进行机器学习的功能，训练模型，使用机器学习训练好的模型进行垃圾分类，通过拍摄图像中的内容与模型进行匹配度的计算，得到垃圾类别判定分数g，垃圾类别判定阈值为90％，垃圾类别判定分数g超过90％，说明垃圾判定成功，发送垃圾类别名称关键词至mcu进行处理。以烟头为例，若匹配度得分g超过90分，则输出“烟头”。
53.所述垃圾桶状态检测装置5与垃圾箱处理器3的输入端、输出端均连接，垃圾桶状态检测装置5主要由红外感应模块和报警电路构成，装于每一个垃圾桶内部。所述红外感应模块用于判定智能回收垃圾箱内垃圾含量超过安全容量(设定安全容量为垃圾桶的75％)值时，进入“消抖”模式，延迟一段时间后，再进行判定，若智能回收垃圾箱内垃圾含量超过安全容量值，发送满载信号f至垃圾箱处理器3，同时智能回收垃圾箱上的报警电路的蜂鸣器鸣叫、报警灯点亮，以作报警作用。
54.如图3所示，所述智能回收小车包括车体、小车处理器12、定位机构19、视觉机构13、驱动机构14、搬运机构15、导航机构18、通信机构17和人机交互机构16。所述定位机构19和视觉机构13分别与小车处理器12的输入端连接，所述驱动机构14和搬运机构15分别与小车处理器12的输出端连接，所述导航机构18、通信机构17和人机交互机构16分别与小车处理器12的输入端、输出端连接。所述小车处理器12、人机交互机构16、通信机构17、导航机构18和定位机构19设置于车体上，驱动机构14设置于车体的下部，视觉机构13设置于车体上端，搬运机构15设置于车体前端。所述定位机构19为gps模块，用于智能回收小车的定位。所述视觉机构13为openmv摄像头，openmv摄像头用于对扫描到数据实时反馈到小车处理器12
中。所述驱动机构14为四轮电机驱动，用于智能回收小车的行驶。所述搬运机构15为机械臂，用于搬运垃圾桶。所述导航机构18激光雷达构建地图。所述人机交互机构16为显示触摸屏，显示触摸屏通过hdmi线与小车处理器12进行连接，播放设备待机和检测过程中的动画，图像检测时显示画面，开启摄像头进行图像检测时的画面也将在显示屏中进行显示。所述小车处理器12接收上位机的信号后，导航机构18规划行驶路径，并启动驱动机构14向智能回收垃圾箱行驶，行驶过程中，通过导航机构18和由电机控制转动的openmv摄像头进行路障检测，到达目的地后，控制机械臂以空置垃圾桶置换满载垃圾桶，然后搬运满载垃圾桶行驶到达垃圾场后返回原地。
55.所述智能回收客户端用于用户通过智能回收客户端可用于实时监测垃圾箱满载信息，同时可对智能回收小车进行通信来选择自定义选项操控生活垃圾回收小车进行某种服务，或完成某种动作。其包括客户端处理器、信息接收模块、通信模块、小车操控模块和积分数据库模块。所述客户端处理器的输入端、输出端分别与信息接收模块、通信模块、小车操控模块和积分数据库模块连接。
56.本发明还公开一种基于ros智能agv小车的生活垃圾回收系统的运行方法，包括以下步骤：
57.步骤1：智能回收垃圾箱识别垃圾并进行投递。
58.步骤2：当智能回收垃圾箱容量被判定超过安全容量后，发出警告并发送满载信息到智能回收客户端。
59.步骤3：智能回收客户端接收消息后，发送信号至智能回收小车启动。智能回收客户端可实时监测垃圾箱满载信息，并可通过自定义来操控智能回收小车。
60.步骤4：首先，智能回收小车搬运空载垃圾桶前往指定地点，先通过由gps模块定义的定位机构19确定智能回收小车实时位置，通过由360
°
激光测距雷达自建地图规划最优路线，同时通过驱动机构14运作起来，根据最优路线行驶最优路径；
61.其次，垃圾智能回收小车通过视觉机构13与导航机构18双模式判定前方是否出现障碍物，若出现障碍物则先通过驱动机构14减速慢行，如若判定障碍物逐渐靠近小车则小车通过驱动机构14停止原地，如若障碍物不移动则通过导航机构18进行路径二次规划，重新通过驱动机构14行驶最优路径；
62.最后，智能回收小车通过搬运机构15、视觉机构13、通信机构17实时观测搬运状态，当智能回收小车到达智能回收垃圾箱后，置放空载垃圾桶，打开智能回收垃圾箱的保护盖，取走满载桶桶后将空载垃圾桶进行更换，而后搬运满载垃圾桶；待智能回收小车按设定路线将垃圾搬运回指定位置后，回归初始启动地点，搬运结束。
63.步骤5：智能回收垃圾箱解除警报，继续工作。
64.步骤6：智能回收小车完成更换后将满载垃圾桶进行运输到垃圾终点站处理。
65.生活垃圾智能回收小车人机交互部分由高亮显示屏设置，可通过该触摸屏点击自定义选项操控生活垃圾智能回收小车。生活垃圾智能回收客户端可实时监测垃圾桶状态。可通过生活垃圾智能回收小车通信部分进行小车运行控制。通过移动端选择自定义选项操控生活垃圾回收小车进行某种服务，或完成某种动作。用户可通过生活垃圾智能回收客户端注册账号。每投递一次垃圾均可进行积分累计。各类垃圾设定不同积分值。当积分达到一定数值时，可通过“爱心小商铺”兑换物品。可兑换物品有送给山区孩童的日用文具，或街边
流浪的猫狗粮食等。兑换物品数越多，个人用户爱心值越高，爱心值可兑换多种个性化装扮进行个人用户界面的装饰，兑换后爱心值不减。
66.作为一个优选实施例，阐述一种基于ros智能agv小车的生活垃圾回收系统的运行方法，智能回收垃圾箱实时对投递的垃圾进行识别并投递到相应的垃圾桶中。当智能回收垃圾箱中的任一垃圾桶容量被判定超过安全容量后，发出警告：蜂鸣器鸣叫、报警灯点亮，并通过垃圾桶通信装置中的gsm模块发送满载信息f至指定手机中，同时通过垃圾桶通信装置中的无线通信模块发送满载信号f、生活垃圾搬运请求信号p至智能回收客户端，请求搬运生活垃圾。智能回收客户端发送信号至智能回收小车，启动智能回收小车搬运空载垃圾桶(满载垃圾桶侧边有一耳形把手，用于抓取)前往指定地点。如图4、5所示，智能回收小车通过由gps模块定义的定位部分确定智能回收小车实时位置，并通过由360
°
激光测距雷达自建地图规划最优路线，通过驱动机构14使智能回收小车根据最优路线行驶最优路径，最优路径规划采用a*算法，又称启发式搜索算法，对状态空间中的每个位置进行评价，选择最优位置，在从此位置探索到目标，在启发式搜索中，采用的估价花费函数为f(n)＝g(n) h(n)，根据不同的估价花费值h(n)与已知的实际花费值g(n)会得到不同的评价花费值f(n),以判定a*算法演变后的更新函数，若h(n)的值为0，g(n)值不为零，则a*算法演变成dijkstra算法，若h(n)的值远大于g(n)的值，则a*算法编程贪婪最佳优先搜索算法，采用a*算法寻找最短路径时启发函数采用曼哈顿距离、欧氏距离和切比雪夫距离，以曼哈顿距离为例，设置(x
e
,y
e
)为终点坐标，(x
n
,y
n
)为节点n的坐标，以式h(n)＝abs(x
e
‑
x
n
) abs(y
e
‑
y
n
)进行计算，以a*算法为基础，进行改进，将路径最优算法中计算距离最短进行修正，实现路径长度最短的同时，找到转弯次数最少的路径。智能回收小车通过视觉机构13与导航机构18双模式判定前方是否出现障碍物，若出现障碍物则先通过驱动部分减速慢行，如若障碍物不移动则通过导航部分进行路径二次规划，重新通过驱动部分行驶最优路径。智能回收小车通过搬运机构15、视觉机构13实时观测垃圾桶搬运状态当智能回收小车到达智能回收垃圾箱前后，置放空载垃圾桶，打开垃圾箱保护盖，取走满载桶后将空载垃圾箱进行更换，拾起满载垃圾桶并搬运。智能回收小车按设定路线将垃圾搬运回指定位置，回归初始启动地点，搬运结束。
67.上述实施例，仅为对本发明的目的、技术方案和有益效果进一步详细说明的具体个例，本发明并非限定于此。凡在本发明的公开的范围之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。