一种基于云端的智能化垃圾识别和清扫方法、系统与流程

技术特征：
1.本发明提供了一种基于云端的智能化垃圾识别和清扫方法，其特征在于，所述步骤包括：s1，无人清扫车摄像头依据规划路径进入检测区域进行垃圾目标搜寻；s2，无人清扫车摄像头对检测区域中搜寻到的垃圾目标进行识别，获取垃圾目标的识别信息，发送识别信息及垃圾目标清扫请求至服务器；s3，服务器对识别信息进行数据处理，对被检测到的垃圾目标进行垃圾目标分类、定位标记，根据定位标记规划清扫路径，根据垃圾目标分类选取与其相匹配的无人清扫车信息，调度相应的无人清扫车，并将包括清扫路径和无人清扫车信息的垃圾目标清扫指令发生至无人清扫车；s4，无人清扫车接收到服务器下发的垃圾目标清扫指令，依照清扫路径到达垃圾目标的定位处，对垃圾目标进行清扫；s5，无人清扫车向服务器发送定位和返回请求，服务器根据无人清扫车的定位规划返回路径，将包括返回路径的返回指令发送至无人清扫车；s6，无人清扫车执行返回指令，依照返回路径返回。2.根据权利要求1所述的一种基于云端的智能化垃圾识别和清扫方法，其特征在于，所述步骤s1包括；无人清扫车摄像头依据规划路径遍历多个检测区域进行垃圾目标搜寻；所述步骤s2包括：无人清扫车摄像头对每个检测区域中搜寻到的多个垃圾目标进行图像识别，分别获取每个垃圾目标的识别信息和位置信息，发送每个垃圾目标的识别信息、位置信息及对应的垃圾目标清扫请求至服务器；所述步骤s3包括：服务器整合上述多个垃圾目标各自的识别信息、位置信息进行数据处理，对被检测到的多个垃圾目标分别进行垃圾目标分类、定位标记，根据垃圾目标分类，将同类垃圾目标的定位标记调取至对应集合内，根据该集合内的多个定位标记规划整体清扫路径，选取与垃圾目标分类相匹配的无人清扫车信息，将多个包括整体清扫路径和无人清扫车信息的垃圾目标清扫指令发生至无人清扫车组；所述步骤s4包括：无人清扫车组接收到服务器下发的多个垃圾目标清扫指令，依照垃圾目标分类选取相对应的无人清扫车，并向无人清扫车下发整体清扫路径，每个无人清扫车依照各自接收的清扫路径依次到达各个同类垃圾目标的定位处，依次对同类垃圾目标进行清扫；所述步骤s5包括：无人清扫车向无人清扫车组发送定位和返回请求，无人清扫车组将定位和返回请求反馈至服务器，服务器根据上报的无人清扫车的定位规划返回路径，将包括返回路径的返回指令发送至无人清扫车组，再下发至所述无人清扫车。3.根据权利要求1或2所述的一种基于云端的智能化垃圾识别和清扫方法，其特征在于，所述步骤s6包括：无人清扫车执行返回指令，依照返回路径返回并将清扫的垃圾目标排除，排除完毕后无人清扫车自行导航至充电区域进行充电待命。4.根据权利要求1或2所述的一种基于云端的智能化垃圾识别和清扫方法，其特征在
于，所述步骤s1中所述的规划路径的规划方法如下：f1，采用网格对检测区域进行划分为由多个单元格组成，且将每个单元格标记为未知，每个单元格的尺寸为一个粗粒度；f2，安装有激光扫描仪的无人清扫车从检测区域的外圈的任意一个单元格进入，并实时通过激光扫描仪实时收集单元格的区域信息，在回溯机制的前提下采用螺旋状路径前进，直至无法前进后，将所经过的单元格区域划分为spiral区域；f3，选取离当前所占单元格最近的一个未知单元格，规划当前无人清扫车所占单元格至最近的一个未知单元格的最短路径，按照最短路径退出当前的spiral区域，无人清扫车进入最近的一个未知单元格；f4，无人清扫车进入最近的一个未知单元格后，在回溯机制的前提下采用螺旋状路径前进，直至无法前进后，将所经过的单元格区域划分为另一个spiral区域；f5，循环执行步骤步骤f3至f4，划分出n个spiral区域，直至无未知单元格后，将行进的整个路径作为规划路径；无人清扫车在行进过程中通过其安装的激光扫描仪对检测区域内的所有未知单元格进行障碍物检测，若在单元格中检测到障碍物，则将此单元格标记为障碍物，从建模中剔除；若在单元格中未检测到障碍物，则将其保留；建模无人清扫车遍历完所有未知单元格后，输出检测区域的建模。5.根据权利要求4所述的一种基于云端的智能化垃圾识别和清扫方法，其特征在于，步骤s2中所述的图像识别的方法为：相机数据获取，获取视频数据，从视频数据中获取图像帧，识别图像帧的场景信息；数据标注，采用垃圾目标检测的方式进行场景信息的标注，以垃圾目标为前景，其他为后景，并为标注提供场景标签，实现场景的分类；神经网络模型训练，将神经网络模型的下采样的backbone部分削减一个block使用，使下采样倍率变为16倍，并在head部分中预测结果、detect部分中进行构图，完成神经网络模型训练，其训练步骤如下：在backbone部分中进行特征提取，步骤如下：通过focus层提取不同特征，将其提取的特征下发至第一层block1进行4倍下采样，获取下采样数据一；然后下采样数据一下发至第二层block2进行8倍下采样，获取下采样数据二；最后下采样数据二下发至第三层block3，进行16倍下采样，获取下采样数据三；在head部分中预测结果，其预测步骤如下：将下采样数据三通过head1进行预测后与下采样数据二进行一次concact特征融合，获取融合特征一，且融合特征一输入head2进行一次预测；head1预测结果与head2预测结果再进行一次concact特征融合，获取融合特征二，且融合特征二进入head3进行一次预测，输出最终的head3预测结果；在detect部分中进行构图，将head2预测结果导入conv2d卷积神经网络中进行卷积运算，然后通过sigmoid对运算结果进行收敛；将head3预测结果导入另一个conv2d卷积神经网络中进行卷积运算，然后通过sigmoid对运算结果进行收敛，完成神经网络模型训练；训练完成后，得到神经网络已经训练好的模型权重，所述模型权重为神经网络训练完成的输出结果；神经网络部署，使用tensorrt将网络模型权重重新构建engine和混合精度优化以实现
跨平台和加速，将视频数据输入神经网络，得到垃圾目标的感知结果，并在真实世界坐标中显示垃圾目标结果。6.一种基于云端的智能化垃圾清扫优化系统，其特征在于，所述系统包括：无人清扫车、云端服务器其中：无人清扫车，用于依据规划路径进入检测区域进行垃圾目标搜寻，对搜寻到的垃圾目标进行图像识别，获取垃圾目标的识别信息，并发送垃圾目标清扫请求，接收下发的清扫指令，依照垃圾目标清扫路线对垃圾目标进行清扫；云端服务器，用于对垃圾目标进行分类、定位，规划垃圾目标清扫路线，并控制无人清扫车依照垃圾目标清扫路线对垃圾目标进行清扫、处理，对整个优化系统进行协同控制。7.根据权利要求6所述的一种基于云端的智能化垃圾清扫优化系统，其特征在于，所述优化系统还包括位于无人清扫车上的激光扫描仪、无人驾驶系统、云端服务器，所述无人清扫车上无人驾驶系统包括中央处理模块、惯导模块、无线通讯模块、识别模块和定位模块，其中：中央处理模块，用于数据处理及向服务器发送清扫请求和返回请求；惯导模块，用于无人清扫车依据规划路径进行移动；无线通讯装置，用于同其他模块之间建立通信连接；车端识别模块，用于对垃圾目标进行图像识别；车端定位装置，用于确定无人清扫车的位置坐标；激光扫描仪，用于扫描检测区域，获取障碍物检测距离信息；所述云端服务器包括中央处理模块、云端识别模块、云端定位模块和路径规划模块，其中：中央处理模块，用于数据处理及根据无人清扫车发出的清扫请求调度无人清扫车并对其下发清扫指令；云端识别模块，用于根据无人清扫车识别的垃圾目标信息进行垃圾目标分类；云端定位模块，用于确定垃圾目标的位置坐标；路径规划模块，用于根据垃圾目标的位置坐标对无人清扫车进行路线规划。8.根据权利要求6或7所述的基于云端的智能化垃圾清扫优化系统，其特征在于，所述无人驾驶系统用于依据规划路径进入多个检测区域进行多个垃圾目标搜寻；所述云端服务器，用于对多个垃圾目标进行分类、定位，将多个垃圾目标分类对应的定位依照类别进行集合，针对每个类别分别规划各自的垃圾目标清扫路线，并控制对应类别的无人清扫车依照垃圾目标清扫路线对垃圾目标进行清扫、处理；所述系统还包括多个无人清扫车构成的无人清扫车组，云端服务器控制多个无人清扫车，用于根据不同垃圾分类，调度对应的无人清扫车，控制每个无人清扫车依照不同分类所对应的垃圾目标清扫路线，对同一分类里的多个垃圾目标进行清扫。9.根据权利要求6或7所述的基于云端的智能化垃圾清扫优化系统，其特征在于，所述云端服务器具有一种存储一个或多个程序的的计算机可读存储介质，所述可读存储介质存储有中央处理模块、云端识别模块、云端定位模块和路径规划模块，所述各模块中的程序指令被云端服务器处理器执行时，完成权利要求1至5其中任意一个所述的一种方法。

技术总结
本发明提供了一种基于云端的智能化垃圾识别和清扫方法及相关系统。通过用于检测的无人清扫车，实现固定区域垃圾的不间断巡检和分类。通过无人清扫车组，实现垃圾定向的分类处理及回收。通过云端服网络对垃圾分类识别、对用于检测的无人清扫车、无人清扫车数量编组配置进行智能化和高效化的调度，实现垃圾的分类清扫和分类回收转运全过程中无人参与作业，降低设备的用电成本、降低人工成本。降低人工成本。


技术研发人员：周尚谕 王科未 韩杨 苗蕾 马雷霆 王甜 朱思思
受保护的技术使用者：东风悦享科技有限公司
技术研发日：2021.12.22
技术公布日：2022/4/15