一种智能垃圾分拣机器人控制方法、系统及介质
本发明涉及移动机器人自主控制,具体涉及一种智能垃圾分拣机器人控制方法、系统及介质。
背景技术:
1、随着智慧城市环卫体系持续建设,移动式垃圾分拣机器人逐步应用于园区、广场、室内公共区域垃圾清理作业。通过机器视觉、激光雷达感知、嵌入式控制技术,移动机器人能够自主识别地面垃圾、规避障碍物并执行抓取投放作业,大幅降低人工环卫作业成本。近年来,为解决嵌入式硬件算力不足的难题,端云协同架构逐步成为机器人智能控制的主流研究方向,通过边缘设备采集环境数据、云端部署深度学习模型完成目标推理,兼顾机器人硬件成本与识别精度。目前国内外围绕垃圾目标检测、机器人自主导航、机械臂抓取控制开展大量技术研究,但面向全流程自主分拣任务的端云协同控制方案仍存在诸多待优化问题。
2、中国专利(公开号cn116985090a)公开了一种智能垃圾分拣机器人,该方案将视觉识别、激光雷达slam导航、机械臂抓取模块部署于机器人本地嵌入式平台,依靠本地算力完成垃圾识别与路径规划,实现垃圾自主分拣;然而该方案所有ai推理任务集中在机器人本地,边缘硬件算力受限,难以部署高精度检测模型,图像识别易受光照、杂物干扰产生误检。
3、中国专利(公开号cn117531717a)公开了一种巡逻式智能垃圾分拣机器人及其工作方法,该方法采用yolov5算法识别垃圾,依靠超声波传感器实现基础避障,结合uwb定位完成区域内巡逻分拣;然而该方案仅采用简易超声感知障碍物,无法对障碍区域精细化分级处理,难以适配搜寻、靠近、抓取、投放多阶段连续作业。
4、中国专利(公开号cn120362156a)公开了一种基于多机器人协同工作的垃圾智能分拣方法及系统,该方法融合视觉与激光雷达数据获取垃圾坐标,通过任务分配算法调度多台机器人协同分拣;然而该方案侧重多机器人任务分配,缺少单台机器人完整作业控制逻辑,没有区分视觉识别决策与障碍避让的调度优先级,动态环境下易出现导航与避障指令冲突。
5、此外,现有技术普遍缺少抑制视觉误检测的机制,大多将识别感知与运动控制相互独立,未构建覆盖垃圾搜寻至投放全流程的状态机调度体系,障碍避让策略与分拣任务流程耦合性较差,难以在未知动态环境稳定完成连续自主分拣作业。
6、综上,亟需提出一种端云协同的智能垃圾分拣机器人控制方案,以解决现有方案识别可靠性不足、任务调度逻辑简单、运动控制冲突等问题。
技术实现思路
1、基于上述技术问题,本技术公开了一种智能垃圾分拣机器人控制方法、系统及介质,其所述方法具体包括:
2、采用树莓派作为边缘网关,通过摄像头采集垃圾环境图像,并按照预设帧率压缩后通过websocket上传至云端服务器,同时采集二维激光雷达扫描数据,在本地进行扫描区域划分及障碍距离信息提取;
3、在云端服务器调用yolov8n-onnx模型对图像进行垃圾目标识别,输出垃圾类别、目标中心坐标及置信度,并基于连续多帧检测结果的一致性判断有效垃圾目标;
4、树莓派根据当前任务阶段建立状态机,将机器人运行状态划分为垃圾搜索、目标靠近、抓取、垃圾桶搜索、投放及返回待机状态;
5、根据云端识别结果和本地雷达检测结果进行状态迁移控制;
6、在状态迁移控制过程中,通过二维激光雷达对机器人周围区域进行扇区化处理,将前方区域划分为机械臂操作近距区、停障区、绕行区和通行区,结合障碍距离变化及机器人运动状态生成避障等级,当障碍控制状态与导航控制状态冲突时,优先执行避障控制;
7、将垃圾类别、目标方向、障碍等级及运动控制指令进行统一编码,控制分拣机器人进行靠近、抓取和投放动作,并将执行状态反馈至树莓派;
8、根据执行反馈结果更新机器人任务状态,循环执行垃圾识别、路径调整、障碍避让及投放过程,实现未知环境下垃圾分拣机器人的端云协同自主控制。
9、优选的,所述基于连续多帧检测结果的一致性判断有效垃圾目标,具体为:预设连续检测帧数阈值、置信度阈值,采用云端yolov8n-onnx模型逐帧输出检测结果,记第帧检测结果为,其中,为垃圾类别,为目标中心像素坐标,为识别置信度;
10、连续截取帧时序图像检测结果,同时校验垃圾类别一致性、置信度有效性、目标坐标空间连续性,判定公式为:
11、
12、其中,分别为首帧检测垃圾类别与目标中心坐标,为相邻帧目标坐标偏移阈值;
13、若满足上述公式判定条件,则确认当前检测目标为有效垃圾目标,锁定目标坐标信息并下发至树莓派;若任意一帧类别不一致或置信度低于阈值,则判定为单帧误触发,舍弃本次检测结果,重新执行目标识别检测。
14、优选的,所述yolov8n-onnx模型,具体为:将训练完成的yolov8n原始pytorch模型进行轻量化转换,导出为onnx格式模型;
15、对树莓派上传的压缩图像进行预处理,统一适配yolov8n输入尺寸,采用等比例缩放、边缘补灰方式填充,像素归一化公式为:
16、
17、其中,为原始像素灰度值,为归一化后像素值,将像素值域约束至[0,1];同时完成rgb通道维度转换、图像均值方差归一化,适配onnx模型推理输入格式,255为8位rgb图像单通道像素最大灰度极值;
18、在云端ecs调用推理引擎加载量化后的yolov8n轻量化onnx模型,启用gpu并行推理加速,将预处理后的图像张量输入模型,通过多层卷积、bn归一化、c2f特征融合、sppf池化结构完成深层特征提取,输出包含目标位置偏移量、置信度、类别概率特征信息的三维推理特征张量;
19、对模型输出特征张量进行解码,还原图像真实检测框坐标,同时输出每一类垃圾的预测概率值,筛选出置信度大于预设置信度阈值的有效候选检测框;
20、对同一垃圾目标的多个重叠检测框,保留置信度最高的最优检测框,删除其余冗余框,输出精准的垃圾类别、目标中心像素坐标、有效识别置信度数据,完成单帧图像垃圾目标识别。
21、优选的,所述根据云端识别结果和本地雷达检测结果进行状态迁移控制,具体为:以云端识别结果为触发依据、本地雷达结果为环境约束;
22、在垃圾搜索状态下,当云端连续多帧校验输出有效垃圾目标,状态由垃圾搜索迁移至目标靠近状态;若云端无有效目标,无论雷达环境如何,始终维持垃圾搜索状态;
23、在目标靠近状态下,云端持续实时输出垃圾目标坐标,为机器人行进方向纠偏提供动态输入;当雷达检测目标进入机械臂近距死区且云端目标持续有效时,状态由目标靠近迁移至抓取状态;
24、在抓取状态下,屏蔽云端识别更新与雷达移动避障逻辑,执行静态抓取动作;机械臂完成夹取动作并采集到位反馈信号后,状态由抓取迁移至垃圾桶搜索状态;若抓取动作失败、无有效夹持反馈,则放弃当前目标,退回垃圾搜索状态;
25、在垃圾桶搜索状态下,关闭垃圾目标识别决策逻辑,以预设垃圾桶坐标为导航基准,雷达检测结果全程约束行进安全;雷达检测到达垃圾桶投放专属区域、无阻挡障碍时,状态由垃圾桶搜索迁移至投放状态;
26、在投放状态下,不受云端识别与雷达导航干扰,完成垃圾释放并获取成功执行反馈后,状态由投放迁移至返回待机状态;
27、在返回待机状态下,机器人复位完成后,自动重启云端图像识别订阅与本地雷达全域检测,强制回迁至垃圾搜索状态,开启下一轮分拣;待机阶段无有效目标、无障碍触发时,保持待机稳态。
28、优选的,所述二维激光雷达对机器人周围区域进行扇区化处理,具体为:以机器人中心为坐标原点,建立极坐标系,将雷达扫描区域根据角度划分为前方扇区、左侧扇区、右侧扇区及正后方忽略区;将前方扇区根据障碍距离进行分级划分,划分为机械臂操作近距死区、停障区、绕行区、通行区。
29、优选的,所述避障控制,具体为:通过云端识别结果决定任务决策,通过本地雷达检测结果决定避障决策,本地避障决策优先级始终高于云端任务决策优先级;
30、通过障碍距离的分级划分结果,执行避障决策,在机械臂操作近距死区禁止机器人移动,执行机械臂作业;在停障区机器人立即制动停止,原地等待障碍消除;在绕行区机器人启动左右绕行避障策略;在通行区无障碍物干扰,机器人正常导航行进。
31、优选的,所述控制分拣机器人进行靠近、抓取和投放动作,具体为:stm32实时监听树莓派下发的串口帧,完成数据校验与解析,提取运动指令、避障等级、垃圾作业指令;若为移动作业指令,根据避障等级完成近距离制动校准后,驱动底盘电机执行直行、转向、停止动作;若为分拣作业指令,控制舵机调节机械臂角度,进行垃圾夹取或投放动作。
32、优选的,所述端云协同自主控制,具体为:边缘端树莓派完成图像采集、雷达数据预处理、数据上传,本地实时监测环境障碍状态;
33、云端完成图像ai推理、有效目标校验、决策数据下发;
34、树莓派融合云端识别结果与本地雷达避障数据,驱动状态机完成状态迁移,生成控制指令;
35、stm32执行底层动作并回传执行状态,并实时采集执行状态数据,生成执行反馈帧;
36、将反馈帧通过uart回传至树莓派,树莓派同步上传至云端结果显示模块,完成单次作业;
37、根据反馈结果重置机器人状态,重复上述步骤,实现未知复杂环境下垃圾分拣的不间断自主循环控制。
38、其所述系统具体为:
39、包括边缘感知网关单元、云端推理服务单元、本地决策调度单元、激光雷达感知单元、底层运动执行单元,具体为:
40、所述边缘感知网关单元分别与所述激光雷达感知单元、云端推理服务单元、本地决策调度单元建立通信连接;所述本地决策调度单元与所述底层运动执行单元串口相连;
41、所述边缘感知网关单元用于采集环境图像并压缩上传至云端推理服务单元,同步接收激光雷达感知单元输出的扫描点云并完成本地预处理;
42、所述云端推理服务单元部署yolov8n-onnx模型,接收图像数据完成垃圾目标识别,并将识别结果回传至边缘感知网关单元;
43、所述本地决策调度单元配置有限状态机,耦合云端识别结果与激光雷达障碍检测信息完成状态迁移,根据雷达扇区划分结果生成避障等级,障碍控制指令优先于导航指令;
44、所述本地决策调度单元对各类感知信息与控制指令统一编码后下发至底层运动执行单元;
45、所述底层运动执行单元执行底盘移动与机械臂分拣动作,并将执行状态反馈至本地决策调度单元,经由边缘感知网关单元实现端云状态同步,构成垃圾分拣自主控制。
46、其所述介质具体为:
47、电子设备内部用于存储程序代码与运行数据的记忆载体,既包含分拣机器人边缘网关内置的板载存储介质,也包含机器人可外接扩容的外置扩展存储介质,该存储介质划分有独立存储空间,存储空间内除存储设备底层操作系统、驱动程序外,还保存有可被设备处理器读取、加载并执行的一条或多条程序指令,程序指令封装为实现智能垃圾分拣机器人端云协同控制方法的计算机程序代码。
48、该计算机可读存储介质可选用高速随机存取存储器,也可采用非易失性存储器,例如一块或多块磁盘存储器、闪存芯片,还可选择部署在远离本地处理器的云端远端存储介质。
49、承载该存储介质的电子设备硬件架构包括至少一个处理器、至少一个存储器以及连接二者的通信总线,存储器用于固化上述程序指令,处理器通过总线调取存储器内的程序指令,运行执行前述智能垃圾分拣机器人控制方法全部流程。
50、该程序可部署在任意计算机可读存储介质中,具体介质类型包括只读存储器rom、随机存取存储器ram、可编程只读存储器prom、可擦除可编程只读存储器eprom、一次性可编程只读存储器otprom、电可擦除可编程只读存储器eeprom、cd-rom只读光盘、固态硬盘ssd,以及其他光盘存储设备、磁盘存储设备、磁带存储设备,或是其他具备数据存储、程序承载能力的合规计算机可读介质。
51、当存储介质内的程序指令被处理器运行时,执行如下步骤:以树莓派构建边缘网关采集环境图像并压缩后经由websocket上传云端服务器,同步采集二维激光雷达点云并完成本地区域划分与障碍信息提取;云端加载yolov8n-onnx模型开展垃圾目标识别,利用多帧检测结果判定有效垃圾目标;搭建多状态任务状态机,融合云端识别数据与雷达检测结果实现状态迁移;对激光雷达扫描区域扇区分级并生成避障等级,障碍控制优先级高于导航控制;统一编码各类感知信息与运动指令下发至底层控制器,驱动机器人完成垃圾靠近、抓取与投放作业;依据底层执行反馈持续更新任务状态,循环执行感知、识别、避障与分拣流程,实现未知环境下端云协同自主分拣控制。
52、相对于现有技术,本技术的技术方案具有以下技术效果:
53、本发明采用端云协同架构,边缘端树莓派仅承担图像采集、雷达点云预处理与本地调度工作,垃圾目标识别推理任务交由云端搭载yolov8n-onnx模型执行,有效降低机器人本地嵌入式硬件算力压力,控制机器人硬件成本,同时通过云端gpu算力保障垃圾目标检测精度。
54、本发明构建多帧时序联合校验策略,同步校验垃圾类别、置信度以及目标坐标空间连续性,有效过滤单帧图像光照干扰、杂物遮挡带来的瞬时误检现象,提升动态场景下垃圾目标识别的稳定性。
55、本发明构建覆盖垃圾搜索、目标靠近、抓取、垃圾桶搜索、投放、返回待机完整作业链路的有限状态机,融合云端视觉识别结果与本地激光雷达感知数据联合驱动状态迁移,实现分拣全流程任务有序自动化调度。
56、本发明对激光雷达探测区域进行角度分区与距离分级,形成多级避障等级,并确立障碍控制指令优先级高于导航任务指令,能够有效解决动态未知环境中运动控制指令冲突问题,保障机器人作业安全。
57、上述说明仅是本技术技术方案的概述,为了能够更清楚了解本技术的技术手段,从而可依照说明书的内容予以实施,并且为了让本技术的上述和其他目的、特征和优点能够更明显易懂,以下以本技术的较佳实施例并配合附图详细说明如后。
58、根据下文结合附图对本技术具体实施例的详细描述,本领域技术人员将会更加明了本技术的上述及其他目的、优点和特征。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com