一种基于巡逻移动机器人的视觉伺服植物浇灌方法及装置与流程

本发明涉及植物浇灌，特别涉及一种基于巡逻移动机器人的视觉伺服植物浇灌方法及装置。

背景技术：

1、随着校园、工厂园区、公园及办公园区等场所绿化面积的增加，花卉、灌木、草坪和树木等植物的日常养护需求不断提高。现有园区植物浇灌通常依赖人工巡查和人工浇灌，工作人员需要根据植物分布位置、植物种类和环境情况逐一区分浇灌对象并进行浇水作业，在高温、干燥等天气条件下，该类作业不仅劳动强度较大，而且浇灌效率较低，难以适应大范围、多种类植物的连续养护需求。

2、现有技术中，部分自动浇灌设备能够按照固定路线、固定喷洒方向或预设时间对植物进行浇灌，也有部分方案能够根据植物类别选择不同喷头或调整浇灌参数。然而，该类方案大多依赖非视觉方式或简单图像识别方式进行控制，难以准确获取植物目标的三维位置、目标姿态和待浇灌区域，喷洒方向通常较为固定，在植物遮挡、植物形态不规则或机器人与植物相对位置变化的情况下，容易出现喷洒偏移、局部浇灌不足或非目标区域过量喷洒的问题，进而造成浇灌盲区和水资源浪费。

技术实现思路

1、针对现有技术的不足，本发明的目的在于提供一种基于巡逻移动机器人的视觉伺服植物浇灌方法及装置，旨在解决现有技术中浇灌效率低、浇灌效果差的技术问题。

2、为了实现上述目的，第一方面，本发明提供了：一种基于巡逻移动机器人的视觉伺服植物浇灌方法，包括以下步骤：

3、通过设置于巡逻移动机器人上的视觉采集组件获取待浇灌场景的彩色图像和深度信息，并基于所述彩色图像识别植物目标及其植物类型；

4、根据所述植物目标的识别结果判断所述植物目标是否满足浇灌触发条件，若满足所述浇灌触发条件，则基于所述植物类型、所述深度信息以及所述巡逻移动机器人的当前位姿，确定与所述植物目标对应的目标浇灌站位；

5、根据所述植物类型以及环境信息确定所述植物目标对应的浇灌参数和喷洒模式，所述浇灌参数包括浇灌水量、水流速度和喷洒持续时间；

6、在所述巡逻移动机器人移动至所述目标浇灌站位后，基于所述植物目标在图像中的位置偏差控制相机云台调整视觉采集方向，并基于所述相机云台的当前角度、所述植物目标的三维位置以及喷洒装置的安装偏移量，控制喷洒云台调整喷洒方向，使所述喷洒装置指向所述植物目标的待浇灌区域；

7、控制所述巡逻移动机器人沿与所述植物类型对应的预设浇灌路径移动，并在移动过程中持续调整所述相机云台和所述喷洒云台，以对所述植物目标的不同方位进行浇灌；

8、根据所述水流速度和喷洒持续时间计算所述植物目标的不同方位区域的浇灌量，并在可到达方位区域的浇灌量满足预设浇灌完成条件时，结束对所述植物目标的浇灌。

9、根据上述技术方案的一方面，所述视觉采集组件为安装于所述相机云台上的rgb-d相机；基于所述彩色图像识别植物目标及其植物类型的步骤具体包括：

10、将所述彩色图像输入目标检测模型，得到所述植物目标的类别标签、检测框坐标和置信度；

11、保留所述置信度高于预设置信度阈值的检测结果，并根据保留的检测结果确定所述植物目标及其植物类型；

12、其中，所述目标检测模型为rt-detr算法模型或yolo算法模型，所述植物类型包括盆栽花卉、低矮灌木、草坪以及高度不超过预设高度阈值的树木。

13、根据上述技术方案的一方面，所述浇灌触发条件包括以下至少一项：

14、所述植物目标距上次浇灌时间超过预设间隔阈值；

15、根据所述深度信息确定所述植物目标存在叶片萎蔫特征；

16、若所述植物目标不满足所述浇灌触发条件，或者未识别到植物目标，则跳过当前植物目标并继续检测下一植物目标。

17、根据上述技术方案的一方面，基于所述植物类型、所述深度信息以及所述巡逻移动机器人的当前位姿，确定与所述植物目标对应的目标浇灌站位的步骤具体包括：

18、根据所述植物类型从预设植物浇灌参数表中查询所述植物目标对应的推荐浇灌距离和推荐浇灌角度范围；

19、根据所述深度信息确定所述植物目标的三维位置，并结合所述巡逻移动机器人的当前位姿计算所述目标浇灌站位；

20、其中，所述目标浇灌站位满足所述巡逻移动机器人与所述植物目标的植物质心之间的距离处于所述推荐浇灌距离内，且相机视线方向与植物主轴方向之间的夹角处于所述推荐浇灌角度范围内；

21、在计算得到所述目标浇灌站位后，通过定位导航模块规划从当前位置至所述目标浇灌站位的路径，若路径可达，则控制所述巡逻移动机器人移动至所述目标浇灌站位；若所有候选路径均不可达，则将所述植物目标记录为不可达植物目标并跳过。

22、根据上述技术方案的一方面，所述推荐浇灌距离包括：

23、当所述植物类型为盆栽花卉时，所述推荐浇灌距离为0.3m至0.6m；

24、当所述植物类型为低矮灌木时，所述推荐浇灌距离为0.5m至1.0m；

25、当所述植物类型为草坪时，所述推荐浇灌距离为0.5m至1.5m；

26、当所述植物类型为树木时，所述推荐浇灌距离为1.0m至3.0m；

27、所述巡逻移动机器人到达所述目标浇灌站位后，通过视觉反馈验证所述植物目标是否处于相机视野的有效范围内，若所述植物目标未处于所述有效范围内，则微调所述巡逻移动机器人的位姿直至所述植物目标处于所述有效范围内。

28、根据上述技术方案的一方面，所述环境信息包括当前环境温度、当前相对湿度以及天气状况；根据所述植物类型以及环境信息确定所述植物目标对应的浇灌参数和喷洒模式的步骤具体包括：

29、将所述植物类型、所述当前环境温度、所述当前相对湿度以及所述天气状况输入本地存储的植物浇灌知识库，匹配得到对应的浇灌水量、水流速度和喷洒持续时间；

30、其中，所述植物浇灌知识库为预先构建的多维查找表，用于存储不同植物类型在不同温度区间、不同湿度区间和不同天气状况下的浇灌参数；

31、当所述天气状况为雨天时，减小所述浇灌水量或跳过本次浇灌；

32、当所述当前环境温度高于预设高温阈值且所述当前相对湿度低于预设干燥阈值时，增加所述浇灌水量；

33、当所述环境信息获取失败时，采用所述植物类型在所述植物浇灌知识库中存储的默认浇灌参数和默认喷洒模式执行浇灌。

34、根据上述技术方案的一方面，所述喷洒模式包括雾化喷洒模式、定向直喷模式、广角散射模式和多级组合模式；

35、当所述植物类型为盆栽花卉时，选择所述雾化喷洒模式，并将待浇灌区域确定为叶面区域；

36、当所述植物类型为低矮灌木时，选择所述定向直喷模式，并将待浇灌区域确定为茎基部和土壤区域；

37、当所述植物类型为草坪时，选择所述广角散射模式，并将待浇灌区域确定为地面区域；

38、当所述植物类型为树木时，选择所述多级组合模式，并将待浇灌区域确定为树冠区域和树干区域，其中，所述多级组合模式包括先对树冠区域进行喷洒再切换至树干区域进行喷洒。

39、根据上述技术方案的一方面，基于所述植物目标在图像中的位置偏差控制相机云台调整视觉采集方向，并基于所述相机云台的当前角度、所述植物目标的三维位置以及喷洒装置的安装偏移量，控制喷洒云台调整喷洒方向的步骤具体包括：

40、按照预设帧率接收所述视觉采集组件输出的图像流，并在每帧图像中获取所述植物目标的位置和尺寸；

41、计算所述植物目标的当前图像位置与图像中心之间的像素偏差量；

42、根据所述像素偏差量生成所述相机云台的角度调整指令，使所述植物目标保持在图像中心的预设邻域内；

43、根据预先标定得到的运动学映射关系、所述相机云台的当前角度、所述植物目标的三维位置以及所述喷洒装置相对于所述喷洒云台的安装偏移量，计算所述喷洒云台的目标角度；

44、根据所述喷洒云台的目标角度控制所述喷洒云台转动，使所述喷洒装置的喷头指向所述植物目标的待浇灌区域；

45、其中，所述运动学映射关系用于表征相机视线方向与喷洒方向之间的几何对应关系。

46、根据上述技术方案的一方面，控制所述巡逻移动机器人沿与所述植物类型对应的预设浇灌路径移动，并根据所述水流速度和喷洒持续时间计算所述植物目标的不同方位区域的浇灌量的步骤具体包括：

47、当所述植物类型为盆栽花卉或低矮灌木时，控制所述巡逻移动机器人沿以植物质心为圆心的圆弧路径移动；

48、当所述植物类型为草坪时，控制所述巡逻移动机器人沿草坪区域的边缘逐行执行平行扫描；

49、当所述植物类型为树木时，控制所述巡逻移动机器人沿以树干为中心的圆弧路径移动，并根据树冠尺寸自适应调整环绕半径；

50、通过里程计和定位导航模块记录所述巡逻移动机器人已走过的环绕角度，并将所述植物目标的表面按方位角划分为多个扇区；

51、根据所述水流速度和所述喷洒持续时间计算各扇区的浇灌量，当任一扇区的浇灌量达到该植物类型对应的预设阈值时，将该扇区标记为已完成；

52、通过障碍物检测和相机视野分析识别无法到达或无法喷洒覆盖的扇区，并将其标记为不可达扇区；

53、当除所述不可达扇区之外的全部扇区均标记为已完成时，判定所述植物目标浇灌完成。

54、另一方面，本方案还提供了一种基于巡逻移动机器人的视觉伺服植物浇灌装置，包括：

55、识别模块，用于通过设置于巡逻移动机器人上的视觉采集组件获取待浇灌场景的彩色图像和深度信息，并基于所述彩色图像识别植物目标及其植物类型；

56、站位模块，用于根据所述植物目标的识别结果判断所述植物目标是否满足浇灌触发条件，若满足所述浇灌触发条件，则基于所述植物类型、所述深度信息以及所述巡逻移动机器人的当前位姿，确定与所述植物目标对应的目标浇灌站位；

57、参数模块，用于根据所述植物类型以及环境信息确定所述植物目标对应的浇灌参数和喷洒模式，所述浇灌参数包括浇灌水量、水流速度和喷洒持续时间；

58、视觉模块，用于在所述巡逻移动机器人移动至所述目标浇灌站位后，基于所述植物目标在图像中的位置偏差控制相机云台调整视觉采集方向，并基于所述相机云台的当前角度、所述植物目标的三维位置以及喷洒装置的安装偏移量，控制喷洒云台调整喷洒方向，使所述喷洒装置指向所述植物目标的待浇灌区域；

59、浇灌模块，用于控制所述巡逻移动机器人沿与所述植物类型对应的预设浇灌路径移动，并在移动过程中持续调整所述相机云台和所述喷洒云台，以对所述植物目标的不同方位进行浇灌；

60、判断模块，用于根据所述水流速度和喷洒持续时间计算所述植物目标的不同方位区域的浇灌量，并在可到达方位区域的浇灌量满足预设浇灌完成条件时，结束对所述植物目标的浇灌。

61、与现有技术相比，本发明的有益效果在于：通过设置于巡逻移动机器人上的视觉采集组件获取植物目标的彩色图像和深度信息，并结合植物类型、浇灌触发条件、环境信息及机器人当前位姿确定目标浇灌站位、浇灌参数和喷洒模式，使机器人能够根据不同植物的空间位置、植物类型和环境状态自适应执行浇灌任务；同时，通过相机云台和喷洒云台的协同控制，以植物目标在图像中的位置偏差实现视觉跟踪，并根据相机云台角度、植物三维位置和喷洒装置安装偏移量动态调整喷洒方向，使喷头能够持续指向植物的待浇灌区域，从而提高喷洒准确性，减少因固定方向喷洒造成的浇灌盲区和水资源浪费；进一步地，通过控制机器人沿与植物类型对应的圆弧路径或平行扫描路径移动，并基于水流速度和喷洒持续时间统计不同方位区域的浇灌量，可使植物不同方位获得较均衡的浇灌覆盖，并在不可达扇区被识别后仅以可到达扇区作为完成判断对象，提高复杂园区环境下的浇灌可靠性和任务完成效率；此外，该方案复用巡逻移动机器人的移动、感知和导航能力，使同一机器人既能够执行园区巡逻任务，又能够执行植物浇灌任务，提高了设备利用率和园区养护管理的自动化水平。