一种面向自遮挡莲蓬的机械臂采摘方法

摘要: 本发明涉及采摘机器人,特别是涉及一种面向自遮挡莲蓬的机械臂采摘方法。背景技术:1、长期以来,莲蓬采摘依赖人工作业,不仅劳动强度大、效率低,而且人工成本高,已难以...
一种面向自遮挡莲蓬的机械臂采摘方法

本发明涉及采摘机器人,特别是涉及一种面向自遮挡莲蓬的机械臂采摘方法。

背景技术:

1、长期以来,莲蓬采摘依赖人工作业,不仅劳动强度大、效率低,而且人工成本高,已难以适应规模化种植的需求。发展莲蓬自动化采摘技术,已成为莲蓬产业降本增效的迫切需求。

2、实现莲蓬自动化采摘,关键在于准确获取采摘点信息。在果蔬采摘技术领域,采摘点定位方法已得到广泛应用,常规自动化采收系统通常只需单一视角即可完成果实识别与采摘点计算。但莲蓬与上述果实不同,其生长姿态多样、朝向不一,单一视角难以保证荷梗采摘段始终可见。由于莲蓬朝向无规律,若仅从某一固定方向观测,部分莲蓬的荷梗采摘段会被莲蓬自身遮挡,此时,视觉系统无法完整、有效地观测荷梗采摘段,进而无法计算出准确的采摘点坐标和采摘向量,最终导致采摘机器人无法执行采摘动作,影响自动化作业的稳定性和经济性。

3、针对上述问题,公告号为cn119152033b的专利文件公开了一种基于多视角观测的莲蓬采摘点定位方法,该方法采用多台深度相机建立多视角观测体系,结合深度视觉和深度学习手段,实现对不同姿态莲蓬的采摘点定位和采摘段定向计算,能够解决荷梗采摘段被遮挡时采摘点无法计算的问题。然而,该方法主要着眼于多视角观测与采摘信息计算,属于感知层面的方案,未涉及机械臂如何根据采摘信息完成采摘动作;此外,该方法依赖多相机系统,存在视觉系统设置较复杂、标定过程繁琐、多视角数据处理量大等问题。

技术实现思路

1、为解决单一视角下荷梗采摘段被莲蓬自身遮挡、采摘信息无法获取的问题,本发明提供一种面向自遮挡莲蓬的机械臂采摘方法。该方法依托深度学习关键点检测判定自遮挡姿态,利用主动视角调整程序调整观测视角至莲蓬侧向,再次获取采摘信息,驱动机械臂完成采摘,以解决自遮挡下的莲蓬自动采摘难题。

2、本发明采用的技术方案是:一种面向自遮挡莲蓬的机械臂采摘方法,包括以下步骤:

3、步骤1,构建莲蓬采摘系统,包括多轴机械臂、深度相机、莲蓬采摘末端执行器以及控制系统;所述莲蓬采摘末端执行器安装在多轴机械臂末端,所述深度相机安装在莲蓬采摘末端执行器上方;所述多轴机械臂上设置一基坐标系{r},所述深度相机上设置一相机坐标系{c},所述莲蓬采摘末端执行器上设置一工具坐标系{g};所述莲蓬采摘末端执行器包括夹爪、采摘手指、刀片;所述夹爪能驱动安装于其端面的两个采摘手指进行开合运动,所述刀片位于采摘手指下部;所述控制系统包括莲蓬识别程序、莲蓬姿态判断程序和主动视角调整程序;

4、步骤2,启动莲蓬采摘系统,多轴机械臂驱动深度相机移动至初始位姿,深度相机执行第一次图像采集,获取包含目标莲蓬的rgb图像和深度数据;所述初始位姿为莲蓬采摘系统开始采摘作业前深度相机的预设工作位姿;

5、步骤3,莲蓬识别程序执行第一次检测,识别所述rgb图像中目标莲蓬的莲蓬轮廓关键点和荷梗关键点,并结合所述深度数据获取所述莲蓬轮廓关键点和荷梗关键点在相机坐标系{c}下的三维坐标;所述目标莲蓬包括莲蓬蓬体,所述莲蓬轮廓关键点是指表征莲蓬蓬体边缘轮廓的关键点,所述荷梗关键点包括起始弯曲点和根部点,所述起始弯曲点为与莲蓬连接的荷梗短直段开始发生弯曲处的点,所述根部点为荷梗短直段与莲蓬连接处的点;

6、步骤4,莲蓬姿态判断程序根据所述莲蓬轮廓关键点和荷梗关键点的有无判断莲蓬姿态类别,当检测到莲蓬轮廓关键点均存在且荷梗关键点均不存在时,判定莲蓬为自遮挡姿态,此时,荷梗采摘段被目标莲蓬遮挡,无法得到采摘信息以执行采摘操作;所述荷梗采摘段是指荷梗上位于所述起始弯曲点与所述根部点之间的荷梗区段;

7、步骤5,当所述目标莲蓬为自遮挡姿态时,对莲蓬轮廓关键点进行空间圆拟合,获取莲蓬特征信息,所述莲蓬特征信息为莲蓬特征点和莲蓬特征向量,所述莲蓬特征点为拟合圆的圆心,所述莲蓬特征向量为拟合圆所在平面的法向量,所述莲蓬特征向量在相机坐标系{c}下的zc分量为正时,将所述莲蓬特征向量整体反向;当所述zc分量为非正值时,保持所述莲蓬特征向量不变;随后将所述莲蓬特征信息由相机坐标系{c}转换至基坐标系{r};

8、步骤6,多轴机械臂驱动莲蓬采摘末端执行器到达预备位姿,随后启动主动视角调整程序;所述预备位姿为工具坐标系{g}的zg轴指向所述莲蓬特征点在平面u上的投影点、yg轴与基坐标系{r}的zr轴反向、且原点og与所述投影点距离为预设值rt的位姿;所述平面u为过步骤6开始时工具坐标系{g}原点og且平行于基坐标系{r}的xr-yr平面的平面;所述主动视角调整程序用于控制多轴机械臂驱动莲蓬采摘末端执行器做旋转-平移复合运动,具体地,先构建一过所述莲蓬特征点且平行于基坐标系{r}的zr轴的旋转轴,再使莲蓬采摘末端执行器以rt为半径绕所述旋转轴旋转角度γ,同时沿基坐标系{r}的zr轴负方向下移距离ha,在此过程中,工具坐标系{g}的zg轴的方向始终保持与所述旋转轴垂直,且yg轴方向保持不变,所述深度相机随所述莲蓬采摘末端执行器运动至目标莲蓬的侧向,荷梗采摘段被完全观测,能够得到有效的采摘信息以执行采摘操作;

9、所述角度γ根据莲蓬特征向量在基坐标系{r}的xr-yr平面上的投影与相机坐标系{c}的zc轴在基坐标系{r}的xr-yr平面上的投影之间所夹的夹角θ确定,所述夹角θ的取值范围为0° ≤ θ ≤ 90°;

10、步骤7,深度相机执行第二次图像采集,所述莲蓬识别程序对所获rgb图像执行第二次检测,识别目标莲蓬的荷梗关键点,并结合所述深度数据获取荷梗关键点在相机坐标系{c}下的三维坐标,将荷梗关键点的三维坐标由相机坐标系{c}转换至基坐标系{r};随后,根据荷梗关键点计算出采摘信息,所述采摘信息具体为采摘点坐标和采摘向量,其中采摘点是所述起始弯曲点和所述根部点的中点,采摘向量是由所述起始弯曲点指向所述根部点;

11、步骤8,多轴机械臂驱动所述莲蓬采摘末端执行器到达所述采摘信息对应的位姿,其中,工具坐标系{g}的yg轴正方向与所述采摘向量方向相反;

12、步骤9,莲蓬采摘末端执行器的夹爪驱动采摘手指夹紧荷梗采摘段,并由刀片切断荷梗,随后携带目标莲蓬退回并将其放置,完成采摘过程。

13、进一步地,所述角度γ = 90° - θ。

14、进一步地,所述步骤6中旋转运动的转向确定规则如下:

15、将莲蓬特征向量投影至基坐标系{r}的xr-yr平面上,得到方向判断向量v;分别提取向量v沿xr轴、yr轴方向的分量,记作vx、vy;若vx和vy同号,莲蓬采摘末端执行器绕旋转轴沿第一方向旋转;若vx和vy异号,莲蓬采摘末端执行器绕旋转轴沿与第一方向相反的第二方向旋转;所述第一方向为以基坐标系{r}的zr轴负方向为观察方向的顺时针方向,所述第二方向为以基坐标系{r}的zr轴负方向为观察方向的逆时针方向。

16、进一步地,所述莲蓬识别程序为深度学习关键点检测模型。

17、进一步地,所述莲蓬轮廓关键点的数量不少于3个。

18、进一步地,所述空间圆拟合采用平面约束最小二乘空间圆拟合方法:先基于莲蓬轮廓关键点拟合空间平面及其法向量;再以圆心位于所述空间平面上、且各莲蓬轮廓关键点到圆心距离相等为约束,通过最小二乘法求解圆心;最后以各莲蓬轮廓关键点到圆心距离的平均值作为拟合圆半径。

19、进一步地,所述工具坐标系{g}原点og与所述投影点的距离rt的取值范围为200~500 mm。

20、进一步地,所述距离rt = 400 mm。

21、进一步地,所述下移距离选用ha = 50 mm。

22、进一步地,所述多轴机械臂为串联机械臂,具体为六轴协作机械臂;所述夹爪为电动夹爪。

23、与现有技术相比,本发明的有益效果是:1.本发明通过深度学习关键点检测模型识别莲蓬轮廓关键点和荷梗关键点,进而由莲蓬姿态判断程序判定自遮挡姿态,为后续主动视角调整提供触发条件。2.本发明通过主动视角调整程序,使深度相机随末端执行器运动至莲蓬侧向,将原本被遮挡的荷梗采摘段变为可见,从而在自遮挡条件下仍能获取采摘信息并完成采摘,提高了莲蓬自动采摘成功率。3.本发明仅需单台深度相机即可实现对自遮挡莲蓬的采摘,无需多相机系统,降低了硬件成本与部署复杂度,有利于实际应用。