一种基于视觉引导动态控制的采摘末端执行器

1.本发明涉及农用机械领域领域，更具体的说是涉及一种基于视觉引导动态控制的采摘末端执行器。


背景技术：

2.随着人口老龄化的增加和劳动力的下降，目前农业迫切需要实现智能自动化。对于农作物果实的智能自动化采摘，常由于果实的枝叶的遮挡和果实之间的重叠，对果实检测和果梗抓取造成了很大的干扰，导致采摘失败。目前的基于视觉引导的采摘末端执行器，在视觉方面，多数研究利用深度学习在果实前方检测采摘点，对于存在遮挡和重叠的果实，深度学习的方法并不能有效地检测出采摘点，而且训练深度学习的模型，往往需要大量的数据，这大大增加了计算成本。在采摘末端执行器方面，多数研究了机械臂的结构和运动的路径规划，对于末端执行器的研究，主要由气吸式，柔性手指式，机械式的目标夹持器和剪刀、电锯等切割部分组成。气吸式和柔性手指式对于定位精度要求很高，以及并不能对其实时进行动态控制，对于目前在果实前方进行视觉定位采摘点的方法，机械式单一张闭抓取很容易对重叠的果实造成伤害。因此，亟需研发一种基于视觉引导动态控制的采摘末端执行器，以提高果实收获效率，降低收获成本并实现农作物及时收获。


技术实现要素：

3.有鉴于此，为了降低计算成本、解决存在遮挡和重叠的果实采摘困难等问题，以及现有的气吸式、柔性手指式和机械式的末端执行器只能进行单一抓取，易抓取失败和损伤农作物等缺点，本发明提供了一种基于视觉引导动态控制的采摘末端执行器。
4.为了实现上述目的，本发明采用如下技术方案：
5.一种基于视觉引导动态控制的采摘末端执行器，包括支座，夹持臂，驱动装置，控制系统，深度相机和压力传感器；所述夹持臂包括第一夹持臂和第二夹持臂，所述第一夹持臂和所述第二夹持臂皆由驱动装置驱动；所述第一夹持臂上设置有切刀，所述第二夹持臂上设置有所述压力传感器；所述深度相机设置于所述支座上，并通过所述控制系统与所述驱动装置连接。
6.可选的，所述驱动装置包括夹持步进电机、联轴器，丝杆；所述夹持步进电机固定在支架一侧，所述夹持步进电机的动力输出轴通过所述联轴器与所述丝杆连接；所述丝杆上连接着所述第一夹持臂和所述第二夹持臂。
7.可选的，所述切刀滑动连接于第一夹持臂上，所述切刀由滑轨步进电机驱动。
8.可选的，所述第一夹持臂上的滑轨步进电机控制滑轨梯形丝杆的运动，通过滑块实现切片的前后移动。
9.可选的，滑轨梯形丝杆两端装有小深沟球轴承。
10.可选的，所述丝杆两端装有大深沟球轴承。
11.可选的，还设置有风扇，所述风扇设置于所述深度相机一侧。
12.可选的，所述控制系统利用canny算子获取果实底部的轮廓信息，将轮廓进行多边形曲线拟合获得边缘点，将底部的轮廓点作为最初状态值，用于卡尔曼滤波器预测下一时刻的状态值。
13.可选的，所述控制系统通过设定的约束条件，利用深度信息来定位果梗采摘点，通过夹持臂对果梗进行夹持，夹持力大小由所述第二夹持臂上的压力传感器给定，当夹持力达到预设值，所述驱动装置驱动所述第一夹持臂上的切刀移动。
14.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于视觉引导动态控制的采摘末端执行器，一次就可完成串型或者个体型果实的收获，效率高，整体结构紧凑，解决了遮挡和重叠的问题，提高了操控便捷性和安全可靠性。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
16.图1为本发明末端执行器的结构示意图；
17.图2为本发明末端执行器的俯视图；
18.图3为本发明视觉引导动态控制流程图；
19.图4为本发明末端执行器的工作流程图；
20.图5为本发明末端执行器的控制系统图；
21.图中：夹持步进电机1、联轴器2、轴承端盖3、支座4、深度相机5、风扇6、夹持梯形丝杆7、切割步进电机8、圆锯齿刀9、滑块10、滑轨梯形丝杆11、滑轨步进电机12、右夹持臂13、压力传感器14、左夹持臂15、大深沟球轴承16、小深沟球轴承17。
具体实施方式
22.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.本发明实施例公开了一种基于视觉引导动态控制的采摘末端执行器，如图1-5所示，图中，夹持步进电机1、联轴器2、轴承端盖3、支座4、深度相机5、风扇6、夹持梯形丝杆7、切割步进电机8、圆锯齿刀9、滑块10、滑轨梯形丝杆11、滑轨步进电机12、右夹持臂13、压力传感器14、左夹持臂15、大深沟球轴承16、小深沟球轴承17，具体的：
24.(1)包括支座、深度相机、左夹持臂、右夹持臂、联轴器、风扇、夹持步进电机、切割步进电机、滑轨步进电机、滑块、夹持梯形丝杆、滑轨梯形丝杆、大深沟球轴承、小深沟球轴承、圆锯齿刀、压力传感器；
25.(2)夹持步进电机固定在支架右侧，夹持步进电机的动力输出轴通过联轴器与夹持梯形丝杆连接，夹持梯形丝杆两端装有深沟球轴承，夹持梯形丝杆上连接着左夹持臂和右夹持臂，将夹持梯形丝杆的旋转副转变成夹持臂的移动副，由于梯形丝杆存在自锁，可大
大提高夹持的稳定性；
26.(3)支座的上端固定安装了深度相机和风扇；右夹持臂的手指处安装了压力传感器；左夹持臂上的滑轨步进电机控制滑轨梯形丝杆的运动，通过滑块实现圆锯片的前后移动；
27.(4)夹持梯形丝杆两端装有大深沟球轴承，滑轨梯形丝杆两端装有小深沟球轴承，可保证传动的稳定性；
28.(5)圆锯齿刀基圆中心与切割步进电机输出轴固定连接；夹持步进电机、切割步进电机由控制器控制；
29.(6)圆锯齿刀的切割范围略大于果实主茎的最大直径。
30.(7)采摘末端执行器的视觉系统检测到水果底部位置时，由机械臂带动末端执行器接近水果底部，利用深度信息控制支座与果实之间保持安全距离。
31.(8)实时轮廓预测算法可动态控制末端执行器的开合大小，推开重叠果实的同时防止末端执行器对目标果实造成伤害。
32.(9)风扇的启动需要实时轮廓预测算法是否发现存在遮挡，当存在树叶遮挡时，风扇启动，将树叶吹开。
33.(10)传感器检测需果梗是否进入末端执行器可夹持位置，若进入可夹持位置，夹持步进电机转动，带动左、右夹持臂闭合，同时压力传感器检测果梗受到的压力，当果梗受压达到预设最小损伤力(不损伤果梗，且保证水果不会在重力作用下从手爪滑落的力)时，夹持步进电机停止转动并保持当前状态。
34.(11)随后滑轨步进电机和切割步进电机同时转动，带动圆锯齿刀向果梗移动，完成果梗切断。实现果实无损采摘。
35.(12)通过深度相机获取的深度信息定位果实的最低点，引导末端执行器由果实的底部向上运动，果实一般上宽下小，所以底部不受重叠的影响，由底部开始运动避免了末端执行器对重叠果实造成损伤。
36.(13)实时轮廓预测算法：首先利用canny算子获取果实底部的轮廓信息，将轮廓进行多边形曲线拟合获得边缘点，将底部的轮廓点作为最初状态值，用于卡尔曼滤波器预测下一时刻的状态值，具体原理如公式(2)～(4)所示。
37.(14)利用卡尔曼滤波器对轮廓进行实时的预测，并与同一时刻canny算子所得的轮廓进行比对，以此判断是否预测异常，是否有树叶遮挡。
38.(15)深度相机安装在支座的上方，可以通过实时轮廓预测的视觉算法，依照果实的轮廓提前对其末端执行器的路径进行规划，通过由支座右端的步进电机和梯形丝杆以及左、右夹持臂组成的夹持机构，可以实时动态控制夹持臂的开合大小，避免碰伤农作物的同时又可以将重叠的果实推开，解决重叠因素对采摘的影响；
39.(16)当轮廓预测出现异常时，则可判定上方受到叶子的遮挡，此时支座上方的风扇可以将叶子吹开，避免了叶子的遮挡；
40.(17)通过设定的约束条件，利用深度信息来定位果梗采摘点，通过夹持机构对果梗进行夹持，夹持力大小由右夹持臂手指上的压力传感器给定，当夹持力达到预设值，左夹持臂上的滑轨电机带动滑块向前移动，同时切割电机启动，使得圆锯齿刀将果梗切断，实现果实的采摘。
41.本实施例的工作原理：本发明用于对存在重叠及遮挡的果实实现精确地采摘，采摘果实时，通过采摘机器人的深度相机5视觉系统检测需要采摘果实的底部位置，获取其深度信息，通过机械臂带动本末端执行器在支座4不会碰撞到果实的范围到达果实底部下方一定距离。手爪由左夹持臂和右夹持臂构成，深度相机5安装在支座4上方，可实时对其果实轮廓进行提前预测，计算边缘点与果实中轴线的距离，实时控制机械臂带动本末端执行器由下往上运动，动态引导夹持步进电机1动态控制手爪的开合大小。当轮廓预测异常时，则判断上方由树叶遮挡，此时风扇6启动，将树叶吹开。当检测到轮廓宽度发生突变，结合深度信息利用公式(1)可定位到果梗，此时进入可抓取状态，夹持步进电机1转动控制手爪闭合，完成果梗夹持动作，当压力传感器14测得的压力达到预设的果梗最小损伤力时，保持手爪于当前位置，然后左夹持臂15上的滑轨步进电机12启动，带动滑块10向果梗方向移动，同时滑块10上的切割步进电机8带动圆锯齿刀9高速转动，完成果梗剪切动作。完成剪切后，滑轨步进电机12复位，切割步进电机8停止转动，风扇6停止，机械臂带动本末端执行器移动至果实收集装置，手爪释放果实，完成果实采摘动作，若需采摘果实数量不为零，开始下一个水果的采摘动作，若需采摘水果数量为零，各部件复位，结束采摘。
42.df＝r dc±
δd
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
43.其中df为果梗的深度范围，r为果实的最大半径，dc为相机到果实的最近距离，
△
d为误差值。
44.x(k 1)＝a(k)x(k) t(k)w(k)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
45.z(k)＝h(k)x(k) v(k)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0046][0047]
其中，x(k)表示k时刻下的状态值，x(k 1)表示k 1时刻下的状态值，a(k)为状态转移矩阵，t(k)为干扰转移矩阵，w(k)表示运动模型的系统状态噪声，z(k)表示观测向量，h(k)为观测矩阵，v(k)为观测噪声，(xi，yi)表示实际轨迹点的位置，(xi'，yi')表示预测轨迹点的位置信息，k表示预测轨迹点的数量。
[0048]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0049]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。