一种基于无标定视觉伺服的采茶机器人及其采茶控制方法

1.本发明属于茶叶采摘技术领域，尤其涉及一种基于无标定视觉伺服的采茶机器人及其采茶控制方法。


背景技术：

2.目前对采茶机器人的控制常依靠机器视觉获得图像信息，通过上位机中的图像处理算法得到采摘坐标点，再将其发送至下位机，使采摘手运动。这种方式将采茶机器人分成了图像识别与轨迹运行两部分，但其精度与效率便有所不足。因而出现了视觉伺服的控制方法，通过安装在机器人上的视觉传感器获得图像特征信息，使其作为反馈信息驱动采摘手向目标位置靠近，便省去了坐标点读取与传送的时间，精度也会提高。通过反馈信息的不同，视觉伺服可分为基于位置(pbvs)、基于图像(ibvs)和基于混合(hbvs)三种模式。pbvs构成了3d笛卡尔空间中的闭环控制系统，高度依赖视觉传感器的精度标定和精确的几何模型，模型校准难度较大，且因为图像特征信号在控制回路之外，目标可能位于视场之外。ibvs在二维图像空间中形成一个闭环系统，并根据图像特征定义的误差信号设计反馈控制策略。hbvs又称为2.5d视觉伺服，其包含3d空间和2d空间，计算量大，若计算精度不足，系统的性能也会下降。与其他两种方法相比，ibvs的精度高、设计难度低。
3.传统的视觉伺服会着重依靠相机、机器人以及“手眼”的精确标定，标定过程中常出现图像误差。传统方法中采摘手的状态受两方面影响，一为采茶机中摄像头获取的图像信息，一为系统通过标定确定的内部参数。后者易受到环境等外部因素的干扰，使定位不准确。传统的视觉伺服因此便需要重新校准，标定和维护成本便增加，这不符合采茶机器人成本控制要求，并且也增加了计算量。


技术实现要素：

4.本发明要解决的技术问题是，提供一种基于无标定视觉伺服的采茶机器人及其采茶控制方法，能够缩短采摘计算的收敛时间，提高工作效率，使得采茶机器人能精准完成采摘工作。
5.为实现上述目的，本发明采用如下的技术方案：
6.一种基于无标定视觉伺服的采茶机器人，包括：摄像头、采摘手、视觉控制器和delta并联机构，其中，
7.视觉控制器，用于根据所述摄像头获取的嫩芽图像，通过无标定视觉伺服控制模型得到无标定视觉伺服控制信息；
8.delta并联机构，用于根据所述无标定视觉伺服控制信息，控制所述采摘手进行茶叶采摘。
9.作为优选，所述视觉控制器包括：
10.获取模块，用于获取摄像头拍摄的嫩芽图像；
11.伺服控制模块，用于通过无标定视觉伺服任务函数和基于遗传优化的极限学习机
算法将所述嫩芽图像的特征与目标期望图像的特征进行比对，得到无标定视觉伺服控制信息。
12.作为优选，所述delta并联机构包括：
13.计算模块，用于根据所述无标定视觉伺服控制信息和雅克比矩阵，得到采摘轨迹；其中，所述雅克比矩阵为采摘手运动速度与电机转速的关系矩阵；
14.采摘模块，根据所述采摘轨迹，控制所述采摘手进行茶叶采摘。
15.作为优选，所述delta并联机构的自由度为3dof，所述delta并联机构的静平台运动保持在空间中平动。
16.本发明还提供一种基于无标定视觉伺服采茶机器人的采茶控制方法，包括以下步骤：
17.步骤s1、通过视觉控制器根据所述摄像头获取的嫩芽图像，通过无标定视觉伺服控制模型得到无标定视觉伺服控制信息；
18.步骤s2、通过delta并联机构根据所述无标定视觉伺服控制信息，控制所述采摘手进行茶叶采摘。
19.作为优选，步骤s1包括：
20.获取摄像头拍摄的嫩芽图像；
21.通过无标定视觉伺服任务函数和基于遗传优化的极限学习机算法将所述嫩芽图像的特征与目标期望图像的特征进行比对，得到无标定视觉伺服控制信息。
22.作为优选，步骤s2包括：
23.根据所述无标定视觉伺服控制信息和雅克比矩阵，得到采摘轨迹；其中，所述雅克比矩阵为采摘手运动速度与电机转速的关系矩阵；
24.根据所述采摘轨迹，控制所述采摘手进行茶叶采摘。
25.作为优选，所述delta并联机构的自由度为3dof，所述delta并联机构的静平台运动保持在空间中平动。
26.本发明通过视觉控制器通过无标定视觉伺服任务函数和基于遗传优化的极限学习机算法得到视觉伺服控制信息；通过delta并联机构根据所述视觉伺服控制信息，控制所述采摘手进行茶叶采摘。采用本发明的技术方案，能够缩短采摘计算的收敛时间，提高工作效率，使得采茶机器人能精准完成采摘工作。
附图说明
27.图1为本发明基于无标定视觉伺服的采茶机器人的结构示意图；
28.图2(a)为delta并联机构的机构简化模型示意图；
29.图2(b)为delta并联机构的机构单支链模型示意图；
30.图3为视觉控制器的结构图；
31.图4为针孔模型示意图；
32.图5为ga—elm算法流程图。
具体实施方式
33.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例
中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计
34.实施例1：
35.如图1所示，本发明提供一种基于无标定视觉伺服的采茶机器人，包括：摄像头、采摘手、视觉控制器和delta并联机构，其中，
36.视觉控制器，用于根据所述摄像头获取的嫩芽图像，通过无标定视觉伺服控制模型得到无标定视觉伺服控制信息；delta并联机构，用于根据所述无标定视觉伺服控制信息，控制所述采摘手进行茶叶采摘。
37.作为本实施例的一种实施方式，视觉控制器包括：
38.获取模块，用于获取摄像头拍摄的嫩芽图像；
39.伺服控制模块，用于通过无标定视觉伺服任务函数和基于遗传优化的极限学习机算法将所述嫩芽图像的特征与目标期望图像的特征进行比对，得到无标定视觉伺服控制信息。
40.作为本发明实施例的一种实施方式，delta并联机构包括：
41.计算模块，用于根据所述无标定视觉伺服控制信息和雅克比矩阵，得到采摘轨迹；其中，所述雅克比矩阵为采摘手运动速度与电机转速的关系矩阵；
42.采摘模块，根据所述采摘轨迹，控制所述采摘手进行茶叶采摘。
43.所述采茶机器人进行叶采摘的工作流程如下：
44.(1)采茶机器人在摄像头的引导下，运动到采摘工作的初始位置，视觉控制器准备工作，当接收到嫩芽图像后采茶机器人开始闭环工作。
45.(2)摄像头拍摄获取工作范围内的嫩芽图像，进而使其传送到采茶机器人的pc机中，pc机一方面获取嫩芽的坐标以及特征点，另一方面将嫩芽图像作为目标留存在pc机中，与后续的拍摄图像对比。
46.(3)通过基于无标定视觉伺服的视觉控制器对采茶机器人的引导，delta并联机构控制采摘手携带摄像头一边向目标点运动，一边拍摄图片，借助任务函数对比，直至到达工作点，通过采摘手剪切嫩芽采摘点后，再由负压吸管中气体的流动将叶芽吸附至收集箱中；通过上述采摘轨迹，将所拍摄到的采摘点一一工作到位。
47.(4)当本空间内的图像对比无误后，采茶机器人在“眼”单元的引导下运动到下一块茶垄，并重复步骤(2)，直至当前茶垄内任务完毕，再运行步骤(1)。
48.通过摄像头拍摄图像，当将所拍摄的目标都完成采摘时，这一过程被本文定义为一次工作循环。定义采摘手从一个采摘点到另一个采摘点的过程为采摘一个周期。
49.进一步，所述delta并联机构的自由度3dof，静平台的运动保持在空间中平动。
50.由图2(a)中可知，delta并联机构静平台中心点为o，动平台的中心点为o’。主动臂的长度表示为|a
ibi
|＝l1，从动臂为|b
ici
|＝l2，依此类推，|oai|＝r，|cio
′
|＝r，其中i＝1,2,3。由图2(b)可知，静平台中的o为坐标系的基点，设置了位于空间的直角坐标系o-xyz，在o-xy平面中，oai分别与x轴的夹角为α1＝0、α2＝2π/3、α3＝4π/3，驱动器与o-xy平面的夹角则表示为θi，i＝1,2,3，将o’表示为坐标(x，y，z)。
51.由闭环矢量法，根据delta机构的几何关系，可得基于几何方法建立的delta机构
运动学位置方程，如式(1)所示：
[0052][0053]
令δr＝r-r，再令
[0054][0055]
即电机转角θi最终表达式为：
[0056][0057]
考虑到机构特性以及具体采茶工作空间下的环境约束，θi取正值解。
[0058]
无标定视觉伺服的必要条件是雅克比矩阵的建立，其能将采摘手运动速度与电机转速联系起来。
[0059]
设delta并联机构运动学方程为
[0060]
p＝f(θ)
ꢀꢀꢀ
(4)
[0061]
p为机构末端位置点与各轴转角的映射关系矩阵，将式(4)两端同时对时间t求导，得机构末端在工作空间内的运动速度与各电机转速之间的映射关系：
[0062][0063]
其中，为机构末端在工作空间内的速度矢量，表示驱动关节速度矢量，j(θ)是一个偏导数矩阵，即目标速度雅克比矩阵，也即采摘手的速度雅克比矩阵。
[0064]
令di代表b
ici
[0065][0066][0067]
由式(6)、(7)，将工作需要的末端速度规律转换到三个旋转电机需要的速度规律，从而完成精准的速度控制。
[0068]
进一步，无标定视觉伺服的控制目标可用任务函数式(8)来描述：
[0069]
e(t)＝f(m(t),a)-f
*
ꢀꢀꢀ
(8)
[0070]
其中，f和f
*
分别为系统的当前状态和期望状态，m(t)是图像测量值，a为相关模型参数，如相机焦距。以使目标函数最小化为控制目标。
[0071]
在ibuvs中，无标定伺服的性能依赖两个部分，一是图像交互矩阵的估计计算，另一个是控制器增益的选择。其中，表示从3d空间到2d图像平面的映射关系的图像交互矩阵逆矩阵的求解在ibuvs系统中起着重要的作用[20-23]。针对交互矩阵求逆的困难与奇异性
问题。本发明实施例采用智能神经网络收敛单元作为视觉控制器，其中设计了基于遗传优化的极限学习机(ga—elm)。固定不变的增益会使得系统中特征误差收敛为零的收敛速度与采摘手的工作速度相互制约，增益值大，收敛速度增加，采摘手的速度也会增加，有超过约束的风险。反之则使得收敛速度减慢，系统的计算效率降低。于是本发明实施例定义了基于模糊逻辑(fl)单元的控制器，用可变增益λa其替代固定增益，计算的输入为任务函数及其导数的l2范数，得到合适的增益。
[0072]
如图3所示，采用视觉控制器为无标定伺服控制模型，根据目标期望特征与当前图像特征的对比，构造了任务函数。处理好茶叶图像信息后，其进入伺服系统中循环。图像信息通过作为视觉控制器的神经网络智能逼近单元，求解图像交互矩阵的逆。一个采摘周期内，图像中的误差和误差导数的l2范数(||e||2,d||e||2/dt)将作为输入，计算提出的可变增益λa。逆矩阵与可变增益共同作用于基于模糊逻辑(fl)单元的机器人运动学控制器，并且机器人会遵循图像视场的约束条件，从而得到delta并联机构的雅克比矩阵与其矩阵的逆。之后，一方面通过电机转角驱动采摘手运动，另一方面又通过实际工作约束条件m(j)，影响可变增益λa。摄像头随采摘手运动，将拍摄的图像与期望图像比对，使任务函数最小化。本发明实施例以点特征的形式从茶叶嫩芽图像中提取特征。
[0073]
图4描述了针孔模型，一个三维空间坐标点，在摄像头的坐标系中表示为p(x,y,z)。交互矩阵的解析推导便采用了针孔模型的点特征，其中λ表示为摄像头的焦距大小。
[0074]
图4中投影面上有点p(u,v)，实际目标点p(x,y,z)与其坐标的关系可以用式(9)表示：
[0075][0076]
点特征在图像平面上投影速度与采摘手速度的关系由式(10)给出：
[0077][0078]
其中，ls为交互矩阵，z是点p在空间中的位置深度，获取的复杂程度较高。为此，使用代替ls，z值使用了期望值f
*
的z值。上式仅为一个点特征，须对每个特征点分别求得
[24-26]
。
[0079]
遵循控制器的设计步骤，将速度作为控制信号传输到伺服系统中，在任务函数确定后，误差与速度之间的关系表示为式(11)：
[0080][0081]
以指数的形式减少任务函数的特征误差，得到式(12)：
[0082][0083]
联立式(11)与式(12)，最终得到速度的定义式(13)：
[0084]
[0085]
l
s
是交互矩阵的逆矩阵，λ是增益值，vk为是参考坐标系中相机线速度和角速度的矢量。交互矩阵由ls∈rk×6定义，逆矩阵收敛后的输出值则随着点特征数量变化而变化，但使用收敛则会产生固定输出值。并且的解析存在一些障碍，不仅仅是矩阵的奇异性，还有相机以及特征图像中的噪声都会使其解析难度增加。收敛单元的输入为任务函数，收敛得到交互逆矩阵与误差向量的乘积函数。由此，便能得到6个与特征点数量无关且仅影响线速度和角速度的输出。
[0086]
视觉控制器基于遗传优化的极限学习机(ga—elm)算法的工作重点为：elm作为一种学习速度较快的单隐藏层算法，学习后须使误差输出最小化。在其学习之前，通过ga算法优化其输入权重w，输出权重β以及偏置b，避免算法参数选择的不当，促进elm算法提高输出精度。流程成如图5所示，
[0087]
1)、ga—elm初始化参数，编码elm网络的参数；
[0088]
2)、通过初始种群及评价适应性，得到ga中最佳参数；
[0089]
3)、经过s—c—m后，elm最优参数获得；
[0090]
4)、将最优参数放入学习中，网络开始学习，拟合计算交互矩阵的逆
[0091]
进一步，实际工作时，采摘手的运动、目标背景对比度的不够、嫩芽被其他叶芽所遮挡原因，都会有图像特征缺失的可能性，进而使得伺服任务无法完成。并且，头在图像拍摄后的传输中可能存在有噪声，图像处理便有误差，进而影响系统精度。本发明实施例根据这一问题，使用单应式矩阵构造任务函数，单应式矩阵的求解依赖于图像中的特征点，特征点的数目不少于4对。在茶叶嫩芽的图像中，特征点较为明确。当特征点的识别数目增加后，图像噪声便在系统中任务函数的帮助下有着更加合适的鲁棒性。特征点个数不会影响单应矩阵以及任务函数的维数，更不会对系统的实时性产生影响。
[0092]
常规的无标定视觉伺服的任务函数被定义]为式(14)：
[0093][0094]
其中，是估计的单应矩阵的第i行。
[0095]
系统的误差向量表示为式(15)：
[0096][0097]
其中，h0是通过堆叠单位矩阵i3×3的行来构造的。本发明实施例可以认为是使当前相机帧f与f
*
重合。为了保证这一点，定义了约束以获得每次迭代中当前和所需特征点之间的唯一投影单应矩阵可以证明e＝0当且仅当旋转矩阵r＝i3×3和位置向量t＝0。
[0098]
在本发明实施例中，定义了约束其中h4是单应矩阵的最后一个元素，并且引入了直接线性变换(dlt)来估计单应矩阵。首先，有必要对两幅图像分别进行归一化，具体如下:
[0099]
将特征点平移为和保证这些特征点的质心在原点；
[0100]
将特征点缩放为和以使它们与原点的平均距离等于
[0101]
基于齐次坐标的性质，可以用变换的像素坐标来构造齐次联立方程，如式(16)：
[0102][0103]
其中，a为系数矩阵，为的第i行；上述归一化操作的目的是防止系数矩阵a因图像噪声而病态。
[0104]
因此，的比例为新的任务函数构造为式(17)：
[0105][0106]
其中反映了单应矩阵的四个自由度。
[0107]
系统的误差矢量定义为：
[0108][0109]
其中e＝0当且仅当旋转矩阵r＝0且位置向量t＝0。
[0110]
这个新的任务函数充分利用了单应矩阵具有四个自由度的特性。这不仅降低了任务函数的维数，而且简化了需要在线估计的视觉伺服系统的状态空间，从而进一步提高了伺服系统的实时性。
[0111]
在传统的伺服系统中，任务函数的收敛速度被视作最重要的性能标准，如此便没有将采摘手的速度限制考虑在内。伺服系统应在速度限制内更快地收敛，定义了可变增益λa，其通过图像的误差及误差导数范数的输入得到，继而被循环至基于fl单元的系统运动控制器中。λa的改变对于采摘手的运行速度有影响，还需在delta并联机构的轨迹规划中，考虑工作边界等重要约束条件。于是设计的无标定伺服系统中建立约束，是对采摘手运动的限制，同时也是其能够在任意时刻停止及奇异性避免的总评价函数，定义如式(19)：
[0112][0113]
其中，j(θ)为采摘手的速度雅克比矩阵，在确定后，进入系统循环，该函数也作为了fl单元的输入。
[0114]
实施例2：
[0115]
本发明还提供一种采茶机器人的采茶控制方法，包括以下步骤：
[0116]
步骤s1、通过视觉控制器根据所述摄像头获取的嫩芽图像，通过无标定视觉伺服控制模型得到无标定视觉伺服控制信息；
[0117]
步骤s2、通过delta并联机构根据所述无标定视觉伺服控制信息，控制所述采摘手进行茶叶采摘。
[0118]
作为本实施例的一种实施方式，步骤s1包括：
[0119]
获取摄像头拍摄的嫩芽图像；
[0120]
通过无标定视觉伺服任务函数和基于遗传优化的极限学习机算法将所述嫩芽图像的特征与目标期望图像的特征进行比对，得到无标定视觉伺服控制信息。
[0121]
作为本发明实施例的一种实施方式，步骤s2包括：
[0122]
根据所述无标定视觉伺服控制信息和雅克比矩阵，得到采摘轨迹；其中，所述雅克比矩阵为采摘手运动速度与电机转速的关系矩阵；
[0123]
根据所述采摘轨迹，控制所述采摘手进行茶叶采摘。
[0124]
进一步，通过视觉控制器对采茶机器人的引导，delta并联机构控制采摘手携带摄像头一边向目标点运动，一边拍摄图片，借助任务函数对比，直至到达工作点，通过采摘手剪切嫩芽采摘点后，再由负压吸管中气体的流动将叶芽吸附至收集箱中。
[0125]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。