通过集成激光及视觉在非结构化及嘈杂环境中用于农业物体检测的人机导引系统的制作方法

1.本发明涉及农业机器人技术，尤其涉及一种通过集成激光及视觉在非结构化及嘈杂环境中用于农业物体检测的人机导引系统。


背景技术：

2.机器人是有感知能力的机器，可以通过编程来执行各种农业任务，诸如耕种、移植、喷洒及选择性收获。农业机器人有潜力可以提高新鲜产品的质量，降低生产成本，并减少人工劳动的繁琐。然而，在农业中，环境是高度非结构化的。地形、植被、景观、能见度、照明及其他大气条件并不明确；它们不断地变化，具有内在的不确定性，并产生不可预知的动态情况。因此，在真实世界中，动态及非结构化环境中的自主机器人仍然产生不充分的结果，在这种环境中自动及高效的自主操作的承诺不如预期。


技术实现要素：

3.根据本发明，提供一种人机系统，用于执行一农业任务，所述人机系统包括：一机器人操纵器，具有耦合至一末端效应器的一农业工具：一成像装置，适用于捕获一目标的一图像，所述成像装置机械地耦合至所述末端效应器；一激光距离传感器，适用于测量所述机器人操纵器及所述目标之间的一距离，所述激光距离传感器机械地耦合至所述末端效应器并与所述成像装置搭配；以及一控制单元，包括一处理单元、一监视器及一人机界面(human-machine interface,hmi)，其中所述处理单元配置用以在所述监视器上显示所述图像，接收来自所述人机界面(hmi)的多个标记，以及为所述机器人操纵器计算一轨迹，以使用所述农业工具执行所述农业任务。
4.根据下文描述的本发明的多个优选实施例中的多个进一步特征，所述处理单元进一步配置用以：接收来自所述激光距离传感器的测量的所述距离；以及提供多个指令至所述机器人操纵器，用于基于所述多个标记使用所述农业工具执行所述农业任务。
5.根据所描述的多个优选实施例中的多个更进一步特征，所述多个标记包括在所述目标的所述图像上标记一目标点。根据多个进一步特征，所述多个标记还包括标记一工具方向，用于执行所述农业任务。
6.根据多个进一步特征，所述轨迹包括多个指令，用于将所述机器人操纵器自一扫描位置移动至一执行位置，其中在所述执行位置，所述农业工具在与所述目标的所述图像上的所述标记相对应的一位置对所述目标实现所述农业任务。根据多个进一步特征，所述多个指令包括对所述机器人操纵器的沿所述轨迹移动的多个指令。
7.根据多个进一步特征，所述目标的一方向是使用一计算机视觉算法从所述目标的所述图像中提取的。根据多个进一步特征，所述农业工具的一期望方向是使用所述计算机视觉算法计算的。
8.根据另一实施例，提供一种人机方法，用于执行一农业任务，其特征在于：所述人
机方法包括：提供一机器人操纵器，所述机器人操纵器具有一农业工具、一成像装置及手动耦合至所述机器人操纵器的一末端效应器的一激光距离传感器；在一控制单元接收来自所述成像装置的一目标的一图像；使用所述控制单元的一人机界面(human-machine interface,hmi)，在所述目标的所述图像上标记一目标点；在所述控制单元接收来自所述激光距离传感器的距离信息；由所述控制单元计算所述机器人操纵器自一扫描位置至一执行位置的一轨迹，在所述执行位置，所述农业工具能够在所述目标点对所述目标实现所述农业任务；以及通过移动所述机器人操纵器及应用所述农业工具至所述目标的所述目标点实现所述农业任务。
9.根据多个进一步特征，所述人机方法还包括使用一计算机视觉算法从所述目标的所述图像中提取所述目标的一方向。根据多个进一步特征，所述人机方法还包括使用所述计算机视觉算法计算所述农业工具的一期望方向。
10.根据多个进一步特征，所述人机方法还包括使用所述人机界面(hmi)标记用于执行所述农业任务的一工具方向。
附图说明
11.在此仅以举例的方式，参照附图描述各种实施例，其中：
12.图1是本人机系统的一简化图；
13.图2是本创新的所述机器人系统10的一示例性实施例的一照片；
14.图2a是图2的区域a的一放大图；
15.图3是用于执行一农业任务的一人机流程的一示例性实施例的一流程图；
16.图4是描绘线性运动及机器人关节空间移动中的多个不同移动阶段的平均时间的图；
17.图5是实验2的结果的图；
18.图6a是一示例性工具(圆锯)通过一接口机构连接到一motoman操纵器/机械手臂末端效应器的一描绘图；
19.图6b及图6c是图6a的所述工具的多个描绘图，其中的多个标记指出工具架及安装在所述末端效应器上的连接器之间的角度以及所述工具的对应操作弧度；
20.图7是切割点中的角度误差的一直方图；
21.图8a及图8b是被所述工具切割的一树枝的多个热图像。
具体实施方式
22.鉴于上面提及的多种挑战，在一农业机器人系统中引入一人类操作员可助于提高性能及简化所述机器人系统。本发明的一个新颖的方面是将激光及视觉感测技术与人机集成(human-robot integrated,hri)系统相结合，以检测多个农业物体，诸如多个树枝、多种水果、多种杂草，并在低周期时间内准确地执行各种农业活动的实时、单步骤操作，无需复杂的设置及准备。可以用本发明进行的多个农业活动的多个示例包括但不限于：修剪、收获、采摘、除草及喷洒。
23.举例来说，果园修剪是一劳动密集型的任务，需要超过25％的劳动成本。这个任务的主要目标是增加阳光照射、控制树形以及去除不适合的树枝。在大多数果园中，这个任务
每年进行一次，且多达20％的树枝被选择性地移除。
24.提供一种包括一照相机及一激光器的系统，所述系统将一图像传输给一人类操作员，所述人类操作员在显示所捕获图像的所述屏幕上标记多个目标农业物体。所述系统利用激光传感器及照相机数据的整合提取所述目标的多个相对坐标，并将一机器人末端效应器带到该位置，以执行所述农业操作。一种图像处理算法提取多个所述物体特征并将其与所述背景分开。
25.本发明的优点是能够实时进行所述农业操作，周期短，空间及角度精度高，而且不需要特定的准备及设置。此外，由于本发明的所述固有性质以及照相机及激光传感器的所述位置，本发明将处理所述机械手臂的所述轨迹中的多个障碍物的多个要求降到最低。
26.参照所述多个附图及所附说明，可以更好地理解根据本发明的人机导引系统的多个原理及操作。
27.多个材料及多个方法
28.图1显示本人机系统100的一简化图。所述系统包括一硬件部件10及一控制部件20。所述硬件部件包括(参见图2及图2a)一操纵器(例如：一motoman操纵器，如总部位于美国俄亥俄州迈阿密斯堡的yasaka motoman robotics公司生产的motoman mh5lf)、一彩色照相机、一单光束激光距离传感器。所述控制部件20包括一台计算机(处理单元)及一人机界面(human-machine interface,hmi)。所述照相机及所述激光传感器安装在所述操纵器(即机械手臂)的末端效应器上。所述照相机及传感器彼此平行对准。
29.所述系统是一个半自主系统(或一人-机器人系统)，其中所述人类操作员提供某些输入，但不像其他情况下那样直接控制所述传感器或所述机器人。当前技术采用一计算机控制所述照相机及激光传感器，通过解释所述多个人类动作来提取所述物体位置及多个物体特征，并导引所述机械手臂执行所述农业操作。这使得在高精确度及低工作量的情况下实现低周期。
30.人类-机器人协作系统
31.图2是本创新的所述机器人系统10的一示例性实施例的一照片。图2a描绘图2的区域a的一放大图。所述创新系统的一示例性实施例是一个用于选择性修剪树木的人类-机器人(人机)协作系统。所述系统由一motoman操纵器12、一彩色照相机14、一单束激光距离传感器16及一工具19(用以执行所需要/所选定的农业操作)组成。在所述附图中，所述末端效应器18与一圆锯19集成，用于选择性修剪。所述照相机及激光传感器安装在所述操纵器的末端效应器上，且彼此平行对准。在所述系统20的人类控制侧是一人机界面(hmi)22及一计算机24(参见图1)。所述控制部件包括人类输入周边(键盘、鼠标、指向装置、操纵杆等)及/或一屏幕26。所述屏幕26可以简单地显示所述目标的所述影像/图像，也可以是一触摸屏装置，因此其本身就是一人机界面。从此处开始，除非另有定义，术语人机界面(hmi)包括监视器26。术语“图像”在这里指的是一静态图像、一视频图像、一增强的或经过其他处理的图像或图像集。来自成像装置的多个图像可以是被记录的或被现场直播串流的(即实时的)图像。
32.图3是用于执行一农业任务的一人机流程的一示例性实施例的一流程图。一流程300从步骤302开始。所述示例性系统分为两个阶段工作。在所述第一阶段中，在步骤304，所述操纵器移动到或处于一扫描位置，且所述照相机14捕获并通过一有线或无线(未显示)通
信部件将所述树木的一二维图像传输/传送给一人类操作员。在一些实施方案中，所述人类操作员可以在现场，本地地操作所述硬件。对于一现场操作员，所述装置可以以一有线方式连接到所述控制部件上。在其他实施方案中，所述人类操作员从一远程位置与所述机器人互动。对于一远程操作员，所述装置可以与所述计算机及人机界面(hmi)进行无线通信。
33.无论操作员是位于本地还是远程，所述操作员在步骤306，使用所述人机界面(hmi)在所述显示器上标记要移除的所述多个树枝。优选地，所述人类操作员在所述目标树枝上标记一目标点。本领域已知的任何类型的输入界面都可用于在所述监视器上显示的所述图像上实现对所述树枝的所述选择。
34.举例来说，可以使用一指向装置。一指向装置是一种输入界面(特别是一人机界面装置)，允许一用户向一计算机输入空间(即连续的及多维的)数据。多个图形化用户界面(graphic user interface,gui)允许用户使用多个物理手势控制并向所述计算机提供数据，通过在所述物理桌面的所述表面上移动一手持鼠标或类似装置，并激活所述鼠标上的开关。所述指向装置的多个移动在所述屏幕上通过所述指针(或光标)的多个移动及多个其他视觉变化得到响应。常见的多个手势是点、点击以及拖放。
35.虽然到目前为止最常见的指向装置是所述鼠标，但更多的装置已经被开发出来。然而，术语“鼠标”通常被用来比喻那些移动所述光标或在所述显示器上做出标记的多个装置。另一种输入方法是通过一触摸屏界面。多个手指或一手写笔可以用来选择所述各种树枝。
36.在所述第二阶段，所述系统自主地工作：在步骤308，所述激光传感器16测量所述操纵器及所述目标树枝之间的所述距离。在步骤310，所述控制部件/单元的所述处理单元计算出从所述操纵器的所述扫描位置到所述切割点或所述执行位置的一轨迹。如果没有提供所述工具方向(见下面的“一键式方法”)，那么所述工具的所述角度方向由所述系统在步骤312计算。(步骤312用断线表示，因为它是有条件的步骤，并不总是被需要。)一旦这个轨迹被计算出来(以及所述工具的所述角度方向被接收或被计算出来)，所述机械手臂在步骤314执行对应的移动，在规定的位置切割所述树枝。
37.图像处理及多个计算机视觉算法在所述创新流程中。图像处理，分别地及结合来自所述激光距离传感器的所述距离信息，用来提取多个物体特征(如多个边缘、多个边界、多个学习特征等)，将多个潜在目标物体(例如树枝)从所述背景中分离出来。
38.当使用图像处理及计算机视觉时，许多功能对在手边的所述具体应用是独特的。然而，有一些典型的功能(在下文中讨论)在多个计算机视觉系统中都可以找到，其中一些在本系统中被采用。
39.一数字图像是由一个或几个图像传感器产生的，除了各种类型的光敏照相机，还包括多个范围传感器、多个断层扫描装置、雷达、多个超声波照相机等。取决于传感器的所述类型，所述产生的图像数据是一个普通的二维图像、一三维体积或一图像序列。所述多个像素值通常对应于在一个或数个光谱带中的光强度(多个灰色图像或多个彩色图像)，但也可以与各种物理测量有关，诸如深度、多个声波或电磁波的吸收或反射，或核磁共振。在本技术中，所述图像传感器(或者当然，也可以采用超过一个传感器)捕获一二维影像或一二维图像。所述激光距离传感器(有时称为一激光测距仪或laser range finder,lrf)提供深度信息，所述系统(即所述处理单元)使用所述深度信息来计算三维中的多个坐标。这些信
息被用来计算，除其他外，所述机械手臂操纵器的所述轨迹。
40.在一计算机视觉方法可以应用于图像数据以提取一些特定的信息之前，通常需要处理所述数据(有时被称为预处理)，以确保其满足所述方法所暗示的某些假设。这种预处理的例子包括但不限于：重新取样以确保所述图像坐标系统的正确性；降噪以确保传感器噪音不会引入错误信息；对比度增强以确保可以检测到相关信息；以及尺度空间表示以加强多个局部地适当尺度的多个图像结构。
41.从所述图像数据中提取复杂度的各种级别的多个图像特征。这种特征的典型例子包括但不限于：多个线、多个边缘及多个脊；以及局部的多个兴趣点，诸如多个角、多个斑点或多个点。更复杂的多个特征可能涉及纹理、形状或运动。
42.另一个阶段包括检测及/或分割。在处理中的某些点，要决定所述图像的哪些图像点或图像区域与进一步处理有关。例如：选择多个兴趣点的一特定组；对包含兴趣的一特定物体的一个或多个图像区域进行分割；将图像分割成包括前景、多个物体组、多个单一物体或多个突出物体部分的嵌套场景体系结构(也被称为空间-分类法场景层次)，而所述视觉突出性通常被实现为空间及时间注意；将一个或多个视频分割或共同分割成一系列的每帧前景掩码，同时保持其时间语义的连续性。
43.高级别处理是另一个步骤。在此步骤，所述输入通常是一个小的数据集，例如一组点或一个图像区域，它被认为包含一特定物体。其余的处理包括，例如：验证所述数据是否满足基于模型及特定应用的假设；估计特定应用的多个参数，诸如物体姿势或物体大小；图像识别，即把一检测到的物体分为不同类别；图像注册，即比较及合并同一物体的两个不同视图。
44.典型地，所述最后一个阶段是制定决策。做出所述应用所需要的所述最终决定，例如：多个自动检查应用中的通过/失败；多个识别应用中的匹配/不匹配；多个医疗、军事、安全及识别应用中的标志，供人类进一步检视。在此，制定决策可能包括但不限于：识别一目标物体(例如一树枝)；在笛卡尔空间/坐标中绘制多个物体；将所述操作员使用所述人机界面在所述图像上做出的多个标记映射到现实世界的多个物体上；计算工具应用的角度方向(例如所述锯子应该以什么角度切割所述树枝)；辨别阻碍一潜在或绘制轨迹的多个物体等等。
45.实验
46.在所述示例性系统上进行了两个实验。在所述第一个实验中，研究了两种类型的运动规划：i)在全局笛卡尔坐标中，所述工具的所述初始位置(也称为一扫描位置)及所述切割点(也更普遍地称为执行位置)之间的一线性运动；ii)在机器人关节空间。任务空间(或笛卡尔空间)是由一机器人的所述末端效应器的所述位置及方向定义的。关节空间由一个矢量定义，其中所述矢量的分量是一机器人链接的每个关节的平移及角位移。
47.在所述第二个实验中，研究了两种类型的人类-机器人协作方法：a)所述人类受试员在从所述末端效应器照相机接收到的所述图片中标记两个点，所述第一个点指示所述树枝上的所述切口的所述位置，以及第二个点的标记是为了计算修剪所述树枝时所述切割工具的所述方向；以及b)所述人类受试员在从所述末端效应器照相机接收到的所述图片中标记一个单一点，表示所述树枝上的所述切口的所述位置。一计算机视觉算法提取所述树枝的所述方向，并计算出所述切割工具的所述期望方向。
48.示例性实施方案的多个结果及讨论
49.实验1
50.图4是描绘线性运动(“线性”)及机器人关节空间移动(“关节”)中的多个不同移动阶段的平均时间的图。所述机器人轨迹由四个阶段组成：(1)到所述扫描位置的一移动(“移动到扫描”)，(2)执行所述扫描(“扫描”)，(3)到所述树枝的移动并执行所述切割(“移动到切割”)，以及(4)返回到所述初始位置(“返回”)。此外，所述树枝中的所述选定的位置的所述人类标记被显示出来并表示为“切割符号”。所述人类标记阶段发生在上述阶段(2)及(3)之间。
51.所述图中显示两个周期时间：包括所述人类行动的所述周期时间(“hr周期时间”)及所述机器人移动的所述周期时间(“机器人周期时间”)。由于所述人类行动及所述机器人移动可以同时进行，所述多个实际周期时间将与所述机器人移动周期时间相仿。在所有移动阶段，所述机器人关节空间的时间都比线性运动的时间短。
52.所述机器人关节空间移动的所述平均机器人移动周期为9.2秒，比所述线性移动(16.1秒)短43％。所述线性移动的所述优点是遇到多个障碍物的几率较低，因为所述末端效应器是沿着所述人类操作员标记的场地的所述线移动的，从本质上讲是没有障碍物的。尽管如此，所述两种移动方法的所述轨迹的所述差异是最小化的。
53.实验2
54.图5描绘了实验2的结果的图。在所述第二个实验中，所述多个人类操作员的所述多个反应时间被测量，这两种协作方法被称为“1次点击法”及“2次点击法”。在“1次点击法”中，所述人类操作员只标记所述树枝上的所述切割的所述位置，而所述切割的所述方向则由一计算机视觉算法决定。采用“2次点击法”时，所述人类操作员在所述树枝上标记两个点，一个是所述切割的所述位置，而另一个是所述方向。
55.在两种方法中，所述第一个标记(点击1)是相似的，“1次点击法”及“2次点击法”分别为2.51秒及2.76秒，没有明显差异。与所述第一个标记相比，所述第二个标记(点击2)明显更短(1.56秒)。对于所有人类受试员来说，与所述“2次点击法”相比，所述“1次点击法”检索所述切口的所述位置及方向的所述总时间要短约40％(“1次点击法”平均为2.51秒，“2次点击法”平均为4.31秒)。尽管两种方法在所述切割位置的所述准确性上没有差异，但“2次点击法”的所述方向比“1次点击法”的所述方向更准确。
56.概要及结论
57.所设计的系统在两个实验中得到了检验，评估了两种类型的运动规划及两种类型的人类-机器人协作方法的性能。
58.当所述多个人类操作员行动及所述机器人同时地进行时(一实时实现)，时间为9.2秒的一实际平均周期时间被达成。所述多个结果还显示，在“1次点击法”中，确定所述切割的所述位置及方向所需要的所述平均时间为2.51秒。
59.这一发现说明，在一有效环境及工作方法中，一个人类操作员可以监督三到四个树木修剪机器人，并提高所述总生产率。
60.虽然实现的所述目前周期时间是可接受的，但通过优化所述多个扫描阶段，可以达成减少所述周期时间。此外，一多目标(树枝)程序，相对于以前描述的一次选择及切割一目标(树枝)的程序，可以大幅地改善所述每个树枝周期时间、所述每批时间以及每棵树及
果园的总体工作时间。
61.所述操纵器可以被安装在一自主车辆或一有人驾驶的拖拉机上。与目前进行的全手工修剪相比，所述系统的多个所述优点包括整体活动更快，以及在保持相同表现水平的情况下减少70-80％的工人数量。因此，本系统的实施将减少修剪树木这一农业任务中的艰苦劳动因素。
62.图6a描绘通过一接口机构30连接到一motoman操纵器/机械手臂末端效应器的一示例性工具(圆锯)。所述接口机构包括机械地耦合至所述末端效应器18的一连接器32及一工具架34。所述工具被固定在所述工具架内，所述工具架可调整地固定在所述连接器上。所述工具相对于所述操纵器末端效应器的所述角度可以通过调整所述工具架贴在所述连接器上的角度来改变。
63.图6b描绘图6a的所述工具，其中多个标记指出工具架32及安装在所述末端效应器上的连接器34之间的角度以及所述工具的对应操作弧度。所述锯及所述接口机构形成的所述角度是47.50
°
。因此，与上述角度直接相关的是，所述工具(于本例中为一圆锯)的所述操作弧度为68.41
°
。
64.图6c描绘图6a的所述工具，其中多个标记指出所述工具19及所述接口机构30之间的所述分离角度以及所述工具的对应操作角度。由所述工具架32及安装在所述末端效应器上的所述连接器34形成的角度是20
°
。因此，与上述角度直接相关的是，所述工具的所述操作弧度为72.63
°
。很清楚的，所述工具与所述接口机构(其机械地耦合至所述末端效应器并平行于其远端表面)之间的角度越小，所述工具的所述移动弧度就越大。因此，可以操纵所述工具及所述机器人末端效应器之间的所述接口机构，以改变所述锯角度用于最佳操作。以一类似的方式，所述工具的所述角度可以被调整，以适应不同的机器人操纵器及/或对不同的果园作物优化地执行。
65.图7描绘所述切割点中的所述角度误差的一直方图。所述条形图代表所述实验结果(直方图)，以及所述曲线显示所述累积百分比。多个结果显示，在85％的情况下，所述角度误差低于12度，这是一个很好的结果。所述附图描绘所述树枝方向的准确性，平均为9.4
°
，中位数为5.75
°
。
66.图8a及图8b是被所述工具切割的一树枝的多个热图像。所述图像显示，在所述修剪操作过程中，所述树枝切割位置加热到大约120℃的一温度。其含义是，所述切割流程可能会对所述切割位置本身进行一定程度的消毒。
67.虽然本发明已就一有限数量的多个实施例进行了描述，但可以理解的是，可以对本发明进行许多变化、修改及其他应用。因此，随附的权利要求书中所记载并要求保护的发明并不局限于本文所描述的多个实施例。