高精度机械手抓取的控制方法、控制系统及机器人与流程

1.本发明涉及机器人领域，尤其涉及一种高精度机械手抓取的控制方法、控制系统及机器人。


背景技术：

2.目前，设置于移动平台的机械手抓取物体存在两个方面的误差。一个方面的误差是被抓取物体的不确定性，现有技术中，视觉识别的算法只针对某些特点的零件，还无法做到完全对随机物体的识别，而且系统在坐标的计算上存在一定的投影误差，导致机械手在抓取物体的时候有着几毫米左右的误差。而另一个方面的误差来自于机械手本身的移动平台与被抓物体的相对位置的不确定性，由于移动平台与地面之间的接触参数的不确定，工作环境对移动平台的运动也有影响，尤其是在复杂的工作环境下尤为明显。这两个方面的误差都会严重的影响机械手抓取物体的精准性，可能会导致机械手抓取不到物体或者抓取物体不稳掉下来的情况。


技术实现要素：

3.本发明的主要目的是提出一种高精度机械手抓取的控制方法及其控制方法，旨在提升机械手抓取物体的精度。
4.为实现上述目的，本发明提出高精度机械手抓取的控制方法，机械手设置于移动平台上，包括以下步骤：步骤s10、采集目标物体的图像，并对所述目标物体的图像进行处理以得到所述目标物体的轮廓以及所述目标物体的空间尺寸信息；步骤s20、采用深度神经网络模型，根据所述目标物体的轮廓以及所述目标物体的空间尺寸信息对目标物体进行分类，以标定所述目标物体上的抓取点；步骤s30、获取所述目标物体的位姿、所述目标物体的运动参数、所述移动平台的位姿以及所述移动平台的运动参数，并根据所述目标物体的位姿、所述目标物体的运动参数、所述移动平台的位姿以及所述移动平台的运动参数计算所述移动平台的路径偏差量；步骤s40、根据所述目标物体上的抓取点以及所述移动平台的路径偏差量控制所述机械手向目标位置运行，并在所述目标位置对所述目标物体上的抓取点进行抓取。
5.可选地，所述步骤s10具体包括以下步骤：采用边缘提取算法提取所述目标物体的图像的边缘信息，并根据所述边缘信息确定所述目标物体的轮廓。
6.可选地，所述步骤s10具体还包括以下步骤：采用最小外接矩形法，根据所述边缘信息获取所述目标物体的空间尺寸信息。
7.可选地，所述步骤s20具体包括以下步骤：根据所述目标物体的轮廓以及所述目标物体的空间尺寸信息对目标物体进行分类以得到所述目标物体的分类信息，并判断目标物体的分类信息是否存储于已知的分类
库；在所述目标物体的分类信息存储于已知的分类库时，根据目标物体所对应的分类库，标定所述目标物体上的抓取点。
8.可选地，在判断目标物体的分类信息是否存储于已知的分类库之后具体包括以下步骤：在所述目标物体的分类信息未存储于已知的分类库时，建立新的分类库，并将所述目标物体的分类信息写入新的分类库。
9.可选地，所述移动平台的路径偏差量具体包括所述移动平台的位置偏差量以及所述移动平台的运动偏差量。
10.可选地，所述计算所述移动平台的位置偏差量具体包括以下步骤：获取所述目标物体的世界坐标以及所述移动平台的世界坐标；根据所述目标物体的世界坐标以及所述移动平台的世界坐标计算出所述移动平台的位置偏差量。
11.可选地，所述计算所述移动平台的运动偏差量具体包括以下步骤：获取所述目标物体在世界坐标系下的速度方向及大小、所述移动平台在世界坐标系下的速度方向及大小；根据所述目标物体在世界坐标系下的速度方向及大小、所述移动平台在世界坐标系下的速度方向及大小计算出所述移动平台的运动偏差量。
12.本发明提出一种机械手控制系统，所述机械手控制系统包括：控制器，所述控制器包括存储器、处理器，所述存储器上存储有一种高精度机械手抓取的控制程序，所述高精度机械手抓取的控制程序被所述处理器执行时实现如上项所述的高精度机械手抓取的控制方法的步骤；机械手，用于根据所述控制器的控制指令工作。
13.本发明提出一种移动机器人，所述移动机器人包括：相机，用于采集目标物体的图像；传感器，用于检测所述移动机器人的位姿；机械手控制系统，用于根据所述相机采集的目标物体图像以及所述传感器检测的所述移动机器人位姿工作，所述机械手控制系统为如上所述的机械手控制系统。
14.本发明通过设置步骤s10至步骤s40控制机械手工作。其中，步骤s10及步骤s20根据轮廓以及尺寸信息设置目标物体上的抓取点，步骤s30及步骤s40通过计算移动平台与目标物体之间的路径偏移量调节机械手的位置。工作时，在对图像进行处理后得到的目标物体的轮廓以及空间尺寸信息，再利用训练好的分类用深度神经网络进行分类，根据分类的列表设置目标物体上的抓取点，提高了目标物体上抓取点设置的准确性。通过计算移动平台与被抓取物体之间路径偏差量，并控制机械手根据路径偏差量调节以消除路径偏差量的影响，提高了机械手抓取的准确性。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
16.图1为本发明高精度机械手抓取的控制方法一实施例的工作流程图；图2为本发明高精度机械手抓取的控制方法一实施例中移动平台与目标物体定位示意图。
17.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明，若本发明实施例中有涉及方向性指示（诸如上、下、左、右、前、后
……
），则该方向性指示仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动轻况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
19.另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
20.在现有技术中，设置于移动平台上的机械手抓取两个方面的误差。一个方面的误差是被抓取物体的不确定性，由于被抓取物体的外形和尺寸的不确定造成设置于被抓取物体的抓取点不准确。另一个方面的误差是机械手本身的移动平台与被抓物体的相对位置的不确定性，导致机械手对被抓取物体的抓取不准确。
21.参照图1，在本发明一实施例中，该高精度机械手抓取的控制方法包括以下步骤：步骤s10、采集目标物体的图像，并对所述目标物体的图像进行处理以得到所述目标物体的轮廓以及所述目标物体的空间尺寸信息；步骤s20、采用深度神经网络模型，根据所述目标物体的轮廓以及所述目标物体的空间尺寸信息对目标物体进行分类，以标定所述目标物体上的抓取点；步骤s30、获取所述目标物体的位姿、所述目标物体的运动参数、所述移动平台的位姿以及所述移动平台的运动参数，并根据所述目标物体的位姿、所述目标物体的运动参数、所述移动平台的位姿以及所述移动平台的运动参数计算所述移动平台的路径偏差量；步骤s40、根据所述目标物体上的抓取点以及所述移动平台的路径偏差量控制所述机械手向目标位置运行，并在所述目标位置对所述目标物体上的抓取点进行抓取。
22.在本实施例中，机械手的抓取定位具体包括两个方面。一个是针对被抓取物体的抓取点的设置，另一个是针对移动平台与被抓取物体之间相对位置的校正。
23.步骤s10及步骤s20是针对被抓取物体的抓取点的设置。首先采集目标物体的图像，对图像进行处理以得到轮廓以及尺寸信息，利用预先训练好的分类用深度神经网络对
目标信息进行分类，分类的依据是测量得到的尺寸和目标的具体轮廓信息，控制软件中预设好对应的分类列表与被抓取物体抓取点位置的映射关系，在完成对目标物体的分类后，就可以根据分类的列表标定目标物体上的抓取点。
24.例如，对图像进行处理以得到轮廓a1以及尺寸信息b1，深度神经网络根据轮廓a1以及尺寸信息b1进行分类，分类列表为c1，控制软件通过c1列表中映射的控制逻辑标定目标物体的抓取点。
25.步骤s10中，可以采用相关的图像处理软件对图像进行处理，具体的工作过程如下：在给定背景和充足光源的条件下，通过照相获取原始图片，进行图像矫正以消除像差，获得无失真的目标图像。在无失真的目标图像上绘制外接矩形（外接矩形说是某个轮廓的最小外接矩形，就是最小的能包含那个轮廓的矩形），通过n*n标准标定板将目标图像位置与实际位置相匹配，将目标图像中每个待抓取物体的外接矩形提取出来，并通过对提取出来的外接矩形的长宽比和面积等特点来实现不同种类物体的识别。将扫描到的各个物体进行分类，如以大小，形状，色域等因素为基准分类，再对这些图片坐标以使用者要求的顺序如按照大小形状色域等进行坐标的排序。在对各个物体进行分类时，可以按照一个基准进行分类，例如以色域进行分类，由于色域定义为特定设备可以产生或记录的颜色范围，经常用来精确地代表一种给定的情况，因此可以通过色域的不同对物体进行分类；也可以按照多个基准综合对物体进行分类，例如在工业中的常用零件，比如螺母，螺帽这种在形状和大小上有着明显特征，需要对物体尺寸以及大小为基准对物体进行分类。
26.在步骤s20中，可以采用深度神经网络模型通过特征的提取计算出一系列改变样本相似性的变换。由于随机放置的目标在被拍摄的时候可能处于各种姿态，拍摄的图像处理得到的外轮廓可能有各种不同的形状，测量得到的尺寸也会有差异，因此不能采用简单的线性模型直接对其进行分类。因此可以利用预先训练好的分类用的深度神经网络模型对目标信息进行分类，分类的依据是测量得到的尺寸和目标的具体轮廓信息，采用由输入层、多个隐藏层、输出层构成的深度神经网络作为分类网络，网络输入信息为目标轮廓及尺寸信息，输出为分类结果。
27.在采用深度神经网络模型前，可以先以通过获取大量的具体轮廓信息以及尺寸信息作为训练数据对模型进行训练，训练数据输出的分类结果与预设的分类结果匹配以得到神经网络模型的准确率，在深度神经网络模型能够以99%以上的准确率时对已知目标进行分类。
28.步骤s30及步骤s40是针对移动平台与被抓取物体之间相对位置的校正。目标位置为经过校正后机械手的位置，由于移动平台和被抓取物体分别为两个运动的参考系，要使得移动平台上的机械手在被抓取物体上抓取准确，需要考虑这两个运动的参考系之间的位置。首先计算出由于移动平台和被抓取物体之间相对运动产生的路径偏差量，控制机械手运动至目标位置以消除路径偏差量的影响。
29.步骤s30中，目标物体和移动平台属于两个不同的参考系，目标物体的位姿具体包括目标物体在其所属的目标参考系下的位置（x1、y1、z1）以及目标参考系相对于世界坐标系的旋转角度。假设目标参考系每次旋转都是绕世界坐标系的轴要目标参考系与世界参考系重合，先将目标参考系绕世界坐标系的x轴旋转α角，再绕y轴旋转β角，最后绕z轴旋转θ角。表示绕x轴旋转α角度对应的旋转矩阵为r1（x），表示绕y轴旋转β角度对应的旋转矩阵为
r1（y），表示绕z轴旋转θ角度对应的旋转矩阵为r1（z），目标参考系旋转至世界坐标系的旋转矩阵r1=r1（x）*r1（y）*r1（z）。与目标物体类似，移动平台位姿具体包括目标物体在其所属的移动平台参考系下的位置（x2、y2、z2）以及移动平台参考系相对于世界坐标系的旋转角度，同理通过移动平台参考系与世界参考系的旋转角度可以得到移动平台参考系旋转至世界坐标系的旋转矩阵r2。
30.可以将移动平台与目标物体投影于同一参考系下，便于计算路径偏差量。例如，参照图2，移动平台用a点表示，点a在运动轨迹l1中，ta和na分别为a点在运动时的切向矢量和法向矢量；目标物体用点b表示，点b在运动轨迹l2中，tb和nb分别为b点在运动时的切向矢量和法向矢量。
31.向量ta乘以旋转矩阵r1后，在投影至世界坐标系下为ta’，向量tb乘以旋转矩阵r2后，在投影至世界坐标系下为tb’。在某一时刻中，向量ta’与x轴正方向、y轴正方向及z轴正方向之间的夹角分别为αa、βa及θa，向量tb’与x轴正方向、y轴正方向及z轴正方向之间的夹角分别为αb、βb及θb，点a在世界坐标系中的坐标为（xa、ya、za），点b在世界坐标系中的坐标为（xb、yb、zb），点a在向量ta’方向的速度为va，点b在向量tb’方向的速度为vb。
32.在当前时刻a点相对于点b之间的距离坐标为（xb-xa、yb-ya，zb-za）。a与b均为运动的点，a点在下一个时刻t内运动的位移为下一个时刻的平均速度乘以时间，在下一个时刻t取到足够小的时候，平均速度与a点当时刻的速度va接近，方向朝向量ta方向，在x轴正方向、y轴正方向及z轴正方向的速度分量分别为va*cosαa、va*cosβa及va*cosθa。同理可以得到b点在下一个时刻t取到足够小的时候，b的平均速度在x轴正方向、y轴正方向及z轴正方向的速度分量分别为vb*cosαb、vb*cosβb及vb*cosθb。要使得点a与点b在下一个时刻的当前位置趋于相同，a点相对于点b之间的需要调节的速度变化量的坐标为（va*cosαa-vb*cosαb、va*cosβa-vb*cosβb、va*cosθa-vb*cosθb）。
33.在标定好抓取点的位置后，控制机械手向移动平台移动的坐标（xb-xa、yb-ya，zb-za）个单位达到目标位置，同时控制机械手的速度相对于移动平台的速度变化va*cosαa-vb*cosαb、va*cosβa-vb*cosβb、va*cosθa-vb*cosθb），以消除路径偏差量的影响。
34.本发明通过设置步骤s10至步骤s40控制机械手工作。其中，步骤s10及步骤s20根据轮廓以及尺寸信息设置目标物体上的抓取点，步骤s30及步骤s40通过计算移动平台与目标物体之间的路径偏移量调节机械手的位置。工作时，在对图像进行处理后得到的目标物体的轮廓以及空间尺寸信息，再利用训练好的分类用深度神经网络进行分类，根据分类的列表设置目标物体上的抓取点，提高了目标物体上抓取点设置的准确性。通过计算移动平台与被抓取物体之间路径偏差量，并控制机械手根据路径偏差量调节以消除路径偏差量的影响，提高了机械手抓取的准确性。
35.在本发明一实施例中，所述步骤s10具体包括以下步骤：采用边缘提取算法提取所述目标物体的图像的边缘信息，并根据所述边缘信息确定所述目标物体的轮廓。
36.在本实施例中，边缘算法可以采用滤波、增强和检测的步骤实现。由于边缘检测的算法主要是基于图像强度的一阶和二阶导数，但导数通常对噪声很敏感，因此必须采用滤波器来改善与噪声有关的边缘检测器的性能。常见的滤波方法主要有高斯滤波、均值滤波等。增强边缘的基础是确定图像各点邻域强度的变化值。增强算法可以将图像灰度点邻域
强度值有显著变化的点凸显出来。在具体编程实现时，可通过计算梯度幅值来确定。经过增强的图像，往往邻域中有很多点的梯度值比较大，而在特定的应用中，这些点并不是我们要找的边缘点，所以应该采用某种方法来对这些点进行取舍。实际工程中，可以通过阈值化方法来检测。
37.在本发明一实施例中，所述步骤s10具体还包括以下步骤：采用最小外接矩形法，根据所述边缘信息获取所述目标物体的空间尺寸信息。
38.在本实施例中，最小外接矩形是指以二维坐标表示的若干二维形状（例如点、直线、多边形）的最大范围，即以给定的二维形状各顶点中的最大横坐标、最小横坐标、最大纵坐标、最小纵坐标定下边界的矩形。
39.在本发明一实施例中，所述步骤s20具体包括以下步骤：根据所述目标物体的轮廓以及所述目标物体的空间尺寸信息对目标物体进行分类以得到所述目标物体的分类信息，并判断目标物体的分类信息是否存储于已知的分类库；在所述目标物体的分类信息存储于已知的分类库时，根据目标物体所对应的分类库，标定所述目标物体上的抓取点。
40.在本实施例中，在神经网络模型输出的分类结果为已知的分类结果时，已知的分类结果指导控制器在目标物体上设置对应的抓取点，并且可以针对不同的物体形状控制机械手的工作方式。
41.在本发明一实施例中，在判断目标物体的分类信息是否存储于已知的分类库之后具体包括以下步骤：在所述目标物体的分类信息未存储于已知的分类库时，建立新的分类库，并将所述目标物体的分类信息写入新的分类库。
42.在本实施例中，对分类中出现的新类型目标，必须首先排除其是已知目标发生位置重叠后在二维图像上出现特征不同而误分类的情况，因此每次发现有新目标后，首先根据位置测量结果引导机械手运行到目标附近，对目标进行小幅度触碰操作，轻微改变目标位置，再利用机器视党系统对工作区域进行拍摄，然后重点对新目标出现区域进行目标识别，如果经过机械手操作后仍然是一个目标，而且仍然表现出新目标的特征，则将其视作第一次出现的新目标，将获取到的新目标数据加入到训练集中，并通过生成对抗神经网络产生大量与之特征相似的目标数据，用来充实新类型的训练数据，再通过机器学习训练的方式更新深度神经网络的参数，实现对新出现的非特定对象目标的准确分类。
43.在本发明一实施例中，所述所述移动平台的路径偏差量具体包括所述移动平台的位置偏差量以及所述移动平台的运动偏差量。
44.在本实施例中，对于运动的两个物体之间的相对位置关系，既要考虑当前时刻两个物体之间的距离，也要考虑下一个时刻两个位置之间距离的变化。
45.例如，参照图2，位置偏差量指的是当前时刻移动平台与目标物体之间的距离。在某一时刻中，a在世界坐标系中的坐标为（xa、ya、za），b在世界坐标系中的坐标为（xb、yb、zb），前时刻a点相对于点b之间的距离坐标为（xb-xa、yb-ya，zb-za）。
46.如果移动平台或者目标物体处于运动状态下，不仅需要考虑当前位置的位移，还要考虑由于移动平台以及目标物体速度的不同导致后续的时间段产生位移。例如，a点在下
一个时刻t的平均速度为va，方向朝向量ta方向，b点在下一个时刻t的平均速度为vb，方向朝向量tb方向，由于va与vb的大小不同以及ta与tb的方向不同导致a点与b点在下一个时刻t上产生了位置偏差，由速度不同导致移动平台与目标物体的位置偏差为运动偏差量。运动偏差量具体为a点与点b的速度的差值，假设向量ta在x轴正方向、y轴正方向及z轴正方向的速度分量分别为va*cosαa、va*cosβa及va*cosθa，向量tb在x轴正方向、y轴正方向及z轴正方向的速度分量分别为vb*cosαb、vb*cosβb及vb*cosθb，a与b之间的速度偏差量具体为（va*cosαa-vb*cosαb、va*cosβa-vb*cosβb、va*cosθa-vb*cosθb）。
47.路径偏移量包括a点相对于点b的位置偏差和a点相对于点b的速度偏差，通过控制机械手向移动平台移动的坐标（xb-xa、yb-ya，zb-za）个单位达到目标位置，同时控制机械手的速度相对于移动平台的速度变化va*cosαa-vb*cosαb、va*cosβa-vb*cosβb、va*cosθa-vb*cosθb），以消除路径偏差量的影响。
48.在本发明一实施例中，所述计算所述移动平台的位置偏差量具体包括以下步骤：获取所述目标物体的世界坐标以及所述移动平台的世界坐标；根据所述目标物体的世界坐标以及所述移动平台的世界坐标计算出所述移动平台的位置偏差量。
49.在本发明一实施例中，计算所述移动平台的运动偏差量具体包括以下步骤：获取所述目标物体在世界坐标系下的速度方向及大小、所述移动平台在世界坐标系下的速度方向及大小；根据所述目标物体在世界坐标系下的速度方向及大小、所述移动平台在世界坐标系下的速度方向及大小计算出所述移动平台的运动偏差量。
50.本发明提出一种机械手控制系统。
51.可选地，所述机械手控制系统包括：控制器，所述控制器包括存储器、处理器，所述存储器上存储有一种高精度机械手抓取的控制程序，所述高精度机械手抓取的控制程序被所述处理器执行时实现如上所述的高精度机械手抓取的控制方法的步骤；机械手，用于根据所述控制器的控制指令工作。
52.该机械手控制系统包括如上所述的高精度机械手抓取的控制方法，采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
53.本发明提出一种移动机器人。
54.可选地，所述移动机器人包括：相机，用于采集目标物体的图像；传感器，用于检测所述移动机器人的位姿；机械手控制系统，用于根据所述相机采集的目标物体图像以及所述传感器检测的所述移动机器人位姿工作，所述机械手控制系统为如上所述的机械手控制系统。
55.该移动机器人包括如上所述的高精度机械手抓取的控制方法，采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
56.以上所述仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本
发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。