机械手定位方法、装置、系统、电子装置和存储介质与流程

1.本技术涉及机械手技术领域，特别是涉及机械手定位方法、装置、系统、电子装置和存储介质。


背景技术：

2.工业机器人在工业领域得到了广泛的应用，在机械加工领域取代人力，从事很多繁重重复性的活动；而且工业机器人不断的发展，在操作性智能化方面得到了长足的发展，预计未来随着人口老龄化及产业升级的需求，工业机器人将在更多领域取代人力，得到更多的应用。通常工业机器人是指多关节自由度机械臂，机械臂通过多个旋转电机驱动，实现机器人末端的可控制定位驱动，机器人自身时没有传感器的，人为在机器人上或旁边安装相机，通过使用相机获得目标坐标，从而让机器人根据相机得到的图像对目标进行操作的方式叫做机器人视觉，而为了使得相机与机器人坐标系之间建立关系就必须要对机器人与相机坐标系进行标定，该标定过程也就叫做手眼标定。
3.在传统手眼标定中，通常是点对点的操作，机器人末端与实际抓取位置是同轴位置关系；对于非同轴情况，其研究对象大多是规则的物品，在传统物流行业应用较多。这种方式对定位与抓取精度并不高，所以只能进行搬运、叠放等操作。在机器人末端与实际抓取位置是非同轴的情况时，通常是在机械设计中设计其位置，但是由于实际加工件的误差、装配误差的存在，这与设计的位置会存在较大偏差，依靠补偿的方式弥补误差，这导致定位精度低，使得抓取精度难以保证。
4.目前针对相关技术中的机械手定位精度低，导致抓取精度低，只能应用于规则物品的搬运叠放等操作的应用场景，尚未提出有效的解决方案。


技术实现要素：

5.本技术实施例提供了一种机械手定位方法、装置、系统、电子装置和存储介质，以至少解决相关技术中机械手定位精度低，导致抓取精度低，只能应用于规则物品的搬运叠放等操作的应用场景的问题。
6.第一方面，本技术实施例提供了一种机械手定位方法，包括：
7.获取标定板预设标记点的位姿信息及当前机械手的末端位置信息；
8.对所述位姿信息和末端位置信息进行转换关系处理，得到第一转换关系；
9.在抓取物品时，建立机械手的第一抓取位姿和对应的旋转中心信息，根据所述第一抓取位姿、旋转中心信息以及第一转换关系进行处理，得到相对转换关系；并根据所述相对转换关系对当前机械手进行抓取定位。
10.在其中一些实施例中，还包括：
11.在得到第一转换关系之后，根据所述第一转换关系对当前机械手进行抓取定位。
12.在其中一些实施例中，对所述位姿信息和末端位置信息进行转换关系处理，得到第一转换关系，包括：
13.根据第一转换公式对所述位姿信息和末端位置信息进行转换关系处理，得到第一转换关系。
14.在其中一些实施例中，所述第一转换公式为：
[0015][0016]
式中，x为世界坐标中点的横坐标；y为世界坐标中点的纵坐标；x
′
为图像坐标中像素点的横坐标；y
′
为图像坐标中像素点的纵坐标；r为平移矩阵；m为旋转矩阵。
[0017]
在其中一些实施例中，根据所述第一抓取位姿、旋转中心信息以及第一转换关系进行处理，得到相对转换关系，包括：
[0018]
利用第二转换公式对第一抓取位姿、旋转中心信息以及第一转换关系进行处理，得到相对位置关系；
[0019]
利用角度偏移公式对第一抓取位姿和旋转中心信息进行处理，得到相对角度关系；
[0020]
根据所述相对位置关系和相对角度关系生成相对转换关系。
[0021]
在其中一些实施例中，所述第二转换公式为：
[0022]
式中，(x
相对位置
，y
相对位置
)为相对位置关系；x
′0为基于机器手第一位姿的tcp位置点，旋转中心的图像坐标中像素点的横坐标；y
′
为基于机器手第一位姿的tcp位置点，旋转中心的图像坐标中像素点的纵坐标；x
″0为待抓取物品随机摆在相机视野下，目标物的旋转中心的图像坐标中像素点的横坐标；y
″0为待抓取物品随机摆在相机视野下，目标物的旋转中心的图像坐标中像素点的纵坐标；r为平移矩阵；m为旋转矩阵。
[0023]
第二方面，本技术实施例提供了一种机械手定位装置，包括获取模块，第一处理模块以及第二处理模块；
[0024]
所述获取模块，用于获取标定板预设标记点的位姿信息及当前机械手的末端位置信息；
[0025]
所述第一处理模块，用于对所述位姿信息和末端位置信息进行转换关系处理，得到第一转换关系；
[0026]
所述第二处理模块，用于在抓取物品时，建立机械手的第一抓取位姿和对应的旋转中心信息，根据所述第一抓取位姿、旋转中心信息以及第一转换关系进行处理，得到相对转换关系；并根据所述相对转换关系对当前机械手进行抓取定位。
[0027]
第三方面，本技术实施例提供了一种机械手定位系统，包括：终端设备、传输设备以及服务器设备；其中，所述终端设备通过传输设备连接服务器设备；
[0028]
所述终端设备用于获取位姿信息和末端位置信息；
[0029]
所述传输设备用于传输所述位姿信息和末端位置信息；
[0030]
所述服务器设备用于执行如第一方面所述的机械手定位方法。
[0031]
第四方面，本技术实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的机械手定位方法。
[0032]
第五方面，本技术实施例提供了一种存储介质，其上存储有计算机程序，该程序被
处理器执行时实现如上述第一方面所述的机械手定位方法。
[0033]
相比于相关技术，本技术实施例提供的机械手定位方法、装置、系统、电子装置和存储介质，通过获取标定板预设标记点的位姿信息及当前机械手的末端位置信息；对位姿信息和末端位置信息进行转换关系处理，得到第一转换关系；在抓取物品时，建立机械手的第一抓取位姿和对应的旋转中心信息，根据第一抓取位姿、旋转中心信息以及第一转换关系进行处理，得到相对转换关系；并根据相对转换关系对当前机械手进行抓取定位。本技术解决了械手定位精度低，导致抓取精度低，只能应用于规则物品的搬运叠放等操作的应用场景；实现了机械手的高精度定位，从而提高抓取交底，能够满足不规则物品抓取的精度要求。
[0034]
本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
[0035]
此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0036]
图1是本技术一实施例提供的机械手定位方法的终端设备的硬件结构框图；
[0037]
图2是本技术一实施例提供的机械手定位方法的流程图；
[0038]
图3是本技术一实施例提供的机械手定位装置的结构框图。
[0039]
图中：100、获取模块；200、第一处理模块；300、第二处理模块。
具体实施方式
[0040]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
[0041]
在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
[0042]
除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单
元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
[0043]
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本发明实施例的机械手定位方法的终端的硬件结构框图。如图1所示，终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
[0044]
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的机械手定位方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0045]
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
[0046]
本实施例提供了一种机械手定位方法，图2是根据本技术实施例的机械手定位方法的流程图，如图2所示，该流程包括如下步骤：
[0047]
步骤s210，获取标定板预设标记点的位姿信息及当前机械手的末端位置信息；
[0048]
步骤s220，对位姿信息和末端位置信息进行转换关系处理，得到第一转换关系；
[0049]
步骤s230，在抓取物品时，建立机械手的第一抓取位姿和对应的旋转中心信息，根据第一抓取位姿、旋转中心信息以及第一转换关系进行处理，得到相对转换关系；并根据相对转换关系对当前机械手进行抓取定位。
[0050]
需要说明的是，在通常情况下，机器手抓取位置与机器手的末端是同轴位置关系，这种方式只能进行点对点的操作，不仅形式单一，而且抓取的对象通常为体积小、重量轻，适应场景有局限性。为了适应更多的抓取对象，通过增加吸取装置，由原来的1个增加到2个、3个、4个甚至更多。通过增加吸取装置共同协作下能够抓取体积大、重量重的对象，而吸取装置个数的增加必然造成抓取位置与机器人末端是不同轴关系，一方面只能适应较大体积、形状规则的物体，另一方面吸取位置的精度只能靠补偿的方式实现。
[0051]
在机械手中通常会配备相机来实现手眼标定，在实际控制中，相机检测到目标在图像中的像素位置后，通过标定好的坐标第二转换公式将相机的像素坐标变换到机械手的
空间坐标系中，然后根据机械手坐标系计算出各个电机该如何运动，从而控制机械手到达指定位置。手眼标定指的是转换的过程，由于现有标定方法存在的问题。本技术先获取标定板预设标记点的位姿信息及当前机械手的末端位置信息；也就是在加工位置放置棋盘格的标定板，利用相机采集标定板图像，并按预设规则一次记录棋盘格角点像素数据，记录的预设规则为：左上角为坐标原点(0，0)，一行一行的记录角点数据，包括该点的像素的行和像素的列。即得到位姿信息。机器手在加工区域建立坐标系，在法兰盘位置安装探针并建立tcp，利用tcp记录棋盘格角点实际坐标，包括世界坐标中点的横坐标x和世界坐标中点的纵坐标y；即得到末端位置信息；上述tcp记录棋盘格角点实际坐标的点位顺序和标定板图像中记录点位一一对应。
[0052]
再对位姿信息和末端位置信息进行转换关系处理，得到第一转换关系。如果抓取的是规则物品，那么可以直接根据第一转换关系对当前机械手进行抓取定位。如果抓取的是不规则物品，那么再在抓取物品时，建立机械手的第一抓取位姿和对应的旋转中心信息，根据第一抓取位姿、旋转中心信息以及第一转换关系进行处理，得到相对转换关系；并根据相对转换关系对当前机械手进行抓取定位。
[0053]
通过上述步骤，本技术解决了械手定位精度低，导致抓取精度低，只能应用于规则物品的搬运叠放等操作的应用场景；实现了机械手的高精度定位，从而提高抓取交底，能够满足不规则物品抓取的精度要求。而且根据对象的体积、形状、重量，可任意设置机械手的吸取装置，不受对象和吸取装置安装位置的限制。
[0054]
在其中一些实施例中，对位姿信息和末端位置信息进行转换关系处理，得到第一转换关系，包括：
[0055]
根据第一转换公式对位姿信息和末端位置信息进行转换关系处理，得到第一转换关系。
[0056]
具体的，第一转换公式为：
[0057][0058]
式中，x为世界坐标中点的横坐标；y为世界坐标中点的纵坐标；x
′
为图像坐标中像素点的横坐标；y
′
为图像坐标中像素点的纵坐标；r为平移矩阵；m为旋转矩阵。
[0059]
计算过程如下：比如，图像坐标中像素点1为(x
′1，y
′1)；图像坐标中像素点2为(x
′2，y
′2)，世界坐标中点1为(x1，y1)；世界坐标中点2为(x2，y2)。
[0060]
代入第一转换公式为做差得到平移矩阵r＝
将得到的平移矩阵r带入任意上述公式，得到选旋转矩阵
[0061]
在其中一些实施例中，根据第一抓取位姿、旋转中心信息以及第一转换关系进行处理，得到相对转换关系，包括：
[0062]
利用第二转换公式对第一抓取位姿、旋转中心信息以及第一转换关系进行处理，得到相对位置关系；
[0063]
利用角度偏移公式对第一抓取位姿和旋转中心信息进行处理，得到相对角度关系；
[0064]
根据相对位置关系和相对角度关系生成相对转换关系。
[0065]
具体的，利用相机拍摄待抓取的不规则目标物，机器手建立第一抓取位姿。第一抓取位姿包括第一位姿位置(x0，y0)和第一位姿角度a0。旋转中心信息包括tcp位置点记录的记录旋转中心像素点o’(x
′0,y
′0)和角度a
′0；和将待抓取目标物随机摆放在相机视野下，获得的目标物在当前旋转中心的像素坐标点o”(x
″0,y
″0)和角度a
″0。实际上，相对转换关系包括相对位置关系和相对角度关系。
[0066]
而且，第二转换公式为：
[0067]
式中，(x
相对位置
，y
相对位置
)为相对位置关系；x
′0为基于机器手第一位姿的tcp位置点，旋转中心的图像坐标中像素点的横坐标；y
′
为基于机器手第一位姿的tcp位置点，旋转中心的图像坐标中像素点的纵坐标；x
″0为待抓取物品随机摆在相机视野下，目标物的旋转中心的图像坐标中像素点的横坐标；y
″0为待抓取物品随机摆在相机视野下，目标物的旋转中心的图像坐标中像素点的纵坐标；r为平移矩阵；m为旋转矩阵。利用第二转换公式对第一抓取位姿、旋转中心信息以及第一转换关系进行处理，得到相对位置关系。
[0068]
角度偏移公式为a
相对位置
＝a
″0‑
a
′0；利用角度偏移公式对第一抓取位姿和旋转中心信息进行处理，得到相对角度关系。
[0069]
那么机器手实际位置为(x0 x
相对位置
，y0 y
相对位置
，a0 a
相对位置
)，从而实现对不规则目标物高精度抓取。
[0070]
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些
情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0071]
本实施例还提供了一种机械手定位装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0072]
图3是根据本技术实施例的机械手定位装置的结构框图，如图3所示，该装置包括获取模块100，第一处理模块200以及第二处理模块300；获取模块100，用于获取标定板预设标记点的位姿信息及当前机械手的末端位置信息；第一处理模块200，用于对位姿信息和末端位置信息进行转换关系处理，得到第一转换关系；第二处理模块300，用于在抓取物品时，建立机械手的第一抓取位姿和对应的旋转中心信息，根据第一抓取位姿、旋转中心信息以及第一转换关系进行处理，得到相对转换关系；并根据相对转换关系对当前机械手进行抓取定位。
[0073]
本技术实现了机械手的高精度定位，从而提高抓取交底，能够满足不规则物品抓取的精度要求。
[0074]
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
[0075]
在其中一些实施例中，还包括抓取模块，抓取模块，用于在得到第一转换关系之后，根据所述第一转换关系对当前机械手进行抓取定位。
[0076]
在其中一些实施例中，第一处理模块200，还用于根据第一转换公式对所述位姿信息和末端位置信息进行转换关系处理，得到第一转换关系。
[0077]
在其中一些实施例中，第二处理模块300，还用于利用第二转换公式对第一抓取位姿、旋转中心信息以及第一转换关系进行处理，得到相对位置关系；
[0078]
利用角度偏移公式对第一抓取位姿和旋转中心信息进行处理，得到相对角度关系；
[0079]
根据所述相对位置关系和相对角度关系生成相对转换关系。
[0080]
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0081]
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
[0082]
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
[0083]
s2，获取标定板预设标记点的位姿信息及当前机械手的末端位置信息；
[0084]
s2，对位姿信息和末端位置信息进行转换关系处理，得到第一转换关系；
[0085]
s3，在抓取物品时，建立机械手的第一抓取位姿和对应的旋转中心信息，根据第一抓取位姿、旋转中心信息以及第一转换关系进行处理，得到相对转换关系；并根据相对转换关系对当前机械手进行抓取定位。
[0086]
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
[0087]
另外，结合上述实施例中的机械手定位方法，本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种机械手定位方法。
[0088]
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0089]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。