抓取装置的定位方法和系统与流程

1.本发明涉及自动控制领域，特别是涉及一种抓取装置的定位技术。


背景技术：

2.智能制造是我国产业升级以及新一轮工业革命的核心技术，其对生产线的柔性以及环境感知能力提出了很高的要求。应运而生的工业抓取装置，因具备较高灵活性而极大地提高了生产线的柔性。
3.但是，目前工业抓取装置在部署前需要对其示教编程，即针对某一特定应用的工业抓取装置都是在执行一段固定的自动化程序，其实质上只是完成点到点的动作。当生产环境改变时，抓取装置很难根据外界参数智能化地做出对策，必须对抓取装置再次示教来应对环境的改变。造成这一现象的主要原因是工业抓取装置不具备感知外界环境的能力，仅仅通过编程或单纯示教来执行某一特定动作。对环境感知能力的缺乏，工作环境的偏差改变等是阻碍智能制造产业升级的主要原因之一。如何适应不同工作环境，如抓取时位姿改变等，是智能制造产业亟待解决的技术问题。


技术实现要素：

4.为解决上述技术问题，本发明提供了一种抓取装置的定位方法，包括：s1：采集待抓取工件的模板图像；s2：采集待抓取工件的实时图像；s3：在所述模板图像中提取检测模型，检测所述实时图像中，与所述检测模型相匹配的匹配模型；s4：根据所述抓取装置抓取所述检测模型的位置、和所述匹配模型与所述检测模型的位差关系，定位所述抓取装置抓取所述待抓取工件的位置。
5.进一步地，步骤s4中，采用公式（1），定位所述抓取装置抓取所述待抓取工件的位置；（1）其中，r1表示所述抓取装置抓取所述检测模型的位置，t表示所述匹配模型与所述检测模型的位差转换矩阵，r2表示所述抓取装置抓取所述待抓取工件的位置。
6.进一步地，采用公式（2），确定所述匹配模型与所述检测模型的位差转换矩阵；（2）其中，r
p1
表示采集所述模板图像的采集点，e1表示采集所述模板图像的相机外参，用于将点云中模板图像的位姿转换为抓取装置坐标系下的位姿，m1表示采集所述模板图像的转换矩阵；r
p2
表示采集所述实时图像的采集点，e2表示采集所述实时图像的相机外参，用于将点云中实时图像的位姿转换为抓取装置坐标系下的位姿，m2表示采集所述实时图像的转换矩阵。
7.进一步地，步骤s3，包括：s31：提取所述模板图像和所述实时图像的边缘特征；s32：在所述模板图像的边缘特征中，选定至少一个边缘特征所在区域的局部图像为所述检测模型；s33：在所述实时图像的边缘特征中，选定与所述检测模型相匹配的边缘特征所在区域的局部图像为所述匹配模型。
8.进一步地，步骤s31，包括：s311：对所述模板图像和所述实时图像，分别进行平滑降噪预处理，得到预处理后的模板图像和预处理后的实时图像；s312：构造边缘检测算子，分别对预处理后的模板图像和预处理后的实时图像进行边缘检测，确定模板图像的边缘区块和实时图像的边缘区块；s313：通过阈值二值化处理，分别连接模板图像的边缘区块和实时图像的边缘区块，得到模板图像的边缘特征和实时图像的边缘特征。
9.另一方面，本发明还提供一种抓取装置的定位系统，包括：图像采集模块，用于采集待抓取工件的模板图像，和待抓取工件的实时图像；图像识别模块，与所述图像采集模块连接，用于在所述模板图像中提取检测模型，检测所述实时图像中，与所述检测模型相匹配的匹配模型；定位模块，与所述图像识别模块连接，用于根据所述抓取装置抓取所述检测模型的位置、和所述匹配模型与所述检测模型的位差关系，定位所述抓取装置抓取所述待抓取工件的位置。
10.进一步地，所述定位模块，采用公式（1），定位所述抓取装置抓取所述待抓取工件的位置；（1）其中，r1表示所述抓取装置抓取所述检测模型的位置，t表示所述匹配模型与所述检测模型的位差转换矩阵，r2表示所述抓取装置抓取所述待抓取工件的位置。
11.进一步地，采用公式（2），确定所述匹配模型与所述检测模型的位差转换矩阵；（2）其中，r
p1
表示采集所述模板图像的采集点，e1表示采集所述模板图像的相机外参，用于将点云中模板图像的位姿转换为抓取装置坐标系下的位姿，m1表示采集所述模板图像的转换矩阵；r
p2
表示采集所述实时图像的采集点，e2表示采集所述实时图像的相机外参，用于将点云中实时图像的位姿转换为抓取装置坐标系下的位姿，m2表示采集所述实时图像的转换矩阵。
12.进一步地，所述图像识别模块，包括：边缘特征提取单元，用于提取所述模板图像和所述实时图像的边缘特征；检测模型确定单元，与所述边缘特征提取单元连接，用于在所述模板图像的边缘特征中，选定至少一个边缘特征所在区域的局部图像为所述检测模型；匹配模型确定单元，与所述边缘特征提取单元和所述检测模型确定单元连接，用于在所述实时图像的边缘特征中，选定与所述检测模型相匹配的边缘特征所在区域的局部
图像为所述匹配模型。
13.进一步地，所述边缘特征提取单元，包括：预处理小单元，对所述模板图像和所述实时图像，分别进行平滑降噪预处理，得到预处理后的模板图像和预处理后的实时图像；边缘检测小单元，与所述预处理小单元连接，用于构造边缘检测算子，并分别对预处理后的模板图像和预处理后的实时图像进行边缘检测，确定模板图像的边缘区块和实时图像的边缘区块；边缘连接小单元，与所述边缘检测单元连接，用于通过阈值二值化处理，分别连接模板图像的边缘区块和实时图像的边缘区块，得到模板图像的边缘特征和实时图像的边缘特征。
14.本发明提供的抓取装置的定位方法和系统，一方面能够在实时图像的引导下，利用匹配模型与检测模型的位差关系，优选为位差转换矩阵，纠正实时图像中匹配模型相对于模板图像中检测模型的偏差，能够确保抓取装置适应工作环境改变，准确无误的抓取待抓取工件，有效解决抓取失败、漏抓、错抓等问题；另一方面并非在实时图像中直接确定待抓取工件的位置，再将其转换为抓取装置坐标系下的位置，而是根据抓取装置抓取检测模型的位置（最佳抓取位置r1，这已经是抓取装置坐标系下的位置，无需再次转换）、和匹配模型与检测模型的位差关系（图像中的位差关系，可直接对应至抓取装置坐标系下的位置关系），定位抓取装置抓取待抓取工件的位置（实际抓取位置r2，这也已经是抓取装置坐标系下的位置，无需再次转换），准确计算出抓取点的位姿、角度，精确抓取待抓取工件，关系转换简单快捷，且精确度高，对提高工件的生产安装效率和精度具有重大意义。
附图说明
15.图1为本发明抓取装置的定位方法和系统的一个实施例的流程图；图2为本发明抓取装置的定位方法的应用示例格栅抓取装置的一个实施例的俯视图；图3为本发明抓取装置的定位方法的应用示例格栅抓取装置的一个实施例的侧视图；图4为本发明抓取装置的定位方法的步骤s3的示意图；图5为本发明抓取装置的定位方法的步骤s3的流程图；图6为本发明抓取装置的定位方法的步骤s31的流程图；图7为本发明抓取装置的定位方法的模板图像的原图；图8为本发明抓取装置的定位方法的模板图像提取边缘特征后的效果图；图9为本发明抓取装置的定位系统的一个实施例的结构框图；图10为本发明抓取装置的定位系统的图像识别模块的一个实施例的结构框图；图11为本发明抓取装置的定位系统的图像识别模块的边缘特征提取单元的一个实施例的结构框图。
具体实施方式
16.如图1-3所示，公开了一种抓取装置的定位方法（为详细解释本发明具体实施方
案，下面以抓取装置抓取格栅工件为例作解释说明，如图2-3所示，该工业抓取装置，包括上端设置的活动图像采集设备、驱动组件以及下端设置的格栅抓取爪，如吸盘形式等）。值得注意的，该抓取装置的具体形式、何种用途、抓取何物、以及定位方法的应用范围等并不以该示例的抓取装置抓取格栅为限，仅作示例说明。本领域技术人员可以理解的，该定位方法可以应用于任何工业抓取装置、任何工业机器人的定位步骤中，并不以此例为限。具体的，该定位方法包括：s1：采集待抓取工件的模板图像。具体的，该模板图像可选但不仅限于为抓取装置在抓取待抓取工件时，待抓取工件摆在最合适、最利于抓取的最佳抓取位置时，所采集的图像。更为具体的，可选但不仅限于利用相机、摄像头等图像采集模块，采集待抓取工件位于料箱抓取位的最佳抓取位置r1时的实时图像为模板图像（以格栅工件抓取过程为例，该标准模板图像，包括格栅的位置、位姿、角度等都处于最佳抓取位置的图像），以预先存储在控制模块内存中，供后续比对调用。更为优选的，可选但不仅限于根据待抓取工件（如格栅）的型号、尺寸等相应设置多个模板图像，以供后续根据格栅的实际型号等相应调取以供比对。
17.s2：采集待抓取工件的实时图像。具体的，可选但不仅限于在待抓取工件实际抓取安装的过程中，采用2d、3d相机等图像采集模块，实时采集待抓取工件的实时图像（此时的实时图像与待抓取工件的模板图像一般都略有差别，以格栅为例，其在料箱中堆叠存放时，可能因为运输、放置等过程中，出现放置角度稍有偏差的情况，此时采集到的实时图像中待抓取工件的实际位置与模板图像中的最佳抓取位置会存在一个位移差、角度差）。更为具体的，为便于更清晰准确的采集当前实时图像，该图像采集模块，可选但不仅限于设置在可移动组件上，由驱动件驱动而灵活移动，以带动图像采集模块移动至合适位置，近距离采集当前实时图像。
18.s3：在模板图像中提取检测模型，检测实时图像中，与检测模型相匹配的匹配模型。具体的，如图4所示，可选但不仅限于在模板图像中提取对于待抓取工件而言具有代表性特征的局部图像（以格栅为例，如弯曲角、弧形尾等，小矩形框的虚线点所示的特征图像）作为检测模型，然后再在实时图像（大矩形框所示）中，一一比对搜索与该检测模型相匹配的局部图像，找到匹配度最高的局部图像作为与之对应的匹配模型（在大矩形框中逐步搜索时一一匹配，找到相似度最高的局部图像作为匹配模型。如图4所示的，逐步搜索匹配到了相似度95%的局部图像和相似度98%的局部图像，则认定该相似度98%的局部图像为匹配度最高的局部图像，认定为与检测模型相匹配的匹配模型），以定位到待抓取工件在实时图像中的具体位置。
19.s4：根据抓取装置抓取检测模型的位置（最佳抓取位置r1）、和匹配模型与检测模型的位差关系，定位抓取装置抓取待抓取工件的位置（实际抓取位置r2）。具体的，可选但不仅限于优选位差转换矩阵t表示该二者之间的位差关系。那么，设抓取装置抓取检测模型的位置（最佳抓取位置）为r1，匹配模型与检测模型的位差转换矩阵为t，抓取装置抓取匹配模型的位置（实际抓取位置）为r2，其具体计算采用公式（1）：（1）在该实施例中，本发明提供的抓取装置的定位方法，一方面，考虑到实际待抓取工件（实时图像中的待抓取工件，实际抓取位置r2）与理想中的待抓取工件（模板图像中的待
抓取工件，最佳抓取位置r1）存在位移偏差，并不完全位于最优、最利于抓取的抓取位置（模板图像中的位置），而通过实时图像的引导，利用匹配模型与检测模型的位差关系（优选为位差转换矩阵），纠正实时图像中匹配模型相对于模板图像中检测模型的偏差，避免抓取装置按照既定规则抓取待抓取工件所导致的抓取失败、甚至误伤待抓取工件、料箱、抓取装置本身等情况，确保抓取装置准确无误的抓取待抓取工件，有效解决抓取失败、漏抓、错抓等问题，自动化程度高，能流水线化操作，能大大减少人力物力成本；另一方面，其区别于传统方式，并非在实时图像中直接确定待抓取工件的位置，再将其转换为抓取装置坐标系下的位置，而是根据抓取装置抓取检测模型的位置（最佳抓取位置r1，这已经是抓取装置坐标系下的位置，无需再次转换）、和匹配模型与检测模型的位差关系（图像中的位差关系，可直接对应至抓取装置坐标系下的位置关系），定位抓取装置抓取待抓取工件的位置（实际抓取位置r2，这也已经是抓取装置坐标系下的位置，无需再次转换），准确计算出抓取点的位姿、角度，精确抓取待抓取工件，关系转换简单快捷，且精确度高，对提高工件的生产安装效率和精度具有重大意义。综上所述，其发明宗旨可以归结为：首先确定抓取装置抓取模板图像中检测模型的标准位置、位姿、角度（抓取装置在模板图像中的标准抓取位置r1，即抓取待抓取工件的标准位，这个位置是相对于抓取装置坐标系下的位置），再在实时图像中检测与检测模型相匹配的匹配模型（检测模型在实时图像中的检测结果），计算二者之间的位差关系（位置、位姿、角度变换关系，优选为用位差转换矩阵表示，这是图像中的位差关系，可直接对应至抓取装置坐标系下的位置关系），最后反向求出抓取装置抓取实际待抓取工件的位置、位姿、角度（精确计算抓取装置抓取待抓取工件的位置坐标r2，这个位置是相对于抓取装置坐标系下的位置），完成精确抓取。
20.更为具体的，如图5所示，步骤s3，可选但不仅限于包括：s31：提取模板图像和实时图像的边缘特征；s32：在模板图像的边缘特征中，选定至少一个边缘特征所在区域为检测模型（如图4所示的小矩形框中的虚线）；s33：在实时图像的边缘特征中，选定与检测模型相匹配的边缘特征所在区域为匹配模型（如图3所示的具备98%相似度的局部图像）。
21.在该实施例中，给出了步骤s3，如何提取检测模型，及搜索与之匹配的匹配模型的具体实时方式，其首先提取边缘特征，然后确定具有代表性的某个边缘特征所在的局部图像为特征模型（确定roi矩形区域，从图像中获取这个矩形区域的图像，对图像进行预处理，对处理后的矩形建立模板，获取模板的轮廓作为特征模型），再在实时图像中反复进行模型匹配，最后找到最优的匹配结果（实时图像中找到与特征模型匹配的图像部分，多次迭代，获取最优匹配结果，如图4所示）。该方式不仅准确率高，实验统计准确率可达到97.86%，而且时间效率高，可以快速准确的完成模型匹配，确定实际待抓取工件的位置。
22.更为具体的，如图6-8所示（以模板图像提取边缘特征为例，图7为模板图像的原图，图8为模板图像提取边缘特征后的效果图），步骤s31，可选但不仅限于，包括：s311：对模板图像和实时图像，分别进行平滑降噪预处理，得到预处理后的模板图像和预处理后的实时图像；s312：构造边缘检测算子，分别对预处理后的模板图像和预处理后的实时图像进行边缘检测，确定模板图像的边缘区块和实时图像的边缘区块；
s313：通过阈值二值化处理，分别连接模板图像的边缘区块和实时图像的边缘区块，得到模板图像的边缘特征和实时图像的边缘特征。
23.在该实施例中，给出了步骤s31中如何提取边缘特征的具体实时方式，其通过滤波器进行预处理，去除图像中的噪声，抑制噪声对边缘特征提取精度的影响；再通过边缘检测算子检测边缘位置；最后通过阈值二值化处理，连接边缘。整个过程能够准确完整的提取边缘信息，达到较好的检测结果。
24.更为具体的，步骤s4中，可选但不仅限于包括：设定检测模型和匹配模型相对于抓取装置的坐标为：o1，o2，则，则其中，r
p1
表示采集模板图像的采集点，e1表示采集模板图像的相机外参，用于将点云中模板图像的位姿转换为抓取装置坐标系下的位姿，m1表示采集模板图像的转换矩阵，m1×
model1表示点云中待抓取工件相对于检测模型的位姿；r
p2
表示采集实时图像的采集点，e2表示采集实时图像的相机外参，用于将点云中实时图像的位姿转换为抓取装置坐标系下的位姿，m2表示采集实时图像的转换矩阵，m2×
model2表示点云中待抓取工件相对于实时图像的位姿。
25.由于待抓取工件与抓取装置在抓取过程中相对位置不变，则抓取装置变换矩阵t与待抓取工件变换矩阵一致，可求得t（匹配模型与检测模型的位差转换矩阵）：则可求得抓取装置抓取匹配模型的位置（在匹配模型下，即实时图像引导下，实际抓取待抓取工件的位置）r2为：即，其中，r1表示抓取装置抓取检测模型的位置（在检测模型下，即模板图像引导下抓取待抓取工件的位置）。
26.在该实施例中，给出了匹配模型与检测模型的位移差变换矩阵t的具体计算方式，其综合考虑采样点位置（相机位置）、相机参数、点云变换等可变因素，大大增加了该定位方法的灵活性和适用范围。
27.更为具体的，如图2-3所示，本发明的定位方法（以抓取装置抓取格栅为例），还可选但不仅限于根据检测模型确定2个甚至更多个匹配模型，以确定2个或更多个抓取装置抓取待抓取工件的位置（同时抓取多个格栅工件，4个吸盘结构的格栅抓取爪，两两配对，同时抓取两个格栅工件）。
28.更为具体的，如图9所示，本发明在此定位方法的基础上，还提供一种抓取装置的定位系统，包括：
图像采集模块100，用于采集待抓取工件的模板图像，和待抓取工件的实时图像；图像识别模块200，与图像采集模块连接，用于在模板图像中提取检测模型，检测实时图像中，与检测模型相匹配的匹配模型；定位模块300，与图像识别模块连接，用于根据抓取装置抓取检测模型的位置、和匹配模型与检测模型的位差转换矩阵，定位抓取装置抓取待抓取工件的位置。
29.更为具体的，定位模块300，可选但不仅限于采用公式（1），定位抓取装置抓取待抓取工件的位置；（1）其中，r1表示抓取装置抓取检测模型的位置，t表示匹配模型与检测模型的位差转换矩阵，r2表示抓取装置抓取待抓取工件的位置。
30.采用公式（2），确定匹配模型与检测模型的位差转换矩阵；（2）其中，r
p1
表示采集模板图像的采集点，e1表示采集模板图像的相机外参，用于将点云中模板图像的位姿转换为抓取装置坐标系下的位姿，m1表示采集模板图像的转换矩阵；r
p2
表示采集实时图像的采集点，e2表示采集实时图像的相机外参，用于将点云中实时图像的位姿转换为抓取装置坐标系下的位姿，m2表示采集实时图像的转换矩阵。
31.更为具体的，如图10所示，图像识别模块200，可选但不仅限于包括：边缘特征提取单元210，用于提取模板图像和实时图像的边缘特征；检测模型确定单元220，与边缘特征提取单元连接，用于在模板图像的边缘特征中，选定至少一个边缘特征所在区域的局部图像为检测模型；匹配模型确定单元230，与边缘特征提取单元和检测模型确定单元连接，用于在实时图像的边缘特征中，选定与检测模型相匹配的边缘特征所在区域的局部图像为匹配模型。
32.如图11所示，边缘特征提取单元210，可选但不仅限于包括：预处理小单元211，对模板图像和实时图像，分别进行平滑降噪预处理，得到预处理后的模板图像和预处理后的实时图像；边缘检测小单元212，与预处理小单元连接，用于构造边缘检测算子，并分别对预处理后的模板图像和预处理后的实时图像进行边缘检测，确定模板图像的边缘区块和实时图像的边缘区块；边缘连接小单元213，与边缘检测单元连接，用于通过阈值二值化处理，分别连接模板图像的边缘区块和实时图像的边缘区块，得到模板图像的边缘特征和实时图像的边缘特征。
33.上述定位系统基于上述定位方法创造，其技术作用和有益效果在此不再赘述，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
34.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并
不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。