一种面向遮挡、杂乱场景下的机器人抓取检测方法及系统

1.本发明属于机器视觉、机器人应用、人工智能领域，具体说是一种面向遮挡、杂乱场景下的机器人抓取检测方法及系统。


背景技术：

2.目前，在工业领域尤其是物流行业中，对简单工件的识别定位及抓取有很多技术的研究。近年来随着作业场景日渐复杂，对工件抓取的准确性、可操作性速度等应用需求不断增加，现有的抓取技术存在视觉检测不够准确，操作复杂，应用场景简单，计算量大等问题，因此需要实时性高效行的视觉抓取算法。
3.德国isra vision公司的intellipick 3d系统(rasolzadeh b, m,huebner k,et al.an active vision system for detecting,fixating andmanipulating objects in the real world.[j].international journal ofrobotics research,2011,29(2-3):133-154.)可以在多种堆放的零件之中识别并抓取异形部件，但其重点在于排除非目标物体，也没有针对目标的抓取策略。李淼发明了一种在检测目标的图像坐标系中找取目标中心点进行抓取的方法，但不能解决目标遮挡的问题(李淼,闫琳,张少华,孙斌,朱祥将,潘绪洋,明棚,占俊,付中涛,房小立,周新钊.一种基于单相机的机器人无序抓取装置及方法[p].湖北：cn107009358a,2017-08-04.)；卢智亮提出两种算法，融合位置因素的操作关系推理算法和嵌入通道注意力结构的一阶抓取检测算法(卢智亮. 基于深度学习的堆叠物体抓取方法研究[d].广东工业大学,2020.doi:10.27029/d.cnki.ggdgu.2020.000350.)。但其只在含单一物体的简单场景下有一定的准确率，当在多个物体的复杂场景时偏差较为明显；宋亚楠为解决非极大值抑制算法不能有效处理遮挡环境问题，提出基于改进和声搜索算法寻找最优检测结果组合，对于如何使深度学习网络高效利用点云局部空间信息，则提出了基于局部区域搜索的点云编码方法(宋亚楠.基于深度学习的物体识别及机器人抓取检测方法研究[d].华中科技大学,2020.doi:10.27157/d.cnki.ghzku.2020.001429.)，但没有解决物体自遮挡或者相互遮挡的问题，二维图像的畸变和三维点云的无序性和非结构化也有待深入研究。
[0004]
随着工业自动化的不断发展，机器人抓取技术逐步应用到生产实际中。目前的工业环境时常面临着场景复杂、目标工件放置无序且堆叠的情况，因此需要一种具有柔性、智能制造性能的视觉检测抓取算法。现有的检测抓取方法大多是手工特征配合先验模型，准确率整体偏低，不能实现最优化的抓取。


技术实现要素：

[0005]
本发明提出一种面向遮挡、杂乱场景下的机器人抓取检测方法：基于视觉检测的6d姿态估计、结合深度学习网络，以被检测物体的彩色图、深度图和物体点云模板库为输入，6d位姿估计矩阵为输出，发明了一种适用性高的抓取策略，可以针对此种情况实行有效抓取。
[0006]
本发明为实现上述目的所采用的技术方案是：一种面向遮挡、杂乱场景下的机器人抓取检测方法，包括以下步骤：
[0007]
1)对于每个目标工件：通过深度相机对目标工件进行拍照，采集目标场景下目标工件不同位姿下彩色图以及与彩色图对应的深度图；
[0008]
2)对彩色图进行训练处理，获取检测训练模型h；并制作目标工件的点云模板库；
[0009]
3)通过深度相机采集目标场景下包含各个目标工件的彩色图以及与彩色图对应的深度图，并将目标工件彩色图输入至检测训练模型h中，得到彩色图中各个目标工件的位置和类别；
[0010]
4)根据目标工件的彩色图的位置对应到深度图上，利用相机内参，得到各个目标工件被采集到的表面点云oi，其中，i表示i个目标工件；
[0011]
5)将各个目标工件被采集到的表面点云oi与工件点云模板库进行点云配准，获取各个检测目标工件的当前位姿si；
[0012]
6)根据工件点云模板库结合深度相机外参以及获取的各个检测目标工件的当前位姿si，采用无序抓取策略抓取实现目标工件的抓取。
[0013]
所述步骤2)，包括以下步骤：
[0014]
2-1)对每个目标工件的彩色图进行标注，标注出目标工件的轮廓信息及工件类别，生成掩模图；
[0015]
2-2)将掩模图中工件类别发送至工件点云模板库；
[0016]
2-3)根据掩模图中的轮廓信息，获取每个彩色图中目标工件所占据的像素位置，并生成数据集，将彩色图中包含目标工件所占据像素位置的数据集进行数据集增强处理，扩充数据集；
[0017]
2-4)将扩充后的数据集输入至深度神经网络进行训练，得到检测训练模型 h；
[0018]
2-5)根据每个目标工件的深度图的工件三维结构，通过三位绘图软件制作工件点云模板库。
[0019]
所述数据集增强处理，包括：
[0020]
对获得的数据集依次采用旋转、添加噪声、模拟光照方式处理扩充数据集；
[0021]
所述旋转，对彩色图进行设定角度的旋转；
[0022]
所述模拟光照，即改变彩色图的对比度、饱和度。
[0023]
所述检测训练模型h为maskrcnn深度学习模型。
[0024]
所述步骤5)具体为：
[0025]
通过迭代最近点法对各个目标工件被采集到表面点云oi进行配准；根据目标工件的类别，从工件点云模板库中挑选出其目标工件完整的点云模板，让点云 oi与工件点云模板库进行配准，依次得到各个检测目标工件的当前位姿si。
[0026]
步骤6)中，所述采用无序抓取策略抓取实现目标工件的抓取，包括以下步骤：
[0027]
6-1)计算各个目标工件在此位姿si时，在相机下的表面点云及其无遮挡时的物体点云：结合工件点云模板库、相机外参以及实际工件当前位姿si，通过相机仿真渲染，得到此相机视角下目标工件在位姿si情况下未遮挡的单视角点云ti；
[0028]
6-2)依次获取各个目标工件无遮挡下的单视角点云ti的表面积sa
ti
，同时依次获取实际场景下的各个目标工件点云oi的表面sa
oi
；其中，i表示第i个目标工件；
[0029]
2)将获取的实际场景下各个目标工件的点云oi的表面积sa
oi
、和其无遮挡下的单视角点云ti的表面积sa
ti
一一对应，获取目标工件未被遮盖率，即：
[0030][0031]
其中，i表示第i个目标工件，sa
ioui
为实际场景中工件的点云表面积与模板库中该工件完整的点云表面积之比，即目标工件未被遮盖率；
[0032]
3)比较对所有目标工件的未被遮盖率sa
ioui
，设置遮挡是否影响抓取的指标的阈值σ，其中，σ的值根据实际情况设定；
[0033]
4)sa
ioui
大于σ则满足抓取要求，σ范围为0到1，越接近1表示被遮挡表面越小，反之视为被遮挡；
[0034]
5)在所有满足sa
ioui
大于σ的目标工件中，比较各个目标工件的质心，优先抓取质心位置最高的目标工件。
[0035]
一种面向遮挡、杂乱场景下的机器人抓取检测方法的检测系统，包括：
[0036]
图像获取模块，用于获取深度相机对每个目标工件扫描得到的目标场景下目标工件不同位姿下彩色图以及与彩色图对应的深度图、以及深度相机对待检测包含各个目标工件的彩色图以及与彩色图对应的深度图，并发送至模型构建模块；
[0037]
图像处理模块，用于对获取目标工件的彩色图进行标注，标注出目标工件的轮廓信息及工件类别，生成掩模图；
[0038]
模型训练模块，用于根据掩模图中的轮廓信息，获取彩色图中目标工件所占据的像素位置，并生成数据集，将包含目标工件所占据的像素位置的数据集进行数据集增强处理，扩充数据集，将扩充后的数据集输入至深度神经网络进行训练，得到检测训练模型h；
[0039]
工件点云模板库，用于根据掩模图中工件类别以及各个目标工件的深度图的三位结构建立每个目标工件的工件模板；
[0040]
点云配准模块，用于根据目标工件的类别，从工件点云模板库中挑选出其待检测目标工件的点云模板，并通过迭代最近点法与工件点云模板库进行配准，依次得到各个检测目标工件的当前位姿si；
[0041]
目标工件抓取模块，用于根据工件点云模板库结合深度相机外参以及获取的各个检测目标工件的当前位姿si，采用无序抓取策略抓取实现目标工件的抓取。
[0042]
本发明具有以下有益效果及优点：
[0043]
1.本发明选择结合深度学习的6d位姿估计的检测方法，在提取有效特征这一方面得到了提升；且大多抓取算法解决不了识别目标众多、背景复杂的问题，当物体出现遮挡时抓取效率就会下降，本发明提出了操作简单、识别精准的高效抓取策略，可以广泛应用于实际场景。
[0044]
2.本发明在给神经网络输入的训练集足够多、训练的次数足够多的情况下，深度学习网络的识别算法可以得到较高的准确率。
[0045]
3.当检测目标的形状特殊性以及工件摆放混乱有遮挡时，本发明采取了 icp点云配准得到6d位姿估计的方法，能够输出检测目标便于机械臂抓取的点位信息。
[0046]
4.在抓取规划上，本发明特有的抓取策略可以实现快速精准的抓取目标。本发明解决了现阶段面对遮挡、杂乱场景下如何提取有效特征并实现无序抓取的问题。
附图说明
[0047]
图1为本发明的算法流程图；
[0048]
图2为本发明实施例中三通管和积木杂乱摆放有遮挡的彩色图；
[0049]
图3为本发明实施例中图2中实例分割后的结果图；
[0050]
图4为本发明实施例复杂背景下三通管和积木杂乱摆放有遮挡的彩色图；
[0051]
图5为本发明实施例图4分割后的结果图。
具体实施方式
[0052]
下面结合附图及实施例对本发明做进一步的详细说明。
[0053]
为实现杂乱场景下机器人的无序抓取，本发明提供了一种能够解决目标工件存在遮挡问题的机器人视觉检测抓取算法，抓取算法流程图，如图1所示，整体流程划分为训练和推理两部分，具体包括如下步骤：
[0054]
①
训练部分
[0055]
步骤(1)数据采集：
[0056]
对于每个目标工件：使用深度相机对目标工件进行拍照，获得目标场景下目标工件不同位置及姿态的彩色图和深度图；
[0057]
步骤(2)数据集制作：
[0058]
对获取到的每个目标工件的彩色图进行标注，标注出目标工件的轮廓信息及工件类别，生成掩模图，利用掩模图可以得到彩色图中目标工件所占据的像素位置，生成数据集；
[0059]
步骤(3)数据集增强：
[0060]
对获得的数据集依次采用旋转、噪声、模拟光照等方式处理扩充数据集；
[0061]
步骤(4)实例分割算法训练：
[0062]
将增强后的数据集输入到maskrcnn深度网络进行训练，并通过调参生成检测效果较好的maskrcnn深度学习模型h；
[0063]
步骤(5)利用目标工件cad制作工件点云模板库：
[0064]
利用三维绘图软件或三维重建制作检测目标工件cad模板库。
[0065]
②
检测部分
[0066]
步骤(1)准备待检测的数据：
[0067]
准备目标场景下待检测的目标工件的数据(彩色图)；
[0068]
步骤(2)实例分割算法推理：
[0069]
将待检测数据输入加载训练得到算法模型h，可识别出各个目标工件的位置和类别；根据目标工件的彩色图的位置对应到深度图上，利用相机内参可得到各个目标工件被采集到表面点云oi(i表示第i个目标工件)；
[0070]
步骤(3)点云配准：
[0071]
点云数据的配准的目的是得到被抓取物体的在空间中的姿态及位置信息，即6d位姿。本发明采用迭代最近点法(iterative closest point，icp)进行配准，首先根据目标工件的类别从cad模板库中挑选出其目标工件完整的点云模板，让点云oi与点云模板进行配准，可以依次得到各个检测目标工件的当前位姿si(i表示第i个目标工件)。
[0072]
步骤(4)无序抓取策略
[0073]
1)计算各个模板工件在此位姿si时，在相机下的表面点云及其表面积(未被遮挡时的物体点云)：结合点云cad模板库、相机外参以及实际工件当前位姿 si，利用仿真渲染得到此相机视角下工件在无遮挡情况下单视角点云ti(工件在位姿si情况下未遮挡的点云)，依次计算各个目标工件无遮挡下的单视角点云ti的表面积sa
ti
(i表示第i个目标工件)；依次计算实际场景下的各个目标工件点云oi的表面sa
oi
(i表示第i个目标工件)；
[0074]
2)将计算出计算实际场景下各个目标工件的点云oi的表面积sa
oi
、和其无遮挡下的单视角点云ti的表面积sa
ti
一一对应，依次求出目标工件未被遮盖率 sa
ioui
(i表示第i个目标工件)如式(4-1)：
[0075][0076]
3)比较对所有目标工件的未被遮盖率sa
ioui
，设置阈值σ(遮挡是否影响抓取的指标)，sa
ioui
大于σ则满足抓取要求，σ范围为0到1，越接近1表示被遮挡表面越小，反之视为被遮挡，σ的值根据实际情况设定。
[0077]
4)在所有满足sa
ioui
大于σ的目标工件中，比较各个目标工件的质心，优先抓取质心位置较高的目标工件。
[0078]
实施例：
[0079]
以杂乱摆放目标场景下三通管以及彩色木块为例：
[0080]
步骤一：使用深度相机进行拍照，获取目标场景下三通管以及彩色木块不同位置姿态的彩色图、深度图等；例如三通管和彩色木块不同位置姿态的彩色图，分别如图2和图4所示；
[0081]
步骤二：对获取三通管和木块彩色图进行标注，获得三通管和彩色木块的轮廓信息及所属种类，根据标注之后生成的掩模图，可以得到彩色图中通管和彩色木块所占据的像素位置，生成数据集；
[0082]
步骤三：将制作好的三通管以及彩色木块的数据集，依次通过旋转、噪声、模拟光照等方式扩充数据集；
[0083]
步骤四：将扩充后的数据集输入到maskrcnn深度网络进行训练，并通过调参生成检测效果较好的算法模型；
[0084]
步骤五：根据所检测三通管以及彩色木块及其类别信息，利用三维绘图软件或三维重建绘制未遮挡的三通管和彩色木块的点云cad模板库；
[0085]
开始检测：
[0086]
步骤1)：将待检测三通管以及彩色木块的数据输入到训练好的模型，可识别出三通管以及彩色木块的轮廓信息及所属类别，如图3、图5；
[0087]
步骤2)：将三通管以及彩色木块的彩色图的位置对应到深度图上，利用相机内参可获取到各个三通管以及彩色木块的点云；
[0088]
步骤3)：根据三通管以及彩色木块的类别从cad模板库中挑选出其完整的点云模板，让三通管以及彩色木块的点云与点云模板进行配准，得到当前场景下三通管和彩色木块的6d位姿；
[0089]
步骤4)：根据事先制定三通管和彩色木块的点云cad模板库，结合相机外参以及当
前场景下三通管和彩色木块的6d位姿，计算出当前位姿下各个三通管和彩色木块点云表面积；
[0090]
步骤5)：采取本发明的无序抓取策略，依次计算出当前位姿的各个三通管和彩色木块在相机下的点云表面积，计算其与在点云cad模板库所对应的未遮挡的点云模板的表面积之比(即未被遮盖率，通过公式(4-1)获取)，找到当前场景下未被遮盖率大于阈值的三通管和彩色木块，优先抓取未被遮挡的三通管和彩色木块中质心较高的。
[0091]
综上，针对三通管和彩色木块散乱堆放、三通管和彩色木块紧密堆叠有遮挡的情况，使用深度学习网络进行物体识别；针对三通管和彩色木块工件紧密连在一起、三通管的处于中空的情况，需要在物体识别基础上进行6d位姿估计，然后采取无序抓取策略抓取。
[0092]
此视觉抓取算法可以应用在如下场景：
[0093]
应用场景1：如图2所示，堆放杂乱有遮挡的三通管和积木，其实例分割结果如图3所示；
[0094]
应用场景2：如图2所示，复杂背景下堆放杂乱有遮挡三通管和积木，其实例分割结果如图5所示。
[0095]
在实际应用中，由于某些检测目标的形状特殊性以及摆放无序混乱有遮挡，因此需要一种能够精准识别、有序抓取的机器人视觉检测算法。以往的视觉抓取算法检测的大都是2d或者3d特征，能够提取到的有效特征不明显，往往会出现比较大的误差。而本发明针对这一问题，选择结合深度学习的6d位姿估计的检测方法，在提取有效特征这一方面得到了提升。