一种基于落点区域检测的多模式抓取避障检测优化方法与流程

1.本发明涉及机器人技术领域，具体涉及机器人自主抓取分拣过程中抓取规划的避障检测及优化方法。


背景技术：

随着自动化控制和机器视觉检测技术的发展，机器人已经在许多工业场景中实现了对人类的完全替代，其在工作的连续性，工作稳定性和精度方面具有人类无法比拟的优势，已经帮助众多产线实现了全自动化改造，极大地提高了生产效率。同时随着现代控制理论和人工智能技术的发展，机器人的智能化水平越来越高，其能够承担的任务也越来越复杂多样。抓取动作作为人类与现实世界交互工作的重要基本动作之一，同样是机器人完成众多任务时所必须拥有的能力。现有的机器人抓取技术大多部署在较为结构化场景中，机器人只需要在某些传感器信号的出发下完成某一固定抓取动作，实现定点抓取、搬运、放置的效果，虽然稳定，但只能完成较为简单的任务。机器人技术的发展，尤其是家用服务机器人，必将趋向于更加复杂，贴合实际环境的场景，在面向此类非结构化场景抓取需求时，目前主流目标检测方法，如基于深度学习的yolo，基于传统图像处理方法的模板匹配算法等，均无法达到100％的检测精度，存在误检风险，可能带来抓取不稳定导致掉落，抓取位置错误导致无法抓起等问题，而其中最严重的后果就是抓取位置干涉导致碰撞，会给目标物体、夹持器、机械臂乃至整个机器人系统带来严重后果。目前的机器人避障算法大多需要对场景进行三维信息进行采集、建图，进一步采用路径规划避障算法实现对障碍物的规避，部署应用较为复杂，且需要增设众多设备，对现有生产线改造同样难度大，且路径规划算法的避障策略同样存在检测失败导致碰撞的可能性。鉴于上述问题，如何设计一种简单可靠的抓取避障方法，实现新系统的快速部署，现有生产线的便捷改装，提高机器人抓取技术的安全性可靠性，是一项重要研究课题。


技术实现要素：

本发明针对机器人抓取技术中的避障检测问题，公开了一种基于落点区域检测的多模式抓取避障检测优化方法，致力于通过简单便捷的方式提高现有机器人抓取场景的安全性可靠性，降低事故风险。本发明为达到上述目的，采用如下技术方案。本发明提出的是一种基于落点区域检测的多模式抓取避障检测优化方法，面向的是由上位机、机器人、相机、多个目标物体等所组成的机器人抓取系统，工作在非结构化的场景下，其中目标物体在机器人工作范围内随机散乱分布，可能存在堆叠遮挡，该系统的主体功能是通过相机采集场景信息，上位机处理后传递信息到机器人，完成对目标物体的抓取动作。所述上位机为具备对应图像信息处理能力的计算机或其它类型的处理器；所述机器人包括机器人本体，控制器及末端夹持器等，机器人本体应当具备多自由度运动能力，如关节式或坐标式机械臂，可以准确完成上位机所发送的动作指令，末端夹持器应当根据目
标物体选取，具备完成对目标物体抓取的能力，且其3维模型已知，便于对其落点区域进行分割提取；所述相机包括但不限于2d平面相机、深度相机、3d相机等，且其安装布置在合理的位置，可以为上位机采集提供包括目标物体和机器人工作空间在内的场景信息。所述目标物体为该实际应用场景下的物体，且其3维模型已知。采用本发明所提出的避障检测优化方法的机器人抓取系统的构建和运行包含以下步骤：s1.确定工作场景和待抓取的目标零件种类及几何形状；s2.完成硬件选型(主要包括机器人，相机，夹持器和工作平台)和场景搭建；s3.综合考虑待抓取目标及所用夹持器几何形状对每一个目标进行不同典型模式下的抓取规划设计，获得不同抓取模式下夹持器的落点区域；s4.建立待抓取目标和多模式抓取规划数据库；s5.标定相机与夹持器之间的位置关系，获得手眼变换矩阵；s6.使用相机获取目标场景信息并使用检测算法获得目标零件的类型、姿态及其在相机坐标系下的位置信息；s7.依据识别得到的目标零件信息索引抓取规划数据库，获得抓取该目标物体时的相机坐标系下夹持器位姿及工件坐标系下落点区域；s8.对所获落点区域进行避障检测；s9.若无碰撞则执行该次抓取；s10.有碰撞则更换目标或优化后重复步骤s8～s10；s11.通过手眼变换矩阵得到夹持器在机器人坐标系下的位姿，执行抓取。步骤s3所述的综合考虑待抓取目标及所用夹持器几何形状对每一个目标进行不同典型模式下的抓取规划设计，获得不同抓取模式下夹持器的落点区域，具体包括以下步骤：s3
‑
1.为每个目标零件建立工件坐标系coor
obj
，确定坐标系原点及各轴方向；s3
‑
2.对各目标零件的摆放状态进行分析，确定其可能存在的各典型姿态，如平放、侧立、斜立或倒置；s3
‑
3.确定各典型姿态在相机坐标系coor
cam
下的角度范围，为后续识别分类设定角度阈值；举例，如对于方形薄板式零件，其可能出现的姿态为正放或反放，当采用3d相机进行处理时，可通过点云匹配算法获得其在相机坐标系coor
cam
下的位姿坐标为p
cam
＝(x
cam
,y
cam
,z
cam
,rx
cam
,ry
cam
,rz
cam
)，若
‑
90
°
≤rx
cam
≤90
°
，则判定为近似正面朝上，按照正放规划抓取，若90
°
≤rx
cam
≤270
°
则判定为近似反面朝上，按照倒放规划抓取。其余形状复杂的物体可以设定更加复杂的规则实现判定规划。s3
‑
4.针对各典型姿态，在目标物体上选定可抓取区域；s3
‑
5.依据选定的可抓取区域和夹持器形状，设计夹持器的中心和手指落点区域，并计算出落点区域的在工件坐标系coor
obj
下的坐标范围。步骤s4所述的建立待抓取目标和多模式抓取规划数据库，所构建的抓取规划数据库中至少应当包括：(1)待抓取目标物体的种类、3维模型等信息；(2)每个目标物体在不同放置位姿下的夹持器的抓取模式，即夹持器在目标物体
工件坐标系下的位姿；(3)各抓取模式下落点区域存在碰撞时的优化规则；(4)所用夹持器的末端形状，尺寸参数；(5)夹持器末端落点区域在目标物体局部坐标系下的关键位置参数，如矩形区域的角点坐标，圆形区域的圆心坐标及半径等；步骤s6～s8所述的检测及避障检测流程中，所采用的具体算法和处理策略应由所用的相机及检测方式确定，包括但不限于以下几种：如使用普通2d相机获取rgb图像或灰度图像，可用模板匹配或目标检测方法从场景中提取目标，将图像二值化，使用canny算子等对原始图像进行边缘提取，随后对夹持器落点区域进行非零像素点个数或像素值统计，达到某一设定阈值即认为该区域存在碰撞。如使用深度相机获取目标深度图像，可用表面匹配的方法从场景中提取目标，将图像二值化，使用canny算子等对原始图像进行边缘提取，随后对夹持器落点区域进行非零像素点个数或像素值统计，达到某一设定阈值即认为该区域存在碰撞；如使用结构光，双目等立体相机获取点云信息，可用icp或点云表面匹配算法从场景中提取目标，随后裁剪出夹持器落点区域，对该区域内点云个数进行统计，达到某一设定阈值即认为该区域存在碰撞。所述的避障检测流程中，抓取系统的各部分需要在不同的坐标系下进行，坐标系主要包括目标工件坐标系coor
obj
、相机坐标系coor
cam
、机器人基坐标系coor
base
和机器人末端工具坐标系coor
tool
。其中工件坐标系coor
obj
由用户根据目标零件的几何形状确定，抓取规划和碰撞检测优化主要在此坐标系下进行，相机坐标系coor
cam
由相机出厂时确定，图像的处理和分割以及目标姿态的判定主要在此坐标系下进行，机器人基坐标系coor
rob
由机器人出厂时确定，机器人的运动和抓取执行主要在此下进行。不同坐标系之间的坐标变换可以通过变换矩阵实现，其中，相机坐标系与机器人基坐标系之间的手眼变换矩阵通过标定获得，工件坐标系与相机坐标系之间的变换矩阵通过工件原点在相机坐标系下的坐标逆解求得。与已有技术相比，本发明的有益效果体现在：1.本发明提出的基于落点区域检测的多模式抓取避障检测优化方法可以对机器人自主抓取系统中的碰撞做出有效检测，可以保障系统在复杂非结构化场景下工作的安全性；2.本发明所提出的方法构造简单，无需复杂算法，无需增加硬件设备，仅需对目标零件进行分析和少许算法层面的改动即可快速部署到现有抓取系统中；3.本发明所提出的方法适应性强，可以适用于各类2d,3d相机以及各类不同类型的夹持器，只需要按照前述方法针对目标物体设计抓取，求得落点区域并设定合理检测阈值即可。
附图说明
图1是本发明的典型应用场景示意图图2是本发明工作流程中所涉及到的各坐标系位置示意图；图3是本发明的准备工作流程图；
图4是应用本发明的机器人抓取系统典型工作流程图；图5是处于平放姿态的目标物体抓取模式规划示意图；图6是处于侧立姿态的目标物体抓取模式规划示意图；图7是处于正立姿态的目标物体抓取模式规划示意图；图8是一个落点区域存在碰撞的长方体原始抓取规划示意图；图9是一个默认平移优化后的长方体抓取规划示意图；图10是一个默认平移优化后的长方体抓取规划示意图；图11是一个落点区域存在碰撞的圆柱形物体原始抓取规划示意图；图12是一个默认旋转优化后的圆柱形物体抓取规划示意图；图13本发明中所述基于落点子区域分析的定向避障优化策略示意图；图14为定向避障优化后的结果示意图。
具体实施方式
下面结合实施例和附图，对本发明的具体实施作进一步的详细说明，但本发明的实施方式不限于此。本发明的实施首先需要完成抓取场景的确定和搭建，一个典型的抓取系统场景如图1所示：其中主要包括相机1、抓取夹持器2、机器人3、抓取平台4、待抓取的目标零件5、相机支架6以及上位机、传感器等其它图中未示出的相关设备。其中，相机1的种类视实际拍摄需求而定，包括但不限于2d平面相机、深度相机、3d相机，如结构光或双目相机等，安装布置在合理的位置，可以为上位机采集提供包括目标物体和机器人工作空间在内的场景信息。抓取夹持器应当根据目标物体选取，具备完成对目标物体抓取的能力，且其3维模型已知，便于对其落点区域进行分割提取；机器人3应当具备多自由度运动能力，如关节式或坐标式机械臂，可以准确完成上位机所发送的动作指令；抓取平台4可为固定式或运动式，如传送带，位置应在相机的最佳成像范围之内；待抓取的目标零件5为该实际应用场景下的物体，且其3维模型已知，同时实际抓取时可同时存在多个散乱分布的不同种类目标零件，图中仅绘出一个用作示意。本发明各部分工作的实施涉及到多个不同的坐标系下，各个坐标系的位置和定义如图2所示，其中主要包括相机坐标系c1，coor
cam
、机器人末端工具坐标系c2，coor
tool
、机器人基坐标系c3，coor
base
和目标工件坐标系c4，coor
obj
。其中工件坐标系coor
obj
由用户根据目标零件的几何形状确定，抓取规划和碰撞检测优化主要在此坐标系下进行，相机坐标系coor
cam
由相机出厂时确定，图像的处理和分割以及目标姿态的判定主要在此坐标系下进行，机器人基坐标系coor
rob
由机器人出厂时确定，机器人的运动和抓取执行主要在此坐标系下进行。不同坐标系之间的坐标变换可以通过变换矩阵实现，其中，相机坐标系与机器人基坐标系之间的手眼变换矩阵通过标定获得，工件坐标系与相机坐标系之间的变换矩阵通过工件原点在相机坐标系下的坐标逆解求得。本发明的实施还需要先完成各项准备工作，如图3所示，其中主要包括：s101，确定目标。即确定待抓取的目标的种类、几何形状等信息并获得其3维模型；s102，分析目标。即对待抓取的目标几何形状、轮廓及在场景中可能出现的不同典型姿态进行分析，确定各姿态下的可抓取区域；
s103，多模式抓取规划。即针对目标分析结果，结合所用夹持器的几何形状参数，确定目标各模式下的抓取方式。确定各个抓取方式时夹持器在工件坐标系coor
obj
下的坐标；s104，计算落点区域。即在抓取方式确定之后，由抓取位置和夹持器形状确定当前抓取方式下的夹持器手指落点区域；s105，设计优化规则。即根据目标几何形状和所所选取的抓取方式，为该次抓取设计碰撞存在时的抓取优化方法；s107，建立抓取规划数据库。即将上述各数据以各个抓取目标为单位归纳整合，建立抓取规划索引数据库；s108，机器人
‑
相机手眼标定。使用标定板完成机器人和相机之间的手眼标定，获得两坐标系之间的变换矩阵；其中可以根据具体工作场景添加s106步骤，在数据库中增加更多工作相关信息。应用本发明的机器人抓取系统工作的主要流程如图4所示，主要包括：s201，采集图像。由上位机或其它传感信号触发相机拍照采集图像，获取抓取场景信息。所述相机包括但不限于2d平面相机、深度相机、3d相机，如结构光或双目相机等；s202，识别目标。使用图像处理算法从原始图像信息中获取目标种类，位姿等信息。具体识别算法视所采用的相机及获取的图像信息而定；s204，抓取规划。由识别到的目标信息在抓取规划数据库中进行索引，为当前目标规划一个抓取；s205，落点区域提取。由该抓取计算得到落点区域的关键位置参数，从图像中提取得到夹持器落点区域局部图像；s206，落点区域碰撞检测。对落点区域局部图形进行处理分析，得到指示是否存在碰撞的数据指标并于设定好的指标阈值作比较，超出阈值则认为存在碰撞，执行s207，未超出阈值则认为不存在碰撞，执行s208。具体检测指标、阈值设置以及s202步骤中所述的识别方法，由所选取的相机类型、处理方式和实际实验确定：s207，检测到夹持器落点区域存在碰撞，依据工作需求放弃该目标或者执行既定优化规则对抓取进行优化后重新执行s205～s207，直至获得无碰撞的可行抓取，若迭代完所有优化位置后仍然存在碰撞，则放弃该目标，执行预设退出算法。s208，获得无碰撞的可行抓取，使用变换矩阵，将该抓取变换到机器人基坐标系coor
base
下,执行抓取。前述已具体说明了本发明的准备工作和总体实施流程，下面通过附图和实例对本发明的避障检测优化方法的实施进行详细说明。实施例一本实例采用两指平行夹爪作为抓取工作的夹持器。首先结合图5～图7对本发明所述的多模式抓取规划设计以及避障优化方法进行具体说明：图示左侧部分为相机坐标系下的抓取工作场景，右侧部分为目标物体工件坐标系下的俯视图，4为抓取平台，51为一个长方体目标物体实例，61，62为两指夹持器的落点区域。
图5～图7左侧所示给出了该目标物体在随机放置时可能出现的平放，侧立，正立三种典型姿态，此处称其为物体可能存在的3中典型模式，并给出了物体该姿态在相机坐标系下的三个角度；该物体的上述三种模式下抓取方式互斥，需要独立设计规划，其余可能出现的姿态，如斜立，可以由根据角度范围判定为上述典型模式的一种并沿用其抓取方式。图5～图7右侧即展示了目标物体工件坐标系下给每个对应模式设计的抓取方式样例。抓取规划完成后，61，62所代表的抓取落点区域可由夹爪形状尺寸和抓取参数计算得到，并预先存放于抓取规划数据库中，工作时可以直接索引读取。下面结合图8～图12对本发明所述的避障检测及默认规则优化方法进行具体说明：图中51为一个长方体的目标物体实例，52为一个圆柱形的目标物体实例，6为抓取落点区域，7为分布于目标物体两侧的障碍物。如图8所示，落点区域与障碍物存在重叠部分，裁剪落点区域并对该重叠部分进行检测即可识别该碰撞，采用的具体算法和处理策略应由所用的相机及检测方式确定，包括但不限于以下几种：(1)如使用普通2d相机获取rgb图像或灰度图像，可用模板匹配或目标检测方法从场景中提取目标，将图像二值化，使用canny算子等对原始图像进行边缘提取，随后对夹持器落点区域进行非零像素点个数或像素值统计，达到某一设定阈值即认为该区域存在碰撞。(2)如使用深度相机获取目标深度图像，可用表面匹配的方法从场景中提取目标，将图像二值化，使用canny算子等对原始图像进行边缘提取，随后对夹持器落点区域进行非零像素点个数或像素值统计，达到某一设定阈值即认为该区域存在碰撞；(3)如使用结构光，双目等立体相机获取点云信息，可用icp或点云表面匹配算法从场景中提取目标，随后裁剪出夹持器落点区域，对该区域内点云个数进行统计，达到某一设定阈值即认为该区域存在碰撞。对于类似于51，52的简单形状物体，抓取落点区域存在碰撞时，可以在工件坐标系下设定一些沿轴线的小位移平移、绕中心的小角度旋转等规则来迭代优化，快速寻找无碰撞区域，优化抓取，如图8所示，对于51，原始的抓取规划存在碰撞，可以通过迭代上移抓取位置(图9)，迭代下移抓取位置(图10)等简单操作快速实现优化。如图11所示，对于52，原始的抓取规划存在碰撞，迭代旋转即可找到无碰撞区域(图12)。所述平移和旋转的默认优化规则仅为示例，具体使用时可根据所抓取的目标物体针对性设计默认优化规则。下面结合图13对本发明所述的基于落点子区域分析的定向避障优化策略进行具体说明：图13中将两个落点区域进行了进一步划分获得了四个落点子区域61、62、63、64，51为一个长方体的目标物体实例，7为分布于目标物体两侧的障碍物。通过对各区域的抓取情况进行进一步分析并针对每种情况制定相应的定向优化策略建立如表1所示的索引表。对应的图示情况进一步分析后可得到区域61，64存在碰撞，由此可得定向优化策略为逆时针旋转该抓取。表1为落点子区域定向优化策略表，此表仅为示意，未列举出所有情况。表1
对该目标顺时针定向优化后的无碰撞抓取如图14所示。