1.本发明涉及一种基于体素抓取网络的机械臂灵巧抓取规划方法。
背景技术：
：：2.伴随着人工智能研究在世界范围内掀起热潮，智能机器人作为一种包含多种技术的系统出现在人类社会不同的领域之中。抓取在智能机器人的各项基本能力中尤为重要。在2015的icra会议(theinternationalconferenceonroboticsandautomation)上举办的首届apc竞赛(amazonpickingchallenge)，以及在2020年iros会议(theieee/rsjinternationalconferenceonintelligentrobotsandsystems)上由阿里巴巴主办的全球首个机器人抓取云竞赛ocrtoc(opencloudrobottableorganizationchallenge)，都可以看出世界范围内的研究者对于智能机器人的抓取能力十分感兴趣。3.末端执行器决定了智能机器人与被拾取物体的接触形态。大多数的抓取研究采用的是平行两指夹钳型或吸盘型的末端执行器，但是这两类简单的末端执行器在抓取复杂物体时，会受到各种限制。针对日常生活中更加迎合人体结构的各类物品，仿生人类手掌型的灵巧末端执行器可以更出色地完成抓取任务。因此，人们对于具有多关节手指的灵巧拟人化抓取规划越来越感兴趣。4.灵巧抓取规划复杂度高，传统方法基本无法建立模型，实现控制规划。大部分研究者通常基于机器学习的方法，利用视觉信息进行驱动设计抓取规划方法。这类方法基本可以分为两类，分别为以手掌为中心的方法和以抓取对象为中心的方法。以手掌为中心的方法通常利用操作员演示数据进行学习，往往局限于单一固定的任务，不适合进行推广。以抓取对象为中心的方法提升了泛化能力，但描述物体信息与抓取规划之间的映射十分困难，导致系统运算效率与抓取成功率不高。技术实现要素：5.本发明克服现有技术的上述问题，提出了一种将待抓取物体完整点云信息作为输入，输出体素级预测的机械臂灵巧抓取规划方法。6.本发明首先通过固定在机械臂末端的intelrealsensed435双目立体深度相机获取待抓取物体多视角的rgbd图像，利用tsdf方法对待抓取物体进行三维重建。然后将物体完整的点云信息输入体素抓取网络，网络由仿真环境生成的模拟抓取训练数据训练，接受物体点云信息后能够输出体素级的抓取质量、代表末端执行器位姿的四元数以及五指末端执行器的开合程度等信息的预测，完成机械臂灵巧抓取任务。7.本发明为解决现有技术问题所采用的技术方案是：基于体素抓取网络的机械臂灵巧抓取规划方法，其特征在于：包含如下步骤：8.步骤1：获取物体多视角的rgbd图像，利用tsdf的方法，重建出待物体完整的点云信息；9.步骤2：利用物品的完整点云信息生成模拟抓取训练数据，训练体素抓取网络至收敛，得到网络模型；10.步骤3：利用步骤1的方法生成待抓取物体的完整点云信息，输入体素抓取网络，输出机械臂灵巧抓取规划。11.所述步骤1具体包括：12.步骤1-1：机械臂在物体侧上方做八分之一球运动，获取物体多视角rgbd图像；13.步骤1-2：定义一个包络抓取对象的立方体体素网格空间，获取体素在全局坐标系下的坐标vg(x,y,z)；14.步骤1-3：选择一张图片，根据对应相机的外参矩阵，将体素坐标转换到相机坐标系v(x,y,z)，再根据相机的内参矩阵，将体素坐标继续转换到图像坐标系v(u,v)；15.步骤1-4：利用tsdf有符号截断距离函数的方法，在第i幅图像中，体素点p的权重wi(p)的值为相机方向与体素表面法向量的夹角除以体素点到相机坐标系原点的距离，然后依据如下公式，得到体素点p的符号距离函数sfi(p)以及有符号截断距离函数tsdfi(p)的值，16.sdfi(p)＝di(u,v)-di(p)[0017][0018]其中，di(u,v)表示为体素点p在第i幅图像对应像素点(u,v)的深度值，di(p)表示为体素点p在相机坐标系下的坐标vi(p)到原点的距离，t为根据体素空间尺度设置的截断距离；[0019]步骤1-5：选择下一张图片，重复步骤1-3、1-4得到各变量值，利用如下公式进行tsdfi(p)值的更新，[0020]wi(p)＝min(maxw,wi-1(p) 1)[0021][0022]其中，当i＝1时，w＝w0(p)；[0023]步骤1-6：重复步骤1-5，将所有图像更新，融合为待抓取物体的完整点云信息。[0024]所述步骤2具体包括：[0025]步骤2-1：对待抓取物体完整点云依次进行滤波、聚类、分割等预处理，随机采样多个点，作为五指末端执行器的抓取中心，使用open3d获取采样点的表面法线；[0026]步骤2-2：根据各采样点的空间坐标以及表面法线生成初始抓取姿态，进行随机的空间变换与五根手指随机弯曲，生成多个抓取姿态；[0027]步骤2-3：根据五指末端执行器的几何形状信息进行接触检测，将末端执行器与待抓取物体完整点云交错的抓取姿态删除，得到可行的候选抓取姿态集以及对应的物品表面接触点集；[0028]步骤2-4：获取候选抓取姿态的表面接触点集pi点处指向物体内部的法向量ni，对于点集中的任意两点pm与pn，计算pm指向pn的单位向量然后分别计算点pm与pn的法向量nm、nn与vmn的夹角αmn、αnm，得到该候选抓取姿态的对应的夹角集合，删去大于90度的夹角，则定义该候选抓取姿态的质量系数λ为所有夹角正切值的最小值；[0029]步骤2-5：重复步骤2-4得到所有候选抓取姿态的抓取质量系数；[0030]步骤2-6：为候选抓取姿态生成标签，若抓取姿态的质量系数小于0.45，则为可行抓取；若抓取姿态的质量系数大于0.75，则为不可行抓取；[0031]步骤2-7：将带有类别标签的多个抓取姿态作为训练数据，训练体素抓取网络至收敛，得到模型。[0032]所述步骤3具体包括：[0033]步骤3-1：利用步骤1的方法得到当前待抓取物体的完整点云信息；[0034]步骤3-2：将待抓取物体的完整点云信息输入步骤2中训练后的体素抓取网络，得到每个体素的十维输出量，第一维为该体素的抓取质量，第二到五维为在该体素的末端执行器四元数位姿，第六到十维为在该体素五指末端执行器的闭合程度；[0035]步骤3-3：将抓取质量最高的体素空间坐标和对应的四元数位姿控制信息发送给机械臂，将对应的末端执行器闭合程度控制信息发送给末端执行器，完成一次抓取。[0036]本发明的优点是：本发明的三维重建方法基于tsdf设计，运算效率远高于传统点云匹配的三维重建方法。本发明的体素抓取网络训练通过物体完整点云信息自动生成抓取姿态的质量系数与类别标签，减少了基于网络的灵巧抓取算法训练数据获取成本，赋予网络自主学习的能力，且能够使用更加庞大的数据集进行训练，提高抓取算法的成功率。本发明的机械臂灵巧抓取规划方法的视觉驱动为待抓取物体的完整点云信息，为抓取提供了更加准确的几何信息，提高了机械臂抓取的成功率。附图说明[0037]图1是本发明实现方法流程图；[0038]图2是本发明三维重建过程示意图；[0039]图3是本发明体素抓取网络训练数据生成示意图。具体实施方式[0040]以下结合附图对本发明实例做进一步详述：[0041]本发明的基于视觉的机器人抓取训练数据采集方法，具体实施方法如下：[0042]步骤1：获取物体多视角的rgbd图像，利用tsdf的方法，重建出待物体完整的点云信息；[0043]步骤1-1：机械臂在物体侧上方做八分之一球运动，获取物体多视角rgbd图像；[0044]步骤1-2：定义一个包络抓取对象的立方体体素网格空间，获取体素在全局坐标系下的坐标；[0045]步骤1-3：选择一张图片，根据对应相机的外参矩阵，将体素坐标转换到相机坐标系，再根据相机的内参矩阵，将体素坐标继续转换到图像坐标系；[0046]步骤1-4：利用tsdf有符号截断距离函数的方法，选第一幅图像，求出每个体素点的权重，值为相机方向与体素表面法向量的夹角除以体素点到相机坐标系原点的距离，然后求出体素点的符号距离函数以及有符号截断距离函数的值；[0047]步骤1-5：选择下一张图片，重复步骤1-3、1-4得到各变量值，不断更新有符号截断距离函数；[0048]步骤1-6：重复步骤1-5，将所有图像更新，融合为待抓取物体的完整点云信息。[0049]步骤2：利用物品的完整点云信息生成模拟抓取训练数据，训练体素抓取网络至收敛，得到网络模型；[0050]步骤2-1：对待抓取物体完整点云依次进行滤波、聚类、分割等预处理，随机采样多个点，作为五指末端执行器的抓取中心，使用open3d获取采样点的表面法线；[0051]步骤2-2：根据各采样点的空间坐标以及表面法线生成初始抓取姿态，进行随机的空间变换与五根手指随机弯曲，生成多个抓取姿态；[0052]步骤2-3：根据五指末端执行器的几何形状信息进行接触检测，将末端执行器与待抓取物体完整点云交错的抓取姿态删除，得到可行的候选抓取姿态集以及对应的物品表面接触点集；[0053]步骤2-4：获取候选抓取姿态的表面接触点集各点处指向物体内部的法向量，对于点集中的任意两点，计算其中一点指向另一点的单位向量，然后分别计算法向量与单位向量的夹角，得到该候选抓取姿态的对应的夹角集合，删去大于90度的夹角，则定义该候选抓取姿态的质量系数为所有夹角正切值的最小值；[0054]步骤2-5：重复步骤2-4得到所有候选抓取姿态的抓取质量系数；[0055]步骤2-6：为候选抓取姿态生成标签，若抓取姿态的质量系数小于0.45，则为可行抓取；若抓取姿态的质量系数大于0.75，则为不可行抓取；[0056]步骤2-7：基于pointnet网络模型设计体素抓取网络模型，使用sigmoid函数将网络输出转化为抓取质量。将带有类别标签的多个抓取姿态作为训练数据，训练体素抓取网络至收敛，得到模型。[0057]步骤3：利用待抓取物体的完整点云信息，输入体素抓取网络，输出机械臂灵巧抓取规划；[0058]步骤3-1：利用步骤1的方法得到当前待抓取物体的完整点云信息；[0059]步骤3-2：将待抓取物体的完整点云信息输入步骤2中训练后的体素抓取网络，得到每个体素的十维输出量，第一维为该体素的抓取质量，第二到五维为在该体素的末端执行器四元数位姿，第六到十维为在该体素五指末端执行器的闭合程度；[0060]步骤3-3：将抓取质量最高的体素空间坐标和对应的四元数位姿控制信息发送给机械臂，将对应的末端执行器闭合程度控制信息发送给末端执行器，完成一次抓取。[0061]要强调的是，本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。当前第1页12当前第1页12
背景技术：
：：2.伴随着人工智能研究在世界范围内掀起热潮，智能机器人作为一种包含多种技术的系统出现在人类社会不同的领域之中。抓取在智能机器人的各项基本能力中尤为重要。在2015的icra会议(theinternationalconferenceonroboticsandautomation)上举办的首届apc竞赛(amazonpickingchallenge)，以及在2020年iros会议(theieee/rsjinternationalconferenceonintelligentrobotsandsystems)上由阿里巴巴主办的全球首个机器人抓取云竞赛ocrtoc(opencloudrobottableorganizationchallenge)，都可以看出世界范围内的研究者对于智能机器人的抓取能力十分感兴趣。3.末端执行器决定了智能机器人与被拾取物体的接触形态。大多数的抓取研究采用的是平行两指夹钳型或吸盘型的末端执行器，但是这两类简单的末端执行器在抓取复杂物体时，会受到各种限制。针对日常生活中更加迎合人体结构的各类物品，仿生人类手掌型的灵巧末端执行器可以更出色地完成抓取任务。因此，人们对于具有多关节手指的灵巧拟人化抓取规划越来越感兴趣。4.灵巧抓取规划复杂度高，传统方法基本无法建立模型，实现控制规划。大部分研究者通常基于机器学习的方法，利用视觉信息进行驱动设计抓取规划方法。这类方法基本可以分为两类，分别为以手掌为中心的方法和以抓取对象为中心的方法。以手掌为中心的方法通常利用操作员演示数据进行学习，往往局限于单一固定的任务，不适合进行推广。以抓取对象为中心的方法提升了泛化能力，但描述物体信息与抓取规划之间的映射十分困难，导致系统运算效率与抓取成功率不高。技术实现要素：5.本发明克服现有技术的上述问题，提出了一种将待抓取物体完整点云信息作为输入，输出体素级预测的机械臂灵巧抓取规划方法。6.本发明首先通过固定在机械臂末端的intelrealsensed435双目立体深度相机获取待抓取物体多视角的rgbd图像，利用tsdf方法对待抓取物体进行三维重建。然后将物体完整的点云信息输入体素抓取网络，网络由仿真环境生成的模拟抓取训练数据训练，接受物体点云信息后能够输出体素级的抓取质量、代表末端执行器位姿的四元数以及五指末端执行器的开合程度等信息的预测，完成机械臂灵巧抓取任务。7.本发明为解决现有技术问题所采用的技术方案是：基于体素抓取网络的机械臂灵巧抓取规划方法，其特征在于：包含如下步骤：8.步骤1：获取物体多视角的rgbd图像，利用tsdf的方法，重建出待物体完整的点云信息；9.步骤2：利用物品的完整点云信息生成模拟抓取训练数据，训练体素抓取网络至收敛，得到网络模型；10.步骤3：利用步骤1的方法生成待抓取物体的完整点云信息，输入体素抓取网络，输出机械臂灵巧抓取规划。11.所述步骤1具体包括：12.步骤1-1：机械臂在物体侧上方做八分之一球运动，获取物体多视角rgbd图像；13.步骤1-2：定义一个包络抓取对象的立方体体素网格空间，获取体素在全局坐标系下的坐标vg(x,y,z)；14.步骤1-3：选择一张图片，根据对应相机的外参矩阵，将体素坐标转换到相机坐标系v(x,y,z)，再根据相机的内参矩阵，将体素坐标继续转换到图像坐标系v(u,v)；15.步骤1-4：利用tsdf有符号截断距离函数的方法，在第i幅图像中，体素点p的权重wi(p)的值为相机方向与体素表面法向量的夹角除以体素点到相机坐标系原点的距离，然后依据如下公式，得到体素点p的符号距离函数sfi(p)以及有符号截断距离函数tsdfi(p)的值，16.sdfi(p)＝di(u,v)-di(p)[0017][0018]其中，di(u,v)表示为体素点p在第i幅图像对应像素点(u,v)的深度值，di(p)表示为体素点p在相机坐标系下的坐标vi(p)到原点的距离，t为根据体素空间尺度设置的截断距离；[0019]步骤1-5：选择下一张图片，重复步骤1-3、1-4得到各变量值，利用如下公式进行tsdfi(p)值的更新，[0020]wi(p)＝min(maxw,wi-1(p) 1)[0021][0022]其中，当i＝1时，w＝w0(p)；[0023]步骤1-6：重复步骤1-5，将所有图像更新，融合为待抓取物体的完整点云信息。[0024]所述步骤2具体包括：[0025]步骤2-1：对待抓取物体完整点云依次进行滤波、聚类、分割等预处理，随机采样多个点，作为五指末端执行器的抓取中心，使用open3d获取采样点的表面法线；[0026]步骤2-2：根据各采样点的空间坐标以及表面法线生成初始抓取姿态，进行随机的空间变换与五根手指随机弯曲，生成多个抓取姿态；[0027]步骤2-3：根据五指末端执行器的几何形状信息进行接触检测，将末端执行器与待抓取物体完整点云交错的抓取姿态删除，得到可行的候选抓取姿态集以及对应的物品表面接触点集；[0028]步骤2-4：获取候选抓取姿态的表面接触点集pi点处指向物体内部的法向量ni，对于点集中的任意两点pm与pn，计算pm指向pn的单位向量然后分别计算点pm与pn的法向量nm、nn与vmn的夹角αmn、αnm，得到该候选抓取姿态的对应的夹角集合，删去大于90度的夹角，则定义该候选抓取姿态的质量系数λ为所有夹角正切值的最小值；[0029]步骤2-5：重复步骤2-4得到所有候选抓取姿态的抓取质量系数；[0030]步骤2-6：为候选抓取姿态生成标签，若抓取姿态的质量系数小于0.45，则为可行抓取；若抓取姿态的质量系数大于0.75，则为不可行抓取；[0031]步骤2-7：将带有类别标签的多个抓取姿态作为训练数据，训练体素抓取网络至收敛，得到模型。[0032]所述步骤3具体包括：[0033]步骤3-1：利用步骤1的方法得到当前待抓取物体的完整点云信息；[0034]步骤3-2：将待抓取物体的完整点云信息输入步骤2中训练后的体素抓取网络，得到每个体素的十维输出量，第一维为该体素的抓取质量，第二到五维为在该体素的末端执行器四元数位姿，第六到十维为在该体素五指末端执行器的闭合程度；[0035]步骤3-3：将抓取质量最高的体素空间坐标和对应的四元数位姿控制信息发送给机械臂，将对应的末端执行器闭合程度控制信息发送给末端执行器，完成一次抓取。[0036]本发明的优点是：本发明的三维重建方法基于tsdf设计，运算效率远高于传统点云匹配的三维重建方法。本发明的体素抓取网络训练通过物体完整点云信息自动生成抓取姿态的质量系数与类别标签，减少了基于网络的灵巧抓取算法训练数据获取成本，赋予网络自主学习的能力，且能够使用更加庞大的数据集进行训练，提高抓取算法的成功率。本发明的机械臂灵巧抓取规划方法的视觉驱动为待抓取物体的完整点云信息，为抓取提供了更加准确的几何信息，提高了机械臂抓取的成功率。附图说明[0037]图1是本发明实现方法流程图；[0038]图2是本发明三维重建过程示意图；[0039]图3是本发明体素抓取网络训练数据生成示意图。具体实施方式[0040]以下结合附图对本发明实例做进一步详述：[0041]本发明的基于视觉的机器人抓取训练数据采集方法，具体实施方法如下：[0042]步骤1：获取物体多视角的rgbd图像，利用tsdf的方法，重建出待物体完整的点云信息；[0043]步骤1-1：机械臂在物体侧上方做八分之一球运动，获取物体多视角rgbd图像；[0044]步骤1-2：定义一个包络抓取对象的立方体体素网格空间，获取体素在全局坐标系下的坐标；[0045]步骤1-3：选择一张图片，根据对应相机的外参矩阵，将体素坐标转换到相机坐标系，再根据相机的内参矩阵，将体素坐标继续转换到图像坐标系；[0046]步骤1-4：利用tsdf有符号截断距离函数的方法，选第一幅图像，求出每个体素点的权重，值为相机方向与体素表面法向量的夹角除以体素点到相机坐标系原点的距离，然后求出体素点的符号距离函数以及有符号截断距离函数的值；[0047]步骤1-5：选择下一张图片，重复步骤1-3、1-4得到各变量值，不断更新有符号截断距离函数；[0048]步骤1-6：重复步骤1-5，将所有图像更新，融合为待抓取物体的完整点云信息。[0049]步骤2：利用物品的完整点云信息生成模拟抓取训练数据，训练体素抓取网络至收敛，得到网络模型；[0050]步骤2-1：对待抓取物体完整点云依次进行滤波、聚类、分割等预处理，随机采样多个点，作为五指末端执行器的抓取中心，使用open3d获取采样点的表面法线；[0051]步骤2-2：根据各采样点的空间坐标以及表面法线生成初始抓取姿态，进行随机的空间变换与五根手指随机弯曲，生成多个抓取姿态；[0052]步骤2-3：根据五指末端执行器的几何形状信息进行接触检测，将末端执行器与待抓取物体完整点云交错的抓取姿态删除，得到可行的候选抓取姿态集以及对应的物品表面接触点集；[0053]步骤2-4：获取候选抓取姿态的表面接触点集各点处指向物体内部的法向量，对于点集中的任意两点，计算其中一点指向另一点的单位向量，然后分别计算法向量与单位向量的夹角，得到该候选抓取姿态的对应的夹角集合，删去大于90度的夹角，则定义该候选抓取姿态的质量系数为所有夹角正切值的最小值；[0054]步骤2-5：重复步骤2-4得到所有候选抓取姿态的抓取质量系数；[0055]步骤2-6：为候选抓取姿态生成标签，若抓取姿态的质量系数小于0.45，则为可行抓取；若抓取姿态的质量系数大于0.75，则为不可行抓取；[0056]步骤2-7：基于pointnet网络模型设计体素抓取网络模型，使用sigmoid函数将网络输出转化为抓取质量。将带有类别标签的多个抓取姿态作为训练数据，训练体素抓取网络至收敛，得到模型。[0057]步骤3：利用待抓取物体的完整点云信息，输入体素抓取网络，输出机械臂灵巧抓取规划；[0058]步骤3-1：利用步骤1的方法得到当前待抓取物体的完整点云信息；[0059]步骤3-2：将待抓取物体的完整点云信息输入步骤2中训练后的体素抓取网络，得到每个体素的十维输出量，第一维为该体素的抓取质量，第二到五维为在该体素的末端执行器四元数位姿，第六到十维为在该体素五指末端执行器的闭合程度；[0060]步骤3-3：将抓取质量最高的体素空间坐标和对应的四元数位姿控制信息发送给机械臂，将对应的末端执行器闭合程度控制信息发送给末端执行器，完成一次抓取。[0061]要强调的是，本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
