混合工件抓取方法、设备及计算机可读存储介质与流程

技术特征：
1.一种混合工件抓取方法，其特征在于，包括：对若干仅存在尺寸差异的待抓取工件进行建模，得到所述待抓取工件的不同尺寸的三维模型；标定光学相机，通过所述光学相机获取不同姿态下待抓取工件的若干二维图像，并以所述若干二维图像作为训练集数据训练深度卷积神经网络模型，得到目标识别检测模型；通过所述光学相机获取待抓取工件所在区域的二维图像以及所述二维图像对应的世界坐标系下的三维点云，将所述三维点云转换到相机坐标系，得到第一点云；通过所述目标识别检测模型识别所述二维图像中的识别工件并标注所述识别工件的感兴趣区域，对应得到所述识别工件在相机坐标系下的第二点云；将所述第一点云和第二点云转换到机械臂基坐标系，得到第四点云和第三点云，并按序将所述第三点云与待抓取工件的三维模型进行匹配，得到目标工件；根据所述目标工件的位姿得到抓取工具的抓取位姿，并将所述抓取位姿进行逆变换，以所述逆变换后的位姿对所述第四点云进行仿射变换，将所述第四点云由机械臂基坐标系转换到抓取工具坐标系；在所述抓取工具坐标系中构建所述抓取工具的包围盒模型，若所述包围盒模型中点云的数量不超过预设数量阈值时，对所述目标工件执行抓取。2.根据权利要求1所述的方法，其特征在于，所述标注所述识别工件的感兴趣区域，包括：以所述识别工件在x轴和y轴的最大值和最小值形成矩形区域；对所述矩形区域对应的所述识别工件的尺寸进行标注。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：在得到目标工件后，对所述目标工件的点云进行验证，若验证通过，则对所述目标工件进行确认；否则验证失败，继续判断是否存在未匹配的第三点云，若存在，则返回执行按序将所述第三点云与所述待抓取工件的三维模型进行匹配；若不存在，则抓取结束。4.根据权利要求3所述的方法，其特征在于，所述对所述目标工件的点云进行验证，包括：获取所述目标工件的不同尺寸的三维模型；按照所述目标工件的三维模型的尺寸由大到小对所述目标工件的不同尺寸的三维模型进行排序；按序获取所述目标工件的三维模型，对所述目标工件的三维模型以及所述目标工件划分若干验证区间，使所述目标工件的三维模型和所述目标工件的验证区间一一对应；将所述目标工件的三维模型和所述目标工件对应的验证区间中的点云数量进行比较，若所述目标工件的点云数量与所述目标工件的三维模型的点云数量差不超过预设差阈值，则验证通过；否则验证失败。5.根据权利要求1或3所述的方法，其特征在于，所述按序将所述第三点云与待抓取工件的三维模型进行匹配，包括：在所述第三点云的z轴方向上顺次划分若干区间；获取每个所述第三点云的z轴坐标平均值，根据所述z轴坐标平均值所属区间在z轴方向上由上到下的顺序将所述z轴坐标平均值对应的第三点云与待抓取工件的三维模型进行
匹配；若多个所述第三点云的z轴坐标平均值在同一个区间内，则按所述第三点云对应的所述识别工件的尺寸由大到小的顺序将所述第三点云与待抓取工件的三维模型进行匹配。6.根据权利要求1所述的方法，其特征在于，所述根据所述目标工件的位姿得到抓取工具的抓取位姿，包括：获取所述目标工件的位姿矩阵，根据抓取工具对所述目标工件的抓取点进行识别；所述抓取点为一个或多个；获取所述目标工件在所述抓取点处与所述抓取工具的相对位姿关系矩阵；将所述目标工件的位姿矩阵与其在所述抓取点处与所述抓取工具的相对位姿关系矩阵的乘积作为所述抓取工具的抓取位姿；所述抓取位姿为一个或多个。7.根据权利要求1所述的方法，其特征在于，所述抓取工具的包围盒模型为所述抓取工具坐标系中的长方体模型；所述抓取工具被包围在所述长方体模型内；所述长方体模型的任一边长与所述抓取工具坐标系的一坐标轴平行。8.根据权利要求1所述的方法，其特征在于，当所述包围盒模型中点的数量超过预设数量阈值时，判断所述目标工件是否存在其他抓取位姿，若是，则任选其中一抓取位姿，返回执行将所述抓取位姿进行逆变换；否则判断是否存在未匹配的第三点云，若存在未匹配的第三点云，则返回执行按序将所述第三点云与待抓取工件的三维模型进行匹配；若不存在未匹配的第三点云，则抓取结束。9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～8中任一项所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～8中任一项所述的方法。

技术总结
本发明提供了一种混合工件抓取方法、设备及计算机可读存储介质。所述方法包括对待抓取工件进行建模，标定光学相机，获取待抓取工件所在区域的二维图像以及三维点云，将三维点云转换到相机坐标系，得到第一点云；通过目标识别检测模型识别二维图像中的识别工件并标注所述识别工件的感兴趣区域，对应得到第二点云；将第一点云和第二点云转换到机械臂基坐标系的第四点云和第三点云，按序将第三点云与待抓取工件的三维模型进行匹配，得到目标工件；将第四点云由机械臂基坐标系转换到抓取工具坐标系；构建抓取工具的包围盒模型，对目标工件执行抓取。以此方式，可以使针对高相似度的混合工件的识别正确率较高，使抓取更安全。使抓取更安全。使抓取更安全。


技术研发人员：贾军营 杨海波 王佳林 卢鑫 徐宏鑫
受保护的技术使用者：沈阳风驰软件股份有限公司
技术研发日：2021.08.06
技术公布日：2021/11/4