计算机视觉引导的拆垛方法和设备与流程

技术特征：
1.一种计算机视觉引导的拆垛方法，包括：接收一垛对象的2d图像和3d点云数据，所述2d图像和所述3d点云数据之间具有预定对应关系；基于所述3d点云数据利用主元分析算法确定所述垛对象的垂直方向；基于所确定的垂直方向从所述3d点云数据中提取对应所述垛对象的当前最高层的第一3d点云数据；将所述第一3d点云数据投影到所述2d图像中，以获得所述当前最高层的第一2d图像；从所述第一2d图像中提取包括在所述当前最高层中的一个或多个对象；将所提取的一个或多个对象投影回所述3d点云数据或者所述第一3d点云数据，以获得对应所述一个或多个对象中的每个对象的第二3d点云数据；和针对所述一个或多个对象中的一个对象，基于所述对象的所述第二3d点云数据和所述对象的3d点云模板确定所述对象的3d位姿，以用于对所述对象进行拆垛。2.如权利要求1所述的拆垛方法，其中，基于所述对象的2d图像模板从所述第一2d图像中提取包括在所述当前最高层中的所述一个或多个对象。3.如权利要求1所述的拆垛方法，其中，基于经训练的神经网络以从所述第一2d图像中提取包括在所述当前最高层中的所述一个或多个对象。4.如权利要求1-3中的任一项所述的拆垛方法，其中，利用基于点对特征的算法和迭代最近点算法确定所述对象的3d位姿。5.如权利要求1-3中的任一项所述的拆垛方法，还包括：对所述3d点云数据执行背景滤波；和基于经背景滤波的3d点云数据利用所述主元分析算法确定所述垛对象的所述垂直方向。6.如权利要求1-3中任一项所述的拆垛方法，还包括：基于所述对象的所述3d位姿生成用于机器臂的控制信号，以用于对所述对象进行拆垛。7.一种计算机视觉引导的拆垛设备，包括：接收单元，其接收一垛对象的2d图像和3d点云数据，所述2d图像和所述3d点云数据之间具有预定对应关系；处理单元，其基于所述3d点云数据利用主元分析算法确定所述垛对象的垂直方向；基于所确定的垂直方向从所述3d点云数据中提取对应所述垛对象的当前最高层的第一3d点云数据；将所述第一3d点云数据投影到所述2d图像中，以获得所述当前最高层的第一2d图像；从所述第一2d图像中提取包括在所述当前最高层中的一个或多个对象；将所提取的一个或多个对象投影回所述3d点云数据或所述第一3d点云数据，以获得对应所述一个或多个对象中的每个对象的第二3d点云数据；并且针对所述一个或多个对象中的一个对象，基于所述对象的所述第二3d点云数据和所述对象的3d点云模板确定所述对象的3d位姿，以用于对所述对象进行拆垛。8.如权利要求7所述的拆垛设备，其中，所述处理单元基于所述对象的2d图像模板从所述第一2d图像中提取包括在所述当前最高层中的所述一个或多个对象。9.如权利要求7所述的拆垛设备，其中，所述处理单元基于经训练的神经网络从所述第
一2d图像中提取包括在所述当前最高层中的所述一个或多个对象。10.如权利要求7-9中的任一项所述的拆垛设备，其中，所述处理单元利用基于点对特征的算法和迭代最近点算法确定所述对象的3d位姿。11.如权利要求7-9中的任一项所述的拆垛设备，其中，所述处理单元还对所述3d点云数据执行背景滤波，并且基于经背景滤波的3d点云数据利用所述主元分析算法确定所述垛对象的所述垂直方向。12.如权利要求7-9中任一项所述的拆垛设备，其中，所述处理单元基于所述对象的所述3d位姿生成用于机器臂的控制信号，以对所述对象进行拆垛。13.一种拆垛系统，包括：机器臂；控制设备，其控制所述机器臂对一垛对象进行拆垛；立体视觉装置，其采集所述垛对象的2d图像和3d点云数据；和如权利要求7-12中任一项所述的计算机视觉引导的拆垛设备。14.如权利要求13所述的拆垛系统，其中，所述立体视觉装置能够被定位在相对于所述垛对象的除正上方之外的任何位置处。15.一种计算机程序产品，其包括计算机程序指令，所述计算机程序指令当被运行时使得如权利要求7-12中任一项所述的计算机视觉引导的拆垛设备执行如权利要求1-6中任一项所述的方法。

技术总结
提供计算机视觉引导的拆垛方法和设备。该方法包括接收一垛对象的2D图像和3D点云数据；基于3D点云数据利用主元分析算法确定该垛对象的垂直方向；基于该垂直方向从3D点云数据提取对应当前最高层的第一3D点云数据；将第一3D点云数据投影到2D图像中，以获得当前最高层的第一2D图像；从第一2D图像中提取包括在当前最高层中的一个或多个对象；将所提取的一个或多个对象投影回3D点云数据，以获得对应一个或多个对象中的每个对象的第二3D点云数据；和针对一个或多个对象中的一个对象，基于该对象的第二3D点云数据和相应的3D点云模板确定该对象的3D位姿，以用于对该对象进行拆垛。由此，能够在不需要限制立体视觉装置的定位的情况下实现不规则对象的拆垛。现不规则对象的拆垛。现不规则对象的拆垛。


技术研发人员：丁万 丁凯 刘柯
受保护的技术使用者：罗伯特
技术研发日：2021.01.28
技术公布日：2022/7/29