一种3D视觉识别取放系统及方法与流程

一种3d视觉识别取放系统及方法
技术领域
1.本发明属于视觉引导机器人的技术领域，具体地涉及一种3d视觉识别取放系统及方法。


背景技术：

2.随着技术的发展，机器人将逐渐替代人类来完成一些简单、重复、低智力要求的工作。视觉引导机器人抓取技术在工业上的应用越来越广泛，应用场景也在日益丰富，诸如在机器装配、零部件分拣、上下料分类等工业过程中。传统视觉引导机器人抓取应用主要集中在基于2d视觉检测的固定平面上的目标物体抓取上，2d视觉检测方法能提供的零件位姿信息有限，通常只能将零件限定在一个固定的测量深度上进行检测。然而，当抓取的不规则物品面临着遮挡、物体堆叠等问题，在这些复杂的情况下对目标进行高精度、高速度、高稳定性的计算位置姿态是机械臂抓取面临的巨大的挑战。
3.随着三维技术的提高，三维物体识别算法也得到迅速的发展，使得识别和定位点云数据或深度图像中的目标物体变得越来越稳定有效。目前，3d视觉检测方法，通过双目传感器使用两个相机得到3d点云，两个相机须在同一时刻获取有重叠区域的图像，之后检测两幅图像的特征点，并使用立体匹配算法找到匹配像素点，然后根据相机之间的几何约束获取视差信息，通过极线约束本征矩阵与基础矩阵后编可计算出2d像素点对应的摄像机坐标系下的3d点。但是，对于不规则形状的工业品，其缺乏视觉特征易出现匹配困难，导致匹配误差较大，甚至匹配失败，从而影响对不规则形状工业品的高精度、高速度及高稳定性的取放操作。


技术实现要素：

4.为了解决上述技术问题，本发明提供了一种3d视觉识别取放系统及方法，通过所述发射模块投出编码图案，所述接收模块对所述不规则工件进行拍摄并采集获得的图像输至所述解码模块，所述解码模块利用标定的参数对所述编码图案进行解码，以获得场景点云；将所述场景点云与所述模板点云进行匹配以获得匹配参数，所述匹配参数输入所述位姿计算模块精确计算出抓取位姿及放置位姿，以实现精确抓取及放置所述不规则工件。
5.本发明实施例提供一种3d视觉识别取放系统，具体技术方案如下：
6.一种3d视觉识别取放系统，应用于控制不规则工件的抓取及放置；其包括：
7.3d视觉单元，用于生成被识别的所述不规则工件的场景点云；
8.位姿运算单元，用于获取匹配参数并计算出所述不规则工件的位姿点云；
9.取放单元，用于抓取所述不规则工件；所述位姿运算单元分别与所述3d视觉单元及所述取放单元通讯连接；
10.其中，所述3d视觉单元包括发射模块、接收模块和解码模块，所述发射模块投出编码图案，所述接收模块对所述不规则工件进行拍摄，并将采集的图像输至所述解码模块，所述解码模块利用标定的参数对所述编码图案进行解码，以获得场景点云；
11.所述位姿运算单元包括模板库模块、模板匹配模块和位姿计算模块，所述模板库模块用于创建不同位姿下的所述不规则工件的模板点云，将所述场景点云与所述模板点云进行匹配以获得匹配参数，所述位姿计算模块用于根据所述匹配参数计算出抓取位姿及放置位姿，所述取放单元用于根据所述抓取位姿及所述放置位姿对所述不规则工件进行抓取及放置。
12.相对于现有技术，本发明的系统有益效果为：通过所述发射模块及所述接收模块组成的立体视觉系统，经所述发射模块投出编码图案，所述接收模块进行拍摄并将采集到的图像传到所述解码模块进行处理，利用标定的参数对编码图案进行解码，得到所述场景点云；之后经所述位姿运算单元进行所述模板点云获取、去噪、分割、表面模板匹配等步骤计算出所述抓取位姿及所述放置位姿；获取所述抓取位姿及所述放置位姿传送至所述取放单元，完成精确的抓取动作并将抓取的不规则工件放置在指定位置。
13.较佳地，所述发射模块发射的光线在所述不规则工件的表面发生形变，以形成变化的光信号，所述3d视觉用于根据所述光信号的变化，结合所述发射模块及所述接收模块形成几何约束，所述解码模块对形成的几何约束进行解码后得出所述不规则工件的三维空间的坐标。
14.较佳地，所述位姿运算单元还包括点云去噪模块，用于去除所述场景点云的背景及离群点，以利于所述场景点云与所述模板点云的匹配。
15.较佳地，所述模板库模块在离线环境下创建，所述模板点云使用solidworks三维制图软件生成三维工件模型，其利用模板点云库中的库函数pcl_mesh_sampling.exe对三维模型每个面整体点云采样来获得，并保存为stl或obj格式文件。
16.较佳地，所述模板匹配模块对所述场景点云与所述模板点云之间进行匹配处理，得出匹配的旋转平移矩阵，用以获得匹配参数。
17.较佳地，所述位姿计算模块采用所述3d视觉单元、所述模板库模块及所述取放单元之间的转换矩阵计算出所述取放单元抓取及放置所述不规则工件所需的所述抓取位姿及所述放置位姿。
18.较佳地，所述取放单元包括机械臂模块和执行器模块；所述取放单元接收所述抓取位姿时，所述机械臂模块按照确定姿态到达指定位置后，所述执行器模块打开完成所述不规则工件的抓取；所述取放单元接收所述放置位姿时，通过起始姿态与终点姿态完成路径规划，以使抓取的所述不规则工件放置至指定位置。
19.较佳地，所述执行器模块采用碰撞测试，以防止其与承载所述不规则工件的平台产生碰撞。
20.本发明的另一个实施例提供一种3d视觉识别取放方法，具体技术方案如下：
21.一种3d视觉识别取放方法，应用于实现不规则工件抓取及放置的控制，其包括以下步骤：
22.所述3d视觉单元接收被观测的所述不规则工件的场景图像，基于该场景图像重建得到所述不规则工件的所述场景点云；
23.所述模板库模块导入所述不规则工件的三维工件模型，生成所述模板点云；
24.所述模板匹配模块将所述场景点云与所述模板点云进行匹配处理以获得匹配参数；
25.获得的所述匹配参数输入所述位姿计算模块，经其计算获得所述抓取位姿及所述放置位姿；
26.获得所述抓取位姿及所述放置位姿传输至所述取放单元，以实现所述不规则工件的抓取及放置。
27.较佳地，所述所述3d视觉单元接收被观测的所述不规则工件的场景图像，基于该场景图像重建得到所述不规则工件的所述场景点云的步骤之后，所述方法还包括：
28.对所述场景点云进行滤波处理。
29.相对于现有技术，本发明的方法有益效果为：通过所述3d视觉单元组成的立体视觉系统，对不规则工件进行投出编码图案，且拍摄采集图像，利用标定的参数对编码图案进行解码得到所述场景点云；通过离线创建不规则工件的模板库获得所述模板点云，将所述场景点云与所述模板点云进行匹配以获得所述匹配参数，所述匹配参数输入所述位姿计算模块精确计算出抓取位姿及放置位姿；获得所述抓取位姿及所述放置位姿传输至所述取放单元，以实现精确抓取及放置所述不规则工件；该方法有效解决不规则工件因缺乏视觉特征易出现匹配困难，导致匹配误差较大，甚至匹配失败的问题，从而提高对不规则工件的高精度、高速度及高稳定性的取放操作。
附图说明
30.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
31.图1为本发明实施例一提供的3d视觉识别取放系统的系统图；
32.图2为本发明实施例一提供的3d视觉单元的结构框图；
33.图3为本发明实施例一提供的投影仪及工业相机成像原理图；
34.图4为本发明实施例一提供的位姿运算单元的结构框图；
35.图5为本发明实施例一提供的取放单元的结构框图；
36.图6为本发明实施例二提供的3d视觉识别取放方法的流程图；
37.图7为本发明实施例三提供的3d视觉识别取放方法的流程图；
38.附图标记说明：
39.10
‑
3d视觉单元、11
‑
发射模块、12
‑
接收模块、13
‑
解码模块；
40.20
‑
位姿运算单元、21
‑
模板库模块、22
‑
模板匹配模块、23
‑
位姿计算模块、24
‑
点云去噪模块；
41.30
‑
取放单元、31
‑
机械臂模块、32
‑
执行器模块。
具体实施方式
42.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明的实施例，而不能理解为对本发明的限制。
43.实施例一：
44.在本发明的实施例一中，如图1所示，提供了一种3d视觉识别取放系统，应用于控制不规则工件的抓取及放置，本发明所涉及的不规则工件可以是3c电子产品，五金加工件等。具体地，所述系统包括3d视觉单元10、位姿运算单元20和取放单元30，其中，所述3d视觉单元10用于生成被识别的所述不规则工件的场景点云、所述位姿运算单元20用于获取匹配参数并计算出所述不规则工件的位姿点云、所述取放单元30用于抓取及放置所述不规则工件。本实施例通过所述3d视觉单元10组成的立体视觉系统，可以有效解决目前3d视觉系统采用双目传感器使用两个相机得到3d点云，其必须在同一时刻获取有重叠区域的两图像，并检测两图像的特征点的苛刻条件，造成获取所述不规则工件的3d点云成本较高的弊端。
45.进一步地，本实施例通过所述位姿运算单元20，可以有效解决目前3d视觉系统因所述不规则工件缺乏视觉特征易出现匹配困难，导致匹配误差较大甚至匹配失败的弊端。另外，可以有效解决传统视觉识别因没有模板匹配，导致识别精度低无法满足工业精确精度抓取及放置的需求。
46.进一步地，本实施例中，所述位姿运算单元20分别与所述3d视觉单元10及所述取放单元30通讯连接。具体实践中，通讯连接方式采用远程通讯方式，以利于适用不同工况下所述不规则工件的抓取及放置；通讯连接方式包括但不限于采用以5g通讯方式、太网通讯方式、无线电台方式、gprs通讯方式或modem拨号方式。优选地，采用5g通讯方式实现通讯连接，具体通过各单元内置5g通讯模块实现。
47.如图2所示，所述3d视觉单元10包括发射模块11、接收模块12和解码模块13。本实施例中，所述发射模块11为投影仪设备，所述接收模块12为工业相机设备，所述解码模块13为上位机设备。具体过程为：投影仪投出编码图案，工业相机对所述不规则工件进行拍摄并采集获得的图像输至上位机，上位机对图像进行处理，利用标定的参数对投影仪投出的编码图案进行解码，得到所述不规则工件的场景点云。进一步地，如图3所示，所述3d视觉单元10主要采用结构光系统即可完成三维点云恢复，具体利用其结构光原理：投影仪发射的光线在所述不规则工件表面发生形变，以形成变化的光信号，结合投影仪和工业相机形成几何约束，上位机对形成的几何约束进行解码后得出所述不规则工件的三维空间的坐标；具体操作中，结构光传感器的工作距离、视野、分辨率皆可通过工业相机、投影仪等设备选型来进行调整。
48.如图4所示，所述位姿运算单元20主要将所述场景点云与所述模板点云进行匹配以获得匹配参数，所述匹配参数输入所述位姿计算模块23计算出精确的抓取位姿及放置位姿。具体地，所述位姿运算单元20包括模板库模块21、点云去噪模块24、模板匹配模块22和位姿计算模块23。具体过程为，使用结构光系统获取所述场景点云后，通过创建模板库模块获取所述模板点云以解决实际场景中遮挡和堆叠场景中获取所述不规则工件多姿态的问题，在识别时或者识别之前对所述场景点云进行去噪处理，以使在工作距离下获取标准模板，并获取标准模板下的抓取位姿与放置位姿，然后对获取的所述场景点云与标准模板中的所述模板点云进行匹配，获取所述不规则工件精确取放所需的所述抓取位姿和所述放置位姿。
49.进一步地，所述模板匹配模块22对所述场景点云与所述模板点云之间进行匹配处理，得出匹配的旋转平移矩阵，用以获得匹配参数。
50.进一步地，所述模板库模块21在离线环境下创建，所述模板点云使用solidworks三维制图软件生成三维工件模型，其利用模板点云库中的库函数pcl_mesh_sampling.exe对三维模型每个面整体点云采样来获得，并保存为stl或obj格式文件。其中，利用pcl点云库从cad模型(stl,obj格式)采样得到点云(pcd,ply格式)有两种方式：整体点云采样方式，包括原来cad模型各个面(可能会包含从外面看不到的内部结构)，用的是pcl_mesh_sampling，可直接运行exe文件，也可把里面的代码粘出来放到自己程序里面结合使用exe运行方法；从多个视角采样方式，仅包括原来cad模型某个视角下的一面，这种在做配准的时候更方便应用，因使用的深度相机一般就是从一个视角拍摄，这时比较好用的是pcl自带函数：renderviewtesselatedsphere，这个函数是从不同视角得到cad模型的部分视图。这里设定的视角是一个包在cad模型外面的，由正三角形组成的二十面体，虚拟的相机从二十面体的每个顶点(或者每个面)拍摄cad模型，然后得到对应视角下的点云。
51.如图5所示，所述取放单元30包括机械臂模块31和执行器模块32。其中，接收所述抓取位姿时，所述机械臂模块31按照确定姿态到达指定位置后，所述执行器模块32打开完成所述不规则工件的抓取；所述取放模块接收所述放置位姿时，通过起始姿态与终点姿态完成路径规划，以使抓取的所述不规则工件放置至指定位置。本实施例中，所述位姿计算模块23采用所述3d视觉单元10、所述模板库模块21及所述取放单元30之间的转换矩阵以计算出所述取放单元30精确抓取及放置所述不规则工件所需的所述抓取位姿及所述放置位姿。
52.进一步地，所述机械臂模块31包括三个驱控一体化模组，该三个驱控一体化模组内置5g通讯模块，以使所述取放单元30接收所述放置位姿及所述放置位姿的指令。进一步地，驱控一体化模组包括传感器、电机、驱动器、制动器和减速机，5g通讯模块与驱动器连接；其中，5g通讯模块与驱动器的连接方式采用网络接口方式；具体过程为，5g通讯模块接收到所述放置位姿及所述放置位姿的动作指令后，转化为驱动指令，驱动器接收到该驱动指令以驱动电机运作，并依次经传感器模块、制动器及减速机后，以使所述机械臂模块31对外输出动作。当然，5g通讯模块与驱动器的连接方式也可采用将5g通讯模块集成至驱动器内，以实现5g通讯模块与驱动器的连接。
53.进一步地，所述执行器模板32在抓取所述不规则工件时，所述执行器模块采用碰撞测试，以防止其与承载所述不规则工件的平台产生碰撞。
54.本实施例通过所述发射模块11及所述接收模块12组成的立体视觉系统，经所述发射模块11投出编码图案，所述接收模块12进行拍摄，并将采集到的图像传到所述解码模块13进行处理，利用标定的参数对编码图案进行解码，得到所述场景点云；之后经所述位姿运算单元20进行所述模板点云获取、去噪、分割、表面模板匹配等步骤计算出所述抓取位姿及所述放置位姿；获取所述抓取位姿及所述放置位姿传送至所述取放单元30，完成精确的抓取动作并将抓取的不规则工件放置在指定位置。
55.实施例二：
56.在本发明的实施例二中，如图6所示，一种3d视觉识别取放方法，应用于实现不规则工件抓取及放置的控制，包括上述的所述3d视觉识别取放系统；所述3d视觉识别取放方法包括以下步骤：
57.s101：所述3d视觉单元接收被观测的所述不规则工件的场景图像，基于该场景图像重建得到所述不规则工件的所述场景点云；
58.其中，所述场景点云为所述不规则工件的详细点云数据，包括所述不规则工件的位置及姿态；具体通过本实施例的立体视觉系统，即通过投影仪投出编码图案，工业相机对所述不规则工件进行拍摄并采集获得的图像输至上位机，上位机对图像进行处理，利用标定的参数对投影仪投出的编码图案进行解码，得到所述不规则工件的精确场景点云。
59.s102：所述模板库模块导入所述不规则工件的三维工件模型，生成所述模板点云；
60.其中，所述三维工件模型采用solidworks三维制图软件生成，并以stl、obj格式文件保存获得；所述模板点云利用点云库中的库函数pcl_mesh_sampling.exe对三维工件模型每个面整体点云采样，得到模型点云，保存模型点云相对三维扫描仪坐标系的位姿关系。进一步地，建立模型数据库，对模板点云进行训练，具体过程为：在模板点云上使用统一的特征点采样，即通过建立空间体素栅格进行采样，再用每个体素内的重心代表该体素内的特征点；基于特征点建立该点球形支持域内的局部坐标系，建立局部坐标系；在局部坐标系确定后，对球形支持域中的结构形状信息进行统计，建立3d描述符shot特征；根据法矢直方图完成shot特征的描述，存储每个工件的模型点云的shot描述符特征后供后续的识别过程使用。
61.s103：所述模板匹配模块将所述场景点云与所述模板点云进行匹配处理以获得匹配参数；
62.其中，所述模板匹配模块进行匹配处理得出匹配的旋转平移矩阵，通过旋转平移矩阵用以获得匹配参数。
63.s104：获得的所述匹配参数输入所述位姿计算模块，经其计算获得所述抓取位姿及所述放置位姿；
64.其中，根据所述场景点云中的shot描述符，将每个所述场景点云中的shot描述符与所述模块库模块中所有的shot描述符进行匹配，通过k维树关联描述符空间中接近的模型
‑
场景描述符确定点对点的对应关系，以获取所述不规则工件精确取放所需的所述抓取位姿及所述放置位姿。
65.s105：获得所述抓取位姿及所述放置位姿传输至所述取放单元以实现所述不规则工件的抓取及放置；
66.其中，接收所述抓取位姿时，所述机械臂模块以确定姿态到达指定位置后，所述执行器模块打开完成所述不规则工件的抓取；接收所述放置位姿时，通过起始姿态与终点姿态完成路径规划，以使抓取的所述不规则工件放置至指定位置。
67.本实施例通过所述3d视觉单元组成的立体视觉系统，对不规则工件进行投出编码图案，且拍摄采集图像，利用标定的参数对编码图案进行解码得到所述场景点云；通过离线创建不规则工件的模板库获得所述模板点云，将所述场景点云与所述模板点云进行匹配以获得所述匹配参数，所述匹配参数输入所述位姿计算模块精确计算出抓取位姿及放置位姿；获得所述抓取位姿及所述放置位姿传输至所述取放单元，以实现精确抓取及放置所述不规则工件；该方法有效解决不规则工件因缺乏视觉特征易出现匹配困难，导致匹配误差较大，甚至匹配失败的问题，从而提高对不规则工件的高精度、高速度及高稳定性的取放操作。
68.实施例三：
69.在本发明的实施例三中，如图7所示，一种3d视觉识别取放方法，应用于实现不规
则工件抓取及放置的控制，本实施例的所述方法与实施例二的方法不同之处在于：所述所述3d视觉单元接收被观测的所述不规则工件的场景图像，基于该场景图像重建得到所述不规则工件的所述场景点云的步骤之后，所述方法还包括：
70.对所述场景点云进行滤波处理。
71.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。