一种基于面结构光的通用零件拾取方法、系统及电子设备

1.本发明属于工业自动化领域，具体涉及一种基于面结构光的通用零件拾取方法、系统及电子设备。


背景技术：

2.工业生产随着机器人的参与，生产的效率得到了极大地提高。在最近的十年里，逐渐成为衡量一个国家制造业水平的重要标志。欧美发达国家希望在技术、产业方面继续领先优势，抢占制造业高端。智能装备将是未来制造业发展的主要方向。
3.目前的工业生产中，尚有大量的人工分拣零件现象存在。人工分拣零件的局限性在于效率低，同时需要很多的人力，增加产品的生产成本。解决这个问题的方法就是利用智能机器人，结合视觉系统取代人工分拣，使其能够自动抓取。将机器视觉和工业机器人结合，通过相机采集的图像信息，使用计算机进行图像处理，获取零件位姿信息。可以实现对工业机器人的引导，增加工业机器人的抗干扰能力和灵活性。
4.但是，目前的机器人拾取都是针对某一类形状大小都相同的零件，对工业机器人进行编程。在对不同大小的零件进行拾取时，依然需要重新编程对机器人进行设定，这导致机器人通用性较差，只能进行单一零件的拾取，也就是说，在进行拾取前需要对零件进行人工分拣，因此现有技术的应用场景和应用范围受限，生产效率较低。


技术实现要素：

5.为了解决现有技术中存在的上述问题，本发明提供了一种基于面结构光的通用零件拾取方法、系统及电子设备。本发明要解决的技术问题通过以下技术方案实现：
6.一种基于面结构光的通用零件拾取方法，包括：
7.向若干不同的待匹配零件投射经过预设编码规则编码的面结构光，基于该投射获取所述待匹配零件表面的结构光二维图像；
8.对所述结构光二维图像进行二值化处理得到二值图像；
9.对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，并将所述待匹配零件的标签信息存储于预设数据库中，其中，所述标签信息包括待匹配零件的种类信息、大小信息；
10.对所述二值图像进行三维重建，以使所述待匹配零件的二维信息转化为三维信息得到三维点云的特征点；
11.对所述三维点云进行三维模式匹配以对待匹配零件的位姿信息进行分类识别形成样本库并根据所述样本库判断待拾取零件的位姿信息，并将所述位姿信息存储于预设数据库中，其中，所述位姿信息包括待匹配零件的旋转信息和重心信息；
12.响应于接收到待拾取零件，通过机器学习获得待拾取零件的标签信息，之后通过三维模式匹配获得待拾取零件的位姿信息，并与预设数据库中的数据进行匹配，当判断待拾取零件与样本库和预设数据库中数据匹配时，根据该待拾取零件的位姿信息将待拾取零
件拾取至相应位置。
13.在一个具体实施方式中，对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，包括：
14.对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，具体为：对所述二值图像建立机器学习模型进行图像识别以确定待匹配零件的零件种类，其中，机器学习模型建立方法包括：
15.定义一个3
×
3的掩膜，分别计算领域像素值g1，g1，g2，
…
，g8和gc的差值，如果该差值大于或等于0，则g
ω
(ω＝1，2，
…
，8)位置处的二进制赋予2
ω
的权重，得到gc处的特征值，其中gc代表中心的像素数据；
16.对每个像素得到的特征像素求其统计直方图，得到像素特征向量；
17.利用卡方统计的方法来计算测试样本和匹配样本图像特征向量之间的相似性；
18.假设给定的训练样本表示为d＝{(x1，y1)，(x2，y2)
…
(xm，ym)}，yi∈ {-1，l}，yi用来表示两个不同的类别以找到一个分类器将训练样本分为两个不同的类别，即对于训练样本d在样本空间中找到一个超平面用来划分不同的类别，对于样本空间，划分超平面方程表示为：
19.w
t
x b＝0
20.其中，，法向量w表示超平面的方向，b为位移项，表示超平面到原点之间的距离，对于样本空间中的任意一点x，其到该超平面(w，b)的距离可以表示为：
[0021][0022]
当超平面能够实现正确分类的效果时，则有：
[0023][0024]
两个不同类的支持向量到超平面的距离之和为：
[0025][0026]
寻找参数w和b，使||w||-1
最大，利用拉格朗日乘子法给每个约束条件添加拉格朗日乘子αi≥0，得到对应的拉格朗日函数：
[0027][0028]
得到原问题的对偶问题：
[0029]
[0030][0031]
求出α后，再求出w和b即可获得机器学习模型：
[0032][0033]
在一个具体实施方式中，对所述二值图像进行三维重建，以使所述待匹配零件的二维信息转化为三维信息得到三维点云的特征点之后，还包括：
[0034]
判断所述三维点云的特征点的缺失比例高于预设比例阈值时，对所述三维点云按照补偿公式进行特征点补偿，所述补偿公式为：
[0035][0036]
其中，giouloss表示边界框回归的损失函数，和表示置信度预测损失函数，表示类别预测损失函数。
[0037]
在一个具体实施方式中，根据所述三维点云的特征点对待匹配零件的位姿信息进行分类识别形成样本库，包括：
[0038]
统计每一个点(a3，1)领域共计(a
3-a 2)个体素以内的点云数量，将该数据作为该点的新数据；
[0039]
定义一个3
×3×
3的掩膜，分别计算领域体素值g1，g1，g2，
…
，g
26
和gc的差值，如果该差值大于或等于0，则g
ω
(ω＝1，2，
…
，26)位置处的二进制赋予2
ω
的权重，得到gc处的特征值，其中gc代表中心的点云数据；
[0040]
对每个点云得到的特征体素求其统计直方图，得到体素特征向量；
[0041]
利用卡方统计的方法来计算测试样本和匹配样本图像特征向量之间的相似性，并通过k近邻分类器对测试样本贴上与其最相似匹配样本的标签完成分类。
[0042]
在一个具体实施方式中，当判断待拾取零件与样本库和预设数据库中数据匹配时，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置，包括：
[0043]
判断待拾取零件的三维点云与样本库匹配时，对比该待拾取零件的特征点与预设数据库中的特征点以得到待拾取零件的旋转矩阵；
[0044]
根据预设数据库中的特征点与目标的特征点之间的旋转矩阵得到拾取零件的特征点与目标的特征点的旋转矩阵；
[0045]
根据待拾取零件的重心信息将待拾取零件拾取至相应位置。
[0046]
在一个具体实施方式中，根据待拾取零件的重心信息将待拾取零件拾取至相应位置还包括：
[0047]
获取相机坐标系和机械手坐标系的角度差和距离差得到旋转矩阵和平移矩阵，以计算待拾取零件的拾取位置相对于机械手的坐标；
[0048]
根据待拾取零件的拾取位置相对于机械手的坐标以及待拾取零件的重心信息将待拾取零件拾取至相应位置。
[0049]
在一个具体实施方式中，所述旋转矩阵为：
[0050][0051]
所述平移矩阵为：
[0052]
其中，其中α、β、γ分别为三个维度上机械手坐标系与相机坐标系之间相差的角度，x、y、z分别为三个维度上机械手坐标系与相机坐标系之间相差的距离。
[0053]
本发明同时提供一种基于面结构光的通用零件拾取系统，包括：
[0054]
图像拍摄模块，用于向待匹配零件投射经过预设编码规则编码的面结构光，基于该投射获取所述待匹配零件表面的结构光二维图像；
[0055]
二值化模块，用于对所述结构光二维图像进行二值化处理得到二值图像；
[0056]
机器学习模块，用于对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，并将所述待匹配零件的标签信息存储于预设数据库中，其中，所述标签信息包括待匹配零件的种类信息、大小信息；
[0057]
三维重建模块，用于对所述二值图像进行三维重建，以使所述待匹配零件的二维信息转化为三维信息得到三维点云的特征点；
[0058]
位姿处理模块，用于对所述三维点云进行三维模式匹配以对待匹配零件的位姿信息进行分类识别形成样本库并根据所述样本库判断待拾取零件的位姿信息，并将所述位姿信息存储于预设数据库中，其中，所述位姿信息包括待匹配零件的旋转信息和重心信息；
[0059]
拾取模块，用于响应于接收到待拾取零件，通过机器学习获得待拾取零件的标签信息，之后通过三维模式匹配获得待拾取零件的位姿信息，并与预设数据库中的数据进行匹配，当判断待拾取零件与样本库和预设数据库中数据匹配时，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置。
[0060]
本发明同时提供一种电子设备，包括处理器、图形处理单元、通信接口、存储器和通信总线，其中，处理器，图形处理单元，通信接口，存储器通过通信总线完成相互间的通信；
[0061]
存储器，用于存放计算机程序；
[0062]
处理器，用于执行存储器上所存放的程序时，实现上述基于面结构光的通用零件拾取方法的步骤。
[0063]
本发明的有益效果：
[0064]
1、本发明的基于面结构光的通用零件拾取方法将投影在零件上的光栅条纹和零
件的图像处理后进行三维重建，在得到待拾取零件的位姿信息后判断待拾取零件与样本库和预设数据库中数据匹配关系，匹配无误后根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置，本发明的方法能够对零件进行分类拾取，不仅能处理单一零件的拾取，还能处理不同零件的拾取，相比于现有技术通用性更强，在进行拾取前不需要对零件进行人工分拣，通过样本库对比就能实现不同零件的识别，生产效率高。
[0065]
2、本发明的基于面结构光的通用零件拾取方法在而二值化之前对结构光二维图像进行增强处理，能够使得二值化时获得更好的边缘性，避免了二值化过程中前景和背景分割不准确导致的分类误差。
[0066]
3、本发明的基于面结构光的通用零件拾取方法的二值化阈值对类间方差进行优化，通过解析函数的最优解得到二值化阈值使得阈值的准确度更高。
[0067]
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
[0068]
图1是本发明实施例提供的一种基于面结构光的通用零件拾取方法流程示意图；
[0069]
图2是本发明实施例提供的高斯高通滤波器增强图像过程示意图；
[0070]
图3是本发明实施提供的三维重建过程示意图；
[0071]
图4是本发明实施提供的点云特征提取过程的掩膜；
[0072]
图5是本发明实施提供的点云特征提取过程的掩膜的展开图；
[0073]
图6是本发明实施例提供的一种基于面结构光的通用零件拾取系统模块框图；
[0074]
图7是本发明实施例提供的一种电子设备示意图。
具体实施方式
[0075]
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
[0076]
实施例一
[0077]
请参见图1，图1是本发明实施例提供的一种基于面结构光的通用零件拾取方法流程示意图，包括：
[0078]
s1、向待匹配零件投射经过预设编码规则编码的面结构光，基于该投射获取所述待匹配零件表面的结构光二维图像；
[0079]
在进行识别之前，需要建立相应的标准数据库，也就是通过对待匹配零件进行匹配后得到用于识别的标准数据库，待匹配零件可以为不同大小的零件，以及每个零件的不同角度以及不同重心状态，从而能够得到较为完整的数据。预设编码规则根据光栅条纹形状进行确定，具体的，光栅条纹通过投影仪等投影设备投射到零件表面，所述光栅条纹图像受到待测工件表面高低的调制产生变形，从而通过相机获得含有待测工件表面深度特征的条纹投影图，由于零件的大小不同，因此在进行投射时，光栅条纹宽度也需要进行调整，从而使变形量能够较清晰的反应，从而获取到精确的结构光二维图像。
[0080]
s2、对所述结构光二维图像进行二值化处理得到二值图像；
[0081]
二值化处理的核心在于二值化阈值的设定，本实施例通过如下方式进行设定：
[0082]
s21、将所述结构光二维图像分为前景像素和背景像素；
[0083]
s22、根据前景像素点数占比、前景像素点平均灰度值、后景像素点数占比、后景像素点平均灰度值以及结构光二维图像的总平均灰度值得到类间方差；
[0084]
s23、将所述类间方差取值最大时的阈值t作为二值化阈值，从而对所述结构光二维图像进行二值化处理得到二值图像。
[0085]
具体的，预设比例根据实际情况中，零件的最大尺寸和最小尺寸而定，例如，不同规格的零件有若干种，由于零件的大小不同，进行投射后，由于光线散射会使得，即使零件结构相同，也存在二维结构光图像存在差异，在处理时如果不考虑零件的关联性，这会导致不同规格的零件不能得到相关联的三维点云，从而造成处理误差。因此，对于同一类不同规格的零件，本实施例在处理时首先取最大规格零件进行阈值计算，其次去最小规格零件进行阈值计算，将两次阈值的平均值直接作为该同一类所有的阈值，统一进行处理。
[0086]
其中，类间方差为δ2＝ω0(μ-μ0)2 ω1(μ-μ1)2＝ω0ω1(μ
0-μ1)2；
[0087]
前景像素点占比背景像素点占比图像的大小为 m
×
n，图像中像素的灰度值小于阈值t的像素个数记作n0，像素灰度大于阈值t的像素个数记作n1。前景像素点平均灰度值为μ0，背景像素点平均灰度值为μ1，总平均灰度为μ＝ω0μ0 ω1μ1。
[0088]
优选的，请参见图2，在步骤s2之前，还可以包括对所述结构光二维图像进行增强的步骤：
[0089]
s1a、将所述结构光二维图像进行二维离散傅里叶变换；
[0090]
s1b、使用高斯高通滤波器对经过二维离散傅里叶变换的图像进行处理；
[0091]
s1c、将高斯高通滤波器处理的图像和经过二维离散傅里叶变换的图像进行叠加得到增强的结构光二维图像；
[0092]
其中，
[0093]
二维离散傅里叶变换为：
[0094][0095]
高斯高通滤波器为：
[0096][0097]
g(u，v)＝h
hp
(u，v)f(u，v)；
[0098]
(u，v)空间上的逆变换g(x，y)为：
[0099][0100]
增强的结构光二维图像为：i(x，y)＝αf(x，y) βg(x，y)。
[0101]
其中，m、n表示横纵方向像素点个数，f(x，y)表示结构光二维图像； g(x，y)表示经过高斯高通滤波器处理的图像，α和β表示叠加系数系数，其中α β＝1。
[0102]
需要说明的是，图像边缘和其他地方的急剧变化会影响二值化的准确度，申请人发现该急剧变化与高频分量有关，通过在频域处理高通滤波器可以使图像锐化，高斯高通滤波器得到的结果比前两种更平滑，即使是小的物体和细条，高斯滤波后也较为清晰。
[0103]
s3、对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，并将所述待匹配零件的标签信息存储于预设数据库中，其中，所述标签信息包括待匹配零件的种类信
息、大小信息；
[0104]
对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，具体为：对所述二值图像建立机器学习模型进行图像识别以确定待匹配零件的零件种类，其中，机器学习模型建立方法包括：：
[0105]
定义一个3
×
3的掩膜，分别计算领域像素值g1，g1，g2，
…
，g8和gc的差值，如果该差值大于或等于0，则g
ω
(ω＝1，2，
…
，8)位置处的二进制赋予2
ω
的权重，得到gc处的特征值，其中gc代表中心的像素数据；
[0106]
对每个点云得到的特征像素求其统计直方图，得到像素特征向量；
[0107]
利用卡方统计的方法来计算测试样本和匹配样本图像特征向量之间的相似性，并通过k近邻分类器对测试样本贴上与其最相似匹配样本的标签完成分类。
[0108]
具体分类公式为：
[0109][0110]
其中，s和m分别表示测试样本的特征向量和匹配样本的特征向量。
[0111]
假设给定的训练样本表示为d＝{(x1，y1)，(x2，y2)
…
(xm，ym)}，yi∈{-1，l}，yi用来表示两个不同的类别，其主要目的是找到一个分类器将训练样本分为两个不同的类别。即对于训练样本d在样本空间中找到一个超平面用来划分不同的类别。对于样本空间，划分超平面可用下面方程
[0112]wt
x b＝0
[0113]
其中，法向量w用来表示超平面的方向，b为位移项用来表示超平面到原点之间的距离，所以该超平面可以由w和b来确定，如果将其标记为(w，b)，则对于样本空间中的任意一点x，其到该超平面(w，b)的距离可以表示为：
[0114][0115]
假设超平面能够实现正确分类的效果，则有：
[0116][0117]
两个不同类的支持向量到超平面的距离之和为：
[0118][0119]
寻找参数w和b，使||w||-1
最大，相当于最小化||w||2。利用拉格朗日乘子法给每个约束条件添加拉格朗日乘子αi≥0，可以得到上式的拉格朗日函数：
[0120][0121]
得到原问题的对偶问题：
[0122][0123][0124]
求出α后，再求出w和b即可获得模型：
[0125][0126]
得到模型后，建立相应的零件数据库。
[0127]
采用本实施例的上述模型，能够准确的识别零件种类信息、大小信息等参数，从而确保零件数据库的完整性。
[0128]
s4、对所述二值图像进行三维重建，以使所述待匹配零件的二维信息转化为三维信息得到三维点云的特征点；
[0129]
请参见图3，三维重建首先需要进行前期的相机与投影仪之间的标定其特征在于采用了棋盘标定的方法：
[0130]
准备一张黑白相间的棋盘格图片作为标定图片。之后，对标定图片在不同位置、不同角度、不同姿态下拍摄，最少需要3张，以10-20张为宜。标定板需要是黑白相间的矩形构成的棋盘图，制作精度要求较高。其次对每一张标定的图片，提取所有的角点信息。最后根据角点信息计算得到相机的内部参数矩阵a、外部参数矩阵[r t]和相机距离物体的距离。
[0131]
图像像素坐标系与世界坐标系的关系：
[0132][0133]
令zw＝0
[0134][0135]
简化得
[0136][0137]
称矩阵
[0138][0139]
为单应性矩阵，求解h即可得到相机的内部参数矩阵a、外部参数矩阵[r t] 和相机距离物体的距离。
[0140]
利用相机外参计算相机坐标系中某位姿下标定板的平面方程，根据相机图像提取的角点像素坐标(进行畸变矫正后的位置)与相机光心的连线确定光线的空间射线表达式，射线与标定板平面的交点即为投影像素点对应的空间三维点。
[0141]
为了确定投影仪标定板平面方程，相机先拍摄仅贴有“棋盘格图案”的标定板图像，使用棋盘标定法进行相机标定，则“棋盘格图案”中的角点确定当前位姿下的标定板与相机之间的变换矩阵。根据投影棋盘格角点的像素坐标与世界坐标的对应联系，对投影仪进行标定。
[0142]
本实施例的三维重建方法采用格雷码三维重建方法，即在一组数的编码中，若任意两个相邻的代码只有一位二进制数不同，则称这种编码为格雷码。它在相邻位间转换时，只有一位产生变化。它大大地减少了由一个状态到下一个状态时逻辑的混淆。格雷码仅改变一位，这样与其它编码同时改变两位或多位的情况相比更为可靠，即可减少出错的可能性。
[0143]
通过对面结构光的图案进行编码图案的设计，使得投影图案的每个像素均可采用唯一的格雷码值进行对应。
[0144]
相机与三维空间中的点之间的关系有
[0145][0146]
其中zc是相机与零件之间的距离，ac是相机内部参数，(uc，vc)是图像中的像素坐标，(xc，yc，zc)是相机坐标系下的待测点的点p
ic
坐标。
[0147]
投影仪可认为是相机的逆过程，因此有
[0148][0149]
其中z
p
是相机与零件之间的距离，a
p
是相机内部参数，(u
p
，v
p
)是图像中的像素坐标，(x
p
，y
p
，z
p
)是投影仪坐标系下的待测点的点p
ip
坐标。
[0150]
设oc和o
p
分别为相机光心和投影仪光心，则oc，o
p
，p
ic
，p
ip
的坐标在世界坐标系下为
[0151]
oc：
[0152]op
：
[0153]
p
ic
：
[0154]
p
ip
：
[0155]
其中rc，tc是相机坐标系外部参数，r
p
，t
p
是投影仪外部参数。
[0156]
理论情况下，相机光线和投影仪光线的空间交点即为待测点，但由于误差的原因，相机光线和投影光线可能是异面直线，需求出p
ic
和p
ip
的中点，认为是待测点。
[0157]
由于拍摄以及重建误差，得到的三维点云的特征点可能存在部分特征点缺失，从而无法完整的进行后续识别步骤，因此还需要对缺失的特征点进行补偿，具体的，是否需要进行补偿根据所述三维点云的特征点的缺失比例进行判断，如果高于预设比例阈值时，则表明缺失较大，则进行补偿，例如当缺失比例大于2％时对所述三维点云按照补偿公式进行特征点补偿，如果缺失比例小于2％，则认为三维点云的特征点是完整的，所述补偿公式为：
[0158][0159]
其中，giouloss表示边界框回归的损失函数，和
表示置信度预测损失函数，表示类别预测损失函数。
[0160]
需要说明的是，对于进行缺失点补偿的零件进行标记，将该零件的置信度设置为90％，也就是说，在判断待拾取零件与样本库和预设数据库中数据匹配时，匹配程度达到90％可认为是匹配成功。
[0161]
具体的，目标检测任务的损失函数一般由边界框回归损失和分类损失两部分构成。边界框回归损失中最常用的计算指标是交并比(iou)，计算方法如下：
[0162][0163]
本实施例算法采用的是giou作为边界框回归的损失函数：
[0164][0165]
giouloss＝1-giou。
[0166]
s5、对所述三维点云进行三维模式匹配以对待匹配零件的位姿信息进行分类识别形成样本库并根据所述样本库判断待拾取零件的位姿信息，并将所述位姿信息存储于预设数据库中，其中，所述位姿信息包括待匹配零件的旋转信息和重心信息；
[0167]
在一个具体实施方式中，根据所述三维点云的特征点对待匹配零件的位姿信息进行分类识别形成样本库，包括：
[0168]
统计每一个点(a3，1)领域共计(a
3-a 2)个体素以内的点云数量，将该数据作为该点的新数据；
[0169]
请参见图4和图5，定义一个3
×3×
3的掩膜，分别计算领域体素值g1， g1，g2，
…
，g
26
和gc的差值，如果该差值大于或等于0，则g
ω
(ω＝1，2，
…
，26) 位置处的二进制赋予2
ω
的权重，得到gc处的特征值，其中gc代表中心的点云数据；
[0170]
对每个点云得到的特征体素求其统计直方图，得到体素特征向量；
[0171]
利用卡方统计的方法来计算测试样本和匹配样本图像特征向量之间的相似性，并通过k近邻分类器对测试样本贴上与其最相似匹配样本的标签完成分类。
[0172]
具体分类公式为：
[0173][0174]
其中，s和m分别表示测试样本的特征向量和匹配样本的特征向量。
[0175]
s6、响应于接收到待拾取零件，通过机器学习获得待拾取零件的标签信息，之后通过三维模式匹配获得待拾取零件的位姿信息，并与预设数据库中的数据进行匹配，当判断待拾取零件与样本库和预设数据库中数据匹配时，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置。
[0176]
在一个具体实施方式中，当判断待拾取零件与样本库和预设数据库中数据匹配
时，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置，包括：
[0177]
判断待拾取零件的三维点云与样本库匹配时，对比该待拾取零件的特征点与预设数据库中的特征点以得到待拾取零件的旋转矩阵；
[0178]
根据预设数据库中的特征点与目标的特征点之间的旋转矩阵得到拾取零件的特征点与目标的特征点的旋转矩阵；
[0179]
根据待拾取零件的重心信息将待拾取零件拾取至相应位置。
[0180]
在一个具体实施方式中，根据待拾取零件的重心信息将待拾取零件拾取至相应位置还包括：
[0181]
获取相机坐标系和机械手坐标系的角度差和距离差得到旋转矩阵和平移矩阵，以计算待拾取零件的拾取位置相对于机械手的坐标；
[0182]
根据待拾取零件的拾取位置相对于机械手的坐标以及待拾取零件的重心信息将待拾取零件拾取至相应位置。
[0183]
在一个具体实施方式中，所述旋转矩阵为：
[0184][0185]
所述平移矩阵为：
[0186]
其中，其中α、β、γ分别为三个维度上机械手坐标系与相机坐标系之间相差的角度，x、y、z分别为三个维度上机械手坐标系与相机坐标系之间相差的距离。
[0187]
本发明同时提供一种基于面结构光的通用零件拾取系统，请参见图6，包括：
[0188]
图像拍摄模块61，用于向待匹配零件投射经过预设编码规则编码的面结构光，基于该投射获取所述待匹配零件表面的结构光二维图像；
[0189]
二值化模块62，用于对所述结构光二维图像进行二值化处理得到二值图像；
[0190]
机器学习模块63，用于对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，并将所述待匹配零件的标签信息存储于预设数据库中，其中，所述标签信息包括待匹配零件的种类信息、大小信息；
[0191]
三维重建模块64，用于对所述二值图像进行三维重建，以使所述待匹配零件的二维信息转化为三维信息得到三维点云的特征点；
[0192]
位姿处理模块65，用于对所述三维点云进行三维模式匹配以对待匹配零件的位姿信息进行分类识别形成样本库并根据所述样本库判断待拾取零件的位姿信息，并将所述位姿信息存储于预设数据库中，其中，所述位姿信息包括待匹配零件的旋转信息和重心信息；
[0193]
拾取模块66，用于响应于接收到待拾取零件，通过机器学习获得待拾取零件的标签信息，之后通过三维模式匹配获得待拾取零件的位姿信息，并与预设数据库中的数据进行匹配，当判断待拾取零件与样本库和预设数据库中数据匹配时，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置。
[0194]
本发明同时提供一种电子设备，请参见图7，包括处理器71、通信接口 72、存储器73和通信总线74，其中，处理器71，通信接口72，存储器73通过通信总线74完成相互间的通
信；
[0195]
存储器73，用于存放计算机程序；
[0196]
处理器71，用于执行存储器73上所存放的程序时，实现上述基于面结构光的通用零件拾取方法的步骤。
[0197]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheralcomponent interconnect，pci)总线或扩展工业标准结构(extendedindustry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0198]
通信接口用于上述电子设备与其他设备之间的通信。
[0199]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0200]
上述的处理器可以是通用处理器，包括中央处理器(centralprocessing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路 (application specific integrated circuit，asic)、现场可编程门阵列 (field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0201]
本发明实施例提供的方法可以应用于电子设备。具体的，该电子设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。
[0202]
对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0203]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0204]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
[0205]
尽管在此结合各实施例对本技术进行了描述，然而，在实施所要求保护的本技术过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
[0206]
本领域技术人员应明白，本技术的实施例可提供为方法、装置(设备)、或计算机程
序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，这里将它们都统称为“模块”或“系统”。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过internet或其它有线或无线电信系统。
[0207]
本技术是参照本技术实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/ 或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0208]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0209]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0210]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。