一种基于面结构光的通用零件拾取方法、系统及电子设备

技术特征：
1.一种基于面结构光的通用零件拾取方法，其特征在于，包括：向若干不同的待匹配零件投射经过预设编码规则编码的面结构光，基于该投射获取所述待匹配零件表面的结构光二维图像；对所述结构光二维图像进行二值化处理得到二值图像；对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，并将所述待匹配零件的标签信息存储于预设数据库中，其中，所述标签信息包括待匹配零件的种类信息、大小信息；对所述二值图像进行三维重建，以使所述待匹配零件的二维信息转化为三维信息得到三维点云的特征点；对所述三维点云进行三维模式匹配以对待匹配零件的位姿信息进行分类识别形成样本库并根据所述样本库判断待拾取零件的位姿信息，并将所述位姿信息存储于预设数据库中，其中，所述位姿信息包括待匹配零件的旋转信息和重心信息；响应于接收到待拾取零件，通过机器学习获得待拾取零件的标签信息，之后通过三维模式匹配获得待拾取零件的位姿信息，并与预设数据库中的数据进行匹配，当判断待拾取零件与样本库和预设数据库中数据匹配时，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置。2.根据权利要求1所述的基于面结构光的通用零件拾取方法，其特征在于，对所述结构光二维图像进行二值化处理得到二值图像的步骤之前，还包括：将所述结构光二维图像进行二维离散傅里叶变换；使用高斯高通滤波器对经过二维离散傅里叶变换的图像进行处理；将高斯高通滤波器处理的图像和经过二维离散傅里叶变换的图像进行叠加得到增强的结构光二维图像；其中，二维离散傅里叶变换为：高斯高通滤波器为：g(u，v)＝h
hp
(u，v)f(u，v)；(u，v)空间上的逆变换g(x，y)为：增强的结构光二维图像为：i(x，y)＝αf(x，y) βg(x，y)。其中，m、n表示横纵方向像素点个数，f(x，y)表示结构光二维图像；g(x，y)表示经过高斯高通滤波器处理的图像，α和β表示叠加系数系数，其中α β＝1。3.根据权利要求1所述的基于面结构光的通用零件拾取方法，其特征在于，对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，具体为：对所述二值图像建立机器学习模型进行图像识别以确定待匹配零件的零件种类，其中，机器学习模型建立方法包括：定义一个3
×
3的掩膜，分别计算领域像素值g1，g1，g2，
…
，g8和g
c
的差值，如果该差值大
于或等于0，则g
ω
(ω＝1，2，...，8)位置处的二进制赋予2
ω
的权重，得到g
c
处的特征值，其中g
c
代表中心的像素数据；对每个像素得到的特征像素求其统计直方图，得到像素特征向量；利用卡方统计的方法来计算测试样本和匹配样本图像特征向量之间的相似性；假设给定的训练样本表示为d＝{(x1，y1)，(x2，y2)
…
(x
m
，y
m
)}，y
i
∈{-1，l}，y
i
用来表示两个不同的类别以找到一个分类器将训练样本分为两个不同的类别，即对于训练样本d在样本空间中找到一个超平面用来划分不同的类别，对于样本空间，划分超平面方程表示为：w
t
x b＝0其中，法向量w表示超平面的方向，b为位移项，表示超平面到原点之间的距离，对于样本空间中的任意一点x，其到该超平面(w，b)的距离可以表示为：当超平面能够实现正确分类的效果时，则有：两个不同类的支持向量到超平面的距离之和为：寻找参数w和b，使||w||-1
最大，利用拉格朗日乘子法给每个约束条件添加拉格朗日乘子α
i
≥0，得到对应的拉格朗日函数：得到原问题的对偶问题：得到原问题的对偶问题：求出α后，再求出w和b即可获得机器学习模型：4.根据权利要求1所述的基于面结构光的通用零件拾取方法，其特征在于，对所述二值图像进行三维重建，以使所述待匹配零件的二维信息转化为三维信息得到三维点云的特征点之后，还包括：判断所述三维点云的特征点的缺失比例高于预设比例阈值时，对所述三维点云按照补偿公式进行特征点补偿，所述补偿公式为：
其中，giouloss表示边界框回归的损失函数，和表示置信度预测损失函数，表示类别预测损失函数。5.根据权利要求1所述的基于面结构光的通用零件拾取方法，其特征在于，根据所述三维点云的特征点对待匹配零件的位姿信息进行分类识别形成样本库，包括：统计每一个点(a3，1)领域共计(a
3-a 2)个体素以内的点云数量，将该数据作为该点的新数据；定义一个3
×3×
3的掩膜，分别计算领域体素值g1，g1，g2，
…
，g
26
和g
c
的差值，如果该差值大于或等于0，则g
ω
(ω＝1，2，...，26)位置处的二进制赋予2
ω
的权重，得到g
c
处的特征值，其中g
c
代表中心的点云数据；对每个点云得到的特征体素求其统计直方图，得到体素特征向量；利用卡方统计的方法来计算测试样本和匹配样本图像特征向量之间的相似性，并通过k近邻分类器对测试样本贴上与其最相似匹配样本的标签完成分类。6.根据权利要求1所述的基于面结构光的通用零件拾取方法，其特征在于，当判断待拾取零件与样本库和预设数据库中数据匹配时，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置，包括：判断待拾取零件的三维点云与样本库匹配时，对比该待拾取零件的特征点与预设数据库中的特征点以得到待拾取零件的旋转矩阵；根据预设数据库中的特征点与目标的特征点之间的旋转矩阵得到拾取零件的特征点与目标的特征点的旋转矩阵；根据待拾取零件的重心信息将待拾取零件拾取至相应位置。7.根据权利要求6所述的基于面结构光的通用零件拾取方法，其特征在于，根据待拾取零件的重心信息将待拾取零件拾取至相应位置还包括：获取相机坐标系和机械手坐标系的角度差和距离差得到旋转矩阵和平移矩阵，以计算待拾取零件的拾取位置相对于机械手的坐标；根据待拾取零件的拾取位置相对于机械手的坐标以及待拾取零件的重心信息将待拾取零件拾取至相应位置。8.根据权利要求7所述的基于面结构光的通用零件拾取方法，其特征在于，所述旋转矩阵为：
所述平移矩阵为：其中，其中α、β、γ分别为三个维度上机械手坐标系与相机坐标系之间相差的角度，x、y、z分别为三个维度上机械手坐标系与相机坐标系之间相差的距离。9.一种基于面结构光的通用零件拾取系统，其特征在于，包括：图像拍摄模块，用于向待匹配零件投射经过预设编码规则编码的面结构光，基于该投射获取所述待匹配零件表面的结构光二维图像；二值化模块，用于对所述结构光二维图像进行二值化处理得到二值图像；机器学习模块，用于对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，并将所述待匹配零件的标签信息存储于预设数据库中，其中，所述标签信息包括待匹配零件的种类信息、大小信息；三维重建模块，用于对所述二值图像进行三维重建，以使所述待匹配零件的二维信息转化为三维信息得到三维点云的特征点；位姿处理模块，用于对所述三维点云进行三维模式匹配以对待匹配零件的位姿信息进行分类识别形成样本库并根据所述样本库判断待拾取零件的位姿信息，并将所述位姿信息存储于预设数据库中，其中，所述位姿信息包括待匹配零件的旋转信息和重心信息；拾取模块，用于响应于接收到待拾取零件，通过机器学习获得待拾取零件的标签信息，之后通过三维模式匹配获得待拾取零件的位姿信息，并与预设数据库中的数据进行匹配，当判断待拾取零件与样本库和预设数据库中数据匹配时，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置。10.一种电子设备，其特征在于，包括处理器、图形处理单元、通信接口、存储器和通信总线，其中，处理器，图形处理单元，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。

技术总结
本发明公开了一种基于面结构光的通用零件拾取方法，包括：获取所述待匹配零件表面的结构光二维图像；对所述结构光二维图像进行二值化处理得到二值图像；对二值图像进行机器学习匹配，确定待匹配零件的零件种类，并将待匹配零件的标签信息存储于预设数据库中；对所述二值图像进行三维重建，得到三维点云；对三维点云进行三维模式匹配，对待匹配零件的位姿信息进行分类识别形成样本库并根据样本库判断待拾取零件的位姿信息；获得待拾取零件的位姿信息，并与预设数据库中的数据进行匹配，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置。本发明在进行拾取前不需要对零件进行人工分拣，通过样本库对比就能实现不同零件的识别，生产效率高。生产效率高。生产效率高。


技术研发人员：于泽华 高兴宇 刘晓珂 王小庆
受保护的技术使用者：桂林电子科技大学
技术研发日：2022.04.01
技术公布日：2022/7/12