一种复合快速高精度视觉定位的装置与方法与流程

技术特征：
1.一种复合快速高精度视觉定位的装置，其特征在于：该装置包括tof相机、rgb相机、多线激光结构光光源和彩色led光源；rgb彩色相机、tof深度相机、多线激光器、彩色光源通过支架连接在一起，多线激光器与彩色光源倾斜放置向rgb彩色相机下方同时打光；彩色光源与多线激光器光的波长不同；rgb相机、tof深度相机同时采集图像；根据光的波长将多线激光器激光条纹信息与彩色光源的阴影信息分开；根据彩色光源照射提供的阴影信息在rgb相机的图像坐标系下实现工件在x与y方向的定位；tof深度相机对工件粗定位，根据粗定位结果对多线激光器组成结构光系统中的光平面进行编码；并利用编码后的结果与光平面的标定结果通过求线面交点的方式实现对空间点进行精确定位。2.根据权利要求1所述的一种复合快速高精度视觉定位的装置，其特征在于：结合cad图纸，使对象在一次曝光条件下，完成工件高精度、快速视觉定位，tof相机和rgb经过视觉标定，坐标系已统一；定义与视觉系统拍摄方向为z方向，图像行方向和列方向分别为x和y方向；多线激光结构光光源与彩色光源采用不同波长的颜色，其中多条纹激光是多组条纹，或者横竖分布，led彩色光源是多个，在多方向排布；光源的颜色是红、绿、蓝或红外波长。3.根据权利要求1所述的一种复合快速高精度视觉定位的装置，其特征在于：多线激光结构光光源根据tof深度相机的误差来选择，多线激光器相邻光平面之间的夹角β根据式(1)确定其中b为深度相机的误差；m为tof深度相机光心与多线激光器的光心之间的水平距离；a与tof深度相机参数有关，如式(2)；其中u为tof深度相机在x方向上的靶面尺寸，f为相机的焦距。4.根据权利要求1所述的一种复合快速高精度视觉定位的装置，其特征在于：通过tof相机进行物体的粗定位，且该粗定位的结果作为多条纹激光结构光的编码信号；对多线激光结构光进行编码时，根据物体上一点到光平面的距离在该点与光心的连线上的投影长度进行编码。5.根据权利要求2所述的一种复合快速高精度视觉定位的装置，其特征在于：通过多线激光结构光光源与rgb相机构成多线激光结构光视觉系统，多线激光结构光视觉系统在tof相机编码的作用下，实现物体的单次曝光，多条激光条纹z方向精确定位。6.根据权利要求2所述的一种复合快速高精度视觉定位的装置，其特征在于：通过彩色led与rgb相机配合，构成阴影恢复形状视觉系统，采用光照突变的方式，进行工件中的特征点和线在x方向和y方向的精确定位；特征点的x、y值也能够通过hough变换在激光结构光视觉中求取。7.根据权利要求2所述的一种复合快速高精度视觉定位的装置，其特征在于：在阴影恢复形状视觉系统中，求取特征线与多条纹激光结构光的相交的点，利用以上的x、y、z值对多个特征点进行三坐标定位。8.根据权利要求2所述的一种复合快速高精度视觉定位的装置，其特征在于：得到以上特征点的x、y、z方向坐标后，再结合cad图纸，通过搜寻算法，得到cad图纸中特征线在视觉
坐标系中的精确方程。9.利用权利要求1所述装置进行的一种用于工件的复合快速高精度视觉定位方法，其特征在于：包括如下步骤：1)多线激光根据tof深度相机的误差来选择，tof相机深度误差在多线激光结构光激光光平面引起的夹角误差关系，多线激光器相邻光平面之间的夹角根据式(1)确定其中b为深度相机的误差；m为tof深度相机光心与多线激光结构光光源光心之间的水平距离；a与tof深度相机参数有关，如式(2)2)根据搭建多线激光结构光视觉装置，其中，所述定位视觉装置包括支架、彩色光源、tof深度相机、rgb彩色相机、物体和多线激光结构光光源；多线激光结构光光源布置在rgb彩色相机的左方，控制多线激光结构光光源向下且与竖直方向呈45
°
夹角；彩色光源放置在工件的后方并向下倾斜45
°
；并在该定位视觉装置周围布置黑色遮光布；2)调整rgb彩色相机、多线激光结构光光源和彩色光源的位置，保证多线激光结构光光源的激光条纹照射到工件上，并保证rgb彩色相机能完全采集到激光条纹；待位置调整完毕后，对该系统进行标定，保存标定参数；光平面的参数方程如式(3)：a
i
x b
i
y c
i
z 1＝0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中i表示第几个光平面；a
i
、b
i
、c
i
表示第i个光平面的参数；x、y、z为在相机坐标系下的空间点的坐标；3)调整rgb彩色相机曝光时间，保证得到既包含激光条纹信息又包含阴影信息的彩色图像，rgb相机采集图像，同时获取彩色图像和逐像素对应的深度图像；4)根据光的颜色区分激光条纹信息与阴影信息；5)提取激光条纹中心，通过式(4)计算有条纹处的像素(u,v)所对应的在相机坐标系下的三维坐标；其中u0、v0通过标定彩色相机内参可知，z通过tof深度相机得到的深度图获取；从而获取像素坐标(u,v)在相机坐标系下对应的三维坐标；6)利用式(5)计算该点(x,y,z)到各光平面的距离d
i
:其中a
i
、b
i
、c
i
为第i个光平面的参数；7)利用式(6)计算该距离在光心与成像平面上((u
‑
u0)dx,(v
‑
v0)dy,f)的连线上的投
影：其中n
i
为第i个光平面的法向量，如式(7)其中l为光心与成像平面上该点的直线的单位方向向量；如式(8)8)根据式(6)得到的该点(x,y,z)到各个光平面的投影距离，距离最短的光平面即为该像素点(u,v)所对应的光平面；循环5)到8)步，完成激光条纹的编码，保存编码结果；9)像素点(u,v)在成像平面上对应的点在相机坐标系下的坐标为((u
‑
u0)dx,(v
‑
v0)dy,f)，连接光心与该点确定一条直线，直线方程如式(9)所示：10)联立式(9)与式(3)得到蓝色通道图像像素点(u,v)所对应工件上的点在相机坐标系下的坐标；循环所有像素，恢复所有含有条纹所在的三维坐标；11)取彩色图像的绿色通道，根据自动阈值对图像做二值化，通过检测工件边界实现在图像坐标系下x与y方向的定位；12)利用10)得到深度信息z与11)得到图像坐标系下x与y的信息，根据式(4)完成工件边界在x、y、z方向的定位；13)结合cad图纸，通过搜寻算法，得到cad图纸中特征线在相机坐标系中的精确方程。

技术总结
本发明公开了一种复合快速高精度视觉定位的装置与方法，属于视觉定位技术领域；该装置包括支架、TOF相机、RGB相机、多线激光结构光光源、彩色LED光源。确立了TOF相机误差与多线激光器相邻光平面之间的最小夹角之间的关系。利用TOF相机对物体进行粗定位，并利用粗定位结果对多线激光结构光视觉系统提供编码信号。RGB相机与多线激光器构成多线激光结构光视觉系统实现物体在Z方向上的精确定位，RGB相机与彩色LED光源构成阴影恢复形状系统实现物体在X与Y方向的精确定位。本发明可以在一次同一曝光时间下同时完成工件特征线在X、Y、Z方向的精确定位。可以满足静态以及动态的定位需求，具有精度高、编码简单、速度快的特点。速度快的特点。速度快的特点。


技术研发人员：闫志鸿 胡飞涛 程健鹏
受保护的技术使用者：北京工业大学
技术研发日：2021.08.01
技术公布日：2021/10/29