一种复合快速高精度视觉定位的装置与方法与流程

1.本发明是一种复合快速高精度视觉定位的装置与方法，属于视觉定位领域。


背景技术：

2.激光结构光是一种高精度的三维重建方法，利用相机观察到激光条纹的变形程度来得到物体高度的变化。但激光结构光需要物体相对于激光器和相机发生相对移动，才能实现对工件的三维重建。这种方式虽然精度较高，但因为需要扫描获取多帧图像进行拼接，速度较慢。且无法应用于动态定位的场景。
3.多线激光结构光包含多个激光条纹，在不发生相对移动的情况下可以完成物体的稀疏三维重建。但多线激光结构光还存在编码复杂、效率低下的问题。基于飞行时间法的深度相机具有速度快、计算量小、使用场景广等优点。但基于飞行时间法的深度相机精度较低。无法应用于高精度定位的场合。
4.因此，基于目前激光结构光与基于飞行时间法的深度相机在视觉定位领域的问题。本发明设计了基于飞行时间法的深度相机实现对多线激光结构光进行编码，通过rgb图像定位物体特征线的x与y坐标，通过编码之后的激光结构光得到工件边界点的z方向坐标。结合工件cad，可以在一次同一时刻曝光下快速、准确的实现对物体特征线定位。


技术实现要素：

5.为了克服现有技术的不足，本发明提供了一种复合快速高精度视觉定位的装置与方法。在保证高精度的前提下，快速实现对物体定位。
6.本发明采用的技术方案是：一种复合快速高精度视觉定位的装置，该装置包括tof相机、rgb相机、多线激光结构光光源和彩色led光源；rgb彩色相机、tof深度相机、多线激光器、彩色光源通过支架连接在一起，多线激光器与彩色光源倾斜放置向rgb彩色相机下方同时打光。其中彩色光源与多线激光器光的波长不同。rgb相机、tof深度相机同时采集图像。根据光的波长将多线激光器激光条纹信息与彩色光源的阴影信息分开。根据彩色光源照射提供的阴影信息在rgb相机的图像坐标系下实现工件在x与y方向的定位。tof深度相机对工件粗定位，根据粗定位结果对多线激光器组成结构光系统中的光平面进行编码。并利用编码后的结果与光平面的标定结果通过求线面交点的方式实现对空间点进行精确定位。
7.同时结合cad图纸，使对象在一次曝光的条件下，完成工件高精度、快速视觉定位，tof相机和rgb经过了视觉标定，坐标系已经统一。定义与视觉系统拍摄方向为z方向，图像行方向和列方向分别为x和y方向。多线激光结构光光源与彩色光源采用不同波长的颜色，其中多条纹激光可以是多组条纹，可以横竖分布，led彩色光源可以是多个，在多方向排布，光源的颜色可以是红、绿、蓝、红外等多个波长。
8.进一步，多线激光结构光光源应根据tof深度相机的误差来选择，多线激光器相邻光平面之间的夹角β根据式(1)确定
[0009][0010]
其中b为深度相机的误差；m为tof深度相机光心与多线激光器的光心之间的水平距离。a与tof深度相机参数有关，如式(2)。
[0011][0012]
其中u为tof深度相机在x方向上的靶面尺寸，f为相机的焦距。
[0013]
进一步，通过tof相机进行物体的粗定位，且该粗定位的结果可以作为多条纹激光结构光的编码信号。
[0014]
对多线激光结构光进行编码时，根据物体上一点到光平面的距离在该点与光心的连线上的投影长度进行编码。
[0015]
进一步，通过多线激光结构光光源与rgb相机构成多线激光结构光视觉系统，多线激光结构光视觉系统在tof相机编码的作用下，实现物体的单次曝光，多条激光条纹z方向精确定位。
[0016]
进一步，通过彩色led与rgb相机配合，构成阴影恢复形状视觉系统，采用光照突变的方式，进行工件中的特征点和线在x方向和y方向的精确定位。特征点的x、y值也可以通过hough变换在激光结构光视觉中求取。
[0017]
进一步，在阴影恢复形状视觉系统中，求取特征线与多条纹激光结构光的相交的点，利用以上的x、y、z值对多个特征点进行三坐标定位。
[0018]
进一步，得到以上特征点的x、y、z方向坐标后，再结合cad图纸，通过搜寻算法，可以得到cad图纸中特征线在视觉坐标系中的精确方程。
[0019]
本发明的积极效果是：
[0020]
1、本发明中tof相机对工件进行粗定位，并利用该粗定位结果对多条纹激光结构光进行编码，避免了复杂的编码过程，这种编码方法具有速度快、稳定性强的特点。
[0021]
2、本发明根据物体上一点到光平面的距离在该点与光心的连线上的投影长度进行编码。减少tof相机深度误差对多线结构光编码稳定性的影响。提高了编码的鲁棒性及稳定性。
[0022]
3、本发明可以实现在一次曝光的情况下，同时完成图像上的x与y方向定位和激光结构光z方向的精确定位。本发明不需要相机相对于工件有相对位移，提高了三维重建效率，可以满足工件动态定位的需求。
[0023]
4、本发明确立了多线激光器相邻光平面之间的最小角度与tof深度相机误差的关系，提供了多线激光器的选型依据。
[0024]
5、本发明使用激光结构光、tof、阴影恢复形状和cad方式搭建复合视觉系统，提高了工件定位的精度与效率。
[0025]
6、本发明多线激光结构光光源激光条纹与彩色光源使用不同的颜色，这样可以在一次曝光下，同时获取激光条纹信息与阴影变化信息。
附图说明
[0026]
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
[0027]
图1是tof深度相机误差在多线激光器角度引起角度误差；其中o1为相机光心，o2为多线激光器光心，o1与o2位于一条水平线上。b为tof在深度方向的误差。m为相机光心与激光光心之间的距离。β为tof深度相机在误差为b时在多线激光器光心位置引起的最大角度误差。α为tof相机的相关参数。
[0028]
图2是本发明装置示意图。其中1为多线激光器，2为支架，3为彩色光源，4为tof深度相机，5为rgb彩色相机，6为待定位工件。
[0029]
图3是本发明的工件快速定位流程示意图。
具体实施方式
[0030]
为使本发明的目的、技术方案和优点更加清楚，下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
[0031]
本实施例公开一种用于工件的复合快速高精度视觉定位的装置与方法，包括如下步骤：
[0032]
1)多线激光根据tof深度相机的误差来选择，tof相机深度误差在多线激光结构光激光光平面引起的夹角误差关系如图1，多线激光器相邻光平面之间的夹角根据式(1)确定
[0033][0034]
其中b为深度相机的误差；m为tof深度相机光心与多线激光结构光光源光心之间的水平距离。a与tof深度相机参数有关，如式(2)
[0035][0036]
2)根据图2与图3搭建多线激光结构光视觉平台，其中，所述定位视觉系统包括支架、彩色光源、tof深度相机、rgb彩色相机、物体和多线激光结构光光源。多线激光结构光光源布置在rgb彩色相机的左方，控制多线激光结构光光源向下且与竖直方向呈45
°
夹角；彩色光源放置在工件的后方并向下倾斜45
°
。如图3所示。并在该视觉平台周围布置黑色遮光布，避免环境光干扰造成的定位精度下降问题。
[0037]
2)调整rgb彩色相机、多线激光结构光光源和彩色光源的位置，保证多线激光结构光光源的激光条纹照射到工件上，并保证rgb彩色相机能完全采集到激光条纹，减少物体产生的过曝光问题。待位置调整完毕后，对该系统进行标定，保存标定参数。光平面的参数方程如式(3)：
[0038]
a
i
x b
i
y c
i
z 1＝0
ꢀꢀ
(3)
[0039]
其中i表示第几个光平面。a
i
、b
i
、c
i
表示第i个光平面的参数。x、y、z为在相机坐标系下的空间点的坐标。
[0040]
3)调整rgb彩色相机曝光时间，保证能得到既包含激光条纹信息又包含阴影信息
的彩色图像，rgb相机采集图像，同时获取彩色图像和逐像素对应的深度图像。
[0041]
4)根据光的颜色区分激光条纹信息与阴影信息。
[0042]
5)提取激光条纹中心，通过式(4)计算有条纹处的像素(u,v)所对应的在相机坐标系下的三维坐标。
[0043][0044]
其中u0、v0通过标定彩色相机内参可知，z通过tof深度相机得到的深度图获取。从而获取像素坐标(u,v)在相机坐标系下对应的三维坐标。
[0045]
6)利用式(5)计算该点(x,y,z)到各光平面的距离d
i
:
[0046][0047]
其中a
i
、b
i
、c
i
为第i个光平面的参数。
[0048]
7)利用式(6)计算该距离在光心与成像平面上((u
‑
u0)dx,(v
‑
v0)dy,f)的连线上的投影：
[0049][0050]
其中n
i
为第i个光平面的法向量，如式(7)
[0051][0052]
其中l为光心与成像平面上该点的直线的单位方向向量。如式(8)
[0053][0054]
8)根据式(6)得到的该点(x,y,z)到各个光平面的投影距离，距离最短的光平面即为该像素点(u,v)所对应的光平面。循环5)到8)步，完成激光条纹的编码，保存编码结果。
[0055]
9)像素点(u,v)在成像平面上对应的点在相机坐标系下的坐标为((u
‑
u0)dx,(v
‑
v0)dy,f)，连接光心与该点确定一条直线，直线方程如式(9)所示：
[0056]
[0057]
10)联立式(9)与式(3)得到蓝色通道图像像素点(u,v)所对应工件上的点在相机坐标系下的坐标。循环所有像素，恢复所有含有条纹所在的三维坐标。
[0058]
11)取彩色图像的绿色通道，根据自动阈值对图像做二值化，通过检测工件边界实现在图像坐标系下x与y方向的定位。
[0059]
12)利用10)得到深度信息z与11)得到图像坐标系下x与y的信息，根据式(4)完成工件边界在x、y、z方向的定位。
[0060]
13)结合cad图纸，通过搜寻算法，可以得到cad图纸中特征线在相机坐标系中的精确方程。
[0061]
尽管上面结合附图对本发明的优选实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，并不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出很多形式，这些均属于本发明的保护范围之内。