一种具有色彩实时映射的双相机点云测量方法及装置

1.本发明涉及图像处理技术领域，特别涉及一种具有色彩实时映射的双相机点云测量方法及装置。


背景技术：

2.线结构光相机的工作原理是通过激光器发出一字激光线投射到被测工件表面上，被测工件表面会对激光线进行反射，ccd相机通过采集拍摄反射的激光线的像素坐标，再通过标定矩阵进行数据转换，生成被测工件的三维坐标信息。
3.市面上近几年的线结构光相机品牌种类越来越多，应用也越来越广，广泛应用于焊接、电子、制鞋、纺织等领域。其中制鞋自动化生产线的应用更是离不开线结构光相机，因鞋底、鞋面存在来料变形、工人作业不规范等各种因素，线结构光相机刚好可以弥补这方面的缺陷，可以根据扫描后鞋底、鞋面的三维点云信息实时生成加工轨迹，从而提高产品的生产效率和质量。
4.现有的三维点云信息提取技术所提取的三维点云仅包含三维坐标，对于一般情况能够生成准确的加工轨迹，但是对于需要沿着鞋面某一个颜色区域的轮廓进行喷涂的情况，仅包含像三维坐标的三维点云会加大后期点云数据的处理难度，甚至导致无法生成准确的加工轨迹的，从而导致这类工作无法在自动化生产线上生产。


技术实现要素：

5.本发明提出一种具有色彩实时映射的双相机点云测量方法及装置，得到的点云带有三维坐标和灰度值，对于有颜色需求的被加工物体，也能得到准确的加工轨迹，且在后续生成加工轨迹过程中降低点云处理难度。
6.本发明通过以下技术方案实现：一种具有色彩实时映射的双相机点云测量方法，包括如下步骤：步骤s1、布置第一相机模块、第二相机模块和激光器，第一相机模块包括第一相机，用于拍摄激光器投射激光到被测物体的反射光图像，第二相机模块包括第二相机，用于拍摄被测物体的实际图像，反射光图像包括激光在被测物体上形成的光条，实际图像包括被测物体对应于光条位置的部分；步骤s2、利用第二相机所拍摄的图像，标定第二相机的世界坐标系转换到第二相机的像素坐标系的关系：，其中，为第二相机的像素坐标系下的像素坐标，与第二相机内参矩阵相同，和分别为第二相机的外参旋转矩阵和平移矩阵，为世界坐标系下某一点的坐标；步骤s3、利用第二相机所拍摄的图像，标定第二相机的像素坐标系转换到第二相
机的世界坐标系的关系：，其中，，，参数由得到；步骤s4、利用第二相机所拍摄的图像，标定激光平面坐标系转换到第二相机的世界坐标系的关系：，为激光平面坐标系下某一点的坐标，为激光平面坐标系到第二相机的世界坐标系的单应性矩阵，该矩阵利用棋盘格求得；步骤s5、根据反射光图像获取光条图像，并针对光条图像进行光条中心提取，以得到光条中心在第一相机的像素坐标系下的像素坐标，并将该像素坐标转换为激光平面坐标系下的三维坐标；步骤s6、根据公式将三维坐标转换为第二相机的像素坐标系下的像素坐标，建立与之间的对应关系，从实际图像中读取像素坐标所对应的灰度值，并将该灰度值与三维坐标绑定，得到带有三维坐标和灰度值的点云。
7.进一步的，所述步骤s1中，还包括led光源，所述第一相机模块还包括设置在第一相机上的第一滤光片，第二相机模块还包括设置在第二相机上的第二滤光片，第一滤光片波长与激光器所发出激光的波长相同，第二滤光片波长与led光源所发出的光的波长相同，第二滤光片波长小于激光波长。
8.进一步的，所述步骤s2具体包括如下步骤：步骤s21、使用5*5棋盘格标定块，在第二相机模块的景深范围内的不同位置采集多张棋盘格图片；步骤s22、使用opencv张正友标定法进行相机标定，得到第二相机的内参矩阵、外参旋转矩阵和平移矩阵；步骤s23、设已知第二相机的世界坐标系下某一点坐标为，该点对应在第二相机的相机坐标系下的点为，则；步骤s24、设在第二相机的像素坐标系下某一点坐标为，则，其中，，其中，为步骤s22所计算的第二相机的相机内参，分别表示方向上每个像素的物理尺寸，分别表示第二相机的像素坐标系中光轴投影坐标。
9.进一步的，所述步骤s3中，的获取过程为：先将改写为：，
进而得到，令，，则，则，表示被测物体实际高度，为已知值，为矩阵第三行第一列的值，为矩阵第三行第一列的值。
10.进一步的，所述步骤s4中矩阵的获取包括如下步骤：步骤s41、将5*5棋盘格放置于激光平面下，让它的某一个角点和激光平面重合，分别记录该角点在第二相机模块的世界坐标系下的z值、在第二相机模块的像素坐标系下的坐标、在第一相机模块的像素坐标系下的坐标，此时，z、和可组成一组数据，z值表示棋盘格表面在第二相机的世界坐标系下的高度值；步骤s42、重复步骤s41九次，每次均让棋盘格的某一个角点处在第二相机模块的世界坐标系下的不同z值的位置，得到九组数据；步骤s43、对于每一组数据，将转换为激光平面坐标系下的坐标值，将转换为第二相机模块的世界坐标系下的坐标值；步骤s44、利用基于opencv的solve算子进行奇异值分解，将9组的和代入solve算子，最终求得。
11.进一步的，所述步骤s43中，根据公式将转换为激光平面坐标系下的坐标值，为对应于第一相机模块的单应性矩阵，从第一相机模块所拍摄的图像中直接读取。
12.本发明还通过以下技术方案实现：一种具有色彩实时映射的双相机点云测量装置，包括第一相机模块、第二相机模块、激光器、坐标系标定模块和点云获取模块；激光器用于向被测物体投射一字线激光；第一相机模块用于拍摄激光器投射激光到被测物体的反射光图像；第二相机模块用于拍摄被测物体的实际图像，反射光图像包括激光在被测物体上形成的光条，实际图像包括被测物体对应于光条位置的部分；坐标系标定模块用于分别标定第二相机的世界坐标系转换到第二相机的像素坐标系的关系、第二相机的像素坐标系转换到第二相机的世界坐标系的关系、激光平面坐标系转换到第二相机的世界坐标系的关系；点云获取模块用于根据反射光图像获取光条图像，并针对光条图像进行光条中心提取，以得到光条在第一相机的像素坐标系下的像素坐标，并将该像素坐标转换为激光平面坐标系下的三维坐标，再将该三维坐标转换为第二相机的像素坐标系下的像素坐标，建立该像素坐标与三维坐标之间的对应关系，从实际图像中读取该像素坐标所对应的灰度
值，并将该灰度值与像素坐标对应的三维坐标绑定，得到带有三维坐标和灰度值的点云。
13.进一步的，还包括led光源，所述第一相机模块包括第一工业相机和设置在第一工业相机上的第一滤光片，所述第二相机模块包括第二工业相机和设置在第二工业相机上的第二滤光片，第一滤光片波长与激光器所发出激光的波长相同，第二滤光片波长与led光源所发出的光的波长相同，第二滤光片波长小于激光波长。
14.进一步的，所述第一相机模块、第二相机模块、激光器和led光源均间隔设置在被测物体上方。
15.本发明具有如下有益效果：1、本发明设置了第一相机模块、第二相机模块和激光器，第一、第二相机模块分别用于拍摄被测物体的反射光图像和实际图像，利用第二相机所拍摄的图像，分别标定第二相机的世界坐标系转换到第二相机的像素坐标系的关系、第二相机的像素坐标系转换到第二相机的世界坐标系的关系、激光平面坐标系转换到第二相机的世界坐标系的关系，并将根据反射光图像得到的光条像素坐标转换为激光平面坐标系下的三维坐标，再通过上述坐标系之间的标定关系，将该三维坐标转换为第二相机的像素坐标系下的像素坐标，建立该像素坐标与三维坐标之间的对应关系，从实际图像中读取该像素坐标所对应的灰度值，并将该灰度值与像素坐标对应的三维坐标绑定，得到带有三维坐标和灰度值的点云，通过对各像素坐标所对应的灰度值进行分析，能够提取出所需颜色区域的轮廓，从而得到准确的加工轨迹，且在后续生成加工轨迹过程中降低点云处理难度。
16.2、本发明在第一相机上设置有第一滤光片，在第二相机上设置第二滤光片，第一滤光片波长与激光器所发出激光的波长相同，第二滤光片波长与led光源所发出的光的波长相同，第二滤光片波长小于激光波长，使得用于补光的led光源不会影响到第一相机的成像，激光器发出的激光同样不会影响到第二相机的成像，即第一、第二相机能够互不干扰地同时工作，以实现加入灰度值提取的功能，且不影响光条三维坐标的提取效率。
附图说明
17.下面结合附图对本发明做进一步详细说明。
18.图1为本发明装置的结构示意图。
19.图2为被测物体的图片。
20.图3为采用现有技术所提取的点云。
21.图4为采用本发明所提取的点云。
22.其中，1、第一相机；2、第二相机；3、激光器；4、led光源；5、被测物体；6、光条。
具体实施方式
23.具有色彩实时映射的双相机点云测量方法包括如下步骤：步骤s1、如图1所示，在被测物体5上方间隔布置第一相机模块、第二相机模块、激光器3和led光源4，第一相机模块包括第一相机1和设置在第一相机1上的第一滤光片，用于拍摄激光器3投射激光到被测物体5的反射光图像，第二相机模块包括第二相机2和设置在第二相机2上的第二滤光片，用于拍摄被测物体5的实际图像，第一滤光片波长与激光器3所发出激光的波长相同，第二滤光片波长与led光源4所发出的光的波长相同，第二滤光片波
长小于激光波长，反射光图像包括激光在被测物体5上形成的光条6，实际图像包括被测物体5对应于光条6位置的部分；在本实施例中，第一相机1和第二相机2均为130万像素的工业相机，激光器3为一字线635nm的激光器3，用于发出一字线激光线并投射到被测物体5，第一滤光片的波长为635nm，用于过滤635nm波长以外的光线，第二滤光片的波长为405nm，用于过滤405nm波长以外的光线，led光源4的波长为405nm，用于补光，便于第二相机2的图像采集；其中，第一相机模块、第二相机模块、激光器3、led光源4和被测物体5的支撑机构为现有技术；步骤s2、利用第二相机2所拍摄的图像，标定第二相机2的世界坐标系转换到第二相机2的像素坐标系的关系： ，其中，为第二相机2的像素坐标系下的像素坐标，与第二相机2内参矩阵相同，和分别为第二相机2的外参旋转矩阵和平移矩阵，为世界坐标系下某一点的坐标；具体包括如下步骤：步骤s21、使用5*5棋盘格标定块，在第二相机模块的景深范围内的不同位置采集多张棋盘格图片；步骤s22、使用opencv张正友标定法进行相机标定，得到第二相机2的内参矩阵、外参旋转矩阵和平移矩阵，具体计算过程为现有技术；步骤s23、世界坐标系转到相机坐标系，设已知第二相机2的世界坐标系下某一点坐标为，该点对应在第二相机2的相机坐标系下的点为，则；步骤s24、相机坐标系转到像素坐标系，设在第二相机2的像素坐标系下某一点坐标为，则，其中，，其中，为步骤s22所计算的第二相机2的相机内参，更具体地，分别表示方向上每个像素的物理尺寸，分别表示第二相机的像素坐标系中光轴投影坐标；步骤s3、利用第二相机2所拍摄的图像，标定第二相机2的像素坐标系转换到第二相机2的世界坐标系的关系：，其中， ， ，则可简化为： ，其中，u、v分别为与矩阵元素相关的数，参数由得到；的获取过程为：
已知， ，将改写为：，进而得到，令，，则，则，表示待转换点在第二相机2的世界坐标系下的实际值，即被测物体5实际高度，为已知值，为矩阵，为矩阵第三行第一列的值，为矩阵，为矩阵第三行第一列的值；步骤s4、利用第二相机2所拍摄的图像，标定激光平面坐标系转换到第二相机2的世界坐标系的关系，考虑到第二相机2相对于激光平面坐标系的位置是固定不变的，第二相机2的世界坐标系和激光平面坐标系之间存在着如下关系：，将该式简化为，其中，为激光平面坐标系下某一点的坐标，为激光平面坐标系到第二相机2的世界坐标系的单应性矩阵，该矩阵利用棋盘格求得，具体求取过程包括如下步骤：步骤s41、将5*5棋盘格放置于激光平面下，让它的某一个角点和激光平面重合，分别记录该角点在第二相机模块的世界坐标系下的z值、在第二相机模块的像素坐标系下的坐标、在第一相机模块的像素坐标系下的坐标，此时，z、和可组成一组数据，z值表示棋盘格表面在第二相机的世界坐标系下的高度值，棋盘格是人为放置的，因此该z值为已知量；步骤s42、重复步骤s41九次，每次均让棋盘格的某一个角点处在第二相机模块的世界坐标系下的不同z值的位置，得到九组数据；步骤s43、对于每一组数据，根据公式将转换为激光平面坐标系下的坐标值，根据公式将转换为第二相机模块的世界坐标系下的坐标值；其中，为对应于第一相机模块的单应性矩阵，即将第一相机的像素坐标系转换成激光平面坐标系的转换矩阵，该转换关系过程为现有技术，因此为已知量，从第一相机模块所拍摄的反射光图像中直接读取；步骤s44、利用基于opencv的solve算子进行奇异值分解，将9组的和代入solve算子，最终求得；步骤s5、根据反射光图像获取光条6图像，并针对光条6图像进行光条6中心提取，
以得到光条6中心在第一相机1的像素坐标系下的像素坐标，并将该像素坐标转换为激光平面坐标系下的坐标值；根据反射光图像得到光条6中心在第一相机1的像素坐标系下的像素坐标的方法有很多，比如骨架法、灰度重心法、hessian算法、边缘法等算法，均为现有技术；步骤s6、根据公式将三维坐标转换为第二相机的像素坐标系下的像素坐标，建立与之间的对应关系，因是第二相机2的像素坐标系下的像素坐标，因此其能够从第二相机2拍摄的实际图像中读取，读取该像素坐标后，再继续从实际图像中读取该像素坐标所对应的灰度值，并将该灰度值与三维坐标绑定，得到带有三维坐标和灰度值的点云，其中，将灰度值与三维坐标绑定，即是将灰度值与对应的三维坐标作为一组数据。
24.如图2为被测物体5的图片，其中a1部分为紫色，a2部分为白色，a3部分为黄色，图3则是采用现有技术所提取的点云，可见已无法分辨各不同颜色的区域，图4则是采用本发明所提取的点云，其中，b1部分为紫色，b2部分为白色，b3部分为黄色，可见，能够明确分辨出各不同颜色的部分。
25.以上所述，仅为本发明的较佳实施例而已，故不能以此限定本发明实施的范围，即依本发明申请专利范围及说明书内容所作的等效变化与修饰，皆应仍属本发明专利涵盖的范围内。