基于单帧图像的高动态范围激光三维扫描方法与流程

1.本发明涉及一种用于激光三维扫描的高动态范围成像方法，属于三维成像与测量领域。


背景技术：

2.光学三维测量技术由于其非接触、高精度和易于操作等优点广泛应用于工业制造、测绘、医疗、文化遗产等多个领域。激光三维扫描作为光学三维测量的典型技术，能够通过简单且低成本的光学配置提供适中的测量精度，在近年来得到了大力推广。
3.经典的激光三维扫描系统由相机、激光源和用于扫描的机械装置组成。激光源将一条激光线投射到物体表面，激光线所在的平面与物体表面相交而产生激光条纹；然后由相机捕捉激光条纹的图像。激光条纹的曲线变化由物体表面轮廓调制。因此可以提取激光条纹的图像坐标，通过激光源和相机之间的三角几何来重构物体表面形状的三维数据。
4.从激光三维扫描系统的工作原理可知，三维测量的性能很大程度上取决于激光条纹的中心检测和定位。在设计或选择激光条纹中心提取算法时，主要考虑定位精度和对噪声的鲁棒性，其默认的前提条件是激光条纹的图像应具有较好的对比度和信噪比。激光三维扫描作为一种基于主动照明的光学三维成像技术，其激光条纹的亮度变化取决于光源发出的激光线的强度和物体表面反射率的变化；而且由于激光是单色光，物体表面纹理和颜色也会显著改变激光条纹的亮度。此时若系统采用标准成像方法采集激光条纹的图像，则容易出现过曝光或欠曝光，影响激光条纹的检测和定位。与标准成像相比，高动态范围成像能够对视场内光强的剧烈变化做出更准确地响应。因此，当物体具有不同的表面反射率或多彩的表面纹理时，激光三维扫描系统需要使用高动态范围成像技术来采集激光条纹的图像。
5.激光三维扫描系统常用的高动态范围成像技术是从计算机视觉中继承而来的多重曝光方法。此类方法的原理和算法较简单，但每次高动态范围成像均需要采集多帧图像，因此时间效率很低。且此类方法理论上要求采集多帧图像期间物体保持静止，不利于激光扫描的连续进行。


技术实现要素：

6.本发明的目的在于提供一种基于单帧图像的高动态范围激光三维扫描方法，该方法既不会增加图像采集时间也不会增加设备复杂性。利用图像传感器中的像素级滤波器阵列并行实现不同比例的光强衰减，通过牺牲空间分辨率来换取时间效率，实现基于单帧图像的高动态范围激光三维扫描。
7.本发明的基于单帧图像的高动态范围激光三维扫描方法，是：
8.每次扫描时，使用具有像素级滤波器阵列的图像传感器采集单帧激光条纹图并分解为多个子图像；对每个子图像并行使用激光条纹定位算法合成最优中心坐标；以激光条纹的最优中心坐标进行三维点云重构，实现高动态范围的激光三维扫描。
9.所述像素级滤波器阵列为相邻像素存在透射率变化的周期分布，具体分布可以自行设计，包括但不限于2
×
2、3
×
3的周期结构。
10.所述像素级滤波器阵列可以是商业化彩色图像传感器中的拜耳滤光片。
11.所述分解为多个子图像，是将单帧激光条纹图分解为具有不同亮度的多个子图像，每个子图像直接进行激光条纹定位并从定位结果中选择最优坐标；而不是将子图像合成为一帧高动态范围图像后再进行激光条纹定位。
12.所述最优中心坐标的选择依赖于定位算法输出的与图像亮度、对比度和信噪比相关的定位参数；通过分析定位参数与定位精度之间的正或负相关性，即可根据最大或最小参数来确定最优中心坐标。
13.所述激光条纹定位算法，是：首先根据滤波器阵列的周期分布，将单帧输入图像分解为具有不同平均亮度的子图像；然后对每个子图像使用相同的激光条纹定位算法进行中心定位；根据速度和精度的需求选择已知的定位算法(如极值法、灰度重心法、海森矩阵结构分析法等)，通过分析定位参数与定位精度之间的正或负相关性，从多个子图像的定位结果中选择最优的激光条纹中心坐标；考虑分解子图像时引入的坐标偏移，合成最优坐标时应对坐标偏移进行对应补偿，最终输出整个激光条纹的高动态范围最优中心坐标。
14.由于激光条纹定位的出发点始终是激光条纹图像邻域的图像灰度值分布，大多数定位算法可以同时输出与图像亮度/对比度/信噪比相关的定位参数。以激光条纹的最优中心坐标进行三维点云重构，本质上实现了高动态范围的激光三维扫描。
15.本发明具有以下特点：
16.(1)相比传统的多重曝光高动态范围激光扫描方法，可以显著减少采集激光条纹图像所需的时间，降低对相机采集帧速的要求，实现更快速地激光三维扫描；
17.(2)高动态范围图像的采集基于透射率周期变化的像素级滤波器阵列，滤波器透射率的周期变化可以自行设计，能够更好地兼顾动态范围和分辨率之间的平衡；
18.(3)由于激光自身具有良好的单色性，商业化彩色相机中的彩色滤波器阵列可以直接作为具有3种不同透射率的周期性滤波器阵列(参见实施例)；直接使用商业化彩色相机不增加任何硬件成本；
19.(4)在子图像分解后直接进行激光条纹中心定位而不进行高动态范围激光条纹图像合成，算法具有更高的执行效率。
附图说明
20.图1是本发明中像素级滤波器阵列的概念示意图。
21.图2是本发明中高动态范围激光条纹中心定位算法整体流程图。
22.图3是本发明实施例中拜耳滤光片对应的像素级滤波器阵列(激光波长为520nm)示意图。
23.图4是本发明实施例中彩色图像传感器采集的原始图像及其分解的子图像(激光波长为520nm)；其中：(a)单帧原始图像；(b)局部放大视图，可以看到拜耳滤光片的亮度衰减效果；(c)红色通道的子图像ir；(d)绿色通道的子图像ig；(e)蓝色通道的子图像ib。
具体实施方式
24.相机采集的激光条纹图像中像素的灰度值正比于图像传感器的量子效率qe和物体表面反射率r(x，y)：
25.i(x，y)
∝
qer(x，y)，
26.当物体表面反射率较为恒定时，通过合理地设置相机的参数可以得到具有适当灰度的激光条纹图像。对于纹理丰富或表面反光的物体，其表面反射率在不同区域或视点可能会发生剧烈变化，从而导致图像中激光条纹的亮度过小或过大(过饱和)，从而引入更多的定位误差。
27.本发明的激光条纹图像采集使用具有像素级滤波器阵列的图像传感器。现有图像传感器均为数字传感器，其记录采集图像的最小单位为像素，从而有可能为每个像素设计独立的滤波器。设计透射率具有周期性变化的像素级滤波器阵列，使得图像传感器的不同像素具有不同的量子效率，从而可以由单帧图像分离出具有不同亮度的激光条纹图像，进而用于后续的高动态范围激光条纹定位算法。
28.典型的像素级滤波器阵列如图1所示，透射率变化的周期为2
×
2像素。以深色表示较低透射率的滤波器，浅色表示较高透射率的滤波器，则一个周期内四个像素的量子效率存在如下关系：
29.q1＜q2＜q3＜q4，
30.其对应的图像亮度必然满足：
31.i1＜i2＜i3＜i4，
32.这意味着可以从单帧图像中分离出具有不同平均亮度的4帧子图像。
33.本发明的设计思想可用于设计任意具有周期性透射率变化的像素级滤波器阵列，而不仅局限于图1的示例。增加周期内的像素个数，则可以由单帧图像中分离出更多具有不同平均亮度的子图像，代价是每个子图像的分辨率会进一步下降。
34.在激光三维扫描系统中，高动态范围成像技术服务于激光条纹定位的准确性和可靠性。在实践中，不需要为激光条纹合成高动态范围图像，而只需在每个子图像中进行定位，然后选择精度和可靠性最优的坐标即可。基于以上考虑，本发明提出的高动态范围激光条纹中心定位算法整体流程如图2所示。
35.首先根据滤波器阵列的周期分布，将单帧输入图像分解为具有不同平均亮度的子图像。然后对每个子图像使用相同的激光条纹定位算法进行中心定位；此时可以根据速度和精度的需求灵活地选择已有的定位算法。由于激光条纹定位的出发点始终是激光条纹图像邻域的图像灰度值分布，大多数定位算法可以同时输出与图像亮度、对比度、信噪比相关的定位参数。
36.通过分析定位参数与定位精度之间的正或负相关性，可以从多个子图像的定位结果中选择最优的激光条纹中心坐标。考虑分解子图像时引入的坐标偏移，合成最优坐标时应对坐标偏移进行对应补偿，最终输出整个激光条纹的高动态范围最优中心坐标。以激光条纹的最优中心坐标进行三维点云重构，本质上实现了高动态范围的激光三维扫描。
37.以商业化彩色相机为例，阐述本发明的具体实施方式。采用商业化彩色相机的优点是不增加任何硬件成本，缺点是滤波器的透射率无法自行定制。根据发明内容所述，亦可自行设计透射率周期变化的像素级滤波器阵列，并加工制作相应的相机，能够更好地兼顾
动态范围和分辨率之间的平衡。
38.典型的图像传感器如互补金属氧化物半导体(cmos)芯片本身不具有颜色感知能力。因此，普通的cmos芯片只能作为单色图像传感器。为了用单芯片采集彩色图像，商业化彩色相机普遍使用拜耳滤光片用于分离不同的颜色。拜耳滤光片是一种彩色滤波器阵列，在方形网格上镶嵌红色、绿色和蓝色滤光片，每个滤光片单元的大小与cmos芯片上每个像素的大小完全匹配。因此，不同颜色的滤光片形成不同的颜色通道，红、绿、蓝三种颜色将被记录在不同的通道(像素)中。不同颜色的滤光片对波长具有不同的透射率，从而导致不同颜色通道对同一波长的量子效率不同。例如，典型的彩色cmos芯片，其蓝色通道对400-500nm范围内的波长敏感，绿色通道对480-600nm范围内的波长敏感，红色通道对580-750nm范围内的波长敏感。
39.激光具有良好的单色性，因此任何波长的激光在在三个颜色通道中的透射率必然不一致。以激光三维扫描系统常用的绿色半导体激光器为例，其波长为520nm。使用带有拜耳滤光片的彩色图像传感器采集激光条纹图像时，绿色通道的透射率最高，蓝色通道次之，红色通道的透射率最低。因此，对于520nm波长的激光而言，拜耳滤光片的红、绿、蓝三色滤波器相当于3种不同透射率的滤波器，如图3所示。此时从单帧图像中可以分离出具有3个不同平均亮度的4帧子图像，其中2帧对应绿色通道的子图像具有相同的平均亮度，且有：
40.ir＜ib＜ig41.如图4所示。
42.整体算法流程如图2所示。每帧子图像均可使用激光条纹定位算法独立计算激光条纹的坐标。因此，可以从不同的子图像中获得激光条纹上任意点的4个坐标。4个坐标具有不同的可靠性和准确性，这取决于该点上激光条纹的亮度水平。由于子图像的动态范围比较低，所以在对应于红色通道的子图像ir中，激光条纹的亮度水平可能在表面反射率高的区域合适，而在表面反射率低的区域亮度水平太低；在对应于绿色通道的子图像ig中，激光条纹的亮度水平可能在表面反射率低的区域合适，而在表面反射率高的区域亮度水平太高。在实践中，很难制定一个通用的标准来判断亮度水平是否合适。因此，我们使用定位算法对应的特征值来评估坐标的质量。理论上，特征值的绝对值越大，意味着相关坐标的可靠性和准确性越高。因此，可以通过比较相关的4个特征值来选择最优坐标。最后，我们需要补偿来自不同子图像的坐标偏移量。根据拜耳滤光片中滤波器阵列的排列方式，如果我们选择红色通道的子图像作为参考，则两个绿色通道和蓝色通道的子图像中坐标偏移量应分别为(0，0.5)、(0.5，0)和(0.5，0.5)。
43.以激光条纹的最优中心坐标进行三维点云重构，实现高动态范围的激光三维扫描。三维点云重构采用常见的线面相交模型，相关模型参数基于经典的针孔相机模型进行系统标定获得。