一种基于互补格雷码和两步法匹配快速生成点云的方法与流程

1.本发明涉及三维重建技术领域，具体涉及一种基于互补格雷码和两步法匹配快速生成点云的方法。


背景技术：

2.三维重建技术通过深度数据获取、预处理、点云配准与融合、生成表面等过程，把真实场景刻画成符合计算机逻辑表达的数学模型。这种模型可以对如工业应用、文物保护、游戏开发、建筑设计、临床医学等研究起到辅助的作用。
3.双目结构光三维重建法作为主动式的三维重建方法，因其具有高效性及较好的鲁棒性受到大多数研究者的青睐。但是，使用格雷码和相移作为结构光的3d相机不可避免的会遇到的一个难点是：由于格雷码图案和相移图案被投射到物体表面时均会发生形变，因此相位解包裹的时候在主相位突变处格雷码周期与相位周期发生周期错位；传统的周期错位校正的方法是在解码解相位完成之后对每行每个周期的相位值进行检测，如有错位情况发生才进行校正，传统方法需要重新遍历图像，导致耗时较长。3d相机另一个难点是左右影像的立体匹配耗时较长。


技术实现要素：

4.针对现有技术存在的问题，本发明的目的在于提供一种基于互补格雷码和两步法匹配快速生成点云的方法，其运用互补格雷码在解码的源头上解决周期错位问题，同时运用两步法匹配方法加快立体匹配速度。
5.为实现上述目的，本发明采用的技术方案是：
6.一种基于互补格雷码和两步法匹配快速生成点云的方法，其包括以下步骤：
7.步骤1、投影仪投射格雷码图像和相移图像，左相机和右相机拍摄下图像；并分别对左相机和右相机拍摄下的图像进行步骤2-4的处理；
8.步骤2、计算主相位值
[0009][0010]
其中，n代表相移图像的数量；in是不同相移图像的像素值；
[0011]
步骤3、互补格雷码解码；
[0012]
步骤1中投射了n 1幅格雷码，投射n级格雷码和一幅额外的第n 1级格雷码组成了互补格雷码，第n 1互补格雷码条纹周期是第n幅格雷码条纹周期的一半；
[0013]
相位周期值k1由gc
1-gcn格雷码直接解码得到，k2则是先由gc
1-gc
n 1
格雷码解码得到km，然后由公式(3)得到k2：
[0014]
[0015]
其中，int(x)表示x向下取整；
[0016]
步骤4、利用主相位值、相位周期值和互补格雷码周期指计算绝对相位值，如下：
[0017][0018]
步骤5、两步法立体匹配；
[0019]
根据上述步骤2-4得到左绝对相位和右绝对相位，以下将根据左绝对相位和右绝对相位进行两步法匹配，具体如下：
[0020]
第一步，像素级别的区间匹配；
[0021]
对于左图中的任何一点p其满足公式(5)，则视为其与右图中的p1匹配：
[0022]
φr(xr，y)≤φ
l
(x
l
，y)≤φr(xr 1，y)
ꢀꢀꢀ
(5)
[0023]
其中，φ
l
(x
l
，y)代表左图中p点的绝对相位值，φr(xr，y)代表右图中p1点的绝对相位值，φr(xr 1，y)代表p1右边相邻一点对应的绝对相位值；
[0024]
第二步，亚像素级别的匹配；
[0025]
利用插值进行修正找到亚像素级别的匹配关系，调整作图像素点(x
l
，y)的对应的右图匹配点为(x
l
δ，y)，δ的值由公式(6)计算得到：
[0026][0027]
δ表示插值之后得到的点位和原来的点位之间的距离；
[0028]
步骤6、利用匹配结果和相机内参计算深度，生成点云。
[0029]
所述步骤2中，对公式(1)约定如下：
[0030]
a.分子和分母均不小于0时，位于第一象限(即)；
[0031]
b.分子大于0而分母小于0时，位于第二象限(即)；
[0032]
c.分子分母均小于0时，位于第三象限(即)；
[0033]
d.分子小于0而分母大于0时，位于第四象限(即)。
[0034]
所述步骤中，第一步的区间匹配遵循满足两个原则：
[0035]
a.假设已经确定(x
l
，y)与(xr，y)为一匹配点对，则左图中的下一个点(x
l
1，y)的匹配点理应在区间[xr，xr d]，d为正整数，为匹配搜索的第一个范围；
[0036]
b.当在[xr，xr d]中找不到(x
l
1，y)的匹配点时，则放弃匹配该第一搜索范围，更换成在第二搜索范围区间[xr d 1，x
l
1]去搜索匹配点。
[0037]
采用上述方案后，本发明使用互补格雷码在解码的源头就对周期错位问题进行校正，相比于传统的周期错位校正方法和最大概率法周期校正方法，其具有更加快速和在解码时就解决周期错位的优势。同时在匹配是使用两步法匹配，不仅加快了匹配的速度，而且采用插值的方法可以得到亚像素级别的空间点云，两种方法的结合极大优化了双目结构光相机三维重建的周期错位和立体匹配慢的两个难点，并还极大提高了点云的精度。
附图说明
[0038]
图1为双目结构光设备示意图；
[0039]
图2为生成点云示意图；
[0040]
图3为格雷码周期与相移值；
[0041]
图4为互补格雷码示意图；
[0042]
图5为互补格雷码与传统格雷码周期比较示意图；
[0043]
图6为互补格雷码分段原理示意图；
[0044]
图7为匹配搜索示意图。
具体实施方式
[0045]
本发明揭示了一种基于互补格雷码和两步法匹配快速生成点云的方法，其采用双目结构光设备实现。如图1所示，双目结构光设备由一个投影仪和两个光机组成，其通过投影仪投射结构光图案到目标物表面，图案在目标物表面发生形变，使用两个工业相机在不同角度获取目标物和结构光的影像，经过一系列计算可以得到目标物与3d相机之间的深度值z(即物体表面各点到左相机的距离)，最后得到点云的空间坐标(x，y，z)。
[0046]
如图2所示，本发明的方法具体包括以下步骤：
[0047]
步骤1、投影仪投射格雷码图像和相移图像，左相机和右相机拍摄下图像；并分别对左相机和右相机拍摄下的图像进行步骤2-4的处理。
[0048]
步骤2、计算主相位值
[0049][0050]
其中，n代表相移图像的数量，in(n＝1，2，3，4)是不同相移图像的像素值，反正切函数原来值域是x轴的定义域大于0，显然不能满足公式(1)中的分母表达式，因此需要对公式(1)的定义进行扩展，约定如下：
[0051]
a.分子和分母均不小于0时，位于第一象限(即)；
[0052]
b.分子大于0而分母小于0时，位于第二象限(即)；
[0053]
c.分子分母均小于0时，位于第三象限(即)；
[0054]
d.分子小于0而分母大于0时，位于第四象限(即)。
[0055]
则相位主值范围为且matlab、numpy库等都有实现了此功能的函数arctan2。由于本项目采用四步相移，因此相位求解可以简化为公式(2)：
[0056][0057]
主相位值变化趋势如图3所示。
[0058]
步骤3、互补格雷码解码；
[0059]
快速周期校正：产生周期错位的主要位置是在主相位突变处(两个周期的交界)，而在一个周期的中间部分比较稳定。互补格雷码周期值k2通过错开相位周期值k1的边沿，从源头上避免周期错位。互补格雷码在n位格雷码后面额外投一幅格雷码，额外投射的格雷码
条纹周期是最后一幅格雷码条纹周期的一半，实质上相当于投射了n 1幅格雷码。
[0060]
如图4是投射4级格雷码和一幅额外的第五级格雷码组成了互补格雷码。gc
1-gc4表示4级格雷码，gc5为互补格雷码，gc4和gc5正好相互错开黑白边沿，k1由gc
1-gc4格雷码直接解码得到，k2则是先由gc
1-gc5格雷码解码得到km，然后由公式(3)得到k2：
[0061][0062]
其中，int(x)表示x向下取整。互补格雷码与传统格雷码解码周期变化如图5所示。
[0063]
步骤4、计算绝对相位值；
[0064]
传统格雷码周期边缘部分位于互补格雷码中间区域，而互补格雷码周期边缘又正好位于传统格雷码中间区域，因此，为了避免在实际中格雷码边缘与相位截断区域对应不齐的影响，将每个相位周期按相位值分成三段：0-π/2，π/2-3π/2，3π/2-2π，具体如图6所示。在每一个相位周期内，相位值π/2-3π/2对应传统格雷码周期k1的中间区域，相位值的0-π/2、3π/2-2π分别对应互补格雷码k2前后两个周期的靠近中间区域，可以很好避开边缘的错位问题。所以，绝对相位表达式如下所示：
[0065][0066]
步骤5、两步法立体匹配；
[0067]
根据上述步骤2-4可以得到左绝对相位和右绝对相位，以下将根据左绝对相位和右绝对相位进行两步法匹配。两步法将立体匹配分成两步进行，第一步是像素级别的区间匹配，与传统匹配的要求左右绝对相位直接相等不同，这里只要左图绝对相位值在右图绝对相位的相邻两个绝对相位值之间就认为可以匹配；第二步是在第一步的基础上进行插值计算，使匹配结果达到亚像素级，从而获取更精确的点云。具体如下：
[0068]
第一步，像素级别的区间匹配；
[0069]
理论上绝对相位φ在同一行由左到右是单调递增(或单调递减)的。而本发明左右图像(即左相机和右相机拍摄的图像)经过立体校正，属于严格的行对齐，且绝对相位值是单调递增的，因此对于左图中的任何一点，在右图中都能找到一点，满足：
[0070]
φr(xr，y)≤φ
l
(x
l
，y)≤φr(xr 1，y)
ꢀꢀꢀ
(5)
[0071]
其中，φ
l
(x
l
，y)代表左图中p点的绝对相位值，y表示第y行，x
l
表示左图第x列；φr(xr，y)代表右图中p1点的绝对相位值，φr(xr 1，y)代表p1右边相邻一点对应的绝对相位值。如满足公式(5)，则认为点p1与点p相匹配的。
[0072]
区间匹配遵循需要满足两个原则：
[0073]
a.假设已经确定(x
l
，y)与(xr，y)为一匹配点对，则左图中的下一个点(x
l
1，y)的匹配点理应在区间[xr，xr d]，d为正整数，被认为是匹配搜索的第一个范围。如图7所示，
▲
表示确定的匹配点对，
●
代表
▲
匹配点对的下一点对，右图小方框内的横线表示搜索范围，即d，在不影响精度的情况下，d越小，越能实现快速匹配；
[0074]
b.如图7所示，当在[xr，xr d]中找不到(x
l
1，y)的匹配点时，则放弃匹配该第一搜索范围，更换成在第二搜索范围区间[xr d 1，x
l
1]去搜索匹配点。
[0075]
第二步，亚像素级别的匹配；
[0076]
区间匹配对满足在区间内就认为是匹配点对，其对应绝对相位并不一定相等，因此要利用插值进行修正找到亚像素级别的匹配关系。由区间匹配得到匹配点对(x
l
，y)与(xr，y)，由公式(5)知左图在点(x
l
，y)的绝对相位值介于右图点(xr，y)和(x
l
1，y)的绝对相位值之间，因此可以调整作图像素点(x
l
，y)的对应的右图匹配点为(x
l
δ，y)，δ的值由公式(6)计算得到：
[0077][0078]
显然有0≤δ≤1，插值匹配得到的匹配结果精度是亚像素级别的。δ表示插值之后得到的点位和原来的点位之间的距离。
[0079]
步骤6、利用匹配结果和相机内参计算深度，生成点云。
[0080]
在双目结构光3d相机中，获取的格雷码与相移图像的偏移程度并不是很大，一般不超过π/2，即周期错位不超过π/2，周期错位分为两种情况，一种是凹向，另一种是凸向，两种错位都发生在相位突变处，因此，本发明多使用一级格雷码构成互补格雷码可以在主相位截断处做出补偿，从而提高相位解包裹的速度和准确度。
[0081]
传统的立体匹配方法需要遍历图像点，导致比较耗时间且精度受损较大，本发明采用一定的长度作为第一搜索范围，当在搜索范围内没有找到匹配点，就放弃该搜索范围，进行更大范围的搜索，最后对匹配到的点进行插值处理，这种匹配的方法可以极大加快匹配的速度和准确度。
[0082]
综上，本发明使用互补格雷码在解码的源头就对周期错位问题进行校正，相比于传统的周期错位校正方法和最大概率法周期校正方法，其具有更加快速和在解码时就解决周期错位的优势。同时在匹配是使用两步法匹配，不仅加快了匹配的速度，而且采用插值的方法可以得到亚像素级别的空间点云，两种方法的结合极大优化了双目结构光相机三维重建的周期错位和立体匹配慢的两个难点，并还极大提高了点云的精度。
[0083]
以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。