一种结构光三维测量的无效点去除方法及系统

1.本技术涉及数字图像处理技术领域，特别涉及一种结构光三维测量的无效点去除方法及系统。


背景技术：

2.结构光三维测量因其具有操作简单、测量速度快、精度高，且适用于弱纹理目标等优势，成为目前应用最为广泛的三维视觉测量技术。然而，由于投影仪和相机的光学成像机理限制及图像噪声影响，捕获的条纹图不可避免存在阴影、背景等无效点，严重影响重建点云的后处理。
3.为了保证三维重建数据质量，必须对这些无效点进行识别和去除。近年来，研究人员在条纹投影轮廓术中提出了一些无效点识别与去除的方法。现有的无效点去除方法主要分为基于展开相位自身特性和基于调制图像的阈值设计这两类。其中，基于调制图像的阈值设计仅使用一个合适的阈值将具有低调制度的像素视作无效点，其方法具有实现的简易性和不需要额外的条纹频率的特点。然而在光学测量中，物体边缘处存在如衍射或干涉等复杂的光学现象，边缘处的强度调制会有较大的变化。在现有方法中，当物体表面强度调制较小或调制强度由低质量条纹图产生时，部分有效调制度与无效调制度将相互交错分布，因此仅通过单一的调制阈值很难达到理想的分割效果。


技术实现要素：

4.鉴于此，有必要针对现有技术中存在的缺陷提供一种具备理想分割效果的的结构光三维测量的无效点去除方法及系统。
5.为解决上述问题，本技术采用下述技术方案：
6.本技术目的之一提供了一种结构光三维测量的无效点去除方法，包括下述步骤：
7.获取条纹图案的包裹相位、背景强度及调制强度；
8.根据所述包裹相位、背景强度及调制强度获取各个条纹图案坐标的序列点与理想余弦曲线之间的离散度；
9.根据所述离散度逐点修正并建立新的误差能量函数；
10.根据所述新的误差能量函数除去无效点。
11.在其中一些实施例中，在获取条纹图案的包裹相位、背景强度及调制强度的步骤中，具体包括下述步骤：
12.向被测物体投影一系列标准余弦条纹图像；
13.所述被测物体表面的高度对所述余弦条纹进行调制；
14.相机按照投影的顺序捕获到一组条纹图案序列，并将采集到的形变条纹表示为下述公式：
[0015][0016]
使用相移法计算获取包裹相位背景强度和调制强度
[0017][0018][0019][0020]
其中，是第k个条纹图像中任意坐标点(xc,yc)的强度值,k＝0,1,...,n-1，n是总的相移数，所述包裹相位被反正切函数包裹在具有2π间断的范围[-π,π)里，通过相位展开公式展开包裹相位，其数学公式为：
[0021][0022]
其中，k(xc,yc)表示条纹阶次图。
[0023]
在其中一些实施例中，在向被测物体投影一系列标准余弦条纹图像的步骤中，所述标准余弦条纹图像以4步相移方法获取。
[0024]
在其中一些实施例中，在根据所述包裹相位、背景强度及强度调制获取各个条纹图案坐标的序列点与理想余弦曲线之间的离散度的步骤中，具体为：使用加权高斯欧式距离根据所述包裹相位、背景强度及调制强度获取各个条纹图案坐标的序列点与理想余弦曲线之间的离散度。
[0025]
在其中一些实施例中，使用加权高斯欧式距离根据所述包裹相位、背景强度及调制强度获取各个条纹图案坐标的序列点与理想余弦曲线之间的离散度，具体包括下述步骤：
[0026]
所述背景强度和调制强度将像素序列点归一化，并得到该归一化序列值在单周期内与理想余弦曲线的关系；
[0027]
使用高斯加权欧氏距离量化该序列点与理想余弦曲线之间的离散度为误差能量，以此表示同频像素序列点的余弦性，公式如下：
[0028][0029][0030][0031]
其中，error(xc,yc)是误差能量，wi是高斯权重，w是归一化因子，errork(xc,yc)是像素点相对理想余弦曲线的偏差。
[0032]
在其中一些实施例中，在根据所述离散度逐点修正并建立新的误差能量函数的步
骤中，具体为：使用基于调制强度的改进高斯滤波方法逐点修正并建立新的误差能量函数。
[0033]
在其中一些实施例中，所述新的误差能量函数如下：
[0034]
e(xc,yc)＝eg(xc,yc)
×
m(xc,yc)
[0035][0036][0037]
其中，e(xc,yc)是新的误差能量，gau是二维高斯窗，λ决定了加权因子m(xc,yc)的强度。
[0038]
在其中一些实施例中，在根据所述新的误差能量函数除去无效点的步骤中，具体包括下述步骤：
[0039]
选择一个合适的误差阈值t
error
；
[0040]
通过将所有小于阈值t
error
的点标记为1和剩余的点标记为0，从而得到一个掩模模板mask(xc,yc)，如下式：
[0041]
通过所述掩膜模板去除背景、阴影处的无效点，其中像素在掩膜模板mask(xc,yc)中为1的被视作有效点。
[0042]
本技术目的之二提供了一种结构光三维测量的无效点去除系统，包括：
[0043]
条纹图案获取单元：用于获取条纹图案的包裹相位、背景强度及调制强度；
[0044]
离散度构建单元：用于根据所述包裹相位、背景强度及调制强度获取各个条纹图案坐标的序列点与理想余弦曲线之间的离散度；
[0045]
误差能量函数构建单元：用于根据所述离散度逐点修正并建立新的误差能量函数；
[0046]
无效点除去单元：用于根据所述新的误差能量函数除去无效点。
[0047]
本技术采用上述技术方案，其有益效果如下：
[0048]
本技术提供的结构光三维测量的无效点去除方法及系统，通过获取条纹图案的包裹相位、背景强度及调制强度；根据所述包裹相位、背景强度及调制强度获取各个条纹图案坐标的序列点与理想余弦曲线之间的离散度；根据所述离散度逐点修正并建立新的误差能量函数；根据所述新的误差能量函数除去无效点，本技术提供的结构光三维测量的无效点去除方法及系统，易于实现，可用于不同场景下复杂物体的无效点去除任务，不仅对物体反射率或调制度不敏感，又有效解决了被测对象边缘难以分割的问题。
附图说明
[0049]
为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0050]
图1为本技术实施例1提供的结构光三维测量的无效点去除方法的步骤流程图。
[0051]
图2为申请实施例1提供的所述的捕获的条纹图像上的一组序列点的常见类型示
意图；
[0052]
图3为申请实施例1提供的所述的由高斯加权欧氏距离计算的误差能量示意图；
[0053]
图4为申请实施例1提供的所述的新误差能量图及其分割结果。
[0054]
图5为本技术实施例2提供的结构光三维测量的无效点去除系统的结构示意图。
具体实施方式
[0055]
下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
[0056]
在本技术的描述中，需要理解的是，术语“上”、“下”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。
[0057]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0058]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。
[0059]
实施例1
[0060]
请参阅图1，为本实施例1提供的一种结构光三维测量的无效点去除方法的步骤流程图，包括下述步骤：
[0061]
步骤s110：获取条纹图案的包裹相位、背景强度及调制强度。
[0062]
在其中一些实施例中，在获取条纹图案的包裹相位、背景强度及调制强度的步骤中，具体包括下述步骤：
[0063]
步骤s111：向被测物体投影一系列标准余弦条纹图像。
[0064]
在本实施例中，数字光处理(dlp)投影仪将标准余弦分布的条纹图案投射到物体表面。所述标准余弦条纹图像以4步相移方法获取。
[0065]
步骤s112：所述被测物体表面的高度对所述余弦条纹进行调制；
[0066]
步骤s113：相机按照投影的顺序捕获到一组条纹图案序列，并将采集到的形变条纹表示为下述公式：
[0067][0068]
可以理解，在结构光三维测量中，投影仪通常为该测量环境中主要的光源，因此相机(cmos)图像面上的像素点强度变化主要受相机视场内各区域反射的结构光影响。
[0069]
步骤s114：使用相移法计算获取包裹相位背景强度和调制强度
[0070][0071][0072][0073]
其中，是第k个条纹图像中任意坐标点(xc,yc)的强度值,k＝0,1,...,n-1，n是总的相移数，所述包裹相位被反正切函数包裹在具有2π间断的范围[-π,π)里，通过相位展开公式展开包裹相位，其数学公式为：
[0074][0075]
其中，k(xc,yc)表示条纹阶次图。
[0076]
请参阅图2(a)所示，为以4步相移法为例cmos相机获取的四幅条纹图案，该图案上主要存在四种类型的序列点。
[0077]
步骤s120：根据所述包裹相位、背景强度及调制强度获取各个条纹图案坐标的序列点与理想余弦曲线之间的离散度。
[0078]
可以理解，由于相机视场内不同区域的背景强度和调制强度受被测物体上反射率和环境光影响而不同，因此不同区域的序列点需要转换到相同尺度下进行分析。
[0079]
在本实施例中，在根据所述包裹相位、背景强度及强度调制获取各个条纹图案坐标的序列点与理想余弦曲线之间的离散度的步骤中，具体为：使用加权高斯欧式距离根据所述包裹相位、背景强度及调制强度获取各个条纹图案坐标的序列点与理想余弦曲线之间的离散度。
[0080]
进一步地，使用加权高斯欧式距离根据所述包裹相位、背景强度及调制强度获取各个条纹图案坐标的序列点与理想余弦曲线之间的离散度，具体包括下述步骤：
[0081]
步骤s121：所述背景强度和调制强度将像素序列点归一化，并得到该归一化序列值在单周期内与理想余弦曲线的关系。
[0082]
请参阅图2(b)所示，背景强度和调制强度将像素序列点归一化，并得到该归一化序列值在单周期内与理想余弦曲线的关系。
[0083]
步骤s122：使用高斯加权欧氏距离量化该序列点与理想余弦曲线之间的离散度为误差能量，以此表示同频像素序列点的余弦性，公式如下：
[0084][0085]
[0086][0087]
其中，error(xc,yc)是误差能量，wi是高斯权重，w是归一化因子，errork(xc,yc)是像素点相对理想余弦曲线的偏差。
[0088]
步骤s130：根据所述离散度逐点修正并建立新的误差能量函数。
[0089]
在其中一些实施例中，在根据所述离散度逐点修正并建立新的误差能量函数的步骤中，具体为：使用基于调制强度的改进高斯滤波方法逐点修正并建立新的误差能量函数。
[0090]
进一步地，所述新的误差能量函数如下：
[0091]
e(xc,yc)＝eg(xc,yc)
×
m(xc,yc)
[0092][0093][0094]
其中，e(xc,yc)是新的误差能量，gau是二维高斯窗，λ决定了加权因子m(xc,yc)的强度。
[0095]
请参阅图3(a)及(b)显示了有效点与无效点之间的误差能量具有很好的区分度。在实际测量中，当部分无效序列点变化也近似某种余弦变化时，如图3(c)(d)所示这些点通过高斯加权欧氏距离量化获得的误差能量与有效序列点获得误差能量相似。基于无效点通常分布集中和往往具有低强度调制的先验知识，使用了一种基于调制强度的改进高斯滤波方法建立新的误差能量函数，如图4(a)。
[0096]
可以理解，改进高斯滤波方法使用邻域误差能量补偿自身的误差能量，位于背景/阴影区域的无效点的误差能量能被邻域误差能量较大幅度的影响的同时，该函数并不会改变位于有效区域的无效点与有效点之间的误差能量区分度。基于调制强度的加权因子，该加权因子基于结构光测量技术中无效像素点往往在低质量条纹上具有低调制信息的先验知识，来修正所计算的误差能量函数。
[0097]
步骤s140：根据所述新的误差能量函数除去无效点。
[0098]
在其中一些实施例中，在根据所述新的误差能量函数除去无效点的步骤中，具体包括下述步骤：
[0099]
步骤s141：选择一个合适的误差阈值t
error
；
[0100]
步骤s142：通过将所有小于阈值t
error
的点标记为1和剩余的点标记为0，从而得到一个掩模模板mask(xc,yc)，如下式：
[0101]
步骤s143：通过所述掩膜模板去除背景、阴影处的无效点，其中像素在掩膜模板mask(xc,yc)中为1的被视作有效点。
[0102]
请参阅图4(b)，通过该掩膜模板去除背景、阴影处的无效点，其中像素在掩膜模板mask(xc,yc)中为1的被视作有效点。使用掩膜模板mask(xc,yc)将最终生成的三维点云模型中存在的大量的无效点去除,如图4(c)。
[0103]
本技术实施例1提供的结构光三维测量的无效点去除方法，易于实现，可用于不同场景下复杂物体的无效点去除任务，不仅对物体反射率或调制度不敏感，又有效解决了被
测对象边缘难以分割的问题。
[0104]
实施例2
[0105]
请参阅图5，本技术实施例2提供了一种结构光三维测量的无效点去除系统，包括：条纹图案获取单元110：用于获取条纹图案的包裹相位、背景强度及调制强度；离散度构建单元120：用于根据所述包裹相位、背景强度及调制强度获取各个条纹图案坐标的序列点与理想余弦曲线之间的离散度；误差能量函数构建单元130：用于根据所述离散度逐点修正并建立新的误差能量函数；无效点除去单元140：用于根据所述新的误差能量函数除去无效点。
[0106]
本技术实施例2提供的结构光三维测量的无效点去除系统，其详细的实现方式可参照实施例1，这里不再赘述。
[0107]
本技术实施例2提供的结构光三维测量的无效点去除系统，易于实现，可用于不同场景下复杂物体的无效点去除任务，不仅对物体反射率或调制度不敏感，又有效解决了被测对象边缘难以分割的问题。
[0108]
可以理解，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0109]
以上仅为本技术的较佳实施例而已，仅具体描述了本技术的技术原理，这些描述只是为了解释本技术的原理，不能以任何方式解释为对本技术保护范围的限制。基于此处解释，凡在本技术的精神和原则之内所作的任何修改、等同替换和改进，及本领域的技术人员不需要付出创造性的劳动即可联想到本技术的其他具体实施方式，均应包含在本技术的保护范围之内。