一种基于相位偏折法的三维检测方法及系统与流程

1.本发明属于光学检测技术领域，尤其是涉及一种基于相位偏折法的三维检测方法及系统。


背景技术：

2.物体三维形貌的测量，在生产制造的众多领域和环节均有涉及，是现代制造业的重要核心技术。在实践中，主要可分为接触式和非接触式测量两大类。接触式测量通常通过传感器接触物体表面获得其尺寸信息，如三坐标测量仪、接触式位移传感器；非接触式测量主要通过光学方法对物体的三维形貌进行测量，最常用的原理是基于三角测量法的1d结构光(点激光)、2d结构光(线激光)和3d结构光(移相法)。
3.无论数据的维度高低，结构光方法能够使用的前提要求都是被测物体表面能够发生漫反射，使得在非镜面成像角也能收到所投射的结构光图案在物体表面的反射光。制造业领域的大部分被测物体表面以漫反射为主，在这些领域结构光技术可以取得良好的使用效果。但对于一些特定的应用场景，比如对抛光的金属表面、玻璃表面、反射镜表面等镜面反射特征较强的物体表面进行检测，结构光技术的成像效果不佳，或基本无法使用。
4.相位偏折法通过拍摄变化的光源(通常为显示器)在物体表面的倒影来对物体进行形貌测量。在光源变化的图案和算法上，和移相法结构光技术有一定相似度，都是基于几何方法进行重构，但它与结构光技术有着根本的区别：相位偏折法的成立是基于物体表面存在镜面反射的假设，其直接测量结果为物体表面的法向量；结构光技术的成立是基于物体表面存在漫反射的假设，其直接测量结果为物体表面的空间坐标信息。正是由于相位偏折法的上述特点，它被普遍应用于结构光技术不适合的镜面反射表面的检测。
5.人眼通过观察镜子里的倒影是否变形来判断镜子是否平整，其根本原理与相位偏折法完全相同，即感知物体表面的法向量。法向量相比于坐标信息更为敏感，更容易体现出表面微小的变形，也与人的感受相同，适合外观表面的检测。即使结构光技术能够通过对物体表面的坐标求导来获取物体表面的法向量，其噪音也远远大于相位偏折法所获得的法向量信息，并不能进行高精度的表面测量。除此以外，相位偏折法还能够计算物体表面的漫反射和镜面反射分量，用于分析物体表面的特征，有助于瑕疵检测。若要通过相位偏折法获取物体的形貌，则需要对法向量进行积分，积分的过程将引入误差，导致形貌的低频部分存在相比于高频部分更大的误差。
6.尽管相位偏折法可以获得高精度的法向量信息，但其法向量的精度依赖于被测物体的三维形貌与预期的三维形貌相差不大的假设。只有当物体表面所发生反射的高度位置是确定的，在该点的法向量才有唯一解。当被测物体的实际形貌与其设计的标准形貌有较大偏差时，所测量的法向量将存在明显误差，如图1所示。若要通过对法向量进行积分以获取物体的表面形貌，其结果的误差将因为积分而将法向量的误差进一步放大，导致不可接受的整体形貌误差。
7.为了解决传统相位偏折法的上述缺点，一种现有的改进方法是引入额外的一个相
机，以获得准确的反射点空间位置，并基于得到的反射点位置，计算准确的法向量值，如图2所示，具体步骤如下：对于相机c1中的一个像素点p1：1)根据相机c1的标定参数，确定射线p1o1。根据小孔成像原理，像素点p1所摄得的物体表面点必然在射线p1o1上；2)假设物体表面和p1o1的交点位于点s(猜测值)，根据点s的位置和相机c2的标定参数，确定点s在相机c2上的成像点为p2，进一步确定s点在相机c2上成像的主光线射线p2o2；3)根据在相机c1中p1点所计算的相位a1，和在相机c2中p2点所计算的相位a2，分别计算得到法向量n1和n2；4)n1和n2数值相近，说明对s点的猜测是准确的，即输出法向量值和s点坐标值。若n1和n2差异过大，说明对s点的猜测不准确，则重新猜测s点位置，并执行步骤1，2，3，直至找到满足要求的s点位置。
8.从上述步骤可以看出，基于双目的相位偏折法虽然能够准确获得反射点的空间坐标并消除因轮廓差异带来的法向量计算偏差，但这种方法计算每一个像素点时都需要进行循环猜测，将极大地增加运算量和检测时间，使得该方法无法被应用于大部分节拍要求高的工业流水线。
9.由此可见，传统相位偏折法存在不能获得准确整体形貌、法向量易受整体形貌偏差影响的缺点。其改进技术双目相位偏折法尽管克服了上述缺陷，却带来了计算量大、计算时间长的缺点，限制了其适用领域和使用效果。


技术实现要素：

10.为了克服现有技术的不足，本发明提供一种基于相位偏折法的三维检测方法，其可以克服现有传统相位偏折法法向量结果易受物体形貌影响，以及无法测量准确的整体形貌的缺点，且相较于双目相位偏折法，本发明所提出的检测方法计算量更低，可以被使用于检测周期更短的场合。
11.本发明解决其技术问题所采用的技术方案是：一种基于相位偏折法的三维检测方法，包括以下步骤：
12.显示装置在第一光程位置输出变化的发光图像；
13.成像装置同步拍摄变化的发光图像在第一光程下在被测面的倒影图像；
14.成像装置逐个获取每个像素点关于被测面在显示装置中对应的第一点集合，计算获取该第一点集合的单点二维坐标信息；
15.显示装置在第二光程位置输出变化的发光图像；
16.成像装置同步拍摄变化的发光图像在第二光程下在被测面的倒影图像；
17.成像装置逐个获取每个像素点关于被测面在显示装置中对应的第二点集合，计算获取该第二点集合的单点二维坐标信息；
18.确定成像装置的每个像素点投射向其所成像的被测面上的被测点的射线；
19.确定被测点的三维坐标信息。
20.进一步的，所述确定被测点的三维坐标信息步骤中，
21.根据射线、第一点集合、第二点集合的单点二维坐标信息，及显示装置的空间位置信息，确定被测点的三维坐标信息。
22.进一步的，所述确定被测点的三维坐标信息步骤中，
23.通过第一点集合、第二点集合的单点在显示装置中的二维坐标信息，以及显示装
置的空间位置信息，确定第一点集合和第二点集合中对应两点的第三射线；
24.计算射线和第三射线的交点，以确定被测点的三维坐标信息。
25.进一步的，还包括确定法向量步骤，
26.根据被测点的三维坐标信息，确定第一点集合的单点与被测点的第一射线，及根据被测点与射线所成的角的角平分线，确定法向量；
27.或者，根据被测点的三维坐标信息，确定第二点集合的单点与被测点的第二射线，及根据被测点与射线所成的角的角平分线，确定法向量。
28.进一步的，所述显示装置所在平面为基准面，所述显示装置的至少部分在垂直于基准面的方向发生变化，以达到第一光程和第二光程。
29.进一步的，所述显示装置前后平行移动，以到达上述第一光程位置或第二光程位置。
30.进一步的，所述显示装置至少包括两个前后设置的显示器件，及为显示器件提供背光照明的背光光源；
31.打开背光光源，其中一显示器件处于通透状态以导通背光，另一显示器件显示变化的发光图像，以到达上述第一光程位置或第二光程位置。
32.进一步的，所述显示装置包括显示器件及设于显示器件朝向被测面一侧的介质，通过该介质的折射率变化，以到达上述第一光程位置或第二光程位置。
33.进一步的，所述显示装置在两个以上光程位置输出变化的发光图像，计算所有光程位置误差最小的被测点的三维坐标信息。
34.本发明还公开了一种基于相位偏折法的三维检测系统，包括：
35.显示装置，至少可在两个光程位置下输出变化的发光图像；
36.成像装置，同步拍摄显示装置分别在不同光程位置下输出的变化发光图像在被测面的倒影图像；
37.计算单元，获取成像装置在不同光程位置下的每个像素点关于被测面在显示装置中对应的点集合，并计算获取该点集合中的单点二维坐标信息；
38.输出单元，根据计算单元得到的单点二维坐标信息，成像装置的每个像素点投射向其所成像的被测面上的被测点的射线，及显示装置的空间位置信息，确定被测点的三维坐标信息。
39.进一步的，所述显示装置与移动机构相连，在移动机构的带动下可以前后移动至平行位置，以到达不同光程位置。
40.进一步的，所述移动机构为直线电机，或为电机和螺杆的传动配合，或为电机和皮带的传动配合，或为电动滑台。
41.进一步的，所述显示装置至少包括两个前后设置的显示器件，及设于显示器件平行后方的背光光源；
42.所述显示器件具有导通背光的通透状态，及显示变化图形的输出状态；
43.当其中一个显示器件处于输出状态时，其余显示器件处于通透状态；
44.显示器件在两种状态之间切换，以到达不同光程位置。
45.进一步的，所述显示装置包括显示器件及设于显示器件朝向被测面一侧的介质，该介质的折射率可变，以到达不同光程位置。
46.本发明的原理是，通过改变光源成像的位置，使得原本传统相位偏折法中无空间坐标单一解的问题得以解决，直接用相机中同一像素点在不同光源成像位置所求得的投影图案坐标，即可建立三角形，通过三角测量法解出该被测点的空间坐标。
47.本发明的有益效果是：1)传统相位偏折法只能测量法向量，不能准确测量物体的外形轮廓，本发明不但能够测量物体表面的法向量，而且能够同时准确测量物体的外形轮廓，相比于传统相位偏折法，本方法的适用面更广；2)传统相位偏折法的法向量计算是基于物体轮廓与预期相近的假设，若物体轮廓存在偏差，其测量结果将与真实值存在较大偏差，可能导致错误的检测结果；本发明的测量过程不基于物体轮廓和预期相近的假设，其测量结果更精准，不易造成错误的检测结果；3)本发明所涉及的计算方法为各像素独立的计算，即单个像素的计算结果并不依赖于其他像素的值，对于每一个像素的计算不涉及对其他像素的遍历、尝试或猜测；相比于基于双目的相位偏折法，本发明的计算过程更为简便，计算耗时更短；在实际应用中，本发明可以带来更低的系统成本，以及更高的检测效率。
附图说明
48.图1为现有技术中不同反射位置带来不同解的示意图。
49.图2为现有技术中双目相位偏折法的结构示意图。
50.图3为本发明的原理结构示意图。
51.图4为本发明的检测方法流程示意图。
52.图5为本发明实施例一中的结构示意图。
53.图6为本发明实施例一中的正弦条纹图案。
54.图7为本发明实施例一中的截断相位和连续相位示意图。
55.图8为本发明实施例一中的二进制编码图案示意图。
56.图9为本发明实施例一中双频外差法解包裹示意图。
57.图10为本发明实施例二中的结构示意图。
58.图11为本发明实施例三中的结构示意图。
具体实施方式
59.为了使本技术领域的人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
60.如图3所示，一种基于相位偏折法的三维检测系统，包括：
61.显示装置1，至少可在两个光程位置下输出变化的发光图像；
62.成像装置2，同步拍摄显示装置1分别在不同光程位置下输出的变化发光图像在被测面3的倒影图像；
63.计算单元，获取成像装置2在不同光程位置下的每个像素点p关于被测面3在显示装置1中对应的点集合，并计算获取该点集合中的单点二维坐标信息；
64.输出单元，根据计算单元得到的单点二维坐标信息，成像装置2的每个像素点p投射向其所成像的被测面3上的被测点s的射线ps，及显示装置1的空间位置信息，确定被测点
s的三维坐标信息。
65.如图4所示，一种基于相位偏折法的三维检测方法，基于上述的结构实现，包括以下步骤：
66.显示装置1在第一光程位置输出变化的发光图像；
67.成像装置2同步拍摄变化的发光图像在第一光程下在被测面3的倒影图像；
68.成像装置2逐个获取每个像素点p关于被测面3在显示装置1中对应的第一点q1集合，计算获取该第一点q1集合的单点二维坐标信息；
69.显示装置1在第二光程位置输出变化的发光图像；
70.成像装置2同步拍摄变化的发光图像在第二光程下在被测面3的倒影图像；
71.成像装置2逐个获取每个像素点p关于被测面3在显示装置1中对应的第二点q2集合，计算获取该第二点q2集合的单点二维坐标信息；
72.确定成像装置2的每个像素点p投射向其所成像的被测面3上的被测点s的射线ps；
73.确定被测点s的三维坐标信息；
74.具体的，上述确定被测点s的三维坐标信息步骤中，根据射线ps、第一点q1集合、第二点q2集合的单点二维坐标信息，及显示装置1的空间位置信息，确定被测点s的三维坐标信息。
75.更具体的，通过第一点q1集合、第二点q2集合的单点在显示装置1中的二维坐标信息，以及显示装置1的空间位置信息，确定第一点q1集合和第二点q2集合中对应两点的第三射线q1q2；计算射线ps和第三射线q1q2的交点，以确定被测点s的三维坐标信息。
76.还包括确定法向量步骤，
77.根据被测点的三维坐标信息，确定第一点q1集合的单点与被测点s的第一射线sq1，及根据被测点s与射线ps所成的角的角平分线，确定法向量n；
78.或者，根据被测点s的三维坐标信息，确定第二点q2集合的单点与被测点s的第二射线sq2，及根据被测点s与射线ps所成的角的角平分线，确定法向量n。
79.此时，上述基于相位偏折法的三维检测系统的输出单元还用于确定法向量n。
80.定义显示装置1所在平面为基准面，上述显示装置1到达第一光程和第二光程，是通过显示装置1的至少部分在垂直于基准面的方向发生变化实现的，该变化可以是显示器件12位置的变化，也可以是显示器件12本身带有折射率可变的部分。
81.实施例一
82.如图5所示，上述结构的前提下，在本实施例中，显示装置1与移动机构11相连，在移动机构11的带动下可以前后移动至平行位置，从而到达不同光程位置。
83.移动机构11可以是电机带动螺杆，或电机带动皮带，将旋转运动转化为直线运动的电动滑台装置，也可以是直线电机
84.一种基于相位偏折法的三维检测方法，包括以下步骤：
85.显示装置1被设置在第一光程位置41显示图案，然后依次显示若干张图案，在此过程中，成像装置2同步拍摄显示装置1所显示的图案在被测物体3上的倒影；
86.在移动机构11的驱动下，显示装置1向后平行移动，从而被设置在第二光程位置42显示图案，然后依次显示若干张图案，在此过程中，成像装置2同步拍摄显示装置1所显示的图案在被测物体3上的倒影；
87.上述过程中显示装置1显示若干张不同图案的目的，是使得可以通过成像装置2同步拍摄的系列图像计算得到该像素点p关于被测面3在所对应的显示装置1上的点的坐标信息，具体是在显示装置1平面上的2d坐标。
88.成像装置2为相机，后续步骤均为逐像素点p(相机像素)计算的步骤，计算过程和方法对每一个相机像素都相同，需要遍历各像素完成全视野的计算。这里以像素点p来指代待计算的一个相机像素点。
89.根据在第一光程位置41下，成像装置2拍摄得到的系列图片，计算像素点p在显示装置1于第一光程位置41显示时，所对应的在显示装置1显示平面上的第一点q1在显示装置1显示平面上的二维坐标信息。像素点p与第一点q1的空间关系是，第一点q1为相机像素点p经被测物体3表面镜面反射后观测到的显示装置1于第一光程位置41显示时，显示装置1显示平面上的点。
90.根据在第二光程位置42下，成像装置2拍摄得到的系列图片，计算像素点p在显示装置1于第二光程位置41显示时，所对应的在显示装置1显示平面上的第二点q2在显示装置1显示平面上的二维坐标信息。像素点p与第二点q2的空间关系是，第二点q2为相机像素点p经被测物体3表面镜面反射后观测到的显示装置1于第二光程位置42显示时，显示装置1显示平面上的点。
91.对于每一个在相机上的像素点p，根据其在成像装置2上的像素坐标，以及成像装置2的标定参数确定像素点p投射向其所成像的被测点s的射线ps。
92.根据射线ps和第一点q1，第二点q2在光源平面上的二维坐标信息，以及显示装置1的空间位置信息，确定被测点s的三维坐标信息。具体而言，通过第一点q1，第二点q2在显示装置1平面上的二维坐标信息，以及显示装置1的空间位置信息可以确定射线q2q1。通过计算射线ps和射线q2q1的交点，即可获得准确的被测点s的三维坐标信息。
93.根据射线ps和射线q1q2的所成角的角平分线确定法向量n。更具体地说，根据计算得到的被测点s的三维坐标，确定射线sq1，以其与射线ps所成的角的角平分线确定法向量n。或者，根据计算得到的被测点s的三维坐标，确定射线sq2，以其与射线ps所成的角的角平分线确定法向量n。
94.更具体地说，显示装置1显示的图案为水平和垂直方向两组，如图6所示，每组由若干张亮度呈正弦曲线周期性变化，周期相同但相位不同的图像构成。这里以每组四张图为例，相邻的两张相位差为π/2。
95.在显示图像中，其像素亮度满足如下公式：
[0096][0097][0098]
其中，n为图像的序号，值为0，1，2，3。i
xn
为在垂直方向显示图像中，第n张的亮度值。i
yn
为在水平方向显示图像中，第n张的亮度值。i
offset
为为亮度偏置值，因为正弦函数包含负值，而光源无法产生负值的照明，需要调整至正值。a为调制振幅系数。ω为频率系数。x表示显示像素的x坐标，y表示显示像素的y坐标。
[0099]
频率系数ω决定了条纹的疏密程度。过于稀疏的条纹将增大成像装置2的随机噪音对测量结果的影响，而过于密集的条纹将因为失焦、物体表面漫反射等原因无法形成足
够的反射信号调制幅度，导致测量结果精度降低。应根据被测物体的特征和系统的光学特性选择合适的条纹疏密程度。
[0100]
按照上述方法产生系列的8张显示图像(水平垂直方向各4张)显示在显示装置1上，用成像装置2依次拍摄被测物体表面光源的倒影得到8张拍摄图像。对于同一个相机像素点p，在8张拍摄图像中的8个亮度值可分别表示为以下公式：
[0101]
垂直方向：
[0102]ix0
＝i
offset
a sin(ωx)
[0103][0104]ix2
＝i
offset
a sin(ωx π)
[0105][0106]
水平方向：
[0107]iy0
＝i
offset
a sin(ωy)
[0108][0109]iy2
＝i
offset
a sin(ωy π)
[0110][0111]
通过对垂直方向和水平方向分别联立方程组，可以得到：
[0112][0113][0114]
由于三角函数的周期性，上式中的xw，yw只在第一个周期中与显示图像中的坐标值x，y相等，此时得到的ωxw，ωyw称之为截断相位，需要经过解包裹才能得到连续相位ωx，ωy。如图7所示，相位解包裹的一种最为简略的方法是，沿相位递增方向遍历像素，一旦检测到过大的数值跳变，则视为跨越周期，根据所处的周期，增加相应的偏置值。这种解包裹方法基于被测物表面是连续面的假设，如果被测物表面存在非连续的跳变，将会出现显著的错误。
[0115]
经过解包裹后，得到连续相位ωx，ωy。分别除以频率系数ω即得到成像装置2像素点p所对应的显示装置1上的点q的坐标值(x，y)。
[0116]
为了克服上述方法不能在被测物表面存在非连续跳变的缺点，可以通过增加额外的二进制或格雷码的编码图案来标示出每一个截断相位所处的周期的序号，实现准确的解包裹(计算截断相位的过程与上述方法相同)。这里以二进制码举例说明。
[0117]
假设在显示装置1上，共包含了16个横向条纹周期，以及16个纵向条纹周期，则需要水平和垂直各4张额外的二进制编码图案，对每一个周期进行编码，如图8所示。
[0118]
对于一个成像装置2像素点p，将额外获得4个垂直方向二进制编码图案灰度值，和4个水平方向二进制编码图案灰度值。将这些值根据一定的灰度阈值二值化为0和1两个状态，垂直方向得到bx0，bx1，bx2，bx3四个数值；水平方向得到by0，by1，by2，by3四个数值。再根据以下公式计算得到垂直方向周期序号dx，以及水平方向周期序号dy：
[0119][0120][0121]
得到周期序号后，即可根据下式计算连续相位(xw，yw计算方法与采用单周期的正弦图案的方法中相同)：
[0122]
ωx＝ωxw 2πd
x
[0123]
ωy＝ωyw 2πdy[0124]
分别除以频率系数ω即得到相机像素p所对应的光源上的点q的坐标值(x，y)。
[0125]
当然，也可以采用多频相移法解包裹，该方法采用二个或以上不同周期的正弦条纹，通过外差原理实现解包裹。这里以双频外差为例，频率系数分别为ω1和ω2(ω2＜ω1)，其所对应的周期为t1，t2。此时，水平和垂直方向将共拍摄8张图，一共16张图。
[0126]
首先，分别计算垂直方向在不同频率系数下的截断相位ω1x记为ω2x记为以及水平方向在不同频率系数下的截断相位ω1y记为ω2y记为截断相位的计算方法与前述方法相同。
[0127]
然后，计算垂直和水平方向在两个频率下的相位差
[0128][0129][0130]
然后计算连续相位：
[0131][0132][0133]
分别除以频率系数ω1即得到相机像素p所对应的光源上的点q的坐标值(x，y)。
[0134]
实施例二
[0135]
如图10所示，在本实施例中，显示装置1至少包括两个前后设置的显示器件12，及设置在显示器件平行后方的背光光源13。显示器件12具有导通背光的通透状态，及显示变化图像的输出状态。当其中一个显示器件处于输出状态时，其余显示器件则处于通透状态，每个显示器件都能在两种状态之间切换，从而显示装置1到达不同光程位置。
[0136]
具体的，显示器件12为透射式有源矩阵显示器件，它通过改变自身的透光率以实现图形的显示，如lcd。背光光源13为显示器件12提供背光照明，使得从显示装置的正面可以观察到显示器件12上所显示的图形，背光光源13可以使用led作为发光器件，通过匀光板将led的点光源转换为均匀的面光源。
[0137]
当显示装置1需要在位于第一光程位置41显示图形时，打开背光光源13使其发光，将第二显示器件122所显示的图形设定为全白，使其处于通透状态以导通背光，并控制第一显示器件121显示所需的图形。
[0138]
当显示装置1需要在位于第二光程位置42显示图形时，打开背光光源13使其发光，
控制第二显示器件122显示所需的图形，并将第一显示器件121所显示的图形设定为全白，使其通透。
[0139]
基于相位偏折法的三维检测方法的其余步骤与实施例一相同，不再赘述。
[0140]
实施例三
[0141]
如图11所示，在本实施例中，显示装置1包含一个可以显示图形的显示器件12(如lcd，led屏幕)，以及在显示器件12前方，即显示器件12朝向被测面3一侧，的折射率可变的介质14。通过改变折射率可变介质14的折射率，从显示器件12至被测物体3的光程得以改变，当介质14的折射率增高，光程增加，反之减少。折射率可变介质14可以使用电致折射率改变的材料。
[0142]
基于相位偏折法的三维检测方法的其余步骤与实施例一相同，不再赘述。
[0143]
实施例四
[0144]
上述实施例一-实施例三中均为两个光程位置，当然，显示装置1也可以在两个以上的光程位置输出变化的发光图像。若采用更多的光程位置，需要为增加的光程位置额外执行以下步骤，显示装置1在第三光程位置输出变化的发光图像；成像装置2同步拍摄变化的发光图像在第三光程下在被测面3的倒影图像；成像装置2逐个获取每个像素点p关于被测面3在显示装置1中对应的第三点集合，计算获取该第三点集合的单点二维坐标信息。并且在确定被测点s的三维坐标信息步骤中，通过最小二乘法计算对于所有光程位置误差最小的被测点s的三维坐标解，以通过数据冗余提升信噪比。
[0145]
上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。