一种用于口腔内三维重建的结构光标定方法

1.本发明涉及三维扫描技术领域，具体涉及一种用于口腔内三维重建的结构光标定方法。


背景技术：

2.传统的口腔医疗技术以医生的手工操作为主，往往效率低，给病人也会带来不适。现如今，很多牙科诊所都引进了先进的三维扫描仪，而扫描仪的标定是非常关键的一步，快速且精确的标定方法是实现高精度三维重构的前提，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。
3.现如今，常用的非接触式光学三维扫描技术有结构光、双目视觉、时间飞行(tof)等技术。双目视觉系统的运算量大，非常耗时；tof 相机的分辨率较低，且成本很高；而结构光方案成熟、响应速度快、成本低、在一定范围内精度和分辨率高，被广泛应用于口腔扫描仪中。结构光相机的原理是，将特定编码后的条纹投射到物体表面，相机捕捉到物体表面的投影图案并进行分析、解码处理，根据结构光图像和投影图案之间的匹配关系，以及相机的标定参数，计算出物体表面的三维坐标。得到点云后，再经过纹理拼接、渲染等步骤即可完成物体三维模型的重建。
4.在实际应用中，设计和装配中有许多不理想的方面会引入额外的误差，最明显的是由光学系统引起的变形和装配过程中部件的不精确定位，这就会给标定带来误差，进而影响后续三维点云及重建牙模的精度。现有标定方法大多使用棋盘格目标，它需要在不同的距离和角度多次定位照相机，其摆放需要布满图像的各个位置，还需尽量多的精确的姿态，往往角点提取精度不够，同时作为工厂程序来说实施难度很大。


技术实现要素：

5.本发明是为了解决上述问题而进行的，目的在于提供一种用于口腔内三维重建的结构光标定方法。
6.本发明提供了一种用于口腔内三维重建的结构光标定方法，具有这样的特征，包括以下步骤：步骤1，将三维扫描仪光学系统参数进行初始化，得到初始化参数；步骤2，根据初始化参数，计算原点相机因子和原点投影仪因子；步骤3，根据原点相机因子和原点投影仪因子，进行标定回合，得到标定结果；步骤4，将标定结果进行存储。
7.在本发明提供的用于口腔内三维重建的结构光标定方法中，还可以具有这样的特征：其中，步骤1中，三维扫描仪光学系统参数如表 1所示：
8.表1模型参数
[0009][0010][0011]
其中，根据物理测量确定的几何参数为参数p
11
、参数p
12
以及参数p
13
，根据图像测量确定的几何参数为参数p9、参数p
23
、参数p
24
，参数p1～参数p6、参数p
19
～参数p
22
的初始化参数为0，参数p
23
为根据成像仪和光源之间的比例因子来估计。
[0012]
在本发明提供的用于口腔内三维重建的结构光标定方法中，还可以具有这样的特征：其中，步骤2中，原点相机因子为三维目标和图像之间的放大率，原点投影仪因子为图像中心和线角度。具体分为以下子步骤：步骤2-1，读取位置z＝0处的图像；步骤2-2，组织图像，得到组织图像；步骤2-3，计算十字中心；步骤2-4，根据组织图像和十字中心计算三维目标和图像之间的放大率；步骤2-5，根据组织图像和十字中心计算图像中心和线角度。
[0013]
在本发明提供的用于口腔内三维重建的结构光标定方法中，还可以具有这样的特征：其中，步骤2-3中，计算十字中心时，在组织图像上搜索十字的近似中心，再对其进行两次细化，以确定x和y方向上每个十字的中心，主要过程如下：步骤2-3-1，上采样图像至正常尺寸；步骤2-3-2，寻找所有粗十字中心；步骤2-3-3，细化粗十字中心。步骤2-4包括以下子步骤：步骤2-4-1，计算两个最近的十字中心之间的距离；步骤2-4-2，计算三维目标和图像之间的放大率。步骤2-5包括以下子步骤：步骤2-5-1，上采样图像至正常尺寸；步骤 2-5-2，从图像中减去十字线背景；步骤2-5-3，检测峰值，将灰度图像峰值转换为二值图像峰值；步骤2-5-4，检测二值图像中的一条水平线和一条垂直线；步骤2-5-5，细化水平线和垂直线，得到图像中心和线角度。
[0014]
在本发明提供的用于口腔内三维重建的结构光标定方法中，还可以具有这样的特征：其中，步骤2-3-2中，寻找所有粗十字中心的过程为：将十字的图像移动到图像中的每个像素，并计算两两像素之间的相关性，得到互相关图，互相关图中的峰值为这两个像素内的十字中心。
[0015]
在本发明提供的用于口腔内三维重建的结构光标定方法中，还可以具有这样的特征：其中，步骤3中包括以下子步骤：步骤3-1，根据原点相机因子和原点投影仪因子计算对应点的相关信息；步骤3-2，根据对应点的相关信息，对工作台稳定性进行检测；步骤3-3，标定优化：利用矩阵优化冗余的标定参数，并最小化观察到的目标上的十字和预测位置的十
字之间的均方差；步骤3-4，将标定结果更新为系统参数。
[0016]
在本发明提供的用于口腔内三维重建的结构光标定方法中，还可以具有这样的特征：其中，步骤3-1包括以下子步骤：步骤3-1-1，根据原点相机因子和原点投影仪因子计算相位图；步骤3-1-2，根据相位图，找到位置精确的十字线；步骤3-1-3，根据十字线，设置二维图像点及其相位；步骤3-1-4，将二维图像点及其相位保存，并将每个平面上的相位图保存。其中，步骤3-1-1中，计算相位图的过程为：投影仪和照相机的列方向有存微小角度，因此通过下式来标定照相机传感器上的坐标来补偿：
[0017][0018]
对于物体表面三维坐标，假设投影仪上的一点(us，vs)投影到目标上的一个三维点为(x，y，z)，而照相机捕捉到坐标为(ui，vi)，三维点的重建如下所示：
[0019]
x＝ηi.τi＝-ηi·
(d
i-z)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0020]
y＝ξi.τi＝-ξi·
(d
i-z)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0021][0022]
式中：
[0023][0024][0025][0026][0027]
同时对于镜头模块的失真，在z处使用启发式多项式失真校正：
[0028]
z＝z k0xy k1xy2 k2x
3 (9)
[0029]
所以
[0030]
r＝(x,y,z)＝f(θ,ui,vi,us) (10)
[0031]
θ代表上面提到的所有参数。由于标定板的表面并不总是平行于图像平面，假设[r,t]是从扫描仪坐标系到目标坐标系的变换矩阵，因此可以最小化下列等式来优化参数θ：
[0032][0033]
式中ri是目标系中已知位置的理想目标三维点，(ui,vi,us)是从捕获的图像中提取的相位信息。
[0034]
步骤3-1-3中，设置二维图像点及其相位时，首先使用局部双线性插值法为每个十字线生成照相机和投影仪之间的对应关系，其次为每个十字生成三维坐标。步骤3-2中，如
果在一定范围校准位置捕获的序列中存在异常值，则该点不稳定，如果9个对应点中有超过5个对应点在一个位置不稳定，则该位置是不可靠的。
[0035]
在本发明提供的用于口腔内三维重建的结构光标定方法中，还可以具有这样的特征：其中，步骤3-3包括以下子步骤：步骤3-3-1，计算理想十字的位置：假设标定板平行于图像传感器平面，计算xoy 平面上的目标十字值，生成所有不同位置的理想三维目标；步骤3-3-2，开始优化并设置查找表；步骤3-3-3，解决优化问题。
[0036]
在本发明提供的用于口腔内三维重建的结构光标定方法中，还可以具有这样的特征：其中，步骤3-3-3包括以下子步骤：步骤3-3-3-1，使用lm算法来标定参数并且通过迭代移除异常值；步骤3-3-3-2，使用新的参数来计算标定后的测量点；步骤3-3-3-3，建立三维查找表；步骤3-3-3-4，建立雅各布矩阵，用最小均方误差法计算查找表结果。
[0037]
在本发明提供的用于口腔内三维重建的结构光标定方法中，还可以具有这样的特征：其中，步骤3-3-3-3中，三维查找表为一种无模型方法，即视场空间被分成一组立方体，分段线性校正应用于落入该立方体的每个点，如下所示：
[0038][0039]
式中δ(k)表示该顶点是否在包含r的立方体中，φ(k)表示顶点k和 r之间的三个分段距离的乘积，β(k)是顶点k的校正向量，这个函数叫做查找表。查找表的值可以通过最小化下列式子来估计：
[0040][0041]
式中r是从目标坐标系转换到扫描仪坐标系的目标点，r'是重建点。
[0042]
发明的作用与效果
[0043]
根据本发明所涉及的用于口腔内三维重建的结构光标定方法，因为首先将三维扫描仪光学系统参数进行初始化，得到初始化参数；其次根据初始化参数，计算原点相机因子和原点投影仪因子；然后根据原点相机因子和原点投影仪因子，进行标定回合，得到标定结果；最后将标定结果进行存储。上述过程针对实际设计和装配过程引入的额外误差，引入了更多标定参数，并针对标定结果进行优化，极大地提高了标定精度。
附图说明
[0044]
图1是本发明的实施例中用于口腔内三维重建的结构光标定方法流程图；
[0045]
图2是本发明的实施例中三维扫描仪光学系统示意图；
[0046]
图3是本发明的实施例中计算原点相机因子和原点投影仪因子流程图；
[0047]
图4是本发明的实施例中标定板的十字目标示意图；
[0048]
图5是本发明的实施例中z＝0的组织图像示意图；
[0049]
图6是本发明的实施例中细化粗十字中心的十字图；以及
[0050]
图7是本发明的实施例中标定回合的工作流程图。
具体实施方式
[0051]
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明一种用于口腔内三维重建的结构光标定方法作具体阐述。
[0052]
在本实施例中，提供了一种用于口腔内三维重建的结构光标定方法。
[0053]
图1是本实施例中用于口腔内三维重建的结构光标定方法流程图。
[0054]
如图1所示，本实施例所涉及的用于口腔内三维重建的结构光标定方法包括以下步骤：
[0055]
步骤s1，将三维扫描仪光学系统参数进行初始化，得到初始化参数。
[0056]
图2为本实施例中三维扫描仪光学系统100示意图。如图2所示，三维扫描仪光学系统包括相机系统10和投影系统20，相机系统由相机传感器11和相机镜头12组成，投影系统由dmd传感器21和投影镜头22组成。
[0057]
结合图2，三维扫描仪光学系统参数如表1所示：
[0058]
表1模型参数
[0059][0060]
其中，设备参数为水平穿过成像仪的像素数、垂直穿过成像仪的像素数、水平穿过照明器的像素数，本实施例中当前值为[1024，768， 480]。根据物理测量确定的几何参数为参数p
11
、参数p
12
以及参数p
13
；根据图像测量确定的几何参数为参数p9、参数p
23
、参数p
24
；参数 p1～参数p6、参数p
19
～参数p
22
的初始化参数为0；参数p
23
为根据成像仪和光源之间的比例因子来估计。
[0061]
步骤s2，根据初始化参数，计算原点相机因子和原点投影仪因子。
[0062]
其中，原点相机因子为三维目标和图像之间的放大率，原点投影仪因子为图像中心和线角度。
[0063]
图3是本中计算原点相机因子和原点投影仪因子流程图。
[0064]
如图3所示，计算原点相机因子和原点投影仪因子的过程具体分为以下子步骤：
[0065]
步骤s2-1，读取位置z＝0处的图像。
[0066]
步骤s2-2，组织图像，得到组织图像。
[0067]
步骤s2-3，计算十字中心：在目标的均匀照明图像上搜索十字的近似中心，再对其进行两次细化，以确定x和y方向上每个十字的中心，精度约为0.1像素。
[0068]
图4是本实施例中标定板的十字目标示意图。
[0069]
如图4所示，本实施例中使用了一个更好的标定目标，它是一个白色十字图案，十字线粗为0.2mm，十字线长为1mm，十字中心距离为2mm。
[0070]
图5是本实施例中z＝0的组织图像示意图。
[0071]
如图5所示，图5中的前八幅图像(a)-(h)是中心线和多线图像，这些图像用来提取相位图。第九幅图像(i)是标定板所捕获到的图像，带有一条投影垂直线和一条水平线，该图像将用于计算相机中心和角度。第十幅图像(j)是十字线图像，该图像是用来计算3d目标和图像之间的放大率。
[0072]
计算十字中心时，在组织图像上搜索十字的近似中心，再对其进行两次细化，以确定x和y方向上每个十字的中心，主要过程如下：
[0073]
步骤s2-3-1，上采样图像至正常尺寸。
[0074]
步骤s2-3-2，寻找所有粗十字中心，本实施例中在没有先验信息的情况下搜索十字的中心。它使用了一种由pushkarapte编写的互相关方法，将十字的图像移动到图像中的每个像素，并计算两两像素之间的相关性，得到互相关图，互相关图中的峰值为这两个像素内的十字中心。
[0075]
步骤s2-3-3，细化粗十字中心。
[0076]
图6是本实施例中细化粗十字中心的十字图。
[0077]
如图6所示，本实施例中，使用“canny方法”的变体为每个十字找到更精确的中心。首先确定图6中显示的四个区域，十字的每个臂上都有一个。例如，标记为“a”的区域是一组水平穿过十字下臂的线，将这些线平均形成一维轨迹，这个轨迹用一个高斯函数和两个像素的西格玛进行卷积，然后微分两次。二阶导数的过零点表示直线的边缘，下面标记为a1和a2。这两条边的平均值给出了该条的中心。其次对顶部的条重复上述步骤，并在生成的两点之间画一条线。然后对左右的条重复上述步骤，给出第二条线，这两线的交点就是十字的中心。这个方法对十字的小旋转和散焦是鲁棒的，中心精确到大约 0.1像素。
[0078]
步骤s2-4，根据组织图像和十字中心计算三维目标和图像之间的放大率。具体实施方式包括以下子步骤：
[0079]
步骤s2-4-1，计算两个最近的十字中心之间的距离。
[0080]
步骤s2-4-2，计算三维目标和图像之间的放大率。
[0081]
步骤s2-5，根据组织图像和十字中心计算图像中心和线角度。具体实施方式包括以下子步骤：
[0082]
步骤s2-5-1，上采样图像至正常尺寸。
[0083]
步骤s2-5-2，从图像中减去十字线背景。
[0084]
步骤s2-5-3，检测峰值，将灰度图像峰值转换为二值图像峰值。
[0085]
步骤s2-5-4，检测二值图像中的一条水平线和一条垂直线。
[0086]
步骤s2-5-5，细化所述水平线和所述垂直线，得到所述图像中心和所述线角度。
[0087]
步骤s3，根据原点相机因子和原点投影仪因子，进行标定回合，得到标定结果。
[0088]
图7是本实施例中标定回合的工作流程图。
[0089]
如图7所示，标定回合包括以下子步骤：
[0090]
步骤s3-1，根据原点相机因子和原点投影仪因子计算对应点的相关信息。
[0091]
具体实施方式包括以下子步骤：
[0092]
步骤s3-1-1，根据原点相机因子和原点投影仪因子计算相位图。
[0093]
计算相位图的过程为：
[0094]
如图2所示，投影仪和照相机的列方向有存微小角度，因此通过下式来标定照相机传感器上的坐标来补偿：
[0095][0096]
对于物体表面三维坐标，假设投影仪上的一点(us，vs)投影到目标上的一个三维点为(x，y，z)，而照相机捕捉到坐标为(ui，vi)，三维点的重建如下所示：
[0097]
x＝ηi.τi＝-ηi·
(d
i-z)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0098]
y＝ξi.τi＝-ξi·
(d
i-z)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0099][0100]
式中：
[0101][0102][0103][0104][0105]
同时对于镜头模块的失真，在z处使用启发式多项式失真校正：
[0106]
z＝z k0xy k1xy2 k2x
3 (9)
[0107]
所以
[0108]
r＝(x,y,z)＝f(θ,ui,vi,us) (10)
[0109]
θ代表上面提到的所有参数。由于标定板的表面并不总是平行于图像平面，假设[r,t]是从扫描仪坐标系到目标坐标系的变换矩阵，因此可以最小化下列等式来优化参数θ。
[0110][0111]
式中ri是目标系中已知位置的理想目标三维点，(ui,vi,us)是从捕获的图像中提取的相位信息。
[0112]
步骤s3-1-2，根据相位图，找到位置精确的十字线。
[0113]
步骤s3-1-3，根据十字线，设置二维图像点及其相位；设置二维图像点及其相位时，首先使用局部双线性插值法为每个十字线生成照相机和投影仪之间的对应关系，其次为每个十字生成三维坐标。
[0114]
步骤s3-1-4，将二维图像点及其相位保存，并将每个平面上的相位图保存。
[0115]
步骤s3-2，根据对应点的相关信息，对工作台稳定性进行检测；如果在-8到 8校准位置捕获的序列中存在异常值，则该点不稳定，如果9个对应点中有超过5个对应点在一个位置不稳定，则该位置是不可靠的。
[0116]
步骤s3-3，标定优化：因为目标坐标系和世界坐标系不重合，所以本实施例中利用矩阵来优化这些冗余的的标定参数，通过使用标准的levenberg-marquardt程序来最小化观察到的目标上的十字和预测位置的十字之间的均方差。具体实施方式包括以下子步骤：
[0117]
步骤s3-3-1，计算理想十字的位置：假设标定板平行于图像传感器平面，计算xoy平面上的目标十字值，生成所有不同位置的理想三维目标。
[0118]
步骤s3-3-2，开始优化并设置查找表。
[0119]
步骤s3-3-3，解决优化问题。具体实施过程包括以下子步骤：
[0120]
步骤s3-3-3-1，使用lm算法来标定参数并且通过迭代移除异常值。
[0121]
步骤s3-3-3-2，使用新的参数来计算标定后的测量点。
[0122]
步骤s3-3-3-3，建立三维查找表；三维查找表为一种无模型方法，即视场空间被分成一组立方体，分段线性校正应用于落入该立方体的每个点，如下所示：
[0123][0124]
式中δ(k)表示该顶点是否在包含r的立方体中，φ(k)表示顶点k和 r之间的三个分段距离的乘积，β(k)是顶点k的校正向量，这个函数叫做查找表。查找表的值可以通过最小化下列式子来估计：
[0125][0126]
式中r是从目标坐标系转换到扫描仪坐标系的目标点，r'是重建点。
[0127]
步骤s3-3-3-4，建立雅各布矩阵，用最小均方误差法计算查找表结果。
[0128]
步骤s3-4，将标定结果更新为系统参数。
[0129]
步骤s4，将标定结果进行存储。
[0130]
实施例的作用与效果
[0131]
根据本实施例所涉及的用于口腔内三维重建的结构光标定方法，因为首先将三维扫描仪光学系统参数进行初始化，得到初始化参数；其次根据初始化参数，计算原点相机因子和原点投影仪因子；然后根据原点相机因子和原点投影仪因子，进行标定回合，得到标定结果；最后将标定结果进行存储。上述过程针对实际设计和装配过程引入的额外误差，引入了更多标定参数，并针对标定结果进行优化，极大地提高了标定精度。
[0132]
本实施例考虑到了投影仪和照相机列方向的角度以及标定板平面并不总是平行于图像平面的问题，增加了标定参数，补偿了投影仪和照相机列方向之间的角度，引入了变换矩阵[r,t]来优化冗余的系统参数，同时，对于标定结果进行了非线性优化，将目标上观察到的和预测到的十字位置之间的均方差进行了最小化，最后利用了3d lut 作为最终校正，极大地提高了标定精度。
[0133]
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。