一种基于全景双目立体视觉的三维重建系统和方法与流程

1.本发明属于计算机视觉三维重建技术领域，具体涉及一种基于全景双目立体视觉的三维重建系统和方法。


背景技术：

2.基于图像的三维重建技术是从图像序列中获取场景的三维模型，是计算视觉领域解决三维建模的手段之一，它对实时大规模复杂场景三维建模有非常重要的现实意义。其中，双目立体视觉利用两台相机从不同的角度获取同一三维场景的两幅数字图像，通过立体匹配来计算两幅图像像素间的位置偏差(即视差)来获取该三维场景的三维几何信息和深度信息，达到重建该场景的三维形状与位置的目的。双目立体视觉直接模拟人眼处理景物的方式，已广泛应用于诸多领域，如机器人导航与航测、自动驾驶、增强现实、非接触式三维测量等。
3.全景空间的三维重建技术在很多领域具有重要的应用，但传统成像系统受到视场的限制，难以快速直接恢复出360
°
环式场景所有物点的深度信息。目前全景立体成像主要分为三类：拼接式全景立体成像，鱼眼全景立体成像以及折反射式全景立体成像。拼接式全景立体成像主要包括单相机旋转拍摄和多相机环绕拍摄两个方法。单相机旋转拍摄法是利用相机绕轴360
°
依次采集图像序列，然后拼接成全景环式图像，但是其成像速度缓慢，不具有实时性；多相机成像法是通过多个相机环绕成一圈，每个相机固定拍摄某个角度获得固定角度的图像，再拼接成全景环式图像，虽然能满足实时性要求，但是拼接系统不仅成本高也更加复杂，拼接过程还会产生拼接误差，因此拼接式全景立体成像的三维重建精度低。鱼眼全景立体成像利用超广角物镜实现全景成像，其焦距非常短，因此能够获得接近180
°
视场角的半球面场景，但是鱼眼图像具有极大的桶形畸变，后期也很难得到校正，导致标定精度低，从而影响三维重建精度。折反射全景立体成像利用反射光学元件扩大视场角，可以获得水平360
°
的全景环式图像，省去了旋转和多台相机拼接的步骤，具有系统结构简单，设计灵活的优点。
4.折反射全景成像按照反射的次数可以分为单次反射式全景成像和二次折反射式全景成像。单次反射式全景成像结构简单，成本低，但是存在系统反射镜尺寸大、不易集成、焦距短、杂散光严重、畸变大等缺点，导致三维重建精度低。相比之下，二次折反射式全景成像利用全景环形透镜将折射反射面集成在一起具有结构紧凑、易集成、焦距长、视场角大、畸变低等优点，三维重建精度高。因此本发明基于二次折反射式全景立体成像系统，可以对360
°
环式场景进行快速、高效、高精度的三维重建，在机器人导航与航测、自动驾驶、增强现实、非接触式三维测量等方面具有广阔的应用前景。


技术实现要素：

5.本发明的目的是提供一种基于全景双目立体视觉的三维重建系统和方法，可以对360
°
环式场景进行快速、高效、高精度的全景三维重建。
6.本发明提供的基于全景双目立体视觉的三维重建系统，包括：两个全景相机、两个多维调节架及计算机处理系统；其中：
7.所述全景相机由图像传感器和二次折反射式全景镜头组成，两者相对位置通过螺纹调节和固定，使全景镜头成像在图像传感器上，将采集到的图像信息传到计算机处理系统；
8.所述两个全景相机分别固定在两个多维调节架上，调节多维调节架使两个全景相机同光轴且有视场重合区域，所述两个全景相机用于采集两副具有视差的全景图像，用于360
°
环式场景的三维重建；
9.所述的计算机处理系统用于驱动两个全景相机进行全景图像的采集，计算两个全景相机的标定参数，并完成360
°
环式场景的三维重建。
10.所述的二次折反射式全景镜头映射关系采用基于泰勒级数展开的平面-柱面投影模型，可以把360
°
环式场景投影到二维平面上。
11.所述的二次折反射式全景镜头的光学系统由全景环形透镜、孔径光阑及中继透镜组沿光轴依次排列组成，入射光线依次在全景环形透镜内部发生两次反射和折射、再经过孔径光阑和中继透镜组，最终被图像传感器接收生成全景图像；所述的图像传感器把全景图像输出到计算机处理系统进行360
°
环式场景的三维重建。
12.基于上述三维重建系统，本发明还提供基于全景双目立体视觉的三维重建方法，具体步骤如下：
13.步骤1，全景图像采集及图像处理。将全景双目立体视觉系统置于场景中，使用计算机处理系统驱动2个全景相机同时拍摄360
°
环式场景，得到具有一定视差的两幅全景图像；对所述的全景图像进行滤波处理去除噪声；对所述的全景图像的盲区进行剪切处理，生成全景环式图像；
14.步骤2，全景相机标定。所述的全景相机成像模型是基于泰勒级数展开的平面-柱面投影模型，包括正向投影模型和反向投影模型，通过此投影模型确定空间某物点的三维点坐标与其在全景环式图像中的投影点坐标之间的关系；通过棋盘格标定板得到棋盘格全部角点对应的世界坐标系下的三维点坐标和在像素坐标系下的二维点坐标；采用最小二乘法得到全景相机标定参数，包括内参、外参以及畸变参数，这些参数将用于全景双目立体视觉系统的三维场景重建。
15.步骤3，特征点提取。将两个全景相机生成的全景环式图像分别作为原图像和目标图像，利用特征点提取算法对原图像和目标图像进行特征点检测，并生成全部特征点的特征描述向量，特征描述向量将用于特征点匹配过程中特征相似度的计算。
16.步骤4，特征点匹配。建立全景共径约束，根据两个全景相机的位置转换矩阵，将第一全景环形图像的中心点映射到第二全景环形图像的对应半径中，将搜索范围限制在对应有效半径所在的扇形区内，降低匹配的复杂度，有效缩短计算时间，降低误匹配率。采用平衡二叉树法(adel'son-vel'skii g.m..an algorithms for the organization of information[j].soviet math,1962,3.)寻找匹配的特征点，输出匹配结果。
[0017]
步骤5，计算三维坐标。将两个全景相机生成的全景环式图像转换到同一相机坐标系下，基于反向投影模型，将像平面上的特征点反向投影为对应物点的方向向量，两个全景环形图像恢复出的两条方向向量相交，利用最小二乘法求解出的交点坐标值，就是实际物
点的三维坐标，对每一对特征点进行三维坐标的计算，实现稀疏特征的全景三维重建。
[0018]
本发明的有益效果在于：
[0019]
本发明设计了一种基于二次折反射式全景相机的双目立体视觉系统，可以通过单次成像获得360
°
环式场景的全景图像；通过建立基于泰勒级数展开的平面-柱面投影模型对全景双目立体视觉系统进行较高精度的标定；通过特征点提取算法对全景环形图像进行特征点检测，在特征点匹配过程中建立全景共径约束，缩小搜索范围，极大的提高了搜索效率，降低误匹配率，提高了三维重建的精度和效率，在机器人导航与航测、自动驾驶、增强现实、非接触式三维测量等领域具有重要的研究意义。
附图说明
[0020]
图1为本发明的实施例公开的基于全景双目立体视觉的三维重建系统结构示意图。
[0021]
图2为本发明的实施例公开的二次折反射式全景相机成像示意图。
[0022]
图3为本发明的实施例公开的基于全景双目立体视觉的三维重建算法流程框图。
[0023]
图4为本发明的实施例公开的全景相机标定算法流程框图。
[0024]
图5为本发明的实施例公开的基于全景双目立体视觉的三维重建简化模型图。
[0025]
图中标号：1为第一图像传感器，2为第一二次折反射式全景镜头，3为第一多维调节支架；4第二图像传感器，5为第二二次折反射式全景镜头，6为第二多维调节支架；7为计算机处理系统；8为全景环形透镜，9为孔径光阑，10为中继透镜组，11为光轴；12为物点，13为像面，14为图像传感器，15为成像区域，16为盲区，17为非成像区域；18为第一全景柱面坐标系，19为第二全景柱面坐标系。
具体实施方式
[0026]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
[0027]
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0028]
如图1所示，本发明实施例提供了一种基于全景双目立体视觉的三维重建系统，包括：由第一图像传感器1和第一二次折反射式全景镜头2组成的第一全景相机；第一多维调节支架3；由第二图像传感器4和第二二次折反射式全景镜头5组成的第二全景相机；第二多维调节支架6；计算机处理系统7。第一全景相机由第一图像传感器1和第一二次折反射式全景镜头2组成，并通过螺纹固定；第二全景相机由第二图像传感器4和第二二次折反射式全景镜头5组成，通过螺纹固定。第一全景相机和第二全景相机分别固定在第一多维调节架3和第二多维调节架6上，调节两个多维调节架使第一全景相机和第二全景相机同光轴且有视场重合区域。
[0029]
图2为本发明的实施例公开的二次折反射式全景相机成像示意图，包括：光轴11，物点12，全景环形透镜8，孔径光阑9，中继透镜组10，像面13，图像传感器14，成像区域15，盲区16，非成像区域17。如图2所示，空间中某物点12发出的入射光线依次在全景环形透镜8内部发生两次反射和折射、再经过孔径光阑9和中继透镜组10，最终被图像传感器14接收生成全景图像，全景图像由内到外由盲区16、成像区域15和非成像区域17组成。图像传感器把全景图像输出到计算机处理系统7进行360
°
环式场景的三维重建。
[0030]
所述二次折反射式全景相机映射关系采用的是平面-柱面投影模型，可以把360
°
环式场景投影到二维平面上。
[0031]
根据二次折反射式全景相机的成像关系，建立基于泰勒级数展开的平面-柱面投影模型，模型具体描述如下：
[0032]
(1)将世界坐标系下的物点p投影到相机坐标系中，假设不同入射方向的光线都经过单一有效视点o，以此为原点建立相机坐标系o-xyz，物点p经过刚体变换转换到相机坐标系中，得到入射向量(x,y,z)和出射向量为(u,v,w)，将入射向量所在水平方向上归一化后得到基于x-y的单位圆，同理可以得到出射向量基于u-v的单位圆，因此存在：
[0033][0034]
设比例因子λ：
[0035][0036]
(2)通过非线性函数g拟合投影关系，得到像平面点坐标(u,v)和入射p向量的关系，其中p为视点o到场点p的向量：
[0037]
g(u,v)＝(u,v,f(u,v))，
[0038]
其中，f关于图像传感器回转对称，具体表达式取决于全景环形透镜的形状：
[0039]
f(u,v)＝α0 α1ρ α2ρ2 ... αnρn，
[0040][0041]
使用多项式拟合不仅克服针对鱼眼或二次折反射式全景相机参数模型的知识匮乏，还将畸变和相机内参放在一起，直接校正了径向畸变。
[0042][0043]
即：
[0044][0045]
并根据ρ值，可以计算出重投影点像素坐标为
[0046][0047]
(3)像平面点坐标(u,v)到像素坐标(u
′
,v
′
)转换的过程中，通过仿射变换拟合实际中存在的透镜安装误差和像素尺寸不同产生的不均匀变形，因此实际的像素坐标值为：
[0048][0049]
其中，(u0,v0)为像中心点。仿射变换矩阵元素(c,d,e,f)通过计算得到。
[0050]
本发明实施例提供了一种基于全景双目立体视觉的三维重建方法，图3为本发明的实施例公开的基于全景双目立体视觉的三维重建算法流程框图。如图3所示，三维重建算法主要包括以下五个步骤：
[0051]
步骤1，全景图像采集及图像处理。将全景双目立体视觉系统置于场景中，使用计算机处理系统驱动2个全景相机同时拍摄360
°
环式场景，得到具有一定视差的两幅全景图像；对所述的全景图像进行滤波处理，通过空间域平滑法最大程度在保留图像细节的前提下去除图像中的不必要噪声；对所述的全景图像的盲区进行剪切处理，生成全景环式图像，降低误匹配率，提高特征点匹配的效率和准确度。
[0052]
步骤2，全景相机标定。所述的全景相机成像模型是基于泰勒级数展开的平面-柱面投影模型，包括正向投影模型和反向投影模型，通过此投影模型确定空间某物点的三维点坐标与其在全景环式图像中的投影点坐标之间的关系；通过标定板得到所有特征点对应的世界坐标系下的三维点坐标和在像素坐标系下的二维点坐标。采用最小二乘法得到全景相机标定参数，包括内参、外参以及畸变参数，这些参数将用于全景双目立体视觉系统的三维场景重建。
[0053]
图4为本发明的实施例公开的全景相机标定算法流程框图，具体内容如下：
[0054]
将标定板的全景环式图像序列输入到后续步骤中；确定并输入系统的已知参数，包括全景环式图像中心点坐标和棋盘格实际尺寸，得到棋盘格角点在世界坐标系下的三维点坐标；提取棋盘格角点的像素坐标，即物点在像面上的二维点坐标；对相机坐标系到像平面坐标系之间的投影关系进行泰勒级数展开，通过线性最小二乘法先后求解内、外参数获得初始解，建立不含畸变的理想模型；根据理想模型与实际值之间的差异计算畸变参数的初始解，获得实际相机模型；以重投影误差最小为约束条件，对全景相机内参、外参和畸变参数的初始解进行迭代的非线性优化，得到最优解作为全景相机的几何模型参数。再根据第一全景相机和第二全景相机的外部参数矩阵计算得到二者的位置变换矩阵。
[0055]
步骤3特征点提取。将两个全景相机生成的全景环式图像分别作为原图像和目标图像，利用尺度不换特征变换(sift)算法([2]d.g.lowe,et al.object recognition from local scale-invariant features[c],proceedings of the seventh ieee international conference on computer vision,1999,pp.1150-1157vol.2.)，对原图像和目标图像进行特征点检测，并生成全部特征点的特征描述向量，特征描述向量将用于特征点匹配过程中特征相似度的计算。
[0056]
其中，特征点提取优选的是sift算法，具体为：构建图像金字塔和图像差分金字塔，在差分金字塔中初步极值检测；在检测到极值点附近对其泰勒级数展开以实现亚像素定位；由特征点空间位置回至金字塔中在特征点附近取样一小区域进行特征点主方向角的确定；由特征点空间位置回至金字塔中在特征点附近取样一小区域进行梯度直方图统计生成描述子，描述子归一化形成最终描述向量；对图像中所有特征点进行上述操作生成整幅图像特征点描述向量。
[0057]
步骤4，特征点匹配。建立全景共径约束：假设第一全景相机和第二全景相机同轴，根据两个全景相机的位置转换矩阵，将第一全景环形图像的中心点映射到第二全景环形图像的对应半径中，此时将全局搜索缩小到二维半径的搜索，有效缩短计算时间，极大提高了特征点匹配的效率，并将二维半径所在的极小扇形区域作为搜索区域，提高匹配结果的准确性。
[0058]
采用平衡二叉树法则寻找匹配的特征点，当两幅图像关键点的128维特征描述向量之间的最小欧式距离与次小欧式距离的比值小于某个阈值时认为特征点匹配，输出全部关键点的匹配结果。
[0059]
步骤5，计算三维坐标。将第一全景相机和第二全景相机生成的全景环式图像转换到同一相机坐标系下；图5为本发明的实施例公开的基于全景双目立体视觉的三维重建简化模型图，如图5所示，三维空间中的物点p分别经过第一全景柱面坐标系18和第二全景柱面坐标系19的中心点投影到各自的像面上，基于反向投影模型，将像平面上的特征点反向投影为对应物点的方向向量，每一对特征点恢复出的两条方向向量相交，利用最小二乘法求解出的交点坐标值就是实际物点的三维坐标，对每一对特征点进行三维坐标的计算，实现稀疏特征的全景三维重建。
[0060]
以上对本发明实施例公开的一种基于全景双目立体视觉的三维重建系统和方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
[0061]
参考文献：
[0062]
[1]adel'son-vel'skii g.m..an algorithms for the organization of information[j].soviet math,1962,3.
[0063]
[2]d.g.lowe,et al.object recognition from local scale-invariant features[c],proceedings of the seventh ieee international conference on computer vision,1999,pp.1150-1157 vol.2。