一种基于双目鱼眼相机的快速半稠密三维重建方法

1.本发明涉及一种快速半稠密三维重建方法，具体涉及一种基于双目鱼眼相机及尺度不变特征变换（orb，oriented fast and rotated brief）特征提取和简单线性迭代聚类（slic，simple linear iterative clustering）超像素分割的快速半稠密三维重建方法。


背景技术：

2.为从二维图像中恢复场景的三维信息，三维重建即根据物体或者场景所拍摄的两个或者两个以上二维的图像，由计算机自动进行计算和匹配，计算出物体或者场景的二维几何信息和深度信息，进而建立三维的立体模型的过程，其重点在于获取目标场景或物体的深度信息。深度信息的测量分为主动式和被动式两种，主动式即借助激光、声波、电磁波等光源或能量源发射至物体表面来直接获得距离。主动式相机容易受到环境因素的影响，如混合像素、外界光源等，导致景物深度不准确，且系统误差与随机误差对测量结果的影响很大，需要进行后期数据处理，主要体现在场景像素点的位置重合上；被动式则以基于视差原理的立体视觉为主，通过计算和匹配获得距离及深度信息，相较于主动式则更能满足探索未知环境的鲁棒性、可靠性需求。本发明属于基于图像的被动式三维重建方法。
3.根据重建稠密程度的不同，又将基于单/双目图像的三维重建分为稀疏重建、半稠密重建及稠密重建三种。稀疏重建方法是视觉同步定位与建图（slam，simultaneous localization and mapping）中的常用方法，通常是通过重建一些图像特征点的深度来计算相机位姿。稀疏重建在比如检测、避障这样要求重建点云连续性较高的实际应用中表现吃力，不能满足需求；稠密重建是对整个图像或者图像中的绝大部分像素进行重建。与稀疏、半稠密相比，稠密重建对场景三维信息的理解更为全面，更能符合应用需求。但其要重建的点云数量太多，一味追求信息全面性的后果势必是耗费过多的算力，无人机机载计算机对此力不从心。本发明所提出的介于稀疏及稠密之间的半稠密方法则取长补短，在减小计算量、保证效率的同时保留了足够描绘场景中物体轮廓的点，满足无人机避障所需的快速重建需求。


技术实现要素：

4.本发明的目的在于提供一种基于双目鱼眼相机及尺度不变特征变换（orb，oriented fast and rotated brief）特征提取和简单线性迭代聚类（slic，simple linear iterative clustering）超像素分割的快速半稠密三维重建方法，该技术能够对左右两相机同时摄取的同一场景的两张二维图像进行校正、特征提取、图像分割、立体匹配等处理，从而还原出场景的三维信息。相较于现有的稠密重建方法及稀疏重建方法，在尽可能减小计算量、保证效率的同时保留了足够描绘场景中物体轮廓的点，以实现无人机避障需求下的场景重建效果。
5.一种基于双目鱼眼相机的快速半稠密三维重建方法，其特征在于，包括以下步骤：s1 由双目摄像头拍摄图像；
s2 将拍摄的图像输入到畸变校正模块，由畸变校正模块进行摄像机标定及畸变校正的常规操作；s3 将畸变校正模块的结果输入到立体匹配模块，由立体匹配模块进行特征点匹配和其他点匹配；s4 将立体匹配模块的结果输入到模型重建模块，由模型重建模块将所求解出的全部特征点及其他点的三维坐标信息转化成点云，实现半稠密的三维重建；s5 输出点云。
6.其中，所述s1中的双目摄像头为基线固定且支持单usb连接线的双目鱼眼摄像头。
7.其中，所述s3中的特征点匹配所采用的算法为尺度不变特征变换（orb，oriented fast and rotated brief）和随机抽样一致（ransac，random sample consensus）算法：提取左右两相机同时摄取的同一场景的两幅图像中的尺度不变特征变换（orb，oriented fast and rotated brief）特征点，使用汉明距离匹配，再利用随机抽样一致（ransac，random sample consensus）算法筛选得到最佳匹配点对，根据所获得的匹配点对来恢复所述特征点的深度、生成基于特征点匹配的视差图；其中，所述s3中的其他点匹配则是以简单线性迭代聚类（slic，simple linear iterative clustering）超像素分割技术为依托，在对上一步的特征点匹配中得到的最佳匹配点对使用三角剖分的方式形成2d网络，作为其他点判断视差的先决条件，在约束中同时加入简单线性迭代聚类（slic，simple linear iterative clustering）超像素分割算法的结果以增加前述基于特征点的视差图的连续性，实现点图稠密程度由稀疏到半稠密的变化，同时根据这些新获得的匹配点对恢复其深度信息。
8.本发明的技术效果：本发明提供的基于双目鱼眼相机的快速半稠密三维重建方法的优势在于：1）选取双目鱼眼相机摄取图像，获得最大可逼近180
°
的较寻常双目相机更为广阔的视野；2）采用尺度不变特征变换（orb，oriented fast and rotated brief）与随机抽样一致（ransac，random sample consensus）算法结合的方式进行特征点匹配，有效降低误匹配率；3）约束中融合简单线性迭代聚类（slic，simple linear iterative clustering）超像素分割算法，在尽可能减小计算量、保证效率的同时大幅增加点云稠密程度，保留了足够描绘场景中物体轮廓的点，使得三维重建结果更为适配无人机避障需求。
附图说明
9.附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所发明的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。
10.图1示出了本发明的算法流程示意图；图2示出了本发明的立体匹配模块的算法流程示意图；图3示出了本发明的立体匹配模块中的特征点提取及匹配环节的算法流程示意
图。
具体实施方式
11.本发明提供的基于双目鱼眼相机的快速半稠密三维重建方法，如图1所示，其由输入双目图像、畸变校正模块1、立体匹配模块2、模型重建模块3、输出点云五部分构成。
12.如图1，所述三维重建方法中双目鱼眼摄像头同时对同一场景摄取的左右两张图像，经畸变校正模块1进行图像去畸变处理后输入至立体匹配模块2，由立体匹配模块2进行特征点匹配及其他点匹配，获得特征点及其他点的深度信息，将所述深度信息输入到模型重建模块3以生成包含深度信息的三维点云，最后输出点云。
13.如图2，所述立体匹配模块2主要由特征点匹配、超像素分割、深度计算三部分构成。
14.如图2，所述立体匹配模块2接收到去畸变后的双目图像，经特征点提取及匹配后对其进行三角剖分，形成2d网络，融合简单线性迭代聚类（slic，simple linear iterative clustering）超像素分割后的结果形成先验知识，并依据此先验知识计算得出上述特征点及图像分割得到的其他点的深度信息并输出给模型重建模块3。
15.如图3所示，所述立体匹配模块2中的特征点提取及匹配环节由三个步骤组成：1）尺度不变特征变换（orb，oriented fast and rotated brief）特征提取；2）使用汉明距离匹配；3）随机抽样一致（ransac，random sample consensus）算法筛选最佳匹配点对；其有效降低了特征匹配的误匹配率，使得该环节的可靠程度得到显著提升。
16.以上所述，仅为本发明优选的具体实施方式，但本发明的保护范围不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。