多视连续光场影像室内场景稠密点云准确提取方法及系统与流程

1.本发明涉及图像处理技术领域，具体为多视连续光场影像室内场景稠密点云准确提取方法及系统。


背景技术：

2.光场相机视野较小，重建室内场景时需要多次拍摄。一方面，由于每张光场影像都包含大数据量的多视角信息，同时处理所有光场影像速度很慢，且容易出现重建不稳定，甚至重建失败；另一方面，多视光场影像间存在多维几何信息，包括每张光场影像的多视角信息、从每张光场影像中提取的深度信息以及不同视光场影像间的几何约束关系，为室内三维重建提供了更丰富的数据源。但是，目前还没有针对利用多视连续光场影像进行室内稠密三维重建，进一步提取场景密集点云的算法。


技术实现要素：

3.本发明主要是提供多视连续光场影像室内场景稠密点云准确提取方法及系统。
4.为了解决上述技术问题，本发明采用如下技术方案：多视连续光场影像室内场景稠密点云准确提取方法，包括：基于光场影像之间的关联度进行分区处理，并输出关键帧影像；对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿；基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿；基于所有关键帧影像在整体坐标系下的关键帧影像位姿，将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下，实现整体稠密三维重建。
5.进一步，所述基于光场影像之间的关联度进行分区处理，并输出关键帧影像，包括：采集光场影像，取第一张光场影像的坐标系为所有光场影像的整体坐标系，并确定为关键帧影像；按照光场影像采集顺序，计算新获取的光场影像与所述第一张光场影像的关联度得分，并将所述关联度得分与预设得分阈值进行对比；若低于预设得分阈值，则取所述新获取的光场影像的前一帧影像为关键帧影像；将两个所述关键帧影像内的光场影像设为一个分区；对于新获取的影像，重复执行分区，输出所有关键帧影像。
6.进一步，所述对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿，包括：取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系；基于每张光场影像提取特征点，并将光场影像两两进行特征匹配和匹配过滤，得
到不同光场影像间的正确匹配；对分区内的所有光场影像执行光束法平差，获取到分区内所有光场影像在对应局部坐标系下的初始位姿；进一步进行稠密优化，提高初始位姿估计精度，完成分区内稠密三维重建，并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
7.进一步，所述基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿，包括；基于关键帧影像中提取的特征点，对所有关键帧影像两两进行特征匹配和匹配过滤，得到不同关键帧影像间的正确匹配；基于关键帧影像间的匹配进行光束法平差，得到所有关键帧影像在整体坐标系下的关键帧影像位姿；进一步进行稠密优化，提高所有关键帧影像位姿的估计精度，并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
8.多视连续光场影像室内场景稠密点云准确提取系统，包括：分区模块，用于基于光场影像之间的关联度进行分区处理，并输出关键帧影像；初始位姿获取模块，用于对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿；关键帧影像位姿获取模块，用于基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿；分区融合模块，用于基于所有关键帧影像在整体坐标系下的关键帧影像位姿，将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下，实现整体稠密三维重建。
9.进一步，所述分区模块，包括：首关键帧影像定义子模块，用于采集光场影像，取第一张光场影像的坐标系为所有光场影像的整体坐标系，并确定为关键帧影像；得分对比子模块，用于按照光场影像采集顺序，计算新获取的光场影像与所述第一张光场影像的关联度得分，并将所述关联度得分与预设得分阈值进行对比；次关键帧影像定义子模块，用于若低于预设得分阈值，则取所述新获取的光场影像的前一帧影像为关键帧影像；分区定义子模块，用于将两个所述关键帧影像内的光场影像设为一个分区；重复执行子模块，用于对于新获取的影像，重复执行分区，输出所有关键帧影像。
10.进一步，所述初始位姿获取模块，包括：局部坐标系确定子模块，用于取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系；局部匹配子模块，用于基于每张光场影像提取特征点，并将光场影像两两进行特征匹配和匹配过滤，得到不同光场影像间的正确匹配；初始位姿获取子模块，用于对分区内的所有光场影像执行光束法平差，获取到分区内所有光场影像在对应局部坐标系下的初始位姿；局部优化子模块，用于进一步进行稠密优化，提高初始位姿估计精度，完成分区内
稠密三维重建，并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
11.进一步，所述关键帧影像位姿获取模块，包括：整体匹配子模块，用于基于关键帧影像中提取的特征点，对所有关键帧影像两两进行特征匹配和匹配过滤，得到不同关键帧影像间的正确匹配；关键帧影像位姿获取子模块，用于基于关键帧影像间的匹配进行光束法平差，得到所有关键帧影像在整体坐标系下的关键帧影像位姿；整体优化子模块，用于进一步进行稠密优化，提高所有关键帧影像位姿的估计精度，并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
12.有益效果：本技术针对多视连续光场影像进行整体三维重建，且引入分区和关键帧的理念，设计从局部到整体的递阶式三维重建框架，以快速实现局部精细化重建和整体优化。同时，针对同一分区内光场影像或者不同分区的关键帧，提出由稀疏到稠密的三维重建策略，准确计算光场影像的位姿，实现整体三维重建。
附图说明
13.图1为本发明的多视连续光场影像室内场景稠密点云准确提取方法流程图；图2为本发明s1的流程图；图3为本发明s2的流程图；图4为本发明s3的流程图；图5为本发明的多视连续光场影像室内场景稠密点云准确提取系统框图；图6为递阶式三维重建框架图；图7为同一空间点在不同视角光场影像和投影位置变化示意图。
具体实施方式
14.以下将结合实施例对本发明涉及的多视连续光场影像室内场景稠密点云准确提取方法及系统技术方案进一步详细说明。
15.如图1所示，本实施例的多视连续光场影像室内场景稠密点云准确提取方法，其特征在于，包括：s1~s4；s1、基于光场影像之间的关联度进行分区处理，并输出关键帧影像；s2、对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿；s3、基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿；s4、基于所有关键帧影像在整体坐标系下的关键帧影像位姿，将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下，实现整体稠密三维重建。
16.其中，关键帧影像是指对应关键帧的光场影像。
17.本技术针对多视连续光场影像进行整体三维重建，且引入分区和关键帧的理念，设计从局部到整体的递阶式三维重建框架，以快速实现局部精细化重建和整体优化。同时，针对同一分区内光场影像或者不同分区的关键帧，提出由稀疏到稠密的三维重建策略，准确计算关键帧影像位姿和所有分区内光场影像的初始位姿，实现整体三维重建。
18.进一步，如图2所示，步骤s1中所述基于光场影像之间的关联度进行分区处理，并输出关键帧影像，包括：s11、采集光场影像，取第一张光场影像的坐标系为所有光场影像的整体坐标系，并确定为关键帧影像；s12、按照光场影像采集顺序，计算新获取的光场影像与所述第一张光场影像的关联度得分，并将所述关联度得分与预设得分阈值进行对比；s13、若低于预设得分阈值，则取所述新获取的光场影像的前一帧影像为关键帧影像；s14、将两个所述关键帧影像内的光场影像设为一个分区；s15、对于新获取的影像，重复执行分区，输出所有关键帧影像。
19.其中，光场影像之间的关联度得分按照影像间匹配点对的数目和分布进行计算。首先统计光场影像间匹配点对的数量，其次统计所有匹配点对的最大外接矩形面积占整张影像幅面积大小的比值为。同时，考虑匹配点对的数量与面积比值各自的权重，则光场影像之间的关联度得分。
20.式中，左右影像构成的和为权重赋值。
21.进一步，如图3所示，步骤s2中所述对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿，包括：s21、取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系；s22、基于每张光场影像提取特征点，并将光场影像两两进行特征匹配和匹配过滤，得到不同光场影像间的正确匹配；s23、对分区内的所有光场影像执行光束法平差，获取到分区内所有光场影像在对应局部坐标系下的初始位姿；s24、进一步进行稠密优化，提高初始位姿估计精度，完成分区内稠密三维重建，并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
22.进一步，如图4所示，步骤s3中所述基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿，包括；s31、基于关键帧影像中提取的特征点，对所有关键帧影像两两进行特征匹配和匹配过滤，得到不同关键帧影像间的正确匹配；s32、基于关键帧影像间的匹配进行光束法平差，得到所有关键帧影像在整体坐标系下的关键帧影像位姿；s33、进一步进行稠密优化，提高所有关键帧影像位姿的估计精度，并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
23.其中，每张光场影像提取特征点，并将光场影像两两进行特征匹配和匹配过滤是从光场影像的特点出发，改进传统sift算法，提取深度、空间分布均匀的特征点并进行有效匹配。首先，对光场影像进行重聚焦，提取个深度下的影像，在影像上构建高斯差分
金字塔，并在个尺度和个深度下检测特征点。其次，为保证特征点的空间分布均匀，在每个尺度光场影像上划分格网，根据格网内信息选择保留的特征点。然后，采用与sift算子类似的方法构建特征描述子，不同于sift的是，特征描述子是在特定深度下构建，提高特征适应不同深度干扰的同时降低遮挡的影响。最后，根据特征描述子之间的最短欧式距离完成特征点初始匹配；采用一种双向的验证策略剔除初始匹配中存在的错误匹配。设一对光场影像和的中心视角影像为和，估计的深度图为和。对于影像和上的一对匹配点对，利用其周围匹配点对计算两幅影像局部区域的刚体变换。利用将变换至影像上得，同时利用逆矩阵将变换至影像上得,计算和、和分别在对应影像上的深度值、和法线和局部影像的相似性偏差。由相关系数法求得，为了降低影像形变引起的误差，直接将一副影像上的窗口影像变换仿射变换至计算过程满足以下条件的匹配被视为正确匹配；条件的匹配被视为正确匹配；式中，、、、分别为、、、的深度值，、、、分别为、、、的法线，和分别是深度和法线相似性的偏差阈值。
24.其中，光场影像的稀疏三维重建，从光场影像中提取深度、空间均分布合理的特征点，进行匹配并过滤掉错误匹配，利用保留的正确匹配计算稀疏匹配能量项。最小化空间点与其在所有不同帧影像之间的对应投影位置，可用下面公式表示为：式中，为影像个数，为第张光场影像的位姿，为第张影像上的第个特征，为第张光场影像的位姿，为第张影像上的第个特征；为第和张光场影像间的所有匹配点对；其中，稀疏三维重建完成后，利用稠密优化进一步提高位姿估计精度，并实现稠密
三维重建。为充分利用光场影像和以及评估中心视角影像和的深度图和，首先基于两幅中心视角影像和及其深度图和之间的几何关系构建能量项。其次，如图7所示，左侧和右侧分别为光场影像和在视角和下的子孔径影像，像素点、、、对应于同一物方点。利用同一光场影像中非中心视角影像与中心视角影像在不同光场影像间视差变化的相互关系进行匹配约束，构建能量项；通过综合利用中心视角影像和非中心视角影像的几何约束关系，构建如下式的能量函数：其中， 总体稠密优化能量项。
25.其中，完成位姿估计后，将所有光场影像上的特征，根据分区重建过程中计算得到的与对应分区内关键帧影像（也就是参考影像）的位姿参数，全部转换至关键帧进行特征融合，与关键帧影像一起进行全局优化。
26.其中，重建过程中参数的求解是非线性的，当初始值落入非线性求解的可优化范围内时，可以更快地收敛，得到可靠的结果。因此，本技术采用稀疏三维重建提供初始位姿的初值和稠密优化相结合的方式，构建如下式的总体能量函数，实现由粗到细的逐级重建。
27.式中，和分别为稀疏匹配能量项和稠密优化能量项的权重，可人为设置。通过最小化以上总体能量函数，求得影像准确位姿参数，同时完成稠密三维重建，得到场景的三维点云。
28.如图5所示，多视连续光场影像室内场景稠密点云准确提取系统，包括：分区模块51，用于基于光场影像之间的关联度进行分区处理，并输出关键帧影像；初始位姿获取模块52，用于对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿；关键帧影像位姿获取模块53，用于基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿；分区融合模块54，用于基于所有关键帧影像在整体坐标系下的关键帧影像位姿，将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下，实现整体稠密三维重建。
29.进一步，所述分区模块51，包括：首关键帧影像定义子模块511，用于采集光场影像，取第一张光场影像的坐标系为所有光场影像的整体坐标系，并确定为关键帧影像；
得分对比子模块512，用于按照光场影像采集顺序，计算新获取的光场影像与所述第一张光场影像的关联度得分，并将所述关联度得分与预设得分阈值进行对比；次关键帧影像定义子模块513，用于若低于预设得分阈值，则取所述新获取的光场影像的前一帧影像为关键帧影像；分区定义子模块514，用于将两个所述关键帧影像内的光场影像设为一个分区；重复执行子模块515，用于对于新获取的影像，重复执行分区，输出所有关键帧影像。
30.进一步，所述初始位姿获取模块52，包括：局部坐标系确定子模块521，用于取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系；局部匹配子模块522，用于基于每张光场影像提取特征点，并将光场影像两两进行特征匹配和匹配过滤，得到不同光场影像间的正确匹配；初始位姿获取子模块523，用于对分区内的所有光场影像执行光束法平差，获取到分区内所有光场影像在对应局部坐标系下的初始位姿；局部优化子模块524，用于进一步进行稠密优化，提高初始位姿估计精度，完成分区内稠密三维重建，并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
31.进一步，所述关键帧影像位姿获取模块53，包括：整体匹配子模块531，用于基于关键帧影像中提取的特征点，对所有关键帧影像两两进行特征匹配和匹配过滤，得到不同关键帧影像间的正确匹配；关键帧影像位姿获取子模块532，用于基于关键帧影像间的匹配进行光束法平差，得到所有关键帧影像在整体坐标系下的关键帧影像位姿；整体优化子模块533，用于进一步进行稠密优化，提高所有关键帧影像位姿的估计精度，并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
32.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。