一种基于全景视频的场景三维建模方法及装置与流程

1.本发明涉及三维实景建模技术领域，尤其涉及一种基于全景视频的场景三维建模方法及装置。


背景技术：

2.城市精细三维建模（3d reconstruction）是实景三维中国建设的关键支撑技术，被广泛应用于智慧城市、机器人导航/自动驾驶、数字文化遗产、建筑bim、3d动画影视制作、虚拟现实（vr/ar）等领域。
3.多视倾斜摄影测量是当前城市精细实景三维建模的主要方式，为了实现重建目标最佳建模效果，需要尽可能多地采集目标各个角度影像，即便是五镜头倾斜摄影相机获取的多视影像，也无法完全摆脱三维重建场景时存在的视场受限、重叠区域受限、场景及场景中对象相互遮挡等传统双目立体几何成像相同的问题，影响到城市实景三维重建的完整性。


技术实现要素：

4.有鉴于此，有必要提供一种基于全景视频的场景三维建模方法及装置，用以解决现有技术中不能建立完整场景三维模型的问题。
5.为了解决上述问题，本发明提供一种基于全景视频的场景三维建模方法，包括：获取场景的空中全景视频和地面全景视频，以及相机的内定向参数；利用所述空中全景视频、地面全景视频及相机的内定向参数构建空中三维模型和地面三维模型；对所述空中三维模型和地面三维模型进行融合处理得到所述场景的三维模型。
6.进一步地，获取相机的内定向参数，包括：获取相机的内部参数及畸变系数。
7.进一步地，获取相机的内部参数及畸变系数，包括：确定相机标定点，根据相机标定点得到相机的共线条件方程，利用最小二乘法平差对所述共线条件方程进行求解，得到相机的内部参数；构建相机成像模型，利用所述相机成像模型得到所述相机标定点的相机影像，利用kb模型对所述相机影像进行畸变处理，得到相机的畸变系数。
8.进一步地，利用所述空中全景视频、地面全景视频及相机的内定向参数构建空中三维模型和地面三维模型，包括：对所述空中全景视频及地面全景视频按照预设抽帧规则进行抽帧处理，得到抽帧后的空中全景数据和抽帧后的地面全景数据；利用所述抽帧后的空中全景数据、抽帧后的地面全景数据及相机的内定向参数构建空中三维模型和地面三维模型。
9.进一步地，利用所述抽帧后的空中全景数据、抽帧后的地面全景数据及相机的内
定向参数构建空中三维模型和地面三维模型，包括：将所述抽帧后的空中全景数据及所述相机的内定向参数输入第一预设三维模型成像系统，得到空中三维模型；将所述抽帧后的地面全景数据及所述相机的内定向参数输入第二预设三维模型成像系统，得到地面三维模型。
10.进一步地，对所述空中三维模型和地面三维模型进行融合处理得到所述场景的三维模型，包括：将所述空中三维模型和地面三维模型放置于同一坐标系下，得到位于同一坐标系下的三维模型；根据所述位于同一坐标系下的三维模型确定所述空中三维模型与所述地面三维模型间的重叠区域；对所述重叠区域进行平滑融合处理，得到所述场景的三维模型。
11.进一步地，将所述空中三维模型和地面三维模型放置于同一坐标系下，包括：利用四点法得到将所述地面三维模型转换至所述空中三维模型的坐标系下的初始转换矩阵；利用迭代最近点法得到将所述地面三维模型转换至所述空中三维模型的坐标系下的二次转换矩阵；利用所述初始转换矩阵和所述二次转换矩阵将所述地面三维模型转换至所述空中三维模型的坐标系下。
12.进一步地，根据所述位于同一坐标系下的三维模型确定所述空中三维模型与所述地面三维模型间的重叠区域，包括：利用带约束的delaunay三角剖分算法对所述位于同一坐标系下的三维模型进行三角构网，确定所述空中三维模型与所述地面三维模型间相交的三角顶点，对所述三角顶点进行简化融合，得到重叠区域。
13.进一步地，获取场景的空中全景视频，包括：获取场景预设高度范围内的全景视频。
14.本发明还提供了一种基于全景视频的场景三维建模装置，包括数据获取模块、数据处理模块及模型融合模块；所述数据获取模块，用于获取场景的空中全景视频和地面全景视频，以及相机的内定向参数；所述数据处理模块，用于利用所述空中全景视频、地面全景视频及相机的内定向参数构建空中三维模型和地面三维模型；所述模型融合模块，用于对所述空中三维模型和地面三维模型进行融合处理得到所述场景的三维模型。
15.采用上述实施例的有益效果是：本发明提供的基于全景视频的场景三维建模方法，通过获取场景的空中全景视频、地面全景视频，利用空中全景视频、地面全景视频构建空中三维模型、地面三维模型，将空中三维模型与地面三维模型融合在一起，能够完整建立场景的三维模型。
附图说明
16.图1为本发明提供的基于全景视频的场景三维建模方法一实施例的流程示意图；图2为本发明实施例中提供的空地三维模型边界融合的流程图；图3为本发明提供的基于全景视频的场景三维建模装置一实施例的结构框图。
具体实施方式
17.下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
18.本发明提供了一种基于全景视频的场景三维建模方法及装置，以下分别进行详细说明。
19.本发明实施例提供了一种基于全景视频的场景三维建模方法，其流程示意图，如图1所示，所述基于全景视频的场景三维建模方法包括：步骤s101、获取场景的空中全景视频和地面全景视频，以及相机的内定向参数；步骤s102、利用所述空中全景视频、地面全景视频及相机的内定向参数构建空中三维模型和地面三维模型；步骤s103、对所述空中三维模型和地面三维模型进行融合处理得到所述场景的三维模型。
20.需要说明的是，与现有技术相比，通过获取场景的空中全景视频、地面全景视频，利用空中全景视频、地面全景视频构建空中三维模型、地面三维模型，将空中三维模型与地面三维模型融合在一起，能够完整建立场景的三维模型。
21.一个具体的实施例中，选择晴朗无雨的天气，以低空旋翼无人机和背包作为移动平台，搭载insta360景石pro2全景相机，采集场景的全景视频；在采集前，使用insta 360 pro手机软件操控全景相机，配置全景相机为视频采集模式和gnss开启状态，确定gnss信号正常后，分别以无人机按照设定航线和人工背负按照规划路径来采集视频；使用全景相机自带的全景拼接软件（insta360stitcher）将拍摄的视频利用新光流拼接算法拼接，得到场景的空中全景视频和地面全景视频。
22.作为一个优选的实施例，获取相机的内定向参数，包括：获取相机的内部参数及畸变系数。
23.作为一个优选的实施例，获取相机的内部参数及畸变系数，包括：确定相机标定点，根据相机标定点得到相机的共线条件方程，利用最小二乘法平差对所述共线条件方程进行求解，得到相机的内部参数；构建相机成像模型，利用所述相机成像模型得到所述相机标定点的相机影像，利用kb模型对所述相机影像进行畸变处理，得到相机的畸变系数。
24.一个具体的实施例中，构建相机成像模型为球面等距投影模型。
25.作为一个优选的实施例，利用所述空中全景视频、地面全景视频及相机的内定向参数构建空中三维模型和地面三维模型，包括：对所述空中全景视频及地面全景视频按照预设抽帧规则进行抽帧处理，得到抽帧后的空中全景数据和抽帧后的地面全景数据；利用所述抽帧后的空中全景数据、抽帧后的地面全景数据及相机的内定向参数构
建空中三维模型和地面三维模型。
26.一个具体的实施例中，全景相机的采样频率是1秒30帧，对所述空中全景视频采取每5帧去除一帧的方式，对所述地面全景视频采取每15帧去除一帧的方式，进行一次抽帧；全景视频中记录有开始采集时间、结束采集时间以及总帧数f，可以计算出全景视频中任意一帧f对应的时间，为，建立全景视频中每一帧全景影像与gnss轨迹间的关联，根据时间和线性位置内插，可以计算任意一帧f的位置坐标，根据位置坐标计算相邻帧的间距，若间距小于1m则去除其中一帧，直至满足相邻帧间距均超过1m，完成二次抽帧，得到抽帧后的空中全景数据和抽帧后的地面全景数据。
27.作为一个优选的实施例，利用所述抽帧后的空中全景数据、抽帧后的地面全景数据及相机的内定向参数构建空中三维模型和地面三维模型，包括：将所述抽帧后的空中全景数据及所述相机的内定向参数输入第一预设三维模型成像系统，得到空中三维模型；将所述抽帧后的地面全景数据及所述相机的内定向参数输入第二预设三维模型成像系统，得到地面三维模型。
28.一个具体的实施例中，第一预设三维模型成像系统为orb-slam3系统和实景三维建模软件contextcapture；第二预设三维模型成像系统为orb-slam3系统和实景三维建模软件contextcapture。
29.作为一个优选的实施例，对所述空中三维模型和地面三维模型进行融合处理得到所述场景的三维模型，包括：将所述空中三维模型和地面三维模型放置于同一坐标系下，得到位于同一坐标系下的三维模型；根据所述位于同一坐标系下的三维模型确定所述空中三维模型与所述地面三维模型间的重叠区域；对所述重叠区域进行平滑融合处理，得到所述场景的三维模型。
30.一个具体的实施例中，将所述空中三维模型和地面三维模型放置于同一坐标系下，采用对两组模型先后进行手动粗配准与自动精配准的方式，在两组模型中提取4组同名特征点，使用4点法计算地面三维模型至空中三维模型的初始转换矩阵，获取地面三维模型转换至空中三维模型的坐标系下的概略位置，使用迭代最近点法（icp）实现两组模型的精确配准，根据得到的二次转换矩阵再次调整地面三维模型的位置，实现两组模型的几何配准；查找空中三维模型的边界与地面三维模型的边界，对于两组模型存在相交处的三角网边界增加顶点重新构网，确定过渡区三角网的边界，在确定过渡区范围后，对于处于过渡区范围内的空地模型的所有三角网顶点，进行顶点的简化融合，使过渡区内三角网大小与其他区域保持一致，根据过渡区边界以及筛选完后的顶点，利用带约束的delaunay三角剖分算法构网，实现两组模型的表面连接，空地三维模型边界融合的流程图，如图2所示；通过空地三维模型边界调整将不同纹理图片之间的纹理映射边界位置调整至最
佳位置，对三维顶点和纹理图片的映射关系进行更新，通过色调映射统一不同视角纹理图片的色调和亮度，使其尽量接近，通过边界处的平滑处理消除接缝，对三维顶点和纹理图片之间的映射关系进行第二次更新，得到最终带有纹理信息的场景三维模型。
31.作为一个优选的实施例，将所述空中三维模型和地面三维模型放置于同一坐标系下，包括：利用四点法得到将所述地面三维模型转换至所述空中三维模型的坐标系下的初始转换矩阵；利用迭代最近点法得到将所述地面三维模型转换至所述空中三维模型的坐标系下的二次转换矩阵；利用所述初始转换矩阵和所述二次转换矩阵将所述地面三维模型转换至所述空中三维模型的坐标系下。
32.作为一个优选的实施例，根据所述位于同一坐标系下的三维模型确定所述空中三维模型与所述地面三维模型间的重叠区域，包括：利用带约束的delaunay三角剖分算法对所述位于同一坐标系下的三维模型进行三角构网，确定所述空中三维模型与所述地面三维模型间相交的三角顶点，对所述三角顶点进行简化融合，得到重叠区域。
33.作为一个优选的实施例，获取场景的空中全景视频，包括：获取场景预设高度范围内的全景视频。
34.具体的，采集30米至100米高度的全景视频作为场景的空中全景视频。
35.本发明实施例提供了一种基于全景视频的场景三维建模装置，其结构框图，如图3所示，所述基于全景视频的场景三维建模装置包括数据获取模块301、数据处理模块302及模型融合模块303；所述数据获取模块301，用于获取场景的空中全景视频和地面全景视频，以及相机的内定向参数；所述数据处理模块302，用于利用所述空中全景视频、地面全景视频及相机的内定向参数构建空中三维模型和地面三维模型；所述模型融合模块303，用于对所述空中三维模型和地面三维模型进行融合处理得到所述场景的三维模型。
36.综上所述，本发明公开的一种基于全景视频的场景三维建模方法及装置，通过获取场景的空中全景视频、地面全景视频，利用空中全景视频、地面全景视频构建空中三维模型、地面三维模型，将空中三维模型与地面三维模型融合在一起，能够完整建立场景的三维模型。
37.本技术方案中全景相机能够实现水平360度和垂直180度完全视角成像，作为一种新型的全景相机获取的全景视频数据，是实时拍摄并记录全景摄像机镜头周围地物情况的连续、动态360度影像的集合，在一次视频拍摄与数据采集中，可以实现场景范围内连续360度视角无死角全覆盖，可为实现更可靠、更完整的场景实景三维建模提供强大数据支撑。
38.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。