基于无人机拍摄视频的三维地图建模方法和装置与流程

1.本技术涉及计算机技术领域，尤其涉及一种基于无人机拍摄视频的三维地图建模方法和装置。


背景技术：

2.随着经济的发展，城市环境愈加复杂，瞬息万变，高耸的城市建筑物以及复杂的地下走廊极大削弱了对城市的侦察能力，因此，为了便于对城市管理、监控，可以构建城市的三维模型。通过城市三维模型，有效提升对城市环境中态势感知能力，实时了解城市各处环境信息，为身处杂乱城市环境中的应急人员提供城市环境的精准地理空间数据。
3.对城市进行三维建模时，需要通过无人机拍摄图像，目前无人机对于态势的感知和获取，主要以常规的2d和3d测绘为主，基本的应用是利用无人机挂载高分辨率正射相机、五拼倾斜摄影相机，无人机按照规划的航线进行作业，落地后将获取图像信息送入专用的计算机工作站和专业软件进行处理，得出成果数据，然后再将原有的gis地图做局部更新，获得城市的三维图。
4.但是，采用上述方法进行城市三维建模时，根据不同的精度要求，往往需要几个小时到十几个小时的运算时间才能获得更新后的gis地图，时效性差。


技术实现要素：

5.本技术提供一种基于无人机拍摄视频的三维地图建模方法和装置，快速根据无人机拍摄的视频数据和历史城市三维地图，获得目标城市三维地图，避免了时间的延时，提高了时效性。
6.第一方面，本技术提供一种基于无人机拍摄视频的三维地图建模方法，包括：
7.实时接收所述无人机在多段飞行航线中每段飞行航线的飞行过程中拍摄的视频数据，所述多段飞行航线为所述无人机在目标区域内飞行的航线；
8.针对所述每段飞行航线，根据所述视频数据，进行实时拼接，获得与所述每段飞行航线对应的条带图像，其中，所述条带图像为所述飞行航线预设距离范围内的图像；
9.根据所述多段飞行航线中与所述每段飞行航线对应的条带图像，获得正射态势图像；
10.根据所述正射态势图像和所述目标区域的历史三维地图，获得所述目标区域的当前三维地图。
11.可选的，所述方法还包括：
12.在实时接收无人机在多段飞行航线中每段飞行航线的飞行过程中拍摄的视频数据的过程中，实时接收所述无人机发送的拍摄所述视频数据时的飞行姿态数据；
13.所述针对所述每段飞行航线，根据所述视频数据，进行实时拼接，获得与所述每段飞行航线对应的条带图像，包括：
14.对所述视频数据进行抽帧，获得多张待拼接图像；
15.根据每张所述待拼接图像，从所述飞行姿态数据中获取所述无人机在拍摄所述待拼接图像时的飞行姿态数据；
16.根据每张所述待拼接图像及所述待拼接图像对应的飞行姿态数据，对所述多张带拼接图像进行实时拼接，获得与所述每段飞行航线对应的条带图像。
17.可选的，所述根据每张所述待拼接图像及所述待拼接图像对应的飞行姿态数据，对所述多张带拼接图像进行实时拼接，获得与所述每段飞行航线对应的条带图像，包括：
18.根据每张所述待拼接图像及所述待拼接图像对应的飞行姿态数据，采用区域拼图、单张拼图、悬停拼图和航线拼图中至少一种方法，对所述多张带拼接图像进行实时拼接，获得与所述每段飞行航线对应的条带图像。
19.可选的，所述根据所述正射态势图像和所述目标区域的历史三维地图，获得所述目标区域的当前三维地图，包括：
20.通过倾斜摄影测量中的计算机视觉定位方法，建立不规则三角网模型中空间点与所述正射态势图像的投影关系；
21.根据所述建立不规则三角网模型中空间点与所述正射态势图像的投影关系，建立所述不规则三角网模型中各灰度三角网与所述正射态势图像的影像纹理的投影关系；
22.根据所述不规则三角网模型中各灰度三角网与所述正射态势图像的影像纹理的投影关系，将所述正射态势图像纹理信息映射到数字高程模型(digital elevation model，dem)中，获得与所述正射态势图像对应的目标区域的三维地图；
23.将与所述正射态势图像对应的目标区域的三维地图叠加到所述目标区域的历史三维地图上，对所述目标区域的历史三维地图进行更新，获得所述目标区域的三维地图。
24.可选的，所述将所述正射态势图像纹理信息映射到数字高程模型dem中，获得与所述正射态势图像对应的目标区域的三维地图之前，还包括：
25.对所述正射态势图像纹理信息进行几何纠正，获得纠正后的正射态势图像纹理信息；
26.所述将所述正射态势图像纹理信息映射到数字高程模型dem中，获得与所述正射态势图像对应的目标区域的三维地图，包括：
27.将所述纠正后的正射态势图像纹理信息映射到数字高程模型dem中，获得与所述正射态势图像对应的目标区域的三维地图。
28.可选的，所述针对所述每段飞行航线，根据所述视频数据，进行实时拼接，获得与所述每段飞行航线对应的条带图像之后，还包括：
29.根据获得与所述每段飞行航线对应的条带图像的时间顺序，保存与所述每段飞行航线对应的条带图像。
30.第二方面，本技术提供一种基于无人机拍摄视频的三维地图建模装置，包括：
31.接收模块，用于实时接收所述无人机在多段飞行航线中每段飞行航线的飞行过程中拍摄的视频数据，所述多段飞行航线为所述无人机在目标区域内飞行的航线；
32.第一拼接模块，用于针对所述每段飞行航线，根据所述视频数据，进行实时拼接，获得与所述每段飞行航线对应的条带图像，其中，所述条带图像为所述飞行航线预设距离范围内的图像；
33.第二拼接模块，用于根据所述多段飞行航线中与所述每段飞行航线对应的条带图
像，获得正射态势图像；
34.更新模块，用于根据所述正射态势图像和所述目标区域的历史三维地图，获得所述目标区域的当前三维地图。
35.可选的，所述接收模块在在实时接收无人机在多段飞行航线中每段飞行航线的飞行过程中拍摄的视频数据的过程中，还用于实时接收所述无人机发送的拍摄所述视频数据时的飞行姿态数据；
36.相应的，所述第一拼接模块针对所述每段飞行航线，根据所述视频数据，进行实时拼接，获得与所述每段飞行航线对应的条带图像，具体用于：
37.对所述视频数据进行抽帧，获得多张待拼接图像；
38.根据每张所述待拼接图像，从所述飞行姿态数据中获取所述无人机在拍摄所述待拼接图像时的飞行姿态数据；
39.根据每张所述待拼接图像及所述待拼接图像对应的飞行姿态数据，对所述多张带拼接图像进行实时拼接，获得与所述每段飞行航线对应的条带图像。
40.可选的，所述第一拼接模块根据每张所述待拼接图像及所述待拼接图像对应的飞行姿态数据，对所述多张带拼接图像进行实时拼接，获得与所述每段飞行航线对应的条带图像，具体用于：
41.根据每张所述待拼接图像及所述待拼接图像对应的飞行姿态数据，采用区域拼图、单张拼图、悬停拼图和航线拼图中至少一种方法，对所述多张带拼接图像进行实时拼接，获得与所述每段飞行航线对应的条带图像。
42.可选的，所述更新模块根据所述正射态势图像和所述目标区域的历史三维地图，获得所述目标区域的当前三维地图，具体用于：
43.通过倾斜摄影测量中的计算机视觉定位方法，建立不规则三角网模型中空间点与所述正射态势图像的投影关系；
44.根据所述建立不规则三角网模型中空间点与所述正射态势图像的投影关系，建立所述不规则三角网模型中各灰度三角网与所述正射态势图像的影像纹理的投影关系；
45.根据所述不规则三角网模型中各灰度三角网与所述正射态势图像的影像纹理的投影关系，将所述正射态势图像纹理信息映射到数字高程模型dem中，获得与所述正射态势图像对应的目标区域的三维地图；
46.将与所述正射态势图像对应的目标区域的三维地图叠加到所述目标区域的历史三维地图上，对所述目标区域的历史三维地图进行更新，获得所述目标区域的三维地图。
47.可选的，所述更新模块将所述正射态势图像纹理信息映射到数字高程模型dem中，获得与所述正射态势图像对应的目标区域的三维地图之前，还用于：
48.对所述正射态势图像纹理信息进行几何纠正，获得纠正后的正射态势图像纹理信息；
49.所述将所述正射态势图像纹理信息映射到数字高程模型dem中，获得与所述正射态势图像对应的目标区域的三维地图，包括：
50.将所述纠正后的正射态势图像纹理信息映射到数字高程模型dem中，获得与所述正射态势图像对应的目标区域的三维地图。
51.可选的，所述装置还包括：保存模块；
52.所述保存模块，用于在所述第一拼接模块针对所述每段飞行航线，根据所述视频数据，进行实时拼接，获得与所述每段飞行航线对应的条带图像之后，根据获得与所述每段飞行航线对应的条带图的时间顺序，保存与所述每段飞行航线对应的条带图。
53.第三方面，本技术提供一种电子设备，包括：处理器和存储器；
54.所述存储器存储计算机执行指令；
55.所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如第一方面任一项所述的方法。
56.第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令或程序，当处理器执行所述计算机执行指令或程序时，实现如第一方面任一项所述的方法。
57.第五方面，本技术实施例提供一种包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面任一项所述的方法。
58.本技术提供的基于无人机拍摄视频的三维地图建模方法和装置，通过该实时接收无人机在多段飞行航线中每段飞行航线的飞行过程中拍摄的视频数据，针对每段飞行航线，根据视频数据，进行实时拼接，获得与每段飞行航线对应的条带图像，根据多段飞行航线中与每段飞行航线对应的条带图像，获得正射态势图像；根据正射态势图像和目标区域的历史三维地图，获得目标区域的当前三维地图。这样，视频拍摄和视频图像拼接同步进行，加快获得正射态势图像的速度，从而可以快速根据正射态势图像和历史城市三维地图，获得目标城市三维地图，避免了时间的延时，提高了时效性。
附图说明
59.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
60.图1为本技术一实施例提供的基于无人机拍摄视频的三维地图建模方法的流程示意图；
61.图2为本技术一实施例提供的无人机飞行航线示意图；
62.图3为本技术一实施例提供的无人机视频数据传输链路图；
63.图4为本技术一实施例提供的基于无人机拍摄视频的三维地图建模装置的结构示意图；
64.图5为本技术一实施例提供的电子设备的结构示意图。
具体实施方式
65.为使本技术实施例的目的、技术方案和优点更加清楚，下面对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，也属于本技术保护的范围。
66.随着经济的发展，城市规模越来越大，城市环境愈加复杂，瞬息万变，传统的城市
监控管理方法已无法满足对当前的城市监控管理，尤其是当城市中发生突发事件，例如，火灾，需要即使了解现场情况，以及城市交通情，因此，为了及时了解城市各处的环境信息，以便于对城市管理、监控，可以构建城市的三维模型。通过城市三维模型，有效提升对城市环境中态势感知能力，实时了解城市各处环境信息，为身处杂乱城市环境中的应急人员提供城市环境的精准地理空间数据。
67.无人机具有高空作业的优势，机载摄像头是动态的、立体式的多样视角，到达现场之后能够迅速展开，还可以多角度、大范围的现场观察。因此，通过无人机拍摄城市图像，对城市进行三维建模。现有技术中，无人机对于态势的感知和获取，主要以常规的2d和3d测绘为主，基本的应用是利用无人机挂载高分辨率正射相机、五拼倾斜摄影相机，无人机按照规划的航线进行作业，落地后将获取图像信息送入专用的计算机工作站和专业软件进行处理，得出成果数据，然后再将原有的gis地图做局部更新，获得城市的三维图。
68.然而，采用上述方法进行城市三维建模时，根据不同的精度要求，往往需要几个小时到十几个小时的运算时间才能获得更新后的gis地图，这样，得到的gis地图是几个小时到十几个小时之前的城市地图，时效性差，可参考性差。
69.因此，为解决现有技术中存在的技术问题，本技术提出一种基于无人机拍摄视频的三维地图建模方法和装置，通过无人机拍摄视频，并且，在无人机边拍摄视频边将拍摄的视频实时传输到图像处理设备中，图像处理设备在接收到无人机拍摄的视频后，实时对视频进行图像拼接处理，这样，在无人机完成拍摄后就能获得正射态势图像，这样，视频拍摄和视频图像拼接同步进行，加快获得正射态势图像的速度，从而可以快速根据正射态势图像和历史城市三维地图，获得目标城市三维地图，避免了时间的延时，提高了时效性。
70.图1为本技术一实施例提供的基于无人机拍摄视频的三维建模方法。如图1所示，本技术所述方法的执行主体例如为具有图像处理功能的设备，例如，图形处理器gpu，本技术所述方法包括：
71.s101、实时接收无人机在多条飞行航线中每段飞行航线的飞行过程中拍摄的视频数据。
72.其中，多条飞行航线为无人机在目标区域内飞行的航线。
73.本实施例，对于目标区域，如图2所示，根据目标区域的环境特点和建模需求，规划多条飞行航线，无人机按照飞行航线拍摄视频数据。
74.无人机在规划的飞行航线飞行时，无人机对目标区域拍摄视频，并且，在无人机拍摄目标区域的视频时，同步将拍摄的视频数据实时传输给图像处理设备。
75.可选的，如图3所示，无人机31通过搭建无人机载端的中继图传链路，将拍摄的视频数据发送给地面站32，地面站32通过基站33建立的无线网络将视频数据发送给服务器，从而可以在安全区域进行高空图传中继，避免城市链路遮挡问题。
76.可选的，为进一步加快获得城市三维建模的速度，可以多机协同作业，即依靠多架无人机，例如，如图2所示，每条飞行航线上设置一架无人机，每架无人机根据飞行航线拍摄飞行航线周边环境的视频数据，并同步将视频数据实时发送给图像处理设备。
77.s102、针对每段飞行航线，根据视频数据，进行实时拼接，获得与每段飞行航线对应的条带图像。
78.其中，条带图像为飞行航线预设距离范围内的图像。
79.本实施例，图像处理设备接收到的无人机实时传输的视频数据，根据视频数据以及拍摄视频数据时无人机的飞行姿态数据，对视频数据进行实时拼接，获得每段飞行航线对应的条带图像。
80.其中，无人家在飞行航线上飞行时，拍摄的视频数据为该飞行航线预设距离范围内视频数据，因此，根据视频数据拼接获得的是飞行航线预设距离范围内的图像。
81.需要说明的是，根据相邻飞行航线上的无人机拍摄的视频数据获得的条带图像可以有重合的图像。
82.可选的，本技术方法还包括：
83.s105、在实时接收无人机在多段飞行航线中每段飞行航线的飞行过程中拍摄的视频数据的过程中，实时接收所述无人机发送的拍摄所述视频数据时的飞行姿态数据。
84.具体的，无人机在飞行航线上飞行时，会变换飞行姿态，这样，同一位置，不同的飞行姿态下拍摄的视频数据时不同的，因此，无人机在将视频实时传输到图像处理设备时，同时将拍摄视频数据时无人机的飞行姿态数据进行同步传输。
85.相应的，s102的一种可能的实现方式包括s1021-s1023：
86.s1021、对视频数据进行抽帧，获得多张待拼接图像。
87.其中，待拼接图像上携带有与拼接图像对应的无人机的飞行姿态数据。
88.具体的，图像处理设备接收到的是视频数据，在进行图像拼接时，是对图像进行拼接，因此，对接收到的视频数据按照时间顺序进行抽帧，获得多张待拼接图像。其中，每张待拼接图像上携带与该待拼接图像对应的无人机的飞行姿态数据。
89.s1022、根据每张待拼接图像，从飞行姿态数据中获取无人机在拍摄待拼接图像时的飞行姿态数据。
90.具体的，获取待拼接图像时，会获取无人机拍摄的视频数据中该带拼接图像的时间点，根据改时间点从飞行姿态数据获取无人机在拍摄待拼接图像时的飞行姿态数据。
91.s1023、根据每张待拼接图像及待拼接图像对应的飞行姿态数据，对多张带拼接图像进行实时拼接，获得与每段飞行航线对应的条带图像。
92.具体的，根据与每张待拼接图像对应的无人机的飞行姿态数据，可以获知该待拼接图像的拍摄角度，拍摄高度等信息，根据拍摄角度，拍摄高度等信息对多张待拼接图像进行实时拼图。
93.可选的，根据每张待拼接图像以及与每张待拼接图像对应的无人机的飞行姿态数据，对多张待拼接图像进行实时拼图时，可以采用区域拼图、单张拼图、悬停拼图和航线拼图中至少一种方法，获得与每段飞行航线对应的条带图像。
94.其中，区域拼图：无人机升空以后，无人机在指定区域内按照事先设定的速度和航线网格进行拼图飞行，图像处理设备根据飞行姿态数据自动进入拼图状态。其中，无人机在进行拼图飞行时，获得的视频数据具有一定的影像重叠。无人机将拍摄的视频数据实时传输回地面站，图像处理设备将抽帧获得的待拼接图像进行拼接。具体的，无人机将视频数据中指定区域的影像进行抽帧，获取待拼接图像，然后将待拼接图像与影像中获得该待拼接图像的时刻对应的地理位置进行融合，然后通过对多张待拼接图像进行特征，由于视频数据具有一定的影像重叠，因此，从多张待拼接图像中提取的特征中具有相同或相近的特征，通过对从多张待拼接图像中提取的特征进行快速匹配，定向计算等，使用空间三点云进行
影像的快速拼接，获得拼图结果。同时，把拼图结果保存到依据开始拼图时间创建的目录里，方便后期进行线下回放分析。
95.单张拼图是在无人机飞行过程的任意时刻都可以进行拼图。其中，无人机在拍实时记录拍摄时刻的经纬度、无人机姿态数据等，无人机姿态数据包括：无人家的俯仰角、滚转和方位角度等，无人机把拍摄获得的视频数据中的一帧图像数据实时传输回图像处理设备，图像处理设备根据拍摄时刻的经纬度、无人机姿态数据以及已有的gis地图中的三维数据，将接收到的图像数据转换到gis地图的对应位置和角度拼图到地图上。通过单张拼图获得目标城市三维地图的方法用于城市长距离的线状区域的关键位置巡检，适用于日常巡检工作。
96.悬停拼图是无人机悬停于空中的一个位置，调整云台，到一个合适的角度对城市中的特定目标进行拍摄，实时将视频数据传输回图像处理设备。图像处理设备同时根据视频数据抽帧获得到待拼接图像，然后根据拍照时刻的经纬度、无人机姿态数据和云台角度，计算待拼接图像的贴图坐标，将待拼接图像拼接到gis地图上。悬停拼图适用于对定点位置进行时间轴上的观察，为调整下一步计划提供一定的依据基础。生成的拼图结果可以按照时间序列进行排列拼接，打开后能比较直观查看城市环境。
97.航线拼图是图像处理设备根据无人机的飞行航线进行航线拼图。无人机根据特定的航线进行飞行，在飞行过程中将视频数据传输给地面上的图像处理设备，图像处理设备将获得的视频数据根据前后帧序列定向方法进行计算，只需计算后一帧的视频数据与前一帧的无人机的相对姿态数据，依次类推，获得飞行过程中的影像图，并将其投影到目标城市三维地图上。航线拼图同时适用于管线的巡检无人机巡检工作。同样，把拼图结果保存到依据开始拼图时间创建的目录里，方便后期进行线下回放分析。
98.s103、根据多段飞行航线中与每段飞行航线对应的条带图像，获得正射态势图像。
99.本实施例中，图像处理设备在获得每条飞行航线的条带图像的过程中，基于当前已经获得的条带图像，将相邻飞行航线的条带图像进行实时拼接，获得正射态势图像，即获得每条飞行航线的条带图像与根据多条飞行航线对应的条带图像获得正射态势图像是可以同步进行的。
100.s104、根据正射态势图像和目标区域的历史三维地图，获得目标区域的三维地图。
101.本实施例，目标区域的历史三维地图，例如可以是从网站上下载的，或者，是当前时间点之前，根据本技术所示的三维建模地图方法获得的。
102.根据正射态势图像对目标区域的历史三维地图进行更新，获得目标区域的三维地图。
103.s104的一种可能的实现方式包括s1041-s1044：
104.s1041、通过倾斜摄影测量中的计算机视觉定位方法，建立不规则三角网模型中空间点与正射态势图像的投影关系。
105.具体的，不规则三角网模型中空间点与正射态势图像共用同一套外方位元素(位置加姿态)，从而保证两者之间投影的一致性。
106.s1042、根据建立不规则三角网模型中空间点与正射态势图像的投影关系，建立不规则三角网模型中各灰度三角网与正射态势图像的影像纹理的投影关系。
107.具体的，根据无人机的飞行姿态数据，获取正射态势图像中各点的空间坐标信息，
然后，将不规则三角网模型中空间点与正射态势图像中的各点进行匹配，从而获得不规则三角网模型中各灰度三角网与正射态势图像的影像纹理的投影关系。
108.s1043、根据不规则三角网模型中各灰度三角网与正射态势图像的影像纹理的投影关系，将正射态势图像纹理信息映射到数字高程模型(digital elevation model，dem)中，获得与正射态势图像对应的目标区域的三维地图。
109.具体的，不规则三角网中空间点坐标基于共线方程反算其在影像中的像方坐标，由于不规则三角网模型中各灰度三角网与正射态势图像的影像纹理存在投影关系，因此，通过不规则三角网中空间点在影像中的像方坐标，获得正射态势图像对应的纹理坐标。然后，遍历正射态势图像对应的纹理坐标，从而实现正射态势图像与目标区域的三维地图的融合，获得与正射态势图像对应的目标区域的三维地图。
110.需要说明的是，在s1043之前，还需要对正射态势图像纹理信息进行几何纠正，以使最终获得的与正射态势图像对应的目标区域的三维地图与实际目标区域的环境信息更加接近。
111.s1044、将与正射态势图像对应的目标区域的三维地图叠加到目标区域的历史三维地图上，对目标区域的历史三维地图进行更新，获得目标区域的三维地图。
112.具体的，根据与正射态势图像对应的目标区域的三维地图与目标区域的历史三维地图上各点之间的空间坐标关系，将与正射态势图像对应的目标区域的三维地图上的点映射到目标区域的历史三维地图上与其匹配的点上，对该点的环境信息进行更新，获得目标区域的三维地图。
113.本实施例，通过该实时接收无人机在多段飞行航线中每段飞行航线的飞行过程中拍摄的视频数据，针对每段飞行航线，根据视频数据，进行实时拼接，获得与每段飞行航线对应的条带图像，根据多段飞行航线中与每段飞行航线对应的条带图像，获得正射态势图像；根据正射态势图像和目标区域的历史三维地图，获得目标区域的当前三维地图。这样，视频拍摄和视频图像拼接同步进行，加快获得正射态势图像的速度，从而可以快速根据正射态势图像和历史城市三维地图，获得目标城市三维地图，避免了时间的延时，提高了时效性。
114.可选的，在s104之后，本技术还包括：
115.s105、将目标区域的三维地图发送给终端设备。
116.具体的，一区域发生应急事件时，前方工作人员需要及时了解时间现场的详细信息，例如，火灾现场各处的火势，各处有无人员被困等信息，因此，在获得目标区域的三维地图后，及时将目标区域的三维地图发送给前方工作人员，以使前方工作人员及时根据现场的详细信息制定工作计划。
117.可选的，本技术中，无人机还可以搭载云台吊舱，以对较远距离的目标实现跟踪 定位功能。其中，机载端通过该视觉跟踪算法，对目标锁定，同时吊舱的激光传感器能够测量目标距离。无人机将距离目标的距离、以及无人机和吊舱的pos进行实时传出，从而可以根据目标的距离，无人机和吊舱的pos信息，实现目标经纬度的计算，在并将目标叠加到正射态势图像中。这样，便于对目标进行跟踪。
118.图4为本技术一实施例提供的基于无人机拍摄视频的三维地图建模装置的结构示意图。如图4所示，基于无人机拍摄视频的三维地图建模装置包括：接收模块41、第一拼接模
块42、第二拼接模块43和更新模块44。可选的，基于无人机拍摄视频的三维地图建模装置还可以包括：保存模块45。
119.其中，接收模块，用于实时接收所述无人机在多段飞行航线中每段飞行航线的飞行过程中拍摄的视频数据，所述多段飞行航线为所述无人机在目标区域内飞行的航线；
120.第一拼接模块，用于针对所述每段飞行航线，根据所述视频数据，进行实时拼接，获得与所述每段飞行航线对应的条带图像，其中，所述条带图像为所述飞行航线预设距离范围内的图像；
121.第二拼接模块，用于根据所述多段飞行航线中与所述每段飞行航线对应的条带图像，获得正射态势图像；
122.更新模块，用于根据所述正射态势图像和所述目标区域的历史三维地图，获得所述目标区域的当前三维地图。
123.可选的，所述接收模块在在实时接收无人机在多段飞行航线中每段飞行航线的飞行过程中拍摄的视频数据的过程中，还用于实时接收所述无人机发送的拍摄所述视频数据时的飞行姿态数据；
124.相应的，所述第一拼接模块针对所述每段飞行航线，根据所述视频数据，进行实时拼接，获得与所述每段飞行航线对应的条带图像，具体用于：
125.对所述视频数据进行抽帧，获得多张待拼接图像；
126.根据所述每张待拼接图像，从所述飞行姿态数据中获取所述无人机在拍摄所述待拼接图像时的飞行姿态数据；
127.根据每张所述待拼接图像及所述待拼接图像对应的飞行姿态数据，对所述多张带拼接图像进行实时拼接，获得与所述每段飞行航线对应的条带图像。
128.可选的，所述第一拼接模块根据每张所述待拼接图像及所述待拼接图像对应的飞行姿态数据，对所述多张带拼接图像进行实时拼接，获得与所述每段飞行航线对应的条带图像，具体用于：
129.根据每张所述待拼接图像及所述待拼接图像对应的飞行姿态数据，采用区域拼图、单张拼图、悬停拼图和航线拼图中至少一种方法，对所述多张带拼接图像进行实时拼接，获得与所述每段飞行航线对应的条带图像。
130.可选的，所述更新模块根据所述正射态势图像和所述目标区域的历史三维地图，获得所述目标区域的当前三维地图，具体用于：
131.通过倾斜摄影测量中的计算机视觉定位方法，建立不规则三角网模型中空间点与所述正射态势图像的投影关系；
132.根据所述建立不规则三角网模型中空间点与所述正射态势图像的投影关系，建立所述不规则三角网模型中各灰度三角网与所述正射态势图像的影像纹理的投影关系；
133.根据所述不规则三角网模型中各灰度三角网与所述正射态势图像的影像纹理的投影关系，将所述正射态势图像纹理信息映射到数字高程模型dem中，获得与所述正射态势图像对应的目标区域的三维地图；
134.将与所述正射态势图像对应的目标区域的三维地图叠加到所述目标区域的历史三维地图上，对所述目标区域的历史三维地图进行更新，获得所述目标区域的三维地图。
135.可选的，所述更新模块将所述正射态势图像纹理信息映射到数字高程模型dem中，
获得与所述正射态势图像对应的目标区域的三维地图之前，还用于：
136.对所述正射态势图像纹理信息进行几何纠正，获得纠正后的正射态势图像纹理信息；
137.所述将所述正射态势图像纹理信息映射到数字高程模型dem中，获得与所述正射态势图像对应的目标区域的三维地图，包括：
138.将所述纠正后的正射态势图像纹理信息映射到数字高程模型dem中，获得与所述正射态势图像对应的目标区域的三维地图。
139.可选的，所述装置还包括：保存模块；
140.所述保存模块，用于在所述第一拼接模块针对所述每段飞行航线，根据所述视频数据，进行实时拼接，获得与所述每段飞行航线对应的条带图像之后，根据获得与所述每段飞行航线对应的条带图的时间顺序，保存与所述每段飞行航线对应的条带图。
141.本技术实施例提供的基于无人机拍摄视频的三维地图建模装置，其具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
142.图5为本技术一实施例提供的电子设备的结构示意图。如图5所示，电子设备包括：处理器501和存储器502。
143.其中，所述存储器502存储计算机执行指令。
144.所述处理器501执行所述存储器502存储的计算机执行指令，使得所述处理器501执行上述任一实施例所述的方法。
145.本技术实施例提供的电子设备，其具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
146.在上述的图5所示的实施例中，应理解，处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specificintegrated circuit，asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
147.存储器可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器。
148.总线可以是工业标准体系结构(industry standard architecture，isa)总线、外部设备互连(peripheral component interconnect，pci)总线或扩展工业标准体系结构(extended industry standard architecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本技术附图中的总线并不限定仅有一根总线或一种类型的总线。
149.本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述方法实施例的视频流格式转换方法。
150.上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存
储器(rom)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
151.一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(application specific integratedcircuits，asic)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
152.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
153.最后应说明的是，以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。