基于三维场景模型的吊舱姿态修正方法、装置和无人机与流程

1.本技术涉及吊舱姿态修正技术领域，特别涉及一种基于三维场景模型的吊舱姿态修正方法、基于三维场景模型的吊舱姿态修正装置、无人机和计算机可读存储介质。


背景技术：

2.配两轴或三轴吊舱的无人机自动化巡检作业是当下一个热门方向，主要应用在电力、管道、河道、公路、铁路、桥梁巡检等领域。保证吊舱中摄像机所拍摄的视场区域为使用者所感兴趣的区域roi是后续能够进行进一步图像处理的前提条件,尤其是在巡线作用中，无人机往往是长距离线性飞行，如果中间某段图像无效，可能导致整个飞行架次的作业成果无效。仅通过提高相对姿态精度无法满足大范围工作区域的任务要求。而为了进一步提高绝对姿态精确度则需要在感兴趣的区域(roi)内维护一组特殊的图像控制点，或是采用基准图像以提供绝对位置信息。
3.现有技术一将含有高程信息的基准图像与无人机实时视频图像进行特征点匹配来进行无人机姿态校准，需要当前视频图像为与基准图类似的角度拍摄，比如正射。如果当前视频图像相对基准图的原始拍摄角度存在很大倾斜角度，或是当前摄像机处于周围存在大量建筑物的复杂场景下时，基准图匹配方法将无法开展。
4.现有技术二将无人机视频图像数据和深度相机的深度数据结合以更新原始场景模型，并在无人机飞行中通过检测人工标签物体优化无人机定位和姿态的方案，需要人工维护标签物体，并且工作距离严重受限于深度相机的工作距离。
5.针对依靠图像控制点来进行实时姿态校正方案中存在无人机起飞阶段需要人工介入寻找roi这一不便性。通常通过预先存储若干基准图来替代roi区域的人工图像控制点是一种提高自动化作业率的有效方式。但是预先存储的基准图只是某个角度(一般是向下正射)下拍摄的图像，当无人机地处复杂环境例如周围存在大量建筑物的场景时，拍摄到的图像无法与基准图进行有效的比对。
6.因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前亟需解决的问题。


技术实现要素：

7.本技术的目的是提供一种基于三维场景模型的吊舱姿态修正方法、基于三维场景模型的吊舱姿态修正装置、无人机和计算机可读存储介质，能够使无人机吊舱自动化地在复杂场景环境下开展巡检作业并实时测量并修正无人机和所搭载吊舱的姿态和摄像机变焦焦距，保证roi被有效覆盖。其具体方案如下：
8.本技术提供一种基于三维场景模型的吊舱姿态修正方法，包括根据无人机的当前位置和当前姿态、吊舱的当前位置和当前姿态、吊舱摄像机的当前焦距值，基于预设三维场景模型生成对应的投影图像，并获取投影图像的特征点及投影图像的特征点对应三维空间点在世界坐标系的坐标；将当前视频帧图像的特征点与投影图像的特征点进行匹配，根据
匹配后的特征点、投影图像的特征点对应三维空间点在世界坐标系的坐标重构出当前视频帧图像对应的吊舱摄像机的理论位置数据、理论姿态数据和理论焦距值；根据吊舱摄像机的当前位置、当前姿态和当前焦距值、与吊舱摄像机的理论位置数据、理论姿态数据和理论焦距值的误差值对吊舱姿态进行修正。
9.可见，本技术利用预设三维场景模型实时生成与当前视频帧图像最近似的投影图像，然后将两种图像进行特征点匹配并通过算法获得吊舱姿态和焦距的修正值。实现了在高度自动化的复杂场景无人机低空大倾斜角度视频巡检任务中，对姿态和摄像机进行校准以保证roi区域被有效覆盖，并提高了绝对定位精度，以保证作业的有效性。本技术同时还提供了一种基于三维场景模型的吊舱姿态修正装置、无人机和计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
10.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1为本技术实施例提供的一种基于三维场景模型的吊舱姿态修正方法的流程示意图；
12.图2为本技术实施例提供的一种生成投影图像和获取投影图像的特征点及投影图像的特征点对应三维空间点在世界坐标系的坐标的方法的流程示意图；
13.图3为本技术实施例提供的一种基于三维场景模型的吊舱姿态修正装置的结构示意图。
具体实施方式
14.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护范围。
15.搭配两轴或三轴吊舱的无人机自动化巡检作业是当下一个热门方向，主要应用在电力、管道、河道、公路、铁路、桥梁巡检等领域。保证吊舱中摄像机所拍摄的视场区域为使用者所感兴趣的区域roi是后续能够进行进一步图像处理的前提条件,尤其是在巡线作用中，无人机往往是长距离线性飞行，如果中间某段图像无效，可能导致整个飞行架次的作业成果无效。仅通过提高相对姿态精度无法满足大范围工作区域的任务要求。而为了进一步提高绝对姿态精确度则需要在感兴趣的区域(roi)内维护一组特殊的图像控制点，或是采用基准图像以提供绝对位置信息。
16.针对依靠图像控制点来进行实时姿态校正方案中存在无人机起飞阶段需要人工介入寻找roi这一不便性。通常通过预先存储若干基准图来替代roi区域的人工图像控制点是一种提高自动化作业率的有效方式。但是预先存储的基准图只是某个角度(一般是向下正射)下拍摄的图像，当无人机地处复杂环境例如周围存在大量建筑物的场景时，拍摄到的
图像无法与基准图进行有效的比对。
17.基于上述问题，本实施例提供一种基于三维场景模型的吊舱姿态修正方法，能够使无人机吊舱自动化地在复杂场景环境下开展巡检作业并实时测量并修正无人机和所搭载吊舱的姿态和摄像机变焦焦距，保证roi被有效覆盖。具体请参考图1，图1为本技术实施例所提供的一种基于三维场景模型的吊舱姿态修正方法的流程图，具体包括：
18.s101：获取无人机的当前位置和当前姿态、吊舱的当前位置和当前姿态、吊舱摄像机的当前焦距值、以及吊舱摄像机采集的当前视频帧图像。
19.本实施例中不对获取无人机的当前位置和当前姿态、吊舱的当前位置和当前姿态、吊舱摄像机的当前焦距值、以及吊舱摄像机采集的当前视频帧图像的方式进行限定，可以根据无人机上实际安装的采集设备进行获取，只要能够实现本实施例的目的即可。例如，可以通过差分gps，机载imu等速度和加速度传感器综合后得到无人机在世界坐标系下的当前位置和当前姿态数据，以及根据无人机机舱和吊舱相对位置以及两轴或三轴吊舱姿态数据换算得到的吊舱在以地球球心为原点的世界坐标系下的当前位置和当前姿态数据。本实施例还包含获取吊舱摄像机的内在参数，即可变焦摄像机的当前焦距值，可以通过读取吊舱摄像机当前参数获得。此外，本实施例还包含获取吊舱摄像机采集的当前视频帧图像，可以通过读取当前无人机的吊舱摄像机拍摄到的图像帧获得。
20.具体的，使用带有吊舱的无人机进行巡线飞行。无人机飞行路径一般情况下根据所需巡线范围在事前进行规划。飞行过程中吊舱实时采集视频图像，并且实时获取差分gps信息，并从imu等其它传感器获取无人机和吊舱姿态信息，以及当前吊舱摄像机焦距测量值。
21.进一步的，通过差分gps获取得到的无人机世界位置较为准确，精度为厘米级别，但是获取gps的时刻与摄像机曝光时间之间存在误差，一般为毫秒级别，乘以无人机速度即得gps误差。机载imu获取的姿态角度值一般误差为0.1度级别，无人机和吊舱相对位置误差主要来源于结构安装误差以及吊舱减震装置带来的低频位移误差。吊舱编码盘误差区别与编码盘自身精度，一般为毫弧度至微弧度之间，但是存在两轴(方位，俯仰)或三轴(方位，俯仰，横滚)的非线性叠加。摄像机内在参数误差，主要指摄像机当前焦距值的测量误差和摄像机传感器尺寸的误差，前者一般为微米至毫米级别，后者可通过事前标定方式去除,一般为纳米至微米级别。由上可知，本实施例中采集到的无人机的当前位置和当前姿态、吊舱的当前位置和当前姿态、吊舱摄像机的当前焦距值都较为准确，进一步的为后续的获取投影图像提供精确的数据支持。
22.s102：根据无人机的当前位置和当前姿态、吊舱的当前位置和当前姿态、吊舱摄像机的当前焦距值，基于预设三维场景模型生成对应的投影图像，并获取投影图像的特征点及投影图像的特征点对应三维空间点在世界坐标系的坐标。
23.本实施例中，预设三维场景模型是通过当前已经成熟商用的无人机倾斜摄影方案、地面图像控制点、以及三维重建软件smart3d等技术重建出的含有地理位置信息的三维场景模型，一般模型精度和定位精度可达厘米级。在无人机巡检作业中，作业区域一般比较固定，因此事先只需制作一次上述场景就可长时间重复使用。
24.在一种可实现的实施方式中，预设三维场景模型的生成方法，包括：通过地面人工采集图像控制点，并结合无人机倾斜摄影技术，获取可供三维重建的若干高分辨率图像和
地面图像控制点信息；将若干高分辨率图像和地面图像控制点信息输入三维重建软件中得到带有地理位置信息的三维场景模型。
25.具体的，首先，通过在地面人工采集图像控制点，并结合测绘领域成熟的无人机倾斜摄影技术，获取可供三维重建的若干高分辨率(测绘相机分辨率相对于吊舱摄像机分辨率高)图像和地面图像控制点信息。由于该方法成本较高，工作量大，同一地理区域一般一年执行一次即可。接下来，将获取的若干高分辨率图像和底面图像控制点信息输入到smart3d等三维重建软件中得到带有地理位置信息的高精度三维场景模型。可以理解的是，以事先通过倾斜摄影方式生成的带有地理位置信息的高精度三维场景模型为本技术提供的吊舱姿态修正方法能够进行相对世界坐标系进行绝对定位的依据。
26.本实施例中，根据无人机的当前位置和当前姿态、吊舱的当前位置和当前姿态、吊舱摄像机的当前焦距值，根据预设三维场景模型可以生成与当前视频帧图像对应的投影图像，再求解出投影图像的特征点，和投影图像的特征点对应三维空间点在世界坐标系的坐标。
27.在一种可实现的实施方式中，请参考图2，图2为本技术实施例提供的一种生成投影图像和获取投影图像的特征点及投影图像的特征点对应三维空间点在世界坐标系的坐标的方法的流程图，包括：
28.s1021：将无人机的当前位置和当前姿态、吊舱的当前位置和当前姿态输入预设三维场景模型中，得到吊舱摄像机在预设三维场景模型中的虚拟位置和虚拟姿态。
29.具体的，将无人机的当前位置和当前姿态、吊舱的当前位置和当前姿态输入预设三维场景模型中，得到吊舱摄像机在预设三维场景模型中的虚拟位置和虚拟姿态的步骤，可以包括：将无人机当前的gps经纬高数据和imu等传感器获取得到的姿态数据转换为以地球球心为原点，以原点到经度0.0度、纬度0.0度、高度0.0米点的射线为x轴，以原点到经度90.0度、纬度0.0度，高度0.0米点的射线为y轴，以原点到北极点的射线为z轴的三维直角坐标系中的xyz坐标中的位置和姿态，即为虚拟位置和虚拟姿态。
30.s1022：根据吊舱摄像机在预设三维场景模型中的虚拟位置和虚拟姿态、以及吊舱摄像机的当前焦距值在预设三维场景模型中生成对应的投影图像，投影图像包括纹理子图像和位置子图像。
31.具体的，投影图像分为纹理子图像和位置子图像。纹理子图像和位置子图像的分辨率一致。投影图像的分辨率指定方式如下：以吊舱摄像机分辨率和当前焦距值计算当前视场角a(视场宽度角)，根据测量位姿(即获取的无人机的当前位置和当前姿态、吊舱的当前位置和当前姿态)中各环节存在的各项误差的最大累计误差估值，计算得到一个更大的视场宽度角a2，以便能够包含但不局限于当前实时视频帧所对应的实际视场范围。吊舱摄像机分辨率为c
×
d。(a2
×
c/a)
×
(a2
×
d/a)即为投影图分辨率。
32.进一步的，步骤s1022根据吊舱摄像机在预设三维场景模型中的虚拟位置和虚拟姿态、以及吊舱摄像机的当前焦距值在预设三维场景模型中生成对应的投影图像，投影图像包括纹理子图像和位置子图像，包括：
33.s10221：根据吊舱摄像机在预设三维场景模型中的虚拟位置和虚拟姿态、预设吊舱摄像机的尺寸和分辨率、以及吊舱摄像机的当前焦距值，计算出吊舱摄像机当前视场在预设三维场景模型中的投影方向和视场角。
34.s10222：根据吊舱摄像机当前视场在预设三维场景模型中的投影方向和视场角确定在预设三维场景模型中对应的投影区域，将投影区域的每一个网格的颜色渲染到投影图像的纹理子图像上、将每一个网格的三维坐标换算到世界坐标系后渲染到投影图像的位置子图像上，其中，对于投影区域中存在遮挡关系的若干网格，仅渲染位于前景部分的网格。
35.具体的，通过获取的吊舱在世界坐标系下的当前位置和当前姿态、并根据吊舱事前标定得到的传感器尺寸和分辨率以及当前变焦焦距的测量值计算出吊舱当前视场在预设三维场景模型中的投影方向和视场角。将预设三维场景模型的每一个网格通过例如opengl顶点和像素着色器程序，将网格顶点的颜色渲染到投影图像的纹理子图像上，而将网格的三维坐标换算到世界坐标后渲染到投影图像的位置子图像(非颜色数据)上。渲染过程中通过利用opengl的深度缓冲区保证投影区域存在遮挡关系的预设三维场景模型网格中，只有最靠近吊舱摄像机位置的网格会被渲染出来，即对于投影区域存在遮挡关系的众多网格，可以利用例如深度缓冲区来动态地保证仅渲染与吊舱摄像机的距离值最小的那部分网格，即前景部分的网格(其它网格由于被遮挡或超出视场范围因此对于吊舱摄像机不可见，相应渲染结果被略去或覆盖)，所以渲染结果只包含吊舱摄像机可见的网格其中，纹理子图像的子区域可最大程度的模拟复杂环境下吊舱摄像机当前视场所获的真实图像，以便进行后续图像匹配。
36.s1023：从投影图像的纹理子图像中提取出特征点，并从位置子图像中获取每个特征点对应三维空间点在世界坐标系下的坐标。
37.其中，本实施例不限定从投影图像的纹理子图像中提取特征点的具体方法，可以采用现有技术中的成熟方法，只要能够实现本实施例的目的即可，但是从投影图像的纹理子图像中提取出特征点的方法应当与从当前视频帧图像中提取特征点的方法一致，以保证后续特征点匹配的准确性。例如，本实施例中可以应用sift等具有尺度不变性的特征点提取方法得到的若干个特征点信息。
38.进一步的，虽然当前视频帧图像和投影图像的每个像素对应视角尺度非常接近，但是为了能够最大程度的提高精度，仍需考虑其存在的尺度误差。另外考虑到二维图像中斑点比角点和边缘点更便于在三维空间中定位，因此采用如sift等具有尺寸不变性的斑点特征点提取方法提取投影图像的特征点和特征点描述信息，并根据特征点在纹理子图像中的像素位置，从位置子图像中获取相应特征点所对应的三维空间点在世界坐标系下的坐标。具体方法包括：获取特征点在纹理子图像中的二维像素位置(u,v)，在同样分辨率的位置子图像中获取(u,v)二维像素位置下的数据值，这个数据值不是rgb颜色值，而是以地球球心为原点的三维直角坐标系中的xyz位置值。
39.s103：从当前视频帧图像中提取特征点。
40.本实施例不限定从当前视频帧图像中提取特征点的具体方法，可以采用现有技术中的成熟方法，只要能够实现本实施例的目的即可，但是从当前视频帧图像中提取特征点的方法应当与从投影图像的纹理子图像中提取出特征点的方法一致，以保证后续特征点匹配的准确性。例如，本实施例中可以应用sift等具有尺度不变性的特征点提取方法得到的若干个特征点信息。
41.s104：将当前视频帧图像的特征点与投影图像的特征点进行匹配，根据匹配后的特征点、投影图像的特征点对应三维空间点在世界坐标系的坐标重构出当前视频帧图像对
应的吊舱摄像机的理论位置数据、理论姿态数据和理论焦距值。
42.具体的，将当前视频帧图像的特征点与投影图像的特征点进行匹配，按照计算机视觉中两视图几何的关系，匹配的特征点数目只要大于或者等于6个即可恢复吊舱摄像机矩阵，由于s101步骤获取的无人机的当前位置和当前姿态、吊舱的当前位置和当前姿态、吊舱摄像机的当前焦距值误差较小，因此通常情况下都是能够达到大于或者等于6个特征点匹配的。如果匹配数目不足则可以放弃该帧，重新从s101步骤开始重新执行；如果匹配数目足够，则可以继续后面的流程。
43.在一种可实现的实施方式中，根据匹配后的特征点、投影图像的特征点对应三维空间点在世界坐标系的坐标重构出当前视频帧图像对应的吊舱摄像机的理论位置数据、理论姿态数据和理论焦距值，包括：根据匹配后的特征点和投影图像的特征点对应三维空间点在世界坐标系的坐标，计算出当前视频帧图像对应的吊舱摄像机矩阵；根据吊舱摄像机矩阵与吊舱摄像机旋转矩阵、吊舱摄像机相对于世界坐标系的中心位置、吊舱摄像机内参数矩阵、单位矩阵的数值关系，求解出吊舱摄像机旋转矩阵、吊舱摄像机相对于世界坐标系的中心位置和吊舱摄像机内参数矩阵；根据吊舱摄像机内参数矩阵和预设吊舱摄像机像素宽度求解出吊舱摄像机理论焦距值。
44.具体的，根据匹配后的特征点和对应三维空间点在世界坐标系的坐标，可以采用最大似然估计方法计算出当前视频帧图像对应的吊舱摄像机矩阵，即秩为3的3
×
4矩阵p：p＝k{r,t}＝{m|
‑
mc}，式中r为3
×
3吊舱摄像机旋转矩阵,c为吊舱摄像机的中心位置(世界坐标系)，k为吊舱摄像机内参数矩阵，m为kr，t为
‑
rc。
45.进一步的，对上式左乘
‑
m
‑1得到：m
‑1p＝{
‑
i|c}，以此得到c的值，其中i为单位矩阵。然后对m进行矩阵qr分解可得到k和r的取值。其中qr分解结果虽然不唯一，但可通过下述方法消除多余结果：考虑获取的无人机和吊舱的测量位姿信息虽然存在误差，但是不会与实际值偏差过大，所以根据获取的无人机的当前位置和当前姿态、吊舱的当前位置和当前姿态结果可计算得到一个粗略的旋转矩阵r2，使用r2来约束上述qr分解得到的r的取值(即r2与r相差不大)以得到唯一的qr分解结果。这里，通过r2来约束吊舱摄像机旋转矩阵r，保证了取值唯一。最终吊舱摄像机旋转矩阵r、吊舱摄像机中心的世界坐标位置c，以及吊舱摄像机内参数矩阵k均被求解出。此外可通过吊舱摄像机内参数矩阵k第一行第一列元素k11乘以已知的吊舱摄像机像素宽度dx得到吊舱摄像机当前理论焦距值f，即获得当前视频帧图像对应的吊舱摄像机的理论位置数据、理论姿态数据和理论焦距值。
46.s105：根据无人机的当前位置和当前姿态、吊舱的当前位置和当前姿态计算吊舱摄像机的当前位置和当前姿态，根据吊舱摄像机的当前位置、当前姿态和当前焦距值、与吊舱摄像机的理论位置数据、理论姿态数据和理论焦距值的误差值对吊舱姿态进行修正。
47.具体的，将步骤s104计算得到的世界坐标系下的吊舱摄像机旋转矩阵r、位置c，以及理论焦距值f作为理论标准。然后根据之前测得的无人机的当前位置和当前姿态、吊舱的当前位置和当前姿态、吊舱摄像机的当前焦距值，即无人机经度、纬度、高度、方位、横滚、俯仰、吊舱相对无人机的方位、俯仰、横滚(针对三轴云台的吊舱)参数计算出吊舱中摄像机当前测量得到的世界坐标系下的旋转矩阵r1，位置c1以及从调焦机构获取焦距值f1。可以理解的是，步骤s104中吊舱摄像机理论焦距值f的计算结果可作为步骤s105中调焦机构的一种闭环反馈。
48.进一步的，虽然吊舱摄像机的位置矫正不便，但可矫正旋转矩阵(即矫正姿态)和焦距值。因此可通过调整无人机横滚、吊舱相对无人机的方位、俯仰、横滚来消除r1与r之间的误差，通过变焦来消除f1与f之间的误差，即实现了吊舱姿态的修正。本实施例通过以吊舱摄像机在世界坐标系下的旋转矩阵和吊舱摄像机焦距值作为矫正指标，消除了无人机相对吊舱产生的相对位置和姿态误差的影响。
49.可以理解的是，本技术提供的基于三维场景模型的吊舱姿态修正方法是可以在无人机巡线时实时实施或者按照预设间隔时间实施的，具体实施频率可以根据需求自己设定，以确保roi区域被有效覆盖。
50.本技术提供的一种基于三维场景模型的吊舱姿态修正方法，即一种基于高精度三维场景模型的低空大倾斜视角吊舱姿态自动修正方法，通过实时生成与当前视频帧图像最近似的投影图像，然后将两种图像进行特征点匹配并通过算法获得姿态和焦距的修正指标，可应用于高度自动化的复杂场景无人机低空大倾斜角度视频巡检任务中，对姿态和吊舱摄像机进行校准以保证roi区域被有效覆盖，并提高绝对定位精度，以保证作业的有效性。此外，采用本技术提供的吊舱姿态修正方法，无人机在作业开始阶段只要保证吊舱摄像机视场处于包含但不局限于roi的三维场景中即可，即初始阶段不需要人工调整吊舱摄像机角度来寻找roi或标志物，自动化程度大幅提高。
51.下面对本技术实施例提供的一种基于三维场景模型的吊舱姿态修正装置进行介绍，下文描述的基于三维场景模型的吊舱姿态修正装置与上文描述的基于三维场景模型的吊舱姿态修正方法可相互对应参照。参考图3，图3为本技术实施例提供的一种基于三维场景模型的吊舱姿态修正装置的结构示意图，包括：
52.测量数据获取模块201，用于获取无人机的当前位置和当前姿态、吊舱的当前位置和当前姿态、吊舱摄像机的当前焦距值、以及吊舱摄像机采集的当前视频帧图像；
53.理论特征点获取模块202，用于根据无人机的当前位置和当前姿态、吊舱的当前位置和当前姿态、吊舱摄像机的当前焦距值，基于预设三维场景模型生成对应的投影图像，并获取投影图像的特征点及投影图像的特征点对应三维空间点在世界坐标系的坐标；
54.测量特征点获取模块203，用于从当前视频帧图像中提取特征点；
55.理论位姿计算模块204，用于将当前视频帧图像的特征点与投影图像的特征点进行匹配，根据匹配后的特征点、投影图像的特征点对应三维空间点在世界坐标系的坐标重构出当前视频帧图像对应的吊舱摄像机的理论位置数据、理论姿态数据和理论焦距值；
56.修正数据获取模块205，用于根据无人机的当前位置和当前姿态、吊舱的当前位置和当前姿态计算吊舱摄像机的当前位置和当前姿态，根据吊舱摄像机的当前位置、当前姿态和当前焦距值、与吊舱摄像机的理论位置数据、理论姿态数据和理论焦距值的误差值对吊舱姿态进行修正。
57.在一些具体的实施例中，理论特征点获取模块包括：
58.虚拟位姿获取单元，用于将无人机的当前位置和当前姿态、吊舱的当前位置和当前姿态输入预设三维场景模型中，得到吊舱摄像机在预设三维场景模型中的虚拟位置和虚拟姿态；
59.投影图像生成单元，用于根据吊舱摄像机在预设三维场景模型中的虚拟位置和虚拟姿态、以及吊舱摄像机的当前焦距值在预设三维场景模型中生成对应的投影图像，投影
图像包括纹理子图像和位置子图像；
60.理论特征点提取单元，用于从投影图像的纹理子图像中提取出特征点，并从位置子图像中获取每个特征点对应三维空间点在世界坐标系下的坐标。
61.在一些具体的实施例中，理论位姿计算模块包括：
62.摄像机矩阵计算单元，用于根据匹配后的特征点和投影图像的特征点对应三维空间点在世界坐标系的坐标，计算出当前视频帧图像对应的吊舱摄像机矩阵；
63.摄像机位姿计算单元，用于根据吊舱摄像机矩阵与吊舱摄像机旋转矩阵、吊舱摄像机相对于世界坐标系的中心位置、吊舱摄像机内参数矩阵、单位矩阵的数值关系，求解出吊舱摄像机旋转矩阵、吊舱摄像机相对于世界坐标系的中心位置和吊舱摄像机内参数矩阵；
64.摄像机焦距计算单元，用于根据吊舱摄像机内参数矩阵和预设吊舱摄像机像素宽度求解出吊舱摄像机理论焦距值。
65.在一些具体的实施例中，还包括：三维场景模型生成模块，用于生成预设三维场景模型。
66.在一些具体的实施例中，三维场景生成模块包括：
67.场景数据采集单元，用于通过地面人工采集图像控制点，并结合无人机倾斜摄影技术，获取可供三维重建的若干高分辨率图像和地面图像控制点信息；
68.场景模型生成单元，用于将若干高分辨率图像和地面图像控制点信息输入三维重建软件中得到带有地理位置信息的三维场景模型。
69.由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
70.下面对本技术实施例提供的一种无人机进行介绍，下文描述的无人机与上文描述的基于三维场景模型的吊舱姿态修正方法可相互对应参照。
71.本实施例还提供了一种无人机，搭配有吊舱，包括：
72.存储器，用于存储计算机程序；
73.处理器，用于执行计算机程序时实现如上述基于三维场景模型的吊舱姿态修正方法的步骤。
74.其中，存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令，该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器为无人机提供计算和控制能力，执行存储器中保存的计算机程序。
75.由于无人机部分的实施例与基于三维场景模型的吊舱姿态修正方法部分的实施例相互对应，因此无人机部分的实施例请参见基于三维场景模型的吊舱姿态修正部分的实施例的描述，这里暂不赘述。
76.下面对本技术实施例提供的一种计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的基于三维场景模型的吊舱姿态修正方法可相互对应参照。
77.本技术提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述基于三维场景模型的吊舱姿态修正方法的步骤。
78.由于计算机可读存储介质部分的实施例与基于三维场景模型的吊舱姿态修正方
法部分的实施例相互对应，因此计算机可读存储介质部分的实施例请参见基于三维场景模型的吊舱姿态修正方法部分的实施例的描述，这里暂不赘述。
79.说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
80.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
81.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。
82.以上对本技术所提供的一种基于三维场景模型的吊舱姿态修正方法、基于三维场景模型的吊舱姿态修正装置、无人机和计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。