相机拍摄位姿的恢复方法、装置、设备及存储介质与流程

1.本技术涉及三维重建技术领域，尤其涉及一种相机拍摄位姿的恢复方法、装置、设备及存储介质。


背景技术：

2.实时三维重建是指控制相机拍摄测绘区域的图像的同时，基于图像构建出测绘区域的三维地图。由于相机拍摄图像时的位姿是实时三维重建的重要数据，在获取到相机拍摄的图像后，跟踪图像以确定图像的相机拍摄位姿。由于相机处于稳定拍摄状态，前后帧的位姿不会出现突变，因此当图像与上一帧的位姿相差较大时，图像的相机拍摄位姿不准确，图像出现跟踪丢失的情况。
3.在现有技术中，对于跟踪丢失的图像，基于词袋模型的重定位方法恢复该图像的相机拍摄位姿，若重定位失败则直接丢弃该图像。而部分图像的丢弃会导致构建出的三维地图出现空洞，无法完整呈现真实场景，三维重建的构图效果较差。


技术实现要素：

4.本技术提供一种相机拍摄位姿的恢复方法、装置、设备及存储介质，解决了现有技术中图像丢弃导致三维地图出现空洞的问题，准确恢复跟踪丢失图像的相机拍摄位姿，避免出现图像丢弃的情况，保证三维地图的完整性，进而优化三维重建的构图效果。
5.第一方面，本技术提供了一种相机拍摄位姿的恢复方法，包括：
6.若检测到位姿恢复事件，则确定丢失图像帧与恢复所需的参考图像帧；
7.根据所述参考图像帧和所述丢失图像帧进行图像特征匹配，得到第一特征匹配对，并基于所述第一特征匹配对确定第一平移方向和第一旋转参量；
8.从跟踪成功的图像帧中确定出所述丢失图像帧与所述参考图像帧之间的参考平移距离；
9.基于所述参考平移距离以及所述第一平移方向确定出第一平移参量；
10.根据所述第一旋转参量和所述第一平移参量对所述丢失图像帧的相机拍摄位姿进行恢复。
11.第二方面，本技术提供了一种相机拍摄位姿的恢复装置，包括：
12.丢失图像确定模块，被配置为若检测到位姿恢复事件，则确定丢失图像帧与恢复所需的参考图像帧；
13.第一旋转参量确定模块，被配置为根据所述参考图像帧和所述丢失图像帧进行图像特征匹配，得到第一特征匹配对，并基于所述第一特征匹配对确定第一平移方向和第一旋转参量；
14.参考平移距离确定模块，被配置为从跟踪成功的图像帧中确定出所述丢失图像帧与所述参考图像帧之间的参考平移距离；
15.第一平移参量确定模块，被配置为基于所述参考平移距离以及所述第一平移方向
确定出第一平移参量；
16.位姿恢复模块，被配置为根据所述第一旋转参量和所述第一平移参量对所述丢失图像帧的相机拍摄位姿进行恢复。
17.第三方面，本技术提供了一种相机拍摄位姿的恢复设备，包括：
18.一个或多个处理器；存储装置，存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的相机拍摄位姿的恢复方法。
19.第四方面，本技术提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的相机拍摄位姿的恢复方法。
20.本技术通过将丢失图像帧和参考图像帧进行图像特征匹配，确定丢失图像帧和参考图像帧之间的特征匹配对，并根据特征匹配对确定丢失图像帧和参考图像帧的相机拍摄位姿之间的旋转参量和平移方向。根据跟踪成功的两个相邻图像帧的相机拍摄位姿之间的平移距离，确定出丢失图像帧和参考图像帧的相机拍摄位姿之间的平移距离，进而根据丢失图像帧和参考图像帧的相机拍摄位姿之间的平移距离和平移方向，确定出丢失图像帧和参考图像帧的相机拍摄位姿之间的平移参量。根据丢失图像帧和参考图像帧的相机拍摄位姿之间的平移参量和旋转参量以及参考图像帧的相机拍摄位姿，可确定出丢失图像帧的相机拍摄位姿。通过上述技术手段，准确恢复跟踪丢失图像的位姿，避免出现图像丢弃的情况，解决了现有技术中因图像丢弃而导致三维地图重建不完整的问题，保证三维地图的完整性，进而优化三维重建的构图效果。
附图说明
21.图1是本技术实施例提供的一种相机拍摄位姿的恢复方法的流程图；
22.图2是本技术实施例提供的无人机在飞行航线上拍摄图像帧的示意图；
23.图3是本技术实施例提供的确定检测到位姿恢复事件的流程图；
24.图4是本技术实施例提供的判断第一图像帧是否满足跟踪成功条件的流程图；
25.图5是本技术实施例提供的将第一图像帧和第二图像进行二维特征匹配的流程图；
26.图6是本技术实施例提供的确定参考平移距离的流程图；
27.图7是本技术实施例提供的确定第一平移距离的流程图；
28.图8是本技术实施例提供的根据差异参数确定第一平移距离的流程图；
29.图9是本技术实施例的恢复丢失图像帧的相机拍摄位姿的流程图；
30.图10是本技术实施例的确定约束图像帧的流程图；
31.图11是本技术实施例提供的一种相机拍摄位姿的恢复装置的结构示意图；
32.图12是本技术实施例提供的一种相机拍摄位姿的恢复设备的结构示意图。
具体实施方式
33.为了使本技术的目的、技术方案和优点更加清楚，下面结合附图对本技术具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本技术，而非对本技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术相关
的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
34.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
35.本实施例中提供的相机拍摄位姿的恢复方法可以由相机拍摄位姿的恢复设备执行，该相机拍摄位姿的恢复设备可以通过软件和/或硬件的方式实现，该相机拍摄位姿的恢复设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。例如相机拍摄位姿的恢复设备可以是装配有相机的智能设备如无人设备等，也可以是智能设备的处理器。其中，无人设备是指无人机等可基于预设任务自动执行的设备。
36.相机拍摄位姿的恢复设备安装有至少一类操作系统，相机拍摄位姿的恢复设备可以基于操作系统安装至少一个应用程序，应用程序可以为操作系统自带的应用程序，也可以为从第三方设备或者服务器中下载的应用程序。在该实施例中，相机拍摄位姿的恢复设备至少有可以执行相机拍摄位姿的恢复方法的应用程序，因此，相机拍摄位姿的恢复设备也可以是应用程序本身。
37.为便于理解，本实施例以无人机为执行相机拍摄位姿的恢复方法的主体为例，进行描述。
38.在一实施例中，无人机按照预先规划的飞行航线进行飞行，并根据飞行航线的航向重叠度控制相机按照预设的拍摄步长拍摄测绘区域的图像。无人机可在飞行过程中根据相机实时拍摄的图像以及图像的相机拍摄位姿，实时构建出测绘区域的三维地图。由于无人机是匀速飞行以拍摄测绘区域的图像时，两个相邻图像帧的相机拍摄位姿偏差不会太大。因此，确定当前图像帧的相机拍摄位姿与上一图像帧之间的相机拍摄位姿相差较小，则可确定当前图像帧的相机拍摄位姿是准确的，进而确定当前图像帧跟踪成功。相反的，如果确定出当前图像帧的相机拍摄位姿与上一图像帧之间的相机拍摄位姿相差较大，可能是因为预测的当前图像帧的相机拍摄位姿不够准确而导致的位姿偏差，此时可确定当前图像帧出现了跟踪丢失情况。在现有技术中，对于跟踪丢失的图像，采用基于词袋模型(bow，bag-of-words model)的重定位方法重新确定跟踪丢失的图像。如果重定位失败，则将该跟踪丢失的图像丢弃，这将会导致测绘区域的部分图像信息损失。特别是在较为地形较为复杂的测绘区域如农田区域的三维重建场景下，或者是飞行航线的航线重叠度较低的三维重建场景下，损失的图像信息会导致构建出的三维地图出现空洞，无法完整呈现出测绘区域的真实场景，影响构图效果甚至会导致地图重建失败。
39.为解决上述问题，本实施例提供了一种相机拍摄位姿的恢复方法，以准确恢复跟踪丢失图像的相机拍摄位姿。
40.图1给出了本技术实施例提供的一种相机拍摄位姿的恢复方法的流程图。
41.参考图1，该相机拍摄位姿的恢复方法具体包括：
42.s110、若检测到位姿恢复事件，则确定丢失图像帧与恢复所需的参考图像帧。
43.其中，丢失图像帧指跟踪丢失的图像帧，参考图像帧指丢失图像帧的跟踪成功的相邻图像帧，本实施例中某一图像帧的相邻图像帧可以是航向相邻帧或旁向相邻帧，航向相邻帧可看作同一航线上最接近该图像帧的图像帧，旁向相邻帧可看作该图像帧所在航线的旁向航线上最接近该图像帧的图像帧。图2是本技术实施例提供的无人机在飞行航线上拍摄图像帧的示意图。如图2所示，对于图像帧c来说，图像帧e和图像帧f为图像帧c的旁向相邻帧，图像帧d和图像帧b为图像帧c的航向相邻帧。
44.其中，位姿恢复事件指触发无人机对丢失图像帧进行相机拍摄位姿恢复的事件。在一实施例中，当有丢失图像帧生成时，确定检测到位姿恢复事件。参考图2，图像帧b是图像帧a的后一帧图像，在图像帧a跟踪成功时，根据图像帧a确定图像帧b的相机拍摄位姿。如果图像帧b跟踪失败，则检测到位姿恢复事件，并确定图像帧b为丢失图像帧，确定图像帧a为参考图像帧。此种情况下，参考图像帧为丢失图像帧的前一跟踪成功的图像帧。
45.在另一实施例中，将丢失图像帧的跟踪成功的下一图像帧作为参考图像帧。示例性的，图3是本技术实施例提供的确定检测到位姿恢复事件的流程图。如图3所示，该确定检测到位姿恢复事件的步骤具体包括s1101-s1103：
46.s1101、判断第一图像帧是否满足预设的跟踪成功条件，第一图像帧为相机当前采集的图像帧。
47.其中，跟踪成功条件指图像帧跟踪成功时所满足的条件。当图像帧满足跟踪成功条件时，图像帧跟踪成功；当图像帧不满足跟踪成功条件时，图像帧跟踪丢失。
48.在一实施例中，图4是本技术实施例提供的判断第一图像帧是否满足跟踪成功条件的流程图。如图4所示，该判断第一图像帧是否满足跟踪成功条件的步骤具体包括s11011-s11017：
49.s11011、将第一图像帧的二维特征点与第二图像帧构建的三维特征点进行特征匹配，得到第二特征匹配对；第二图像帧为上一张跟踪成功的图像帧。
50.在该实施例中，通过3d-2d的数据关联方法确定第一图像帧和第二图像帧之间相匹配的特征点。示例性的，对第一图像帧进行特征点提取，得到第一图像帧中的二维特征点。对第二图像帧和第三图像帧进行特征点提取，并基于提取到的特征点进行特征匹配，得到特征匹配对，基于三角化将特征匹配对构建出第二图像帧的三维特征点。其中，第三图像帧为第二图像帧的上一跟踪成功的图像帧。将第二图像帧的三维特征点投影到第一图像帧中并与第一图像帧的二维特征点进行匹配，得到第二特征匹配对。
51.s11012、将第二特征匹配对的数量与预设数量阈值进行比较。
52.示例性的，三维特征点是第二图像帧和第三图像帧共同存在的特征点，而第一图像帧中与三维特征点相匹配的二维特征点也同样存在于第二图像帧和第三图像帧中。由于第一图像帧和第二图像帧以及第三图像帧之间存在较高的重叠区域，重叠区域的二维特征点是可以被观测到的，重叠区域的二维特征点即为第二特征匹配对。如果第二特征匹配对的数量较少，则第一图像帧和前两个图像帧之间的关联度较低，但由于拍摄过程中相机位姿不会发生突变即三个图像帧的关联度不会太低，因此可能是特征点匹配错误或特征点提
取错误导致的第二特征匹配对数量较少。此时第二特征匹配对不能准确表征第一图像帧和第二图像帧之间的相机拍摄位姿偏差，因此无法基于第二特征匹配对准确确定出第一图像帧的相机拍摄位姿。如果第二特征匹配对的数量较多，则第二特征匹配对可以准确表征第一图像帧和第二图像帧之间的相机拍摄位姿偏差，进而可基于第二特征匹配确定第一图像帧的相机拍摄位姿。
53.其中，预设数量阈值指三个相邻图像帧之间的关联度较高时第二特征匹配对的数量。如果第二特征匹配对的数量大于或等于预设数量阈值，则表明观测到的第一图像帧与第二图像帧以及第三图像帧之间存在较高的关联度，进而可以基于第二特征匹配对进行后续的位姿跟踪操作。如果第二特征匹配对的数量小于预设数量阈值，则表明第一图像帧与第二图像帧以及第三图像帧之间的关联度较低，无法基于第二特征匹配对准确确定出第一图像帧的相机拍摄位姿。示例性的，假设第二图像帧中的2000个二维特征点可以构建出300个三维特征点，而300个三维特征点投影到第一图像帧中可以生成100个第二特征匹配对，如果预设数量阈值为80，则此时第一图像帧与第二图像帧以及第三图像帧之间的特征点关联成功。
54.s11013、响应于第二特征匹配对的数量小于预设数量阈值的比较结果，确定第一图像帧不满足跟踪成功条件。
55.示例性的，当第二特征匹配对的数量小于预设数量阈值时，无法基于第二特征匹配对准确确定出第一图像帧的相机拍摄位姿，则确定第一图像帧跟踪丢失。
56.s11014、响应于第二特征匹配对的数量大于或等于预设数量阈值的比较结果，根据第二特征匹配对，确定第一图像帧与第二图像帧之间的相对变换参量。
57.示例性的，当第二特征匹配对的数量大于或等于预设数量阈值时，基于第二特征匹配对进行pnp(perspective-n-points，角度-n-点)运动估计。假设第一图像帧的相机拍摄位姿和第二图像帧的相机拍摄位姿之间的相对变换参量为(r，t)，r表示旋转参量，t表示位移参量，第二特征匹配对中的三维特征点为v，二维特征点为v，相机内参为k，则代价函数构建如下：
58.j(r,t)＝min‖v-k(rv t)‖259.通过非线性优化算法优化上述代价函数j(r,t)，即可确定出相对变换参量(r，t)。
60.s11015、将相对变换参量与预设偏差阈值进行比较。
61.其中，预设偏差阈值是指无人机按照飞行航线上匀速飞行时两个相邻图像帧的相机拍摄位姿的最大差值。相对变换参量即为第一图像帧与第二图像帧之间的位姿偏差。示例性的，由于无人机按照飞行航线匀速飞行时两个相邻图像帧的相机拍摄位姿不会发生突变，如果相对变换参量大于预设偏差阈值，则表明当前运动估计的相对变换参量是不准确的，相反的，如果相对变换参量小于或等于预设偏差阈值，则表明当前运动估计的相对变换参量是准确的，那基于该相对变换参量确定出的第一图像帧的相机拍摄位姿也是准确的。
62.s11016、响应于相对变换参量小于或等于预设偏差阈值的比较结果，确定第一图像帧满足跟踪成功条件。
63.示例性的，当相对变换参量准确时，基于该相对变换参量确定出的第一图像帧的相机拍摄位姿也是准确的，则可确定第一图像帧跟踪成功。其中，将第二图像帧的相机拍摄位姿与相对变换参量对应的转换矩阵相乘，即可得到第一图像帧的相机拍摄位姿。
64.s11017、响应于相对变换参量大于预设偏差阈值的比较结果，确定第一图像帧不满足跟踪成功条件。
65.示例性的，当相对变换参量不准确时，基于该相对变换参量确定出的第一图像帧的相机拍摄位姿也是不准确的，则可确定第一图像帧跟踪丢失。
66.s1102、响应于第一图像帧满足跟踪成功条件的判断结果，判断丢失帧容器中是否存储有图像帧，丢失帧容器中的图像帧在基于第一图像帧进行跟踪时，确定不满足跟踪成功条件时加入得到。
67.示例性的，丢失帧容器用于存储跟踪丢失的图像帧，丢失帧容器中的图像帧不会用于确定下一图像帧的相机拍摄位姿。参考图2，无人机按照飞行航线飞行时，拍摄顺序如箭头所示，虚线框表示对应图像帧跟踪丢失，实线框表示对应图像帧跟踪成功。本实施例描述图像帧a到图像帧d的跟踪过程。对图像帧a进行跟踪，在图像帧a跟踪成功后查询丢失帧容器中是否有图像帧。在确定丢失帧容器中没有图像帧后，基于图像帧a继续对图像帧b进行跟踪。在图像帧b跟踪失败后，将图像帧b存入丢失帧容器中，并基于图像帧a继续对图像帧c进行跟踪。在图像帧c跟踪失败后，将图像帧c存入丢失帧容器中，并基于图像帧a继续对图像帧d进行跟踪。在图像帧d跟踪成功后，查询丢失帧容器中存储有图像帧c和图像帧b。图像帧c为丢失图像帧，而图像帧d为图像帧c的跟踪成功的下一图像帧。
68.s1103、响应于丢失帧容器中存储有图像帧的判断结果，确定检测到位姿恢复事件。
69.在该实施例中，当丢失帧容器中存储有图像帧时，检测到位姿恢复事件。由于丢失帧容器最后加入的图像帧为最新跟踪成功的图像帧的上一图像帧，因此可确定丢失帧容器中最后加入的图像帧为丢失图像帧，确定第一图像帧为参考图像帧。参考图2，确定图像帧c为丢失图像帧，确定图像帧d为参考图像帧。
70.需要说明的，如果参考图像帧为丢失图像帧的跟踪成功的下一图像帧，则该参考图像帧是基于丢失图像帧前面跟踪成功的图像帧确定出的，如图像帧d是基于图像帧a确定的，图像帧a的相机拍摄位姿对图像帧d的相机拍摄位姿形成约束。那后续根据参考图像帧恢复丢失图像帧的相机拍摄位姿时，图像帧d和图像帧a的相机拍摄位姿对图像帧c的相机拍摄位姿形成前后约束，前后约束可以提高图像帧c的相机拍摄位姿的恢复准确度。
71.s120、根据参考图像帧和丢失图像帧进行图像特征匹配，得到第一特征匹配对，并基于第一特征匹配对确定第一平移方向和第一旋转参量。
72.在一实施例中，将参考图像帧构建出的三维特征点与丢失图像帧的二维特征点进行特征匹配，得到特征匹配对，并基于该特征匹配对进行pnp运动估计，确定出丢失图像帧和参考图像帧之间的相对变换矩阵。但是丢失图像帧跟踪丢失是因为特征匹配错误或运动估计错误导致的，因此通过3d-2d的数据关联方法以及pnp运动估计方法可能会再次出现跟踪失败的情况。
73.对此，本实施例提出基于2d-2d的数据关联方法进行特征匹配。相邻图像帧之间的2d-2d匹配成功率远高于3d-2d匹配，例如每个图像帧提取的二维特征点数量为2000个，则2d-2d匹配成功的特征匹配对数量大概为500。示例性的，图5是本技术实施例提供的将第一图像帧和第二图像进行二维特征匹配的流程图。如图5所示，该将第一图像帧和第二图像进行二维特征匹配的步骤具体包括s1201-s1202：
74.s1201、将参考图像帧的二维特征点与丢失图像帧的二维特征点进行匹配，得到第一特征匹配对。
75.s1202、通过随机一致性滤除未满足几何约束的第一特征匹配对。
76.本实施例以参考图像帧和丢失图像帧分别为图像帧d和图像帧c为例进行描述。分别提取图像帧d和图像帧c中的二维特征点，将图像帧d的二维特征点与图像帧c中的二维特征点进行匹配，得到图像帧d和图像帧c之间的第一特征匹配对。通过随机一致性(ransac算法)过滤掉不满足几何约束的第一特征匹配对，以通过剩余的第一特征匹配对恢复图像帧c的相机拍摄位姿。可理解，如果第一特征匹配对中的两个二维特征点不满足几何约束，则表明两个特征点出现匹配错误，因此将不满足几何约束的第一特征匹配对滤除，避免影响后续位姿恢复的准确度。
77.在该实施例中，基于第一特征匹配对，采用极几何约束确定出参考图像帧和丢失图像帧之间的本质矩阵，本质矩阵是一个3*3矩阵，其有五个自由度，分别为3个旋转自由度和3个平移自由度，去掉平移自由度中的尺度自由度。参考图像帧和丢失图像帧之间的第一相对变换矩阵t1＝(r1,t1)，r1为第一旋转参量，t1为第一平移参量。
78.需要说明，由于本质矩阵中尺度是未知，根据本质矩阵只能确定出第一相对变换矩阵t1中的第一旋转参量r1和第一平移参量t1的单位向量t
uv1
，因此基于第一特征匹配对只能确定出第一平移参量t1的第一平移方向和第一旋转参量r1。但第一特征匹配对不能确定出第一平移参量t1的第一平移距离，因此本实施例还需确定出第一平移距离，然后基于第一平移距离和第一平移方向确定第一平移参量t1。其中，第一平移距离为参考图像帧与丢失图像帧的相机拍摄位姿之间的距离。
79.s130、从跟踪成功的图像帧中确定出丢失图像帧与参考图像帧之间的参考平移距离。
80.在现有技术中，无人机上安装有定位传感器如rtk，rtk的定位准度是厘米级，可基于rtk采集的丢失图像帧和参考图像帧的世界坐标，确定出丢失图像帧和参考图像帧之间的坐标距离，将该坐标距离作为rtk测得的在世界坐标下的第一平移距离的参考值。但在有些情况下，rtk定位不太准确，完全依赖rtk可能会引入更大的误差。
81.对此，本实施例提出将基于历史跟踪成功的图像帧的相机拍摄位姿确定出图像帧与相邻图像帧之间的平移距离，作为相机测得的在相机坐标下的第一平移距离的参考值，以提高第一平移距离的估计准确度。其中，参考平移距离即为相机测得的在相机坐标下的第一平移距离的参考值。
82.可理解，当参考图像帧和丢失图像帧在同一航线时，参考图像帧为丢失图像帧的航向相邻帧。由于无人机会匀速航行于某一航线上时会按照一定时间间隔拍摄图像，以使得同一航线上的两个相邻图像帧满足航向重叠度。因此历史跟踪成功的同一航线上两个相邻图像帧之间的平移距离近似于参考图像帧和丢失图像帧之间的第一平移距离，可将历史跟踪成功的同一航线上两个相邻图像帧的平移距离作为第一平移距离的参考值。需要说明的，同一航线上的两个相邻图像帧并不一定与丢失图像帧处于同一航线上。
83.而当参考图像帧和丢失图像帧不在同一航线上时，参考图像帧为丢失图像帧的旁向相邻帧。相邻航线之间的距离是基于旁向重叠度确定的，即相邻航线之间的距离是相同的，且相邻航线之间的距离约等于图像帧与旁向相邻帧之间的平移距离。因此历史跟踪成
功的图像帧与旁向相邻帧之间的平移距离近似于参考图像帧与丢失图像帧之间的第一平移距离，可将历史跟踪成功的图像帧与旁向相邻帧之间的平移距离作为第一平移距离的参考值。
84.综上可得，当丢失图像帧和参考图像帧互为旁向相邻帧时，可基于历史跟踪成功的旁向相邻图像对确定参考平移距离；当丢失图像帧和参考图像帧互为航向相邻帧时，可基于历史跟踪成功的航向相邻图像对确定参考平移距离。其中，旁向相邻图像对由图像帧与对应的旁向相邻帧组成，航向相邻图像对由图像帧与对应的航向相邻帧组成。
85.本实施例以参考图像帧和丢失图像帧在同一航线上为例进行描述。在本实施例中，根据相邻图像对的平移参量确定对应两个图像帧之间的平移距离，并根据平移距离确定参考平移距离；相邻图像对由历史跟踪成功的同一航线的两个相邻图像帧组成。示例性的，图像帧的id是按照其拍摄顺序生成的，即相邻图像帧的id是连续的。遍历历史跟踪成功的图像帧，并基于同一航线的图像帧的id进行排序生成该航线的图像序列，将该图像序列中id相邻的两个图像帧组成一个相邻图像对，得到第一个航线到丢失图像帧所在航线的相邻图像对pairs1～pairsn，pairsj＝{(i
j1
，i
j2
)，(i
j2
，i
j3
)，
…
，(i
j(i-1)
，i
ji
)，
…
，(i
j(n-1)
，i
jn
)}，i
ji
为第j条航线上跟踪成功的图像序列中第i个图像帧，i
nn
为丢失图像帧所在的航线的上一跟踪成功的图像帧，即丢失图像帧为图像帧c时，i
nn
为图像帧a。根据图像帧ii和图像帧i
i-1
之间的相对变换参量t
(i-1)i
＝(r
(i-1)i
，t
(i-1)i
)确定两个图像帧之间的平移参量t
(i-1)i
，进而确定两个图像帧之间的平移距离为||t
(i-1)i
||2。在确定出所有相邻图像对的平移距离后，可将平移距离的均值或中值确定为参考平移距离。
86.在另一实施例中，由于计算所有相邻图像对的平移距离的计算量太大，因此可在pairs1～pairsn中挑选出至少五组的相邻图像对进行平移距离的计算，进而根据确定出的平移距离的中值或均值确定参考平移距离。其中。示例性的，图6是本技术实施例提供的确定参考平移距离的流程图。如图6所示，该确定参考平移距离的步骤具体包括s1301-s1302：
87.s1301、选取至少两组最靠近丢失图像帧的第一相邻图像对，并从剩余的多组相邻图像对中随机选取至少三组第二相邻图像对。
88.示例性的，越接近丢失图像帧的相邻图像对的平移距离越近似于第一平移距离，即该相邻图像对的置信度越高。因此从pairsn中选择(i
n(n-1)
，i
nn
)和(i
n(n-2)
，i
n(n-1)
)作为第一相邻图像对。从pairs1～pairsn剩余的相邻图像对中随机选择三组作为第二相邻图像对。
89.s1302、根据第一相邻图像对和第二相邻图像对的平移距离，确定参考平移距离。
90.示例性的，计算第一相邻图像对和第二相邻图像对的平移距离，取该平移距离的中值作为参考平移距离。
91.s140、基于参考平移距离以及第一平移方向确定出第一平移参量。
92.示例性的，将参考平移距离作为最终的第一平移距离确定出第一平移参量，使得第一相对变换矩阵的尺度与相邻图像对的尺度保持一致。
93.在另一实施例中，无人机在拍摄过程中会将相机和rtk的尺度对齐，即通过rtk采集的世界坐标约束相机的拍摄位姿，以提高图像帧的相机拍摄位姿的准确度。需要说明的是，单目视觉slam中，当根据相邻图像对计算出的参考平移距离通存在细小的误差时，在多帧图像的积累后，该参考平移距离的尺度误差将会被放大，此时基于相邻图像对计算出的参考平移距离的准确性也会降低。因此，当相机和rtk的尺度对齐后，相比于相机测得的第
一平移距离的参考值，rtk测得的第一平移距离的参考值更接近第一平移距离的真值，因此将rtk测得的第一平移距离的参考值作为最终的第一平移距离以计算第一平移参量。但相机和rtk的尺度对齐是拍摄到至少两个航线上的图像帧后才进行的，因此可判断相机和rtk尺度是否对齐后再确定第一平移距离。示例性的，图7是本技术实施例提供的确定第一平移距离的流程图。如图7所示，该确定第一平移距离的步骤具体包括s1401-s1402：
94.s1401、根据定位传感器采集的丢失图像帧和参考图像帧的世界坐标，确定定位传感器的坐标平移距离。
95.其中，坐标平移距离为rtk测得的世界坐标系下的第一平移距离的参考值。假设丢失图像帧的世界坐标为rtk
lost
，参考图像帧的世界坐标为rtk
ref
，则确定坐标平移距离s
rtk
＝||rtk
ref-rtk
lost
||2。
96.s1402、根据参考平移距离和坐标平移距离之间的差异参数确定第一平移距离，并根据第一平移距离和第一平移方向确定第一平移参量。
97.其中，差异参数可以是参考平移距离与坐标平移距离之间的差值或比值。本实施例以差异参数为坐标平移距离与参考平移距离的比值为例进行描述。示例性的，图8是本技术实施例提供的根据差异参数确定第一平移距离的流程图。如图8所示，该根据差异参数确定第一平移距离的步骤具体包括s14021-s14023：
98.s14021、确定坐标平移距离与参考平移距离的比值为差异参数，将差异参数与预设差异范围进行比较。
99.其中，预设差异范围指rtk和相机的尺度对齐时比值的变化范围，预设差异范围为(1-δ，1 δ)，δ为很小的正数。示例性的，差异参数δ，1 δ)，δ为很小的正数。示例性的，差异参数其中s
vis
为参考平移距离。当ratio∈(1-δ，1 δ)时，则表明相机和rtk之间的差异参数不大，即无人机已进行过rtk和相机的尺度对齐。当ratio＜1-δ或ratio＞1 δ时，则表明相机和rtk之间的差异参数较大，即无人机还未进行rtk和相机的尺度对齐。
100.s14022、响应于差异参数位于预设差异范围内的比较结果，确定第一平移距离为坐标平移距离。
101.示例性的，若无人机已进行过rtk和相机的尺度对齐，则将坐标平移距离作为最终的第一平移距离，进而确定第一平移参量t1＝t
uv
*s
rtk
。
102.s14023、响应于差异参数超出预设差异范围的比较结果，确定第一平移距离为参考平移距离。
103.示例性的，若无人机还未进行rtk和相机的尺度对齐，采用参考平移距离可保证第一平移距离和相邻图像对的平移距离的尺度统一的，因此将参考平移距离作为最终的第一平移距离，进而确定第一平移参量t1＝t
uv
*s
vis
。
104.s150、根据第一旋转参量和第一平移参量对丢失图像帧的相机拍摄位姿进行恢复。
105.示例性的，将参考图像帧的相机拍摄位姿与第一相对变换参量对应的转换矩阵相乘，得到丢失图像帧的相机拍摄位姿。
106.在本实施例中，在丢失图像帧的相机拍摄位姿恢复成功后，将该丢失图像帧从丢失帧容器中删除并判断丢失帧容器是否还存储有图像帧，如果存储有图像帧，则将最后存
入的图像帧作为丢失图像帧，将当前恢复成功的图像帧作为参考图像帧。参考图2，在恢复出图像帧c的相机拍摄位姿后，将图像帧c从丢失帧容器中删除，并将图像帧b作为丢失图像帧，将图像帧c作为参考图像帧，以根据图像帧c恢复图像帧b的相机拍摄位姿。
107.在另一实施例中，丢失图像帧的相机拍摄位姿是基于下一图像帧确定的，该丢失图像帧的相机拍摄位姿是不稳定。基于三角形结构最稳定的原则，可通过与丢失图像帧以及参考图像帧不在同一直线上的约束图像帧，确定三角形约束关系，并基于三角形约束关系构建联合优化方程，恢复出更加稳定的相机拍摄位姿。需要说明的，当参考图像帧和丢失图像帧在同一航线上时，则从丢失图像帧的旁向航线上获取旁向相邻帧作为约束图像帧以构建三角形约束关系；当参考图像帧和丢失图像帧不在同一航线上时，则从丢失图像帧所在的航线上获取航向相邻帧作为约束图像帧以构建三角形约束关系。
108.本实施例以参考图像帧和丢失图像帧在同一航线上为例进行描述，图10是本技术实施例的恢复丢失图像帧的相机拍摄位姿的流程图。如图10所示，该恢复丢失图像帧的相机拍摄位姿的步骤具体包括s1501-s1504：
109.s1501、从丢失图像帧的旁向航线上的图像帧中，确定最靠近丢失图像帧的图像帧为约束图像帧。
110.在一实施例中，根据旁向航线上各个图像帧与丢失图像帧之间的距离，确定旁向航线上最靠近丢失图像帧的图像帧为约束图像帧。示例性的，图10是本技术实施例的确定约束图像帧的流程图。如图10所示，该确定旁向相邻帧的步骤具体包括s15011-s15012：
111.s15011、根据丢失图像帧的世界坐标和对应旁向航线上的图像帧的世界坐标，确定丢失图像帧与旁向航线上的图像帧的位置距离。
112.示例性的，根据rtk采集的丢失图像帧的世界坐标和旁向航线上的图像帧的世界坐标，分别计算丢失图像帧与旁向航线上每一图像帧的位置距离。
113.s15012、根据位置距离，确定旁向航线上距离丢失图像帧最近的图像帧为约束图像帧。
114.示例性的，将丢失图像帧与旁向航线上每一图像帧的位置距离进行比较，确定位置距离最小的图像帧为约束图像帧。
115.s1502、将丢失图像帧和约束图像帧进行图像特征匹配，得到第三特征匹配对，并基于第三特征匹配对确定第二平移方向和第二旋转参量。
116.示例性的，将丢失图像帧和约束图像帧进行二维特征匹配，得到第三特征匹配对，根据第三特征匹配对确定出丢失图像帧和约束图像帧之间的本质矩阵。根据本质矩阵确定出丢失图像帧和约束图像帧之间的第二旋转参量r2和第二平移参量t2的单位向量t
uv2
。该步骤具体可参考步骤s120。
117.s1503、基于图像帧与旁向航线上最相近的图像帧之间的平移距离确定第二平移距离，并根据第二平移方向和第二平移距离确定第二平移参量。
118.示例性的，将飞行航线规划的两个相邻航线之间的距离确定为第二平移距离。或者，将丢失图像帧和约束图像帧之间的位置距离确定为第二平移距离。
119.在另一实施例中，基于历史跟踪成功的旁向相邻图像对的平移距离，确定第二平移距离。该实施例的实现过程与第一平移距离的确定过程大致相同，具体可参考步骤s130-s140。
120.在本实施例中，根据历史跟踪成功的图像帧所在的航线，根据图像帧的相机拍摄位姿和旁向航线上各个图像帧的相机拍摄位姿，确定图像帧和旁向航线上各个图像帧之间的平移距离，并根据该距离确定旁向相邻图像对。旁向相邻图像对从旁向相邻图像对中选择至少两组id最靠近丢失图像帧的第一旁向相邻图像对，并从剩余旁向相邻图像对中随机选择至少三组第二旁向相邻图像对。根据第一旁向相邻图像对和第二旁向相邻图像对的平移距离，确定相机测得的相机坐标系下的第二平移距离的参考值。将旁向相邻帧和丢失图像帧的位置距离确定为rtk测得的世界坐标下的第二平移距离的参考值。可根据确定的先前相机和rtk是否对齐的判断结果，确定最终的第二平移距离。
121.s1504、根据第一旋转参量、第二旋转参量、第一平移参量和第二平移参量对丢失图像帧的相机拍摄位姿进行恢复。
122.示例性的，根据参考图像帧的相机拍摄位姿、第一旋转参量和第一平移参量构建第一约束方程，根据约束图像帧的相机拍摄位姿、第二旋转参量和第二平移参量构建第二约束方程。将第一约束关系和第二约束关系添加到窗口优化方程中，并解算优化方程，得到丢失图像帧的相机拍摄位姿。其中，窗口优化方程是基于参考图像帧与存在关联关系的图像帧之间的关联关系构建的。
123.综上，本技术实施例提供的相机拍摄位姿的恢复方法，通过将丢失图像帧和参考图像帧进行图像特征匹配，确定丢失图像帧和参考图像帧之间的特征匹配对，并根据特征匹配对确定丢失图像帧和参考图像帧的相机拍摄位姿之间的旋转参量和平移方向。根据跟踪成功的两个相邻图像帧的相机拍摄位姿之间的平移距离，确定出丢失图像帧和参考图像帧的相机拍摄位姿之间的平移距离，进而根据丢失图像帧和参考图像帧的相机拍摄位姿之间的平移距离和平移方向，确定出丢失图像帧和参考图像帧的相机拍摄位姿之间的平移参量。根据丢失图像帧和参考图像帧的相机拍摄位姿之间的平移参量和旋转参量以及参考图像帧的相机拍摄位姿，可确定出丢失图像帧的相机拍摄位姿。通过上述技术手段，准确恢复跟踪丢失图像的位姿，避免出现图像丢弃的情况，解决了现有技术中因图像丢弃而导致三维地图重建不完整的问题，保证三维地图的完整性，进而优化三维重建的构图效果。
124.在上述实施例的基础上，图11为本技术实施例提供的一种相机拍摄位姿的恢复装置的结构示意图。参考图11，本实施例提供的相机拍摄位姿的恢复装置具体包括：丢失图像确定模块21、第一旋转参量确定模块22、参考平移距离确定模块23、第一平移参量确定模块24和位姿恢复模块25。
125.其中，丢失图像确定模块，被配置为若检测到位姿恢复事件，则确定丢失图像帧与恢复所需的参考图像帧；
126.第一旋转参量确定模块，被配置为根据参考图像帧和丢失图像帧进行图像特征匹配，得到第一特征匹配对，并基于第一特征匹配对确定第一平移方向和第一旋转参量；
127.参考平移距离确定模块，被配置为从跟踪成功的图像帧中确定出丢失图像帧与参考图像帧之间的参考平移距离；
128.第一平移参量确定模块，被配置为基于参考平移距离以及第一平移方向确定出第一平移参量；
129.位姿恢复模块，被配置为根据第一旋转参量和第一平移参量对丢失图像帧的相机拍摄位姿进行恢复。
130.在上述实施例的基础上，在参考图像帧和丢失图像帧在同一航线的情况下；参考平移距离确定模块包括：参考平移距离确定子模块，被配置为根据相邻图像对的平移参量确定对应两个图像帧之间的平移距离，并根据平移距离确定参考平移距离；相邻图像对由历史跟踪成功的同一航线的两个相邻图像帧组成。
131.在上述实施例的基础上，参考平移距离确定子模块包括：图像对选取单元，被配置为选取至少两组最靠近丢失图像帧的第一相邻图像对，并从剩余的多组相邻图像对中随机选取至少三组第二相邻图像对；参考平移距离确定单元，被配置为根据第一相邻图像对和第二相邻图像对的平移距离，确定参考平移距离。
132.在上述实施例的基础上，第一平移参量确定模块包括：坐标平移距离确定子模块，被配置为根据定位传感器采集的丢失图像帧和参考图像帧的世界坐标，确定定位传感器的坐标平移距离；第一平移距离确定子模块，被配置为根据参考平移距离和坐标平移距离之间的差异参数，确定第一平移距离；第一平移参量确定子模块，被配置为根据第一平移距离和第一平移方向，确定第一平移参量。
133.在上述实施例的基础上，第一平移距离确定子模块包括：第一比较单元，被配置为确定坐标平移距离与参考平移距离的比值为差异参数，将差异参数与预设差异范围进行比较；第一确定单元，被配置为响应于差异参数位于预设差异范围内的比较结果，确定第一平移距离为坐标平移距离；第二确定单元，被配置为响应于差异参数超出预设差异范围的比较结果，确定第一平移距离为参考平移距离。
134.在上述实施例的基础上，位姿恢复模块包括：旁向图像确定子模块，被配置为从丢失图像帧的旁向航线上的图像帧中，确定最靠近丢失图像帧的约束图像帧；第三参量确定子模块，被配置为将丢失图像帧和约束图像帧进行图像特征匹配，得到第三特征匹配对，并基于第三特征匹配对确定第二平移方向和第二旋转参量；第四参量确定子模块，被配置为基于图像帧与旁向航线上最相近的图像帧之间的平移距离确定第二平移距离，并根据第二平移方向和第二平移距离确定第二平移参量；位姿恢复子模块，被配置为根据第一旋转参量、第二旋转参量、第一平移参量和第二平移参量对丢失图像帧的相机拍摄位姿进行恢复。
135.在上述实施例的基础上，旁向图像确定子模块包括：位置距离确定单元，被配置为根据丢失图像帧的世界坐标和对应旁向航线上的图像帧的世界坐标，确定丢失图像帧与旁向航线上的图像帧的位置距离；旁向图像确定单元，被配置为根据位置距离，确定旁向航线上距离丢失图像帧最近的图像帧为约束图像帧。
136.在上述实施例的基础上，丢失图像确定模块包括：跟踪判断子模块，被配置为判断第一图像帧是否满足预设的跟踪成功条件，第一图像帧为相机当前采集的图像帧；容器检测子模块，被配置为响应于第一图像帧满足跟踪成功条件的判断结果，判断丢失帧容器中是否存储有图像帧，丢失帧容器中的图像帧在基于第一图像帧进行跟踪时，确定不满足跟踪成功条件加入得到；事件检测子模块，被配置为响应于丢失帧容器中存储有图像帧的判断结果，确定检测到位姿恢复事件。
137.在上述实施例的基础上，丢失图像确定模块包括：丢失图像确定子模块，被配置为确定丢失帧容器中最后加入的图像帧为丢失图像帧，确定第一图像帧为参考图像帧。
138.在上述实施例的基础上，跟踪判断子模块包括：第一特征匹配单元，被配置为将第一图像帧的二维特征点与第二图像帧构建的三维特征点进行特征匹配，得到第二特征匹配
对；第二图像帧为上一张跟踪成功的图像帧；第二比较单元，被配置为将第二特征匹配对的数量与预设数量阈值进行比较；第一跟踪判断单元，被配置为响应于第二特征匹配对的数量小于预设数量阈值的比较结果，确定第一图像帧不满足跟踪成功条件。
139.在上述实施例的基础上，跟踪判断子模块还包括：第二跟踪判断单元，被配置为响应于第二特征匹配对的数量大于或等于预设数量阈值的比较结果，根据第二特征匹配对，确定第一图像帧与第二图像帧之间的相对变换参量；第三比较单元，被配置为将相对变换参量与预设偏差阈值进行比较；第三跟踪判断单元，被配置为响应于相对变换参量小于或等于预设偏差阈值的比较结果，确定第一图像帧满足跟踪成功条件。
140.在上述实施例的基础上，第一参量确定模块包括：第二特征匹配子模块，被配置为将参考图像帧的二维特征点与丢失图像帧的二维特征点进行匹配，得到第一特征匹配对；匹配对滤除子模块，被配置为通过随机一致性滤除未满足几何约束的第一特征匹配对。
141.上述，本技术实施例提供的相机拍摄位姿的恢复装置，通过将丢失图像帧和参考图像帧进行图像特征匹配，确定丢失图像帧和参考图像帧之间的特征匹配对，并根据特征匹配对确定丢失图像帧和参考图像帧的相机拍摄位姿之间的旋转参量和平移方向。根据跟踪成功的两个相邻图像帧的相机拍摄位姿之间的平移距离，确定出丢失图像帧和参考图像帧的相机拍摄位姿之间的平移距离，进而根据丢失图像帧和参考图像帧的相机拍摄位姿之间的平移距离和平移方向，确定出丢失图像帧和参考图像帧的相机拍摄位姿之间的平移参量。根据丢失图像帧和参考图像帧的相机拍摄位姿之间的平移参量和旋转参量以及参考图像帧的相机拍摄位姿，可确定出丢失图像帧的相机拍摄位姿。通过上述技术手段，准确恢复跟踪丢失图像的位姿，避免出现图像丢弃的情况，解决了现有技术中因图像丢弃而导致三维地图重建不完整的问题，保证三维地图的完整性，进而优化三维重建的构图效果。
142.本技术实施例提供的相机拍摄位姿的恢复装置可以用于执行上述实施例提供的相机拍摄位姿的恢复方法，具备相应的功能和有益效果。
143.图12是本技术实施例提供的一种相机拍摄位姿的恢复设备的结构示意图，参考图12，该相机拍摄位姿的恢复设备包括：处理器31、存储器32、通信装置33、输入装置34及输出装置35。该相机拍摄位姿的恢复设备中处理器31的数量可以是一个或者多个，该相机拍摄位姿的恢复设备中的存储器32的数量可以是一个或者多个。该相机拍摄位姿的恢复设备的处理器31、存储器32、通信装置33、输入装置34及输出装置35可以通过总线或者其他方式连接。
144.存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本技术任意实施例的相机拍摄位姿的恢复方法对应的程序指令/模块(例如，相机拍摄位姿的恢复装置中的丢失图像确定模块21、第一旋转参量确定模块22、参考平移距离确定模块23、第一平移参量确定模块24和位姿恢复模块25)。存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
145.通信装置33用于进行数据传输。
146.处理器31通过运行存储在存储器32中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的相机拍摄位姿的恢复方法。
147.输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
148.上述提供的相机拍摄位姿的恢复设备可用于执行上述实施例提供的相机拍摄位姿的恢复方法，具备相应的功能和有益效果。
149.本技术实施例还提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种相机拍摄位姿的恢复方法，该相机拍摄位姿的恢复方法包括：若检测到位姿恢复事件，则确定丢失图像帧与恢复所需的参考图像帧；根据参考图像帧和丢失图像帧进行图像特征匹配，得到第一特征匹配对，并基于第一特征匹配对确定第一平移方向和第一旋转参量；从跟踪成功的图像帧中确定出丢失图像帧与参考图像帧之间的参考平移距离；基于参考平移距离以及第一平移方向确定出第一平移参量；根据第一旋转参量和第一平移参量对丢失图像帧的相机拍摄位姿进行恢复。
150.存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd-rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddr ram、sram、edo ram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
151.当然，本技术实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的相机拍摄位姿的恢复方法，还可以执行本技术任意实施例所提供的相机拍摄位姿的恢复方法中的相关操作。
152.上述实施例中提供的相机拍摄位姿的恢复装置、存储介质及相机拍摄位姿的恢复设备可执行本技术任意实施例所提供的相机拍摄位姿的恢复方法，未在上述实施例中详尽描述的技术细节，可参见本技术任意实施例所提供的相机拍摄位姿的恢复方法。
153.上述仅为本技术的较佳实施例及所运用的技术原理。本技术不限于这里的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本技术的保护范围。因此，虽然通过以上实施例对本技术进行了较为详细的说明，但是本技术不仅仅限于以上实施例，在不脱离本技术构思的情况下，还可以包括更多其他等效实施例，而本技术的范围由权利要求的范围决定。