基于多源多时相卫星图像的飞行器视觉导航方法及装置

本发明涉及导航领域，尤其涉及一种基于多源多时相卫星图像的飞行器视觉导航方法及装置。

背景技术：

1、飞行器视觉导航技术主要通过飞行平台搭载的视觉传感器（可见光、红外等）对地成像并结合含有地理位置信息的基准图以及图像匹配算法实现飞行器位姿等导航参数的估计，其中基于图像匹配的视觉导航是一种最常用的视觉导航方式，其主要通过对飞行器对地实时成像和卫星基准图中相同（或相近）区域建立几何映射关系，再利用基准图的地理编码信息来获取飞行器的导航定位信息。

2、当前对基于图像匹配的视觉导航研究主要集中在图像匹配技术领域，提出了一系列图像匹配网络模型和方法，wu等人结合位置感知分区分支（ppb）和对比属性挖掘（cam）策略，提出了camp模型(contrastive attributes mining and position-awarepartitioning)，wang等人在图像上下文信息的基础上，将邻域信息作为辅助信息，提出了局部模式网络lpn(local pattern network)。shen等人提出了mccg (multipleclassifier for cross-view geolocalization)方法，通过多维度交互捕获丰富的区分信息。xia等人利用对比学习获取图像的全局信息，同时采用领域空间对齐模块来对齐细粒度特征。

3、虽然这些研究在当前数据集验证上取得了较好的效果，但在实际飞行环境中，由于观测角度、天气条件、光照变化和季节更替等因素的影响，这类方法的定位鲁棒性往往难以满足飞行器高精度导航的需求。

4、目前，现有飞行器平台一般可以同时存储多张卫星基准图像，为此，如何利用飞行器平台自身的存储能力以实现其导航可作为一个新的研究方向。

技术实现思路

1、本发明要解决的技术问题在于提供一种基于多源多时相卫星图像的飞行器视觉导航方法及装置，能够综合利用具有不同气候，光照和成像角度等成像条件下的卫星基准图像，来实现飞行器在不同天时天候条件下定位的飞行器视觉导航方法。

2、为实现上述发明目的，本发明提供一种基于多源多时相卫星图像的飞行器视觉导航方法，包括以下步骤：

3、s1.在飞行器上建立本地卫星基准图像库，其中，所述本地卫星基准图像库存储有预设数量的多源多时相的卫星基准图像；

4、s2.基于飞行器上航拍相机采集多幅当前位置周围的环境图像；

5、s3.基于所述本地卫星基准图像库中的所述卫星基准图像分别与所述环境图像进行图像匹配，用于获得当前位置下所述飞行器的多个初始定位结果；

6、s4.对多个所述初始定位结果进行聚类，并取聚类后最大簇的平均值作为所述飞行器的位置定位结果，基于所述位置定位结果对所述飞行器进行飞行导航。

7、根据本发明的一个方面，步骤s1中，在飞行器上建立本地卫星基准图像库的步骤中，基于卫星影像库采集多源多时相的卫星基准图像；

8、多源多时相的所述卫星基准图像为涵盖不同卫星、不同时间、不同成像参数、不同成像模态、不同地理信息的基准图像；其中，不同时间涵盖不同的季节、天气和光照条件，不同成像参数涵盖卫星相机内参、卫星相机位置、卫星相机观测角度，不同成像模态涵盖红外光、可见光，不同地理信息涵盖绝对地理坐标信息。

9、根据本发明的一个方面，步骤s3中，基于所述本地卫星基准图像库中的所述卫星基准图像分别与所述环境图像进行图像匹配，用于获得当前位置下所述飞行器的多个初始定位结果的步骤中，包括：

10、s21.分别建立所述环境图像与所述本地卫星基准图像库中的卫星基准图像之间的几何映射关系，其中，所述几何映射关系表示为：

11、；

12、；

13、；

14、其中，表示飞行器估计位置，表示几何映射关系，表示环境图像中的像素坐标，和表示环境图像中的像素坐标值，表示环境图像的几何变换参数，下标表示环境图像的序号，表示卫星基准图像中的像素坐标，和表示卫星基准图像中的像素坐标值；

15、s22.利用所述几何映射关系和航拍相机成像参数解算出所述飞行器的多个初始定位结果。

16、根据本发明的一个方面，步骤s22中，利用所述几何映射关系和航拍相机成像参数解算出所述飞行器的多个初始定位结果的步骤中，采用单点位置解算方法对飞行器估计位置进行解算，其包括：

17、s220.通过卫星基准图像与环境图像匹配后，得到与环境图像的像素坐标匹配的卫星基准图像中的像素坐标，以及，基于卫星基准图像的地理信息得到像素坐标所对应的环境图像的中心坐标()；

18、s221.获取环境图像参数和相机成像参数；其中，所述环境图像参数包括：环境图像的中心坐标()、图像尺寸()、无人机俯仰角、无人机偏航角、无人机滚转角和无人机高度

z，所述相机成像参数包括：相机视场角（)、相机相对无人机的俯仰角、相机相对无人机的偏航角、相机相对无人机的滚转角；

19、s222.构造地理坐标系下的无人机机体姿态旋转矩阵，且分别表示为：

20、；

21、；

22、；

23、其中，分别表示地理坐标系下的无人机各个方向的机体姿态旋转矩阵；

24、s223.构造地理坐标系下相机安装旋转矩阵，且分别表示为：

25、；

26、；

27、；

28、其中，分别表示地理坐标系下的相机各个方向的相机安装旋转矩阵；

29、s224.基于机体姿态旋转矩阵和相机安装旋转矩阵进行合并构造出由世界坐标到相机坐标的转换矩阵，则相机坐标系到世界坐标系的转换矩阵可以表达为转置形式：；其中，所述转换矩阵表示为：

30、；

31、其中，表示东北天到东地北的转换矩阵，为已知固定矩阵；

32、s225.通过世界坐标到相机坐标的转换矩阵计算相机在世界坐标系下的位置并转换到相机坐标系，得到平移向量；

33、s226.在忽略地表起伏的条件下，将转换矩阵的前两列和平移向量拼接成相机投影矩阵,且表示为：

34、；

35、其中，、、、、、表示转换矩阵中的前两列元素，、、表示平移向量中三个元素；

36、s227.基于所述相机投影矩阵，对各环境图像所对应的飞行器的估计位置进行解算，以获得各个初始定位结果。

37、根据本发明的一个方面，步骤s227中，基于所述相机投影矩阵，对各环境图像所对应的飞行器的位置进行解算，以获得各个初始定位结果的步骤中，包括：

38、s2271.根据相机视场角（)和环境图像的图像尺寸()计算出相机的横向等效焦距和纵向等效焦距，且分别表示为：

39、；

40、；

41、s2272.基于横向等效焦距和纵向等效焦距,并结合环境图像的中心点像素坐标构建出相机内参矩阵，且表示为：

42、；

43、s2273.基于所述相机投影矩阵和所述相机内参矩阵构建出单应矩阵，并利用单应矩阵的逆矩阵与环境图像的中心点像素齐次坐标相乘，得到地理坐标系下的匹配位置坐标与飞行器估计位置在水平面上的相对位置矢量，且表示为：

44、；

45、其中，表示相对位置矢量，表示环境图像的中心点像素齐次坐标，、、表示相对位置矢量中的三个元素；

46、s2274.基于所述相对位置矢量获得飞行器估计位置的初始定位结果，且表示为：

47、；

48、。

49、根据本发明的一个方面，步骤s3中，对多个所述初始定位结果进行聚类，并取聚类后最大簇的平均值作为所述飞行器的位置定位结果，基于所述位置定位结果对所述飞行器进行飞行导航的步骤中，包括：

50、s31.采用基于密度的空间聚类算法对所述初始定位结果进行聚类，以划分出多个不同的簇；

51、s32.获取多个不同的簇中的最大簇，并计算所述最大簇的平均值以获得所述位置定位结果。

52、根据本发明的一个方面，步骤s1中，所述绝对地理坐标信息采用经度和纬度表示。

53、为实现上述发明目的，本发明提供一种基于多源多时相卫星图像的飞行器视觉导航装置，包括：

54、基准图像库模块，用于在飞行器上建立本地卫星基准图像库，其中，所述本地卫星基准图像库存储有预设数量的多源多时相的卫星基准图像；

55、采集模块，基于飞行器上航拍相机采集当前位置周围的环境图像；

56、初定位模块，基于所述本地卫星基准图像库中的所述卫星基准图像分别与所述环境图像进行图像匹配，用于获得当前位置下所述飞行器的多个初始定位结果；

57、聚类输出模块，对多个所述初始定位结果进行聚类，并取聚类后最大簇的平均值作为所述飞行器的位置定位结果，基于所述位置定位结果对所述飞行器进行飞行导航。

58、根据本发明的一种方案，本方案通过将航拍的环境图像与多源多时相的卫星基准图像进行匹配，并对获得的多个定位结果进行融合处理，可以有效克服单图像匹配中因环境差异（如位置、姿态、季节、天气及光照变化等）导致的定位偏差，显著提高定位系统的环境适应性和结果可靠性。

59、根据本发明的一种方案，本方案通过获取不同卫星、不同时间、不同成像参数、不同成像模态、不同地理信息的基准图像，然后将飞行器航拍图像与多张多源多时相的卫星基准图进行匹配定位，得到不同的定位估计结果，最后再将多个定位估计结果进行聚类，得到最终定位结果。由此，本方案充分利用了现有多源多时相的卫星基准图的优势，得到飞行器航拍图像与不同卫星基准图多个定位结果，通过聚类得到最终定位结果，从而克服光照变化、天气变化，视角变化等因素带来的干扰，减少了飞行器在不同环境下不同条件观测时视觉定位不准的情况，提高了定位对全天时全天候环境的鲁棒性。

60、根据本发明的一种方案，本方案能够有效提升基于飞行器在全天时全天候条件下进行视觉定位的鲁棒性和精度，使得本方案可应用于无人机、飞艇等多种飞行平台单目视觉导航任务，具有广泛的应用前景和经济价值。

61、根据本发明的一种方案，本方案通过引入聚类方法对所获得的多个初始定位结果进行分类，能够将多个初始定位结果接近的点聚类到一起成为簇，排除掉定位结果分散的噪声点，避免单张图像匹配错误而导致定位结果误差较大的问题，有效的提高了本方案定位结果的可靠性。