集成机器视觉的飞行组合导引系统、方法和介质与流程

1.本技术涉及一种民用飞机的飞行导引领域。更具体而言，涉及一种集成了机器视觉系统的飞行组合导引系统、方法和介质。


背景技术：

2.目前，民用飞机在自动起降过程中，主要依赖于飞行管理系统、自动飞行控制系统、仪表着陆系统（ils）、全球卫星着陆（gls）系统等各种机载系统，以实现从起飞到降落过程中的自动飞行，其中在起飞阶段依然依赖机组手动操纵飞行，上述这些机载系统仅仅提供参考数据。而在进近和降落阶段则可以通过ils/gls和飞管着陆系统（fls）进行导引，并且在配备自动着陆系统的飞机上已经可以全程引导飞机实现自动着陆。但是，目前的这种自动起降系统，不仅需要飞机自身配备自动着陆系统的引导信号接收设备，而且还要求机场方面安装配套的引导信号发射设备。这导致其严重依赖地面辅助导航设施，飞机在条件落后的机场运行性较差。
3.随着人工智能的快速发展，相关自动化导航技术已在其他领域取得了较好的应用，包括无人机和汽车自动驾驶领域。同时，研究发现基于机器视觉的导航导引技术在民用飞机领域也已经具有了一定的实际应用，能够实现初步的起飞和降落导引。人工智能在目前的飞机自动驾驶中主要利用了机器视觉技术。机器视觉技术通过将视觉传感器、图像处理设备和人工智能算法相结合，可以在地面滑行、起飞和降落过程中识别飞机相对于跑道和滑行道位置，从而实现飞机导引。但是，单独依赖机器视觉系统难以提供高可靠性的完整导航导引。因此，单纯依赖于机器视觉系统来引导飞机的自动起降技术在可靠性上存在很大的问题，导致其无法如汽车自动驾驶那样被广泛开发和应用。
4.因此，存在一种需求，希望能够将基于机器视觉的自动起降功能与传统机载导航技术进行融合以便即使是在简陋的机场环境下还是能提升飞机的整个飞行过程的自动化起降的可靠性，为民用飞机的单人驾驶提供有力支持。


技术实现要素：

5.本技术涉及一种集成了机器视觉系统的飞行组合导引系统、利用机器视觉系统的飞行组合导引方法以及存储所述飞行组合导引方法的计算机存储介质。
6.根据本技术的第一方面，提供了一种集成机器视觉的飞行组合导引系统，包括：传统导航系统，被配置为确定飞机的位置并接收地面的引导信号来提供传统导引信息；视觉导航系统，被配置为采集有关机场的图像数据，并通过对所述图像数据进行图像识别以生成跑道结果信息；数据融合和引导系统，被配置为接收来自所述传统导航系统的所述传统导引信息以及来自所述视觉导航系统的所述跑道结果信息，并将这些信息进行数据融合；以及自动飞行控制系统，被配置为根据来自所述数据融合和引导系统的经融合的数据，生成相应的飞行导引指令。
7.根据本技术的第二方面，提供了一种利用机器视觉的飞行组合导引方法，包括：使
用传统导航系统确定飞机的位置并接收地面的引导信号以生成传统导引信息；使用视觉导航系统采集有关机场的图像数据；通过使用图像识别算法模型对所述图像数据进行图像识别生成跑道结果信息；接收来自所述传统导航系统的所述传统导引信息以及来自所述视觉导航系统的所述跑道结果信息，并将这些信息进行数据融合；以及根据经融合的数据，生成相应的飞行导引指令。
8.根据本技术的第三方面，提供了一种存储有指令的计算机可读存储介质，当所述指令被执行时使得机器执行如第二方面所述的方法。
9.提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
附图说明
10.为了描述可获得本发明的上述和其它优点和特征的方式，将通过参考附图中示出的本发明的具体实施例来呈现以上简要描述的本发明的更具体描述。可以理解，这些附图只描绘了本发明的各典型实施例，并且因此不被认为是对其范围的限制，将通过使用附图并利用附加特征和细节来描述和解释本发明，在附图中：图1示出了根据本技术的一个实施例的飞行自动起降系统的示例环境框图。
11.图2示出了用于根据本技术的一个实施例的飞行组合导引系统的飞行自动起降方案的示例流程图。
12.图3示出了根据本技术的一个实施例的可从机场图像中识别出的各个示例深度特征点的轮廓图。
13.图4示出了用于集成机器视觉的飞行组合导引系统的导引面板的示意图。
具体实施方式
14.如前所述，现有的飞机自动导航导引技术存在以下问题：1）目前的盲降导引技术需要在地面安装专门的导航设施，以支持实现高精度和可靠性的着陆要求，此技术对地面设施的性能依赖严重；2）气象条件差时，飞机起降过程中能见度低下，机组对周围环境的态势感知较差，容易引发安全性事故；3）由于机器视觉的应用本身存在一定缺陷（特别是可靠性方面），单纯依赖此技术难以实现高可靠性的导航导引。
15.因此，本技术中所公开的方案在已有的传统导航导引系统基础上，通过将其与机器视觉的技术进行组合，从而实现飞机的自动起降导引。结合了机器视觉的组合导引方案与传统的导航导引方案相比，具有明显的非相似性，能够减少对地面导航设施的依赖性，同时提高飞机整体的自动化水平和可靠性。
16.具体而言，本技术公开一种集成机器视觉的飞行组合导引系统和方法，该方案在传统导航导引技术的基础上引入了视觉导航系统，通过对两者进行信息融合，为飞机提供高可靠性的自动起降导引功能。视觉导航系统通过可见光和红外成像技术形成对机场跑道的态势感知。机载人工智能系统中的神经网络算法模型需要与地面云端的人工智能系统同
步。通过将图像传感器采集的图像数据输入到人工智能算法模型中来提取深度特征以生成跑道结果信息，并将跑道的这些深度特征与传统导航导引信息进行融合以生成正确的飞行导引指令。其中，当视觉导航系统的算法模型准确率较高时，可将视觉导航的信息与传统导航的信息进行数据融合并生成相应的飞行导引指令；而当视觉导航系统的算法模型准确率较低时，可以仅将视觉识别出的结果提供到驾驶舱屏幕进行显示，而不与传统导航导引技术融合，进而提高了机组对周围环境的态势感知。
17.图1示出了根据本技术的一个实施例的飞行自动起降系统的示例环境框图。
18.如图所示，所述飞行自动起降系统100可以分为飞行计划和轨迹预测系统110、飞行组合导引系统 120、地面人工智能系统130以及机组显示告警系统140这几个部分。
19.飞行计划和轨迹预测系统110，被配置为基于飞行计划和导航数据库来对飞机的航迹进行预测，并将预测结果提供给飞行组合导引系统 120。
20.飞行组合导引系统 120，被配置为基于将传统导航系统提供的信息与来自视觉导航系统的信息融合在一起，并生成相应的飞行导引指令来控制飞机的飞行，或者将视觉导航系统的信息直接提供给机组显示告警系统140。
21.地面人工智能系统130，被配置为根据从视觉导航系统124中的图像采集单元（例如摄像头或红外线摄像机）中采集的在大量不同场景（不同的光照、能见度、视角等）中的机场照片对配置在其上的本地人工智能模型（例如图像识别算法模型）进行不断模拟训练，并将训练好的人工智能模型与飞机上的机载人工智能系统中的对应模型进行模型同步，以使得所述机载的人工智能模型能够不断更新和优化。
22.机组显示告警系统140，被配置为将从飞行组合导引系统 120接收到的视觉导航系统的信息显示在驾驶舱的屏幕上，以提高机组人员对周围环境的态势感知。
23.在其中，所述飞行计划和轨迹预测系统110是飞行系统的常用部件，其结构和功能也可以利用这些常用部件来实现，而机组显示告警系统140 则可以利用传统的驾驶舱显示屏、扬声器、蜂鸣器等来实现。因此，在下面的具体示例中不再对上述部件进行详细描述。本领域技术人员可以利用现有的相应部件来实现上述这些系统。
24.这些系统可以通过有线电缆或无线链路来彼此进行数据通信。特别是所述地面人工智能系统130可以利用诸如航空数据链（atc、aoc）、4g/5g/wifi、卫星通信链路等等无线传输技术来与飞机上的视觉导航系统124进行数据通信。
25.而飞行组合导引系统 120则是本技术的核心部件，它主要由传统导航系统122、视觉导航系统124、数据融合与引导系统126以及自动飞行控制系统128四部分组成。
26.传统导航系统122是指现有的民航飞机常用的导航系统，它一般包括着陆系统（xls/fls）、卫星导航系统以及大气数据和惯性基准系统。这些系统通过确定飞机的位置并接收地面的引导信号来提供传统导引信息以引导飞机按预定航线飞行。通常，它需要与地面上的引导信号发射设备配合才能实现自动起降功能。所述传统导航系统122可以直接采用现有的民航飞机系统所采用的飞行导航系统来实现。
27.视觉导航系统124，被配置为采集有关机场的图像数据，对所述图像数据进行几何修正，并利用机载人工智能系统中的图像识别算法模型对所述图像数据进行深度特征识别以获得跑道结果信息，作为导引信息。其主要包括图像采集单元、图像处理单元以及机载人工智能系统。
28.具体而言，在机载端装载有一个或多个图像采集传感器，用于采集大量的图像数据。所述图像采集单元可以是采集可见光的图像采集单元，例如摄像头、相机等等，其可用于在飞机外部环境能见度较高时工作以采集机场的图像数据。另一方面，所述图像采集单元还可以包括例如红外线摄像机、热成像仪等等的红外图像采集单元，以在飞机外部环境能见度较低的情况下采集机场的红外图像数据以供分析。
29.随后，所述图像数据可以被发送给视觉导航系统124的图像处理单元进行预处理。图像处理单元利用从传统导航系统122输出的姿态信息对图像数据进行几何修正，随后，所述经修正的图像数据被输出给机载人工智能系统以进一步分析处理。
30.另一方面，在将所述图像数据发送给图像处理单元的同时，其也可以作为数据样本通过无线通信链路发送给地面人工智能系统以对本地的图像识别算法模型进行训练。而训练后的图像识别算法模型又可以通过无线链路与飞机上的机载人工智能系统中的图像识别算法模型进行模型同步，从而使得机载人工智能系统中的人工智能模型能够不断地被更新和优化。
31.之所以不直接使用机载人工智能系统进行模型的训练和优化是由于机载人工智能系统所依托的飞机的计算设备（例如机载计算机）的算力有限，难以胜任对从图像采集单元采集的大量数据样本的长期实时处理和分析要求，无法及时训练所述人工智能系统以保持最优，并且还会耗费飞机的大量有限资源（例如有限的空间和电力资源）。而将计算任务繁重的训练任务转移到地面人工智能系统，就能充分发挥地面人工智能系统的强大运算能力。所述人工智能系统可以是具有强大运算能力的服务器、计算机或由其构成的计算网络。并且地面上的算力扩展可以通过不停增加和升级地面服务器的数量来很容易的实现，不受空间和能耗的限制），不仅大大提高了训练的速度和效率，也提供了更高的可靠性。
32.随后，机载人工智能系统对由图像处理单元所提供的经几何修正的图像数据进行深度特征识别以从中提取出所需的各种深度特征并生成跑道结果信息。在所述机载和地面人工智能系统中预先安装有用于图像识别的图像识别算法模型。如前所述，在地面处的人工智能系统中的所述图像识别算法模型可以通过接收大量的数据样本进行优化和训练以提高图像识别（跑道深度特征）的准确率。而经优化的图像识别算法模型可以通过模型同步来对在机载人工智能系统上的对应的图像识别算法模型进行更新优化。
33.经机载人工智能系统识别并提取的跑道结果信息，由传统导航系统122提供的飞机位置、姿态等传统导引信息，或者还可以加上由飞行计划和轨迹预测系统110提供的期望飞行轨迹，被一起提供给数据融合与导引系统126。
34.所述数据融合与导引系统126通过对这些特征和导引信息进行数据融合和组合之后，从中获得例如飞机当前的水平偏差和垂直偏差信息，并将其分别发送给自动飞行控制系统128的相应控制模块。
35.自动飞行控制系统128根据所述水平偏差和垂直偏差信息生成并输出相应的飞行导引指令（例如其中的水平导引模块基于水平偏差生成水平导引指令，而垂直导引模块基于垂直偏差信息生成垂直导引指令）以控制飞机的起降状态。
36.至此，通过结合基于机器视觉功能与传统机载导航功能实现了即使是在简陋的机场环境下（例如地面传统导航设备不完善的情况）还是能提升飞机的整个飞行过程的自动化起降的可靠性，为民用飞机的单人驾驶提供有力支持。
37.下面，结合图2来具体描述一下用于根据本技术的一个实施例的飞行组合导引系统的飞行自动起降方案的示例流程图。需要注意的是所述示例方案包含了引导飞机自动起降的完整过程，而真正的结合了机器视觉的飞行组合导引方法只是该方案其中的一部分。
38.如图所示，在步骤202，获得飞机的当前位置信息。所述当前位置信息可以利用例如传统导航系统的卫星导航系统的定位信息来确定。
39.在步骤204，基于所述当前位置信息，判断飞机所处的飞行阶段。如前所述，本技术的方案主要是针对飞机的自动起降方案的改进，因此，一般只有当飞机进入到“起飞”阶段或者进入到“进近降落”阶段，才会执行本技术的方案。因此，在该步骤中，基于所述当前位置信息，所述判断步骤可能存在三个结果，即判定飞机处于“起飞”阶段、判定飞机处于“进近降落”阶段或者判定飞机处于“巡航”阶段。
40.如果判定飞机处于“巡航”阶段，则意味着飞机并没有处于需要触发自动起降功能的场景，因此，整个流程可以就此结束。随后可以例如以固定周期重新执行所述流程以进行新一轮的判断。
41.如果判定飞机处于“起飞”阶段，则流程进入到“起飞”分支流程。在该流程中：首先，在步骤206，利用所述视觉导航系统实时识别跑道的信息，例如跑道边界、跑道中心线、滑行道中心线、滑行道边界等等信息。这些信息可以由机载人工智能系统从图像采集单元所采集的图像数据中实时识别出。在现有技术中已经存在很多识别所述信息的方案，在此，不再详述。
42.随后，在步骤208，将所识别出的跑道结果信息通过例如机组显示告警系统140显示给飞行员以为他们提供参考信息。
43.接着，在步骤210，在数据融合与引导系统126处，根据所述跑道的信息和位置信息，计算当前航向与跑道中心线的偏差信息。
44.随后，在步骤212，自动飞行控制系统128根据所述偏差信息生成相应的水平导引指令以将飞机引导到中心位置避免偏离跑道。
45.至此，起飞分支流程结束。
46.另一方面，如果判定飞机处于“进近降落”阶段，则流程进入到“降落”分支流程。
47.首先，在步骤214处，判断当前机场的能见度是否高于阈值。所述能见度可以利用能见度仪来测量。如果测量到的大气能见距离低于或等于阈值，则说明此时机场的周边环境的能见度很低，视觉导引系统中的基于可见光的图像采集单元（例如摄像头）很可能无法正常工作，因此，流程进入步骤216以启用红外传感器来采集图像数据。而如果测量到的大气能见距离高于阈值，则说明此时机场的周边环境的能见度良好，流程进入步骤220以启用视觉导引系统中的基于可见光的图像采集单元（例如摄像头）来采集图像数据。
48.先讨论能见度低于或等于阈值的情况，流程行进至步骤216，启用红外传感器来采集机场的图像数据。
49.随后，在步骤218，由于能见度没有满足阈值要求，因此，此时来自红外传感器的图像数据的可信度并不高，只能给出比较模糊的识别信息。因此，在该步骤，所述图像数据通过机组显示告警系统140，被显示在驾驶舱的屏幕上，以提高机组人员对周围环境的态势感知，而不会将其用于与传统导航系统的信息融合。至此，流程结束。
50.而当判定当前机场的能见度高于阈值时，则说明视觉导引系统的视觉导引信息具
有足够的可信度，可以通过与传统导航系统的信息融合和组合来实现本技术的飞行组合导引方案。因此，在此，流程开始正式进入到飞行组合导引方案的示例具体流程。
51.首先，在步骤220，视觉导引系统启用可见光传感器进行图像采集。
52.随后，在完成图像采集之后，流程进入步骤222，从传统导航系统中获取当前姿态信息。
53.在步骤224，图像处理单元基于所述当前姿态信息对采集的图像数据进行几何修正。所述几何修正可以包括：利用深度学习算法对图像进行区域分割提取区域特征，将提取的特征作为该区域修正图像中的修正权值，根据像素所属区域的融合权值，通过自适应加权平均得到最终的修正图像。
54.随后，在步骤226中，机载人工智能系统对经几何修正的图像数据进行图像识别以生成跑道结果信息。所述机载人工智能系统可以使用图像识别算法模型来进行深度特征识别。具体而言，所述机载人工智能系统可以将从传统导航系统中输出的位置信息和来自图像处理器的经几何修正的图像数据都输入到机载人工智能系统的图像识别算法模型中，通过将训练好的参数用于该算法模型来完成对机场环境的深度特征特性（例如跑道边界、跑道中心线、滑行道中心线、滑行道边界、地面车辆、人员、建筑物、异常入侵等等信息）的提取和分类。例如，在图3中示出了根据传统导航系统中输出的位置信息可以从经修正的图像中识别出的各个深度特征点的示例轮廓图。如该图所示，图像中的机场中心线、跑道边界、机场一侧的建筑物轮廓等各个特征点都可以利用所述模型被准确识别出来。这些识别出的跑道结果信息可以用于之后的处理。
55.机载人工智能系统的图像识别算法模型可以是一种深度学习模型，如前所述，所述图像数据可以同时被传送给地面的人工智能系统，以利用梯度下降法反向训练模型的参数，随后，在地面人工智能系统和机载智能系统之间执行模型同步，从而，使得机载人工智能系统不断被更新和优化。
56.在生成所述跑道结果信息之后，经机载人工智能系统识别并提取的跑道结果信息，由传统导航系统122提供的飞机位置、姿态等信息，或者还可以加上由飞行计划和轨迹预测系统110提供的期望飞行轨迹，被一起提供给数据融合与引导系统126以进行数据融合和导引组合。在此，所述流程可以被分成两个子流程，即针对水平方向的分析处理和针对垂直方向的分析处理。
57.在水平方向的分析处理中，包括：在步骤228，根据所述跑道结果信息和位置信息，计算当前航向与跑道中心线的偏差信息。
58.在步骤230， 判断是否有来自传统导航系统122的传统水平导引信息可用。
59.如果不存在传统水平导引信息（例如所要降落的机场设施陈旧并没有安装合适的地面起降导引设备），则数据融合与引导系统126直接将所述偏差信息发送给自动飞行控制系统128，以在步骤234中生成并输出水平导引指令。也就是说，当传统导航系统122无法进行自动导航时，本方案可以直接根据来自视觉导航系统的数据来生成水平导引指令。
60.而如果判定存在来自传统导航系统122的传统水平导引信息时，在步骤232所述数据融合与引导系统126可以通过下述方式通过数据融合实现这两个系统的组合引导：在进行组合导引时，根据传统导航系统和机器视觉系统的自身精度和可靠性由其提供的导引信息赋予不同置信度（例如不同的权重），并通过对这些信息进行加权平均来实现数据融合，
随后，将数据融合信息发送给自动飞行控制系统128，以在步骤234中生成并输出（经融合）的水平导引指令。例如，在能见度较好的情况下，视觉导航系统采集后识别的特征元素准确率高，在进行上述导引数据融合时来自视觉导航系统的导引数据将占有较大的权重。
61.相对应地，在垂直方向的分析处理中，则包括：在步骤236，根据所述跑道结果信息与标准降落图片的比对确定与跑道的距离。
62.在步骤238， 判断是否有来自传统导航系统122的传统垂直导引信息可用。
63.如果不存在传统垂直导引信息（例如所要降落的机场设施陈旧并没有安装合适的地面起降导引设备），则数据融合与引导系统126直接将所述与跑道的距离信息发送给自动飞行控制系统128，以在步骤242中生成并输出垂直导引指令。也就是说，当传统导航系统122无法进行自动导航时，本方案可以直接根据来自视觉导航系统的数据来生成垂直导引指令。
64.而如果判定存在来自传统导航系统122的传统垂直导引信息时，则在步骤240处，所述数据融合与引导系统126则可以通过下述方式通过数据融合实现这两个系统的组合引导：在进行组合导引时，根据传统导航系统和视觉导航系统的自身精度和可靠性，通过构建专家评估系统对传统导航系统的导航性能评估参数（如位置估计不确定度、完整性和连续性）和视觉导航系统的性能评估参数（关键对象识别精度、核心算法验证数据集、算法可信度）进行合评估。专家评估系统可基于传统导航系统和视觉导航系统的性能评估参数为各自提供的导引信息赋于不同的权重。在进行导引信息融合的过程中，需要通过深度学习模型从传统导航和视觉导航提供的导引信息中进行特征提取（包括水平方向的偏航距、偏航角信息和垂直方向的高度偏差、轨迹角偏差等信息）以改善整体的导引性能。
65.随后，将数据融合信息发送给自动飞行控制系统128，以在步骤242中生成并输出（经融合）的垂直导引指令。例如，在能见度较好的情况下，视觉导航系统采集后识别的特征元素准确率高，在进行上述导引数据融合时来自视觉导航系统的导引数据将占有较大的权重。
66.当自动飞行控制系统128生成并输出了所述水平和垂直导引指令后，所述自动起降流程全部结束。
67.在一个实施例中，尽管未示出，但在将来自所述视觉导航系统124的导引信息与来自传统导航系统122的导引信息进行融合的同时，所述来自所述视觉导航系统的导引信息（即从图像数据中所识别的跑道深度特征）也可以被提供给机组显示告警系统140，以显示在驾驶舱的屏幕上，以提高机组人员对周围环境的态势感知。
68.应该理解，上述图2中所示出的示例流程涉及到了飞机的自动起降的完整方案流程，事实上，真正涉及到传统机载导航导引系统与机器视觉导航系统的导引组合内容的仅仅是该方案流程的一部分。并且，所述方案流程仅仅是示例性的，技术人员可以根据实际需求添加更多步骤、减少部分步骤或者改变部分步骤执行顺序。这都在本技术的保护范围中。
69.图4示出了用于集成机器视觉的飞行组合导引系统的导引面板的示意图。如图所示，除了由系统自动决定导引模式之外，飞行员也可以利用所述导引面板来从多种不同的导引模式中选择合适的模式，如混合
‑
1表示视觉导航系统（cvs）与仪表着陆系统（ils）的组合导引的模式，同时显示当前导引模式的性能状态：高（即可靠性高）；而混合
‑
2表示视觉导航系统（cvs）与全球卫星着陆系统（gls）的组合导引的模式，同时显示当前导引模式的性能
状态：中；同样，混合
‑
3表示视觉导航系统（cvs）与飞管着陆系统（gls）的组合导引的模式，同时显示当前导引模式的性能状态：低。上述三种模式都可以被认为是视觉导航系统与各种类型的传统导航系统的组合，飞行员可以利用该面板来手动选择想要的混合模式。当然，除了各种混合模式之外，面板还提供了“视觉导航系统”模式，也即仅开启视觉导航系统。
70.通过使用上述飞行组合导引方案，可以实现以下改进：
‑
在传统机载导航导引系统的基础上，增加了机器视觉导航系统（cvs），其包括图像采集单元、图像处理单元和人工智能训练单元。此方法与现有技术形成非相似冗余设计，可以有效提高自动导引水平和系统可靠性；
‑
根据人工智能系统的图像识别算法模型的可信度制定不同的导引策略，在其可信度较高时通过与传统的导航导引进行融合提供更高性能的飞行导引；
‑
采用对可见光和红外成像技术进行融合处理，在恶劣气象条件下提高了飞行导引的可靠性；
‑
通过利用来自机上摄像头所采集的图像数据在地面人工智能系统中不断地对所述算法模型进行训练并与机载人工智能系统中的对应模型保持模型同步，提高了图像识别算法模型的识别精度。
71.虽然以上描述了不同的实施例，但应当理解的是它们只是作为示例而非限制。（诸）相关领域的技术人员将领会，在不偏离如所附权利要求书所定义的本发明的精神和范围的情况下，可以在形式和细节方面进行各种修改。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。