集成机器视觉的飞行组合导引系统、方法和介质与流程

技术特征：
1.一种集成机器视觉的飞行组合导引系统，包括：传统导航系统，被配置为确定飞机的位置并接收地面的引导信号来提供传统导引信息；视觉导航系统，被配置为采集有关机场的图像数据，并通过对所述图像数据进行图像识别以生成跑道结果信息；数据融合和引导系统，被配置为接收来自所述传统导航系统的所述传统导引信息以及来自所述视觉导航系统的所述跑道结果信息，并将这些信息进行数据融合；以及自动飞行控制系统，被配置为根据来自所述数据融合和引导系统的经融合的数据，生成相应的飞行导引指令。2.如权利要求1所述的飞行组合导引系统，其特征在于，所述视觉导航系统包括：图像采集单元，被配置为采集机场的图像数据；图像处理单元，被配置为根据来自所述传统导航系统的当前姿态信息对所述图像数据进行几何修正；以及机载人工智能系统，被配置为使用图像识别算法模型对经几何修正的图像数据进行深度特征识别，以生成所述跑道结果信息。3.如权利要求2所述的飞行组合导引系统，其特征在于，所述视觉导航系统还被配置为：将所采集的图像数据传输给地面人工智能系统，所述地面人工智能系统被配置为利用所述图像数据对本地图像识别算法模型进行训练，并将经训练的本地图像识别算法模型与所述机载人工智能系统中的所述图像识别算法模型进行模型同步。4.如权利要求2所述的飞行组合导引系统，其特征在于，所述数据融合包括：根据所述传统导航系统和所述视觉导航系统的自身精度和可靠性，利用专家评估系统为由其所提供的各导引信息赋予不同的权重，并通过深度学习模型从这些导引信息中提取深度特征作为融合权值来实现数据融合。5.如权利要求2所述的飞行组合导引系统，其特征在于，所述图像采集单元包括：可见光图像采集单元，被配置为在能见度良好时工作以采集机场的图像数据；以及红外光图像采集单元，被配置为在能见度低下时工作以采集机场的图像数据。6.如权利要求5所述的飞行组合导引系统，其特征在于，还包括机组显示告警系统，被配置为在能见度低下时，将从所述红外光图像采集单元所采集的图像数据中识别出的跑道结果信息通过所述机组显示告警系统直接显示给飞行员以供参考。7.一种利用机器视觉的飞行组合导引方法，包括：使用传统导航系统确定飞机的位置并接收地面的引导信号以生成传统导引信息；使用视觉导航系统采集有关机场的图像数据；通过使用图像识别算法模型对所述图像数据进行图像识别生成跑道结果信息；接收来自所述传统导航系统的所述传统导引信息以及来自所述视觉导航系统的所述跑道结果信息，并将这些信息进行数据融合；以及根据经融合的数据，生成相应的飞行导引指令。8.如权利要求7所述的飞行组合导引方法，其特征在于，所述方法还包括：根据来自所述传统导航系统的当前姿态信息对采集的所述图像数据进行几何修正，所
述几何修正包括：利用深度学习算法对图像进行区域分割以提取区域特征，将提取的特征作为该区域修正图像中的修正权值，根据像素所属区域的融合权值，通过自适应加权平均得到最终的修正图像。9.如权利要求8所述的飞行组合导引方法，其特征在于，所述通过使用图像识别算法模型对所述图像数据进行图像识别生成跑道结果信息的步骤包括：对经几何修正的图像数据进行深度特征识别以从中提取和分类深度特征；其中所述深度特征包括：跑道边界、跑道中心线、滑行道中心线、滑行道边界、地面车辆、人员、建筑物、异常入侵以及其他与跑道相关的特征。10.如权利要求7所述的飞行组合导引方法，其特征在于，还包括：将采集的图像数据传输给地面人工智能系统以利用所述图像数据对本地图像识别算法模型进行训练，并将经训练的本地图像识别算法模型与所述图像识别算法模型进行模型同步。11.如权利要求7所述的飞行组合导引方法，其特征在于，所述数据融合包括：在水平方向的分析处理中：根据所述跑道结果信息和位置信息，计算当前航向与跑道中心线的偏差；确定传统水平导引信息是否可用，如果所述传统水平导引信息不可用，则将所述偏差直接输出给自动飞行控制系统；或如果所述传统水平导引信息可用，则将所述当前航向与跑道中心线的偏差和来自所述传统导航系统的传统水平导引信息融合；以及在垂直方向的分析处理中：比较所述跑道结果信息与标准降落图片以确定与跑道的距离；确定传统垂直导引信息是否可用，如果所述传统垂直导引信息不可用，则将所述与跑道的距离直接输出给自动飞行控制系统；或如果所述传统垂直导引信息可用，则将所述与跑道的距离和来自所述传统导航系统的传统垂直导引信息融合。12.如权利要求7所述的飞行组合导引方法，其特征在于，所述数据融合包括：根据传统导航系统和视觉导航系统的自身精度和可靠性，利用专家评估系统为由所述传统导航系统和视觉导航系统所提供的各导引信息赋予不同的权重，并通过深度学习模型从这些导引信息中提取深度特征作为融合权值来实现数据融合。13.如权利要求7所述的飞行组合导引方法，其特征在于，还包括：确定机场的能见度是否高于阈值；如果所述能见度高于所述阈值，则所述视觉导航系统使用可见光图像采集单元采集机场的图像数据；或者如果所述能见度低于或等于所述阈值，则所述视觉导航系统使用红外光图像采集单元采集机场的图像数据。14.如权利要求13所述的飞行组合导引方法，其特征在于，还包括：如果所述能见度低于或等于所述阈值，则对由所述红外光图像采集单元采集机场的图像数据进行图像识别，并将识别后的跑道结果信息通过机组显示告警系统直接显示给飞行
员以供参考。15.一种存储有指令的计算机可读存储介质，当所述指令被执行时使得机器执行如权利要求7所述的方法。

技术总结
本申请涉及一种集成机器视觉的飞行组合导引系统，包括：传统导航系统，被配置为确定飞机的位置并接收地面的引导信号来提供传统导引信息；视觉导航系统，被配置为采集有关机场的图像数据，并通过对所述图像数据进行图像识别以生成跑道结果信息；数据融合和引导系统，被配置为接收来自所述传统导航系统的所述传统导引信息以及来自所述视觉导航系统的所述跑道结果信息，并将这些信息进行数据融合；以及自动飞行控制系统，被配置为根据来自所述数据融合和引导系统的经融合的数据，生成相应的飞行导引指令。飞行导引指令。飞行导引指令。


技术研发人员：刘利朝 张向阳 万赟 王东伟 宗军耀 许浩楠
受保护的技术使用者：中国商用飞机有限责任公司上海飞机设计研究院
技术研发日：2021.09.16
技术公布日：2021/10/23