复杂气象下多模态飞行视景图像融合方法及系统

本发明涉及飞行视景图像处理，具体涉及复杂气象下多模态飞行视景图像融合方法及系统。

背景技术：

1、飞行视景图像是飞行员或训练人员获取外部环境信息的重要载体。可见光传感器能够提供色彩和纹理，红外传感器能够提供目标热辐射差异，微光传感器能够在低照度条件下提供轮廓和弱纹理。多种传感器的光谱响应、空间分辨率、噪声类型和动态范围不同，融合处理需要在统一时空基准下判断每种模态在不同区域内能够提供的信息。雾、霾、雨、雪和低照度不仅改变整幅图像的平均质量，还会在近地层、天空区域、跑道灯光区域、热目标区域和远距离地物区域形成不均匀退化。以整幅图像的单一质量分数或固定融合权重控制融合时，局部可见信息容易被低质量模态稀释，局部错误边缘也可能被增强。

2、已有红外与可见光融合方案能够依据图像熵、无参考质量分数、低频场景信息或高频细节强度分配权重，也有航空增强视景方案利用红外、毫米波或其他传感信息补充低能见度环境中的跑道和障碍物信息。已有方案为多传感器视景显示提供了基础，但气象状态通常作为场景条件、显示条件或全局参数参与处理，图像质量指标也多以整幅图像为单位。复杂气象造成的退化具有空间差异和时间变化，单一全局权重难以同时处理天空散射、跑道反光、雨滴遮挡、积雪高反射、热目标弱对比和微光噪声。

3、多模态图像还存在配准误差与退化误差耦合的问题。雨雪条纹、雾层和运动模糊会改变跨模态边缘的对应关系，若融合算法将配准残差误判为细节差异，融合图像可能出现双边缘、虚影或纹理错位。反过来，若融合算法为了抑制虚影而普遍降低细节权重，跑道边缘、地平线和障碍物轮廓会被削弱。因此，需要把气象状态、单模态退化、跨模态一致性和配准可信度共同转化为空间分布的可靠性依据。

4、现有反馈控制通常在融合质量低于阈值时整体重算融合参数。气象测量误差、图像配准误差、单模态退化估计误差和融合门控误差具有不同的修正对象。整体更新容易导致多个参数组同时变化，使融合权重在相邻帧间振荡，也可能提高无关气象参数的采样负担。飞行视景的质量还不能只由一般图像指标判断。跑道边缘、跑道中心线、地平线和障碍物是进近、着陆及低空飞行中的任务相关信息，即使融合图像的平均清晰度较高，关键目标的连续性下降仍会影响视觉感知。

5、因此，需要提供复杂气象下多模态飞行视景图像融合方法及系统，将气象状态与图像局部退化建立空间关联，利用空间可靠性场约束亮度、色度和细节融合，再通过无参考质量结果与飞行任务感知结果对融合偏差进行归因，只更新与偏差来源对应的采集、配准、退化评估或门控参数，并以连续质量稳定条件结束闭环更新。

技术实现思路

1、本发明的目的在于解决复杂气象条件下可见光图像、红外图像和微光图像退化机理不同、局部可用信息分布不一致以及闭环参数整体更新容易振荡的问题，提供复杂气象下多模态飞行视景图像融合方法及系统。

2、为解决上述技术问题，本发明所采用的技术方案是：

3、复杂气象下多模态飞行视景图像融合方法，包括：

4、采集同一飞行视场的可见光图像、红外图像、微光图像及与采集时刻对应的气象参数，对所述可见光图像、所述红外图像和所述微光图像进行时间对齐和空间配准，得到对齐图像组；

5、从所述对齐图像组提取各模态的结构特征、辐射特征、噪声特征和跨模态一致性特征，并结合所述气象参数生成表征不同空间区域退化程度与可信度的模态可靠性场；

6、依据所述模态可靠性场对各模态特征实施可靠性门控和跨模态补偿，分别形成亮度融合特征、色度迁移特征和细节保持特征，重建飞行视景融合图像；

7、对所述飞行视景融合图像提取无参考质量结果和飞行任务感知结果，基于所述无参考质量结果、所述飞行任务感知结果及所述模态可靠性场确定融合偏差来源；

8、按照所述融合偏差来源，对用于控制采集的气象参数采集配置、用于控制配准的空间配准配置、用于控制退化评估的退化评估配置或可靠性门控参数进行选择性更新，并在连续质量结果满足稳定条件时停止更新，输出所述飞行视景融合图像。

9、作为本发明的一个优选技术方案，所述时间对齐和空间配准包括：根据硬件同步信号、图像时间戳和气象参数时间戳建立同步图像组；利用传感器外参将所述红外图像和所述微光图像投影至可见光图像坐标系；根据跨模态边缘、稳定地物轮廓和局部互信息修正投影关系；输出所述对齐图像组中的配准图像、配准残差图和配准可信度图，并将所述配准残差图和所述配准可信度图输入所述模态可靠性场的生成过程。

10、作为本发明的一个优选技术方案，所述气象参数包括能见度、相对湿度、环境温度、风速、风向、降水类型和降水强度中的至少3项；对连续气象参数进行时间滤波和变化趋势估计，形成气象状态向量和气象不确定度，所述气象状态向量用于确定气象退化先验，所述气象不确定度用于限制所述模态可靠性场的更新幅度。

11、作为本发明的一个优选技术方案，所述模态可靠性场的生成过程包括：分别确定所述可见光图像的大气散射退化特征、所述红外图像的热对比度退化特征和所述微光图像的低照度噪声退化特征；将各模态退化特征、气象退化先验、所述配准残差图和所述跨模态一致性特征输入退化评估网络；由所述退化评估网络输出各空间区域对应的模态可靠性值，并对不同模态的模态可靠性值执行归一化，使同一空间位置的模态可靠性值用于约束后续融合贡献。

12、作为本发明的一个优选技术方案，所述模态可靠性场的生成过程包括：分别确定所述可见光图像的大气散射退化特征、所述红外图像的热对比度退化特征和所述微光图像的低照度噪声退化特征；将各模态退化特征、所述气象退化先验、所述气象不确定度和所述跨模态一致性特征输入退化评估网络；由所述退化评估网络输出各空间区域对应的模态可靠性值，并对不同模态的模态可靠性值执行归一化，使同一空间位置的模态可靠性值用于约束后续融合贡献。

13、作为本发明的一个优选技术方案，所述可靠性门控和跨模态补偿包括：根据所述模态可靠性场对多尺度亮度特征进行区域自适应加权；根据可见光色度可信度和场景语义边界确定色度迁移区域；根据各模态的边缘响应及所述模态可靠性场确定细节保留方向；将所述亮度融合特征作为色度迁移的亮度约束，将所述色度迁移特征和所述细节保持特征共同输入用于重建的神经网络，从而使前一处理输出构成后一处理的输入或约束。

14、作为本发明的一个优选技术方案，所述无参考质量结果包括局部对比度、清晰度、噪声残留、色彩稳定性和时序闪烁程度；所述飞行任务感知结果包括跑道边缘连续度、跑道中心线可见度、地平线稳定度、障碍物检测置信度和地物分割一致性中的至少2项；根据所述无参考质量结果和所述飞行任务感知结果在空间位置和时间位置上的异常分布，区分气象参数测量偏差、空间配准偏差、单模态退化估计偏差和融合门控偏差。

15、作为本发明的一个优选技术方案，所述选择性更新包括：当所述融合偏差来源为气象参数测量偏差时，提高相关气象参数的采样频率或切换气象数据来源；当所述融合偏差来源为空间配准偏差时，更新局部配准控制点和图像预处理强度；当所述融合偏差来源为单模态退化估计偏差时，更新对应模态的退化特征权重；当所述融合偏差来源为融合门控偏差时，更新相应空间区域的可靠性门控参数，未被确定为偏差来源的参数组保持不变。

16、作为本发明的一个优选技术方案，所述稳定条件包括连续多个融合周期内所述无参考质量结果的变化量、所述飞行任务感知结果的变化量和所述可靠性门控参数的变化量均低于预设的对应稳定阈值；在全部模态可靠性值低于预设的安全阈值时，停止闭环更新并输出可靠性最高的单模态图像或经过保守增强的可靠性最高单模态图像，同时生成视觉可靠性提示。

17、作为本发明的一个优选技术方案，所述退化评估网络包括用于提取局部退化特征的卷积编码器、用于建立气象状态与空间退化区域关联的注意力编码器以及用于输出所述模态可靠性场的解码器；训练阶段采用带有气象真值标签、可见性真值标签和飞行任务真值标注的同步多模态样本，并以重建质量、任务保持度、模态可靠性一致性和时间平滑性构成联合训练目标；所述退化评估网络在应用阶段运行于机载边缘计算节点或飞行仿真图形处理节点。

18、作为本发明的一个优选技术方案，飞行任务为进近或着陆任务，所述飞行任务感知结果至少包括跑道入口识别结果、跑道边缘连续度和跑道中心线可见度，所述可靠性门控过程对跑道区域设置任务保持约束，使所述红外图像提供的热轮廓信息与所述可见光图像或所述微光图像提供的结构信息在跑道区域内保持空间一致。

19、作为本发明的一个优选技术方案，飞行任务为飞行训练仿真任务，所述飞行任务感知结果与训练科目设定的关键地物类别、障碍物位置和视程等级进行比对，偏差归因结果用于更新训练仿真图形处理节点中的可靠性门控参数，并将融合前图像、所述飞行视景融合图像、所述气象状态向量和反馈更新记录保存为训练复盘数据。

20、作为本发明的一个优选技术方案，在浓雾、强降水或降雪气象条件下，将机载气象传感器数据、地面气象站数据和气象数据链数据进行一致性检查，形成多源气象状态向量和气象变化趋势；利用所述气象变化趋势预先调整后续融合周期中待使用的可靠性门控参数，并在新一时刻的图像质量结果到达后根据所述融合偏差来源对所述后续融合周期中待使用的可靠性门控参数进行确认或回退。

21、另外，本发明还公开了复杂气象下多模态飞行视景图像融合系统，用于执行如上所述的复杂气象下多模态飞行视景图像融合方法，其特征在于：包括多模态图像采集组件、气象参数采集组件、同步配准处理器、可靠性评估处理器、分层融合处理器、反馈控制处理器、存储器和数据总线；

22、所述多模态图像采集组件包括可见光传感器、红外传感器和微光传感器，并将同一飞行视场的图像经数据总线输出至所述同步配准处理器；

23、所述气象参数采集组件将带时间戳的气象参数输出至所述可靠性评估处理器和所述反馈控制处理器；

24、所述同步配准处理器将对齐图像组、配准残差图和配准可信度图输出至所述可靠性评估处理器；

25、所述可靠性评估处理器根据从所述对齐图像组提取的图像特征和接收的所述气象参数生成模态可靠性场并输出至所述分层融合处理器；

26、所述分层融合处理器根据所述模态可靠性场形成飞行视景融合图像，并将所述飞行视景融合图像输出至显示接口和所述反馈控制处理器；

27、所述反馈控制处理器根据从所述飞行视景融合图像提取的无参考质量结果、飞行任务感知结果和确定的融合偏差来源，向所述气象参数采集组件、所述同步配准处理器、所述可靠性评估处理器或所述分层融合处理器发送选择性更新指令；

28、所述存储器保存处理程序、模型参数和反馈更新记录。

29、作为本发明的一个优选技术方案，所述分别确定所述可见光图像的大气散射退化特征、所述红外图像的热对比度退化特征和所述微光图像的低照度噪声退化特征，包括：针对进近着陆阶段开启的主动进近灯光系统，识别所述可见光图像和所述微光图像中亮度值大于预设的传感器饱和阈值的局部亮度峰值点，计算以所述局部亮度峰值点为中心的径向梯度衰减率；当所述径向梯度衰减率低于预设的标准梯度阈值且所述局部亮度峰值点的亮度值大于所述预设的传感器饱和阈值时，将所述局部亮度峰值点周围的连通区域标记为主动光源散射光晕区域；针对所述主动光源散射光晕区域，构建由所述气象参数中的所述能见度和所述相对湿度动态映射的光晕空间扩展模型，利用所述光晕空间扩展模型生成空间连续的动态抑制系数；将所述动态抑制系数叠加至所述可见光图像的大气散射退化特征和所述微光图像的低照度噪声退化特征中，以在所述主动光源散射光晕区域内强制提高输入至所述退化评估网络中的所述大气散射退化特征的响应值，从而降低所述退化评估网络在所述主动光源散射光晕区域内输出的所述可见光图像和所述微光图像的模态可靠性值。

30、作为本发明的一个优选技术方案，所述根据各模态的边缘响应及所述模态可靠性场确定细节保留方向，包括：构建以所述模态可靠性场为权重的多模态联合结构张量，对所述多模态联合结构张量执行特征值分解，获取表征结构显著程度的主特征值、次特征值以及对应的特征向量；利用所述主特征值与所述次特征值的比值区分图像空间中的平坦区域、边缘区域和角点区域；在所述边缘区域中，提取由所述多模态联合结构张量确定的主特征向量方向作为跨模态共有边缘方向；沿着所述跨模态共有边缘方向执行一维平滑滤波抑制跨模态配准残差引起的虚假边缘，并沿着与所述跨模态共有边缘方向垂直的法线方向执行一维高通滤波提取边缘细节特征，将双向滤波的联合输出作为所述细节保持特征。

31、与现有技术相比，本发明具有以下有益效果：

32、本发明模态可靠性场把气象状态、单模态退化、跨模态一致性和配准可信度统一到空间位置，使融合贡献随局部退化变化。与整幅图像使用单一权重相比，天空散射区域、跑道灯光区域、积雪高反射区域和热目标区域能够采用不同的模态贡献，降低低质量模态对局部可用信息的稀释。可靠性门控与亮度融合、色度迁移、细节保持形成前后依赖关系。亮度结果约束色度迁移，色度和细节共同进入重建，配准可信度参与细节保留，能够减少双边缘、虚影、色彩漂移和细节过增强。无参考质量支路与飞行任务感知支路共同评价融合图像。评价对象既包括对比度、清晰度和噪声，也包括跑道边缘、中心线、地平线和障碍物，使反馈目标落到飞行视景的技术用途。偏差归因后的选择性反馈只更新与异常来源相关的参数组，减少无关参数同步变化造成的时序振荡，并避免在图像配准问题出现时错误提高气象采样频率。连续质量稳定条件和低可靠性安全回退为闭环提供终止边界。本发明能够部署于机载边缘计算节点或飞行仿真图形处理节点。核心权项不依赖特定传感器型号和固定气象阈值，系统实现层能够通过同步采集、多源气象接入和硬件加速满足实时处理需要，场景层能够覆盖进近着陆与训练仿真。