一种面向航空视景增强系统的模型知识蒸馏方法及系统

本发明涉及机器视觉和图像处理，尤其涉及一种面向航空视景增强系统的模型知识蒸馏方法及系统。

背景技术：

1、航空视景增强系统主要用于在低能见度、弱光、雾霾、雨雪、逆光等复杂环境下提升飞行员对外界场景的感知能力，从而提高飞行安全性与任务执行效率。随着深度学习技术的发展，基于卷积神经网络或视觉神经网络的视景增强方法在图像去雾、低照度增强、细节恢复与目标显著性提升等方面表现出较好的性能。然而，此类模型通常具有参数规模大、计算量高、推理延迟长等问题，在训练完成后仍需占用较多计算资源，难以直接部署于航空视景增强系统所依赖的机载嵌入式平台或边缘计算设备中。因此，在尽量保证增强效果的前提下，降低模型体积与推理开销，已成为相关领域的重要研究方向。

2、针对深度学习模型在部署阶段存在的计算与存储压力，现有技术通常采用模型裁剪、参数量化以及轻量化网络结构设计等方法实现模型压缩与推理加速。模型裁剪主要通过去除网络中冗余的权重连接或特征通道来降低参数规模，参数量化则通过将浮点参数映射为低比特整数以减少模型存储开销和运算复杂度，轻量化网络设计则多采用深度可分离卷积、分组卷积、倒置残差等结构以构建更加紧凑的模型。上述方法在通用视觉任务中能够在一定程度上提升模型部署效率，但对于航空视景增强任务而言仍存在明显不足。一方面，裁剪和量化等压缩方式容易削弱模型的特征表达能力，导致增强结果中边缘细节模糊、纹理恢复不完整以及局部伪影增加；另一方面，轻量化网络虽然降低了模型复杂度，但其性能上限通常受限于网络结构本身，难以充分兼顾复杂气象条件下的全局增强效果与关键区域的信息保真。尤其在航空视景增强场景中，跑道边界、障碍物轮廓、地平线、灯光信号等关键信息与飞行安全密切相关，若压缩过程中造成此类信息丢失或失真，将直接影响增强结果的实用性。因此，现有传统轻量化方法难以同时满足航空视景增强系统对实时性、轻量化和高保真增强效果的综合要求。

3、为在模型轻量化与增强性能之间取得更优平衡，知识蒸馏为航空视景增强模型的压缩与部署提供了一种有效途径。知识蒸馏通过构建教师模型与学生模型，将高性能大模型在特征表达、结构恢复和增强响应等方面的知识迁移至轻量学生模型，使学生模型在较低计算复杂度下获得接近教师模型的增强能力。与传统依赖直接裁剪参数或简化网络结构的方法相比，知识蒸馏更强调能力迁移，能够在减小模型规模的同时尽可能保留教师模型对复杂场景的表征能力。对于航空视景增强系统而言，该方法不仅有助于缓解机载平台在算力、存储和功耗方面的部署压力，而且能够提升轻量模型在低能见度、低照度及复杂背景条件下对关键区域细节、结构边缘和显著目标的恢复能力，从而增强模型输出结果的清晰度、稳定性和任务可用性。然而，现有知识蒸馏方法大多面向图像分类、目标检测等通用视觉任务，缺乏针对航空视景增强场景中关键安全信息保持、复杂环境适应以及实时部署约束的专门设计。

4、因此，有必要提出一种面向航空视景增强系统的模型知识蒸馏方法，以实现高性能增强知识向轻量模型的有效迁移，提升其在实际航空应用中的部署可行性和增强效果。

技术实现思路

1、有鉴于此，本发明的目的是提供一种面向航空视景增强系统的模型知识蒸馏方法及系统，可在保证较低计算复杂度和推理延迟的同时，提高低能见度、夜间及复杂气象条件下航空视景图像的清晰度、边缘完整性和飞行关键目标可辨识性。

2、本发明解决技术问题采用如下技术方案：

3、一种面向航空视景增强系统的模型知识蒸馏方法，包括以下步骤：

4、步骤s1、获取航空视景图像数据，并构建训练样本集；

5、步骤s2、构建教师视景增强模型并提取教师视景增强模型输出结果及中间层特征；

6、步骤s3、构建用于机载部署的轻量学生视景增强模型；

7、步骤s4、基于教师视景增强模型与轻量学生视景增强模型之间的输出响应差异、中间特征差异、结构信息差异和任务语义差异构建联合蒸馏损失函数；

8、步骤s5、根据航空图像中的关键区域生成区域权重，对联合蒸馏损失函数进行加权优化，以训练轻量学生视景增强模型；

9、步骤s6、将训练完成的轻量学生视景增强模型部署于航空视景增强系统中，对输入航空视景图像进行实时增强处理。

10、进一步地，步骤s1中，获取航空视景图像数据，并构建训练样本集的方法包括：

11、首先，采集航空视景增强系统在不同飞行条件下获取的原始图像数据；所述图像数据为可见光图像、红外图像，或者由多模态传感器融合形成的视景图像；

12、然后，对原始图像数据进行尺寸统一、亮度归一化、噪声抑制和数据增强处理，构建训练样本集；训练样本集表示为：；其中，表示退化航空视景图像，表示对应的高质量参考图像，表示关键区域掩码，表示场景类别标签；为样本总数；

13、当真实高质量参考图像难以获得时，由清晰退化航空视景图像通过退化模型生成退化输入图像，其表达式写为：；其中，表示退化生成函数，表示雾化强度参数，表示亮度衰减参数，表示模糊强度参数，表示噪声或雨雪扰动参数。

14、进一步地，在步骤s2中，教师视景增强模型为深层卷积神经网络、编码器-解码器网络、基于注意力机制的网络、视觉transformer网络或其组合结构；教师视景增强模型提取的中间层特征至少包括浅层纹理特征、中层结构特征和深层语义特征中的两种或三种。

15、进一步地，在步骤s2中，对于输入样本，教师视景增强模型输出增强结果表示为：；其中，表示教师视景增强模型表示教师模型参数；

16、教师视景增强模型第层特征为：；其中，表示用于蒸馏的特征层数，分别对应浅层纹理特征、中层结构特征和深层语义特征；浅层特征用于刻画局部细节与纹理响应，中层特征用于表征轮廓与几何结构，深层特征用于表征场景语义与重要目标信息。

17、进一步地，步骤s3中，轻量学生视景增强模型采用深度可分离卷积、分组卷积、倒置残差、轻量注意力模块或低复杂度特征融合结构中的一种或多种；

18、对于同一输入样本，轻量学生视景增强模型输出增强结果为：；其中，表示轻量学生视景增强模型参数；

19、从轻量学生视景增强模型中提取对应层级特征：；

20、轻量学生视景增强模型需满足机载平台的资源约束条件：；其中，表示轻量学生视景增强模型的计算复杂度，表示平台允许的最大计算资源，表示模型推理时延，表示系统允许的最大响应时间。

21、进一步地，步骤s4中，构建的联合蒸馏损失函数至少包括输出响应蒸馏损失、中间特征蒸馏损失、结构信息蒸馏损失以及任务语义蒸馏损失；

22、输出响应蒸馏损失，用于约束轻量学生视景增强模型输出结果与教师视景增强模型输出结果之间的一致性，表示为：；输出响应蒸馏损失使轻量学生视景增强模型学习教师视景增强模型在亮度恢复、对比度增强和整体视觉质量提升方面的输出响应能力；

23、中间特征蒸馏损失，用于约束轻量学生视景增强模型与教师视景增强模型在中间层特征空间中的一致性；当教师视景增强模型与轻量学生视景增强模型通道数不一致时，引入映射函数对学生特征进行对齐，则中间特征蒸馏损失为：；其中，，，分别表示第层特征图的通道数、高度和宽度；

24、结构信息蒸馏损失用于约束轻量学生视景增强模型与教师视景增强模型在边缘、梯度、轮廓、频域响应或局部几何结构中的至少一种结构信息上的一致性，如下式所示：；其中，和分别表示图像在水平和垂直方向上的梯度算子；

25、任务语义蒸馏损失用于约束轻量学生视景增强模型与教师视景增强模型在关键区域响应图、注意力分布图、显著性响应图或辅助任务分支输出中的至少一种语义信息上的一致性，如下式所示：；其中，为教师视景增强模型生成的注意力响应图或关键区域响应图，为轻量学生视景增强模型生成的对应响应图；

26、参考图像重建损失如下式所示：；

27、在上述各项损失基础上，联合蒸馏损失函数表示为：；其中，，，，，为各损失项的权重系数。

28、进一步地，在步骤s5中，关键区域包括跑道区域、跑道边界区域、障碍物区域、地平线区域、灯光信号区域、航迹前向区域和高显著地物区域中的一种或多种；根据关键区域生成区域权重图，并利用区域权重图对联合蒸馏损失函数中的一个或多个损失项进行加权，区域权重图满足：；其中，

m表示关键区域掩码，表示关键区域增强系数，表示区域权重图；

29、基于区域权重图，构造区域加权输出蒸馏损失：；其中，表示第个训练样本对应的区域权重图，表示逐元素相乘。

30、进一步地，在步骤s5中，根据场景类别动态调整各损失项权重；设场景自适应权重函数为，则总损失写为：；其中，；

31、训练时，采用梯度下降方式更新轻量学生视景增强模型参数：；其中，为学习率；经过多轮迭代训练后，得到满足增强性能与部署约束的轻量学生视景增强模型。

32、进一步地，步骤s6中，部署后的轻量学生视景增强模型接收来自机载传感器的实时输入图像，并输出增强结果：；其中，表示训练完成后的最优轻量学生视景增强模型参数。

33、一种面向航空视景增强系统的模型知识蒸馏系统，包括：

34、数据构建模块，用于获取航空视景图像数据并构建训练样本集；

35、教师模型构建模块，用于构建教师视景增强模型，并提取教师视景增强模型输出结果及中间层特征；

36、学生模型构建模块，用于构建用于机载部署的轻量学生视景增强模型；

37、联合蒸馏模块，用于基于教师视景增强模型与轻量学生视景增强模型之间的输出响应差异、中间特征差异、结构信息差异和任务语义差异构建联合蒸馏损失函数，并对轻量学生视景增强模型进行训练；

38、区域加权模块，用于根据航空视景图像中的关键区域生成区域权重，并对联合蒸馏损失函数进行加权优化；

39、部署模块，用于将训练完成的轻量学生视景增强模型部署于航空视景增强系统中，对输入航空视景图像进行实时增强处理。

40、本发明公开的一种面向航空视景增强系统的模型知识蒸馏方法及系统，具有以下有益效果：

41、（1）高性能增强知识迁移：本发明采用教师模型与轻量学生模型相结合的方式，实现了高性能视景增强知识向轻量模型的有效迁移。通过对教师模型输出响应、中间特征、结构信息和语义信息的联合蒸馏，使学生模型在保持较低复杂度的同时，获得接近教师模型的增强能力。

42、（2）轻量化与实时部署兼顾：本发明面向航空视景增强系统的机载嵌入式平台和边缘计算设备，构建适于部署的轻量学生模型。相比直接部署大规模增强模型，该方式能够有效降低模型参数量、计算量和推理延迟，从而满足航空场景下对实时性和稳定性的要求。

43、（3）关键区域信息增强：本发明针对跑道边界、障碍物轮廓、地平线、灯光信号及航迹前向区域等飞行安全相关区域，引入关键区域加权蒸馏机制。通过提高上述区域在训练过程中的蒸馏权重，使学生模型更加关注关键区域的信息恢复，从而提高增强结果中重要结构信息的完整性和可辨识性。

44、（4）复杂环境适应能力提升：本发明适用于低能见度、弱光、雾霾、雨雪、逆光等复杂飞行环境，通过联合蒸馏不同层级的知识信息，使轻量学生模型在多种退化条件下仍能够保持较好的图像增强效果，提高了模型在复杂航空环境中的适应性和鲁棒性。

45、（5）增强结果任务可用性提高：本发明不仅提升了航空视景图像的亮度、对比度和清晰度，而且通过蒸馏教师模型对关键目标和语义区域的表征能力，使增强结果更加有利于目标检测、障碍识别、跑道定位和辅助着陆等下游任务开展，从而提升了航空视景增强系统的整体应用价值。

46、（6）系统综合性能优化：通过上述技术手段，本发明实现了模型轻量化、关键信息保持、复杂环境增强和实时部署能力之间的综合平衡，使航空视景增强系统在复杂动态飞行环境下具有更强的工程实用性、可靠性和推广应用前景。