一种基于飞行状态门控调谐的机载视景增强模型动态量化方法及系统
本发明涉及机载智能视觉处理,尤其涉及一种基于飞行状态门控调谐的机载视景增强模型动态量化方法及系统。
背景技术:
1、机载视景增强技术通过融合机载可见光、红外、雷达、导航和飞行状态等多源信息,对复杂气象、低能见度、夜间及特殊飞行工况下的外部场景进行恢复、补偿与增强,为飞行员或机载自主系统提供更清晰、更稳定的环境感知结果。随着深度学习技术的发展,基于卷积神经网络、transformer网络及混合架构的视景增强模型在雾霾抑制、低照度增强、动态目标突出、纹理补全和场景细节恢复等方面表现出较强能力。
2、然而,现有机载视景增强模型通常存在以下问题:
3、其一,模型参数规模较大、计算复杂度较高,难以直接部署于算力、功耗和存储资源受限的机载嵌入式平台;
4、其二,传统静态量化方法通常采用固定比特宽度和统一量化策略,未考虑飞行过程中不同状态下的场景复杂性与任务紧迫性差异,容易在复杂工况下引起增强精度下降,或在简单工况下造成算力浪费;
5、其三,现有模型压缩方法大多仅依据网络结构本身或输入图像统计信息调整量化参数,缺乏对飞行高度、速度、姿态、机动强度、航迹变化、气象扰动等级等飞行状态信息的联合利用,难以实现任务驱动的实时资源分配与性能自适应。
6、在实际飞行过程中,不同飞行状态对视景增强模型的需求具有显著差异。例如,在平飞、巡航及外界环境较稳定的条件下,可采用较低精度量化策略以降低推理开销;而在着陆进近、低空突防、大机动转弯、强扰动天气等场景下,则需要提高关键网络层或关键分支的量化精度,以保证增强结果的边缘清晰度、目标可辨识性和场景一致性。
7、因此,亟需一种能够结合飞行状态变化,动态调节模型量化策略的机载视景增强模型动态量化方法及系统。
技术实现思路
1、有鉴于此,本发明的目的是提供一种基于飞行状态门控调谐的机载视景增强模型动态量化方法及系统,能够依据飞行高度、速度、姿态、机动强度和任务阶段等状态变化,自适应调整模型量化精度,在保证视景增强质量的同时降低计算开销、存储开销和功耗开销,提升机载嵌入式平台上的实时部署能力和复杂飞行环境下的适应性。
2、本发明解决技术问题采用如下技术方案:
3、一种基于飞行状态门控调谐的机载视景增强模型动态量化方法,包括以下步骤:
4、步骤s1,获取机载视景图像数据和飞行状态数据;
5、步骤s2,将视景图像数据输入基础视景增强模型进行特征提取;
6、步骤s3,将飞行状态数据输入飞行状态编码网络,获得飞行状态特征;
7、步骤s4,根据飞行状态特征生成门控调谐向量;
8、步骤s5,根据门控调谐向量动态生成量化策略,对基础视景增强模型的权重、激活值、网络层、网络模块或特征通道执行动态量化;
9、步骤s6,基于动态量化后的基础视景增强模型对视景图像数据进行推理,输出增强后的视景图像。
10、进一步地,还包括步骤s7,联合训练与优化,训练过程中采用联合损失函数进行优化,得到最终部署模型;联合损失函数包括重建损失、感知一致性损失、边缘保持损失、量化误差约束损失和门控平滑损失中的两种或两种以上。
11、进一步地,部署模型采用如下总损失函数:
12、
13、其中:为重建损失,为感知一致性损失,为边缘保持损失,为量化误差损失,为门控平滑约束损失;,,,,均为损失函数的权重。
14、进一步地,步骤s1中,视景图像数据至少包括可见光图像、红外图像、低照度图像、雾霾退化图像中的一种或多种;飞行状态数据包括飞行高度、速度、加速度、俯仰角、滚转角、偏航角、角速度、气象等级、航迹曲率和任务阶段标识中的一种或多种。
15、进一步地,步骤s2中,基础视景增强模型用于对输入的退化视景图像数据进行增强恢复,输出增强后的视景图像;基础神经网络模型包括特征提取编码器、状态调制中间层和图像重建解码器;特征提取编码器用于从输入图像中提取多尺度、多层次的视觉表示,包括边缘、纹理、亮度对比、局部结构及高层语义信息;状态调制中间层用于在中间特征空间中引入飞行状态相关的调制信息,使模型能够根据当前工况对不同特征分量进行差异化响应;图像重建解码器用于融合各层级特征并恢复增强后的视景图像,使输出结果在亮度分布、局部细节、边缘清晰度和整体结构一致性方面满足机载视景增强需求。
16、进一步地,步骤s3中,飞行状态编码网络为多层感知机、门控循环单元网络、transformer编码器或其组合,用于对时序飞行状态进行编码;其中,多层感知机适用于对当前时刻状态向量进行快速映射;门控循环单元网络适用于建模连续飞行过程中的时序动态变化;transformer编码器则适用于处理较长时间窗口内的状态依赖关系与多因素耦合关系。
17、进一步地,步骤s4中,门控调谐向量通过sigmoid函数、softmax函数或温度控制门控函数输出,用于产生连续型控制系数或离散型量化控制系数;连续型控制系数适用于对位宽、步长或权重比例进行平滑调节,能够增强量化策略在相邻状态间的过渡连续性;离散型控制系数则更适用于直接选择预定义的量化档位、精度配置模板或运算路径模式。
18、进一步地,步骤s5中,根据门控调谐向量动态生成量化策略采用层级量化、分组量化、通道量化或混合精度量化中的一种或多种;层级量化适用于对网络不同深度层设置差异化位宽;分组量化适用于对特征通道或参数集合按重要性进行分组压缩;通道量化适用于细粒度调节关键信息流;混合精度量化则可在同一模型中并存多种精度配置,以在部署效率和增强质量之间获得更优折中。
19、进一步地,步骤s5中,量化策略更新触发条件包括飞行姿态变化超过阈值、速度变化超过阈值、飞行阶段切换、气象等级变化或图像退化程度显著变化中的一种或多种;其中,图像退化程度由亮度对比下降、雾霾浓度估计、边缘清晰度变化、信噪比变化或多模态信息不一致程度的指标表征。
20、一种基于飞行状态门控调谐的机载视景增强模型动态量化系统,包括:
21、数据采集模块,用于采集视景图像数据和飞行状态数据;
22、飞行状态编码模块,用于提取飞行状态特征;
23、门控调谐模块,用于根据飞行状态特征生成门控调谐向量;
24、动态量化控制模块,用于根据门控调谐向量生成量化策略;
25、视景增强推理模块,用于基于所述量化策略执行视景增强模型推理并输出增强后的视景图像。
26、本发明公开的一种基于飞行状态门控调谐的机载视景增强模型动态量化方法及系统,具有以下有益效果:
27、(1)飞行状态驱动的自适应量化能力强。本发明不再采用固定量化配置,而是将飞行高度、姿态、速度、机动强度及任务阶段等飞行状态信息引入模型推理过程,根据实际飞行工况动态分配量化精度,使模型具备更强的环境适应能力。
28、(2)兼顾增强精度与部署效率。通过门控调谐机制识别当前状态下对视景增强最关键的网络层和特征通道,对其分配较高量化精度,同时压缩非关键部分的计算开销,从而在有限机载算力条件下兼顾增强质量与实时性。
29、(3)适用于复杂飞行任务场景。在着陆进近、低空高速飞行、大机动转向和复杂气象扰动等高风险场景下,本发明能够自动提升关键模块计算精度,改善边缘保持、目标突出和纹理恢复能力,提高增强结果的稳定性和可靠性。
30、(4)资源利用率更高。本发明根据飞行状态变化对量化策略进行在线切换,使算力、存储和功耗资源能够随任务需求动态分配,避免简单场景下的资源浪费,提升机载平台整体运行效率。
31、(5)工程部署可行性强。本发明无需完全更换原有视景增强模型,只需在基础模型外增加飞行状态门控调谐模块和动态量化控制模块即可完成升级,便于与现有机载视觉系统、航电系统和嵌入式推理平台集成。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com