气动光学效应序列图像复原方法、装置及电子设备

摘要: 本发明涉及图像处理,具体涉及一种气动光学效应序列图像复原方法、装置及电子设备。背景技术:1、气动光学效应校正是图像处理领域的重要研究方向。当高速飞行器(如导弹、...
气动光学效应序列图像复原方法、装置及电子设备

本发明涉及图像处理,具体涉及一种气动光学效应序列图像复原方法、装置及电子设备。

背景技术:

1、气动光学效应校正是图像处理领域的重要研究方向。当高速飞行器(如导弹、高超声速飞行器)在大气层中高速飞行时,其光学成像窗口与来流之间产生剧烈相互作用,导致成像光束发生波前畸变、能量扩散及像素偏移,最终使采集到的目标序列图像呈现随机模糊、强度分布扩散、峰值降低以及帧间几何抖动等退化现象。有效抑制气动光学效应带来的图像退化,恢复出清晰的原始目标图像,对于精确制导、目标识别、遥感监测及天文观测等军事和民用场景具有重要的工程应用价值。

2、针对受气动光学效应影响的序列图像复原问题,现有技术主要分为两类。第一类是基于深度学习的方法,通过构建卷积神经网络或transformer模型直接从退化图像学习到清晰图像的映射。该类方法依赖大规模高质量的训练数据,且模型计算量大、推理耗时长。第二类是基于物理建模的最优化方法,将图像退化过程建模为模糊核与清晰图像的卷积,通过联合优化进行迭代复原。该类方法在处理多帧序列图像时,通常对所有帧采用相同的处理策略或进行整体联合优化。由于序列图像中各帧的退化程度存在差异,严重退化的帧中夹杂的噪声和畸变会引入误差,而质量较好的帧中的细节信息又难以被充分利用。此外,在求解统一模糊核的过程中,现有方法通常采用遍历式的搜索策略,且多帧信息在联合优化时可能存在方向上的不一致性。

3、因此,如何在不依赖大规模训练数据的前提下,提高气动光学效应序列图像的复原质量和复原效率,是当前气动光学效应图像复原领域亟待解决的技术问题。

技术实现思路

1、有鉴于此,有必要提供一种气动光学效应序列图像复原方法、装置及电子设备,用以解决现有方式因对序列图像不同退化状态信息利用不充分及多帧约束冲突,所导致的图像复原质量差和复原效率低的技术问题。

2、为了解决上述技术问题,第一方面,本发明提供了一种气动光学效应序列图像复原方法,包括:

3、获取受气动光学效应影响的同一目标场景的序列退化图像;

4、构建无参考图像质量综合评价模型,对所述序列退化图像中各帧进行退化特征表征,依据退化观测特征剔除无效帧,筛选得到低质量、中质量及高质量三类关键帧;

5、根据所述三类关键帧各自对应的退化观测特征,分别生成统一模糊核在支撑域范围、主体结构及边界细节上的三类定向更新量,将所述三类定向更新量共同作用于所述统一模糊核的迭代更新,构建统一模糊核快速求解模型;

6、在所述统一模糊核快速求解模型下,对潜在清晰图像与所述统一模糊核进行联合优化求解,并通过一致性协调机制调节所述三类定向更新量之间的响应差异,使所述统一模糊核稳定收敛,获得复原结果。

7、在一种可能的实现方式中,所述获取受气动光学效应影响的同一目标场景的序列退化图像,包括:

8、采集受大气湍流影响的同一目标场景的初始序列退化图像,所述初始序列退化图像中包含由湍流引起的随机模糊、帧间微位移及成像噪声;

9、对所述初始序列退化图像中的每一帧图像,采用低强度二维高斯滤波进行去噪处理,以在抑制随机噪声的同时保留湍流退化特性;

10、以所述初始序列退化图像中的第一帧为参考帧,采用亚像素级稀疏光流方法对各帧去噪后的图像进行配准处理,并通过特征点匹配及双线性插值实现像素级空间对齐,得到空间对齐的所述序列退化图像。

11、在一种可能的实现方式中,所述构建无参考图像质量综合评价模型,包括:

12、计算所述序列退化图像中各帧图像的梯度能量指标、灰度局部方差指标及拉普拉斯方差指标;

13、对各帧图像的所述梯度能量指标、灰度局部方差指标及拉普拉斯方差指标分别进行归一化处理,得到对应的归一化特征分量;

14、基于各帧图像的三个归一化特征分量与其均值之间的差异,确定每个特征分量的自适应调节参数;

15、采用非线性几何平均映射,将所述自适应调节参数与对应的归一化特征分量进行融合,得到各帧图像的综合质量评价值。

16、在一种可能的实现方式中,所述依据退化观测特征剔除无效帧,筛选得到低质量、中质量及高质量三类关键帧,包括:

17、获取质量阈值系数,将综合质量评价值小于所述质量阈值系数的帧判定为无效帧并剔除;

18、根据有效帧集合中综合质量评价值的最大值与所述质量阈值系数,确定低质量区间上界和高质量区间下界,将所述有效帧集合划分为低质量帧候选集合、中质量帧候选集合及高质量帧候选集合;

19、从所述低质量帧候选集合中选取综合质量评价值最小的帧作为低质量关键帧,从所述高质量帧候选集合中选取综合质量评价值最大的帧作为高质量关键帧,从所述中质量帧候选集合中选取综合质量评价值最接近中质量区间中心值的帧作为中质量关键帧。

20、在一种可能的实现方式中,所述根据所述三类关键帧各自对应的退化观测特征,分别生成统一模糊核在支撑域范围、主体结构及边界细节上的三类定向更新量,包括:

21、基于所述低质量关键帧,根据当前迭代的统一模糊核的峰值响应确定支撑域判定阈值,构建有效支撑域掩模,并生成支撑域范围更新量,所述支撑域范围更新量仅作用于所述有效支撑域掩模所指示的位置;

22、基于所述中质量关键帧,根据当前迭代的统一模糊核的峰值响应确定主结构判定阈值,构建主体结构区域掩模,并生成主体结构更新量,所述主体结构更新量用于稳定统一模糊核的主瓣结构形态;

23、基于所述高质量关键帧,构建边界细节区域掩模,所述边界细节区域掩模为所述有效支撑域掩模与所述主体结构区域掩模的差集,并生成边界细节更新量,所述边界细节更新量用于修正统一模糊核的边缘形态及高频响应特性。

24、在一种可能的实现方式中,所述通过一致性协调机制调节所述三类定向更新量之间的响应差异,包括:

25、计算所述支撑域范围上的定向更新量、主体结构上的定向更新量及边界细节上的定向更新量的平均值,作为整体优化趋势;

26、根据每一类定向更新量与所述整体优化趋势之间的方向偏离程度和幅值偏离程度,计算该类定向更新量的偏离程度;

27、基于所述偏离程度,采用指数映射函数计算每一类定向更新量的一致性协调权重,使得偏离程度越大的定向更新量获得越小的协调权重;

28、利用所述一致性协调权重对对应的定向更新量进行加权,再作用于所述统一模糊核的迭代更新。

29、在一种可能的实现方式中,所述对潜在清晰图像与所述统一模糊核进行联合优化求解,包括:

30、将所述高质量关键帧作为潜在清晰图像的初始值,将单位脉冲函数作为统一模糊核的初始值;

31、在每次迭代中,固定当前统一模糊核,采用频域反卷积方法求解潜在清晰图像;

32、固定求解得到的潜在清晰图像,根据所述统一模糊核快速求解模型及一致性协调机制对统一模糊核进行更新;

33、将更新后的统一模糊核投影至满足非负性约束及归一化约束的可行域。

34、在一种可能的实现方式中,所述使所述统一模糊核稳定收敛,获得复原结果,包括:

35、在每轮迭代后,计算统一模糊核的变化量、潜在清晰图像的变化量以及联合优化目标函数的变化量;

36、当所述统一模糊核的变化量、潜在清晰图像的变化量以及联合优化目标函数的变化量均小于对应的收敛阈值时,判定迭代收敛,终止迭代,将当前潜在清晰图像作为复原结果输出。

37、另一方面,本发明还提供了一种气动光学效应序列图像复原装置,包括:

38、序列采集模块,用于获取受气动光学效应影响的同一目标场景的序列退化图像;

39、质量评估模块,用于构建无参考图像质量综合评价模型,对所述序列退化图像中各帧进行退化特征表征,依据退化观测特征剔除无效帧,筛选得到低质量、中质量及高质量三类关键帧;

40、模型构建模块,用于根据所述三类关键帧各自对应的退化观测特征,分别生成统一模糊核在支撑域范围、主体结构及边界细节上的三类定向更新量,将所述三类定向更新量共同作用于所述统一模糊核的迭代更新,构建统一模糊核快速求解模型;

41、图像复原模块,用于在所述统一模糊核快速求解模型下,对潜在清晰图像与所述统一模糊核进行联合优化求解,并通过一致性协调机制调节所述三类定向更新量之间的响应差异,使所述统一模糊核稳定收敛,获得复原结果。

42、第三方面,本发明还提供了一种电子设备,包括图像采集器、存储器和处理器,其中,

43、图像采集器,用于采集受气动光学效应影响的同一目标场景的初始序列退化图像;

44、所述存储器,用于存储程序;

45、所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以实现上述任意实现方式中所述的气动光学效应序列图像复原方法中的步骤。

46、本发明的有益效果是:本发明提供的气动光学效应序列图像复原方法,通过构建无参考图像质量综合评价模型,从退化序列中主动筛选出低、中、高质量三类关键帧,避免无效帧对后续估计的干扰,提高了有用信息的利用效率;根据不同质量关键帧各自对应的退化特征,分别生成针对统一模糊核的支撑域范围、主体结构和边界细节三类定向更新量,让模糊核的求解从盲目搜索变为有针对性的逐步修正,采用三类更新量共同迭代并引入一致性协调机制来调节它们之间的响应差异,使得更新过程更平稳、不容易发散,从而提升了解收敛的稳定性;最终在较少依赖训练数据的前提下,有效提高了气动光学效应序列图像的复原质量和整体处理效率。