自监督非均匀星图模糊复原方法、装置、设备和介质

摘要: 本技术涉及空间探测图像处理,特别是涉及一种自监督非均匀星图模糊复原方法、装置、设备和介质。背景技术:1、在空间探测成像过程中,恒星或空间目标与观测相机之间的相对...
自监督非均匀星图模糊复原方法、装置、设备和介质

本技术涉及空间探测图像处理,特别是涉及一种自监督非均匀星图模糊复原方法、装置、设备和介质。

背景技术:

1、在空间探测成像过程中,恒星或空间目标与观测相机之间的相对运动会导致目标在成像平面上形成一定长度的条状拖尾,使原本集中的星点能量沿运动方向发生扩散,造成星点结构退化,进而引起质心定位偏差。因此,对中短拖尾条件下的星图进行运动模糊复原,是星图预处理中的关键环节。

2、目前,星图去模糊方法主要分为两类:基于模糊核估计与传统反卷积的方法,以及基于深度学习的数据驱动方法。

3、第一类方法主要包括维纳滤波、lucy-richardson迭代算法等。这类方法首先构建图像退化数学模型,估计模糊核的长度、角度等参数,再通过反卷积运算逆推恢复清晰图像。然而,实际星图中的运动模糊往往具有显著的非均匀性,即不同局部区域的模糊核参数(方向、长度)存在差异,而传统方法通常基于均匀模糊假设,难以适应这种空间变化的退化特征。此外,当模糊核估计不准确时,反卷积过程容易产生振铃效应,破坏星点的能量分布,且传统方法需要复杂的参数调优和较强的先验假设,泛化能力有限。

4、第二类方法基于深度学习,近年来在自然图像去模糊任务中取得了较好效果。这类方法通常采用有监督学习范式,依赖大量成对的“模糊图像-清晰图像”数据进行训练。然而,在真实空间观测场景中,受观测环境与平台运动的不可控性限制,严格配对的真实星图数据在工程上几乎无法获取。虽然可以采用仿真手段构造配对数据集,但由于仿真数据与真实星图的分布存在差异,训练所得网络在实测数据上的泛化性能明显下降。此外,现有深度去模糊方法大多以提升视觉感知质量为目标,而对星图复原中至关重要的质心定位精度关注不足,复原结果易出现星点位置偏移或拖尾两端伪影,影响后续星点识别与定位的可靠性。

5、综上所述,如何在无需配对清晰标签的条件下,有效去除中短拖尾星图中的非均匀运动模糊,同时保持星点的质心位置与结构形态,是当前星图复原技术领域亟待解决的技术问题。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够在不依赖配对清晰标签的条件下,有效去除中短拖尾星图中的非均匀运动模糊并准确恢复星点质心位置的自监督非均匀星图模糊复原方法、装置、设备和介质。

2、一种自监督非均匀星图模糊复原方法,所述方法包括:

3、获取训练数据集,所述训练数据集包括非配对的模糊星图样本集和清晰星图样本集;

4、构建包含去模糊生成器、再模糊生成器、第一判别器和第二判别器的循环生成对抗网络,并初始化模糊先验编码器;

5、利用模糊先验编码器根据非配对的模糊星图样本以及清晰星图样本,生成运动模糊先验特征;

6、将所述运动模糊先验特征、对应的模糊星图样本以及清晰星图样本输入至循环生成对抗网络中,对所述循环生成对抗网络以及模糊先验编码器进行联合训练,其中,由所述运动模糊先验特征为所述去模糊生成器提供逐像素的先验信息指导,并通过所述去模糊生成器和所述再模糊生成器之间的双向映射以及对抗损失、循环一致性损失进行约束;

7、从所述模糊星图样本中提取星点质心并生成伪标签热图,计算复原清晰星图与所述伪标签热图之间的质心伪标签损失,其中,所述复原清晰星图由所述去模糊生成器根据所述模糊星图样本与运动模糊先验特征得到;

8、根据所述对抗损失、循环一致性损失和质心伪标签损失更新所述循环生成对抗网络和模糊先验编码器的参数,直至收敛,得到训练好的自监督复原模型;

9、将待复原的模糊星图输入所述训练好的自监督复原模型,利用所述模糊先验编码器和所述去模糊生成器,输出对应的清晰星图以实现星图模糊复原。

10、在其中一实施例中,所述模糊先验编码器包括记忆增强部分和记忆迁移部分;

11、所述记忆增强部分从所述清晰星图样本中提取清晰特征,并通过可学习的记忆库与注意力机制增强记忆,得到增强后的记忆库;

12、所述记忆迁移部分从所述模糊星图样本中提取模糊特征,计算所述模糊特征与所述增强后的记忆库中每个记忆项之间的注意力权重,根据所述注意力权重从所述增强后的记忆库中聚合对应的记忆项,得到所述运动模糊先验特征。

13、在其中一实施例中,在所述循环生成对抗网络中:

14、将所述模糊星图样本与所述运动模糊先验特征共同输入所述去模糊生成器,生成复原清晰星图;

15、将所述复原清晰星图和清晰星图样本分别输入所述再模糊生成器,生成重建模糊星图以及仿真模糊星图;

16、将所述仿真模糊星图以及运动模糊先验特征共同输入所述去模糊生成器,生成重建清晰星图;

17、通过所述第一判别器判别所述复原清晰星图与所述清晰星图样本的真伪,通过所述第二判别器判别所述重建模糊星图与所述模糊星图样本的真伪,计算所述对抗损失、循环一致性损失。

18、在其中一实施例中,所述去模糊生成器和所述再模糊生成器均采用mimo-unet结构或所述mimo-unet的变体结构,所述去模糊生成器和所述再模糊生成器共享网络结构但不共享参数;

19、所述第一判别器和所述第二判别器均采用patchgan结构,用于对图像局部区域的真伪进行判别。

20、在其中一实施例中,从所述模糊星图样本中提取星点质心并生成伪标签热图,包括:

21、对所述模糊星图样本进行自适应阈值二值化处理,得到二值化图像;

22、对所述二值化图像进行形态学闭运算,以补全断裂的条状星点区域,得到连通域完整的目标图像;

23、对所述目标图像进行连通域分析,提取每个连通域所对应的星点质心坐标,得到初始质心集合;

24、采用密度聚类算法,将所述初始质心集合中空间距离小于预设阈值的质心合并为同一星体的最终质心坐标;

25、根据所述最终质心坐标生成高斯热图,作为所述伪标签热图。

26、在其中一实施例中,所述质心伪标签损失包括中心区域像素级重建损失、局部结构相似度损失和边缘抑制惩罚项;

27、所述中心区域像素级重建损失用于约束所述复原清晰星图中伪标签热图响应值大于预设阈值区域内的像素值;

28、所述局部结构相似度损失用于约束所述复原清晰星图在中心区域的高斯形态分布;

29、所述边缘抑制惩罚项用于抑制所述复原清晰星图中拖尾两端的能量响应。

30、在其中一实施例中,所述联合训练的损失函数还包括感知损失和kl散度损失;

31、对所述对抗损失、循环一致性损失、质心伪标签损失、感知损失和kl散度损失进行加权求和,作为总损失。

32、本技术还提出了一种自监督非均匀星图模糊复原装置,所述装置包括:

33、数据获取模块,用于获取训练数据集,所述训练数据集包括非配对的模糊星图样本集和清晰星图样本集;

34、模型构建与初始化模块,用于构建包含去模糊生成器、再模糊生成器、第一判别器和第二判别器的循环生成对抗网络,并初始化模糊先验编码器;

35、运动模糊核先验提取模块,用于利用模糊先验编码器根据非配对的模糊星图样本以及清晰星图样本,生成运动模糊先验特征;

36、物理引导的联合训练模块,用于将所述运动模糊先验特征、对应的模糊星图样本以及清晰星图样本输入至循环生成对抗网络中,对所述循环生成对抗网络以及模糊先验编码器进行联合训练,其中,由所述运动模糊先验特征为所述去模糊生成器提供逐像素的先验信息指导,并通过所述去模糊生成器和所述再模糊生成器之间的双向映射以及对抗损失、循环一致性损失进行约束;

37、质心伪标签损失计算模块,用于从所述模糊星图样本中提取星点质心并生成伪标签热图,计算复原清晰星图与所述伪标签热图之间的质心伪标签损失,其中,所述复原清晰星图由所述去模糊生成器根据所述模糊星图样本与运动模糊先验特征得到;

38、参数更新与模型收敛模块,用于根据所述对抗损失、循环一致性损失和质心伪标签损失更新所述循环生成对抗网络和模糊先验编码器的参数,直至收敛,得到训练好的自监督复原模型;

39、模糊星图复原模块,用于将待复原的模糊星图输入所述训练好的自监督复原模型,利用所述模糊先验编码器和所述去模糊生成器,输出对应的清晰星图以实现星图模糊复原。

40、一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述自监督非均匀星图模糊复原方法中的具体步骤。

41、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述自监督非均匀星图模糊复原方法中具体步骤。

42、上述自监督非均匀星图模糊复原方法、装置、设备和介质,通过获取包括非配对的模糊星图样本集和清晰星图样本集的训练数据集,构建循环生成对抗网络并初始化模糊先验编码器,利用模糊先验编码器根据非配对的模糊星图样本以及清晰星图样本,生成运动模糊先验特征,将运动模糊先验特征、对应的模糊星图样本以及清晰星图样本输入至循环生成对抗网络中,对循环生成对抗网络以及模糊先验编码器进行联合训练,其中,由运动模糊先验特征为去模糊生成器提供逐像素的先验信息指导,并通过去模糊生成器和所述再模糊生成器之间的双向映射以及对抗损失、循环一致性损失进行约束,从模糊星图样本中提取星点质心并生成伪标签热图,计算复原清晰星图与所述伪标签热图之间的质心伪标签损失,其中,复原清晰星图由去模糊生成器根据模糊星图样本与运动模糊先验特征得到,根据对抗损失、循环一致性损失和质心伪标签损失更新循环生成对抗网络和模糊先验编码器的参数,直至收敛,得到训练好的自监督复原模型,将待复原的模糊星图输入训练好的自监督复原模型,利用模糊先验编码器和去模糊生成器,输出对应的清晰星图以实现星图模糊复原。

43、有益效果:

44、本方法无需依赖配对的模糊-清晰星图标签,通过模糊先验编码器为生成器提供逐像素的先验信息指导,有效建模非均匀运动模糊的空间变化特性,并结合质心伪标签损失约束星点能量向真实质心聚集,显著提升了中短拖尾星图的复原精度与星点定位可靠性,同时避免了传统反卷积方法易产生的振铃效应及伪影问题。