飞行器轨迹处理方法及天文图像修复方法、电子设备和计算机程序产品与流程

本技术涉及图像处理，具体而言，涉及一种飞行器轨迹处理方法及天文图像修复方法、电子设备和计算机程序产品。

背景技术：

1、天文图像中的飞行器轨迹（包括飞行器本身的亮线和凝结尾迹）是地面天文观测中最常见的瞬变噪声之一，会严重影响天体测光、天体测量和科学分析的准确性。

2、目前，传统的天文图像飞行器轨迹去除方法一般是人工识别轨迹位置，然后人为操作专业图像处理软件用周围未受污染的像素值填充或替换被轨迹覆盖的区域，但这种人工识别轨迹去除的方法存在耗时长以及修复质量低的问题。

技术实现思路

1、本技术实施例的目的在于提供一种飞行器轨迹处理方法及天文图像修复方法、电子设备和计算机程序产品，用以解决目前传统天文图像飞行器轨迹去除方法采用人工识别所存在的耗时长以及修复质量低的问题。

2、第一方面，本技术提供一种飞行器轨迹处理方法，该方法包括获取目标待处理图像；将目标待处理图像输入预训练完成的多级级联轨迹检测模型中，获得多级级联轨迹检测模型输出的飞行器轨迹检测结果；若飞行器轨迹检测结果为有飞行器轨迹，则将目标待处理图像输入预训练完成的轨迹提取模型中，获得轨迹提取模型输出的轨迹提取图像；其中，轨迹提取图像为仅具有目标待处理图像中飞行器轨迹的图像；根据目标待处理图像以及轨迹提取图像，生成去除飞行器轨迹的目标图像。

3、本方案提供的飞行器轨迹处理方法，首先通过前置的多级级联轨迹检测模型过滤无轨迹图像，然后通过预训练完成的轨迹提取模型将原本混杂在星空背景中的轨迹特征单独提取出来，实现飞行器轨迹与星空背景的分离，最后通过原图像与仅具有飞行器轨迹的图像来生成去除飞行器轨迹的目标图像，这样本方案通过多级级联的轨迹检测机制，显著降低复杂天文背景下飞行器轨迹的误检概率，避免将星轨、星云等天体特征误判为飞行器轨迹，提高轨迹检测的准确度，同时，通过轨迹提取模型提取的轨迹特征进行精准修复，而非对全图进行整体重建，既保证轨迹去除的彻底性，又最大程度保留原始天文图像的星点、星云等细节，进而提高天文图像的修复效果。

4、在第一方面的可选实施方式中，将目标待处理图像输入预训练完成的多级级联轨迹检测模型中，获得多级级联轨迹检测模型输出的飞行器轨迹检测结果，包括：将目标待处理图像依次输入预训练完成的多级级联轨迹检测模型的每一级轨迹检测模型中，获得每一级轨迹检测模型对应输出的轨迹检测结果；在所有轨迹检测模型对应输出的轨迹检测结果均为有飞行器轨迹的情况下，确定飞行器轨迹检测结果为有飞行器轨迹。

5、上述实施方式，本方案在多级级联的所有轨迹检测模型输出的轨迹检测结果均为有飞行器轨迹的情况下，才确定飞行器轨迹检测结果为有飞行器轨迹，采用多重轨迹独立验证的方法，进而避免单模型因噪声、伪影以及天文图像中的星轨、星云等导致的误判，提高轨迹检测的准确信。

6、在第一方面的可选实施方式中，将目标待处理图像输入预训练完成的轨迹提取模型中，获得轨迹提取模型输出的轨迹提取图像，包括：通过轨迹提取模型的编码器对目标待处理图像进行逐层特征提取与空间分辨率压缩，并通过空洞卷积捕获目标待处理图像的全局上下文信息，获得编码器输出的深层编码特征图；通过轨迹提取模型的解码器按照从深层到浅层的顺序逐层执行上采样重建与对应层级的编码器浅层细节特征图融合，获得每个层级对应的融合特征图；通过每个层级对应的残差模块基于每个层级对应的融合特征图输出对应层级的轨迹残差预测图，直至输出的轨迹残差预测图与所述目标待处理图像的分辨率一致，其中，轨迹残差预测图基于融合特征图中的轨迹像素的残差亮度特征以及每个像素的原始亮度特征相加获得；对分辨率与待处理图像的分辨率一致的轨迹残差预测图进行噪声消除，获得轨迹提取模型输出的轨迹提取图像。

7、上述实施方式，本方案的编码器通过空洞卷积扩大网络感受野，使网络能够感知整条飞行器轨迹的全局线性特征，避免因感受野不足而将轨迹局部与星点、星云混淆的感知误判，提高轨迹提取模型的轨迹提取准确度；同时，本方案设计跳跃连接在下采样阶段补充编码器得到的浅层细节特征，避免下采样导致的细节丢失，从而在实现飞行器轨迹提取基础上保障原图像细节不丢失。另外，本方案设计残差学习机制让神经网络模型重点学习飞行器轨迹区域的差异信息，使得其能够自动聚焦于需要修复的飞行器轨迹区域，仅对飞行器轨迹区域进行调整，而对原有星点、星云等细节背景区域保持不变，从而有效避免传统方法对整体图像造成的模糊或结构破坏问题，进而使得设计的轨迹提取模型能够精准、完整地提取飞行器轨迹。

8、在第一方面的可选实施方式中，轨迹提取模型的训练过程包括：获取目标训练图像集；其中，目标训练图像集包括多个训练图像样本对，每个训练图像对包括原始图像样本以及原始样本对应的轨迹图像样本，轨迹图像样本为原始图像样本对应的二值标签图像，二值标签图像表示图像中飞行器轨迹覆盖的所有像素标记为第一预设值，图像中其余部分的所有像素标记为第二预设值的图像；根据目标训练图像集对待训练的深度学习模型进行训练，直至获得训练完成的轨迹提取模型。

9、上述实施方式，采用像素级的二值标签进行监督训练，模型可学习到轨迹的精确边界与形态，输出的轨迹提取图像像素级定位准确，误差小。

10、在第一方面的可选实施方式中，根据目标训练图像集对待训练的深度学习模型进行训练，直至获得训练完成的轨迹提取模型，包括：从目标训练样本集中抽取一个批次的训练图像样本对，将训练图像样本对输入待训练的深度学习模型中；通过深度学习模型的编码器对输入的原始图像样本执行逐层特征提取与空间分辨率压缩，并通过空洞卷积捕获输入的原始图像样本的全局上下文信息，获得原始图像样本对应的深层编码特征图；通过深度学习模型的解码器按照从深层到浅层的顺序逐层执行上采样重建与对应层级的编码器浅层细节特征图融合，获得融合特征图像样本；通过每个层级对应的残差模块基于每个层级对应的融合特征图像样本输出对应层级的轨迹残差预测样本图，直至输出的轨迹残差预测样本图与原始图像样本的分辨率一致，其中，轨迹残差预测样本图基于融合特征图像样本中的轨迹像素的残差亮度特征以及每个像素的原始亮度特征相加获得；对分辨率与原始图像样本的分辨率一致的轨迹残差预测样本图进行噪声消除，获得原始图像样本对应的预测分割图；其中，预测分割图中每个像素的值表征该像素属于飞行器轨迹的概率；将预测分割图与原始图像样本对应的轨迹图像样本输入至预设的损失函数中，计算预测结果与真实标签之间的损失值；判断损失值是否达到目标损失值或模型迭代次数是否达到目标次数；若判定损失值没有达到目标损失值或模型迭代次数没有达到目标次数，则根据预测结果与真实标签之间的损失值，进行反向传播并更新模型参数，并返回执行从目标训练样本集中抽取一个批次的训练图像样本对，将训练图像样本对输入深度学习模型中的步骤；若判定损失值达到目标损失值或模型迭代次数是否达到目标次数，则获得训练完成的轨迹提取模型。

11、上述实施方式，本方案训练编码器通过空洞卷积扩大网络感受野，使训练模型能够感知整条飞行器轨迹的全局线性特征，避免因感受野不足而将轨迹局部与星点、星云混淆的感知误判，提高训练模型的轨迹提取准确度；同时，本方案设计跳跃连接在下采样阶段补充编码器得到的浅层细节特征，让模型学习如何在保留背景细节的同时，精准识别轨迹区域。另外，本方案设计残差学习机制让神经网络模型重点学习飞行器轨迹区域的差异信息，使得其能够自动聚焦于需要修复的飞行器轨迹区域，仅对飞行器轨迹区域进行调整，而对原有星点、星云等细节背景区域保持不变，从而有效避免传统方法对整体图像造成的模糊或结构破坏问题，进而使得设计的轨迹提取模型能够精准、完整地提取飞行器轨迹，并且本方案通过损失值与迭代次数双重终止条件，可精准控制模型的训练精度，避免欠拟合与过拟合。

12、在第一方面的可选实施方式中，根据目标待处理图像以及轨迹提取图像，生成去除飞行器轨迹的目标图像，包括：若轨迹提取图像为二值轨迹掩膜图，则根据轨迹提取图像的掩膜像素值确定目标待处理图像的轨迹区域以及有效背景区域；以二值轨迹掩膜图为引导掩码，对轨迹区域进行背景重建，生成轨迹区域对应的修复背景区域，其中，修复背景区域与轨迹区域尺寸相同；将修复背景区域与有效背景区域进行拼接，生成去除飞行器轨迹的目标图像。

13、上述实施方式，通过掩膜值将目标待处理图像划分为轨迹区域以及有效背景区域，仅对轨迹区域进行背景重建，计算量小，处理效率高，同时有效背景区域完全保留原始图像的像素值，这样有效背景完全保留原始数据，仅轨迹区域被替换为修复背景区域，既实现轨迹去除，又最大程度保留原始天文图像的原始测光与天体测量信息。

14、在第一方面的可选实施方式中，根据目标待处理图像以及轨迹提取图像，生成去除飞行器轨迹的目标图像，包括：若轨迹提取图像为轨迹概率图，其中，轨迹概率图中各像素的取值表征对应位置属于飞行器轨迹的置信度；根据轨迹概率图中每个像素值的置信度，确定每个像素值对应的轨迹权重以及背景权重，其中，轨迹权重为对应像素值的属于飞行器轨迹的置信度，背景权重为1减去轨迹权重的计算值；根据目标待处理图像中轨迹两侧预设宽度中的有效背景像素，生成与目标待处理图像尺寸一致的背景重建图像，其中，有效背景像素表示置信度低于预设置信度阈值的像素点，背景重建图像包含各像素位置对应的背景重建像素值；计算每个背景重建像素值与其位置对应的轨迹权重的乘积，获得第一加权值；计算每个背景重建像素值对应的原始像素值与其位置对应的背景权重的乘积，获得第二加权值；计算每个位置对应像素值的第一加权值与第二加权值之和，获得目标待处理图像中每个像素的融合像素值，生成去除飞行器轨迹的目标图像。

15、上述实施方式，概率图可精准表征每个像素的轨迹成分占比，通过加权可按比例去除不同程度的轨迹污染，这样对于边缘模糊、亮度渐变的凝结尾迹，进一步提高飞行器轨迹去除的有效性。

16、在第一方面的可选实施方式中，根据目标待处理图像以及轨迹提取图像，生成去除飞行器轨迹的目标图像，包括：若轨迹提取图像为轨迹残差图，轨迹残差图表征飞行器轨迹的像素亮度分量，背景区域的像素值趋近于零；计算目标待处理图像与轨迹残差图中每一像素值的差值，生成去除飞行器轨迹的目标图像。

17、上述实施方式，残差学习机制使模型仅输出轨迹区域的亮度差，背景区域无残差，相减后背景像素与原始图像完全一致，不会产生任何模糊或细节损失；同时，模型学习的是轨迹与背景的真实亮度差，相减后可精准还原背景的原始亮度，可自适应去除不同亮度的轨迹，不会出现过度修复或修复不足的问题。

18、第二方面，本技术提供一种天文图像修复方法，该方法包括：获取待处理天文图像；其中，待处理天文图像通过对原始天文图像进行拉伸与归一化预处理获得；按照预设分割尺寸对待处理天文图像进行图像分割，获得多个图像块；其中，每个图像块与其在待处理天文图像中的空间位置一一对应；按照目标扫描次序，在多个图像块中依次选择一个目标图像块执行第一方面中任一可选实施方式的飞行器轨迹处理方法，直至获得每个图像块对应的目标图像；其中，若飞行器轨迹检测结果为没有飞行器轨迹，则获得的目标图像为对应的图像块本身；根据每个图像块对应的目标图像，生成每个图像块对应的拼接图像；将所有图像块对应的拼接图像按照其对应的空间位置拼接，生成待处理天文图像对应的目标天文图像。

19、本方案提供的天文图像修复方法，由于其采用前文描述的飞行器轨迹处理方法对每个图像块进行轨迹检测以及轨迹去除，因此，设计的天文图像修复方法可以通过多级级联的轨迹检测机制，显著降低复杂天文背景下飞行器轨迹的误检概率，避免将星轨、星云等天体特征误判为飞行器轨迹，提高轨迹检测的准确度，同时，通过轨迹提取模型提取的轨迹特征进行精准修复，而非对全图进行整体重建，既保证轨迹去除的彻底性，又最大程度保留原始天文图像的星点、星云等细节，进而提高天文图像的修复效果。另外，本方案还通过分块处理，将大尺寸天文图像拆解为模型支持的小尺寸块，使本方案设计的天文图像修复方法可在算力有限的嵌入式设备（如天文相机内置处理器）上运行，无需上传云端处理，提高天文图像修复方法的实时性。

20、在第二方面的可选实施方式中，按照预设分割尺寸对待处理天文图像进行图像分割，获得多个图像块，包括：以预设个分割像素的滑动步长，在待处理天文图像上沿水平和垂直方向依次滑动，生成多个相互重叠的图像块；其中，相邻图像块在水平方向和垂直方向上的重叠宽度的像素个数为滑动步长的分割像素个数的1/n，其中，n大于等于2。

21、上述实施方式，在分割图像块的过程中设置重叠区域，重叠区域的设置保证了裁切边缘后，相邻块仍有重合部分，可通过融合实现无缝拼接，避免出现拼接缝隙。

22、在第二方面的可选实施方式中，在生成多个相互重叠的图像块之前，该方法还包括：判断待处理天文图像的宽度和高度是否均为预设个分割像素的整数倍；若判定待处理天文图像的宽度和高度不均为预设个分割像素的整数倍，则对待处理天文图像的边缘进行像素填充，获得像素填充完成的待处理天文图像；其中，像素填充完成的待处理天文图像的高度和宽度均为预设个分割像素的整数倍。

23、上述实施方式，本方案判定待处理天文图像的宽度和高度不均为预设个分割像素的整数倍的情况下，对待处理天文图像的边缘进行像素填充，使填充后的图像宽高均为预设个分割像素的整数倍，通过填充补齐尺寸，可保证所有分割获得的图像块均能满足轨迹提取模型的图像尺寸要求，避免不完整块的处理效果差的问题。

24、在第二方面的可选实施方式中，根据每个图像块对应的目标图像，生成每个图像块对应的拼接图像，包括：根据相邻图像块的重叠宽度的像素个数确定目标裁切宽度，其中，目标裁切宽度小于重叠宽度；将每个图像块对应的目标图像四周目标裁切宽度的边缘区域确定为目标裁剪区域；对每个目标图像对应的目标裁剪区域进行边缘裁切，获得每个图像块对应的拼接图像。

25、上述实施方式，裁切宽度小于重叠宽度，一方面可以把模型边缘伪影严重的区域大部分裁掉，另一方面可以保证裁切后的相邻拼接图像仍有重叠区域，不会出现画面丢失与拼接空隙。

26、在第二方面的可选实施方式中，将所有图像块对应的拼接图像按照其对应的空间位置拼接，生成待处理天文图像对应的目标天文图像，包括：对相邻拼接图像之间的重叠区域，获取每个拼接图像对应的融合权重，其中，每个拼接图像对应的融合权重从图像中心向边缘线性递减；基于每个拼接图像对应的融合权重，获得重叠区域内每个像素点在各拼接图像对应的计算权重，其中，每个像素点在各拼接图像对应的计算权重基于对每个拼接图像对应的融合权重进行权重归一化获得；对重叠区域内每个像素点，计算其在各拼接图像中的像素值与对应计算权重的乘积，获得重叠区域内每个像素点的目标像素值，生成所述待处理天文图像对应的目标天文图像。

27、上述实施方式，本方案在拼接图像的重叠区域设置从图像中心向边缘线性递减的融合权重，并对像素点在各拼接图像的融合权重进行权重归一化，避免多块重叠区域因权重叠加导致像素值偏高，保证整图亮度均匀一致，消除拼接亮斑与明暗边界。

28、在第二方面的可选实施方式中，该方法还包括：获取待处理天文图像的边缘保护区域，其中，边缘保护区域为待处理天文图像的边缘预设宽度区域；在生成目标天文图像时，边缘保护区域的像素值采用待处理天文图像的原始像素值。

29、上述实施方式，边缘保护区域直接保留原始图像像素，避免边缘修复失真，同时减少边缘分块的计算开销。

30、第三方面，本发明提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，处理器执行计算机程序时执行第一方面、第一方面中任一可选实施方式、第二方面、第二方面中任一可选实施方式所述的方法。

31、第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时执行第一方面、第一方面中任一可选实施方式、第二方面、第二方面中任一可选实施方式所述的方法。

32、第五方面，本发明提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时执行第一方面、第一方面中任一可选实施方式、第二方面、第二方面中任一可选实施方式所述的方法。

33、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。