一种天文目标检测与精确定位一体化方法

1.本发明涉及空间目标光学探测领域，具体为一种自动化天文目标检测与定位方法。


背景技术：

2.随着越来越多国家具有进入空间和利用空间的能力，具备更强大的空间态势感知能力成为大国迫切需 要。地基光学观测系统是空间态势感知的重要一环，主要用于监视中高轨大量高价值空间目标，研究自动 化的高效、准确空间目标检测算法具有重要军事应用价值。
3.在空间目标检测任务中，重点在于检测图像中数目及位置不定的目标，并输出在图像上的亚像素级别 精确定位。传统天文目标检测算法基于人工预设准则进行特征提取后检测目标，一方面在检测能力上，对 天空背景及观测系统噪声鲁棒性差产生目标虚警，对于低信噪比的弱小目标检测能力不足产生目标漏检； 另一方面在定位精度上，由于低信噪比弱小目标所包含像素数目少、像素值受噪声干扰严重，将造成仅利 用单个目标像素灰度值进行定位的传统方法定位精度十分有限。


技术实现要素：

4.(一)解决的技术问题
5.针对上述现有技术中存在的问题，本发明提供一种天文目标检测与精确定位一体化方法，以地基光学 观测的天文3像为数据输入，使用基于关键点的单阶段目标检测框架，能够作为一种高效实现同时执行目 标检测与精确定位值回归任务。针对检测能力不足，通过结合密集嵌套u型网络作为主干网络，提取并利 用高分辨率特征图进行检测，提升了噪声鲁棒性及弱小目标检测能力。针对定位精度不足，通过使用基于 概率分布建模的方式预测目标精确定位，通过学习全体目标定位特征并考虑由图像预测定位的不确定性， 最终提高定位精度。
6.(二)技术方案
7.本发明提出的一种天文目标检测与精确定位一体化方法，包括以下步骤：
8.s1.获取输入数据及标注，输入数据为16位深的天文图像，标注包括目标在图像上亚像素级别定位 及目标尺寸信息；
9.s2.使用密集嵌套u型注意力网络作为主干网络进行特征提取；
10.s3.使用基于关键点的检测头对主干网络输出特征图进行特征提取，分别生成关键点热图heatmap、 局部偏移量offset-map和目标宽高wh-map的预测，其中对局部偏移量采用预测分布概率形式实现精确定 位；
11.s4.在模型训练阶段，由标注生成各检测头对应真值，对检测头输出结果采用相应真值计算损失以进 行监督训练；
12.s5.在模型推理阶段，检测头输出结果heatmap、offset-map和wh-map，其中局部偏
移量对offset
‑ꢀ
map所表示的预测概率分布求数学期望计算局部偏移量预测值，经目标框解码后得到天文目标检测结果及 其精确定位。
13.在上述方案中，所述的步骤s1为获取输入数据和标注，用于构造训练及测试数据集。数据使用实际 观测或仿真天文图像，典型数据类型为fits格式单通道16位深图像，将原始图像裁切为256像素尺寸图 像块以构造数据集。标注生成是通过对观测天区内的参考星进行星图匹配获得天文定位信息，根据精密星 历和星表获得包括自然天体和人造天体的精确天文坐标，经映射后转换到图像坐标获得亚像素级别定位信 息。
14.在上述方案中，所述的步骤s2为搭建主干网络用于特征提取，所使用的主干网络针对天文弱小目标 进行改进设计。具体包括以下改进：
15.a21.在连接方式上，主干网络整体基于u-net网络；增加了同层级的中间节点，并在同层中对各节 点采用跳跃连接；增加从低层到高层反向连接；对节点输出特征图改变分辨率的方式是基于卷积和反卷积 实现的，具体而言，下采样采用步幅为2的卷积，上采样采用步幅为2的反卷积；
16.a22.在节点设计上，每个节点接收同层级之前节点和上下相邻层级前一节点的特征串联输入；每个 节点内部基于残差连接模块，并在卷积特征提取支路使用空间-通道注意力机制；
17.a23.在特征输出上，使用低尺度的高分辨率特征图输入检测头进行检测，低尺度指与原图像分辨率 相同或经过一次降2采样的特征图尺度。
18.在上述方案中，所述的步骤s3为检测头生成目标预测特征图输出，其中局部偏移量检测头采用概率 分布建模方式，回归x、y两个方向的局部偏移量概率分布；
19.在实现方式上，三个检测头分别使用三组不同的可训练参数，且结构均为2d卷积、relu、2d卷积依 次串联的轻量级实现方式；
20.在输出维度上，关键点检测头输出特征图heatmap维度为h
×w×
1，局部偏移量检测头输出特征图 offset-map维度为h
×w×
2(n 1)，目标宽高检测头输出特征图wh-map维度为h
×w×
2，其中h、w、n分 别表示特征图高度、特征图宽度和精确定位分布预设离散坐标数目，n默认为10。
21.在上述方案中，所述的步骤s4为训练过程中的模型检测流程，具体包括以下流程：
22.s41.真值生成阶段，使用的数据增强方法为随机翻转和随机高斯模糊，利用标注分别生成针对关键 点检测头、局部偏移量检测头和目标宽高检测头的对应真值；
23.s42.损失计算，对三个检测头输出预测特征图heatmap、offset-map和wh-map，分别与对应真值依 据相应的损失函数计算损失值。
24.进一步地，对上述所述步骤s4的子流程s41，在用于检测的主干网络输出特征图尺度上，生成各检测 头真值的方法为：
25.对于关键点真值，将关键点所在像素位置设置为正例，其余为负例，同时生成加权系数图，方法为以 每个目标关键点为中心生成sigma取目标宽高一般的二维高斯函数，其中目标宽高须除以检测尺度系数；
26.对于局部偏移量真值，仅在关键点位置处进行局部偏移量真值的设置且其余位置填充零值，先根据标 注中精确定位减去对应关键点坐标整数值得到局部偏移量真值，该值在[0,1)范围内，进一步将该真值转 化为待回归的离散域二项分布，该真值分布的取离散
域坐标为[0,1
…
n]/n，n表示预设离散坐标数目，默 认n为10且包含共计11个离散坐标取值，对该离散域仅在真值两侧的离散域坐标yi、y
i 1
处取概率值 pi、p
i 1
值，并使得该二项分布数学期望与局部偏移量的真值相等；
[0027]
对于目标宽高真值，仅在关键点位置处进行目标宽高真值的设置且其余位置填充零值。
[0028]
进一步地，对上述所述步骤s4的子流程s42，损失函数分别为：
[0029]
关键点损失函数为加权focal损失，加权系数在s41步骤生成真值的同时生成；
[0030]
局部偏移量损失函数为加权交叉熵损失，对offset-map输出经过sigmoid函数映射为概率和为1的 预测分布，记真值二项分布取值的离散域坐标为yi、y
i 1
，真值分布在yi、y
i 1
概率值分别为pi、p
i 1
， 则损失函数为分别以pi、p
i 1
加权的以yi、y
i 1
为真值的交叉熵分类损失之和；
[0031]
目标宽高损失函数为smooth-l1损失。
[0032]
在上述方案中，所述的步骤s5为推理过程中的模型检测流程，具体包括以下流程：
[0033]
s51.关键点提取，利用3x3最大池化寻找局部最大值作为关键点，关键点位置处heatmap数值经过 sigmoid函数映射后为该目标预测置信度；
[0034]
s52.基于概率分布预测的局部偏移量计算，取关键点坐标索引offset-map获得该目标局部偏移量分 布预测结果，将offset-map的2(n 1)维通道分为两组，分别对应横轴和纵轴局部偏移量的预测分布，对 每个分布进行离散域积分求和以计算数学期望，作为所预测局部偏移量的横纵坐标；
[0035]
s53.精确定位计算，精确定位由关键点像素位置与s52步骤局部偏移量求解结果相加得到，若检测 尺度不为最低层尺度则需乘以相应尺度系数；
[0036]
s54.预测目标框生成，对置信度大于0.5的关键点生成预测目标框，取关键点坐标索引wh-map获得 该目标宽高信息，若检测尺度不为最低层尺度则需乘以相应尺度系数；通过s53步骤计算精确定位，生成 以精确定位为中心、宽高为目标宽高的预测目标框。
[0037]
以上的技术方案存在以下有益效果：
[0038]
1、同时实现检测与精确定位功能，能够处理大尺寸包含密集恒星分布的天文图像，运行速度高，有 助于提高空间目标检测效率；
[0039]
2、相比现有传统方法，本方法可实现对天文目标检测能力提升，尤其对于低信噪比弱小目标检测结 果具有明显改善，将显著提高空间目标探测任务中对弱小空间目标的发现能力；
[0040]
3、相比质心定位法和高斯拟合法，本方法可实现对天文目标定位精度提升，尤其对于低信噪比弱小 目标定位精度具有明显改善，为后续精确定轨提供支撑。
附图说明
[0041]
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解。
[0042]
图1是本发明的整体流程图；
[0043]
图2是本发明的网络结构图；
[0044]
图3是本发明所用主干网络在连接方式上对u-net网络改进；
[0045]
图4是本发明所用主干网络的节点设计；
[0046]
图5是本发明所用精确定位头示意图；
[0047]
图6是本发明的检测结果图；
[0048]
图7是本发明的检测结果图；图8是本发明的精确定位结果图，其中，图8(a)-(d)分别对应于高信噪比目标、中等信噪比目标、低 信噪比目标和极低信噪比目标的精确定位结果，中心框表示关键点像素位置，框内部
×
符号为局部偏移量 定位位置，外侧直方图表示局部偏移量预测分布结果。
具体实施方式
[0049]
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方案和附图，对本发明进一步详细 说明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
[0050]
在本实施例中，如图1所示，为本发明所提出一种天文目标检测与精确定位一体化方法的整体流程图， 包含以下步骤：
[0051]
s1.获取输入数据及标注，输入数据为16位深的天文图像，标注包括目标在图像上亚像素级别定位 及目标尺寸信息；
[0052]
s2.使用密集嵌套u型注意力网络作为主干网络进行特征提取；
[0053]
s3.使用基于关键点的检测头对主干网络输出特征图进行特征提取，分别生成关键点热图heatmap、 局部偏移量offset-map和目标宽高wh-map的预测，其中对局部偏移量采用预测分布概率形式实现精确定 位；
[0054]
s4.在模型训练阶段，由标注生成各检测头对应真值，对检测头输出结果采用相应真值计算损失以进 行监督训练；
[0055]
s5.在模型推理阶段，检测头输出结果heatmap、offset-map和wh-map，其中局部偏移量对offset
‑ꢀ
map所表示的预测概率分布求数学期望计算局部偏移量预测值，经目标框解码后得到天文目标检测结果及 其精确定位。
[0056]
具体而言，对于步骤s1，在本实施例中的数据使用实际观测天文图像，数据类型为fits格式单通道16位深图像，将原始图像裁切为256像素尺寸图像块，构造得到共计2560张图像数据集，按照9:1比例 划分为训练集和测试集。标注由对fits头中记录的观测天区内，对参考星进行星图匹配获得天文定位信 息，根据精密星历和星表获得包括自然天体和人造天体的精确天文坐标，经映射后转换到图像坐标获得亚 像素级别定位信息。
[0057]
对于步骤s2和s3，二者对应于图2所描述本发明网络结构中的主干网络和检测头。输入数据经主干 网络进行多尺度特征提取后上采样到低尺度并串联，经通道注意力后得到主干特征输出图；该特征图进一 步送入三个检测头，分别输出目标预测特征图heatmap、offset-map和wh-map。
[0058]
具体而言，对于步骤s2，主干网络使用密集嵌套u型网络。在连接方式设计上如图3所示，表示了由 典型u-net网络通过增加中间节点、增加反向链接，逐步改进得到本发明所使用的主干网络的过程。图3(a) 为原始u-net网络连接方式；图3(b)增加中间节点由含阴影的节点表示，随着中间节点的加入同时引入了 由高向低层连接和同层跳跃连接，图中由浅灰色表示，有助于保留小目标特征并促进高层信息与低层信息 渐进融合；图3(c)增加由低层到高层的反向连接，该连接由深灰色表示，有助于进一步增强低层小目标特 征在高层
语义信息中的特征响应强度。在改变特征图尺度的过程中，均使用步长为2的卷积和反卷积完成 上下采样操作。
[0059]
在节点设计上如图4所示，表示了本发明所使用主干网络每个节点内部结构。每个节点采用二元组 (i,j)进行编号，其中i表示从上到下递增的节点所在尺度编号，j表示在该尺度中从左至右递增的节点编 号，二者均从0开始。每个节点的输出特征图使用f表示。主干网络前向传播时，节点(i,j)接收来自同 一层级前述所有节点和相邻上下层级前一节点的串联特征作为输入；节点内部基于残差模块实现，包括上 方的卷积特征提取通路和下方的残差连接通路，对二者求和得到当前节点的特征输出；在卷积特征提取通 路上，依次使用了通道注意力和空间注意力，从通道和空间维度计算激活权重图mc和ms，与特征图相乘后 激活特定位置的有效特征。
[0060]
具体而言，对于步骤s3，三个检测头分别预测关键点热图heatmap、局部偏移量offset-map和目标 宽高wh-map。三者之间的关系是：heatmap表示了目标分布和置信度，通过heatmap的位置坐标可索引 offset-map、wh-map获取该位置目标的局部偏移量和宽高信息，解码后生成预测目标框。在实现方法上， 三个检测头分别使用了三组不同的可训练参数，且结构均为2d卷积、relu、2d卷积依次串联的轻量级实 现方式。在输出维度上，关键点检测头输出特征图heatmap维度为h
×w×
1，局部偏移量检测头输出特征 图offset-map维度为h
×w×
2(n 1)，目标宽高检测头输出特征图wh-map维度为h
×w×
2，其中h、w、n 分别表示特征图高度、特征图宽度和精确定位分布预设离散坐标数目，n默认为10。
[0061]
针对精确定位问题，对局部偏移量检测头依据概率分布预测建模的方式进行了改进，如图5所示，表 示了改进后局部偏移量检测头的结构及损失计算方法。将局部检测头输出特征图，沿通道维分成两组，分 别表示x、y两方向的局部偏移量预测分布x
off
、y
off
。对于每个预测分布，横轴离散坐标值数目为n 1个， 范围为[0,n]/n，分布值通过对x
off
、y
off
组内经sigmoid函数映射。
[0062]
具体而言，对于步骤s4，模型训练时由标注生成真值，并对检测头输出监督以计算损失。在真值生成 方法上如图6所示，表示了由原始图像在检测尺度生成各检测头真值的过程，其中网格表示在检测尺度上 像素边界的示意图，过程中首先生成关键点真值，之后在关键点位置上设置另外两个真值。
[0063]
对于关键点真值，将关键点所在像素位置设置为正例，其余为负例；同时生成加权系数图，方法为以 每个目标关键点为中心生成sigma取目标宽高一半的二维高斯函数，其中目标宽高须除以检测尺度系数。
[0064]
对于局部偏移量真值，仅在关键点位置处进行局部偏移量真值的设置且其余位置填充零值，先根据标 注中精确定位减去对应关键点坐标整数值得到局部偏移量真值，该值在[0,1)范围内，进一步将该真值转 化为待回归的离散域二项分布，该真值分布的取离散域坐标为[0,1
…
n]/n，n表示预设离散坐标数目，默 认n为10且包含共计11个离散坐标取值，对该离散域仅在真值两侧的离散域坐标yi、y
i 1
处取概率值 pi、p
i 1
值，并使得该二项分布数学期望与局部偏移量的真值相等，则yi、y
i 1
处概率值分别为：
[0065]
[0066][0067]
其中，y为局部偏移量真值。
[0068]
对于目标宽高真值，仅在关键点位置处进行目标宽高真值的设置且其余位置填充零值。
[0069]
在损失函数计算上，对heatmap使用加权focal损失，权重图为真值生成时的关键点权重图，focal 损失公式如下：
[0070][0071]
式中，p为heatmap逐像素预测概率，y为逐像素真值，β为超参数默认为2。
[0072]
对offset-map使用加权交叉熵损失，其中，真值分布为二项分布并仅在真值y两侧离散坐标yi、y
i 1
处取值概率为pi、p
i 1
，预测分布在离散坐标yi、y
i 1
处取值概率为si、s
i 1
，将预测分布与真值分布计 算加权交叉熵损失，分别计算真值为yi、y
i 1
的以pi、p
i 1
作为权重的交叉熵损失并求和，交叉熵损失公 式如下：
[0073]
ce＝-((y
i 1-y)log(si) (y-yi)log(s
i 1
))
[0074]
对wh-map使用smooth-l1损失，该损失在零点附近具有l2损失平稳收敛的特性、在远离零点处具有 l1损失梯度稳定的特性，smooth-l1损失公式如下：
[0075][0076]
式中，x为wh-map逐像素预测值，y为逐像素真值。
[0077]
具体而言，对于步骤s5，模型推理时，对检测头输出解码以生成预测目标框。首先，进行关键点提取， 利用3x3最大池化寻找局部最大值作为关键点，关键点位置处heatmap数值经过sigmoid函数映射后为该 目标预测置信度；之后，计算目标精确定位，取关键点坐标索引offset-map获得该目标局部偏移量分布预 测结果，如图5所示将预测概率分为两组，由x
off
、y
off
分别计算的x、y方向局部偏移量，对每个预测分 布进行离散域积分求和以计算其数学期望值，作为所预测的x、y方向局部偏移量，将关键点像素位置与 局部偏移量求解结果相加得到精确定位，若检测尺度不为最低层尺度则需乘以相应尺度系数；最后，生成 预测目标框，对heatmap经sigmoid函数映射后置信度大于0.5的关键点生成预测目标框，取关键点坐标 索引wh-map获得该目标宽高信息，若检测尺度不为最低层尺度则需乘以相应尺度系数，生成以精确定位 为中心、宽高为目标宽高的预测目标框作为最终预测结果。
[0078]
为说明本发明提出的一种天文目标检测与精确定位一体化方法的检测效果，将其与经典开源天文目标 检测与定位方法sextractor、深度学习方法faster r-cnn进行比较，检测结果可视化效果如图7所示。 其中，绿色表示正确匹配的目标，黄色表示预测结果中未匹配到标注目标的虚警目标，红色表示标注目标 中未被检出的漏检目标。可见，本发明所提出的方法具有最多的正确匹配数目，且产生极少虚警与漏检。
[0079]
为说明本发明提出的一种天文目标检测与精确定位一体化方法的精确定位效果，对局部偏移量头预测 分布进行可视化如图8所示。图8(a)-(d)分别展示了四个不同目标局部偏移量分布预测结果，其中，浅色 框表示位于中心的关键点像素位置，该位置索引与局部偏移量相加将获得精确定位；浅色框内部
×
符号为 局部偏移量定位位置，浅色表示真
值，深色表示预测值；图像外部直方图表示在[0,1]范围内的局部偏移量 预测分布结果，上侧直方图对应于x方向，右侧直方图对应于y方向，分别求解数学期望可得偏移量预测 值并与深色
×
位置对应。可见，所预测局部偏移量分布具有明显集中的单峰形态，说明对预测定位置信度 较高；在关键点内部，表示预测定位的深色
×
与真值浅色
×
位置十分接近，说明预测定位的精度高。在本 文数据集上，定位精度可达到0.06像素以内。
[0080]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，在本发明 的技术方案的基础上，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属 于本发明保护的范围。