一种着陆图像中撞击坑的检测和识别方法与流程

1.本发明涉及图像识别技术领域，具体涉及一种着陆图像中撞击坑的检测和识别方法。


背景技术：

2.在星球表面实现软着陆是太空探测任务的关键技术之一，软着陆需要高精度的定位技术。使用撞击坑进行定位可以避免目前常用的惯性导航只能测量相对姿态并且存在累积误差的问题。基于撞击坑的位姿估计方法过程如下,处理输入图像，检测撞击坑；将检测出的撞击坑数据与撞击坑数据库匹配，这一过程称为识别；最后使用关联数据计算位姿。
3.撞击坑检测的精度和鲁棒性对受到光照条件、噪声、视角和噪声的影响，撞击坑尺度变化大、不同撞击坑存在交叠、嵌套等情况，给检测算法带来了挑战。目前撞击坑检测算法通过主要过程为撞击坑边缘检测、明暗特征进行配对并拟合，这种算法较为复杂，对小尺寸密集撞击坑的场景表现不佳；也有使用神经网络进行撞击坑的检测输出，但需要设计的超参数较多，多尺度检测不灵活。
4.识别是将图片中的撞击坑与预先建立好的撞击坑数据库中的撞击坑进行关联的过程，每个撞击坑在全局数据库中有唯一的编号，数据库中还包含天体坐标系下三维坐标等信息,分为有先验知识的识别和“迷失在空间(lost in space)”两类场景。后者常常需要假定一些约束以完成识别，例如假定相机近似垂直对地拍摄。存在惯性导航的情况下，往往已知初始位姿，该位姿存在累积误差，可作为撞击坑识别的先验姿态输入，然后利用撞击坑识别和姿态解算的结果修正惯导的结果。识别算法应该具有较强的鲁棒性和实时性。在着陆过程中，成像为序列图像，也可以利用序列图像的信息帮助识别。目前还没有一种可同时实现撞击坑检测和识别，且融合序列图像信息的撞击坑检测和识别方法。


技术实现要素：

5.为实现着陆图像撞击坑目标的高精度检测和识别，本发明提出一种着陆图像撞击坑的检测和识别方法。该方法输入为序列图像，和第一幅图的初始位姿以及预先建立好的撞击坑数据库，输出为每帧图像检测到的撞击坑，及撞击坑与数据库的匹配识别结果。该方法由单阶段倍增锚点的撞击坑检测网络以及“帧与帧”、“帧与数据库”的匹配识别两部分构成。
6.本发明提出了一种快速特征提取层帮助网络快速提取图像特征，提出了一种倍增锚点的操作，帮助检测小尺寸撞击坑，提升检测网络性能。在检测结果的基础上，提出基于加权二分图的撞击坑匹配识别方法，设计一种简单高效的权重计算方法，融合待匹配撞击坑及其周围撞击坑的信息。进而本发明提出“帧与帧”和“帧与数据库”之间的匹配算法。本发明具有检测平均精度高，对小尺寸密集撞击坑检测能力强，融合序列图像信息识别高速的特点，达到了撞击坑检测和识别的领先性能水平。
7.本发明的技术方案如下：
8.一种着陆图像撞击坑检测和识别方法，包括如下步骤：
9.步骤s100，通过单阶段倍增锚点的撞击坑检测网络dpcdn检测撞击坑；
10.步骤s200，将撞击坑检测网络dpcdn输出的撞击坑目标与预建立的天体表面撞击坑集合进行匹配，实现对撞击坑检测网络dpcdn输出的撞击坑目标的识别。
11.进一步的，所述撞击坑检测网络通过快速特征提取层快速提取特征，然后使用特征金字塔增强特征，对增强后的特征层进行检测输出，特征金字塔的不同层负责不同尺寸撞击坑目标的检测，实现快速多尺度撞击坑检测。
12.进一步的，在低层次的特征层上使用倍增锚点操作，实现小尺寸撞击坑的检测。
13.进一步的，所述撞击坑检测网络通过快速特征提取层快速提取特征的步骤包括：
14.(1)特征输入通过卷积层，随后对结果取反再与未取反的结果拼接，将拼接后的特征输入relu激活函数；
15.(2)快速特征提取层包含4个卷积层，其中前两个卷积层使用步骤(1)的操作，通过所述4个卷积层完成图像的特征提取。
16.进一步的，所述倍增锚点的操作的步骤如下：
17.特征图上每一点(x，y)，对应原图像上其中s为原图像到该层特征图的缩放倍数，在倍增锚点操作下，特征图上每一点对应原图像的多个点i∈z且k
i
<s，k为倍增数目,z是整数集合，网络有多个输出检测层，在第一个检测输出上使用倍增锚点操作。
18.进一步的，所述将撞击坑检测网络dpcdn输出的撞击坑目标与预建立的天体表面撞击坑集合进行匹配识别的步骤包括：
19.步骤s210，将预建立好的天体表面撞击坑集合数据库通过初始姿态投影到当前视场，作为待匹配集合；将撞击坑检测网络输出的撞击坑目标作为目标集合；
20.步骤s220，将预建立好的天体表面撞击坑集合数据库中所有的撞击坑投影到当前视场后，将待匹配集合θ
global
与目标集合θ
k
匹配；
21.步骤s230，融合着陆图像序列信息，匹配第k帧撞击坑和前k
‑
1帧已完成识别的撞击坑，以实现撞击坑检测网络输出的撞击坑目标集合与预建立天体表面撞击坑集合数据库中的撞击坑匹配识别。
22.进一步的，使用加权二分图匹配算法对待匹配集合和目标集合进行匹配，权重为撞击坑目标框之间的交并比以及撞击坑特征模式的欧氏距离；所述加权二分图最佳匹配算法中的权重包含两部分：(1)矩形框之间的交并比；(2)待匹配集合中的待匹配撞击坑与待匹配撞击坑周围的撞击坑组成的特定模式。
23.进一步的，所述加权二分图最佳匹配算法中的特征模式欧氏距离权重计算的步骤如下：
24.(1)初始化特征向量v＝(0，0，
…
，0)
t
∈r
n
×1，其中e为离散因子,r是实数集合。
25.(2)选取待匹配撞击坑作为中心撞击坑，将所述中心撞击坑及其周围m个撞击坑组成特定模式，计算周围任意两个撞击坑与中心撞击坑之间的角度θ，由θ∈[qe，(q 1)e)，更
新特征向量v[q]＝v[q] 1，所述角度θ即为夹角，q＝θ/e向下取整。
[0026]
(3)重复步骤(1)、(2)直到所有的夹角计算完毕。
[0027]
进一步的，所述撞击坑检测网络输出的撞击坑与预建立撞击坑数据库中的撞击坑匹配识别的步骤中，利用卡尔曼滤波器和加权二分图最佳匹配算法实现已匹配完成的撞击坑与当前视场下撞击坑的匹配。
[0028]
与现有技术相比，本发明有如下有益的技术效果：
[0029]
(一)、本发明的方法检测平均精度高，对密集小尺寸撞击坑检测能力强，网络规模小，适用于多尺度撞击坑的检测；
[0030]
(二)、针对密集小尺度撞击坑的场景，提出了倍增锚点的操作，提高了撞击坑检测平均精度；
[0031]
(三)、使用设计的快速特征提取骨干网络，压缩网络规模，并实现快速检测；
[0032]
(四)、识别方法部分结合着陆图像为序列图像的特点，实现帧与帧、帧与数据库之间的识别匹配，两者结合加快识别算法速度；
[0033]
(五)、融合待匹配撞击坑及其周围撞击坑的信息设计了撞击坑的特征描述子，使用加权二分图匹配方法进行识别，特征描述子和目标框交并比的信息提高识别算法的准确度和鲁棒性。
附图说明
[0034]
图1为本发明的撞击坑检测与识别方法工作流程图；
[0035]
图2为本发明的dpcdn检测网络框架图；
[0036]
图3为本发明的倍增锚点前后，位于撞击坑中心；
[0037]
图4为本发明的撞击坑识别方法工作流程图；
[0038]
图5为本发明的特征描述子编码方式；
[0039]
图6为本发明的帧与帧之间撞击坑状态转移图。
具体实施方式
[0040]
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
[0041]
本发明提供了一种着陆图像撞击坑的检测和识别方法，用于实现着陆图像中撞击坑的检测和识别。如图1所示。具体的，包括以下步骤：
[0042]
步骤s100，通过单阶段倍增锚点的撞击坑检测网络dpcdn检测撞击坑。
[0043]
具体的，撞击坑检测网络通过快速特征提取层快速提取特征，仅包含4个卷积运算；然后使用特征金字塔增强特征，对增强后的特征层进行检测输出，特征金字塔的不同层负责不同尺寸撞击坑目标的检测，实现快速多尺度撞击坑检测。在低层次的特征层上使用倍增锚点操作，可实现小尺寸撞击坑的检测。
[0044]
具体的，撞击坑检测网络通过快速特征提取层快速提取特征的步骤包括：
[0045]
(1)特征输入通过卷积层，随后对结果取反再与未取反的结果拼接，将拼接后的特
征输入relu激活函数，即一次crelu操作。
[0046]
(2)快速特征提取层包含4个卷积层，其中前两个卷积层使用crelu操作，通过所述4个卷积层完成图像的特征提取。
[0047]
由此可减小模型参数量，加快特征提取速度。
[0048]
具体的，所述倍增锚点的操作的步骤如下：
[0049]
特征图上每一点(x，y)，对应原图像上其中s为原图像到该层特征图的缩放倍数，在倍增锚点操作下，特征图上每一点对应原图像的多个点i∈z且k
i
<s，k为倍增数目,z是整数集合，网络有多个输出检测层，在第一个检测输出上使用倍增锚点操作。
[0050]
步骤s200，将撞击坑检测网络dpcdn输出的撞击坑目标与预建立的天体表面撞击坑集合进行匹配，实现对撞击坑检测网络dpcdn输出的撞击坑目标的识别。
[0051]
具体的，所述将撞击坑检测网络dpcdn输出的撞击坑目标与预建立的天体表面撞击坑集合进行匹配识别的步骤包括：
[0052]
步骤s210，将预建立好的天体表面撞击坑集合数据库通过初始姿态投影到当前视场，作为待匹配集合；将撞击坑检测网络输出的撞击坑目标作为目标集合；
[0053]
具体的，包括以下步骤：
[0054]
(1)第1帧有粗略位姿p
initial
,已知相机内参k,将预建立好的天体表面撞击坑集合数据库中的撞击坑投影到像素平面：
[0055]
(u,v)
t
＝γ(x)＝kpx
t
[0056]
γ(x)表示把撞击坑中心点投影到相机平面的方程，x点是撞击坑中心点，用三维坐标表示，(u,v)
t
为撞击坑中心点投影在像素平面的中心点坐标，p为相机位姿。
[0057]
(2)取所述撞击坑x边缘上5个点，通过上述投影得到5个像素平面中的对应点，拟合得到椭圆方程和对应的外接矩形；
[0058]
步骤s220，将预建立好的天体表面撞击坑集合数据库中所有的撞击坑投影到当前视场后，将待匹配集合θ
global
与目标集合θ
k
匹配。
[0059]
具体的，使用加权二分图匹配算法对待匹配集合和目标集合进行匹配，权重为撞击坑目标框之间的交并比以及撞击坑特征模式的欧氏距离；
[0060]
所述加权二分图最佳匹配算法，称为km算法。算法中的权重包含两部分：(1)矩形框之间的交并比；(2)待匹配集合中的待匹配撞击坑与待匹配撞击坑周围的撞击坑组成的特定模式。
[0061]
具体的，所述加权二分图最佳匹配算法中的特征模式欧氏距离权重计算的步骤如下：
[0062]
(1)初始化特征向量v＝(0,0,
…
,0)
t
∈r
n
×1，其中e为离散因子,r是实数集合。
[0063]
(2)选取待匹配撞击坑作为中心撞击坑，将所述中心撞击坑及其周围m个撞击坑组成特定模式，计算周围任意两个撞击坑与中心撞击坑之间的角度θ，由θ∈[qe,(q 1)e)，更新特征向量v[q]＝v[q] 1，所述角度θ即为夹角，q＝θ/e向下取整。
[0064]
(3)重复步骤(1)、(2)直到所有的夹角计算完毕。
[0065]
所述撞击坑检测网络输出的撞击坑与预建立撞击坑数据库中的撞击坑匹配识别的步骤中，利用卡尔曼滤波器和加权二分图最佳匹配算法实现已匹配完成的撞击坑与当前视场下撞击坑的匹配，具体步骤如下：
[0066]
(1)前序已经与预建立的天体表面撞击坑集合数据库匹配完成的检测网络输出的撞击坑集合记作θ
′
＝θ
{0
,1,2,
…
,
k
‑
1}
。θ
′
中任一撞击坑的状态表示为:
[0067][0068]
其中x,y为目标框中心坐标，r为宽高比，是宽高比的变化量，h为高度，其余变量分别为x,y,h的导数，代表x,y,h方向的相机运动的速度.将两帧之间的运动建模为线性运动，预测方程为：
[0069]
x
k
＝fx
k
‑1[0070]
p
k
＝fp
k
‑1f
t
q
[0071]
其中x
k
为第k帧状态量的预测值,x
k
‑1是第k
‑
1帧状态量的预测值，f为状态转移矩阵,p为协方差矩阵的预测值，q为系统误差。
[0072]
(2)计算每个撞击坑的特征模式，并使用加权二分图最佳匹配算法进行匹配，更新状态，下述方程为卡尔曼滤波器的更新方程。
[0073]
y＝z
‑
hx
′
[0074]
k＝p
′
h
t
(hp
′
h
t
r)
‑1[0075]
x
k 1
＝x
′
ky
[0076]
p＝(i
‑
kh)p
′
[0077]
z为第k帧陨石坑的检测结果,h为测量矩阵，x
′
为第k帧的状态预测值，p
′
为k帧的预测协方差矩阵，x
′
和p
′
的值由上述预测方程得出,i为单位矩阵，r为噪声矩阵，k为卡尔曼滤波增益。
[0078]
(3)利用匹配结果，更新集合θ
′
的状态，θ
′
集合中撞击坑有三个状态，分别为“新”撞击坑s1，“成熟”撞击坑s2以及“老”撞击坑s3。匹配结果会更新θ集合的状态。如果某个撞击坑第一次被检测到，即该撞击坑没有与任何之前的撞击坑关联，那么这个撞击坑会加入到集合θ
′
中，并且状态是“新”撞击坑。如果某个撞击坑已经是在ω集合中的撞击坑，连续2帧与θ集合中的撞击坑关联上，其状态更新为“成熟”撞击坑，如果某个撞击坑在θ集合中的撞击坑连续2帧未被关联上，则其状态转为“老”撞击坑，将被删除。
[0079]
步骤s230，融合着陆图像序列信息，匹配第k帧撞击坑和前k
‑
1帧已完成识别的撞击坑，以实现撞击坑检测网络输出的撞击坑目标集合与预建立天体表面撞击坑集合数据库中的撞击坑匹配识别。
[0080]
下面通过具体实施例，详细说明本发明的着陆图像撞击坑的检测和识别方法。
[0081]
撞击坑检测与识别方法
[0082]
本发明提出的撞击坑检测与识别方法包含两个阶段，阶段一为撞击坑检测，检测网络是一个单阶段倍增锚点的全连接卷积神经网络；阶段二通过带权二分图匹配算法对“帧与帧”和“帧与数据库”中的撞击坑进行匹配，权重包括目标框的交并比和特征描述子欧氏距离。
[0083]
本发明的实施例中，撞击坑检测和识别方法接受任意分辨率的着陆序列图像，输出检测到的撞击坑位置和外接矩形边长，并识别撞击坑在数据库中的编号。第一阶段采取单阶段倍增锚点的检测网络，采用快速特征提取层快速提取特征并缩小网络规模。为实现多尺度撞击坑的检测，输出多个检测层，不同检测层负责检测不同尺度的撞击坑，在低层次的检测层上采用倍增锚点操作，即一个特征图对应原图像上多个点，提升了位于小尺寸撞击坑中心的检测点比例。
[0084]
识别阶段进行“帧与帧”和“帧与数据库”之间的匹配，匹配使用加权二分图匹配算法km算法，利用待识别撞击坑与周围撞击坑组成的特征模式，构建特征描述子作为km算法的权重，并使用撞击坑外接矩形的交并比作为km算法的权重，多次匹配，提高识别匹配的成功率。为实现“帧与数据库”之间的匹配，还需要输入一个参考位姿，第一帧时，该位姿来源于输入；在后续序列图像中，位姿来自上一帧的位姿输出。为实现“帧与帧”之间的匹配，需要预测上一帧撞击坑在当前视场下的状态，使用卡尔曼滤波完成检测出的撞击坑状态的预测和更新。
[0085]
最终整个方法的网络权重小于10mb，检测率达到当前最佳，识别速度在cpu上达到实时(25fps)。
[0086]
撞击坑检测网络构建
[0087]
本发明通过以下三个模块构建高性能的撞击坑检测网络：快速特征提取层；特征金字塔增强层；检测输出层。如图2所示。
[0088]
①
快速特征提取层
[0089]
fel共4个特征压缩模块，前一层到后一层之间的步长均为2，conv1和conv2之后均接有一个crelu激活函数，激活函数形式如下：
[0090]
crelu(x)＝concat[relu(x),relu(
‑
x)]
[0091]
relu(x)表示将特征x输入relu激活函数，relu(
‑
x)表示将特征x取反输入relu激活函数，得到两个激活后的特征，在通道维度上拼接(concat)。
[0092]
concat拼接两个矩阵，拼接坐标轴为通道所在维度，该激活函数将输入特征x和它的相反数同时通过激活函数relu，再将两者拼接，实现通道数的倍增。浅层网络学习到的网络权重近似对称结构，即128通道的权重，前64通道和后64通道权重近似成相反数的关系，采用这种激活函数可以在增加通道数的同时减小网络权重。图2中conv3和conv3分为两部分，每部分都是先通过1*1的卷积核增强特征，再通过3*3的卷积核提取特征。通过crelu的通道数倍增以及连续使用步长为2的卷积操作，得以快速有效的提取特征。
[0093]
②
特征金字塔增强层
[0094]
为了合理的选择快速提取层输出的特征，我们计算了快速特征提取层中每个特征图的感受野，感受野代表了特征图的一个点能够感受到原图像上多大区域的像素，conv1、conv2、conv3、conv4的感受野分别为3，7，15和31。选取卷积层conv2,conv3_2,conv4_2作为特征金字塔的输入特征，得到输出卷积层p2,p3,p4，并将p4再经过一次最大池化操作得到金字塔顶层p5。p2
‑
p5将作为撞击坑特征输入到最终的分类和回归网络中。为了减小参数量，特征金字塔输出的通道数设置为128。为了检测到小尺寸(直径小于12像素)的撞击坑，必须将检测层设置在步长较小的卷积层上，以保证有充足的细节信息，fpn结构帮助融合高层语义信息，融合后的特征可以有效的检测各种尺寸的撞击坑。
[0095]
③
撞击坑检测输出层
[0096]
p2、p3、p4、p5特征层连接一个检测输出，输出包括二分类分支和回归分支。特征图上每个位置映射回原图上就是多个锚点,一幅m
×
n像素的图像，经过步长为s的特征提取，变为m/s
×
n/s大小的特征图，对应原图像上就是铺设了m/s
×
n/s个锚点。分类分支由4个卷积核大小为3的卷积层以及预测卷积层组成，用于预测卷积层输出通道数为2。通过该分支能够判断这些铺设的锚点是否属于撞击坑。回归分支预测每个锚点距离真实目标框四条边的距离t,l,b,r。结合分类分支和回归分支得到每个锚点是否位于撞击坑内部，如果在撞击坑内部，距离撞击坑四边的距离。
[0097]
④
基于倍增锚点操作
[0098]
特征金字塔fpn输出的p2特征来检测大量直径在12到16像素的撞击坑。p2层的步长为4，直径为12
‑
16像素的撞击坑经过特征压缩后有3*3到4*4的撞击坑特征能够用于分类与回归。p3层相对原始输入图像的缩放为4倍，即特征图上每个位置对应原图像上4*4大小的图像，不同于只在4*4大小图像的中心铺设负责检测像素小于16的锚点，我们将锚点向左向右偏移，特征图上每一点对应4个锚点。在p2特征图上每个位置的点(x_p,y_p),映射回原图像上左上角点为(x_p*4/h,y_p*4/w),其中h和w为图像的高和宽。倍增操作即把x_p等间隔的向下平移，y_p向左平移，将x和y都倍增2倍，即x,y都平移一次，特征图上每一个点对应原图像4个点。p3层维度为c
p3
×
h
×
w,c
p3
为通道数，分类分支权重的维度为4
×
c
p3
×3×
3，输出为4
×
h
×
w。
[0099]
网络中标注为正样本点需要满足以下两个条件：(1)特征点映射回原图的锚点在真实标注框内；(2)该锚点回归最大值不超过该特征点设定的阈值，如果超出，则由阈值更大的检测层检测该撞击坑。但大量的小尺寸撞击坑存在，导致高层检测层没有足够的特征来检测。所以只能选择步长(stride＝4)最小的p2检测层来检测直径为12
‑
14大小的撞击坑。一个直径为12的撞击坑对应p3检测层大小的特征图特征，每个特征对应一个检测锚点共9个锚点，位于撞击坑中心的锚点对撞击坑检测有帮助，定量估计使用中心性公式计算，中心性公式为
[0100][0101]
l,r,t,b为中心点到矩形框左右上下四条边的距离
[0102]
如图3所示。倍增锚点前中心性大于0.5的只有最中心的一个点，最终起检测作用只有这一个点，倍增之后，中心有9个点可以参与分类与回归，即高中心性锚点比例从1：9，提升为倍增锚点后的9:36＝1:4。
[0103]
撞击坑识别方法构建
[0104]
本发明通过以下两个方面构建高性能的撞击坑识别方法：“帧与数据库”之间的匹配识别与“帧与帧”之间的匹配识别。识别方法步骤如下：如图4所示。
[0105]
步骤a、第k帧之前已与数据库匹配完成的撞击坑集合θ
′
＝θ
{0,1,2,
…
,k
‑
1}
，每个撞击坑有对应的状态通过卡尔曼滤波器预测撞击坑在第k帧视场
下的状态于是所有撞击坑的预测组成集合参数含义θ
′
为0到k
‑
1帧检测的撞击坑的状态集合，对于集合中的任意一个元素x,经过卡尔曼滤波器预测方程预测得到pred(x)为预测x在第k帧的状态,然后得到预测值
[0106]
步骤b、计算中所有撞击坑的特征描述子；
[0107]
步骤c、第k帧图像的检测输出组成集合θ
k
,计算θ
k
中每个撞击坑的特征描述子；
[0108]
步骤d、计算θ
′
中每个撞击坑与中所有撞击坑的交并比和特征编码距离作为权重；
[0109]
步骤e、通过加权二分图匹配算法对θ
k
和中的撞击坑进行匹配；
[0110]
步骤f(1)、如果匹配数量大于阈值，将识别匹配结果,输入efficient perspective n point(epnp)算法，得到第k帧位姿；
[0111]
步骤f(2)、如果匹配数量少于阈值，全局数据库中的撞击坑使用上一帧位姿投影得到集合θ
global
，将θ
k
与θ
global
进行与步骤(d)
‑
(e)一致的操作，得到“帧
‑
数据库”匹配结果，通过epnp算法得到当前位姿；
[0112]
步骤g、使用匹配结果更新卡尔曼滤波器的状态；
[0113]
步骤h、重复以上步骤a至步骤g过程，直到着陆图像序列处理完毕。
[0114]
①
特征描述子编码
[0115]
上述过程使用到特征描述子编码，如图5所示，本发明的具体实施例中，设计了一种利用待识别撞击坑与周围撞击坑组成的结构信息进行特征构造的方法，具体步骤如下：
[0116]
(1)初始化特征向量v＝(0,0,
…
，0)
t
∈r
n
×1，其中e为离散因子。
[0117]
(2)选取待匹配撞击坑及其周围m个撞击坑组成特定模式，计算周围两个撞击坑与中心撞击坑之间的角度θ，由θ∈[qe,(q 1)e)，更新v[q]＝v[q] 1，其中q＝θ/e向下取整
[0118]
(3)重复步骤(1)
‑
(2)，直到所有的夹角计算完毕
[0119]
②
帧与数据库之间的识别匹配
[0120]
进一步的步骤f(2)中帧与数据库的识别匹配具体实现过程如下：投影帧与数据库之间的识别匹配在运行第一帧图像时需要初始姿态输入，随后使用上一帧的位姿输出将数据库中的撞击坑投影到当前视场。具体步骤为：
[0121]
(1)已知相机内参k,将预建立好的天体表面撞击坑集合数据库中的撞击坑投影到像素平面：
[0122]
(u,v)
t
＝γ(x)＝kpx
t
[0123]
γ(x)表示把撞击坑中心点投影到相机平面的方程，x点是撞击坑中心点，用三维坐标表示，(u,v)
t
为撞击坑中心点投影在像素平面的中心点坐标，p为相机外参。
[0124]
(2)取撞击坑x边缘上5个点，通过上述投影得到5个像素平面中的对应点，拟合得到椭圆方程和对应的外接矩形。
[0125]
(3)将数据库中所有的撞击坑投影到当前视场后，作为目标集合θ
global
,将θ
global
与检测输出的撞击坑集合θ
k
匹配。匹配的方法是加权二分图最佳匹配算法，称为km算法。算法中的权重包含两部分：(1)矩形框之间的交并比；(2)待匹配撞击坑与周围撞击坑组成的特定模式。
[0126]
③
帧与帧之间的识别匹配
[0127]
进一步的所述步骤a
‑
f(1)具体实现过程如下：
[0128]
(1)卡尔曼滤波器计算前序帧撞击坑c
k
‑1在当前视角下的预测值任意一个撞击坑的状态表示为：
[0129][0130]
其中x,y为目标框中心坐标，r为宽高比，是宽高比的变化量，h为高度，其余变量分别为x,y,h的导数，代表x,y,h方向的相机运动的速度.将两帧之间的运动建模为线性运动预测方程为：
[0131]
x
′
＝fx
k
‑1[0132]
p
′
＝fp
k
‑1f
t
q
[0133]
其中x
′
为状态量的预测值，x
k
‑1为第k
‑
1帧的状态,f为状态转移矩阵,p
′
为协方差矩阵的预测值,p
k
‑1为k
‑
1帧的协方差矩阵，q为系统误差。
[0134]
(2)使用矩阵交并比(iou)距离和特征描述子欧式距离计算两两撞击坑之间的权重。
[0135]
(3)根据编码算法计算每个撞击坑的特征编码，计算特征之间的欧式距离。
[0136]
(4)将距离输入km算法中，首先依据矩阵交并比iou距离匹配两组撞击坑，剩余未匹配的撞击坑使用特征编码距离进行匹配。
[0137]
(5)成功匹配的撞击坑利用公式更新卡尔曼滤波器参数：
[0138]
y＝z
‑
hx
′
[0139]
k＝p
′
h
t
(hp
′
h
t
r)
‑1[0140]
x
k 1
＝x
′
ky
[0141]
p＝(i
‑
kh)p
′
[0142]
z为第k帧陨石坑的检测结果,h为测量矩阵，x
′
为第k帧的状态预测值，p
′
为k帧的预测协方差矩阵，x
′
和p
′
的值由上述预测方程得出,i为单位矩阵，r为噪声矩阵，k为卡尔曼滤波增益。
[0143]
匹配完成后，更新前序帧撞击坑集合θ
′
的状态：将新来的图片中检测到的所有撞击坑集合θ
k
，与前序列已识别完成的撞击坑集θ
′
＝θ
{0
,1,
…
,
k
‑
1}
中的撞击坑进行匹配。θ
′
集合中撞击坑有三个状态，分别为“新”撞击坑s1，“成熟”撞击坑s2以及“老”撞击坑s3。匹配结果会更新θ集合的状态。如果一个撞击坑第一次被检测到，即该撞击坑没有与任何之前的撞击坑关联，那么这个撞击坑会加入到集合θ
′
中，并且状态是“新”撞击坑。如果一个已经在θ集合中的撞击坑，连续2帧与θ集合中的撞击坑关联上，其状态更新为“成熟”，如果一个在θ集合中的撞击坑连续2帧未被关联上，则其状态转为“老”撞击坑，将被删除。如图6所示。
[0144]
综上所述，本发明提供了一种着陆图像撞击坑检测和识别方法，其特征在于，包括如下步骤：通过单阶段倍增锚点的撞击坑检测网络dpcdn检测撞击坑；将撞击坑检测网络dpcdn输出的撞击坑目标与预建立的天体表面撞击坑集合进行匹配，实现对撞击坑检测网络dpcdn输出的撞击坑目标的识别。本发明提出了一种倍增锚点的操作，帮助检测小尺寸撞击坑，提升检测网络性能。在检测结果的基础上，提出基于加权二分图的撞击坑匹配识别方
法，设计一种简单高效的权重计算方法，融合待匹配撞击坑及其周围撞击坑的信息。本发明具有检测平均精度高，对小尺寸密集撞击坑检测能力强，融合序列图像信息识别高速的特点，达到了撞击坑检测和识别的领先性能水平。
[0145]
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。