基于改进RANSAC校验的空间失效卫星回环检测方法

技术特征：
1.一种基于改进ransac校验的空间失效卫星回环检测方法，其特征在于，该方法包括如下步骤：（1）利用视觉相机在实验室仿真环境中以固定频率拍摄运动的失效卫星模型，制作失效卫星图像数据集，将失效卫星图像数据集依照拍摄时间排序，依次将图像i
i
输入进深度学习网络中，输出图像的三种特征：特征点p
i
，局部特征向量l
i
，全局特征向量g
i
，i=1,2
…
,q，q为该数据集图像i
i
序列的长度；（2）将输入的前30帧图像得到的全局特征向量依次插入并构建hnsw图数据库；（3）将图像i
i
（i>30）的全局特征g
i
在步骤（2）构建的hnsw图数据库中展开检索，使用余弦距离，比较当前特征和图中储存特征的相似度；（4）记录与图像i
i
（i>30）具有最高相似度的6幅图像的图像索引，建立图像i
i
（i>30）的回环候选帧集合；（5）将图像i
i
（i>30）的全局特征向量g
i
插入步骤（2）构建的hnsw图数据库，更新hnsw图数据库；（6）利用步骤（4）得到的图像i
i
（i>30）回环候选帧集合，以及步骤（1）获得的特征点与局部特征向量，将图像i
i
（i>30）与图像i
i
（i>30）回环候选帧集合中的每一帧图像i
g
（g=1,2
…
,6），进行暴力匹配获取初始匹配点数；（7）将图像i
i
（i>30）与图像i
i
（i>30）回环候选帧集合中每一帧图像i
g
（g=1,2
…
,6），进行网格划分与网格支持度计算，保留支持度高于临界阈值的匹配点对；（8）利用ransac算法，从保留下来的匹配点对中随机抽取特征点作为样本点，再对样本点进行迭代计算，最终求得图像的单应矩阵及对应正确匹配点数；（9）图像i
i
分别与图像i
i
（i>30）回环候选帧集合中的每一帧图像i
g
（g=1,2
…
,6）重复步骤（6）-（8），计算每一帧图像正确匹配点数占据步骤（6）中初始匹配点数的百分比，即回环权重，权重最高的图像帧i
g
（g=1,2
…
,6）即为最优回环帧；（10）对数据集中图像重复步骤（1）-（9），直至完成数据库中所有图像的对比。2.根据权利要求1所述的基于改进ransac校验的空间失效卫星回环检测方法，其特征在于，步骤（1）中所述深度学习网络采用hf-net多任务网络，所述hf-net多任务网络使用superpoint提取图像i
i
的关键点p
i
与局部特征l
i
，使用netvlad提取全局特征g
i
，并将两者整合在一起；其中，每张图像的特征点数目为500，特征点对应局部特征l
i
的维数为256，全局特征g
i
的维数为4096。3.根据权利要求1所述的基于改进ransac校验的空间失效卫星回环检测方法，其特征在于，步骤（2）中将输入的前30帧图像的全局特征向量看做独立的元素，逐个插入hnsw图数据库时，从目标图层的一个随机元素出发，查找到与新输入的全局特征距离最近的元素，组成集合，即最近邻元素集合；将新输入的全局特征向量看作独立元素插入hnsw图数据库中，并连接到最近邻元素，完成图数据库构建与更新；hnsw算法是一个结合了跳表思想的层级结构，对于输入的前30帧图像的全局特征向量，由指数衰减概率函数得出其最高投影到第几图层，在hnsw图数据库中，第0层包含图中所有元素，向上元素数依次减少，从而使得后续查找更加快速。4.根据权利要求1所述的基于改进ransac校验的空间失效卫星回环检测方法，其特征
在于，步骤（3）的具体方法是：将图像i
i
（i>30）的全局特征向量g
i
在步骤（2）中构建的hnsw图数据库进行快速对比，检索时遵循从高层向底层的规则，先贪婪遍历来自高层的元素，直至达到局部最小值；之后，切换到较低层，从高层最小值对应的低层元素重新开始遍历；hnsw图数据库中的元素即为图像的全局特征向量，假设当前输入的全局特征向量g1=(u1,u2,
…
,u
d
)；hnsw图数据库中待检索的全局特征向量为 g2=(v1,v2,
…
,v
d
)，d为全局特征向量的维度，此处为4096，u,v均为全局特征向量分量，利用余弦距离对比元素相似度： （1）其中， 代表两全局特征向量的余弦相似度，u,v均为全局特征向量分量，d=1,2,
…
，d，d为全局特征向量维度。5.根据权利要求1所述的基于改进ransac校验的空间失效卫星回环检测方法，其特征在于，步骤（4）的具体方法是：比较步骤（3）获得的余弦相似度，记录余弦相似度最高的前六位图像的索引，按照余弦值从大到小排序，建立当前图像的回环候选帧集合。6.根据权利要求1所述的基于改进ransac校验的空间失效卫星回环检测方法，其特征在于，步骤（5）的具体方法是：将当前图像的全局特征向量插入hnsw图数据库，更新数据库，具体方法是将当前图像的全局特征向量看做独立的元素，插入hnsw图数据库时，从目标图层的一个随机元素出发，查找到与新输入的全局特征向量距离最近的元素，组成集合，即最近邻元素集合；将新输入的全局特征向量看作独立元素插入hnsw图数据库中，并连接到最近邻元素，完成图数据库构建与更新；hnsw算法是一个结合了跳表思想的层级结构，对于输入图像的全局特征向量，由指数衰减概率函数得出其最高投影到第几图层，在hnsw图数据库中，第0层包含图中所有元素，向上元素数依次减少，从而使得后续查找更加快速。7.根据权利要求1所述的基于改进ransac校验的空间失效卫星回环检测方法，其特征在于，步骤（6）的具体方法是：将图像i
i
（i>30）的所有特征点与其对应的局部特征向量，与回环候选帧集合中图像i
g
（g=1,2
…
,6）的所有特征点与局部特征向量，逐个进行匹配测试，获得匹配度最高的匹配特征点对，完成暴力匹配。8.根据权利要求1所述的基于改进ransac校验的空间失效卫星回环检测方法，其特征在于，步骤（7）的具体方法是：根据网格打分器，剔除低分网格的匹配，保留高分网格中的匹配；首先，需将图像进行网格化，利用网格支持度对网格打分，网格支持度定义如下：假定一组待匹配图像ia和图像ib，两幅图像的特征点集合分别为，匹配点集合为，n代表匹配点对数，每一个匹配x
m
代表一对相互匹配的特征点；在图像ia中随机设置一区域a，在图像ib中随机设置一区域b，将区域分为k个极小区域，存在一足够小的区域对，通过计算得到匹配x
m
满足二项分布的支持度s
m
的概率分布为：
ꢀꢀ
（2）kn是k与n的乘积，p
t
代表ab区域为正确匹配区域时a区域匹配点落在b中的概率，p
f
代表ab区域为错误匹配区域时a区域匹配点落在b中的概率，相应的均值和标准差通过如下方式计算：
ꢀꢀ
（3） （4）其中，为支持度s
m
分布的正确匹配的均值；为该分布的正确匹配的标准差；则为发生错误匹配的均值和标准差；在实际操作中将图像划分为均匀的15
×
15的网格，再将每一个大网格继续划分成3
×
3的小网格，对于小网格对，则该小网格的支持度分数为： （5）其中，w=1,2,
…
，9，分别代表3
×
3区域中的每个小网格，代表区域中每个小网格所包含的匹配点集合；通过选取合适的临界值来剔除误匹配率较高的网格区域，由公式（4）代表的二项分布规律，设置临界为：
ꢀꢀꢀꢀꢀꢀ
（6）为发生错误匹配的均值和标准差，为权重因子，一般取10，则有当时，可认为该区域误匹配率较低；反之，则该区域误匹配率较高，应当剔除。9.根据权利要求1所述的基于改进ransac校验的空间失效卫星回环检测方法，其特征在于，步骤（8）的具体方法是：利用网格支持度剔除掉劣质点后，利用ransac算法，从保留下来的匹配中抽取优质特征点作为样本点，再对样本点进行迭代计算，最终求得图像的单应矩阵及对应匹配点。10.根据权利要求1所述的基于改进ransac校验的空间失效卫星回环检测方法，其特征在于，步骤（9）确定最优回环帧的具体方法是：在步骤（4）中，为方便算法排序，每一帧输入图像都会构建与之相对应的回环候选帧集合；因此在校验过程中，当前图像与每一个回环候选帧匹配时，首先使用运行速度较快的网格打分器进行筛选；若剔除劣质点后剩余点不足初始点数的十分之一，则停止匹配校验，回环权重置0；若剩余点符合条件，则继续利用 ransac 进行计算；最后，计算正确匹配对数占据初始点数的百分比，权重最高的图像帧即为最优回环帧。
11.根据权利要求1所述的基于改进ransac校验的空间失效卫星回环检测方法，其特征在于，步骤（10）的具体方法是：重复步骤（1）-（9），前30帧图像仅用于图数据库构建，不参与回环；其后每输入一张图像，在更新hnsw图数据库的同时，进行快速对比与图像校验，完成回环检测。

技术总结
本发明公开一种基于改进RANSAC校验的空间失效卫星回环检测方法，属于视觉导航领域。所述方法主要包括以下步骤：开源深度学习方法HF-Net，提取图像的特征点、局部特征向量以及全局特征向量这三种特征。其次，使用HNSW快速检索方法，在将当前图像全局特征向量插入HNSW图数据库的同时，计算其与数据库中特征的相似度，获取相似度最高的图像索引，组成回环候选帧集合；最后，使用局部特征进行图像匹配校验，确定最佳回环图像，提高了回环检测的精度和稳定性，应用前景广阔。应用前景广阔。应用前景广阔。


技术研发人员：程向红 李丹若 曹毅
受保护的技术使用者：东南大学
技术研发日：2022.07.12
技术公布日：2022/8/8