一种基于机载光电系统多模态图像的特征提取与匹配方法与流程

1.本发明属于机载光电侦察、态势感知技术领域，涉及一种基于机载光电系统多模态图像的特征提取与匹配方法。


背景技术：

2.机载光电系统一般具备多个光电传感器，部分先进的光电系统还具备强大的数据存储和处理能力，包括海量地形数据的存储和三维重建和实时渲染处理，能够提供不同模态甚至是不同维度的目标和场景相关的图形图像，以及多光谱图像。
3.不同的图像提供了不同的场景或目标信息，具有较强的互补特性，将多模态图像进行融合能够提取各自信息进行互补，在多个任务下具有强烈的需求，包括辅助导航、高精度定位、目标打击路线预测与时机预测等等。然而多模态的图像本身存在较大的差异，包括纹理差异、维度差异、跨尺度、视角差等。目前还存在着非常大的技术挑战。


技术实现要素：

4.(一)发明目的
5.为了使机载光电系统具备多模态图像的处理融合能力，本发明提出一种基于机载光电系统多模态图像的特征提取与匹配方法，于同一场景下的多模态图像进行特征提取和匹配，包括光电与红外图像，光电图像与合成视觉图像，红外图像与合成视觉图像，以及与多光谱图像的组合等。
6.(二)技术方案
7.为了解决上述技术问题，本发明提供一种基于机载光电系统多模态图像的特征提取与匹配方法，首先，采集光电系统中光电传感器实时图像和需要匹配的另一路视频图像，基于二维信号局部频率特征提取相位一致性特征。其次，基于选择的特征，初始化对应模板。第三，以核相关滤波方法，匹配对应的多模态图像。第四，基于向量场一致性，剔除相关误匹配。
8.(三)有益效果
9.上述技术方案所提供的基于机载光电系统多模态图像的特征提取与匹配方法，在对机载光电系统的多模态图像进行特征提取之后生成特征图，基于特征图进行大量特征点的匹配剔除误匹配得到正确匹配点对，最终实现多模态图像的正确匹配，可提升在多个任务场景下的能力。
附图说明
10.图1是本发明中方法的流程组成示意图。
具体实施方式
11.为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具
体实施方式作进一步详细描述。
12.如图1所示，本发明实施例多模态图像特征提取与匹配方法包括以下步骤：首先基于输入的两路视频图像进行特征提取；其次，基于特征图生成均匀特征点，并根据最大稳定度极值区域对其中一路特征点生成自适应的匹配模板；第三，基于生成的模板在另一路特征图中，利用核相关算法进行匹配；第四，针对模板匹配的结果，利用向量场一致性进行误匹配剔除。
13.下面对上述过程中的每个步骤进行详细描述：
14.s1：多模态图像特征提取
15.输入的图像可以是可见光图像、红外图像、合成视景图像以及多光谱图像中的任意两种，对输入的图像，首先根据相位一致性方法进行特征提取，包括特征角点和特征边缘。
16.相位一致性方法按照如下计算过程提取：
[0017][0018]
式中，为相位的加权平均，an为傅立叶变换第n个余弦分量的振幅，根据上式可看出，若所有傅里叶分量都具有一致的相位，则比值为1，反之，比值为0，即相位一致性是一个无量纲的量，反映的是图像相位特征信息，具有图像局部亮度不变形特点和对比度不变性特点。该方法的此特点正是多传感器、多时相图像特征匹配的关键。将相位一致性扩展到二维空间，输入图像为上述过程中得到的光电传感器图像和数字地图对应区域，将该图像视作二维信号，对该二维信号按照如下方法提取特征点，其计算公式为：
[0019][0020]
其中，pc(x,y)是相位一致性的特征值，(x,y)为图像特征点坐标。w0(x,y)为频率扩展的权重因子；a
n0
(x,y)为像点(x,y)在log gabor滤波器尺度n和方向o上的振幅，符号表示值为正时取本身，否则取0，t为噪声阈值，ε为一个避免分母为0的常数，a
n0
(x,y)δφ
n0
(x,y)通过log gabor小波的偶对称滤波器响应值e
n0
(x,y)和奇对称滤波器响应值o
n0
(x,y)来计算：
[0021][0022]
式中：
[0023][0024][0025]
其中，e(x,y)是局部能量函数，定义为：
[0026][0027]
对两路视频图像，经过上述计算过程，得到两路特征图，分别记为p
eo
(x,y)和p
svs
(x,y)。
[0028]
s2：基于特征图均匀选择特征点，并基于所选特征点计算匹配模板：
[0029]
以步骤s1输出的其中一路特征图p
eo
(x,y)为输入，以固定网格宽度λ对该特征图进行网格划分，固定网格宽度λ可自行根据实际情况调整。针对划分的网格特征图，在每一个具体网格中搜索相位一致性值最大的点作为特征点，生成特征点图，记为p
eo_point
(x,y)，特征点数记为n。
[0030]
以p
eo_point
(x,y)中的n个所选特征点为中心，以最大稳定度极值算法生成n个匹配模板子区域，该子区域包含了特征图的一部分，以此作为待匹配的模板。
[0031]
s3：核相关算法匹配：
[0032]
以步骤s2中生成的n个匹配的目标模板为输入，以另一路特征图p
svs
(x,y)为待匹配的搜索区域，利用核相关滤波(kcf)算法进行匹配跟踪，可以得到n个匹配子区域。针对n个匹配子区域，分别确定其中心作为待评估的候选点，记为p
svs_point
(x,y)。
[0033]
截止目前，得到了n个匹配点对，分别为p
eo_point
(x,y)和p
svs_point
(x,y)。
[0034]
s4：误匹配剔除：
[0035]
以步骤s2中得到的特征点p
eo_point
(x,y)和步骤s3中生成得到的匹配点p
svs_point
(x,y)为输入，利用glpm(位置引导保持匹配)算法可对上述推定匹配数据集进行误匹配剔除，得到正确的匹配点对集，记为p
eo_true_point
(x,y)和p
eo_true_point
(x,y)。
[0036]
得到了多模态图像之间的正确匹配点对之后，就可以基于匹配点对进行进一步的空间相对运动解算，并进行进一步的空间位姿估计等等，从而利用计算机视觉的相关成果为后续辅助导航、目标侦查定位等任务提供基础性支撑技术。
[0037]
由上述技术方案可以看出，本发明在对机载光电系统的多模态图像进行特征提取之后生成特征图，基于特征图进行大量特征点的匹配剔除误匹配得到正确匹配点对，最终实现多模态图像的正确匹配；该方法结合计算机视觉以及信息融合处理的多种算法的优势，可以软件方式实现该方法，对于机载航电系统有较强的工程应用意义，对提高直升机的辅助导航和侦查感知能力有基础性支撑作用，其战术意义值得进一步挖掘。
[0038]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。