一种具有旋转和尺度不变性的多模态影像匹配方法及装置与流程

1.本发明属于影像处理技术领域，具体涉及一种用于多模态影像块匹配的特征分解方法及系统。


背景技术：

2.在近年来的各项重大灾害应急中，摄影测量与遥感技术凭借其灵活与多种类等优势，能在第一时间获取灾区高分辨率影像和地形图，为抢险救灾、设施建设、城市规划等各方面提供有力支撑。在其众多应用中，影像匹配是一个核心基础过程，是这些应用得以实施的前提与保障。以匹配为基础的相关应用不仅包括摄影测量领域的空中三角测量，还包括定位导航领域的视觉导航、机器人领域的路径规划、智能交通行业的目标跟踪等。影像匹配问题的发展能够有效促进这些相关领域中重要问题的研究进展。
3.目前的多模态影像匹配方法主要可分为：基于特征的方法、基于区域的方法和基于深度学习的方法三类。基于特征的方法是从参考影像和目标影像中同时提取显著特征，基于一定的策略为特征生成描述向量，进而完成影像匹配。基于区域的方法是基于灰度信息或其它特征度量从参考影像中提取局部窗口影像，将其作为固定模板在目标影像上的搜索区域中滑动，并基于一定的相似性测度计算搜索区域中每个像素的得分，进而完成影像匹配。基于深度学习的方法是通过设计深度神经网络，可以从影像中自动学习到显著特征、旋转角、尺度差等信息，并可进一步将多模态影像转化为同模态特征图，进而使用基于特征或基于区域的方式完成影像匹配。
4.当前基于特征的多模态匹配方法存在未能给出合适的特征点主方向，对旋转角的抗性差、难以实现尺度不变性、匹配精度相对较低的问题。


技术实现要素：

5.有鉴于此，本发明提供一种具有旋转和尺度不变性的多模态影像匹配方法及装置，主要目的在于提高多模态影像匹配的精度，能够提高对噪声的抵抗性和对不同模态影像的通用性，且可以消除影像间的旋转、尺度和平移差异。从而提高多模态影像的匹配精度。
6.依据本发明第一方面，提供了一种具有旋转和尺度不变性的多模态影像匹配方法，包括：s1：构建多模态影像尺度金字塔，按缩放比对参考影像和目标影像进行逐级采样，得到不同尺度的影像组成所述多模态影像尺度金字塔；s2：对所述参考影像和所述目标影像，分别检测并提取所述多模态影像尺度金字塔中各影像的特征点；s3：对所述参考影像和所述目标影像进行函数卷积，基于s2检测到的特征点的卷积影像结果构造层级特征图，并基于所述层级特征图进行特征描述，构造至少两张影像层级特征图；
s4：计算所述至少两张影像层级特征图中的众数特征值中心化坐标，将所述特征点与众数特征值中心化坐标的连线方向作为特征点的主方向，将局部影像旋转到主方向上，并对特征值进行规则化，构建具有旋转不变性的特征描述子；s5：在完成特征提取和特征描述之后，使用最近欧式距离得到匹配点对应，按照相似变换模型进行粗差剔除，得到匹配结果，基于所述匹配结果解算所述参考影像和所述目标影像之间的几何变换模型；s6：基于所述几何变换模型,将所述目标影像重采样至所述参考影像的像素坐标系，得到重采样后的目标影像；s7：将所述参考影像的特征点和卷积结果保留，对所述重采样后的目标影像进行卷积，得到卷积结果，对所述参考影像和所述重采样后的目标影像卷积结果沿方向维进行归一化，构造卷积特征图；s8：对所述卷积特征图完成增强匹配及匹配点反算，将增强匹配结果作为最终结果进行输出。
7.在一种可能的实施方式中，所述计算s2所述至少两张影像层级特征图中的众数特征值中心化坐标的方法，具体包括：在所述至少两张影像层级特征图中，以特征点为中心确定一圆形窗口，对窗口内每种特征值的数量进行统计，得到众数对应的特征值；将所述众数对应的特征值的对应区域看作一个厚度和密度都均匀的不规则多边形，计算各子区域的中心化坐标，逐像素添加子区域并持续更新中心化坐标，得到所述众数对应的特征值的对应区域的中心化坐标，即众数特征值中心化坐标。
8.在一种可能的实施方式中，计算s2所述至少两张影像层级特征图中的众数特征值中心化坐标的方法，进一步包括：针对次众数特征值加以分析，若次众数特征区域超过众数特征区域的第一百分比，则增加计算次众数特征区域的中心化坐标，为特征点确定出次主方向以及其对应的特征向量。
9.在一种可能的实施方式中，所述基于该层级特征图进行特征描述，构造至少两张影像层级特征图，具体包括：对所述参考影像和所述目标影像进行卷积时设置2k个方向，分别抽取k个奇数层构造第一张特征图和抽取k个偶数层构造第二张特征图，完成特征描述。
10.在一种可能的实施方式中，所述增强匹配及匹配点反算，具体包括：对所述卷积特征图，计算所述参考影像上每个特征点对应的匹配点，按照所述相似变换模型进行粗差剔除，得到匹配结果，将所述重采样后的目标影像上的匹配点使用s5所述几何变换模型反算回原始目标影像上，完成增强匹配，将增强匹配结果作为最终结果进行输出。
11.依据本发明第二方面，提供了一种具有旋转和尺度不变性的多模态影像匹配装置，包括：采样单元：构建多模态影像尺度金字塔，按缩放比对参考影像和目标影像进行逐级采样，得到不同尺度的影像；检测单元：对所述参考影像和所述目标影像，分别检测并提取所述多模态影像尺
度金字塔中各影像的特征点；描述单元：对所述参考影像和所述目标影像进行函数卷积，基于s2检测到的特征点的卷积影像结果构造层级特征图，并基于所述层级特征图进行特征描述，构造至少两张影像层级特征图；计算单元：计算s2所述至少两张影像层级特征图中的众数特征值中心化坐标，将特征点与众数特征值中心化坐标的连线方向作为特征点的主方向，将局部影像旋转到主方向上，并对特征值进行规则化，构建具有旋转不变性的特征描述子；解算单元：在完成s2所述特征提取和特征描述之后，使用最近欧式距离得到匹配点对应，按照相似变换模型进行粗差剔除，得到匹配结果，基于所述匹配结果解算所述参考影像和所述目标影像之间的几何变换模型；重采样单元：基于所述几何变换模型,将所述目标影像重采样至所述参考影像的像素坐标系，得到重采样后的目标影像；构造单元：将所述参考影像的特征点和卷积结果保留，对所述重采样后的目标影像进行卷积，得到卷积结果，对所述参考影像和所述重采样后的目标影像卷积结果沿方向维进行归一化，构造卷积特征图；增强匹配单元：对所述卷积特征图完成增强匹配及匹配点反算，将增强匹配结果作为最终结果进行输出。
12.在一种可能的实施方式中，所述检测单元包括：统计模块：在所述至少两张影像层级特征图中，以特征点为中心确定一圆形窗口，对窗口内每种特征值的数量进行统计，得到众数对应的特征值；主方向模块：将所述众数对应的特征值的对应区域看作一个厚度和密度都均匀的不规则多边形，计算各子区域的中心化坐标，逐像素添加子区域并持续更新中心化坐标，得到所述众数对应的特征值的对应区域的中心化坐标，即众数特征值中心化坐标；确定模块：将特征点与众数特征值中心化坐标的连线方向作为特征点的主方向。
13.在一种可能的实施方式中，所述检测单元进一步包括：分析模块：针对次众数特征值加以分析，若次众数特征区域超过众数特征区域的第一百分比，则增加计算次众数特征区域的中心化坐标，为特征点确定出次主方向以及其对应的特征向量。
14.依据本发明第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可以在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
15.依据本发明第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
16.本发明提供一种具有旋转和尺度不变性的多模态影像匹配方法及装置，与目前基于特征的多模态匹配方法，即从参考影像和目标影像中同时提取显著特征，基于一定的策略为特征生成描述向量，进而完成影像匹配相比，本发明通过综合影像特征模型和相关分析模型，充分利用多模态影像中的显著特征，提高了对噪声的抵抗性和对不同模态影像的通用性；在匹配过程中，采用特征匹配的方式进行初始匹配，解算出影像间的旋转角、尺度差和平移量，同时保证匹配的结果具有较高的精度；利用影像重采样步骤，并采用区域匹配
的方式完成增强匹配，进一步提高匹配精度。
17.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
18.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本发明实施例提供的一种具有旋转和尺度不变性的多模态影像匹配方法的流程示意图；图2示出了本发明实施例提供的一种具有旋转和尺度不变性的多模态影像匹配装置的结构示意图；图3示出了本发明实施例提供的一种具有旋转和尺度不变性的多模态影像匹配装置的另一个结构示意图；图4示出了本发明实施例提供的一种具有旋转和尺度不变性的多模态影像匹配方法的实体结构示意图。
具体实施方式
19.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
20.如背景技术所述，目前基于特征的多模态匹配方法存在未能给出合适的特征点主方向，对旋转角的抗性差、难以实现尺度不变性、匹配精度相对较低的问题。
21.为了解决上述技术问题，本发明实施例提供了一种具有旋转和尺度不变性的多模态影像匹配方法，流程示意图如图1所示，所述方法包括：s1：构建多模态影像尺度金字塔，按缩放比对参考影像和目标影像进行逐级采样，得到不同尺度的影像；在一些实施例的一些可选的实现方式中，通过逐级降采样的方式为参考影像和目标影像生成多层金字塔结构，假设为影像按缩放比为1.5进行降采样得,即长宽缩为原影像的2/3,随后为和按缩放比为2连续进行三次降采样，分别得、、和、、，三次降采样结果的长宽分别缩为原影像的1/2、1/4、1/8和1/3、1/6、1/12，通过当前尺度金字塔，算法最多能够抵抗影像间存在12倍尺度差异的情况。
22.s2：对所述参考影像和所述目标影像，分别检测并提取所述多模态影像尺度金字塔中各影像的特征点；在一些实施例的一些可选的实现方式中，使用相位一致性模型作为特征检测的基
础。例如，基于多尺度、多方向log-gabor滤波器的相位一致性模型可表达如下：式中，为计算出的影像相位一致性值；s和o分别表示滤波器的尺度数和方向数；是一个频率拓展权重因子；表示滤波器对影像卷积得到的结果；是一个相位偏差函数；t是一个噪声能量阈值；符号表示当其中的值为正数时取自身，当其中的值为负数时则取0；是一个避免分母为0的小数。
23.为实现准确的特征点定位，将方向相位一致性结果与矩分析方程相结合，得到最大矩值特征图m和最小矩值特征图m：其中，a、b、c为三个中间量，式中，表示方向上的相位一致性图，是第o个滤波器的方向角。
24.最大矩值特征图m是影像边缘信息的特征度量，最小矩值特征图m是影像角点信息的特征度量，且m是m的真子集。对m和m进行简单的线性加权计算，可以得到一幅更优的影像边缘特征图，且该边缘特征图与影像光照和对比度无关，适用于多模态影像的特征检测。因此，构建相位一致性矩差值特征图（difference graph of phase congruency moment，dgpc）作为反映影像边缘信息的特征度量，并以fast特征检测器在相位一致性矩差值特征图上实现鲁棒性特征检测。相位一致性矩差值特征图计算方式表达如下：式中，dgpc表示计算出的相位一致性矩差值特征图结果，表示权重系数，取值范围为（0,1］。
25.在一些实施例的一些可选的实现方式中，使用均值滤波作为特征检测的基础。例如基于均值滤波的特征图生成模型可表达如下：
式中，表示生成的特征图结果，表示直径为s的滤波器窗口。
26.该特征图同样可以作为反映影像边缘信息的特征度量，并以fast特征检测器在该特征图上实现鲁棒性特征检测s3：对所述参考影像和所述目标影像进行卷积计算，例如可选择带有方向性质的log-gabor、steerable、roewa、sobel等滤波器，基于s2检测到的特征点的卷积影像结果构造层级特征图，并基于所述层级特征图进行特征描述，构造至少两张影像层级特征图；在一些实施例的一些可选的实现方式中，基于得到的卷积影像结果构造出一种层级特征图，并基于该特征图进行特征描述。具体的，将n个尺度k个方向的卷积影像进行尺度求和，得到k个方向的卷积影像：将k个方向的卷积影像按照卷积方向的先后顺序排列为一个影像立方体，每个方向上的卷积影像都被放置在立方体中确定的层级，且对应唯一层号（1~k的整数）。随后，通过获取每个像素平面位置(x,y)上的最大卷积值所在方向层号来生成层级特征图（layer graph,lg）：式中，为影像立方体，是层级特征图结果；是用于定位目标像素(x,y)上最大卷积值的函数；是用于确定最大卷积值所在层号的函数。
27.s4：计算所述至少两张影像层级特征图中的众数特征值中心化坐标，将特征点与众数特征值中心化坐标的连线方向作为特征点的主方向，将局部影像旋转到主方向上，并对特征值进行规则化，构建具有旋转不变性的特征描述子；在一些实施例的一些可选的实现方式中，通过计算众数特征值中心化坐标为每个特征点确定出主方向，并计算特征描述向量。log-gabor卷积、steerable卷积或roewa卷积均是固定方向的卷积操作，因此影像发生旋转时最大卷积值对应的层号存在不确定性，因此层级特征图自身不具备旋转不变性。通过计算区域中心对众数特征值进行中心化，可选的区域中心包括重心、质心等。
28.以特征点为中心确定一半径为r的圆形窗口，对窗口内k种特征值（1~k的整数）的数量进行统计，得到众数对应的特征值；然后，将对应的特征区域看作一个厚度和密度都均匀的不规则多边形，因此，其质量与面积成正比。
29.对于重心坐标的计算，设存在子区域以及，分别对应的面积为和，那么它们可以被看作重心分别在a和b的两个质点，设整体重心坐标为g，那么g一定在ab连线上，且满足如下的等式关系：式中，和表示重心连线的向量，表示对向量取模,进一步可得重心g的计算公式：根据上式，通过逐像素添加子区域并持续更新重心坐标，最终可得整个众数特征区域的重心坐标；对于质心坐标的计算，需要以圆形窗口中心作为初始质心，其坐标为（cx，cy），获取众数特征值对应区域中所有像素的坐标(px,py)，按照像素与初始质心的距离作为权重，逐像素进行距离加权计算并持续更新质心坐标（cx，cy），根据上式，得到所述众数特征值的对应区域的质心坐标，即众数特征值质心坐标；将特征点与众数特征值中心化坐标的连线方向作为特征点的主方向，将局部影像旋转到主方向上，并对窗口内的特征值进行规则化，将众数特征值规定为k，其余特征值按照卷积方向的大小顺序进行更新，将边长为2的方形窗口划分为m个子区域，对每个子区域进行直方图统计，将统计结果依次连接并归一化，得到该特征点最终的维特征向量。
30.进一步的，考虑到影像间辐射差异可能会导致层级特征图出现局部变化，针对次众数特征值加以分析，若次众数特征区域超过众数特征区域的第一比例，实验中优选的第一比例数值为80%，则增加计算的中心化坐标，进而为目标特征点确定出次主方向，以及其对应的特征向量，该策略能够提高算法鲁棒性。
31.卷积计算时选定的滤波器方向数与层级特征图的表达效果存在一定的互斥关系。若k太小，则导致特征图在某些旋转角度下的相似性不够，使得匹配失败；若k太大，则会导致特征图过于杂乱难以准确估计主方向，降低匹配性能，本发明使用至少两张层级特征图策略来解决该问题，具体地，对影像进行卷积时设置j*k个方向，可得到j*k张卷积图，每间隔j张分为一组，得到k组卷积图，抽取每组中的第一张卷积图构造第一张特征图，抽取每组中的第二张卷积图构造第二张特征图，以此类推共构造出j张特征图，并分别按照上述步
骤完成特征描述，该策略能够同时保证特征图的相似性和主方向估计的稳定性。
32.s5：在完成s2所述特征提取和特征描述之后，使用最近欧式距离得到匹配点对应，按照相似变换模型进行粗差剔除，得到匹配结果，基于所述匹配结果解算所述参考影像和所述目标影像之间的几何变换模型；在一些实施例的一些可选的实现方式中，使用最近欧式距离得到匹配点对应，随后使用ransac或其它方法按照相似变换模型进行粗差剔除，得到匹配结果，基于该匹配结果解算参考影像和目标影像之间的几何变换模型，将其传递给下一步骤。
33.s6：基于所述几何变换模型,将所述目标影像重采样至所述参考影像的像素坐标系，得到重采样后的目标影像；s7：将所述参考影像的特征点和卷积结果保留，再次使用s3中所选定的滤波器对所述重采样后的目标影像进行卷积，得到卷积结果，对所述参考影像和所述重采样后的目标影像卷积结果沿方向维进行归一化，构造卷积特征图；s8：对所述卷积特征图完成增强匹配及匹配点反算，将增强匹配结果作为最终结果进行输出。
34.在一些实施例的一些可选的实现方式中，基于初始匹配解算出的几何变换模型h，将目标影像重采样至参考影像的像素坐标系，重采样后的目标影像与参考影像之间几乎完全消除旋转、尺度、平移差异，为进一步提高匹配精度采用区域匹配法进行增强匹配，首先进行区域特征构建。
35.进一步的，将多方向卷积结果用于区域特征的构建，原始尺度的参考影像在初始匹配步骤已经进行过卷积操作，将其特征点和尺度求和后的影像立方体保留，对重采样后的目标影像进行卷积，得到其尺度求和后的影像立方体。随后对两影像立方体沿像平面的垂直方向进行归一化，完成区域特征的构建，归一化过程由下式表达：式中，是一个避免分母为零的小数，为卷积方向数。
36.由于目标影像已经经过了重采样，因此上的特征点与它在上的初始对应位置具有相同的坐标，使用去归一化的三维相位相关测度进行区域特征的匹配，该测度由下式表达：
式中，为影像互功率谱，和分别表示和的三维快速傅立叶变换结果，表示峰值出现在处的相关函数，表示三维快速傅立叶逆变换，*表示计算复共轭，表示三维单位向量。
37.通过搜索相关函数峰值出现的位置，得到参考影像上每个特征点对应的匹配点，随后使用ransac或其它方法按照相似变换模型进行粗差剔除，得到匹配结果。最后，将上的匹配点使用几何变换模型h反算回原始目标影像上，完成增强匹配，将增强匹配结果作为最终结果进行输出。
38.进一步的，作为图1的具体实现，本发明实施例提供了一种具有旋转和尺度不变性的多模态影像匹配方法装置，如图2所示，所述装置包括：采样单元、检测单元、描述单元、计算单元、解算单元、重采样单元、构造单元、增强匹配单元。
39.所述采样单元，可以用于构建多模态影像尺度金字塔，按缩放比对参考影像和目标影像进行逐级采样，得到不同尺度的影像；所述检测单元，可以用于对所述参考影像和所述目标影像，分别检测并提取所述多模态影像尺度金字塔中各影像的特征点；所述描述单元，可以用于对所述参考影像和所述目标影像进行函数卷积，基于s2检测到的特征点的卷积影像结果构造层级特征图，并基于所述层级特征图进行特征描述，构造至少两张影像层级特征图；所述计算单元，可以用于计算s2所述至少两张影像层级特征图中的众数特征值中心化坐标，将特征点与众数特征值中心化坐标的连线方向作为特征点的主方向，将局部影像旋转到主方向上，并对特征值进行规则化，构建具有旋转不变性的特征描述子；所述解算单元，可以用于在完成s2所述特征提取和特征描述之后，使用最近欧式距离得到匹配点对应，按照相似变换模型进行粗差剔除，得到匹配结果，基于所述匹配结果解算所述参考影像和所述目标影像之间的几何变换模型；所述重采样单元，可以用于基于所述几何变换模型,将所述目标影像重采样至所述参考影像的像素坐标系，得到重采样后的目标影像；所述构造单元，可以用于将所述参考影像的特征点和卷积结果保留，对所述重采样后的目标影像进行卷积，得到卷积结果，对所述参考影像和所述重采样后的目标影像卷积结果沿方向维进行归一化，构造卷积特征图；所述增强匹配单元，可以用于对所述卷积特征图完成增强匹配及匹配点反算，将增强匹配结果作为最终结果进行输出。
40.对于本发明实施例，如图3所示，所述检测单元还包括统计模块、主方向模块、确定模块、分析模块。
41.所述统计模块，可以用于在所述至少两张影像层级特征图中，以特征点为中心确定一圆形窗口，对窗口内每种特征值的数量进行统计，得到众数对应的特征值；所述主方向模块，可以用于将所述众数对应的特征值的对应区域看作一个厚度和密度都均匀的不规则多边形，计算各子区域的中心化坐标，逐像素添加子区域并持续更新中心化坐标，得到所述众数对应的特征值的对应区域的中心化坐标，即众数特征值中心化坐标；所述确定模块，可以用于将特征点与众数特征值中心化坐标的连线方向作为特征点的主方向；所述分析模块，可以用于针对次众数特征值加以分析，若次众数特征区域超过众数特征区域的第一百分比，则增加计算次众数特征区域的中心化坐标，为特征点确定出次主方向以及其对应的特征向量。
42.需要说明的是，本发明实施例提供的一种具有旋转和尺度不变性的多模态影像匹配方法装置的其他相应描述，可以参考图1所示方法的对应描述，在此不再赘述。
43.基于上述如图1所示方法，相应的，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：s1：构建多模态影像尺度金字塔，按缩放比对参考影像和目标影像进行逐级采样，得到不同尺度的影像；s2：对所述参考影像和所述目标影像，分别检测并提取所述多模态影像尺度金字塔中各影像的特征点；s3：对所述参考影像和所述目标影像进行函数卷积，基于s2检测到的特征点的卷积影像结果构造层级特征图，并基于所述层级特征图进行特征描述，构造至少两张影像层级特征图；s4：计算s2所述至少两张影像层级特征图中的众数特征值中心化坐标，将特征点与众数特征值中心化坐标的连线方向作为特征点的主方向，将局部影像旋转到主方向上，并对特征值进行规则化，构建具有旋转不变性的特征描述子；s5：在完成s2所述特征提取和特征描述之后，使用最近欧式距离得到匹配点对应，按照相似变换模型进行粗差剔除，得到匹配结果，基于所述匹配结果解算所述参考影像和所述目标影像之间的几何变换模型；s6：基于所述几何变换模型,将所述目标影像重采样至所述参考影像的像素坐标系，得到重采样后的目标影像；s7：将所述参考影像的特征点和卷积结果保留，对所述重采样后的目标影像进行卷积，得到卷积结果，对所述参考影像和所述重采样后的目标影像卷积结果沿方向维进行归一化，构造卷积特征图；s8：对所述卷积特征图完成增强匹配及匹配点反算，将增强匹配结果作为最终结果进行输出。
44.基于上述如图1所示方法和如图2、图3所示一种具有旋转和尺度不变性的多模态影像匹配方法装置的实施例，本发明实施例还提供了一种具有旋转和尺度不变性的多模态影像匹配方法装置的实体结构图，如图4所示，该装置包括：处理器、存储器、及存储在存储器上并可在处理器上运行的计算机程序，其中存储器和处理器均设置在总线上所述处理器
执行所述程序时实现以下步骤：s1：构建多模态影像尺度金字塔，按缩放比对参考影像和目标影像进行逐级采样，得到不同尺度的影像；s2：对所述参考影像和所述目标影像，分别检测并提取所述多模态影像尺度金字塔中各影像的特征点；s3：对所述参考影像和所述目标影像进行函数卷积，基于s2检测到的特征点的卷积影像结果构造层级特征图，并基于所述层级特征图进行特征描述，构造至少两张影像层级特征图；s4：计算s2所述至少两张影像层级特征图中的众数特征值中心化坐标，将特征点与众数特征值中心化坐标的连线方向作为特征点的主方向，将局部影像旋转到主方向上，并对特征值进行规则化，构建具有旋转不变性的特征描述子；s5：在完成s2所述特征提取和特征描述之后，使用最近欧式距离得到匹配点对应，按照相似变换模型进行粗差剔除，得到匹配结果，基于所述匹配结果解算所述参考影像和所述目标影像之间的几何变换模型；s6：基于所述几何变换模型,将所述目标影像重采样至所述参考影像的像素坐标系，得到重采样后的目标影像；s7：将所述参考影像的特征点和卷积结果保留，对所述重采样后的目标影像进行卷积，得到卷积结果，对所述参考影像和所述重采样后的目标影像卷积结果沿方向维进行归一化，构造卷积特征图；s8：对所述卷积特征图完成增强匹配及匹配点反算，将增强匹配结果作为最终结果进行输出。
45.该装置还包括：总线，被配置为耦接处理器及存储器。
46.通过本发明的技术方案，能够：s1：构建多模态影像尺度金字塔，按缩放比对参考影像和目标影像进行逐级采样，得到不同尺度的影像；s2：对所述参考影像和所述目标影像，分别检测并提取所述多模态影像尺度金字塔中各影像的特征点；s3：对所述参考影像和所述目标影像进行函数卷积，基于s2检测到的特征点的卷积影像结果构造层级特征图，并基于所述层级特征图进行特征描述，构造至少两张影像层级特征图；s4：计算s2所述至少两张影像层级特征图中的众数特征值中心化坐标，将特征点与众数特征值中心化坐标的连线方向作为特征点的主方向，将局部影像旋转到主方向上，并对特征值进行规则化，构建具有旋转不变性的特征描述子；s5：在完成s2所述特征提取和特征描述之后，使用最近欧式距离得到匹配点对应，按照相似变换模型进行粗差剔除，得到匹配结果，基于所述匹配结果解算所述参考影像和所述目标影像之间的几何变换模型；s6：基于所述几何变换模型,将所述目标影像重采样至所述参考影像的像素坐标系，得到重采样后的目标影像；s7：将所述参考影像的特征点和卷积结果保留，对所述重采样后的目标影像进行
卷积，得到卷积结果，对所述参考影像和所述重采样后的目标影像卷积结果沿方向维进行归一化，构造卷积特征图；s8：对所述卷积特征图完成增强匹配及匹配点反算，将增强匹配结果作为最终结果进行输出。
47.可以提高多模态影像匹配的精度，能够提高对噪声的抵抗性和对不同模态影像的通用性，且可以消除影像间的旋转、尺度和平移差异。从而提高多模态影像的匹配精度。
48.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
49.可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。
50.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
51.在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
52.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
53.类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
54.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
55.此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
56.本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（dsp）来实现根据本发明实施例的多模态影像匹配中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
57.应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。