基于多尺度感受野的多时相遥感图像配准方法及系统与流程

1.本发明涉及图像处理技术领域，尤其涉及一种基于多尺度感受野的多时相遥感图像配 准方法及系统。


背景技术：

2.ir(image registration，图像配准)是将两幅相互之间存在一定空间变换关系的图像 在同一坐标系下进行校准的过程。换句话说，每一幅图像中的空间位置对应的点在经过配 准过程之后，其空间坐标应保持一致。对于相同地理区域的遥感图像，由于传感器、拍摄 视角以及拍摄时间的不同，遥感图像配准又可以分为多模态、多视角以及多时相配准。根 据以上三类遥感图像配准任务各自的特点，其技术路线又有所不同。其中多时相遥感图像 配准，由于不同时间拍摄的遥感图像之间存在着光照、天气以及地表环境变化的问题而具 有较大的难度，但这个问题能否解决好直接关乎后续的变化检测以及图像融合能否继续进 行下去，因而具有十分重要的现实意义。
3.当前的图像配准方法大体上有两类，一类是基于图像的灰度信息的方式，另一类则是 基于局部特征的方式。其中，基于图像灰度信息的方式利用图像的灰度值来计算两张图像 的相似性程度，计算方法包含互信息、互相关以及相位相关等。接下来通过对其中的辅图 像进行一定的空间变换，使得变换后的辅图像与主图像之间的相似性程度最大。不同于基 于灰度信息的图像配准方法，基于特征的图像首先对两幅图像进行特征的检测与提取，这 些特征可能是图像中的突出像素点、边缘、纹理等等。在获得两幅图像中的显著特征之后 对两幅图像中相似的特征进行匹配，最后基于匹配后的结果，获得辅图像和主图像之间的 空间变换关系。对于遥感图像配准任务来说，当前应用较为广泛的基于特征的方法主要利 用图像中的点特征，包括常见的sift、surf、orb、kaze等等；其中，sift、surf、orb、 kaze均为一种图像关键点检测以及描述算法，具备尺度以及旋转不变性的特性。
4.随着近年来深度学习在图像处理中的成功应用，卷积神经网络cnn也逐渐被应用于图 像配准的领域中，主要包含以下的两个角度。一是利用全卷积网络fcn代替传统的诸如 sift、surf、orb、kaze等人工特征提取算法来计算图像的局部特征描述子。常见的基于fcn的局部特征描述方法包括l2-net、hardnet和sosnet等；l2-net、hardnet和sosnet 均为一种基于全卷积网络的关键点描述子构建方法。这类基于fcn的局部特征描述子往往 比传统的以sift为代表的人工特征提取方法更能够获得遥感图像局部区域的中高级语义 信息，例如建筑物、道路等，进而构建更为合理的局部特征描述子。除了利用fcn代替传 统的人工算法计算图像的局部特征描述子之外，另一个角度是直接利用卷积神经网络架构 直接对主辅图像之间的空间变换参数进行回归。由于采用了端到端的结构，这种卷积神经 网络架构往往具有较高的时间效率。
5.而在多时相遥感图像配准任务中，主图像以及辅图像对应像素的灰度值往往存在显著 的非线性差异，换言之，即便是在完全配准的条件下，两幅图像之间的相似性程度仍然会 很低。由于主辅图像之间存在显著的非线性差异，此时如果使用最近邻匹配算法对传
统的 人工设计的局部特征描述子进行匹配，可能会有大量的误匹配产生，进而导致计算空间变 换参数时出现错误，影响最终配准的结果；因而，基于图像灰度信息的配准技术并不适用 于多时相遥感图像配准。另外，对于目前的利用卷积神经网络直接进行变换参数回归的端 到端的图像配准技术，尽管其具有较高的时间效率；但当两个输入图像块具有较大的重叠 区域，也就是具有较大的交并比(iou)时，卷积神经网络相应得到的两个局部特征描述 子的区分度会变差；换言之，当图像中检测到的关键点相应变得更为密集的时候，关键点 两两之间的距离就会变小，以关键点为中心切取的图像块之间的重叠区域就会变大，进而 为关键点构建的描述子区分度就会变差，进而对关键点的最近邻匹配以及配准结果造成不 利影响，因而，导致配准结果不够准确，甚至误差很大。因此，对于多时相遥感图像，如 何获得精确的配准结果是亟待解决的技术问题。


技术实现要素：

6.有鉴于此，本发明提供了一种基于多尺度感受野的多时相遥感图像配准方法及系统， 以解决现有技术中存在的一个或多个问题。
7.根据本发明的一个方面，本发明公开了一种基于多尺度感受野的多时相遥感图像配准 方法，其特征在于，所述方法包括：
8.获取多组多时相遥感图像，并对各所述多时相遥感图像根据预定方式进行处理，得到 样本训练集；
9.构建小感受野特征网络和大感受野特征网络，基于构建的所述小感受野特征网络和大 感受野特征网络建立卷积神经网络模型，并基于预设损失函数以及所述样本训练集对建立 的所述卷积神经网络模型进行训练，得到训练后的卷积神经网络训练模型；
10.基于训练后的卷积神经网络模型获取源图像的图像块的小感受野特征向量和大感受 野特征向量，并获取目标图像的小感受野特征张量和大感受野特征张量，基于获取到的所 述小感受野特征向量以及小感受野特征张量构建小感受野特征距离图；
11.基于所述小感受野特征距离图确定目标图像的小感受野特征张量上的与所述小感受 野特征向量相似度最高的向量，并将所述小感受野特征向量对应的关键点以及小感受野特 征张量上的与所述小感受野特征向量相似度最高的向量所对应的关键点生成关键点匹配 对；
12.基于生成的多个关键点匹配对通过渐进式迭代算法保留正确的关键点匹配对，根据正 确的关键点匹配对计算源图像与目标图像之间的空间变换关系参数，基于所述空间变换关 系参数进行图像配准。
13.在本发明的一些实施例中，所述方法还包括，
14.基于获取到的所述大感受野特征向量以及大感受野特征张量构建大感受野特征距离 图；
15.基于所述小感受野特征距离图和所述大感受野特征距离图确定目标图像的小感受野 特征张量上的与所述小感受野特征向量相似度最高的向量。
16.在本发明的一些实施例中，基于所述小感受野特征距离图和所述大感受野特征距离图 确定目标图像的小感受野特征张量上的与所述小感受野特征向量相似度最高的向量，包括：
17.根据所述大感受野特征距离图确定目标图像的大感受野特征张量上的与所述大感受 野特征向量相似度最高的向量；
18.从确定的与所述大感受野特征向量相似度最高的向量中基于所述小感受野特征距离 图查找小感受野特征张量中的与所述小感受野特征向量相似度最高的向量。
19.在本发明的一些实施例中，所述小感受野特征网络包括七个卷积模块，所述大感受野 特征网络包括三个卷积模块；所述损失函数为：
[0020][0021]
其中，为总损失函数，为小感受野特征网络的自身损失函数，为小感受野特征 网络的hardnet网络损失函数，为大感受野特征网络的hardnet网络损失函数。
[0022]
在本发明的一些实施例中，所述多时相遥感图像包括第一遥感图像和配准后的第二遥 感图像，对各所述多时相遥感图像根据预定方式进行处理，包括：
[0023]
获取第一遥感图像的锚图像块；
[0024]
获取第二遥感图像的初始图像块，并将所述初始图像块依次进行两次空间变换，得到 第二遥感图像的第一正样本图像块和第二正样本图像块。
[0025]
在本发明的一些实施例中，所述的计算公式为：
[0026][0027]
其中，n为各批训练样本的总数量；为i样本中的锚图像块的中心处小感受野特 征向量和第j正样本图像块的距其中心位置足够远非中心位置处的小感受野特征向量的距 离最小值，与锚图像块的中心处小感受野特征向量和第j正样本图像块的中心处小感受野 特征向量距离值的差值。
[0028]
在本发明的一些实施例中，所述小感受野特征距离图内的元素计算公式为：
[0029][0030]
其中，为目标图像的小感受野特征张量的第i行第j列的小感受野特征向量与源图 像中源图像块的小感受野特征向量的距离值，为源图像块的小感受野特征向量， 为目标图像的小感受野特征张量的第i行第j列的小感受野特征向量；
[0031]
所述大感受野特征距离图内的元素计算公式为：
[0032][0033]
其中，目标图像的大感受野特征张量的第p行第q列的大感受野特征向量与源图像 中源图像块的大感受野特征向量的距离值，为源图像块中的大感受野特征向量， 为目标图像的大感受野特征张量的第p行第q列的大感受野特征向量。
[0034]
在本发明的一些实施例中，将所述小感受野特征向量对应的关键点以及小感受野特征 张量上的与所述小感受野特征向量相似度最高的向量所对应的关键点生成关键点匹配对， 包括：
[0035]
通过fast关键点检测算法检测源图像和目标图像中的关键点；
[0036]
确定所述小感受野特征向量对应的关键点以及小感受野特征张量上的与所述小感受 野特征向量相似度最高的向量所对应的关键点；
[0037]
基于确定的小感受野特征向量及小感受野特征张量上的与所述小感受野特征向量相 似度最高的向量所对应的关键点生成关键点匹配对。
[0038]
在本发明的一些实施例中，所述空间变换关系参数包括旋转参数r、缩放参数s、平 移参数t。
[0039]
根据本发明的另一方面，还公开了一种基于多尺度感受野的多时相遥感图像配准系统， 该系统包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述 存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如上任一方法 方法的步骤。
[0040]
本发明实施例中的基于多尺度感受野的多时相遥感图像配准方法及系统，将小感受野 特征网络(forenet)以及大感受野特征网络(postnet)结合以获取多尺度感受野特征， 且为加强近距离关键点特征描述之间的可区分性，本方案提出采用小感受野特征网络损失 函数(foreloss)与大感受野特征网络损失函数(postloss)结合对构建的卷积神经网络 网络模型进行训练；并且在配准过程中，首先是构建组合特征距离图(cfdm)，并将其与 fast算法相结合用于获取源图像以及目标图像的初始关键点；最后，在获取到初始关键 点之后，通过渐进式迭代算法逐步优化并不断去除优化过程中偏离较多的关键点匹配对， 从而获得更为精确的配准结果。
[0041]
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于 本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。 本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结 构实现到并获得。
[0042]
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述， 并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
[0043]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，并不构成 对本发明的限定。附图中的部件不是成比例绘制的，而只是为了示出本发明的原理。为了 便于示出和描述本发明的一些部分，附图中对应部分可能被放大，即，相对于依据本发明 实际制造的示例性装置中的其它部件可能变得更大。在附图中：
[0044]
图1为本发明一实施例的基于多尺度感受野的多时相遥感图像配准方法的流程示意 图。
[0045]
图2为本发明一实施例的卷积神经网络训练过程的流程示意图。
[0046]
图3为本发明一实施例的配准过程的流程示意图。
[0047]
图4为本发明一实施例的卷积神经网络的架构图。
具体实施方式
[0048]
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实 施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不 作为对本发明的限定。
[0049]
在此，需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出 了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其 他细节。
[0050]
应该强调，术语“包括/包含/具有”在本文使用时指特征、要素、步骤或组件的存在， 但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
[0051]
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或 类似的部件，或者相同或类似的步骤。
[0052]
传统的sift、surf、orb以及kaze等局部特征提取方法在很大程度上取决于算 法设计者本身的专业知识，尽管基于传统的人工设计的特征描述子对在相对简单的遥感图 像任务中能够实现较为精确的结果，且运算效率也相对较高，但对于多时相光学遥感图像 配准问题而言，在对局部特征描述子进行局部匹配时，会有大量的误匹配产生。随着近年 来深度学习在图像处理领域方面所取得的成功，人们逐渐开始使用卷积神经网络cnn来 获取图像的局部特征描述子，这种方法相比于传统的人工设计的局部特征提取方法更为智 能，如果说人工设计的算法是基于设计者的专业知识，那么深度学习的方式则是模型在数 据的基础上学到的知识，因而相对于传统的方式往往更具有合理性。采用深度学习的方式 计算局部特征描述子的方法包括pn-net、l2-net、hardnet以及sosnet等，以上基于卷 积神经网络cnn的局部特征尽管在一定程度上相比于sift之类的传统人工设计的局部 特征描述子更具有合理性，但当图像中检测到的关键点密集时，就会使得配准结果不够准 确。
[0053]
由以上内容可知，基于灰度信息的图像配准方式对灰度值的非线性变化敏感，而端到 端的图像深度学习图像配准方法一方面网络难于训练，另一方面空间变换参数的回归往往 不够精确，目前多时相光学遥感图像的配准仍是以基于特征的方式为主。由于基于fcn 局部特征所存在的以上局限性，鲜有方法直接将fcn局部特征直接应用于多时相遥感图 像配准问题当中，相反，更多地则是仍采用传统的人工设计的局部特征描述子，而尝试改 进描述子的匹配算法。而这一类方法，仍然在很大程度上依赖于传统的人工特征的性能， 对处理复杂的多时相光学遥感图像配准问题仍然存在局限性。
[0054]
因此，为解决fcn当前所存在的技术问题，本技术设计了一种多尺度感受野的多时 相遥感图像配准方法。该方法考虑到cnn局部特征所存在的问题，并采用中间层特征与 输出层特征结合的方式，同时在网络的训练过程中引入网络中间层损失函数foreloss对 中间层特征进行约束。值得一提的是，尽管本方案同时利用中间层的特征以及输出层特征， 并引入了foreloss对中间层特征进行约束，但只能缓解而不能完全解决fcn局部特征所 存在的问题，故本技术方案进一步引入了组合特征距离图cfdm(combined featuredistance maps)并结合fast(features from accelerated segment test)关键点检 测算法结合构建关键点匹配对；为进一步去除错误匹配的关键点匹配对并计算变换参数， 本方案采用了一种渐进式迭代算法来完成从源图像到目标图像的配准过程。
[0055]
图1为本发明一实施例的基于多尺度感受野的多时相遥感图像配准方法的流程示
意 图，如图1所示，该配准方法包括步骤s10～s50。
[0056]
步骤s10：获取多组多时相遥感图像，并对各所述多时相遥感图像根据预定方式进行 处理，得到样本训练集。
[0057]
在该步骤中，多时相遥感图像是指被配准过的多时相遥感图像，其具体的为多组。其 中各组包含两幅同一地理区域的不同时间拍摄的遥感图像，同时保证两幅图像空间位置一 致的点已经对齐；示例性的，各组多时相遥感图像可以包括第一遥感图像和第二遥感图像， 且第一遥感图像与第二遥感图像为分别为第一时间点和第二时间点拍摄的遥感图像。
[0058]
在一实施例中，对各多时相遥感图像根据预定方式进行处理，可以包括以下步骤：获 取第一遥感图像的锚图像块；获取第二遥感图像的初始图像块，并将所述初始图像块依次 进行两次空间变换，得到第二遥感图像的第一正样本图像块和第二正样本图像块。在获取 第一遥感图像的锚图像块以及第二遥感图像的初始图像块之前，可先根据fast关键点检 测算法对第一遥感图像以及第二遥感图像进行关键点检测，并进一步的在第一遥感图像和 第二遥感图像的其中一个关键点对应的位置处裁取满足预设尺寸要求的图像块。此时从第 一遥感图像上裁取的图像块记为第一遥感图像的锚图像块，而从第二遥感图像上裁取到的 图像块记为初始图像块。应当理解的是，对图像进行关键点检测时，除了采用fast关键 点检测算法之外，也可以采用其他类似的算法代替，诸如harris关键点检测、sift关键 点检测、surf关键点检测、orb关键点检测以及kaze关键点检测等。
[0059]
在对各多时相遥感图像进行处理时，示例性的，任取一组多时相遥感图像中的其中一 幅遥感图像，基于fast关键点检测算法对其进行关键点检测，同时去掉距离图像边界距 离过近的点，具体的可限定为点到图像边界距离不应小于128。进一步的采用非极大值抑 制算法(non-maximum suppression，简写为nms)去除响应值大的关键点周围的响应小 的关键点，以保证所选取的关键点两两之间存在一定的距离；nms算法用于实现初始关键 点筛选，因而可简化后续步骤中的算法的复杂度。
[0060]
当通过上述方法获取到遥感图像的多个关键点之后，进一步的构建关键点集合。如， 将第k组多时相光学遥感图像中选取的有序关键点集合记为sk，对于有序集sk中的第j个关 键点记为进一步的可在两幅遥感图像中对应位置分别裁取大小为256
×
256的图像块， 任意选取两个图像块中的一个，再裁取其中心的大小为128
×
128的图像块，我们记为对于另一个图像块，做两次随机平移、旋转以及缩放变换，再分别裁取两次变换后的图像 块中心大小为128
×
128的图像块，分别记为以及需要注意的是，两次随 机变换并非相同，因而和之间存在一定的空间变换关系。另在变换过程中， 旋转角度θ～u[-π，π]，缩放参数s～u[0.8，1.25]。在该实施例中，以及构 成训练集的一个样本，为便于书写，我们将以及分别记为ai、以及 其中i表示样本在整个数据集中所对应的索引。应当理解的是，样本训练集内具有 多个样本，也就对应的具有多组多时相遥感图像，此时还可对样本训练集内的样本建立标 签，从而ai、以及中的i表示样本的标签索引。
[0061]
步骤s20：构建小感受野特征网络和大感受野特征网络，基于构建的小感受野特征网 络和大感受野特征网络建立卷积神经网络模型，并基于预设损失函数以及所述样本训练集 对建立的所述卷积神经网络模型进行训练，得到训练后的卷积神经网络训练模型。
[0062]
在该步骤中，卷积神经网络包括小感受野特征网络(forenet)及大感受野特征网络 (postnet)，从图4中可以看出，forenet包括七个卷积模块，而postnet包括三个卷积模 块。对于网络中的每一个卷积层，都采用了批归一化处理bn(batch normalization)以防 止梯度消失产生，以及也均采用了relu激活函数。另外，由于池化层不具备可学习性，本 发明采用2
×
2卷积核的卷积层同时将卷积滑动步长设置为2以取代普通卷积神经网络中 的池化层实现下采样。示例性的，可将该卷积神经网络的输入图像块定义为x，而θs，θ
l
分 别表示forenet以及postnet网络的模型参数，则不难理解的，表示forenet输 出张量，则表示postnet输出张量。另外，对于大小为128
×
128像素的 图像块x，其作为卷积神经网络的输入时，经过forenet的输出是128
×
16
×
16维 张量，则是128
×1×
1维张量，即将视为128维向量进 行后续处理。应当理解的是，forenet以及postnet的输出张量与图像块x的参数有关。
[0063]
在该卷积神经网络模型中，预设损失函数包括针对小感受野特征的网络中间层损失 (foreloss)以及针对大感受野特征的网络输出层损失(postloss)。foreloss以及postloss 相结合作为总体损失函数，并进一步的通过样本训练集对建立的卷积神经网络模型进行训 练，并保存训练后的卷积神经网络模型参数，从而得到训练后的卷积神经网络模型，具体 的训练过程如图2所示。
[0064]
其中，损失函数计算公式为：
[0065][0066]
其中，为总损失函数，为小感受野特征网络的自身损失函数，为小感受野特征 网络的hardnet网络损失函数，为大感受野特征网络的hardnet网络损失函数。且进一步的可记为即其中，为针对小感受野特征的网络中间层总损失。 对于上述的可通过以下方法计算得到。
[0067]
具体的，训练集中的其中一个训练样本为ai，以及从步骤s10中可以看出， ai，以及的几何中心所对应的地理位置是基本一致的，其中ai来自第一遥感图像，以及来自第二遥感图像，和之间存在一定的空间变换关系，本实施例基于 上述内容对forenet输出张量以及comnet输出向量建立损失函数。具体的，ai，以 及作为输入，则forenet输出分别为以及而postnet 输出分别为以及另外，将 以及分别表示其位于第i行第j列的128维特征向 量。由于样本中三个图像块几何中心对应的地理位置基本一致，因而，其经forenet输出 的张量中心特征应更为相似，因而进一步定义：
其中心位置足够远的非中心位置处的小感受野特征向量的距离最小值，与锚图像块的中心 处小感受野特征向量和第j正样本图像块的中心处小感受野特征向量距离值的差值。
[0077]
基于小感受野特征的网络中间层损失除了之外，还包括。为hardnet中的损失 函数，为便于说明，现将hardnet中所采用的损失函数重定义如下：
[0078]
假设hardnet输入表示为x＝{(ai，pi)}，i＝1，2
…
n，n各批次训练样本的样本总数 量，其对应的特征向量表示为y＝{ai，pi}，进而定义距离矩阵}，进而定义距离矩阵
[0079]
进一步的基于距离矩阵定义正确匹配以及最困难负匹配的距离：
[0080][0081][0082]
其中，为正确匹配距离，为最困难负匹配距离。
[0083]
hardnet损失函数进一步定义为，其中， 为hardnet损失。
[0084]
针对本方案中的forenet输出，定义集合：
[0085][0086][0087]
此时，foreloss的第二项为
[0088]
类似的，针对大感受野特征的网络中间层损失同样是基于hardnet损失函数定义， 定义集合：
[0089][0090][0091]
此时即为：
[0092]
步骤s30：基于训练后的卷积神经网络模型获取源图像的图像块的小感受野特征向量 和大感受野特征向量，并获取目标图像的小感受野特征张量和大感受野特征张量，基于获 取到的所述小感受野特征向量以及小感受野特征张量构建小感受野特征距离图。
[0093]
其中，目标图像为经过源图像空间变换之后的遥感图像，源图像与目标图像之间一般 具有一定的空间变换关系。为了获取源图像与目标图像之间的空间变换关系，进一步的基 于训练后的卷积神经网络对源图像以及目标图像进行配准识别。图3为本发明一实施例的 配准过程，如图3所示，首先给定两幅多时相光学图像，其一为源图像，其二为目标图像， 将两幅图像分别通过卷积神经网络，分别获得源图像以及目标图像的小感受野特征图以及 大感受野特征图，并构建组合特征距离图(cfdm)。
[0094]
示例性的，源图像块记为i
(src)
，目标图像记为i
(tar)
，设源图像块i
(src)
的某一个关键点 坐标为(x
(src)
，y
(src)
)，以其为中心点裁取大小为128
×
128的图像块，记为p
(src)
，将p
(src)
以 及i
(tar)
分别作为卷积神经网络的输入，进而可以得到：
[0095][0096][0097][0098][0099]
其中，是指所选取的i
(src)
的位置为第9行第9列，第9行第9列可被 看作为位于中心点位置处的向量，则指i
(src)
经小感受野特征网络输出的小感受野特 征向量，而则指i
(src)
依次经过小感受野特征网络和大感受野特征网络后输出的大感 受野特征向量。则指p
(src)
经小感受野特征网络输出的小感受野特征张量，而则 指p
(src)
经大感受野特征网络输出的大感受野特征张量。
[0100]
在本发明另一实施例中，除了构建小感受野特征距离图之外，还构建大感受野特征距 离图；具体的：基于获取到的大感受野特征向量以及大感受野特征张量构建大感受野特征 距离图。进一步的，小感受野特征距离图(forefdm)以及大感受野特征距离图(postfdm) 中的元素可以分别通过以下公式计算得到：
[0101][0102][0103]
其中，为目标图像的小感受野特征张量的第i行第j列的小感受野特征向量与源图 像中源图像块的小感受野特征向量的距离值，为源图像块的小感受野特征向量， 为目标图像的小感受野特征张量的第i行第j列的小感受野特征向量；其中， 源图像块为源图像中以某一点为中心采取的预定大小的的用于进行比较的图形块。为 目标图像的大感受野特征张量的第p行第q列的大感受野特征向量与源图像中源图像块的 大感受野特征向量的距离值，为源图像块中的大感受野特征向量，为目 标图像的大感受野特征张量的第p行第q列的大感受野特征向量。应当理解的是，在该实 施例中引入大感受野特征距离图是因为仅基于小感受野特征距离图有时会因为小感受野 特征向量感受野小而无法确定出目标图像块上的小感受野特征张量的与源图像块的小感 受野特征向量相似度最高的向量的位置，因而在此引入大感受野特征距离图，从而根据小 感受
野特征距离图以及大感受野特征距离图结合进行比对(具体请参考步骤s40的详细说 明)。
[0104]
步骤s40：基于所述小感受野特征距离图确定目标图像的小感受野特征张量上的与所 述小感受野特征向量相似度最高的向量，并将所述小感受野特征向量对应的关键点以及小 感受野特征张量上的与所述小感受野特征向量相似度最高的向量所对应的关键点生成关 键点匹配对。
[0105]
在该步骤中，在小感受野特征距离图上，通过最近邻匹配算法找到相似度最大的位置， 即小感受野特征距离图的最低点，若其与相距足够远的次近邻点即次低点相似度差值足够 大，则直接认为小感受野特征距离图的最低点是匹配的；否则就需要借助大感受野特征距 离图辅助，类似的，通过最近邻匹配算法找到相似度最大的位置，即大感受野特征距离图 的最低点，若其与距离其足够远的次近邻点即次低点相似度差值足够大，则可以通过大感 受野特征距离图上的最低点位置确定一个小感受野特征距离图上的搜索范围，而在这个范 围内去搜索小感受野特征距离图的最低点，并认为其是匹配的。
[0106]
从上述内容可以看出，本实施例中可仅通过小感受野特征距离图确定小感受野特征张 量上的与小感受野特征向量相似度最高的向量，也可通过小感受野特征距离图和所述大感 受野特征图确定小感受野特征张量上的与所述小感受野特征向量相似度最高的向量。且通 过小感受野特征距离图和大感受野特征图确定小感受野特征张量的与所述小感受野特征 向量相似度最高的向量时，具体的可包括：根据大感受野特征距离图确定目标图像的大感 受野特征张量上的与与所述大感受野特征向量相似度最高向量；从确定的与所述大感受野 特征向量相似度最高的向量中基于小感受野特征距离图查找小感受野特征张量中的与小 感受野特征向量相似度最高的向量。
[0107]
另外，将小感受野特征向量对应的关键点以及小感受野特征张量的与其相似度最高的 向量所对应的关键点生成关键点匹配对，具体的可包括以下步骤：通过fast关键点检测 算法检测源图像和目标图像中的关键点；确定所述小感受野特征向量对应的关键点以及小 感受野特征张量上的与其相似度最高的向量所对应的关键点；基于确定的小感受野特征向 量及小感受野特征张量上的与其相似度最高的向量所对应的关键点生成关键点匹配对。
[0108]
示例性的，由于卷积神经网络的下采样操作，forefdm中每一个元素可对应于原始 图像中8
×
8的像素块，而postfdm中每一个元素对应于原始图像中16
×
16的像素块， 因而仅仅匹配小感受野特征或者大感受野特征在精确度上存在一定的限制，因而本方案将 fast关键点同cfdm结合起来构建初始关键点对，具体的方法如下。
[0109]
对于源图像采用fast关键点检测算法进行关键点检测，得到源图像关键点集合中的任意一个关键点如果该关键点距离图像边界足够远， 则可以参照以上公式(1)和(2)分别计算得到以及在此基础上，本实 施例进一步定义：
[0110][0111]
[0112][0113][0114]
其中，表示小感受野特征距离图最低点的位置坐标，即对应于距离最小而 相似度最大的位置，表示大感受野特征距离图最低点的位置坐标，标示距足够远的情况下，小感受野特征距离图最低点的位置坐标，表示距足够远的情况下，大感受野特征距离图最低点的位置坐标，且g
(s)
，h
(s)
， g
(l)
以及h
(l)
分别定义如下：
[0115][0116][0117][0118][0119]
其中，可进一步的将ω1的取值设为1，而将ω2的取值设为2。
[0120]
在该实施例中，根据forefdm以及postfdm的最低点可以大致估计源图像中的关键 点在目标图像中的对应位置。依据本方案中所使用的forenet以及postnet的网络结构， 通过forefdm估计的源图像中关键点所对应的目标图像关键点坐标为fdm估计的源图像中关键点所对应的目标图像关键点坐标为而通过postfdm估计的源图像中关键点多对应的目标图像关键点的坐标为16bks 41， 16aks 41。上述关键点的坐标是由上述的小感受野特征距离图上确定的匹配位置，估计 其在原始目标图像上的坐标，例如：在该实施例中，考虑到小感受野特征网络下采样倍数 为8，且目标图像的小感受野特征张量上第1行第1列所对应在目标图像上的感受野中心 位置坐标为(1，1)，故小感受野特征距离图所对应的在目标图像上的关键点坐标 为即源图像中关键点所对应的目标图像关键点坐标即 声由于卷积神经网络的下采样导致通过forefdm以及postfdm关 键点位置的预测存在不可避免的误差，因此本方案结合forefdm、postfdm以及fast 关键点进行关键点的初始匹配。采用fast算法检测i
(tar)
中的关键点，同时记录每个关 键点的响应值，即其中rk表示的响应值，n为关 键点数量。将s
(tar)
中的fast关键点洒在forefdm上，换句话说，对于而言，
[0121][0122]
将落在第r行第c列的关键点定义为s
(tar)
的一个子集，表示为(s
(tar)
)
r，c
。如果满足，
[0123][0124][0125]
则将中响应最大的关键点认为是与源图像中相匹配的关键点；若 上述条件不满足，且有则定义集合：
[0126][0127]
在集合m的约束下搜索的局部最小值，即若 有则将中响应最大的关键点认为是与源图像中相匹配 的关键点。对s
(src)
中每个关键点执行上述过程，则可以得到初始匹配关键点对集合。本 实施例中，∈0＝∈1＝0.1。
[0128]
步骤s50：基于生成的多个关键点匹配对通过渐进式迭代算法保留正确的关键点匹配 对，根据正确的关键点匹配对计算源图像与目标图像之间的空间变换关系参数，基于空间 变换关系参数进行图像配准。
[0129]
在该实施例中，通过上述步骤s40可得到源图像的多个关键点的关键点匹配对，而这 些关键点匹配对中可能会存在一些配对错误的关键点匹配对，因而通过渐进式迭代算法逐 渐去除导致配准参数回归误差的关键点匹配对，保留正确关键点匹配对；通过该步骤，可 进一步获得更为精确的配准结果。
[0130]
在本发明一实施例中，空间变换关系参数包括旋转参数r、缩放参数s、平移参数t。 对于上述参数，可通过以下方法计算得到。示例性的，假设已经得到关键点匹配对集合记 为cp＝{(p1，q1)
…
(pz，qz)}，其中，p1...pz分别为源图像的z个关键点，而q1...qz则为目 标图像上的分别与p1...pz相匹配的z个关键点。进一步的，令 p
′i＝p
i-μ
p
，q
′i＝q
i-μq。此时，缩放参数另外，令并 进行奇异值分解(svd)，得到w＝u∑v
t
；则有，r＝uv
t
，t＝μ
q-srμ
p
。
[0131]
进一步的，以得到更为精确的配准结果，采用渐进式迭代算法不断去除误差较大的关 键点匹配对，其具体的算法如下所述。示例性的，假设根据步骤s40得到的关键点匹配 对为为源图像的z0g 个关键点，而为目标图像上的与关键点组合成关键点匹配对的z0各 关键点。进一步的，通过上述的空间变换参数计算公式可计算到对应的旋转参数 r0、缩放参数s0和平移参数t0。
[0132]
进一步的通过下列公式进行迭代计算：
[0133]
[0134][0135][0136][0137]
如果满足则将保留。上述公式中的 和表示经初始估计参数变换后的新坐标，表示表示源图像第k个关 键点经初始变换参数估计后的坐标与得到的目标图像对应关键点的误差，m
(0
→
1)
表示所有 误差的均值，σ
(0
→
1)
表示所有误差的方差。
[0138]
进一步的，通过上述的第一轮迭代过程之后，所保留下来的关键点匹配对集合为：
[0139][0140]
如果z0＝z1，则令α1＝(1-η)α0；其中，α0＝0.3，η＝0.05。重复以上迭代过程， 直到达到最大迭代次数或者所保留下来的关键点匹配对数目减少到最低要求为止。令，
[0141][0142][0143]
则h为最终从源图像变换到目标图像的变换矩阵，其中n表示迭代终止的次数。在该 实施例中，建议最大迭代次数为50次。在计算得到h之后，利用其对源图像进行空间变 换即完成整个图像配准过程。
[0144]
另外，本发明还公开了一种基于多尺度感受野的多时相遥感图像配准系统，该系统包 括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中 存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如上任一实施例所述方 法的步骤。
[0145]
通过上述实施例可以发现，该多时相遥感图像配准方法及系统采用基于卷积神经网络 的深度学习的方式替代传统的人工特征，一定程度上解决了传统的人工特征在应对复杂多 时相问题所存在的不足。采用多尺度感受野特征结合的方式，结合foreloss和postloss 损失函数对网络进行训练，增强了近距离关键点特征描述之间的可区分性，一定程度上缓 解了卷积神经网络特征在进行匹配时存在的当两个关键点靠近时特征的区分能力会变差 的固有问题。另外，基于渐进式迭代算法逐步优化并不断去除优化过程中偏离较多的关键 点匹配对，可进一步获得更为精确的配准结果。在实际应用过程中，该方法在复杂的多时 相光学遥感图像配准中明显优于传统的配准方法，即在传统人工特征配准错误的情况下， 本方案仍然能取得相对精确的配准结果，而对于简单的多时相遥感图像配准问题，本发明 同样略优于传统的图像配准方法。
[0146]
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例
性的 组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是 软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个 特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范 围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、 插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或 者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号 在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何 介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom (erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以 经由诸如因特网、内联网等的计算机网络被下载。
[0147]
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一 些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提 及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
[0148]
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施 方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实 施方式的特征。
[0149]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人 员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任 何修改、等同替换、改进等，均应包含在本发明的保护范围之内。