基于子图像匹配的深度学习遥感图像配准方法及应用与流程

1.本发明涉及一种图像配准方法及其应用，尤其是涉及一种基于子图像匹配的深度学习遥感图像配准方法及其应用，属于图像处理领域。


背景技术：

2.图像配准是遥感图像处理的重要过程之一，是后续遥感信息应用的基础。近年来，遥感图像逐渐向高空间分辨率、高光谱分辨率、高时间分辨率方向发展，高分辨率的航空和卫星遥感图像的应用场景越来越多，如城市发展、地理变化评估、土地分析等。遥感图像配准的鲁棒性和精度对变化检测、图像融合等后续任务有重要的影响。多时相高分辨率的光学遥感图像通常受到复杂变化的影响，如日照、云、雾、霾等引起的遮挡和亮度、对比度等的变化，人类活动和自然灾害造成的土地和建筑物的外观和边界的变化，低空拍摄起伏的地形和高大建筑物产生复杂几何形变等，这些都使遥感图像配准变得困难。
3.遥感图像配准是建立不同条件下拍摄的某一相同区域的遥感图像之间的对应关系。目前，遥感图像配准技术已取得了很多研究成果，但大部分配准方法是基于传统特征匹配的框架，即在图像中利用手工设计的算子提取并描述点、线或面特征，然后对特征进行匹配和异常点剔除，利用筛选后的匹配特征位置计算变换关系。
4.现有技术，如申请号：cn 202110166034.8，公开号：cn112861714a公开一种基于深度学习和多子图匹配的遥感图像匹配方法，然而，该现有技术中的子图指遥感图像中不同地物类型的分布图，大小与原图相同。该技术是基于传统特征匹配的框架的方法之一。
5.这类算法在正确的匹配点较多时精度较高，但应用场景局限大且对高分辨率、存在大幅度的几何变形和复杂内容改变的遥感图像容易因为正确匹配少而配准失败。随着深度学习在计算机视觉领域的发展，有一些研究利用神经网络提取特征实现遥感图像的配准，取得了一定成效，但也受限于需要足够多的匹配的局部特征点的要求。为了实现快速配准，也有研究直接向神经网络输入整幅遥感图像自动回归变换模型参数，获得了很高的鲁棒性，但大幅度的降采样使得这种方法依赖于明显的轮廓特征，精度也相应较差。目前还没有一种充分利用遥感图像的高分辨率信息，且基于参数回归的深度学习遥感图像配准方法。


技术实现要素：

6.为了解决对于对具有较大差异的多时相高分辨率遥感图像，基于局部特征的方法容易失效和基于参数回归的深度学习方法精度较低的问题，本发明提出了一种基于子图像匹配的深度学习遥感图像配准方法。
7.本发明的方法采用如下技术方案：
8.一种基于子图像匹配的深度学习遥感图像配准方法，以实现光学遥感图像之间的配准，该方法包含由卷积神经网络完成的子图像匹配和变换参数估计两个阶段，阶段一：从图像中裁剪一系列含有多个特征的子图像，通过带特征向量内积结构的子图像相似度学习
网络scorecnn提取子图像特征，并在融合阶段估计子图像的相似度；根据相似度利用快速筛选算法寻找置信度高的匹配的子图像；阶段二：把所述匹配的子图像对其对应的在原图像中的坐标输入到带有权重结构和位置编码的变换参数估计网络etpn中，输出待配准图像之间的变换矩阵。
9.进一步的，所述的子图像匹配为：从图像中裁剪一系列中等大小的图像块作为子图像，通过基于孪生卷积神经网络的带特征向量内积结构的子图像相似度学习网络scorecnn提取子图像特征，并在融合阶段估计子图像的相似度。
10.进一步的，所述的子图像匹配具体步骤为：
11.(1)、对于某个从待配准图像中裁剪的子图像通过scorecnn估计与基准图像中滑动选取的子图像i
t
的相似度，每个位置的相似度构成相似度热图m
k
；
12.(2)、根据热图m
k
寻找与匹配的子图像，存在基准子图像与匹配的条件是：
①
m
k
的最大值m1大于相似度阈值l，
②
第二大极值m2满足m2<m1‑
t，t 为相似度差的阈值，
③
m2所在位置在m1的半径为r的邻域之外；
13.(3)、若满足以上条件则认为m1所在的位置的基准子图像与匹配；
14.(4)、有任意一条不满足则认为没有匹配的子图像；
15.(5)、重复以上步骤直到遍历所有待配准图像中的子图像。
16.进一步的，所述的子图像相似度学习网络scorecnn结构中，在特征网络提取子图像的稠密特征后，在特征融合阶段把子图像特征图中的各特征向量进行内积，随后主要通过两个卷积层和一个全连接层实现从融合特征到相似度的映射；卷积层后紧跟着relu激活函数和最大池化。
17.进一步的，所述etpn提取和融合子图像对的特征和对应的坐标编码向量；为了利用不确定数量的匹配子图像直接估计变换矩阵和减小低质量的输入的影响，根据学习的权重对子图像的特征进行加权平均；权重结构中通过卷积层和特征图平均的操作进一步提取特征，与子图像的特征进行相关，产生每对子图像的权重。
18.进一步的，etpn网络的参数估计过程如下：
19.(1)、向所述etpn的特征提取和位置编码模块分别输入筛选后的所有匹配子图像及其在原图像中的中心坐标，得到每个子图像的特征集和位置编码向量；
20.(2)、融合对应两个子图像特征得到子图像对的特征集，连接所述的子图像对的特征集和对应的位置编码向量，得到融合特征集；
21.(3)、把所述融合特征集输入到所述etpn中带权重结构的回归模块中，输出回归的变换模型的参数预测结果；所述回归模块的主干由通道注意力结构、加权平均层、卷积层和全连接层组成；所述的权重结构为主干中的分支结构，位于通道注意力结构和加权平均层之间；所述融合特征集在经过通道注意力结构后流经分支中的卷积层和特征图平均层得到合并的特征图并自相关，经过权重生成层得到各匹配子图像对应的权重值。
22.进一步的，所述的scorecnn和etpn网络采用样本共用的训练方式，具体步骤如下：
23.(1)、从待配准图像中以相等间隔或根据其他方式提取的特征点位置裁剪出一定数量的大小相同且适中的子图像i
s
，其中子图像包含的区域要求分布均匀且大致覆盖整个图像；
24.(2)、根据真实的变换模型计算基准图像中相应的子图像区域中心，裁剪同样大小的邻域与步骤(1)中对应的i
s
组成正样本，负样本由任意两个非对应位置的子图像组成；
25.(3)、把所述的正样本中，中心点变换后超出边界的和含有弱纹理子图像的样本重新设置为负样本，其中弱纹理图像的g、b通道的标准差σ
g
、σ
b
同时满足：
26.σ
g
<th,σ
b
<th；
27.其中th是设定的非弱纹理图像块像素值的最小标准差阈值；
28.(4)、向scorecnn输入数量比约1：1的所述正负样本进行训练；选取相似度大于设定的匹配阈值t
s
的所述正样本，输入etpn进行训练，实现正样本共用；
29.(5)、根据网络的预测结果和真值计算分类损失函数和回归损失函数，进行反向传播。
30.进一步的，所述的scorecnn和etpn网络训练样本采用基于区域外接矩形的随机平移的数据增强策略，具体步骤如下：
31.(1)、根据真实的变换关系h，计算待配准子图像的中心点和四个顶点在基准图像中对应的坐标(x',y')＝h((x,y))，其中(x,y)是点在待配准图像上的坐标， (x',y')是点在基准图像上的坐标；
32.(2)、根据所述中心点变换后的位置选取固定大小的初始基准子图像，该基准子图像位置可在一定范围内平移，该范围内的子图像仍覆盖了对应的特征；所述的平移范围为四个顶点在基准图像上所构成的四边形区域的外接矩形边框与初始基准子图像边框的间隙。
33.本发明还将所述基于子图像匹配的深度学习遥感图像配准方法应用于遥感卫星采集的遥感图像中。
34.本发明的技术方案能够实现如下有益的技术效果：
35.本发明提出了一种快速筛选算法从候选图像中筛选出高质量的匹配对，该算法通过不同位置的相似度组成的热图制定规则；在子图像匹配阶段中，提出的 scorecnn网络用于估计图像块之间的相似性，该网络包含一个用于特征融合的内积结构。在匹配的子图像的基础上，在变换参数估计中提出的带有权重结构和位置编码的etpn网络用于直接估计不确定数目的匹配子图像的变换模型参数，同时减轻低质量输入的影响。
36.此外，为了对提出的模型进行充分的训练，本发明提出了在线生成共用训练样本的方法和基于区域外接矩形的随机平移数据增强策略，提高了训练效率和泛化性能。本发明在各种地形的多时相高分辨率的光学遥感图像中具有鲁棒性强，匹配准确率高的特点，且提升配准精度和性能。
附图说明
37.图1为本发明中遥感图像配准方法工作流程；
38.图2为本发明scorecnn结构图；
39.图3为本发明etpn结构和工作流程；
40.图4为本发明etpn中的带权重结构的参数回归模块；
41.图5为本发明训练正样本的生成和数据增强示意图；
42.图6为本发明的具体实施例中定性的配准结果对比图。
具体实施方式
43.基于子图像匹配的深度学习遥感图像配准方法，该方法实现光学遥感图像之间的配准，包含由卷积神经网络完成的子图像匹配和变换参数估计两个阶段，其特征在于：
44.阶段一：从图像中裁剪一系列含有多个特征的子图像，通过带特征向量内积结构的子图像相似度学习网络scorecnn提取子图像特征，并在融合阶段估计子图像的相似度；根据相似度利用快速筛选算法寻找置信度高的匹配的子图像；
45.阶段二：把所述匹配的子图像对其对应的在原图像中的坐标输入到带有权重结构和位置编码的变换参数估计网络etpn中，输出待配准图像之间的变换矩阵。
46.下面我们将对上述技术方案作出详细阐述。
47.参见附图1所示，本发明提出的基于子图像匹配的深度学习遥感图像配准方法，包含了基于孪生卷积神经网络完成的子图像匹配和变换参数估计两个阶段，其中，阶段一结合了子图像匹配网络和一种快速筛选算法；阶段二是一个带权重结构和位置编码的变换参数估计网络。
48.本发明提出的遥感图像配准方法输入为尺寸大于子图像的两幅待配准的光学遥感图像，其中裁剪的子图像大小为240
×
240，输出为输入的两幅图像之间的变换模型参数。图像间的变换模型可以设置为仿射模型、投影模型、多项式模型等，不同的设置影响变换参数估计网络etpn最后一层的输出参数个数和训练时的变换参数真值。方法的整个执行过程除了上述输入输出外，还具体包括如下工作流程：
49.子图像匹配：从图像中裁剪一系列中等大小的图像块作为子图像，通过基于孪生卷积神经网络的带特征向量内积结构的子图像相似度学习网络scorecnn 提取子图像特征，并在融合阶段估计子图像的相似度；根据相似度利用快速筛选算法寻找置信度高的匹配的子图像。
50.该子图像匹配具体方法如下：
51.1)相似度学习网络构建：
52.参见图2所示，构建的所述子图像匹配中的相似度学习网络scorecnn是一个孪生网络，由特征提取、特征融合和度量层三个部分组成。
53.①
特征提取
54.特征提取部分采用双流共享权重的结构，骨干网络采用resnet
‑
18，选取其中的第一到三层。从输入的子图像中提取三维稠密特征，得到d
×
h
×
w大小的特征图，其中d是特征的维数，随着采用的骨干网络不同而变化，在resnet
‑
18 的骨干网络下d、h、w分别为256、15、15。
55.②
特征融合
56.对基准子图像和待配准子图像的特征图中的特征向量根据公式c
ab
＝< f
a
,f
b
>进行内积，得到融合特征图c
ab
，其中f
a
、f
b
分别为待配准子图像和基准子图像的特征图中的特征向量，基准子图像的特征图被展开为二维的特征，c
ab
为某一行某一列的f
a
与某一f
b
相乘后的标量。
57.③
度量层
58.度量层对融合特征图中的特征向量的相关信息估计输入子图像的相似度，由两个3
×
3的卷积滤波器、relu激活函数、最大池化和自适应平均池化层、全连接层组成，其中两
个3
×
3卷积滤波器的通道数分别为128和64，步长为1，填充为0，后面紧跟relu和最大池化层。在训练过程中对输出用sigmoid函数进行逻辑回归。度量层输出两个子图像之间的相似度。
59.2)快速筛选算法
60.所述子图像匹配中，一种快速筛选算法具体步骤如下：
61.步骤a、对于某个从待配准图像中裁剪的子图像通过scorecnn估计与基准图像中按一定间隔s
t
滑动选取的子图像i
t
的相似度，每个位置的相似度构成相似度热图m
k
；
62.步骤b、寻找热图m
k
中的最大值m1及其所在的位置；
63.步骤c、若步骤b中的最大值m1>l，则继续寻找除了该位置及其半径r的邻域外的第二大极值m2；否则认为步骤a中的没有匹配的子图像；
64.步骤d、若步骤c中的m2满足m2<m1‑
t，t为设定的阈值，则认为m1所在的位置的基准子图像与匹配；否则认为不匹配；
65.步骤e、重复以上步骤直到遍历所有待配准图像中的子图像。
66.其中s
t
的设置应小于子图像的大小，可设为20个像素；l、r、t设置为0.5、 5、1。r是热图中的距离，对应到原图中的像素距离为r
·
s
t
。
67.变换参数估计：把所述的匹配的子图像对及其对应的在原图像中的坐标输入到带有权重结构和位置编码的变换参数估计网络etpn中。etpn提取和融合子图像对的特征，并根据学习的权重对子图像的特征进行加权，最后输出待配准图像间的变换矩阵。
68.该变换参数估计方法具体如下：
69.变换参数估计网络构建
70.参见图3所示，所述的变换参数估计中，etpn主要由以下四个部分组成：特征提取、位置编码、特征融合和参数回归。
71.①
特征提取
72.特征提取的骨干网络采用se
‑
resnext101以达到最好的性能，选取其中的第一到三层，输入为子图像i
s,i
、i
t,i
,i＝1,2,
…
,m，输出d
×
h
×
w大小的特征图f
a,i
、 f
b,i
,i＝1,2,
…
,m，其中d是特征的维数，随着采用的骨干网络不同而变化，在该骨干网络下大小为512
×
15
×
15。
73.②
位置编码
74.位置编码用于对图像块在原图上的坐标进行编码，采用可学习的编码方式，由两个共享权重的全连接层组成，输入为子图像在原图像中对应的归一化图像坐标，输出为15
×
15大小的二维向量，基准子图像坐标和待配准子图像坐标连接成为编码向量集其中h和w皆为15。
75.③
特征融合
76.特征融合用于获得匹配子图像特征的相似信息，与对应的坐标编码信息一同输入到后续的网络中。对
①
中对应的基准子图像和待配准子图像特征图的特征向量进行内积，过程与scorecnn的特征融合部分类似，得到子图像对的特征集各子图像对的特征与对应的位置编码向量按特征维度拼接成融合特征集
其中h和w皆为15。
77.④
参数回归
78.参数回归的网络结构如图4所示，主干依次由通道注意力结构、加权平均层、三个卷积层和两个连续的全连接层组成，其中卷积层后紧跟归一化层和relu激活函数。为了同时利用不确定数量的匹配子图像融合特征{v
i
}直接估计变换矩阵的参数，并减小低质量的子图像的影响，本发明设计了权重结构分支，使得网络允许任意数目的输入并学习各子图像特征的加权系数，实现特征的进一步融合和对异常进行自识别和抑制。
79.其中，所述通道注意力中的特征通道数压缩倍数为16，即从227维到14维。所述的权重结构分支位于通道注意力结构和加权平均层之间，包含两个卷积层、特征图平均层和权重生成块，其中每个卷积层后紧跟归一化和relu函数，特征图平均层即对特征集中的对应位置的参数取平均。权重结构有两种不同的可行的结构，区别在于卷积层和特征图平均层的先后位置不同，如图4所示，结构1 为先卷积后平均，结构2为先平均后卷积，相应地卷积通道数也随之不同，但共同点是卷积和平均后的模板特征图大小一致，并且与{ca
i
}进行相关，本质上完成了特征自相关的操作。权重结构的后端的权重生成块由全局平均池化层、两个连续的1
×
1大小的卷积核和softmax函数构成，生成对应于每个特征图ca
i
的归一化权重系数。
80.所述加权平均层实际上是以权重结构给出的权重α
i
∈α为加权系数，对特征集{ca
i
}进行加权求和的操作，其中加权融合后的特征图z可以表示为：
[0081][0082]
其中m是输入子图像对的数目。当不加入权重结构时，加权平均退化为算术平均，即加权平均层后的卷积块通道数依次为256
‑
128
‑
64，全连接层输出的通道维数依次为128
‑
6。
[0083]
etpn中的卷积核默认步长为1，填充为0。
[0084]
为了使scorecnn和etpn可以同时训练，提高训练效率的同时不影响最终的配准性能，本发明提出了在线生成共用的样本的训练方法，具体步骤如下：
[0085]
①
从待配准图像中裁剪出数量为n
s
的大小为h
s
×
w
s
的子图像i
s
；
[0086]
②
根据真实的变换模型h计算基准图像中相应的子图像区域中心h((x
c
,y
c
))，其中(x
c
,y
c
)为待配准子图像的中心坐标；
[0087]
③
裁剪同样大小的邻域与对应的i
s
组成正样本，如图5所示，负样本由任意两个非对应位置的子图像组成；
[0088]
④
把所述的正样本中，中心点变换后超出边界的和含有弱纹理子图像的样本重新设置为负样本，其中弱纹理图像的g、b通道的像素值的标准差σ
g
、σ
b
同时满足：
[0089]
σ
g
<th,σ
b
<th；
ꢀꢀꢀ
(3)
[0090]
其中阈值th是设定的非弱纹理图像块像素值的最小标准差。
[0091]
⑤
向scorecnn输入数量比约1：1的所述正负样本；选取相似度大于阈值t
s
的所述正样本输入etpn；根据网络的预测结果和真值计算分类损失函数和回归损失函数，进行反向传播。
[0092]
其中
①
裁剪的子图像由于需要包含多个特征，不能过小，考虑到计算成本也不宜过大，h
s
×
w
s
可取240
×
240；子图像所包含的区域要求分布均匀且大致覆盖整个图像，如对于1080
×
1080大小的遥感图像，n
s
应不小于25，选取的方式可采用等间隔均匀选取或利用特征算子提取并筛选出均匀分布的特征点。步骤
③
和
④
中的负样本个数多于正样本，为了平衡正负样本，使比例趋于1：1，可以采取减少负样本或者重新在图像中选取其他位置的正样本替换由
④
中的负样本。步骤
⑤
中scorecnn和etpn共用的是生成的正样本。在线生成指每次输入的样本不是事先存储而是在线计算的，目的是减少本地存储的占用和增加输入的不重复样本的数量，充分利用原遥感图像中的信息。阈值th和t
s
分别设置为0.3和 0.5。
[0093]
为了进一步增加训练样本的数量，加强网络的泛化性能，本发明提出了对于裁剪的正样本的数据增强，即基于外接矩形的随即平移，可应用于scorecnn和 etpn的训练以及类似的需要生成对应样本的训练。由于负样本是随机选取产生的，本身的位置带有随机性，所以不需要应用该策略。数据增强的过程具体如下：
[0094]
①
根据真实的变换关系h，计算待配准子图像的中心点和四个顶点在基准图像中对应的坐标(x',y')＝h((x,y))，其中(x,y)是点在待配准图像上的坐标， (x',y')是点在基准图像上的坐标；
[0095]
②
以所述中心点(x
c
,y
c
)变换后的位置(x'
c
,y'
c
)为子图像中心，选取初始基准子图像i
t
；
[0096]
③
对i
t
的位置以(x'
c
,y'
c
)为中心在一定范围内进行随机平移，生成增强后的基准子图像i'
t
；
[0097]
其中所述的平移范围为四个变换后的顶点(x',y')在基准图像上所构成的四边形区域的外接矩形边框与初始基准子图像边框的间隙。当所述外接矩形比子图像尺寸大时，子图像始终位于外接矩形边框内部；反之则外接矩形始终位于子图像边框内部。上述两种情况的示意图参见图5右侧。
[0098]
具体实施效果
[0099]
用训练好的网络模型根据实施例中的流程进行配准，并用google earth采集的500张高分辨率遥感图像进行测试。测试集的图像包含了各类地形如高楼、河岸、桥梁、田地、荒地、森林等，且每张图设置了20个控制点用以评估配准性能。将本发明的算法配准结果与传统配准框架和现有的最新的基于参数回归的深度学习方法进行对比。对于该测试集采用的总体评价指标为pck(the probability of correct keypoints)，反映的是配准的鲁棒性和整体的精度。 pck的定义如下：
[0100][0101]
其中，n为所有点的数量，为点变换后的位置，为点的真实位置，若它们之间的距离小于l，则认为是匹配，l＝τ
·
max(h,w)，τ是匹配的阈值， (h,w)是图像的高和宽。配准的结果如表1，从表中可以看出本发明的方法在仅采用主干结构(无权重结构)和加入了权重结构1和2的模型下都获得了最佳的配准性能。
[0102]
表1是对所有测试图像配准的pck对比。表中sift的完整配准方法流是 sift ransac，dam是现有的基于参数回归的双流结构神经网络配准模型，骨干网络为se
‑
resnext101。k是设置的选取参考图像中的子图像数量。
[0103]
表1
[0104][0105]
选取部分具有代表性的图像，如时间跨度大、植被变化、地形起伏大、遮挡、存在剧烈变换的遥感图像，对不同的配准方法进行定性和定量的对比展示。不同方法配准的定性对比结果如图6，可以看出在在关键部分如道路的衔接上比其他方法更佳，配准的精度更高。
[0106]
图6中每一行展示了一个来自测试图像的例子。结果对齐的好坏以交错覆盖的棋盘格形式展现，黄框和红框分别是本发明和其他方法配准的部分关键局部细节。
[0107]
对于图6中的测试图像的定量结果对比如表1，采用的评价指标为平均绝对误差(mae)，反映了配准的像素误差，其定义如下：
[0108][0109]
其中是利用估计的变换矩阵计算得到的变换后的点的位置，是控制点的真实位置，n是图中的控制点数量。
[0110]
表2是定量的配准结果对比，分别利用sift、dam和本方法配准的误差，”\”表示配准完全失败的结果。mae:平均绝对误差。k:设置的选取参考图像中的子图像数量。
[0111]
表2
[0112][0113]
本发明提出的子图像匹配技术基于中等大小的包含多个特征的图像块，而非以精确的特征点为中心的邻域，使后续流程无需进行传统方法中繁琐的异常点剔除的同时降低了对特征定位和匹配的难度，解决了传统配准框架中对于特征变化大的图像配准存在的正确匹配的特征数量不足导致算法失败的问题。本发明利用匹配子图像的相似度热图进行快速筛选，提高了匹配的准确率。针对不确定数量的子图像对的输入，提出的变换参数估计网络通过权重结构和位置编码实现了子图像对的快速变换参数回归，充分利用了输入图像的高分辨信息，减轻了低质量输入的影响，提高了配准的精度。本发明利用计算的真实的对应子图像中心坐标生成训练的子图像对，在scorecnn和etpn的训练中共用生成的正样本，提高了训练效率。提出的数据增强策略在基于区域外接矩形的有效范围内随机平移对应基准子图像的选取框，提高了模型的泛化性能。本发明提供的两阶段基于子图像匹配的深度学
习遥感图像配准方法，在保留深度学习方法鲁棒性强等优点的同时把配准网络细化，提高了基于参数回归的深度学习配准方法的精度，对于各种地形的多时相高分辨率的光学遥感图像的配准具有鲁棒性强，匹配准确率高的优点。
[0114]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。