一种异源图像配准方法、系统及装置与流程

1.本发明涉及图像配准领域，尤其涉及一种异源图像配准方法、系统及装置。


背景技术：

2.现有的图像配准技术大致分为三种：基于区域的图像配准方法、基于特征的图像配准方法和近年来兴起的基于网络的图像配准方法，但是这几种配准方法均存在较大的缺陷，成像原理的不同和成像条件的差异造成了sar图像和光学图像之间存在非线性强度差异，因此基于灰度的方法结果不佳；sar图像的成像原理造成sar图像中存在严重的散斑噪声，因此基于点特征的方法难以在sar图像上提取可靠的特征点，在光学图像中应用良好的配准方法在异源图像配准中一般难以取得预期的效果；基于卷积神经网络的方法需要大量的训练数据以获得好的模型、防止过拟合，但现实应用中的光学图像和sar图像数据集的数据量往往远远不足以训练出一个较好的网络


技术实现要素：

3.为了解决上述技术问题，本发明的目的是提供一种异源图像配准方法、系统及装置，提高异源配准精度。
4.本发明所采用的第一技术方案是：一种异源图像配准方法，包括以下步骤：
5.对sar图像进行滤波并与对应的光学图像组成图像块对，得到图像块对样本；
6.将图像块对样本本输入深度卷积生成对抗网络进行训练，得到训练样本；
7.对训练样本进行数据增强并进行划分，得到训练集和测试集；
8.基于训练集训练深度孪生匹配网络，得到训练完成的匹配网络；
9.提取测试集中图片的图像块并输入至训练完成的匹配网络，得到匹配点对；
10.根据匹配点对计算变换矩阵并配准图像。
11.进一步，所述对sar图像进行滤波具体包括以下步骤：
12.读取sar图像的图像数据矩阵；
13.滑动预设的滤波窗口对sar图像进行处理，并结合图像数据矩阵计算窗口内参数；
14.基于窗口内参数和滤波方程，输出滤波结果，得到滤波后的sar图像。
15.进一步，所述滤波方程公式表示如下：
[0016][0017]
上式中，表示滤波后的值，b表示预设参数，m表示观测值，表示局部窗口内的像素均值。
[0018]
进一步，所述深度卷积生成对抗网络设有两组，所述将图像块对样本本输入深度卷积生成对抗网络进行训练，得到训练样本这一步骤，其具体包括：
[0019]
将图像块对样本中的光学图像输入一组深度卷积生成对抗网络，基于生成器生成伪sar图像，基于判别器生成判别标签；
[0020]
将图像块对样本中滤波后的sar图像输入另一组深度卷积生成对抗网络，基于生
成器生成伪光学图像，基于判别器生成判别标签；
[0021]
根据sar图像、伪sar图像、光学图像、伪光学图像和判别标签，构成训练集。
[0022]
进一步，所述对训练样本进行数据增强并进行划分，得到训练集和测试集这一步骤，其具体包括：
[0023]
对训练样本进行几何变换，得到增强后训练样本；
[0024]
所述几何变换包括翻转、旋转、裁剪、平移和缩放；
[0025]
对增强后训练样本以7：3的比例划分训练集和测试集。
[0026]
进一步，所述基于训练集训练深度孪生匹配网络，得到训练完成的匹配网络这一步骤，其具体包括：
[0027]
根据训练集中由光学图像生成的伪sar图像和对应的sar图像对深度孪生匹配网络的一条分支进行训练；
[0028]
根据训练集中由sar图像生成的伪光学图像和对应的光学图像对深度孪生匹配网络的另一条分支进行训练；
[0029]
结合判别标签对深度孪生匹配网络进行损失计算，得到训练完成的匹配网络。
[0030]
进一步，所述提取测试集中图片的图像块并输入至训练完成的匹配网络，得到匹配点对这一步骤，其具体包括：
[0031]
基于sift方法检测测试集中图片的特征点；
[0032]
根据图片的特征点对sar图像和光学图像取图像块并输入至训练完成的匹配网络的两个分支，得到匹配结果；
[0033]
基于渐进一致采样方法对匹配结果进行处理，得到匹配点对。
[0034]
进一步，所述根据匹配点对计算变换矩阵公式表示如下：
[0035][0036]
上式中，t表示图像i1与i2之间的几何变换矩阵，s表示i2相对于i1缩放的尺度因子，θ表示i2相对于i1的旋转角度，t
x
表示i2相对于i1的水平位移参数，t
y
代表i2相对于i1的垂直位移参数。
[0037]
本发明所采用的第二技术方案是：一种异源图像配准系统，包括：
[0038]
图像对样本模块，用于对sar图像进行滤波并与对应的光学图像组成图像块对，得到图像块对样本；
[0039]
训练样本模块，用于将图像块对样本本输入深度卷积生成对抗网络进行训练，得到训练样本；
[0040]
划分模块，用于对训练样本进行数据增强并进行划分，得到训练集和测试集；
[0041]
训练模块，基于训练集训练深度孪生匹配网络，得到训练完成的匹配网络；
[0042]
匹配模块，用于提取测试集中图片的图像块并输入至训练完成的匹配网络，得到匹配点对；
[0043]
配准模块，用于根据匹配点对计算变换矩阵并配准图像。
[0044]
本发明所采用的第三技术方案是：一种异源图像配准系统，包括：
[0045]
至少一个处理器；
[0046]
至少一个存储器，用于存储至少一个程序；
[0047]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种异源图像配准方法。
[0048]
本发明方法、系统及装置的有益效果是：本发明通过数据增强能够生成大量的带标签的图像块对用于网络训练，解决了数据集大小不足以训练深度网络的问题，通过生成对抗网络，将异源图像配准问题转化为同源图像配准问题，从而提高异源配准的精度。
附图说明
[0049]
图1是本发明一种异源图像配准方法的步骤流程图；
[0050]
图2是本发明一种异源图像配准系统的结构框图。
具体实施方式
[0051]
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0052]
参照图1，本发明提供了一种异源图像配准方法，该方法包括以下步骤：
[0053]
对sar图像进行滤波并与对应的光学图像组成图像块对，得到图像块对样本；
[0054]
将图像块对样本本输入深度卷积生成对抗网络进行训练，得到训练样本；
[0055]
对训练样本进行数据增强并进行划分，得到训练集和测试集；
[0056]
基于训练集训练深度孪生匹配网络，得到训练完成的匹配网络；
[0057]
提取测试集中图片的图像块并输入至训练完成的匹配网络，得到匹配点对；
[0058]
根据匹配点对计算变换矩阵并配准图像。
[0059]
进一步作为本方法的优选实施例，采用lee滤波方法对sar图像进行滤波，具体包括以下步骤：
[0060]
读取sar图像的图像数据矩阵；
[0061]
滑动预设的滤波窗口对sar图像进行处理，并结合图像数据矩阵计算窗口内参数；
[0062]
具体地，设定滤波窗口大小(7
×
7的滑动窗口)，滑动窗口，并计算滑动窗口内的参数。假定先验的均值和方差可以由计算局域的均值和方差得到，和分别是lee滤波方法的先验均值和方差，通过以下两个公式计算：
[0063][0064][0065]
其中，v为局域窗口内的噪声，
[0066]
lee滤波的线性数学模型为其中：
[0067][0068]
基于窗口内参数和滤波方程，输出滤波结果，得到滤波后的sar图像。
[0069]
具体地，lee滤波方程
[0070]
进一步作为本方法优选实施例，所述深度卷积生成对抗网络设有两组，所述将图像块对样本本输入深度卷积生成对抗网络进行训练，得到训练样本这一步骤，其具体包括：
[0071]
将图像块对样本中的光学图像输入一组深度卷积生成对抗网络，基于生成器生成伪sar图像，基于判别器生成判别标签；
[0072]
将图像块对样本中滤波后的sar图像输入另一组深度卷积生成对抗网络，基于生成器生成伪光学图像，基于判别器生成判别标签；
[0073]
根据sar图像、伪sar图像、光学图像、伪光学图像和判别标签，构成训练集。
[0074]
具体地，生成对抗网络有两组，两组网络结构相同，权值不同。每组网络由4个卷积层构成，在激活函数方面：判别器中使用带泄露修正线性单元来防止梯度过度稀疏，生成器则仍然采用线性整流函数，但最后输出层采用tanh函数(双曲正切函数)。使用自适应学习率优化算法训练，设置学习率为0.0002。按照以下损失函数训练生成对抗网络：
[0075][0076][0077][0078]
l
dcgan
表示生成器和判别器的对抗损失约束，其中l
l1
(g)表示生成器产生图像与真实图像之间的像素级损失约束，p
data
是真实数据分布，p
z
是噪声分布，g(z)是生成模型根据随机噪声z生成的模拟真实图像的伪图像，d(x)是判别模型判断真实图像为真的概率，d(g(z))是判别模型判断生成器生成的伪图像为真的概率。
[0079]
进一步作为本方法优选实施例，所述对训练样本进行数据增强并进行划分，得到训练集和测试集这一步骤，其具体包括：
[0080]
对训练样本进行几何变换，得到增强后训练样本；
[0081]
所述几何变换包括翻转、旋转、裁剪、平移和缩放；
[0082]
对增强后训练样本以7：3的比例划分训练集和测试集。
[0083]
具体地，通过这五种几何变换完成数据增强，增加训练集的图片数量
[0084]
进一步作为本方法优选实施例，所述基于训练集训练深度孪生匹配网络，得到训练完成的匹配网络这一步骤，其具体包括：
[0085]
根据训练集中由光学图像生成的伪sar图像和对应的sar图像对深度孪生匹配网络的一条分支进行训练；
[0086]
根据训练集中由sar图像生成的伪光学图像和对应的光学图像对深度孪生匹配网络的另一条分支进行训练；
[0087]
结合判别标签对深度孪生匹配网络进行损失计算，得到训练完成的匹配网络。
[0088]
具体地，深度孪生网络的两个分支分别用于训练光学图像和sar图像，两分支结构相同，权值不共享，网络采用交叉熵损失函数和sgd优化算法。显然，训练时图像中不匹配的点对数量远远大于匹配点对数量，为了避免正负样本数量不平衡导致的精度下降，采用随机采样的策略来使正负样本数量一致。
[0089]
交叉熵损失函数：
[0090][0091]
其中，y
i
是输入图像对x
i
的标签。1代表匹配，0代表不匹配。表示预测匹配概率，可由fc3层上的两个点v0(x
i
)和v1(x
i
)计算得到。计算公式如下：
[0092][0093]
匹配网络可以拆分为特征提取网络和度量学习网络两部分。特征提取网络采用双分支结构，每个分支包含5个卷积层和3个3
×
3的池化层。其中，三个池化层分别位于第一、二、五个卷积层后。特征提取网络和度量学习网络之间接有一个瓶颈层(实为全连接层)，用来减少特征表示向量的维度，避免过拟合。度量学习网络由两个后接relu激活函数的全连接层加一个后接softmax函数的全连接层构成，输出表示图像块相似度的概率值。
[0094]
进一步作为本方法优选实施例，所述提取测试集中图片的图像块并输入至训练完成的匹配网络，得到匹配点对这一步骤，其具体包括：
[0095]
基于sift方法检测测试集中图片的特征点；
[0096]
根据图片的特征点对sar图像和光学图像取图像块并输入至训练完成的匹配网络的两个分支，得到匹配结果；
[0097]
基于渐进一致采样方法对匹配结果进行处理，得到匹配点对。
[0098]
进一步作为本方法优选实施例，所述根据匹配点对计算变换矩阵公式表示如下：
[0099][0100]
上式中，t表示图像i1与图像i2之间的几何变换矩阵，s表示图像i2相对于图像i1缩放的尺度因子，θ表示图像i2相对于图像i1的旋转角度，t
x
表示图像i2相对于图像i1的水平位移参数，t
y
代表图像i2相对于图像i1的垂直位移参数。
[0101]
本方法还具备的有益效果是：训练样本全都已知标签，且通过学习经过不同的几何变换的图像，匹配网络对旋转、平移、尺度变化鲁棒/可以学习到具有旋转、平移、尺度不变性的特征；通过网络学习度量函数，并且将相似性度量整合到匹配网络中，网络直接输出匹配标签。
[0102]
如图2所示，一种异源图像配准系统，包括：
[0103]
图像对样本模块，用于对sar图像进行滤波并与对应的光学图像组成图像块对，得到图像块对样本；
[0104]
训练样本模块，用于将图像块对样本本输入深度卷积生成对抗网络进行训练，得到训练样本；
[0105]
划分模块，用于对训练样本进行数据增强并进行划分，得到训练集和测试集；
[0106]
训练模块，基于训练集训练深度孪生匹配网络，得到训练完成的匹配网络；
[0107]
匹配模块，用于提取测试集中图片的图像块并输入至训练完成的匹配网络，得到匹配点对；
[0108]
配准模块，用于根据匹配点对计算变换矩阵并配准图像。
[0109]
一种一种异源图像配准装置：
[0110]
至少一个处理器；
[0111]
至少一个存储器，用于存储至少一个程序；
[0112]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种异源图像配准方法。
[0113]
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0114]
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。