SAR图像与光学图像的配准方法、装置、设备和介质

sar图像与光学图像的配准方法、装置、设备和介质
技术领域
1.本发明涉及图像处理技术领域，特别是涉及一种基于正负采样损失函数的sar图像与光学图像的配准方法、装置、设备和介质。


背景技术：

2.图像配准是卫星图像的关键预处理环节，利用图像配准技术，可以将多时相、多角度、多模态的图像信息进行配对，以便后续的图像融合、识别等各类任务。在sar图像与光学图像的配准过程中，通常根据图像间的相似度指标来决定最佳配准位置，在sar图像与光学图像的相似度衡量方面，现有的深度学习大多采用传统的误差平方和指标，或是直接计算线性相关性热力图，并基于正、负样本点的误差平方和指标或相关性热力图来设计损失函数，通过损失函数最小化来优化神经网络参数。
3.现有的基于热力图采样的算法，通过神经网络提取sar图像和光学图像的特征矩阵，再将sar图像和光学图像的特征矩阵逐位置计算线性相关性得到热力图，进而根据热力图上各位置点的评分确定配准位置。但随着利用神经网络进行sar图像与光学图像配准的深入实践，申请人发现：利用神经网络进行图像配准的配准率不高，并不能满足后续对图像处理、识别等任务需求。


技术实现要素：

4.鉴于上述问题，提出了本发明实施例的一种基于正负采样损失函数的sar图像与光学图像的配准方法、装置、设备和介质，以便克服上述问题或者至少部分地解决上述问题。
5.本发明实施例的第一方面，公开了一种基于正负采样损失函数的sar图像与光学图像的配准方法，所述方法包括：
6.获取待配准的sar图像与待配准的光学图像；
7.将所述待配准的sar图像与所述待配准的光学图像输入目标网络，得到所述待配准的sar图像与所述待配准的光学图像之间的热力图，所述热力图上每个点的配准评分表征：针对所述待配准的sar图像与所述待配准的光学图像，所述目标网络预测的在每个点所在位置的配准度；
8.将所述热力图上值最大的点所在位置，确定为所述待配准的sar图像与光学图像的配准位置；
9.所述目标网络的损失函数值仅通过增大正样本点的配准评分且减小负样本点的配准评分的方式减小，所述正样本点是根据样本热力图上对应于预先标记的正确配准位置的点确定的，所述负样本点表示所述样本热力图上除所述正样本点以外的点，所述样本热力图是在所述目标网络的训练过程中，针对配对好的且预先标记有正确配准位置的样本sar图像与样本光学图像而输出的热力图。
10.可选地，所述目标网络的损失函数值随第i个正样本点的配准评分单调递减，且随
第j个负样本点的配准评分单调递增，且所述损失函数对所述正样本点的配准评分与所述负样本点的配准评分的导数的绝对值相等。
11.可选地，所述目标网络的损失函数值是按照以下损失函数公式计算的：
[0012][0013]
其中，n
p
表示正样本点的个数，nn表示负样本点的个数，和分别表示第i个正样本点的配准评分、第j个负样本点的配准评分。
[0014]
可选地，所述正样本点包括：所述样本热力图上对应于预先标记的正确配准位置的点，以及位于该点的邻域的各个点，所述邻域至少包括：上下左右四个相邻位置。
[0015]
可选地，所述负样本点包括：除所述正样本点外，剩余的各个点中配准评分最高的n个点。
[0016]
可选地，在所述待配准的sar图像与所述待配准的光学图像分输入目标网络之前，所述方法还包括：
[0017]
从完整的sar图像中截取部分图像区域，得到所述待配准的sar图像，所述待配准的sar图像与所述待配准的光学图像之间的旋转角度差值与尺度差值均小于预设差值，所述配准评分是将所述待配准的sar图像在所述待配准的光学图像上逐像素点平移，计算得到的每个像素点所在位置的匹配度。
[0018]
可选地，将所述待配准的sar图像与所述待配准的光学图像输入目标网络，得到所述待配准的sar图像与所述待配准的光学图像之间的热力图，包括：
[0019]
分别求取所述待配准的sar图像与所述待配准光学图像各自的多方向梯度图；
[0020]
利用孪生神经网络分别提取所述sar图像与光学图像各自的多方向梯度图的特征，得到sar图像特征矩阵与光学图像特征矩阵；
[0021]
对所述sar图像特征矩阵与所述光学图像特征矩阵进行线性相关度计算，得到所述待配准的sar图像与所述待配准的光学图像之间的热力图。
[0022]
本发明实施例的第二方面，提供了一种基于正负采样损失函数的sar图像与光学图像的配准装置，所述装置包括：
[0023]
图像获取模块，用于获取待配准的sar图像与待配准的光学图像；
[0024]
图像处理模块，用于将所述待配准的sar图像与所述待配准的光学图像输入目标网络，得到所述待配准的sar图像与所述待配准的光学图像之间的热力图，所述热力图上每个点的配准评分表征：针对所述待配准的sar图像与所述待配准的光学图像，所述目标网络预测的在每个点所在位置的配准度；
[0025]
配准位置确定模块，用于将所述热力图上值最大的点所在位置，确定为所述待配准的sar图像与光学图像的配准位置；所述目标网络的损失函数值仅通过增大正样本点的配准评分且减小负样本点的配准评分的方式减小，所述正样本点是根据样本热力图上对应于预先标记的正确配准位置的点确定的，所述负样本点表示所述样本热力图上除所述正样本点以外的点，所述样本热力图是在所述目标网络的训练过程中，针对配对好的且预先标记有正确配准位置的样本sar图像与样本光学图像而输出的热力图。
[0026]
本发明实施例的第三方面，还公开了一种电子设备，包括：
[0027]
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如本发明第一方面实施例所述的基于正负采样损失函数的sar图像与光学图像的配准方法。
[0028]
本发明实施例的第四方面，其存储的计算机程序使得处理器执行如本发明第一方面实施例所述的基于正负采样损失函数的sar图像与光学图像的配准方法。
[0029]
本发明实施例包括以下优点：
[0030]
在本发明实施例中，获取待配准的sar图像与待配准的光学图像；将所述待配准的sar图像与所述待配准的光学图像输入目标网络，得到所述待配准的sar图像与所述待配准的光学图像之间的热力图；将所述热力图上值最大的点所在位置，确定为所述待配准的sar图像与光学图像的配准位置；所述目标网络的损失函数值仅通过增大正样本点的配准评分且减小负样本点的配准评分的方式减小。由于本发明实施例中，损失函数随正样本点配准评分单调递减，随负样本点配准评分单调递增，且损失函数对于正样本点的配准评分与负样本点的配准评分的导数的绝对值相等，即正样本点的配准评分与负样本点的配准评分对损失函数值的影响相同，因此，损失函数的值仅能通过增大正样本点的配准评分，减小负样本点的配准评分来减小，来优化目标网络参数，保证了学习目标的唯一性，满足正样本点的配准评分大于负样本点的配准评分的目的，从而提升配准的准确率。
附图说明
[0031]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0032]
图1是本发明实施例提供的一种样本热力图正样本采样示意图；
[0033]
图2是本发明实施例提供的一种基于正负采样损失函数的sar图像与光学图像的配准方法的步骤流程图；
[0034]
图3是本发明实施例提供的一种基于正负采样损失函数的sar图像与光学图像的配准算法流程图；
[0035]
图4为本发明实施例提供的一种孪生神经网络的结构示意图；
[0036]
图5是本发明实施例提供的一种基于损失函数的sar图像与光学图像的配准装置的结构示意图。
具体实施方式
[0037]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]
相关技术中，配准算法的目标是让热力图上正样本点的配准评分大于负样本点的配准评分，算法通过寻找热力图上评分值最大的点预测配准的位置，这样的目标需要保证正样本点的配准评分大于负样本点的配准评分，让算法能够正确配准。在设计神经网络优
化所需的损失函数时，希望通过增大正样本点的配准评分，减小负样本点的配准评分来达到正样本点的配准评分大于负样本点的配准评分的目的，提升算法的准确度。为此，现有的损失函数设计为：
[0039]
其中，下标p表示正样本点，下标n表示负样本点，n
p
表示正样本点的个数，nn表示负样本点的个数，和分别表示第i个正、负样本点的配准评分，而f
p
和fn分别是正、负样本点的损失函数，表示为：
[0040]fp
(s)＝log(1 e-s
)
[0041]fn
(s)＝log(1 es)
[0042]
由于函数f
p
是一个单调递减的函数，因此当正样本点的配准评分增大时损失值会减小；函数fn是一个单调递增的函数，当负样本点的配准评分减小时，损失值会减小。符合使正样本点的配准评分大于负样本点的配准评分的目的。
[0043]
但基于l0损失函数计算损失值时，存在正样本点的配准评分比负样本点的配准评分更小时，损失函数值仍然下降的可能，进而导致sar图像与光学图像误配准。
[0044]
可能存在以下情况：
[0045]
假设在计算损失函数时只取了一个正样本点与一个负样本点，在某轮学习后正负样本点的配准评分都为s0(s0》0)。而在下一轮学习过后，正负样本点的配准评分分别为s
p1
、s
n1
。不失一般性，令s
p1-s0＝-δ
p
，s
n1-s0＝-δn，0《δn《δ
p
。此时有s
p1
《s
n1
。将损失函数l0在(s0,s0)点进行一阶泰勒展开，得到正负样本点变化后新的损失函数值lo(s
p1
,s
n1
)：
[0046][0047]
其中，s
p1
《ε
p
《s0，s
n1
《εn《s0。而在这种情况下，有：
[0048][0049]
记g(x)＝δ
p
(δ
p-δn δ
p2eδp
)x-δnx2[0050]
因为0《δn《δ
p
，g(1)＝2δ
p-2δn δ
p2eδp
》0，g(x)在(1, ∞)上存在一个零点，记为x0，x》x0时g(x)《0，因为s0》0，因此当s0》n(x0)时必有l0(s
p1
,s
n1
)-l0(s0,s0)《0。也就是说，存在一种情况，使得损失函数的值下降，但是正样本点的配准评分反而小于负样本点的配准评分了，配准的准确率反而下降了，没有达到通过学习提升配准准确率的目的。
[0051]
而这种情况存在的原因是，负样本点的配准评分对损失函数的影响比正样本点的配准评分对损失函数的影响更大。
[0052]
具体地，将损失函数对s
p
和sn求导可得：
[0053][0054][0055]
其中，为损失函数对正样本点配准评分的导数，为损失函数对负样本点配准评分的导数。
[0056]
可以看出，损失函数对负样本点配准评分的导数的绝对值大于正样本配准评分的导数的绝对值，即负样本点的配准评分对损失函数的影响更大，因此，现有的损失函数存在使得损失函数的值下降，但是正样本点的配准评分反而小于负样本点的配准评分，导致配准的准确率反而下降了，没有达到通过学习提升配准准确率的目的，进而导致误配准。
[0057]
为突破这一瓶颈，使损失函数的值仅能通过增大正样本点的配准评分，减小负样本点的配准评分来减小，以此提高配准的准确率。本技术人提出一种新的损失函数，其技术构思为：将正样本点的配准评分与负样本点的配准评分放在同一个数的指数上，使损失函数对正、负样本点的配准评分的导数的绝对值是相等的，即正样本点配准评分与负样本点的配准评分对损失函数的影响相同，进而满足损失函数仅能够通过增大正样本点的配准评分、减小负样本点的配准评分这一种方法减小损失函数值。
[0058]
为了满足通过增大正样本点的配准评分，减小负样本点的配准评分来达到正样本点的配准评分大于负样本点的配准评分的目的，本实施提出的损失函数值随第i个正样本点的配准评分单调递减，且随第j个负样本点的配准评分单调递增，且所述损失函数对所述正样本点的配准评分与所述负样本点的配准评分的导数的绝对值相等。因此，将正样本点的配准评分与负样本点的配准评分放在同一个数的指数上，进而得到了本实施例提出的损失函数，所述的损失函数可表示为：
[0059][0060]
其中，n
p
表示正样本点的个数，nn表示负样本点的个数，和分别表示第i个正样本点的配准评分、第j个负样本点的配准评分。
[0061]
该损失函数l随单调递减，随单调递增，因此仅当正样本点的配准评分增大或负样本点的配准评分减小时损失函数的值才会减小，满足正样本点的配准评分大于负样本点的配准评分的目的，从而提升配准的准确率。
[0062]
其中，所述正样本点包括：所述样本热力图上对应于预先标记的正确配准位置的点，以及位于该点的邻域的各个点，所述邻域至少包括：上下左右四个相邻位置。
[0063]
如图1所示，图1为本发明实施例提供的一种样本热力图正样本采样示意图，选择样本热力图上正确配准像素点以及正确配准像素点上下左右四个相邻位置的像素点作为
正样本点。
[0064]
其中，所述负样本点包括：除所述正样本点外，剩余的各个点中配准评分最高的n个点。
[0065]
对上述的损失函数做进一步的阐释如下：
[0066]
将损失函数对s
p
和sn求导可得：
[0067][0068][0069]
其中，为损失函数对正样本点配准评分的导数，为损失函数对负样本配准评分的导数，二者互为相反数，既损失函数对正负样本点的配准评分的导数的绝对值是相等的，因此，正样本点的配准评分与负样本点的配准评分对该损失函数的值影响是一样的。
[0070]
本实施例提出的损失函数设计在满足增大正样本点配准评分、减小负样本点配准评分这一目标的情况下，避免了训练过程中，损失函数的值下降，正样本点的配准评分比负样本点的配准评分下降更多的情况。
[0071]
具体地，假设正样本点与负样本点都只取一个的情况下，经过某轮训练得到正样本点的配准评分从s
p
变到s
p1
，负样本点的配准评分从sn变到s
n1
，新的损失函数值l(s
p1
,s
n1
)变化可以表示为：
[0072][0073]
其中，δ
p
＝s
p-s
p1
，δn＝s
n-s
n1
，ε
p
＝s
p-θ
·
δ
p
，εn＝s
n-θ
·
δn，0《θ《1。当这轮训练过程中损失函数值下降，即l(s
p1
,s
n1
)-l(s
p
,sn)《0时，由于恒成立，因此有即δ
p
《δn。这意味着当损失函数的值下降后，正样本点的配准评分一定会相对负样本点的配准评分上升，符合正样本点的配准评分高于负样本点的配准评分的学习目标。
[0074]
本实施例提出的损失函数能够克服现有损失函数存在的技术问题，该损失函数仅当正样本点的配准评分增大或负样本点的配准评分减小时损失函数的值才会减小，满足正样本点的配准评分大于负样本点的配准评分的目的，从而提升配准的准确率。
[0075]
通过上述过程，便得到了优化目标网络参数的损失函数，在目标网络训练过程中，利用本实施例提出的损失函数对目标网络参数进行优化，由于该损失函数值仅能通过正样本点的配准评分增大或负样本点的配准评分减小时损失函数的值才会减小，进而保证了学习目标的唯一性，使得目标网络能够尽可能的增大正样本点的配准评分，减小负样本点的配准评分，从而提升了目标网络的准确性，进而将训练完的目标网络用于对sar图像与光学图像进行配准处理，以此提升配准的准确率。
[0076]
参照图2所示，图2为本发明实施例提供的一种基于正负采样损失函数的sar图像与光学图像的配准方法步骤流程图。如图2所示，所述方法包括：
[0077]
步骤s201：获取待配准的sar图像与待配准的光学图像。
[0078]
获取待配准的sar图像与待配准的光学图像可以是指实时拍摄的图像，也可以是指从视频流中抽取出的一帧视频图像，或者可以是指从图像库中查找到的预先存储的图像。
[0079]
步骤s202：将所述待配准的sar图像与所述待配准的光学图像输入目标网络，得到所述待配准的sar图像与所述待配准的光学图像之间的热力图，所述热力图上每个点的配准评分表征：针对所述待配准的sar图像与所述待配准的光学图像，所述目标网络预测的在每个点所在位置的配准度。
[0080]
本实施例针对sar图像与光学图像像素级配准问题，采用图3所示的配准算法对sar图像与光学图像进行配准，图3为本实施提供的一种基于正负采样损失函数的sar图像与光学图像的配准算法流程图。首先，利用sar图像与光学图像的多方向梯度图提取初步特征，再利用一个孪生神经网络分别对sar图像与光学图像的多梯度图进行深度特征提取，分别得到sar图像与光学图像的特征矩阵，并通过对sar图像与光学图像的特征矩阵的相关性计算得到配准的热力图。在目标网络训练过程中，在样本热力图上采样正样本点与正样本点，利用正样本点与正样本点的配准评分计算损失函数值，并更目标网络的参数。最后对于训练好的网络，热力图中相似度评分最高的点就是算法预测的配准点。
[0081]
在sar图像与光学图像配准过程中，将待配准的sar图像与待配准的光学图像输入到目标网络，目标网络输出待配准的sar图像与待配准光学图像的热力图，热力图上每个点的值对应的是预测在这个位置上两张图像的配准评分，评分越大，两张图像在该位置的配准度越高。
[0082]
步骤s203：将所述热力图上值最大的点所在位置，确定为所述待配准的sar图像与光学图像的配准位置；
[0083]
所述目标网络的损失函数值仅通过增大正样本点的配准评分且减小负样本点的配准评分的方式减小，所述正样本点是根据样本热力图上对应于预先标记的正确配准位置的点确定的，所述负样本点表示所述样本热力图上除所述正样本点以外的点，所述样本热力图是在所述目标网络的训练过程中，针对配对好的且预先标记有正确配准位置的样本sar图像与样本光学图像而输出的热力图。
[0084]
在本实施例中，用于sar图像与光学图像配准处理的目标网络是基于本实施例提出的损失函数进行训练而得到的目标网络。对目标网络的训练具体包括，在每一轮训练过程中，在训练集中选择一组待配准的sar图像与光学图像输入待训练的目标网络进行训练，其中，一组待配准的sar图像与光学图像中包括m对待配准的sar图像与光学图像，当m对sar图像与光学图像都完成训练后，计算m对待配准的sar图像与光学图像总的损失值，即将m对待配准的sar图像与光学图像的损失值相加得到总的损失值，其中，每对sar图像与光学图像的损失值通过本实施例提出的损失函数来进行计算，最后根据总的损失值来更新目标网络的参数。在每一轮训练结束后，在验证集上进行验证，当验证集上的评价指标连续j轮没有提升，就判断目标网络已经训练好了，并选择j轮训练中损失值最小的一轮训练的参数为最终的参数，即得到训练好的目标网络。
[0085]
可选地，所述目标网络的损失函数值随第i个正样本点的配准评分单调递减，且随第j个负样本点的配准评分单调递增，且所述损失函数对所述正样本点的配准评分与所述负样本点的配准评分的导数的绝对值相等。
[0086]
可选地，所述目标网络的损失函数值是按照以下损失函数公式计算的：
[0087][0088]
其中，n
p
表示正样本点的个数，nn表示负样本点的个数，和分别表示第i个正样本点的配准评分、第j个负样本点的配准评分。
[0089]
可选地，述正样本点包括：所述样本热力图上对应于预先标记的正确配准位置的点，以及位于该点的邻域的各个点，所述邻域至少包括：上下左右四个相邻位置。
[0090]
可选地，所述负样本点包括：除所述正样本点外，剩余的各个点中配准评分最高的n个点。
[0091]
在本实施例中，损失函数的值随正样本点的配置评分增大而减少，随负样本点的配准评分减小而减小，符合是正样本点的配准评分大于负样本点的配准评分的目的，且损失函数对各正样本点与各负样本的导数的绝对值是相等的，因此正样本点与负样本点对损失函数的影响是一样的，所以损失函数仅能够通过增大正样本点的配准评分、减小负样本点的配准评分这一种方法减小损失函数值，让算法能够为了正样本值大于所有负样本值这一目标而尽可能的学习优化自身的参数，能够保证目标网络的准确性，进而提升了目标网络配准的准确率。
[0092]
可选地，在所述待配准的sar图像与所述待配准的光学图像输入目标网络之前，所述方法还包括：
[0093]
从完整的sar图像中截取部分图像区域，得到所述待配准的sar图像，所述待配准的sar图像与所述待配准的光学图像之间的旋转角度差值与尺度差值均小于预设差值，所述配准评分是将所述待配准的sar图像在所述待配准的光学图像上逐像素点平移，计算得到的每个像素点所在位置的匹配度。
[0094]
在实际应用中，卫星捕捉的光学图像和sar图像已经经过了初步处理，这两种图像并没有显著的旋转差异与尺度差异，因此在做sar图像与光学图像配准时主要需要考虑平移配准，计算每个位置的配准评分，因此，将sar图像随机截取固定尺寸的一部分区域，并在光学图像上进行逐像素配准，即将sar图像在光学图像上逐像素平移，计算每个像素点所在位置的配准评分。
[0095]
可选地，将所述待配准的sar图像与所述待配准的光学图像输入目标网络，得到所述待配准的sar图像与所述待配准的光学图像之间的热力图，具体包括以下步骤:
[0096]
步骤301：分别求取所述待配准的sar图像与所述待配准光学图像各自的多方向梯度图。
[0097]
求取待配准的sar图像与待配准光学图像的多方向的梯度图，先计算横向与纵向的梯度图g
x
、gy，公式如下：
[0098]gx
＝g*[-1 0 1]
[0099]gy
＝g*[-1 0 1]
t
[0100]
其中，*表示矩阵卷积操作，g表示输入的图像。
[0101]
再通过g
x
、gy计算各个方向的梯度图g
θ
，公式如下：
[0102]gθ
＝|cosθ
·gx
sinθ
·gy
|
ꢀꢀꢀ
(10)
[0103]
其中，|.|表示绝对值，θ表示梯度方向，本实施例中在[0
°
,180
°
)等间距取了9个方向，作为不同的θ值。
[0104]
步骤302：用孪生神经网络分别提取所述sar图像与光学图像各自的多方向梯度图的特征，得到sar图像特征矩阵与光学图像特征矩阵。
[0105]
为了能够利用多尺度的图像特征，提升算法的鲁棒性，本实施例先分别对待配准的sar图像与待配准的光学图像进行降采样，得到宽与高分别为原图像一半的sar图像与光学图像，并与原始尺寸的sar图像与光学图像共同输入到孪生神经网络中。如图4所示，图4为本实施例提供的一种孪生神经网络的结构示意图，其中，每个convbr层表示一个卷积核尺寸为3，步长为1，边缘填充为1的卷积层，后接一个批标准化层和一个relu层。由于没有用到池化操作，因此该神经网络的输出矩阵与输入矩阵的大小是相同的，神经网络提取到的每个像素点的特征都和输入图像相同位置的像素点一一对应。再将降采样后的图像的神经网络输出经过一次2倍的上采样，使它的尺寸与原始图像的神经网络输出相同，将两个矩阵相加分别得到sar图像与光学图像的特征矩阵。
[0106]
步骤303：对所述sar图像特征矩阵与所述光学图像特征矩阵进行线性相关度计算，得到所述待配准的sar图像与所述待配准的光学图像之间的热力图。
[0107]
该步骤计算sar图像与光学图像特征矩阵的相似度。方法为对sar图像特征矩阵与光学图像特征矩阵计算线性相关度，公式如下：
[0108]sheatmap
＝g
opt
＊g
sar
[0109]
其中，s
heatmap
表示热力图，g
opt
表示光学图像提取到的特征矩阵，g
sar
表示sar图像提取到的特征矩阵，＊表示线性相关度运算。
[0110]
采用快速傅立叶变换将运算转化到频域上，公式如下：
[0111]sheatmap
＝f-1
[f(g
opt
)
·f*
(f(g
sar
))]
[0112]
其中，f表示快速傅立叶变换，f-1
表示快速傅立叶反变换，f
*
表示复共轭。
[0113]
经过相关度运算后得到一个热力图矩阵，矩阵中值最大的点就是光学图像与sar图像相关性最高的点，也就是算法预测的配准点。
[0114]
如表1所示，表1为损失函数改进前后配准准确率的对比结果统计，其中，损失函数改进前的配准结果是基于原损失函数训练的网络来进行配准预测的结果，而损失函数改进后的配准结果是基于本实施例提出的损失函数训练的网络来进行配准预测得到的结果，ddfn一种现有的图像配准算法。其中，评价指标cmr(correct mating rate)表示配准误差t小于n个像素的比例(n＝1,2)。通过实验测试可知，基于改进后损失函数设计的配准方法能够显著提升配准算法的准确率，表明本实施例提出的基于正负采样损失函数的sar图像与光学图像的配准方法具有良好的配准效果。
[0115]
表1损失函数改进前后在sen1-2数据集上配准准确率对比
[0116]
cmrt《＝1t《＝2ddfn48.49％60.91％原损失函数51.31％64.49％
改进后损失函数58.77％71.07％
[0117]
如图5所示，图5为本发明实施例的一种基于正负采样损失函数的sar图像与光学图像的配准装置的结构示意图。如图5所示，所述装置具体可以包括以下模块：
[0118]
图像获取模块，用于获取待配准的sar图像与待配准的光学图像；
[0119]
图像处理模块，用于将所述待配准的sar图像与所述待配准的光学图像输入目标网络，得到所述待配准的sar图像与所述待配准的光学图像之间的热力图，所述热力图上每个点的配准评分表征：针对所述待配准的sar图像与所述待配准的光学图像，所述目标网络预测的在每个点所在位置的配准度；
[0120]
配准位置确定模块，用于将所述热力图上值最大的点所在位置，确定为所述待配准的sar图像与光学图像的配准位置；所述目标网络的损失函数值仅通过增大正样本点的配准评分且减小负样本点的配准评分的方式减小，所述正样本点是根据样本热力图上对应于预先标记的正确配准位置的点确定的，所述负样本点表示所述样本热力图上除所述正样本点以外的点，所述样本热力图是在所述目标网络的训练过程中，针对配对好的且预先标记有正确配准位置的样本sar图像与样本光学图像而输出的热力图。
[0121]
在一种实施例中，所述的图像处理模块包括：
[0122]
图像梯度获取模块，用于分别求取所述待配准的sar图像与所述待配准光学图像各自的多方向梯度图；
[0123]
特征提取模块，用于利用孪生神经网络分别提取所述sar图像与光学图像各自的多方向梯度图的特征，得到sar图像特征矩阵与光学图像特征矩阵；
[0124]
相关度计算模块，用于对所述sar图像特征矩阵与所述光学图像特征矩阵进行线性相关度计算，得到所述待配准的sar图像与所述待配准的光学图像之间的热力图。
[0125]
本发明实施例还提供了一种电子设备，该电子设备可以用于执行图像处理方法，可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器被配置为执行本实施例所述的基于正负采样损失函数的sar图像与光学图像的配准方法。
[0126]
本发明实施例还提供了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明实施例所述的基于正负采样损失函数的sar图像与光学图像的配准方法。
[0127]
本发明实施例提供一种基于正负采样损失函数的sar图像与光学图像的配准方法、装置、设备和介质，所述方法包括：获取待配准的sar图像与待配准的光学图像；将所述待配准的sar图像与所述待配准的光学图像输入目标网络，得到所述待配准的sar图像与所述待配准的光学图像之间的热力图，将所述热力图上值最大的点所在位置，确定为所述待配准的sar图像与光学图像的配准位置；所述目标网络的损失函数值仅通过增大正样本点的配准评分且减小负样本点的配准评分的方式减小。由于本发明实施例中，损失函数随正样本点配准评分单调递减，随负样本点配准评分单调递增，且损失函数对于正样本与负样本的导数的绝对值相等，即正样本点与负样本点对损失函数值的影响相同，因此，损失函数的值仅能通过增大正样本值，减小负样本值来减小，保证了学习目标的唯一性，满足正样本点的配准评分大于负样本点的配准评分的目的，从而提升配准的准确率。
[0128]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0129]
本发明实施例是参照根据本发明实施例的方法、装置、电子设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0130]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0131]
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0132]
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0133]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0134]
以上对本发明所提供的一种基于正负损失函数的sar图像与光学图像的配准方法、装置、设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。