基于深度学习的可解释性SAR图像目标检测方法及系统与流程

基于深度学习的可解释性sar图像目标检测方法及系统
技术领域
1.本发明涉及合成孔径雷达(synthetic aperture radar,sar)图像的目标检测技术，具体涉及一种基于深度学习的可解释性sar图像目标检测方法及系统。


背景技术：

2.合成孔径雷达(synthetic aperture radar,sar)可以提供对地球上各种物体的连续观测，已经在大量的目标检测中得到广泛研究。随着获得的sar图像分辨率的提升，使得sar图像的数据量的增加，二，复杂背景的干扰和破碎的图像特征使得sar图像目标检测更具挑战性。在各种sar图像分析方法中，机器学习方法由于其对大量sar图像的高精度和自动处理而引起了相当大的兴趣。深度神经网络(deep neural network,dnn)是一种受大脑系统结构和功能启发的先进机器学习方法，在遥感图像的目标检测中得到广泛应用。
3.然而，大多数dnn都因其黑盒特性而受到批评，而且这种黑盒与注意机制和数据增强技术等高级深度学习方法一起使用，使这种黑盒变得更加难以探索。大多数情况下，仅是高精度不足以评估给定dnn的性能，用户可以在多大程度上理解dnn的功能就变得同等甚至重要。因此，这些可解释人工智能(explainable artificial intelligence,xai)的方法开始揭示哪些特征或神经元是重要的，在图像分析的哪个阶段它们是重要的。xai可以提供对dnn内部功能的洞察力，以提高对dnn应用的可理解性、透明度、可追溯性、因果关系和信任度。尽管如此，xai尚未在sar图像目标检测中开展dnn的应用和研究。


技术实现要素：

4.本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于深度学习的可解释性sar图像目标检测方法及系统，本发明采用了混合全局归因映射hgam这一可解释的人工智能(explainable artificial intelligence,xai)对各个保存最优权重模型后的骨干网络进行分析，可实现对骨干网络的性能评估，从而获得最优的骨干网络，以提升对深度学习神经网络内部功能的洞察力，提升深度学习神经网络的检测准确度。
5.为了解决上述技术问题，本发明采用的技术方案为：
6.一种基于深度学习的可解释性sar图像目标检测方法，包括为用于对输入的sar图像获得对应的目标检测结果的深度学习神经网络选取骨干网络的步骤：
7.1)采用sar图像数据集对不同的骨干网络进行训练并保存最优权重模型；
8.2)利用混合全局归因映射hgam对各个保存最优权重模型后的骨干网络进行分析，并选择最优的骨干网络作为深度学习神经网络的骨干网络。
9.可选地，所述骨干网络为多个阶段的特征提取模块和下采样模块堆叠组成，且由最后三个阶段的特征提取模块输出的特征图作为骨干网络的输出。
10.可选地，步骤2)包括：
11.2.1)针对sar图像数据集中的sar图像，基于各个保存最优权重模型后的骨干网络输出的特征图构成的四维张量x采用积分梯度方法生成局部观测归因，所述局部观测归因
包括正归因pa和正归因比例pap；
12.2.2)采用全局归因映射gam的方法基于局部积分梯度ig的观测归因对各个骨干网络的检测性能进行全局分析，并选择最优的骨干网络作为深度学习神经网络的骨干网络。
13.可选地，步骤2.1)中采用积分梯度方法生成局部观测归因的步骤包括：
14.2.1.1)将四维张量x利用全局平均池化gap压缩特征图的空间维数；
15.2.1.2)利用卷积核数为3
×
(5 c)的1
×
1的卷积对压缩空间维数后的四维张量进行卷积操作，并利用行列变换操作生成大小为3
×
(5 c)的二维向量x1，并将其作为网络的最终输出向量；
16.2.1.3)将二维向量x1作为骨干网络f的最终输出向量，计算从四维张量x的基线图像移动到四维张量x对应的输入图像的总成本并通过计算输入图像的四维张量x到四维张量x对应的基线图像的路径上每个点的梯度值的总和，得到由所有点的梯度值的总和构成的四维局部观测张量attributions_ig；
17.2.1.4)将四维局部观测张量attributions_ig采用relu激活函数进行筛选获得正归因pa，并基于得到的四维局部观测张量attributions_ig将正归因pa进行归一化处理得到正归因比例pap。
18.可选地，步骤2.1.4)中基于到由所有点的梯度值的总和构成的四维局部观测张量attributions_ig将正归因pa进行归一化处理得到正归因比例pap的函数表达式为：
[0019][0020]
上式中，pa为正归因，min为最小值函数，max为最大值函数，attributions-ig为由输入图像到基线图像上的所有点的梯度值的总和构成的四维张量。
[0021]
可选地，步骤2.2)包括：
[0022]
2.2.1)针对每一个骨干网络，将其每一个局部观测归因中的正归因pa和正归因比例pap计算平均值，然后将所有局部观测归因对应的平均值构建加权归因向量θw，根据下式归一化为标准百分比形式的标准化归因并进行联合排序；
[0023][0024]
上式中，normalize(θw)表示加权归因向量θw的归一化得到的标准化归因，表示归因向量θw中任意第i个特征的权重，o是哈达玛积；
[0025]
2.2.2)将k-medoid和加权斯皮尔曼等级相关系数平方秩距离相结合去分组相似的标准化归因，得到k个标准化归因的聚类；
[0026]
2.2.3)将k个标准化归因聚类作为全局归因映射gam的全局解释，每个全局归因映射gam的全局解释都产生了一个位于聚类中最集中的特征重要性向量，该特征重要性向量包含了每一个骨干网络在该聚类中的正归因pa的排名和正归因比例pap的排名，且根据k个标准化归因聚类的大小作为对应全局解释的解释力来对每个全局解释进行排序；
[0027]
2.2.4)根据下式计算每一个骨干网络的全局正归因gpa全局正归因比例gpap：
[0028]
[0029][0030]
上式中，k表示标准化归因的聚类数，n为骨干网络的样本总数，ni表示第i个聚类中的样本数量，rank(pa)i和rank(pap)i分别是第i个聚类中正归因pa和正归因比例pap的排名值。
[0031]
2.2.5)选择全局正归因gpa和全局正归因比例gpap最优的骨干网络作为深度学习神经网络的骨干网络。
[0032]
可选地，所述深度学习神经网络包括：骨干网络，用于将输入的sar图提取目标特征得到具有不同的分辨率和感受野的多个特征图；融合模块panet，用于将骨干网输出的具有不同的分辨率和感受野的三个特征图进行相互融合，得到数量相同的融合后的增强特征图；可视化检测头，用于针对三个融合后的增强特征图进行多尺度的目标检测得到目标检测结果以及可视化结果。
[0033]
可选地，所述可视化检测头采用yolov3 head对每一个融合后的特征图进行对应尺度的目标检测得到目标检测结果，且所述yolov3 head在每个1
×
1网格下生成的三组边界框的信息被编码到相应的3
×
(5 c)向量中，且目标检测结果的每个边界框包含1个置信分数、4个坐标、c个条件类别概率值pr，所述4个坐标包括边界框中心坐标x，y、宽度w和高度h；且所述可视化检测头还包括计算条件类别概率值pr和每个边界框的置信分数的乘积得到类别特定置信分数ccs，将类别特定置信分数ccs生成热图并上采样到输入的sar图像大小，并乘以原始输入图像得到掩模图像，将掩模图像再次输入yolov3 head得到增强后的热图，并作为可视化输出结果输出。
[0034]
此外，本发明还提供一种基于深度学习的可解释性sar图像目标检测系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述基于深度学习的可解释性sar图像目标检测方法的步骤。
[0035]
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述基于深度学习的可解释性sar图像目标检测方法的计算机程序。
[0036]
和现有技术相比，本发明具有下述优点：本发明包括为用于对输入的sar图像获得对应的目标检测结果的深度学习神经网络选取骨干网络的步骤：采用sar图像数据集对不同的骨干网络进行训练并保存最优权重模型；利用混合全局归因映射hgam对各个保存最优权重模型后的骨干网络进行分析，并选择最优的骨干网络作为深度学习神经网络的骨干网络。本发明采用了混合全局归因映射hgam这一可解释的人工智能对各个保存最优权重模型后的骨干网络进行分析，可实现对骨干网络的性能评估，从而获得最优的骨干网络，以提升对深度学习神经网络内部功能的洞察力，提升深度学习神经网络的检测准确度。
附图说明
[0037]
图1为本发明实施例方法的基本流程示意图。
[0038]
图2为本发明实施例方法的总体架构示意图。
[0039]
图3为本发明实施例中选取骨干网络的网络结构原理图。
[0040]
图4为本发明实施例中检测过程可视化的原理图。
[0041]
图5为本发明实施例中骨干网络阶段3～5的积分梯度(ig)绝对归因的可视化结
果。
[0042]
图6为本发明实施例中基于积分梯度(ig)的全局正归因的分析。
[0043]
图7为本发明实施例中基于积分梯度(ig)的全局正归因比例的分析。
[0044]
图8为本发明实施例中场景ⅰ的可视化热图结果和输入标签图像。
[0045]
图9为本发明实施例中场景ⅱ的可视化热图结果和输入标签图像。
具体实施方式
[0046]
虽然dnn已被证明在飞机自动检测中是成功的，但其黑盒行为阻碍了dnn在sar图像分析中的可理解性和更广泛的应用。因此，不仅需要利用dnn来了解其特征提取和决策的过程，还需要获得更多关于dnn设计和开发的骨干网络选择的理解。在地理空间图像分析中，原始的xai工作很少，且尚未扩展到包括飞机在内的目标检测。目前xai技术都用于分类研究，而不是目标检测。当使用xai进行包括飞机在内的目标检测时，存在下述挑战：(1)最重要的挑战来自于协调局部和全局xai技术以确定骨干网络的问题。局部xai专注于用给定的输入图像解释dnn中每一层的特征提取归因；而全局xai通常具有整体dnn模型的可理解性。我们不愿意选择一个具有良好目标检测性能但在特征提取方面性能较差的骨干网络，因此，考虑将局部和全局方法的集成作为混合xai方法来确定骨干网络是非常必要的。(2)另一个挑战在于定制了sar图像分析中的目标检测的xai技术，甚至大多数都是为分类而设计的。与分类任务不同的是，在目标检测中dnn被用于在输入图像中定位和分类(通常是多个目标)。因此，我们需要解释该目标的检测结果及其位置信息。目前，如何结合目标的内部分类结果和位置信息成为xai研究中一个有趣的课题。(3)检测头(检测网络)的特征提取性能是难以理解的，我们仍然缺乏一个有效的度量来描述这种特征提取的归因。检测头的性能在目标检测中起着关键作用，对最终的目标检测结果有很大的贡献。因此，我们需要理解他们的行为，视觉解释就变得很有吸引力。为了解决这些研究挑战，本发明结合了局部和全局的xai方法，提出了一种基于深度学习的可解释性sar图像目标检测方法及系统，专门用于解释sar图像分析中的目标检测。同时，我们还提出了自己的可视化方法来描述检测头对最终目标检测结果的归因。下文将以飞机作为sar图像目标检测的对象为例，对本发明基于深度学习的可解释性sar图像目标检测方法及系统进行进一步的详细说明。
[0047]
如图1所示，本实施例基于深度学习的可解释性sar图像目标检测方法，包括为用于对输入的sar图像获得对应的目标检测结果的深度学习神经网络选取骨干网络的步骤：
[0048]
1)采用sar图像数据集对不同的骨干网络进行训练并保存最优权重模型；
[0049]
2)利用混合全局归因映射hgam(hybrid global attribution mapping)对各个保存最优权重模型后的骨干网络进行分析，并选择最优的骨干网络作为深度学习神经网络的骨干网络。
[0050]
需要说明的是，对输入的sar图像获得对应的目标检测结果的深度学习神经网络是目前进行目标检测的常规方法，而骨干网络也叫特征提取骨干网络、主干网络、或特征提取主干网络，其用途是实现对输入的sar图像的特征提取，选择具有较强特征提取能力的骨干网络在目标检测和分类领域起着重要作用。
[0051]
本实施例中步骤1)中采用sar图像数据集对不同的骨干网络进行训练时，所采用的数据集为包含gaofen-3系统成像的1m分辨率的sar飞机影像数据。
[0052]
如图2所示，本实施例中骨干网络为多个阶段(本实施例中具体为阶段1～阶段5一共五个阶段，数量可根据需要选择)的特征提取模块和下采样模块(图中省略未绘出)堆叠组成，不同层次特征图的语义信息和空间细节的有效整合，有助于提高网络检测精度。作为一种可选的实施方式，本实施例中选择最后三个阶段(阶段3～阶段5)的特征提取模块输出的特征图作为骨干网络的输出。
[0053]
本实施例中，步骤2)中的混合全局归因映射hgam(hybrid global attribution mapping)由积分梯度(integrated gradients,ig)和全局归因映射(global attribution mapping,gam)融合而成。具体地，基于上述积分梯度和全局归因映射的融合，步骤2)包括：
[0054]
2.1)针对sar图像数据集中的sar图像，基于各个保存最优权重模型后的骨干网络输出的特征图构成的四维张量x采用积分梯度方法生成局部观测归因，局部观测归因包括正归因pa和正归因比例pap；
[0055]
2.2)采用全局归因映射gam的方法基于局部积分梯度ig的观测归因对各个骨干网络的检测性能进行全局分析，并选择最优的骨干网络作为深度学习神经网络的骨干网络。
[0056]
由主干网络输出的特征图可以用一个四维张量x来表示，如图3所示。全局平均池化(global average pooling，gap)可以有效地保存空间信息和目标位置信息，同时减少网络的参数数量和浮点型计算量(floating point of operations，flops)。因此，利用gap来压缩从主干网络输出的特征图的空间维数。然后，利用1
×
1的卷积(卷积核数为3
×
(5 c)，并利用行列变换操作(reshape)生成大小为3
×
(5 c)的二维向量x1。在这里，二维向量x1对应于深度学习神经网络的检测网络中预测特征图的1
×
1网格下的三个预测框的信息，它对每个预测框的位置坐标、目标置信度得分和条件类别概率分数进行编码。以最大类别得分框作为目标的最终检测结果，采用ig方法生成局部观察归因(包括正归因和负归因)，帮助我们了解输入特征中的每个成分对最终类别预测的重要性。积分梯度(ig)考虑了从输入图像x到基线图像的路径上每个点的梯度值，有效地克服了朴素梯度方法存在的梯度饱和问题。
[0057]
如图3所示，本实施例步骤2.1)中采用积分梯度方法生成局部观测归因的步骤包括：
[0058]
2.1.1)将四维张量x利用全局平均池化gap压缩特征图的空间维数；
[0059]
2.1.2)利用卷积核数为3
×
(5 c)的1
×
1的卷积对压缩空间维数后的四维张量进行卷积操作，并利用行列变换操作生成大小为3
×
(5 c)的二维向量x1，并将其作为网络的最终输出向量；
[0060]
2.1.3)将二维向量x1作为骨干网络f的最终输出向量，计算从四维张量x的基线图像移动到四维张量x对应的输入图像的总成本并通过计算输入图像的四维张量x到四维张量x对应的基线图像的路径上每个点的梯度值的总和，得到由所有点的梯度值的总和构成的四维局部观测张量attributions_ig；
[0061]
2.1.4)将四维局部观测张量attributions_ig采用relu激活函数进行筛选获得正归因pa，并基于得到的四维局部观测张量attributions_ig将正归因pa进行归一化处理得到正归因比例pap。
[0062]
本实施例中，步骤2.1.3)中总成本的计算函数表达式为：
[0063][0064]
其中，这是一个连接原始图像x及其基线图像的参数曲线，α为权重参数。τ(0)和τ(1)分别表示原始图像和基线图像。因此有：
[0065][0066]
上式中，表示输入特征x的第i个分量的重要性，表示梯度算子，进而，表示f(τ(α))在τ(α)处的梯度，τ
′
(α)表示τ(α)对α的导数。
[0067]
本实施例中，选择与输入图像相同大小的黑色图像(例如所有像素值均为零)作为基线，以获得网络输出的局部观测归因，步骤2.1.4)中将四维局部观测张量attributions_ig采用relu激活函数进行筛选获得正归因pa的函数表达式为：
[0068]
pa＝relu(attributions_ig)，
[0069]
上式中，pa为正归因，relu为relu激活函数(用于筛选阳性归因)，attributions_ig为由输入图像到基线图像上的所有点的梯度值的总和构成的四维局部观测张量。
[0070]
步骤2.1.4)中基于到由所有点的梯度值的总和构成的四维局部观测张量attributions_ig将正归因pa进行归一化处理得到正归因比例pap的函数表达式为：
[0071][0072]
上式中，pa为正归因，min为最小值函数，max为最大值函数，attributions_ig为由输入图像到基线图像上所有点的梯度值的总和构成的四维张量，用于表示最终输出的局部观测归因。
[0073]
在获得骨干网络最后三个阶段单个输入样本的pa和pap平均值后，注入合理数量的测试样本(本实施例中启发式选择200个飞机测试样本)，然后即可采用全局归因映射gam的方法基于局部观测归因对各个骨干网络的检测性能进行全局分析。
[0074]
本实施例中，步骤2.2)包括：
[0075]
2.2.1)针对每一个骨干网络，将其每一个局部观测归因中的正归因pa和正归因比例pap计算平均值，然后将所有局部观测归因对应的平均值构建加权归因向量θw，根据下式归一化为标准百分比形式的标准化归因并进行联合排序；
[0076][0077]
上式中，normalize(θw)表示加权归因向量θw的归一化得到的标准化归因，表示归因向量θw中任意第i个特征的权重，o是哈达玛积(hadamard product)；由于归因中的每个归因向量(由每个骨干网络输出的pa或pap输出的平均值组成)代表了四个网络中的输入样本特征对最终预测的重要性。因此，这些归因是联合的排名。此外，为了消除原始输入样本中大小差异的影响，将归因归一化为标准的百分比。
[0078]
2.2.2)将k-medoid和加权斯皮尔曼等级相关系数平方秩距离相结合去分组相似的标准化归因，得到k个标准化归因的聚类；
[0079]
2.2.3)将k个标准化归因聚类作为全局归因映射gam的全局解释，每个全局归因映射gam的全局解释都产生了一个位于聚类中最集中的特征重要性向量，该特征重要性向量包含了每一个骨干网络在该聚类中的正归因pa的排名和正归因比例pap的排名，且根据k个标准化归因聚类的大小作为对应全局解释的解释力来对每个全局解释进行排序；
[0080]
2.2.4)根据下式计算每一个骨干网络的全局正归因gpa全局正归因比例gpap：
[0081][0082][0083]
上式中，k表示标准化归因的聚类数，n为骨干网络的样本总数，ni表示第i个聚类中的样本数量，rank(pa)i和rank(pap)i分别是第i个聚类中正归因pa和正归因比例pap的排名值。
[0084]
2.2.5)选择全局正归因gpa和全局正归因比例gpap最优的骨干网络作为深度学习神经网络的骨干网络。
[0085]
受聚类思想的启发，将相似的归因数据进行分组，获得最集中的特征重要性向量，形成k个聚类。k是一个超级参数。k的值表示获得的解释簇的数量，可以调整以控制全局归因的解释细度。在分组过程中，有必要度量局部归因之间的相似性来实现归因分组。在考虑时间复杂度的基础上，本实施例中选择了加权斯皮尔曼等级相关系数平方秩距离(weighted spearman
′
s rho squared rank distances)，如下式所示：
[0086][0087]
上式中，speardist(rσ，rμ)表示加权斯皮尔曼等级相关系数平方秩距离，μ和σ代表两个标准化的归因向量，rμ(i)和rσ(i)分别表示归因向量μ和σ中特征i的排名，μw(i)和σw(i)表示相应排名rμ(i)和rσ(i)中特征i的权重。通过对归因特征的重要性进行加权联合排序，得到了全局解释。在对相似的归一化归因进行分组后，得到k个聚类作为全局归因映射gam的方法的全局解释。每个gam的全局解释都产生了一个位于聚类中最集中的特征重要性向量。此外，每个全局解释的解释能力可以根据相应集群的大小来衡量。与k-means等其他聚类方法不同，全局归因映射gam的方法在聚类过程中同时考虑了秩中编码的归属值和权重(称为加权联合排名)，这是全局归因映射gam的方法的独特优势。
[0088]
如图2所示，本实施例中的深度学习神经网络包括：
[0089]
骨干网络，用于将输入的sar图提取目标特征得到具有不同的分辨率和感受野的多个特征图；
[0090]
融合模块panet，用于将骨干网输出的具有不同的分辨率和感受野的三个特征图进行相互融合，得到数量相同的融合后的增强特征图；
[0091]
可视化检测头，用于针对融合后的三个特征图进行多尺度的目标检测得到目标检测结果以及可视化结果。
[0092]
骨干网络即为前文得到的最优骨干网络。
[0093]
融合模块panet用于将骨干网输出的具有不同的分辨率和感受野的三个特征图进行相互融合以丰富特征的表达。参见图2，融合模块panet包含两个分支。在一个分支中，将高级特征图所携带的丰富语义信息逐步注入到低级特征图中，以提高前景与背景的辨别能
力。在另一个分支中，包含大量有利于目标定位的空间细节信息的底层特征图逐渐传输到高层特征图中。通过融合模块panet进行特征增强后，将三个不同分辨率的预测特征图(p1，p2，p3)输入可视化检测头进行多尺度预测，以提高网络捕获不同尺度目标的能力。
[0094]
可视化检测头的功能一方面包括进行多尺度检测，然后生成标记边界框形式的检测结果。另一方面，为了更全面地了解网络的检测归因，本实施例提出了类特定置信得分映射(class-specific confidence scores mapping，ccsm)，对检测头输出的预测特征图进行可视化，以帮助理解网络的检测归因。参见图2和图4，本实施例中可视化检测头采用yolov3 head对三个特征图进行对应尺度的目标检测得到目标检测结果，且yolov3 head在每个1
×
1网格下生成的三组边界框的信息被编码到相应的3
×
(5 c)向量中，且目标检测结果的每个边界框包含1个置信分数、4个坐标、c个条件类别概率值pr(可表示为pr(class|object)，其中class为类别，object为对象)，所述4个坐标包括中心坐标x，y、宽度w和高度h；且所述可视化检测头还包括计算条件类别概率值pr和每个边界框的置信分数的乘积得到类别特定置信分数(category-specific confidence score，ccs)，将类别特定置信分数ccs生成热图并上采样到输入的sar图像大小，并乘以原始输入图像得到掩模图像，将掩模图像再次输入yolov3head得到增强后的热图，并作为可视化输出结果输出，以更好地描述目标类别信息和定位坐标的准确性。
[0095]
在分类领域，cam(类激活映射)能够可视化输入图像上的特定预测类别分数，突出显示dnn学习的目标的判别部分。为了更直观地理解网络的检测结果，本实施例中提出了针对类特定置信评分映射(ccsm)方法将类别特定置信分数ccs生成热图，将检测头输出的类特定置信得分(ccs)值进行可视化，以了解网络的最终检测归因。受score-cam的启发，将ccsm生成的热图上采样到输入图像的大小，并乘以原始输入图像，得到掩模图像，形成一个反馈分支。此时，掩模图像主要保留所得热图中的关键信息，并过滤掉原始图像中冗余背景信息的干扰。然后，再次输入网络进行预测，通过二次校正得到增强的热图。本实施例中，将类别特定置信分数ccs生成热图的步骤包括：
[0096]
s1)指定要进行可视化的类别和置信度分数。对于每个预测的特征映射的每个网格，将生成三个边界框的信息。因此，有必要以单个特征图下生成的预测框的最大类别得分layer_classes和最大置信度得分layer_scores作为最终的可视化得分。
[0097]
s2)归一化。在获得每个特征图上指定的最大类别得分layer_classes和最大置信度得分layer_scores后，根据下式将各个预测框归一化到相同的范围，这有利于在三个不同大小的独立特征图上生成的后续热图的叠加显示。
[0098][0099][0100]
上式中，norm表示归一化函数，min为最小值函数，max为最大值函数。
[0101]
s3)为单个预测特征图生成热图。以预测框的最大类别得分layer_classes和最大置信度得分layer_scores的乘积作为可视化因子，并归一化生成热图。
[0102]
s4)可视化最终检测结果中的关键区域。在获得在三个预测特征图上生成的热图后，将热图向上采样到原始输入图像的大小。一方面，热图可以与原始输入图像相结合，逐
层地可视化预测结果。另一方面，将三个热图(对应于三个不同尺度上的预测特征图)与原始输入图像集成，以可视化网络的最终输出。
[0103]
下文将进一步通过实验对本实施例基于深度学习的可解释性sar图像目标检测方法进行验证。
[0104]
1、实验环境及数据。
[0105]
实验环境为：unbuntu18.04、pytorch1.5、python3.8和单个具有11gb内存的nvidia rtx2080ti gpu。实验数据采用15幅1m分辨率的gaofen-3系统的大尺度sar图像，都包括了机场目标。在飞机被sar专家手动标记和确认后，这些sar图像被自动分割成512
×
512像素的样本。共获得899个样本，然后为独立的测试集随机保留200个样本。对于剩余的样本，我们结合了旋转、平移(宽度和高度方向)、翻转和镜像的方法来增强数据，并获得了3495个飞机数据样本。训练集与验证集的比率为4:1。
[0106]
2、评价指标。
[0107]
2.1、骨干网络的评价指标：本实施例采用两种有效的指标来综合评价骨干网络的性能：全局正归因(global positive attribution,gpa)和全局正归因比例(global positive attribution proportion,gpap)。单个样本的正归因(pa)值越大，网络的目标特征提取能力就越强。然而，较大的正归因并不能表达网络预测的良好效果。因此，我们进一步提出了pap(正归因比例)来衡量网络提取目标特征的鲁棒性。gpa和gpap是通过结合基于多个样本的pa和pap的全局信息来评估的全局指标，其函数表达式在前文已有记载。
[0108]
2.2、可视化检测头的评价指标：
[0109]
本实施例中，针对可视化检测头采用两个评价指标来评价检测头性能：总体框平均响应(overall box average response,obar)和相对辨识度(relative discrimination,rd)。obar用于评估网络对目标区域的平均响应性。rd用于测量网络的关注重要目标区域的相对响应性。其计算函数表达式如下：
[0110][0111]
上式中，n表示输入图像上飞机标记框的数量，bar(i)表示第i个标记框中的平均响应值。gar是在整个热图上的全局平均响应。
[0112]
3、骨干网络选择的实验。
[0113]
具有超特征表达能力的骨干网络是保持目标检测性能的重要基石。同时，网络的复杂性和效率也是重要的考虑因素。因为参数小的轻量级网络有利于工程部署，解决实际问题，具有良好的实用价值。因此，我们比较了三个轻量级骨干网络和一个具有中等参数量的骨干网络：shufflenet v2(shufflenet v2
×
1.0version)、mobilenet v3(mobilenet v3-small
×
1.0 version)、yolov5s(yolov5-small version)和残差网络resnet-50。
[0114]
图5给出了阶段3～5中四个骨干网络的绝对归因的可视化结果，其中(a1)-(c1)、(a2)-(c2)、(a3)-(c3)和(a4)-(c4)分别代表shufflenet v2、mobilenet v3、resnet-50和yolov5s在阶段3、阶段4和阶段5基于ig的绝对归因可视化结果。在包含飞机的输入单个样本中，归因由ig计算。三个阶段shufflenet v2(图5中的(a1)、(b1)、(c1))的归因值较低，飞机特征的视觉意义较差，说明shufflenet v2网络的特征提取能力较弱。相比之下，mobilenet v3的绝对归因图(图5中的(a2)、(b2)和(c2))中飞机比shufflenet v2具有更清
晰更好的视觉效果。对于resnet-50，在图5中的(a3)和(b3)中仍然可以很好地保留总体飞机信息。在图5中的(c3)中，resnet-50的响应值较大，主要集中在背景区域，飞机的散射特性的比例相对较低。因此，飞机的散射特征信息被淹没，不利于飞机的探测。对于yolov5s，阶段3(图5中的(a1)所示)和阶段4(图5中的(b1)所示)的绝对归因值达到了较高的响应值。随着网络的深入，所获得的语义信息越来越丰富，背景噪声的影响也越来越小。在阶段5(如图5中的(c1)所示)，飞机的特征仍然具有较大的响应值和良好的视觉效果。从这组实验中可以看出，yolov5s在该飞机样本上的检测性能具有优势。
[0115]
单个示例并不足以反映每个网络的整体性能评估。因此，gam算法用独立测试样本为200个(包括军用飞机和民用飞机)来评估每个网络的全局性能。在实验中，选择k＝2生成两个可解释性簇(聚类)。图6和图7分别显示了最后3个阶段4个网络的全局正归因排名和全局正归因比例排名。
[0116]
图6为基于积分梯度(ig)的全局正归因的分析，其中(a1)-(b1)、(a2)-(b2)、(a3)-(a3)分别代表四个骨干网络在阶段3、阶段4和阶段5的正归因分布。对于正归因的全局排名，在阶段3(图6中的(a1)-(b1))和阶段4(图6中的(a2)-(b2)所示)，resnet-50和yolov5s都具有较大的全局正归因排名，分别排名第一和第二。shufflenet v2和mobilenet v3的排名较低。在阶段5(图6中的(a3)-(b3)所示)，resnet-50在167个测试样本中的重要性排名最高(占测试样本总数的83.5％)，如图6中的(a3)所示。然而，resnet-50在其余33个测试样本中的重要性最低(占总测试样本的16.5％)，仅占4个网络排名的1％，如图6中的(b3)所示。同时，yolov5s在两个聚类中实现的检测归因最平衡。在聚类1(由167个测试样本组成)中，yolov5s占30％，紧随resnet-50之后，位居第二。在聚类2(由剩下的33个测试样本组成)中，yolov5s占52％，获得了最大的正归因优势。一般来说，yolov5s的骨干网络在阶段3、阶段4和阶段5的正归因排名最平衡。因此，yolov5s网络具有良好的特征提取能力，非常适合于构建飞机检测网络。
[0117]
图7为基于ig的全局正归因比例的分析，其中(a1)-(b1)、(a2)-(b2)、(a3)-(b3)分别代表4个骨干网络在阶段3、阶段4和阶段5中的正归因比例分布。对于正归因比例的全局排名，无论是单阶段两个聚类的水平比较还是各个阶段的垂直比较，直观地看，每个网络的全局正归因比例差异不大，如图7所示。为了更直观地理解每个阶段的归因贡献，表1显示了四种骨干网络最后三个阶段中的全局正归因(global positive attribution,gpa)和全局正归因比例的指标值。在全局正归因(gpa)方面，resnet-50在四个网络中最高，它的平均值为48.98。yolov5s是第二个，平均gpa为26.67％。mobilenet v3和shufflenet v2的平均gpa较小，分别为13.72％和10.63％。结果表明，mobilenet v3和shufflenet v2对飞机检测中的特征提取贡献较弱。在gpap方面，4个骨干网络的最后3个阶段只有微小的差异。在每个网络的平均gpap值中，最大值和最小值之间的差值不超过1.2％。在gpap值相似的情况下，gpa越大，骨干网络提取飞机有效和稳健特征的能力就越好。总的来说，resnet-50的gpa和gpap值最高，其次是yolov5s。结果表明，与mobilenet v3和shufflenet v2相比，resnet-50和yolov5s的骨干网络可以提取出更具代表性和鲁棒性的飞机特征。
[0118]
表1：四个网络在最后三个阶段的gpa和gpap指标的比较。
[0119][0120][0121]
4、可视化检测头的可视化。
[0122]
本实施例对大型民用飞机(场景ⅰ)和小型飞机(场景ⅱ)的检测结果进行了可视化分析，更有利于了解网络对多尺度目标的检测性能。
[0123]
场景ⅰ：图8显示了融合三个检测分支的预测特征图后的热图的可视化结果，具体为场景ⅰ的可视化热图结果和输入标签图像，(a)是中国虹桥机场ⅰ的真实场景，飞机目标用红框进行了标记。(b-d)分别是mobilenet v3、shufflenet v2、resnet-50和yolov5s输出的热图。图8中的(a)是来自gaofen-3系统的中国虹桥机场的局部sar图像。可以看到，机场有四架大型民用飞机(用红色框标记)。飞机特征是离散的，而且一些飞机的机翼成像较弱。由于机身的整体形状相对明显，由四个网络生成的热图可以更多地关注飞机所在的区域。mobilenet v3(如图8中的(b)所示)和resnet-50(如图8中的(d)所示)在图像的边缘区域具有较高的响应。相比之下，shufflenet v2(如图8中的(b)所示)和yolov5s(图8中的(e)所示)网络在背景区域具有良好的视觉效果，主要分布在较低的对应颜色区域，像素值在50-150之间。
[0124]
表2显示了相对辨识度和总体框平均响应的值，用于全面评估网络，并衡量重要目标区域的焦点程度。对于resnet-50和mobilenet v3，它们的总体框平均响应(overall box average response,obar)值更高，但相对辨识度(relative discrimination,rd)的值低于
shufflenet v2和yolov5s。结果表明，该网络在飞机区域和背景区域中都具有较高的像素响应值，因此对有效飞机特征的识别能力相对较弱。shufflenet v2在四种网络中obar和rd最低，说明shufflenet v2在飞机检测方面较弱。虽然yolov5的obar低于resnet-50和mobilenet v3，但值得注意的是，yolov5的obar值明显高于其余3个骨干网络，这表明yolov5有很好的区分飞机和背景的能力。
[0125]
表2：四个骨干网络的可视化热图性能分析。
[0126]
网络总体框平均响应(obar)相对辨识度(rd)shufflenet v21275.98mobilenet v31555.66resnet-501605.83yolov5s1286.54
[0127]
场景ⅱ：图9显示了来自gaofen-3系统成像的中国首都机场的局部sar图像和4个骨干网络的输出热图，具体为场景ⅱ的可视化热图和输入标签图像。(a)是中国首都机场ⅱ的真实场景，飞机目标用红框进行了标记。(b-d)分别是mobilenet v3、shufflenet v2、resnet-50和yolov5s输出的热图。这里的飞机的大小比场景1中的要小得多，但飞机的散射特性较为明显。从图9中的(b)、(c)、(d)和(e)中可以看出，这4个网络可以有效地捕捉飞机的特性。yolov5s具有最好的视觉效果，并且比其他三个网络覆盖更少的背景噪声。同时，yolov5s在飞机机身上的像素响应值较高，总体聚集性较好。它没有太关注飞机周围的背景信息。因此可以说，yolov5s网络可以更好地关注该样本上飞机的有效特性，并具有良好的抗干扰能力。shufflenet v2和mobilenet v3的背景杂波有一些显著的影响。特别是resnet-50网络的背景区域响应值(如图9中的(d)所示)是四个网络中最大的，这反映了resnet-50在最终预测结果中背景信息的具有较高影响，更有可能出现虚警问题。
[0128]
表3给出了来自4个骨干网络的可视化热图的性能分析。
[0129]
表3：四个网络的视觉热图的性能分析。
[0130][0131]
根据表3可知，所有这4种网络都达到了一个较大的obar值。在相对鉴别度(rd)方面，yolov5比shufflenet v2、mobilenet v3和resnet-50具有显著优势，rd值为14.24。其中，resnet-50网络的rd最低，值为10.21，再次表明背景杂波的影响很大，需要进一步加强resnet-50网络的鲁棒性，以获得更好的飞机探测性能。
[0132]
为了更客观地了解每个骨干网络的检测性能，表4显示了精度(precision)、召回率(recall)和平均精度(map)的指标比较。整个实验采用控制单变量的原理，只有骨干网络的选择不同。在4个骨干网络中使用了相同的panet融合模块、yolov3 head和超级参数设
置。所有的网络都在同一数据集上进行训练，并在测试集中记录这些指标。可以看出，yolov5s和resnet-50在召回率和map方面的结果非常相似。但yolov5s的精度比resnet-50高出2.38％。这表明yolov5s网络的鲁棒性优于resnet-50。mobilenet v3各项指标均次于resnet-50和yolov5s，排名第三，其精度、召回率和map分别为86.82％、92.14％和90.33％。相比之下，shufflenet v2的精度、召回率和map值都为最低值，其中map仅为88.06％。由此可知，yolov5s和resnet-50比shufflenet v2和mobilenet v3具有更好的飞机探测性能。这与利用ig和gam方法对骨干网络进行选择的结论一致，验证了本文提出的骨干网络选择方法的有效性和可行性。
[0133]
表4：四个主干检测网络的性能比较。
[0134][0135]
综上所述，如今在目标检测研究中，选择合适的骨干网络与优化技术(如超参数调优)一样重要。随着网络变得越来越复杂，网络的黑箱行为会被更频繁地注意到，这通常会阻碍研究人员理解网络的归因。为了提高检测算法的透明度，实施例中提出了一种基于yolo的sar图像飞机检测的创新型xai框架。由于飞机的散射图像特征、飞机尺寸的差异性以及复杂背景的干扰，从sar图像中进行飞机检测是一项非常具有挑战性的任务。因此，选择一个具有优秀特征提取能力的骨干网络尤其重要，特别是对于飞机检测而言。本实施例提出了hgam来选择最适合将飞机从sar图像中进行特征提取的骨干网络。从表1可知，resnet-50和yolov5s网络的gpa和gpap值均远高于shufflenet v2和mobilenet v3网络，显示了resnet-50和yolov5s网络在提取飞机有效特征方面更具优势。从图6可以看出，yolov5s在这3个阶段的全局正归因排名都相对稳定，排名较高。特别地，在阶段5的聚类2(如图6中的(b3)所示)中，yolov5s获得了最高的归因排名值52％，具有很大的优势，而resnet-50只占全局正归因排名的1％。这意味着在某些样本上，resnet-50的顶层模块(stage 5)的输出能力和可靠性都低于yolov5s。此外，结合本实施例提出的ccsm可视化方法的指标，如表2和表3所示，yolov5s具有良好的obar值，其rd在4个骨干网络中最高。这也表明，yolov5的背景信息对最终预测结果的影响最小，而且yolov5可以提取具有良好鲁棒性的飞机特征，在sar飞机检测方面具有优势。此外，表4也对此进行了验证。yolov5s不仅具有最高的飞机检测精度，而且在map和召回率方面也非常接近resnet-50，明显优于shufflenet v2和mobilenet v3。因此，本实施例提出的方法可以为给定输入数据集的特征提取的有效性提供可靠的解释和分析，并选择合适的骨干网络，这可以为其他学者在sar图
像分析中解释dnn提供重要参考。本实施例方法将hgam算法、panet和ccsm的指标结合到具有高性能和可理解性的深度卷积神经网络透明盒中，可为sar图像目标检测任务中选取骨干网络提供了解释信息，并提供了检测头鉴别性的可视化，这是基于sar图像的目标检测研究中的首个xai工作，它为未来探索xai铺平了道路，以提高对dnn使用的可理解性、透明度、可追溯性、因果关系和信任度。
[0136]
此外，本实施例还提供一种基于深度学习的可解释性sar图像目标检测系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述基于深度学习的可解释性sar图像目标检测方法的步骤。
[0137]
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述基于深度学习的可解释性sar图像目标检测方法的计算机程序。
[0138]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0139]
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。