一种背景与尺度感知的SAR舰船目标检测方法与流程

一种背景与尺度感知的sar舰船目标检测方法
技术领域
1.本技术涉及合成孔径雷达目标检测的技术领域，具体而言，涉及一种背景与尺度感知的sar舰船目标检测方法。


背景技术：

2.海面舰船目标检测在海洋监管、渔业管理、船只搜救、海洋军事等领域有着广泛应用。合成孔径雷达(sar，synthetic aperture radar)具有全天时、全天候和大幅宽的特性，使得其在复杂的环境下也能对广阔海域进行成像，是海洋监控和海洋情报提取的重要信息来源。随着星载sar和机载sar传感器越来越多，对海sar数据日益增加，急需一种快速实现sar舰船目标检测的智能算法。得益于高速并行计算硬件(gpu、tpu、dpu等)和深度学习算法的快速发展，实现快速高精度舰船检测算法成为可能。
3.然而，现有的sar图像舰船目标检测面临两个主要难点：
4.1)在海岸线、港口和岛礁附近对舰船进行检测时，陆地上的强散射物会形成强杂波，带来高虚警率。
5.2)中小渔船在海洋总船只数量中占比最大，而中小渔船尺寸较小，在sar图像中占据较少像素，而小尺寸目标在神经网络传输过程中，信息容易丢失，造成较高的漏检率。


技术实现要素：

6.本技术的目的在于：针对现有sar舰船目标检测方法在陆地上虚警率高，以及对小尺寸舰船目标漏检率高的难题，提供一种背景与尺度感知的sar舰船目标检测方法，该方法可以为基于sar的海洋监管和海洋态势信息获取提供核心技术支撑。
7.本技术的技术方案是：提供了一种背景与尺度感知的sar舰船目标检测方法，该方法适用于合成孔径雷达，方法包括：步骤1，根据预设空洞卷积扩张率和预设卷积核大小，组成多组并行的背景特征提取模块，任一组背景特征提取模块的输入端连接于金字塔型卷积神经网络的第一层卷积层，背景特征提取模块的输出端与金字塔卷积神经网络的输出端串接，以生成初始检测模型；步骤2，根据待识别舰船目标的边界框和锚定框，确定初始检测模型的尺度感知损失函数，并基于尺度感知损失函数与多尺度图像集，对初始检测模型进行迭代训练，确定训练好的检测模型；步骤3，利用训练好的检测模型，检测sar图像中的舰船。
8.上述任一项技术方案中，进一步地，步骤2中，根据待识别舰船目标的边界框和锚定框，确定初始检测模型的尺度感知损失函数，具体包括：步骤201，通过计算真值框与锚定框的重叠率确定正负样本；步骤202，对预测框参数和真值框参数进行参数转换；步骤203，根据待识别舰船目标在sar图像上的尺寸，计算目标在损失函数中的权重；步骤204，结合选择参数，确定尺度感知损失函数，其中，选择参数的取值由边界框与锚定框的重叠率确定。
9.上述任一项技术方案中，进一步地，选择参数包括第一选择参数和第二选择参数，选择参数取值的确定方法，具体包括：判断边界框与锚定框之间的重叠率是否为最大值，若是，将第一选择参数的取值设定为1，否则，将第一选择参数的取值设定为0；判断边界框与
锚定框之间的重叠率是否小于重叠阈值且第一选择参数的取值为1，若是，将第二选择参数的取值设定为1，否则，将第二选择参数的取值设定为0。
10.上述任一项技术方案中，进一步地，选择参数包括第一选择参数和第二选择参数，尺度感知损失函数的计算公式为：
[0011][0012][0013]
式中，l为尺度感知损失函数，i是锚定框的序号，m是锚定框的数量，j是sar图像中待识别舰船目标的序号，n是sar图像中待识别舰船目标的数量，为第一选择参数，为第二选择参数，σ()为坐标值转换函数，为第i个锚定框的x坐标，为第i个锚定框的y坐标，为第i个锚定框中经过坐标值转换的x坐标，为第i个锚定框中经过坐标值转换的y坐标，为第j个边界框中经过参数值转换的x轴坐标，为第j个边界框中经过参数值转换的y轴坐标，为第i个锚定框中的宽度参数，为第j个边界框中经过参数值转换的宽度参数，为第i个锚定框中的高度参数，为第j个边界框中经过参数值转换的高度参数，为第i个锚定框中的置信度参数，p
j
为第j个待识别舰船目标的权重。
[0014]
上述任一项技术方案中，进一步地，待识别舰船目标的权重的计算公式：
[0015][0016]
式中，p
j
为权重，w
j
为待识别舰船目标在sar图像上的宽度参数，h
j
为待识别舰船目标在sar图像上的高度参数，w为sar图像的宽度参数，h为sar图像的高度参数，j为待识别舰船目标的边界框的标号。
[0017]
上述任一项技术方案中，进一步地，多尺度图像集中包括多张图像尺寸一致的样本图像和尺寸参数集，尺寸参数集中设置有多个图像尺寸，步骤2中，基于尺度感知损失函数与多尺度图像集，对初始检测模型进行迭代训练，具体包括：步骤211，在每一次迭代训练中，随机在尺寸参数集中抽取任一图像尺寸，并根据抽取出的图像尺寸，在原始sar图像上
随机位置处按照抽取的图像尺寸进行裁剪，得到样本图像；步骤212，将裁剪后的样本图像缩放至预设图像尺寸；步骤213，根据预设的批大小(batch size)，迭代上述步骤，得到一批次训练图像；步骤214，基于尺度感知损失函数与一批次训练图像，采用迭代训练方法，对初始检测模型进行训练。
[0018]
上述任一项技术方案中，进一步地，初始检测模型中包含至少三个背景特征提取模块，每个背景特征提取模块由至少三路空洞卷积通道组成，每路空洞卷积通道包含卷积核大小为1
×
9和9
×
1的两个卷积层，至少三路空洞卷积通道的扩张率分别为1、5、9，至少三路空洞卷积的输出先相互串接后再与各自对应的金字塔型卷积神经网络卷积特征串接。
[0019]
本技术的有益效果是：
[0020]
本技术中的技术方案，设计了具有背景感知功能的检测模型，作为舰船检测网络模型，充分利用sar图像中的背景信息，有效降低了sar图像中舰船目标检测的虚警率，并提高了在sar图像中舰船目标检测的检测率，为基于sar图像的海洋监管和海洋态势信息获取提供核心技术支撑。
[0021]
在本技术的一个优选实现方式中，还根据不同的选择参数取值，设计了独特的尺度感知损失函数，使得检测模型在训练过程中能够更加关注小目标的检测，进而提升sar图像中小目标检测率；并采用了不同于常规的多尺度训练策略，在保证多尺度训练的同时，使每次输入检测网络的图像尺寸大小固定，保证每次迭代所需时间以及所需硬件资源保持一致，优化了sar图像的检测性能。
附图说明
[0022]
本技术的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0023]
图1是根据本技术的一个实施例的背景与尺度感知的sar舰船目标检测方法的示意流程图；
[0024]
图2是根据本技术的一个实施例的初始检测模型的示意框图；
[0025]
图3是根据本技术的一个实施例的多路并行的空洞卷积通道的示意图；
[0026]
图4是根据本技术的一个实施例的残差网络的示意框图；
[0027]
图5是根据本技术的一个实施例的样本图像裁剪、缩放的示意图。
具体实施方式
[0028]
为了能够更清楚地理解本技术的上述目的、特征和优点，下面结合附图和具体实施方式对本技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互结合。
[0029]
在下面的描述中，阐述了很多具体细节以便于充分理解本技术，但是，本技术还可以采用其他不同于在此描述的其他方式来实施，因此，本技术的保护范围并不受下面公开的具体实施例的限制。
[0030]
需要说明的是，sar舰船目标有如下特点：1)海岸线、港口、岛礁附近陆地上强散射物体很容易形成强干扰，造成大量虚假舰船检测结果；2)大量中小型渔船和货船在sar图像中尺寸较小，在神经网络传输过程中容易丢失信息，造成漏检。
[0031]
因此，为了降低虚警，本实施例中的检测方法，通过设置多路并行背景特征提取模块，每一路背景特征提取模块中设置有至少三路空洞卷积通道，以便提取sar图像中虚假目标背景特征，利用背景特征辅助剔除虚假目标，并重新定义了尺度感知损失函数，使模型在训练过程中更关注小目标，提升小目标检测率，进而提高sar图像中舰船目标检测的准确度，避免高虚警率。
[0032]
如图1所示，本实施例提供了一种背景与尺度感知的sar舰船目标检测方法，适用于合成孔径雷达，该方法包括：
[0033]
步骤1，根据预设空洞卷积扩张率和预设卷积核大小，组成多组并行的背景特征提取模块，任一组背景特征提取模块的输入端连接于金字塔型卷积神经网络的第一层卷积层，以便从第一层卷积层获取背景特征，背景特征提取模块的输出端与金字塔卷积神经网络的输出端串接，即背景特征提取模块的输出与金字塔卷积神经网络的卷积特征串接，进而生成初始检测模型；
[0034]
本实施例中，为了抑制陆地上的虚警目标，设置了多组背景特征提取模块，该模块由多路并行的空洞卷积通道串接组成，利用该模块提取卷积神经网络浅层卷积层中的背景特征，然后通过串接的方式，将多路并行空洞卷积通道提取出的背景特征与金字塔卷积神经网络输出的卷积特征进行串接融合，利用陆地和海面的背景信息辅助舰船虚警检测，达到降低虚警率的目的。
[0035]
本实施例中的卷积神经网络为金字塔型卷积神经网络，其结构为yolov3的网络结构，设定其在三个尺度上输出卷积特征，预测三种不同大小尺度的舰船目标。
[0036]
本实施例中的初始检测模型总共包含三组背景特征提取模块，三组模块的输出端分别与金字塔卷积神经网络(特征金字塔)的三路输出串接，如图2和图3所示。每个背景特征提取模块包含三路空洞卷积通道，每路空洞卷积通道包含卷积核尺寸为1
×
9和9
×
1的两个空洞卷积层，以便减少卷积计算量和模型参数量。
[0037]
三路空洞卷积通道采用的空洞卷积扩张率不同，分别为1、5、9，使它们有不同大小的感受野，最后将三路空洞卷积通道的输出串联，丰富卷积特征的表示能力。
[0038]
背景特征提取模块的输入为金字塔型卷积神经网络的第一层卷积层的输出，以金字塔型卷积神经网络中的浅层特征作为输入，保证了背景特征提取模块能提取出图像中的背景细节信息，再利用背景特征提取模块中的长卷积核和空洞卷积保证了提取的特征拥有足够的感受野。
[0039]
空洞卷积通道的参数包括(m1
×
n1，f1，s1，d1)，其中，m1
×
n1表示卷积核大小，f1为卷积核个数，s1为卷积步长，d1为空洞卷积扩张率。图2中从上至下的三个背景特征提取模块的卷积核个数f1分别为64、128和256，卷积步长s1分别为4、8和16。卷积步长的选择需要使背景特征提取模块输出的特征尺寸与对应的金字塔型卷积神经网络输出的特征尺寸大小相同，其他参数设置均通过实验获得。
[0040]
需要说明的是，背景特征提取模块中所有卷积层后面都紧接批归一化层(batch normalization)和relu激活层。
[0041]
如图4所示，由于背景特征在浅层卷积层(金字塔型卷积神经网络的第一层卷积层)中提取，语义信息不足，因此为了保证足够的语义信息，在融合特征后接残差网络。残差网络的参数包括(m2
×
n2，f2)，m2
×
n2表示卷积核大小，f2为卷积核个数，残差网络中所有
卷积层后面都紧接批归一化层。
[0042]
本实施例中，由于海面和陆地对微波的散射分布有明显差异，陆地虚警的背景对微波的散射普遍比海面舰船的背景对微波的散射强，因此，通过设置多路并行空洞卷积通道，作为背景特征提取模块，从卷积神经网络的浅层卷积层中，提取不同尺度的背景特征，与卷积神经网络输出的特征进行融合，利用背景特征辅助舰船检测，降低陆地上的虚警率。
[0043]
步骤2，根据待识别舰船目标的边界框和锚定框，确定初始检测模型的尺度感知损失函数，并基于尺度感知损失函数与多尺度图像集，对初始检测模型进行迭代训练，确定训练好的检测模型；
[0044]
具体的，本实施例采用yolov3模型的锚定框(anchor box)和边界框，具体参数设置、实现方式不再赘述。由于本实施例中的舰船目标检测方法只检测舰船目标，并不对检测出的舰船目标做分类，因此，只需要得到舰船目标的x坐标、y坐标、宽度参数、高度参数和置信度参数5个输出。另外，yolov3模型在每个网格点处有5个锚定框，因此，最后的卷积层包含25个1
×
1的卷积核，组成的初始检测模型如图2所示。
[0045]
由于只检测舰船，不对舰船进行分类，因此，无需设定类别相关的损失函数。锚定框(anchor box)采用yolov3模型在coco数据集上设定的锚定框。
[0046]
本实施例中还示出了一种确定尺度感知损失函数的方法，该方法具体包括：
[0047]
步骤201，通过计算真值框与锚定框的重叠率确定正负样本；其中，真值框为训练图像中舰船的边界框。
[0048]
步骤202，对预测框参数和真值框参数进行参数转换；其中，预测框由网络最终输出的参数决定，至少包括预测的舰船的x坐标参数、y坐标参数、宽度参数、高度参数、置信度参数。
[0049]
步骤203，根据待识别舰船目标在sar图像上的尺寸，计算目标在损失函数中的权重；
[0050]
步骤204，并结合选择参数，确定尺度感知损失函数。
[0051]
具体的，采用yolov3模型在coco数据集上设定的锚定框，选择参数至少包括第一选择参数和第二选择参数，现对选择参数进行如下定义：
[0052]
如果第j个目标的边界框与第i个锚定框有最大重叠率(iou)，那么，定义第一选择参数表示该锚定框与该目标相匹配，需要计算它们的坐标参数损失函数与正样本置信度损失函数；否则第一选择参数表示该目标与锚定框不匹配，不需要计算坐标以及正样本置信度损失函数。
[0053]
如果第j个目标的边界框与第i个锚定框的重叠率小于重叠阈值0.7，且第一选择参数那么，定义第二选择参数表示该锚定框相对于该目标为负样本，需要计算负样本置信度损失函数；否者第二选择参数表示不需要计算负样本置信度损失函数。
[0054]
假设第i个锚定框对应网络输出的预测框参数：x坐标参数、y坐标参数、宽度参数、高度参数、置信度参数分别为：和将x坐标参数y坐标参数进行
如下转换，对应的计算公式为：
[0055][0056][0057]
式中，σ()为参数转换函数，可以为sigmoid函数。对图像中目标边界框的坐标变量进行转换，其转换公式如下：
[0058][0059][0060][0061][0062]
其中，和为图像中第j个待识别舰船目标中心点在图像x，y轴上的坐标，w
j
和h
j
为该目标在图像上的宽和高，为与该目标边界框拥有最大重叠率的锚定框的坐标参数，其中，和为锚定框的宽和高，和为锚定框中心点在图像x，y轴上的坐标，s为当前输出特征图相对于输入sar图像的总步长数(stride)，log()为对数函数。
[0063]
为了使检测模型在训练过程中重点关注小目标，使得小尺度目标在损失函数中的权重增大，本实施例又示出一种待识别舰船目标的权重的计算方法，对应的计算公式为：
[0064][0065]
式中，p
j
为第j个待识别舰船目标的权重，w
j
为待识别舰船目标在sar图像上的宽度参数，h
j
为待识别舰船目标在sar图像上的高度参数，w为sar图像的宽度参数，h为sar图像的高度参数。
[0066]
在上述实施例的基础上，本实施例中设定的尺度感知损失函数的计算公式为：
[0067][0068][0069]
式中，l为尺度感知损失函数，i是锚定框的序号，m是总的锚定框数量，j是sar图像中待识别舰船目标的序号，n是sar图像中待识别舰船目标的数量。
[0070]
本实施例中，通过设置上述尺度感知损失函数，使检测模型在训练过程能够中更关注小目标，提升小目标检测率，进而提高sar图像中舰船目标检测的准确率，同时避免高虚警率。
[0071]
在对生成的初始检测模型进行训练的过程中，传统多尺度训练是将原始sar图像缩放到不同尺度再输入至网络模型进行训练，这种多尺度训练方法使每次输入网络的原始sar图像尺寸发生变化，导致网络模型每次迭代训练消耗的计算资源和存储资源不同，并且由于显卡显存限制，输入的原始sar图像尺寸会受到限制，不能过大，导致多尺度训练方法存在一定的局限性。
[0072]
在上述实施例的基础上，为了提升方法在大、中、小多尺度待识别舰船目标上的检测效果，设定尺寸参数集，尺寸参数集中设置有多个图像尺寸，步骤2中，基于尺度感知损失函数与多尺度图像采集，对检测模型进行训练，具体包括：
[0073]
步骤211，在每一次迭代训练中，随机在尺寸参数集中抽取任一图像尺寸，并根据抽取出的图像尺寸，在原始sar图像上随机位置处按照抽取的图像尺寸进行裁剪，得到样本图像，其中，裁剪的样本图像不能超出原图边界；
[0074]
步骤212，将裁剪后的样本图像缩放至预设图像尺寸；
[0075]
步骤213，根据预设的批大小(batch size)，迭代上述步骤，得到一批次训练图像；
[0076]
步骤214，基于尺度感知损失函数与上述训练图像获取方法得到的所述一批次训练图像，采用迭代训练方法，对初始检测模型进行训练。
[0077]
具体的，如图5所示，设定原始样本图像大小为1000
×
1000像素，尺寸参数集为{384，416，448，480，512，544，576，608，640}，尺寸参数集中的元素可以根据需求自行设定。随机在尺寸参数集中抽取任一图像尺寸，然后以该图像尺寸，在原始样本图像上进行随机裁剪，再将裁剪出的图像统一缩放至512
×
512大小，组成训练图像，以对检测模型进行训练。
[0078]
在训练过程中可以采用梯度下降(sgd)法，设定批大小(batch size)为8，总共训练200个周期(epoch)，初始学习率设置为0.001，每40个周期学习率乘0.5，所有训练过程中
权值衰减(weight decay)设为0.0005，动量(momentum)设为0.9。
[0079]
本实施例中的训练方法，在保证多尺度训练的同时，使每次输入网络的图像大小固定，实现每次迭代所需时间以及所需硬件资源保持一致。
[0080]
步骤3，利用训练好的检测模型，检测sar图像中的舰船。
[0081]
将sar图像送入训练好的模型得到初始舰船检测结果，再进行非极大值抑制(nms)得到最终结果。检测过程中每个锚定框得到网络的5个输出，分别为t
x
、t
y
、t
w
、t
h
和t0，将其转化为待识别舰船目标位置信息，对应的计算公式为：
[0082]
p
x
＝t
x
*s a
x
[0083]
p
y
＝t
y
*s a
y
[0084][0085]
p＝a e
t
[0086]
p
o
＝ο(t
o
)
[0087]
式中，a
w
和a
h
为锚定框的宽度参数和高度参数，a
x
和a
y
为锚定框中心点在sar图像x，y轴上的坐标。p
x
、p
y
、p
w
、p
h
和p
o
依次为该锚定框对应预测的待识别舰船目标的x轴坐标、y轴坐标、宽度参数、高度参数和置信度参数。
[0088]
设定置信度阈值为0.15，iou阈值为0.5，nms阈值为0.65，在自制的多尺度图像集中进行舰船目标检测的测试，测试结果如下表1所示。
[0089]
表1
[0090] 检测率虚警率本实施例97.87％3.12％yolov391.54％10.91％
[0091]
通过对比可知，相较于传统的yolov3检测方法，本实施例中的舰船目标检测方法对舰船检测的检测率提升了6.33％，虚警率降低了7.79％。
[0092]
以上结合附图详细说明了本技术的技术方案，本技术提出了一种背景与尺度感知的sar舰船目标检测方法，该方法包括：步骤1，根据预设空洞卷积扩张率和预设卷积核大小，组成多组并行的背景特征提取模块，任一组背景特征提取模块的输入端连接于金字塔型卷积神经网络的第一层卷积层，背景特征提取模块的输出端与金字塔卷积神经网络的输出端串接，以生成初始检测模型；步骤2，根据待识别舰船目标的边界框和锚定框，确定初始检测模型的尺度感知损失函数，并基于尺度感知损失函数与多尺度图像集，对初始检测模型进行迭代训练，确定训练好的检测模型；步骤3，利用训练好的检测模型，检测sar图像中的舰船。通过本技术中的技术方案，充分利用背景信息，有效降低了sar图像监测的虚警率，提升了小目标检测率。
[0093]
本技术中的步骤可根据实际需求进行顺序调整、合并和删减。
[0094]
本技术装置中的单元可根据实际需求进行合并、划分和删减。
[0095]
尽管参考附图详地公开了本技术，但应理解的是，这些描述仅仅是示例性的，并非用来限制本技术的应用。本技术的保护范围由附加权利要求限定，并可包括在不脱离本技术保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。