一种综合同步轨道序列光学影像时空信息的船舶检测方法与流程

1.本发明属于遥感图像船舶目标检测技术领域，尤其涉及一种综合同步轨道序列光学影像时空信息的船舶检测方法。


背景技术：

2.遥感目标检测是当今遥感数据应用的一个重要领域。同步轨道光学卫星能够以较高的成像频率实现对同一地点的持续观测，获取连续帧图像。但同步轨道卫星轨道高度高，成像距离远，其成像分辨率一般较低，船舶目标检测困难。本发明的目的是有效利用多帧图像中蕴含的互补信息和差异信息，提升低分辨率序列遥感图像中运动船舶目标的检测精度。
3.在预处理方面，在利用连续帧图像进行运动目标检测时，帧差法是一种常用的背景抑制算法。同步轨道卫星与地球相对静止，连续帧图像中除运动目标和部分干扰之外的区域均保持恒定，通过相邻帧做差的方法可以将大部分的静止背景去除，该方法可以提升目标在图像中的区分度，为后续的目标检测算法奠定基础。
4.在多帧图像目标特征提取方面，为利用多帧图像中的目标信息，有方法将多张图像同时输入一个神经网络同时提取特征，并在特征提取网络中加入了自注意力模型。自注意力模型能够度量不同特征的相似程度并将其加权融合，从而获得强化的、更具区分度的特征。通过对不同帧的相同目标进行关联并融合其特征，进一步了增加可用信息，提升目标检测精度。
5.由此可见，现有方法均是将不同时刻的独立个体作为检测对象，在这一约束下，无论采用何种预处理或者目标增强算法，卷积网络仅关心局部的个体信息，无法在不增加参数规模的情况下汇聚来自不同时刻的信息。尽管基于自注意力的机制能够一定程度上对不同时刻同一目标的特征进行融合，但该方法带来了巨大的计算负担和时间消耗。此外，无论是卷积神经网络还是自注意力机制实现的融合算法，其结果都是生成多帧信息的一个并集，因而无法体现目标在时序上的变化信息，而这一信息对于虚警去除至关重要。


技术实现要素：

6.为解决上述问题，本发明提供一种综合同步轨道序列光学影像时空信息的船舶检测方法，能够更好地实现对低分辨率序列图像中的船舶目标检测。
7.一种综合同步轨道序列光学影像时空信息的船舶检测方法，包括以下步骤：
8.s1：利用帧间差分算法去除n帧遥感图像中的背景信息，得到n-1帧帧差图，其中，n至少为3；
9.s2：将n-1帧帧差图通过像素级融合算法整合为一帧合成图像，其中，所述合成图像中包含由不同时刻的同一目标构成的疑似船舶序列；
10.s3：利用训练好的船舶序列检测模型对所述合成图像进行检测，得到疑似船舶序列的位置信息；
11.s4：基于所述疑似船舶序列的位置信息，通过阈值分割和外接矩形算法，解析出构成该序列的船舶在各帧遥感图像中的外接框；
12.s5：根据步骤s4中确定的外接框，在第1帧与第n帧遥感图像中提取出相应的切片，采用resnet18网络对两个切片进行特征提取，得到对应的特征向量；
13.s6：采用余弦相似度算法计算两个特征向量之间的余弦相似度，并判断余弦相似度是否大于设定阈值，若大于，则疑似船舶序列中包含的目标为船舶，否则为虚警目标。
14.进一步地，所述船舶序列检测模型的训练方法为：
15.获取m组遥感图像作为训练样本，且每组中含有连续的n帧遥感图像，其中，m至少为100；
16.利用帧间差分算法分别去除各组遥感图像中的背景信息，得到各组遥感图像对应的帧差图；
17.再分别将各组帧差图通过像素级融合算法整合为一帧合成图像；
18.使用图像标注软件标注出各合成图像中船舶序列整体的外接矩形框；
19.以各合成图像作为输入，各合成图像中船舶序列对应的外接矩形框作为输出，对yolo检测模型、faster-rcnn检测模型或者ssd检测模型进行训练，得到船舶序列检测模型。
20.进一步地，两个特征向量之间的余弦相似度similarity(f1,fn)的计算方法如下：
[0021][0022]
其中，f1为第1帧遥感图像中切片对应的特征向量，fn为第n帧遥感图像中切片对应的特征向量。
[0023]
进一步地，步骤s6中所述的设定阈值为0.5。
[0024]
进一步地，利用帧间差分算法去除n帧遥感图像中的背景信息具体为：通过相邻帧做差的方式抑制背景信息，保留目标信息。
[0025]
进一步地，所述合成图像的获取方法为：
[0026]
将n-1帧帧差图进行叠加，得到初始叠加图像s；
[0027]
对初始叠加图像s进行拉伸处理，得到合成图像如下：
[0028][0029]
其中，maxs为初始叠加图像s中的像素最大值，mins为初始叠加图像s中的像素最小值。
[0030]
有益效果：
[0031]
1、本发明提供一种综合同步轨道序列光学影像时空信息的船舶检测方法，在模型训练和应用中，均将合成图像中的船舶目标序列当作一个整体，并将该整体设定为检测对象；基于此，本发明可以在不增加神经网络复杂度的情况下，使用基本的特征提取网络直接提取来源于多帧图像的目标特征，并将其作为目标的判定依据；也就是说，本发明摒弃了将微小个体作为检测对象的传统做法，直接避免了设计复杂的特征融合网络，仅利用现有的网络模型即可直接提取来源于多帧图像的特征信息，从而使针对低分辨率序列图像的目标检测算法获得更好的检测性能。
[0032]
2、本发明提供一种综合同步轨道序列光学影像时空信息的船舶检测方法，船舶目标是形态不随时间变化而变化的刚体，以此作为区分运动船舶和形态随时间变化而变化的碎云的重要依据；具体的，本发明将目标的形态稳定性作为一个目标判定因素，利用连续n帧中第一帧和最后一帧中目标的外观相似性对目标随时间变化的趋势进行量化评判，从而判定目标在时间窗口内是否变化，以此去除形态不稳定的虚假目标，降低检测算法的虚警率。
附图说明
[0033]
图1为本发明提供的一种综合同步轨道序列光学影像时空信息的船舶检测方法的流程图；
[0034]
图2为本发明提供的孤立目标与目标序列对比图；
[0035]
图3为本发明提供的单帧目标位置解算算法流程图；
[0036]
图4为本发明提供的基于特征相似性的目标形态变化判别算法流程图。
具体实施方式
[0037]
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
[0038]
如图1所示，本发明提供的一种综合同步轨道序列光学影像时空信息的船舶检测方法，包括以下步骤：
[0039]
s1：利用帧间差分算法去除n帧遥感图像中的背景信息，得到n-1帧帧差图，其中，n至少为3。
[0040]
需要说明的是，帧间差分是通过相邻帧做差的方式抑制背景信息，保留目标信息，同时避免多帧叠加造成像素值向上饱和而导致目标被湮灭(由于像素值累加导致图像中所有像素的值均大于255)。帧差图diffi的计算可按照公式(1)实现：
[0041]
diffi＝max(i
i 1-ii,0),i∈{1,2,3,
…
,n-1}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0042]
s2：将n-1帧帧差图通过像素级融合算法整合为一帧合成图像，其中，所述合成图像中包含由不同时刻的同一目标构成的疑似船舶序列，如图2所示。
[0043]
进一步利用对应像素叠加的方法将多幅帧差图像叠加为一幅图像，使其携带不同时刻目标的信息，叠加后的图像s的计算方式为：
[0044][0045]
为避免加法运算导致像素值大于8位图像的最大值255引发过饱和，对初始叠加图像s进行最大最小拉伸得到合成图像拉伸方法如下：
[0046][0047]
其中，maxs为初始叠加图像s中的像素最大值，mins为初始叠加图像s中的像素最小值。
[0048]
s3：利用训练好的船舶序列检测模型对所述合成图像进行检测，得到疑似船舶序列的位置信息。
[0049]
本发明在模型训练和应用中，均将叠加图像中的船舶目标序列当作一个整体，并将该整体设定为检测对象。基于此，本发明可以在不增加神经网络复杂度的情况下，使用基本的特征提取网络直接提取来源于多帧图像的目标特征，并将其作为目标的判定依据。
[0050]
在训练中，可使用图像标注软件标注出这些目标序列整体的外接矩形框，而非每一个单独目标的外接矩形框。按照上述方式构建训练样本集，并使用该训练集对yolo检测模型进行训练，最终获得一种针对低分辨率序列遥感图像的船舶序列检测模型，具体包括如下步骤：
[0051]
获取m组遥感图像作为训练样本，且每组中含有连续的n帧遥感图像，其中，m至少为100；利用帧间差分算法分别去除各组遥感图像中的背景信息，得到各组遥感图像对应的帧差图；再分别将各组帧差图通过像素级融合算法整合为一帧合成图像；使用图像标注软件标注出各合成图像中船舶序列整体的外接矩形框；以各合成图像作为输入，各合成图像中船舶序列对应的外接矩形框作为输出，对yolo检测模型、faster-rcnn检测模型或者ssd检测模型进行训练，得到船舶序列检测模型。
[0052]
需要说明的是，在检测算法方面，单阶段检测算法yolo(you only look once，只需看一次)凭借其兼顾效率和准确率的特点，成为目前主流的基于深度神经网络的目标检测方法。yolo将物体检测作为回归问题求解，基于一个单独的端到端网络，完成从原始图像的输入到物体位置和类别的输出。在yolo算法中，输入的图片首先被分割成s*s个网格，若目标的中心点落到某一个网格中，那么该网格则负责预测该目标，根据卷积神经网络的特点，该网格对应于网络输出s*s*(b*5 c)维矩阵中的b*5 c个参数，该组参数即代表目标的类别和位置属性，其中b代表每个网格检测框的个数，c为类别数目。
[0053]
yolo模型的训练依赖于训练样本，给定目标的位置和类别信息，计算目标中心点的所属网格，进而逐个计算9个预先设定的预选框和目标标注框的交并比，取交并比值最大的先验框内的区域作为正样本。若某个先验框与图像中所有目标的外接矩形框的交并比都小于阈值0.5，那么认为该预选框中不含有目标，将其记作负样本。在获得大量的学习样本后，在损失函数的约束下对网络进行训练，使其能够提取目标特征并将目标与干扰区分开来。
[0054]
s4：基于所述疑似船舶序列的位置信息，通过阈值分割和外接矩形算法，解析出构成该序列的船舶在各帧遥感图像中的外接框。
[0055]
也就是说，完成船舶序列检测模型的训练后，在后续的目标检测应用中，首先将序列图像按照本发明中的方法进行叠加处理并将其送入船舶序列检测模型，船舶序列检测模型根据学习到的目标特征，筛选出符合这种序列特征的船舶目标。同时，由于每次检测得到的结果是整体对象，而非个体，因此需要根据序列的位置信息在单帧图像中截取目标切片，并采用阈值分割、连通域提取和外接矩形算法确定各帧遥感图像中船舶的外接框，算法流程如附图3所示。
[0056]
需要说明的是，在静止轨道卫星连续对地成像获得的连续帧图像中，由于船舶是刚体，在一定时间窗口内，其颜色、外形均不会随时间发生明显变化；而容易造成虚警的碎云并非刚体，其形态受自然条件如风、温湿度等控制，随着时间的推移，其形态将发生巨大变化，因此，本发明将其作为区分运动船舶和碎云的重要依据，并利用此特点设计了一种基于特征相似度的虚警去除算法，利用连续n帧中第一和最后一帧中目标的外观相似性来判
定目标是否变化，以此去除形态不稳定的虚假目标，具体参见步骤s5～s6。
[0057]
s5：根据步骤s4中确定的外接框，在第1帧与第n帧遥感图像中提取出相应的切片，采用resnet18网络对两个切片进行特征提取，得到对应的特征向量。
[0058]
s6：采用余弦相似度算法计算两个特征向量之间的余弦相似度，并判断余弦相似度是否大于设定阈值，若大于，则疑似船舶序列中包含的目标为船舶，否则为虚警目标。
[0059]
也就是说，本发明利用目标形态稳定性去除形态不稳定的虚警，衡量方法为第1帧和第n帧中目标的特征相似度；具体的，如图4所示，根据单帧图像中目标的外接框分别在第一帧和第n帧中截取目标切片，并利用resnet18网络对其进行特征提取，进而采用余弦相似度算法对目标特征进行相似度判别，计算各特征之间的余弦相似度，计算方法如下：
[0060][0061]
其中，f1为第1帧遥感图像中切片对应的特征向量，fn为第n帧遥感图像中切片对应的特征向量。当相似度大于阈值t时，表明随着时间推移目标形态没有发生明显的变化，可确认目标为船舶，否则表明目标在时间序列上不具备稳定性，判定为虚警。
[0062][0063]
由此可见，本发明提出了一种综合序列低分辨率遥感图像时序信息的目标检测和虚警抑制算法；首先利用帧间差分算法去除主要背景信息，并将n帧图像中的信息通过像素级融合算法整合到一帧图像中，合成图像中会出现由不同时刻的同一目标构成的船舶序列；本发明再针对这一特点，将这些尺寸更大、信息更加丰富的序列作为一个整体设定为检测目标，在整体检测结果的基础上，通过形态学方法提取单个目标的位置信息，形成一种新的训练和检测范式；最后，本发明进一步利用特征相似度判别算法对时间维度上的目标稳定性进行量化判定，将在时间窗口内发生形态变化的虚假目标去除，也即去除不稳定的干扰目标，充分利用帧间变化信息降低运动船舶目标的检测虚警率。
[0064]
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当然可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。