一种遥感目标检测中基于概率引导的特征点集合表示方法与流程

1.本发明属于计算机视觉、遥感目标检测技术领域，涉及一种遥感目标检测中基于概率引导的特征点集合表示方法。


背景技术：

2.近年来，从经典检测算法发展的一系列先进的遥感目标检测器被广泛应用于城市规划、交通监视、港口管理和海上救援等众多方面。在这些方法中，基于建议区域回归的检测器占据主流，随后又发展为两个分支，分别是两阶段检测方法和单阶段检测方法。两阶段检测方法以faster
‑
rcnn为例，在第一阶段使用候选区域网络(region proposal network)生成大量建议区域，以指导后续阶段的定位和分类任务；单阶段检测方法以yolo系列为例，引入网格划分的思想，直接在特征图上生成不同尺寸的锚框(anchor)再回归四边形的位置，达到定位的目的。除了基于建议区域回归的检测器之外，还有一种基于关键点的无锚(anchor
‑
free)检测方法，类似语义分割任务，无锚检测器不采用锚框，而是直接将位置作为样本进行训练。
3.虽然这些检测器已经能取得较好的检测效果，但仍存在一些根本性的问题，这限制了检测器自身性能的提升。具体而言，两阶段检测器在第一阶段会产生大量建议区域，其中大部分建议区域属于冗余计算量，约束了两阶段检测器的计算速度；同样地，单阶段检测器虽然通过减少预置锚框的数量而提高了检测速度，但是其定位精度远不如两阶段检测器，也并未摆脱锚框的限制。由于遥感场景中的目标不同于普通场景的目标，通常具有密集排布、任意方向、大宽高比、尺度变化大等特性，因此当这两种检测器应用在遥感图像目标检测时，为了更好地对目标范围框进行建模，就需要预置更多不同角度和比例的锚框，如此一来便不可避免地增加了计算量，而且预置的锚框对遥感场景中的目标拟合度并不理想。
4.无锚检测器在遥感目标检测领域具备很大的优势，主要体现在两方面：首先遥感场景中很少出现目标与目标之间的重叠情况，当进行关键点和特征点的预测时，几乎不存在类似基于建议区域的方法存在的锚框重叠或者一个锚框包含多个目标的问题；其次，无锚检测器无需预先设置锚框，只需预测有价值的点，然后对点的位置进行回归，避免了因为数量巨大的锚框而造成的推理延迟问题。一般的无锚检测器的思路是基于对关键点的预测和回归，这种点到点的监督策略在一定程度上能对预测结果起到约束作用，但是也限制了点表示目标的灵活性，以至于模型不具备良好的泛化能力。而基于特征点预测的方法，不但具备无锚检测器的优点，而且其自适应生成特征点的策略可以增强模型泛化的能力。


技术实现要素：

5.本发明的目的是提供一种遥感目标检测中基于概率引导的特征点集合表示方法，解决了现有技术中存在的点对点预测灵活性较差和缺乏对自适应特征点集合的监督力度的问题。
6.本发明所采用的技术方案是，一种遥感目标检测中基于概率引导的特征点集合表
示方法，按照以下步骤实施：
7.步骤1、提取遥感图像特征和构建概率引导模块；
8.步骤2、获取初始特征点集合并生成初始范围框；
9.步骤3、对初始预测范围框进行精细化操作，
10.将步骤2得到的特征图ⅲ分别馈送给分类任务和定位任务；在训练阶段使用训练总损失l驱动模型收敛；在预测阶段，将需要预测的遥感图像输入给fpn网络，并调用收敛后的参数模型，得到该遥感图像中关键目标的准确位置信息和分类信息。
11.本发明的有益效果是，包括以下几个方面：1)使用可变形卷积和概率引导模块等对遥感图像进行处理，能够自适应地生成目标特征点集合，并通过转换函数得到旋转范围框，更加灵活地通过特征点分布概率对点集合进行验证，以弥补特征点集合表示方法监督缺乏力度的缺点；2)本发明通过特征点表示的方法，从根本上避免了因为预置大量锚框造成的推理速度慢的问题，并且解决了使用角度表示的检测方法带来的临界角度回归模糊和边界互换问题，从而使模型获得更快的收敛速度；3)本发明不同于常见的点到点的监督方法，而是使用验证和回归共同引导的自适应点集合的表示方法，选取特征响应较强的前n个特征点，组成特征点集合，再由特征点集合生成外接旋转范围框达到精确定位的目的，相较于关键点匹配策略，这种表示方法在宏观上具有更强的容错性能和更深的可挖掘性。
附图说明
12.图1是本发明方法中的步骤1实施例流程图；
13.图2是本发明方法中生成权重图i的流程图；
14.图3是本发明方法中权重图i需要的下采样倍数与相应初始特征图的对应关系；
15.图4是本发明方法中由自适应特征点集合生成旋转范围框的流程图；
16.图5是本发明方法中的精细化处理流程图。
具体实施方式
17.下面结合附图和具体实施方式对本发明进行详细说明。
18.本发明方法的主要思路是：首先，利用特征金字塔网络提取遥感图像(原始的输入图像)的特征，得到四种尺寸大小的初始特征图，对每个尺度的特征图，利用可变形卷积(deformable convolution)操作得到目标的初始特征点，每个目标由n个特征点组成的点集合表示，设定n＝9，随后使用转换函数t(
·
)，将特征点集合转化为初始的旋转范围框；与此同时，获取遥感图像的标签信息，由标签范围框生成对应的二值图，再由二值图得到自定义的权重图i，使用权重图i对初始特征点进行验证损失的计算。然后，再次使用可变形卷积对初始特征点进行操作，得到初始特征点的偏移量，生成精细化的特征点集合表示，同样使用转换函数得到精细化的旋转范围框，并利用概率引导模块再次对精细化的特征点集合进行损失计算，同时进行类别计算，得到目标的分类信息。
19.本发明的方法，按照以下步骤实施：
20.步骤1、提取遥感图像特征和构建概率引导模块，
21.1.1)参照图1，将遥感图像(改了图1)输入到特征金字塔网络即fpn网络中，(feature pyramid network)，fpn网络利用自下而上、自上而下的卷积操作，同时采用侧向
连接的方式，得到四种尺寸的初始特征图，涵盖了遥感图像的深层语义信息和浅层细粒度信息，有利于遥感图像中目标的检测；每种尺寸的特征图都会向下传递，为了简洁，图1的流程图只展示其中一种尺寸的初始特征图的后续操作；
22.1.2)在遥感图像输入到fpn网络的同时，获得并处理遥感图像的标签信息，
23.目前主流的遥感数据集通常采用五参数表示法或八参数表示法对遥感图像中的目标进行标注，根据标注方法的不同，选择相对应的方式抓取遥感图像的标签信息，
24.以五参数标记法为例，即[x,y,w,h,θ]，其中(x,y)代表范围框的中心点坐标，w和h分别代表范围框的宽和高，θ表示范围框长边与x轴的夹角，θ∈[0,π]，对于五参数标记法，直接使用其标注参数即可；
[0025]
以八参数标注法为例，即[x1,y1,x2,y2,x3,y3,x4,y4]，其中i∈]1,2,3,4]，(x
i
,y
i
)表示四边形的四个顶点的坐标，顶点按顺时针顺序排列，左上第一个点为起始点，则需要采用下式分别得到标签的范围框的中心点坐标、宽和高：
[0026][0027][0028]
其中，x
max
,x
min
,y
max
,y
min
代表四个顶点坐标中，横坐标或纵坐标的最大值和最小值。
[0029]
如图2所示，获得目标标签的范围框坐标信息后，将范围框内部像素与外部背景像素区分开，内部像素标记为1，背景像素标记为0，得到二值图像；在二值图的基础上，生成二维高斯分布ν(μ,∑)，表达式如下：
[0030][0031]
其中，(x
c
,y
c
)代表标签的范围框的中心坐标，和为收缩处理后的宽和高，即λ＝0.85和γ＝0.9为宽与高的收缩超参数；
[0032]
使用上式(1)生成高斯分布，从而得到的权重图中，目标中心点像素和边框附近区域像素的预测概率p＝1，从中心点到收缩边框范围内像素的预测概率，会按照高斯分布，离中心点距离越远则预测概率越低，变化范围为p∈[0,1]；
[0033]
由上述步骤1.2)根据遥感图像标签信息得到权重图i，并依此构建概率引导模块；
[0034]
1.3)fpn网络提取的初始特征图有四种大小不同的尺寸，而步骤1.2)得到的权重图i的尺寸大小是固定的，若要使用权重图对特征点集合的位置进行概率引导，就必须保证
权重图和初始特征图在计算时具有相同的尺寸，因此需要对生成的权重图进行不同倍数的下采样操作，如图3所示，分别将权重图i进行倍数为4,8,16,32的下采样操作，以匹配fpn网络提取的不同尺寸大小的初始特征图，图3中的p2到p5即对应fpn网络得到的初始特征图，尺寸大小依次递减，此步骤输出的是经过不同倍数的下采样处理后的权重图ii。
[0035]
步骤2、获取初始特征点集合并生成初始范围框，
[0036]
如图1所示，将fpn网络提取的初始特征图进行可变形卷积操作，具体而言，对于输入的一张初始特征图，为了学习特征点的偏移量，定义一个卷积核为3*3的普通卷积层，其通道数为2n，对同一个目标的n个特征点而言，此处定义的普通卷积层会预测每个特征点在横坐标和纵坐标方向的偏移量，可变形卷积先基于普通卷积层得到偏移量，再进行插值操作，再执行卷积处理，此处卷积核大小也为3*3，最后选取遥感图像中目标响应值较强的前n个特征点，组成每个目标的点集合表示；
[0037]
自适应特征点集合d表示为d＝[d1,d2,d3,...,d
n
]，其中d
v
＝x
v
δx
v
代表同一个目标的第v个初始化的自适应特征点，v∈[1,2,3,...,n]，(δx
v
,δy
v
)表示由可变形卷积得到的特征点的空间偏移量，本步骤实施例采用9个特征点表示一个目标，即n＝9，此处的n与前一自然段的n是同一概念。
[0038]
参照图4的实施例中，黑色点即为通过可变形卷积操作得到的初始特征点，一个飞行器目标由9个特征点组成的点集合表示，然后经过转换函数t(
·
)，得到包含点集合内所有特征点的最小外接矩形(参照图4中的黑色矩形框)，其转换过程如下：m
ob
＝t(d)
ꢀꢀꢀꢀꢀꢀ
(4)
[0039]
其中，m
ob
表示从特征点集合得到的最小外接矩形范围框，t(
·
)表示minaerarect函数；
[0040]
在网络学习初始化特征点集合的过程中，本步骤采用以下两个策略对此学习过程进行引导，以保证初始预测范围框向标签范围框收敛：
[0041]
第一个策略，使用giou损失计算初始预测范围框与标签范围框的面积相关性，表达式是：
[0042]
其中，m
ob
代表由点集合生成的初始预测范围框，为标签范围框，area表示能包围初始预测范围框与标签范围框的最小外接矩形的面积，iou的表达式是：
[0043]
因此，面积相关性损失l
loc1
的表达式是：
[0044][0045]
其中，n
s
表示输入的遥感图像中特征点集合的总数量，s代表点集合的序号，l
giou
代表giou损失，即l
giou
＝1
‑
giou；
[0046]
第二个策略，利用概率引导模块约束特征点，由于特征点为网络自适应选取，而不是由点到点的监督方式获得，因此通过第一个可变形卷积操作得到特征点集合后，利用概
率的方式对特征点的预测进行引导；第二个策略的理论基础在于，特征点选取在目标的中心区域和边框区域时，对初始预测范围框的准确度起到积极作用，目标其他部分的像素，越靠近中心点则概率越高，因此，初始化特征点集合的预测概率损失l
loc2
的表达式是：
[0047][0048][0049]
其中，k表示当前fpn提取的特征图的下采样倍数；α表示超参数，此处设置为2；p
ij
表示此特征图上像素(i,j)处的预测概率；y
ij
＝0表示当前像素为背景像素；
[0050]
步骤2主要利用可变形卷积操作得到遥感图像中目标的初始特征点集合，并由初始特征点集合得到初始预测范围框。而步骤2中所描述的计算面积相关性的策略和使用概率引导模块的策略，仅在训练网络模型时作为总损失函数的一部分调用，以驱动特征点集合被更准确地预测。因此在步骤2获得的包含初始特征点集合信息的特征图ⅰ和包含初始预测范围框信息的特征图ⅱ一起和fpn网络提取到的初始特征图进行concat操作，得到新的特征图ⅲ，并向下传递给步骤3的精细化操作，以得到更加精确的检测结果。
[0051]
步骤3、对初始预测范围框进行精细化操作，(特征图iii里包含预测的范围框信息和点集合信息，本质上说的特征图和信息是一个东西)，
[0052]
如图5所示，步骤2中的初始预测范围框的精确度并未达到要求(黑色框为标签范围框，左侧图中的白色框为初始预测范围框，右侧图中的白色框为预测结果范围框)，因此本步骤提出精细化操作，旨在对初始特征点集合进行精细化调整，提高网络的定位精度，
[0053]
将步骤2得到的特征图ⅲ分别馈送给分类任务和定位任务，具体过程是：
[0054]
3.1)在定位任务中，类似步骤2的操作，步骤2得到的特征图ⅲ再次经过可变形卷积层，得到新的特征点偏移量表达式是将新的特征点偏移量同初始化特征点位置进行加和，即为自适应特征点集合，表示为其中的代表同一目标的自适应特征点集中的第n个特征点；随后，通过minaerarect函数得到修正后的预测结果范围框表达式是其中为经过精细化操作修正后的自适应特征点集合(步骤2的可变形卷积会得到特征点偏移量，原始位置加上偏移量就是初始特征点，步骤3里再次使用可变形卷积得到一个新的偏移量，加到初始特征点上，就得到最后预测的特征点)，此处定位的损失同步骤2一致，表达式是：
[0055][0056]
其中，n
s
表示特征点集合的数量，s代表点集合的序号，l
giou
代表giou损失函数，即l
giou
＝1
‑
giou，精细化操作后特征点集合的预测概率损失的表达式是：
[0057][0058][0059]
其中，p
ij_2
代表第二次对特征点集合的分布概率的预测值，其余参数涵义与步骤2中的限定相同，详见式(8)和式(9)，综合式(7)、(8)、(10)、(11)所述，定位损失l
loc
的表达式是：
[0060][0061]
其中，ω1,ω2,ω3,ω4表示平衡各损失的超参数，为网络自适应调整；
[0062]
3.2)在分类任务中，将步骤2得到的特征图ⅲ经过一个卷积层，此卷积层的目的是对特征向量的关键信息进行整合，得到整合特征；整合特征再经过四个卷积层，该四个卷积层的作用是将整合特征进一步处理，以配合后续对目标进行的分类任务，其中每个卷积层的卷积核尺寸为3*3，步长为1，通道数均为256，四个卷积层均执行批量归一化操作；使用sigmoid函数进行激活，最终使用通道数为c 1的卷积层(这是与前文结构一致的一个卷积层)进行处理，得到目标的分类信息，即目标最可能的类别和可能为此类别的概率，分类任务(检测包含定位任务和分类任务，还有其他的辅助这两个任务的模块，他们各自的损失函数共同组成总损失函数驱动网络模型的收敛)的损失函数l
cls
的表达式是：
[0063][0064]
其中，代表所预测的第s个目标的类别置信度，为此目标对应的标签类别置信度，l
focal
代表focalloss，n
s
为点集合的总数，则训练总损失l的表达式是：l＝β1l
loc
β2l
cls
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)
[0065]
其中，β1,β2为平衡分类和定位贡献力度的超参数，为网络自适应选取，
[0066]
至此，在训练阶段使用训练总损失l驱动模型收敛；在预测阶段，将需要预测的遥感图像(即原始输入图像)输入给fpn网络，并调用收敛后的参数模型，即完成对该遥感图像的检测任务，得到该遥感图像中关键目标的准确位置信息和分类信息。