一种基于联合表示法的遥感目标检测方法与流程

技术特征：
1.一种基于联合表示法的遥感目标检测方法，其特征在于，按照以下步骤实施：步骤1、对遥感图像进行图像预处理和特征提取；步骤2、获取中心点；步骤3、由自适应特征点集合得到初始化旋转范围框；步骤4、对初始化旋转范围框进行修正，采用精细化模块对特征点进行精细化地调整，提高网络的定位精度。2.根据权利要求1所述的基于联合表示法的遥感目标检测方法，其特征在于：在步骤1中，具体过程是：首先，对遥感图像进行裁剪的预处理操作；然后，将预处理后的尺寸为800*800的遥感图像输送入fpn网络，fpn网络先利用自下而上的卷积操作，再使用侧向连接，同时与自上而下的卷积操作相结合，得到遥感图像中所包含的浅层细粒度特征以及深层语义特征。3.根据权利要求1所述的基于联合表示法的遥感目标检测方法，其特征在于：在步骤2中，具体过程是：由fpn网络提取到的特征，先经过一个卷积层，其卷积核尺寸为3*3，再使用sigmoid函数进行激活操作；该卷积层的作用在于整合特征向量的关键信息，激活后的特征被称为整合特征a，其被分别馈送至基础模块中的中心点预测支路和特征点集合生成支路；基础模块的作用是生成粗略的目标中心点集合和特征点集合，为二者的精确预测建立基础，并输出整合特征b，在中心点预测支路中，首先根据整合特征a的大小，选择上采样或下采样操作，得到尺寸为的热图，其中c代表通道数量，默认值为256，w和h代表原始输入的遥感图像的宽和高；中心点的获取类似于像素分类任务，预测尺寸为的热图上每个像素属于目标中心点的概率p
cxy
，其中的p∈[0,1]，c代表目标所预测概率最大的类别，x和y则代表热图上(x,y)处像素点的位置坐标，本步骤采用阈值判断法，即给定阈值σ＝0.3，将预测概率p＞σ的像素视作正样本，其余像素归类为负样本，然后采用以下两个策略：第一个策略，给定中心点像素标签其中(i,j)代表标签中心点在输入遥感图像上的位置坐标，i∈[0,w],j∈[0,h]；得到热图后，根据计算低分辨率标签中心点其中(x
*
,y
*
)代表热图上低分辨率标签中心点像素的位置坐标，最后围绕低分辨率中心点生成二维高斯分布：
其中，中心点被表示为目标中心的区域；第二个策略，为约束负样本对损失的影响，突出正样本特征点的贡献，选择在像素级别对中心点进行约束，因此中心点定位损失l
center
的表达式是：其中，n是原始输入图像中目标的数量，γ和β是超参数，分别设置为γ＝2，β＝4，p
cxy
代表预测的热图上(x,y)处像素属于类别c的置信度，代表热图上(x,y)处像素的类别置信度标签。4.根据权利要求1所述的基于联合表示法的遥感目标检测方法，其特征在于：在步骤3中，具体过程是：在特征点集合生成支路中，整合特征a再次经过三个卷积层，该三个卷积层的卷积核尺寸均为3*3，步长均为1，通道数均为256，所有卷积层均执行批量归一化，并通过relu函数激活输出，然后经过可变形卷积操作，获得特征点的空间偏移量(δx
v
,δy
v
)，卷积后的特征i大小为2n为通道数，此处的卷积通道数取决于特征点的数量，代表n个特征点分别在横纵坐标方向的偏移情况；自适应初始点集合d＝[d1,d2,d3,...,d
n
]，其中的d
v
＝x
v
δx
v
代表同一目标的第v个初始化的自适应特征点，v∈[1,2,3,...,n]；利用minaerarect函数，从旋转目标学习到特征点中找到面积最小的旋转矩形，其转化过程是m
ob
＝t(d)，其中的m
ob
表示从点集合得到的最小面积旋转范围框，t(
·
)表示minaerarect函数，d则表示初化自适应点集合；使用giou损失函数以驱动预测框向标签范围框靠拢，表达式是：其中，则为标签范围框，area表示能包围预测框与标签框的最小外接矩形面积，iou的表达式是：因此，基础模块的定位损失l
loc
表达式是：其中，n
loc
表示基础模块中正样本点集合的数量，sn代表点集合的序号，l
giou
代表giou损
失函数，即l
giou
＝1
‑
giou；得到特征点集合后，利用中心点对特征点进行约束，约束的目的在于对超出目标范围的点进行惩罚；惩罚时，首先判断特征点的位置是否在标签范围框内部，然后对超出范围框的特征点计算其与中心点的欧氏距离，表达式如下：其中，center
(x,y)
代表预测的中心点坐标，d
v
代表同一目标的第v个特征点，根据式(6)得到特征点空间位置损失，表达式是其中，n代表特征点数量，对于一个目标而言，n＝9；dist
v
表示每个特征点的距离参数，表达式是：其中gt代表标签范围框。5.根据权利要求1所述的基于联合表示法的遥感目标检测方法，其特征在于：在步骤4中，所述的精细化模块包含定位子网络分支和分类子网络分支，具体过程是：4.1)在定位子网络分支中，基础模块得到的中心点特征、初始化的特征点信息及旋转范围框信息均以concat操作同整合特征a进行合并得到整合特征b，合并后的整合特征b再次使用三个卷积层操作进行处理，三个卷积层的卷积核尺寸均为3*3，步长均为1，通道数均为256，所有卷积层均执行批量归一化，并通过relu函数激活，随后通过可变形卷积层，得到新的特征点偏移量将新的特征点偏移量同初始化特征点位置进行加和，表达式是得到自适应特征点集合，表示为其中的代表同一目标的自适应特征点集中的第n个特征点；同时，定位子网络分支同样对基础模块的中心点坐标进行修正，再通过minaerarect函数得到修正后的精确范围框表达式是其中的为修正后的自适应特征点集合，精细化模块的定位损失策略和基础模块相似，表达式是：其中代表精细化模块正样本特征点集合的个数，sn即为点集合序号；在训练时，本步骤利用预测范围框与标签范围框的面积相关性作为驱动，以约束由特征点集合生成的旋转范围框，具体操作是计算预测范围框与标签范围框的giou值，综合式(2)、式(5)和式(8)，定位损失的表达式是：4.2)在分类子网络分支中，从基础模块得到的整合特征b经过一个卷积层的处理，卷积
层的卷积核尺寸为3*3，包含批量归一化操作，通道数为256，再使用sigmoid函数进行激活，从而得到整合特征c，该卷积层的目的同样是对特征向量的关键信息进行整合；整合特征c经过四层卷积层，其中每个卷积层的卷积核尺寸均为3*3，步长均为1，通道数均为256，所有卷积层均执行批量归一化操作，并通过sigmoid函数激活，使用大小为h*w*c的卷积操作，得到目标的类别置信度，类别预测的损失函数l
c
的表达式是：其中，代表所预测的第m个目标的类别置信度，为此目标对应的标签类别置信度，l
cls
代表focal loss，n
cls
为点集合的总数，则训练总损失l的表达式是：l＝l
t_loc
l
c
l
d
ꢀꢀꢀꢀꢀꢀ
(11)至此，在训练阶段使用训练总损失l驱动模型收敛；在预测阶段，将需要预测的遥感图像输入给fpn网络，并调用收敛后的参数模型，即完成对该遥感图像的检测任务，得到该遥感图像中关键目标的准确位置信息和分类信息。

技术总结
本发明公开了一种基于联合表示法的遥感目标检测方法，步骤包括：步骤1、对遥感图像进行图像预处理和特征提取；步骤2、获取中心点；步骤3、由自适应特征点集合得到初始化旋转范围框；步骤4、对初始化旋转范围框进行修正，采用精细化模块对特征点进行精细化地调整，提高网络的定位精度。本发明的方法，利用特征点集合表示以生成精确旋转范围框的检测方法，能避免基于角度表示的方法造成的损失不连续问题，从而使模型获得更快的收敛速度和更强的泛化能力，能够在保证精确度的前提下，快速检测高分辨率遥感图像中存在的高价值地物目标，获得其位置信息和类别信息。其位置信息和类别信息。其位置信息和类别信息。


技术研发人员：孙帮勇 马铭
受保护的技术使用者：西安理工大学
技术研发日：2021.08.06
技术公布日：2021/12/13