一种旋转目标检测方法、装置、设备及可读存储介质

1.本技术涉及计算机视觉技术领域，特别涉及一种旋转目标检测方法、装置、设备及可读存储介质。


背景技术：

2.旋转目标检测是指给定任意包含倾斜物体的图像，以求解出这些倾斜物体的位置，并用包裹物体区域的四个角点表示出来。几十年来，旋转目标检测领域已经涌现了众多优秀的算法，并且越来越多的研究人员开始投身旋转目标检测算法的研究，使得旋转目标检测算法的性能越来越好，更为广泛的应用到实际生活中。但由于旋转目标自身状态以及旋转目标所处环境的不断变化，建立一个通用的、鲁棒的旋转目标检测算法仍然是一个具有挑战性的问题。
3.由于遥感图像是俯瞰拍摄的，其包含的空间场景更大更复杂且种类和数量更多，因此遥感目标检测难点主要包括小目标、密集以及方向任意。相关技术中，无论是两阶段还是单阶段的检测方法大多都是基于锚框，均为网络引入了大量的超参数。但是，超参数的确定需要大量的专业知识和不断地调优，并且难以应对跟踪过程中可能出现的复杂的目标变化和环境变化；而无锚框的检测方法直接对角度进行预测，其不可避免的会产生预测偏差，对算法的精度会产生一定的影响。


技术实现要素：

4.本技术提供一种旋转目标检测方法、装置、设备及可读存储介质，以解决相关技术中存在的检测方法复杂、专业性依赖强以及检测精度低的问题。
5.第一方面，提供了一种旋转目标检测方法，包括以下步骤：
6.基于特征提取骨干网络对待定位图像z进行特征提取，得到深度不同的多张第一特征图所述待定位图像z包含多个待定位对象；
7.基于特征金字塔网络对所述多张第一特征图进行特征聚合，得到感受野不同的多张第二特征图ρi(z)；
8.分别对所述多张第二特征图ρi(z)进行上采样，得到具有相同尺寸的多张第三特征图，并将所述多张第三特征图进行相加，得到融合特征图p(z)；
9.将所述融合特征图p(z)输入至卷积层，得到顶点热力图、日冕中心点热力图、尺寸预测图、偏执预测图和方向预测图；
10.根据顶点热力图、日冕中心点热力图、尺寸预测图、偏执预测图和方向预测图计算得到所述待定位图像中各个待定位对象的角点坐标。
11.一些实施例中，所述基于特征金字塔网络对所述多张第一特征图进行特征聚合，得到感受野不同的多张第二特征图ρi(z)，包括：
12.基于特征金字塔网络分别对所述多张第一特征图进行卷积操作，得到多张
卷积后的特征图
13.根据以下公式分别对多张卷积后的特征图进行特征相加处理，得到感受野不同的多张第二特征图ρi(z)；
[0014][0015]
一些实施例中，所述根据顶点热力图、日冕中心点热力图、尺寸预测图、偏执预测图和方向预测图计算得到所述待定位图像中各个待定位对象的角点坐标，包括：
[0016]
从顶点热力图中获取多个第一置信度峰值点，并分别将每个第一置信度峰值点作为一个预测顶点，得到多个预测顶点；
[0017]
从日冕中心点热力图中获取第一待定位对象的第二置信度峰值点，并将所述第二置信度峰值点作为所述第一待定位对象的预测中心点；
[0018]
从尺寸预测图中获取与预测中心点对应的尺寸预测值，从方向预测图中获取与预测中心点对应的方向预测值，从偏执预测图中分别获取与每个预测顶点对应的第一浮点偏执值、与预测中心点对应的第二浮点偏执值；
[0019]
根据多个预测顶点、预测中心点、尺寸预测值、方向预测值、多个第一浮点偏执值和第二浮点偏执值计算得到第一待定位对象的角点坐标。
[0020]
一些实施例中，所述根据多个预测顶点、预测中心点、尺寸预测值、方向预测值、多个第一浮点偏执值和第二浮点偏执值计算得到第一待定位对象的角点坐标，包括：
[0021]
将方向预测值映射为角度预测值；
[0022]
基于尺寸预测值计算出第一待定位对象在以(0，0)为原点的直角坐标系下的第一角点坐标；
[0023]
根据预测中心点和第二浮点偏执值计算出第一待定位对象在待定位图像z中的真实中心点；
[0024]
基于角度预测值、第一角点坐标和真实中心点计算出第一待定位对象在图像坐标系下的第二角点坐标；
[0025]
根据多个预测顶点、多个第一浮点偏执值、方向预测值和尺寸预测值检测是否存在实际顶点；
[0026]
若不存在实际顶点，则将所述第二角点坐标作为第一待定位对象的角点坐标。
[0027]
一些实施例中，在所述根据多个预测顶点、多个第一浮点偏执值、方向预测值和尺寸预测值检测是否存在实际顶点的步骤之后，还包括：
[0028]
若存在实际顶点，则根据实际顶点和真实中心点对所述角度预测值进行更新，得到新的角度预测值；
[0029]
基于新的角度预测值、第一角点坐标和真实中心点计算出第一待定位对象在图像坐标系下的第三角点坐标；
[0030]
当检测到所述第三角点坐标与所述第二角点坐标不相等，则将所述第三角点坐标作为第一待定位对象的角点坐标。
[0031]
一些实施例中，所述根据多个预测顶点、多个第一浮点偏执值、方向预测值和尺寸预测值检测是否存在实际顶点，包括：
[0032]
基于多个预测顶点和多个第一浮点偏执值计算出各个预测顶点在待定位图像z中对应的真实顶点；
[0033]
判断顶点热力图中方向阈值范围内是否存在与所述第一待定位对象具有相同类别的真实顶点，所述方向阈值范围基于方向预测值确定；
[0034]
若不存在与所述第一待定位对象具有相同类别的真实顶点，则不存在实际顶点；
[0035]
若存在一个与所述第一待定位对象具有相同类别的真实顶点，则将所述与所述第一待定位对象具有相同类别的真实顶点作为实际顶点；
[0036]
若存在多个与所述第一待定位对象具有相同类别的真实顶点，则基于预测中心点和尺寸预测值从多个与所述第一待定位对象具有相同类别的真实顶点中筛选出一个真实顶点作为实际顶点。
[0037]
一些实施例中，所述卷积层的卷积核为3
×
3，所述卷积层的层数为4层。
[0038]
第二方面，提供了一种旋转目标检测装置，包括：
[0039]
特征提取单元，其用于基于特征提取骨干网络对待定位图像z进行特征提取，得到深度不同的多张第一特征图所述待定位图像z包含多个待定位对象；
[0040]
特征聚合单元，其用于基于特征金字塔网络对所述多张第一特征图进行特征聚合，得到感受野不同的多张第二特征图ρi(z)；
[0041]
特征图处理单元，其用于分别对所述多张第二特征图ρi(z)进行上采样，得到具有相同尺寸的多张第三特征图，并将所述多张第三特征图进行相加，得到融合特征图p(z)；
[0042]
卷积处理单元，其用于将所述融合特征图p(z)输入至卷积层，得到顶点热力图、日冕中心点热力图、尺寸预测图、偏执预测图和方向预测图；
[0043]
坐标计算单元，其用于根据顶点热力图、日冕中心点热力图、尺寸预测图、偏执预测图和方向预测图计算得到所述待定位图像中各个待定位对象的角点坐标。
[0044]
第三方面，提供了一种旋转目标检测设备，包括：存储器和处理器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现前述的旋转目标检测方法。
[0045]
第四方面，提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，当所述计算机程序被处理器执行时，以实现前述的旋转目标检测方法。
[0046]
本技术提供的技术方案带来的有益效果包括：可以有效降低旋转目标检测的难度和专业性依赖，并有效提高检测精度。
[0047]
本技术提供了一种旋转目标检测方法、装置、设备及可读存储介质，包括基于特征提取骨干网络对待定位图像进行特征提取，得到深度不同的多张第一特征图，所述待定位图像包含多个待定位对象；基于特征金字塔网络对所述多张第一特征图进行特征聚合，得到感受野不同的多张第二特征图；分别对所述多张第二特征图进行上采样，得到具有相同尺寸的多张第三特征图，并将所述多张第三特征图进行相加，得到融合特征图；将所述融合特征图输入至卷积层，得到顶点热力图、日冕中心点热力图、尺寸预测图、偏执预测图和方向预测图；根据顶点热力图、日冕中心点热力图、尺寸预测图、偏执预测图和方向预测图计算得到所述待定位图像中各个待定位对象的角点坐标。本技术通过日冕热力图使得网络学习出中心点与非中心点的差异，无需引入大量的超参数，提升了网络对中心点定位的准确性，以更准确地预测细长物体上的中心点，具有较强的鲁棒性；同时利用顶点和中心点来描
述旋转物体，避免了直接预测角度所产生的误差，且使用方向预测取代角度预测，可以更准确地描述物体的方向。
附图说明
[0048]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0049]
图1为本技术实施例提供的一种旋转目标检测方法的流程示意图；
[0050]
图2为本技术实施例提供的数据处理流程示意图；
[0051]
图3为本技术实施例提供的一种旋转目标检测设备的结构示意图。
具体实施方式
[0052]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0053]
本技术实施例提供了一种旋转目标检测方法、装置、设备及可读存储介质，其能解决相关技术中存在的检测方法复杂、专业性依赖强以及检测精度低的问题。
[0054]
参见图1和图2所示，本技术实施例提供了一种旋转目标检测方法，包括以下步骤：
[0055]
步骤s10：基于特征提取骨干网络对待定位图像z进行特征提取，得到深度不同的多张第一特征图所述待定位图像z包含多个待定位对象；
[0056]
示范性的，在本技术实施例中，可选取残差网络结构作为特征提取骨干网络来提取图像特征，该网络可由卷积层和池化层组成，因此将待定位图像z输入至特征提取骨干网络，得到深度不同的多张第一特征图以输出三张深度不同的第一特征图为例：若待定位图像z的图像大小是800
×
800
×
3，则分别输出图像大小为512
×
100
×
100的图像大小为1024
×
50
×
50的以及图像大小为2048
×
25
×
25的
[0057]
步骤s20：基于特征金字塔网络对所述多张第一特征图进行特征聚合，得到感受野不同的多张第二特征图ρi(z)；
[0058]
进一步的，所述基于特征金字塔网络对所述多张第一特征图进行特征聚合，得到感受野不同的多张第二特征图ρi(z)，包括：
[0059]
基于特征金字塔网络分别对所述多张第一特征图进行卷积操作，得到多张卷积后的特征图
[0060]
根据以下公式分别对多张卷积后的特征图进行特征相加处理，得到感受野不同的多张第二特征图ρi(z)；
[0061][0062]
示范性的，在本技术实施例中，根据步骤s10中不同深度的图像特征，利用特征金字塔网络进行特征聚合，得到不同感受野下更为精确的特征图。具体的，分别对步骤s10得到的第一特征图以及进行卷积操作得到卷积后的特征图以及比如的图像大小为256
×
25
×
25，的图像大小为256
×
50
×
50，的图像大小为256
×
100
×
100；然后基于公式(1)进行特征相加得到特征金字塔的输出，比如输出代表三种不同感受野的第二特征图(即ρ1(z)、ρ2(z)以及ρ3(z)，且感受野逐渐增大)，公式(1)的具体计算表达式为：
[0063][0064]
其中，式(1)中的中括号“[]”表示卷积操作。
[0065]
步骤s30：分别对所述多张第二特征图ρi(z)进行上采样，得到具有相同尺寸的多张第三特征图，并将所述多张第三特征图进行相加，得到融合特征图p(z)；
[0066]
示范性的，在本技术实施例中，将步骤s20中不同感受野下的第二特征图ρi(z)通过上采样变更为同一尺寸，并点对点进行相加得到融合特征图p(z)；具体的，为了将不同感受野下的特征聚合，将通过公式(2)对ρ1(z)、ρ2(z)以及ρ3(z)分别进行上采样，得到与网络输出相同的尺寸后再进行相加，最终得到融合特征图p(z)；若网络输出的尺寸为256
×
200
×
200，则p(z)的尺寸为256
×
200
×
200，公式(2)的具体计算表达式为：
[0067]
p(z)＝[[[ρ1(z)]]] [[ρ2(z)]] [ρ3(z)] (2)
[0068]
其中，式(2)中的中括号“[]”表示上采样，且中括号的个数代表上采样的次数。
[0069]
步骤s40：将所述融合特征图p(z)输入至卷积层，得到顶点热力图、日冕中心点热力图、尺寸预测图、偏执预测图和方向预测图；其中，所述卷积层的卷积核为3
×
3，所述卷积层的层数为4层。
[0070]
示范性的，在本技术实施例中，将步骤s30中的融合特征图p(z)经过四层3
×
3的卷积层后，即可得到输出(outputheads)：顶点热力图、日冕中心点热力图、物体的尺寸预测图、坐标的偏执预测图以及相对方向的方向预测图，并可基于上述五个特征图计算得到最终的目标矩形边框。
[0071]
其中，顶点热力图是用于定位物体顶点的热力图，日冕中心点热力图是用于定位物体中心点的热力图，偏执预测图是用于预测顶点和中心点坐标放缩的浮点偏差特征图，尺寸预测图是用于预测物体尺寸的特征图，方向预测图是用于预测物体相对方向的特征图。参见图2所示，本实施例的网络输出fc(r)可表示为：
[0072]
fc(r)＝f
top
,f
cen
,f
size
,f
off
,f
dir (3)
[0073]
式中，f
top
表示尺寸为cls
×
200
×
200的顶点热力图，cls代表待定位对象的类别数，比如待定位对象有船、飞机、操场、桥，则cls为4；f
cen
表示尺寸为cls
×
200
×
200的日冕中心点热力图，f
size
表示尺寸为2
×
200
×
200的预测物体尺寸的特征图，2表示存在2个参数，分别是长边和短边；f
off
表示尺寸为4
×
200
×
200的预测顶点和中心点坐标放缩的偏执
特征图，4表示存在4个参数，分别是中心点和顶点在x轴和y轴的偏差，f
dir
表示尺寸为1
×
200
×
200的预测物体相对方向的特征图，1表示存在1个参数，即物体的相对方向。
[0074]
其中，相较于高斯热力图在高纵横比目标下只有小部分区域乃至只有一个点，日冕热力图可以更好的使得网络学习出中心点与非中心点的差异，以提升网络对中心点定位的准确性，因此本实施例对于中心点对应输出日冕中心点热力图。日冕热力图的具体训练实现过程如下：对于一个旋转目标，以其长边w一半的值为热力图半径，即可获得包裹整个目标的热力图hw，而以其短边h一半的值为热力图半径，即可获得中心点周边的热力图hh。不过，hh只能感知中心点周边一小片区域，这样在推理阶段很容易把中心点定位到其他位置，以致于包含大量的背景区域，进而产生分类错误等问题。于是，本实施例将这两种热力图相结合得出日冕中心点热力图h
cen
，其计算式如下所示：
[0075]
式中，μ为控制热力图半径的系数，其可设置为0.125，(x
p
,y
p
)代表训练热力图中所有点的坐标位置，(x
p
,y
p
)∈t，t则代表目标倾斜边框内点的合集，(xc,yc)表示训练热力图中的真实中心点坐标。
[0076]
步骤s50：根据顶点热力图、日冕中心点热力图、尺寸预测图、偏执预测图和方向预测图计算得到所述待定位图像中各个待定位对象的角点坐标。
[0077]
进一步的，所述根据顶点热力图、日冕中心点热力图、尺寸预测图、偏执预测图和方向预测图计算得到所述待定位图像中各个待定位对象的角点坐标，包括：
[0078]
从顶点热力图中获取多个第一置信度峰值点，并分别将每个第一置信度峰值点作为一个预测顶点，得到多个预测顶点；
[0079]
从日冕中心点热力图中获取第一待定位对象的第二置信度峰值点，并将所述第二置信度峰值点作为所述第一待定位对象的预测中心点；
[0080]
从尺寸预测图中获取与预测中心点对应的尺寸预测值，从方向预测图中获取与预测中心点对应的方向预测值，从偏执预测图中分别获取与每个预测顶点对应的第一浮点偏执值、与预测中心点对应的第二浮点偏执值；
[0081]
根据多个预测顶点、预测中心点、尺寸预测值、方向预测值、多个第一浮点偏执值和第二浮点偏执值计算得到第一待定位对象的角点坐标。
[0082]
进一步的，所述根据多个预测顶点、预测中心点、尺寸预测值、方向预测值、多个第一浮点偏执值和第二浮点偏执值计算得到第一待定位对象的角点坐标，包括：
[0083]
将方向预测值映射为角度预测值；
[0084]
基于尺寸预测值计算出第一待定位对象在以(0，0)为原点的直角坐标系下的第一角点坐标；
[0085]
根据预测中心点和第二浮点偏执值计算出第一待定位对象在待定位图像z中的真实中心点；
[0086]
基于角度预测值、第一角点坐标和真实中心点计算出第一待定位对象在图像坐标系下的第二角点坐标；
[0087]
根据多个预测顶点、多个第一浮点偏执值、方向预测值和尺寸预测值检测是否存在实际顶点；
[0088]
若不存在实际顶点，则将所述第二角点坐标作为第一待定位对象的角点坐标。
[0089]
进一步的，所述根据多个预测顶点、多个第一浮点偏执值、方向预测值和尺寸预测值检测是否存在实际顶点，包括：
[0090]
基于多个预测顶点和多个第一浮点偏执值计算出各个预测顶点在待定位图像z中对应的真实顶点；
[0091]
判断顶点热力图中方向阈值范围内是否存在与所述第一待定位对象具有相同类别的真实顶点，所述方向阈值范围基于方向预测值确定；
[0092]
若不存在与所述第一待定位对象具有相同类别的真实顶点，则不存在实际顶点；
[0093]
若存在一个与所述第一待定位对象具有相同类别的真实顶点，则将所述与所述第一待定位对象具有相同类别的真实顶点作为实际顶点；
[0094]
若存在多个与所述第一待定位对象具有相同类别的真实顶点，则基于预测中心点和尺寸预测值从多个与所述第一待定位对象具有相同类别的真实顶点中筛选出一个真实顶点作为实际顶点。
[0095]
进一步的，在所述根据多个预测顶点、多个第一浮点偏执值、方向预测值和尺寸预测值检测是否存在实际顶点的步骤之后，还包括：
[0096]
若存在实际顶点，则根据实际顶点和真实中心点对所述角度预测值进行更新，得到新的角度预测值；
[0097]
基于新的角度预测值、第一角点坐标和真实中心点计算出第一待定位对象在图像坐标系下的第三角点坐标；
[0098]
当检测到所述第三角点坐标与所述第二角点坐标不相等，则将所述第三角点坐标作为第一待定位对象的角点坐标。
[0099]
示范性的，在本技术实施例中，将顶点热力图中的每个置信度峰值点(由于热力图的输出类似于山峰，因此找出局部最大，在根据置信度阈值吧低置信度的过滤掉，即可得到该局部的置信度峰值点)均作为一个预测顶点，即顶点热力图中存在多个预测顶点i表示预测顶点的个数；同理，将日冕中心点热力图中的每个置信度峰值点均作为一个预测中心点，即日冕中心点热力图中存在多个预测中心点i表示预测中心点的个数，每个预测中心点代表一类目标，即代表一个待定位对象；因此，可根据每个预测中心点的位置均可在尺寸预测图、方向预测图以及偏执预测图中的对应位置找到对应的尺寸预测值、方向预测值和偏执预测值。
[0100]
由于本技术中各个待定位对象的角点坐标的计算原理均相同，因此为了描述的简洁性，以下实施例将以某一待定位对象的角点坐标计算过程为例进行解释说明。
[0101]
获取某一预测中心点根据点对点匹配原则，基于该预测中心点分别从尺寸预测图上、方向预测图上以及偏执预测图上获取与该预测中心点对应位置的尺寸预测值(wi,hi)、方向预测值di和中心点偏执预测值(ocxi,ocyi)、顶点偏执预测值(otxi,otyi)，或基于预测顶点从偏执预测图上获取与预测顶点对应位置的顶点偏执预测值(otxi,otyi)。
[0102]
其中，预测得到的相对方向预测值di的范围为[0,360)，不过由于三角函数的周期
性，需将该范围映射至[-90,90]之间，因此，可通过以下公式(5)的映射函数来得到角度预测值θi：
[0103][0104]
参见公式(6)所示，由尺寸预测值(wi,hi)可以计算得出以(0，0)为原点的直角坐标系下的该待定位对象的各个角点的第一角点坐标其中，j为正整数，表示不同的角点：
[0105][0106]
参见公式(7)所示，由预测中心点以及相应位置的中心点偏执预测值(ocxi,ocyi)进行相加，即可得出待定位对象在待定位图像z中的真实中心点
[0107][0108]
参见公式(8)所示，然后根据真实中心点以及第一角点坐标并基于角度预测值θi进行旋转变换得出待定位对象在图像坐标系下的第二角点坐标
[0109][0110]
由于有些旋转目标不存在顶点(比如直升机、球、泳池、桥等)，因此不存在顶点的旋转目标，就可直接将基于预测中心点计算得到的第二角点坐标作为其最终的边框角点坐标。所以，本实施例会进一步判断待定位对象是否存在顶点。
[0111]
具体的，参见公式(9)所示，由顶点热力图中的各个预测顶点以及相应位置的偏执预测值(otxi,otyi)计算出各个预测顶点在待定位图像z中对应的真实顶点
[0112][0113]
然后根据预测得出的方预测值向di，判定是否能从方向阈值范围(比如方向阈值范围为[d
i-10，di 10])内找出距离预测中心点位置与尺寸预测值误差最小且类别相同的顶
点。具体的，判断顶点热力图中[d
i-10，di 10]范围内是否存在与待定位对象具有相同类别的真实顶点，若不存在，则该待定位对象不存在实际顶点，此时直接将第二角点坐标作为该待定位对象的角点坐标；若找到一个与待定位对象是相同类别的真实顶点，则将该真实顶点作为实际顶点；而若找到多个与待定位对象是相同类别的真实顶点，则需要基于预测中心点和尺寸预测值从这多个真实顶点中筛选出一个真实顶点作为实际顶点，比如找到3个与待定位对象是相同类别的真实顶点(即a1、a2和a3)，则将a1先与预测中心点进行相减得到第一差值a1
′
，再将该第一差值a1
′
与一半的尺寸预测值(即0.5wi)进行相减得到第二差值a1
″
，同理，得到a2的第二差值a2
″
和a3的第二差值a3
″
，然后从a1
″
、a2
″
和a3
″
中筛选出数值最小的，若a1
″
最小，则a1即为该待定位对象的实际顶点
[0114]
当找到实际顶点后，参见公式(10)所示，就需要根据实际顶点和真实中心点对角度预测值θi进行更新，得到新的角度预测值θ
′i：
[0115][0116]
最后，再将新的角度预测值θ
′i代入公式(9)计算出待定位对象在图像坐标系下的第三角点坐标，该第三角点坐标即为待定位对象的最终边框角点坐标。
[0117]
由此可见，本技术提供了一种两点单阶段旋转目标检测方法，提出的基于空间位置关系的日冕热力图相较于高斯热力图，在高纵横比目标下能够更好的学习目标区域内中心点的位置信息，以更准确地预测细长物体上的中心点；且本技术还使用目标顶点位置预测，联立中心点与顶点避免了因直接对目标方向预测所带来的位置偏差，使得旋转物体的定位更加准确，以使得在船只、车辆、机场和建筑物等航拍场景下，本技术依旧能保持较高的精度。因此，本技术通过将同一个目标不同位置信息整合到一个统一的模型中，能够更加准确地学习目标的局部特征信息，从局部到整体的检测方法，进而达到减少目标的错检率、改善目标旋转框定位效果的目的。
[0118]
本技术实施例还提供了一种旋转目标检测装置，包括：
[0119]
特征提取单元，其用于基于特征提取骨干网络对待定位图像z进行特征提取，得到深度不同的多张第一特征图所述待定位图像z包含多个待定位对象；
[0120]
特征聚合单元，其用于基于特征金字塔网络对所述多张第一特征图进行特征聚合，得到感受野不同的多张第二特征图ρi(z)；
[0121]
特征图处理单元，其用于分别对所述多张第二特征图ρi(z)进行上采样，得到具有相同尺寸的多张第三特征图，并将所述多张第三特征图进行相加，得到融合特征图p(z)；
[0122]
卷积处理单元，其用于将所述融合特征图p(z)输入至卷积层，得到顶点热力图、日冕中心点热力图、尺寸预测图、偏执预测图和方向预测图；
[0123]
坐标计算单元，其用于根据顶点热力图、日冕中心点热力图、尺寸预测图、偏执预测图和方向预测图计算得到所述待定位图像中各个待定位对象的角点坐标。
[0124]
进一步的，所述特征聚合单元具体用于：
[0125]
基于特征金字塔网络分别对所述多张第一特征图进行卷积操作，得到多张卷积后的特征图
[0126]
根据以下公式分别对多张卷积后的特征图进行特征相加处理，得到感受野不同的多张第二特征图ρi(z)；
[0127][0128]
进一步的，所述坐标计算单元具体用于：
[0129]
从顶点热力图中获取多个第一置信度峰值点，并分别将每个第一置信度峰值点作为一个预测顶点，得到多个预测顶点；
[0130]
从日冕中心点热力图中获取第一待定位对象的第二置信度峰值点，并将所述第二置信度峰值点作为所述第一待定位对象的预测中心点；
[0131]
从尺寸预测图中获取与预测中心点对应的尺寸预测值，从方向预测图中获取与预测中心点对应的方向预测值，从偏执预测图中分别获取与每个预测顶点对应的第一浮点偏执值、与预测中心点对应的第二浮点偏执值；
[0132]
根据多个预测顶点、预测中心点、尺寸预测值、方向预测值、多个第一浮点偏执值和第二浮点偏执值计算得到第一待定位对象的角点坐标。
[0133]
进一步的，所述坐标计算单元具体还用于：
[0134]
将方向预测值映射为角度预测值；
[0135]
基于尺寸预测值计算出第一待定位对象在以(0，0)为原点的直角坐标系下的第一角点坐标；
[0136]
根据预测中心点和第二浮点偏执值计算出第一待定位对象在待定位图像z中的真实中心点；
[0137]
基于角度预测值、第一角点坐标和真实中心点计算出第一待定位对象在图像坐标系下的第二角点坐标；
[0138]
根据多个预测顶点、多个第一浮点偏执值、方向预测值和尺寸预测值检测是否存在实际顶点；
[0139]
若不存在实际顶点，则将所述第二角点坐标作为第一待定位对象的角点坐标。
[0140]
进一步的，所述坐标计算单元具体还用于：
[0141]
若存在实际顶点，则根据实际顶点和真实中心点对所述角度预测值进行更新，得到新的角度预测值；
[0142]
基于新的角度预测值、第一角点坐标和真实中心点计算出第一待定位对象在图像坐标系下的第三角点坐标；
[0143]
当检测到所述第三角点坐标与所述第二角点坐标不相等，则将所述第三角点坐标作为第一待定位对象的角点坐标。
[0144]
进一步的，所述坐标计算单元具体还用于：
[0145]
基于多个预测顶点和多个第一浮点偏执值计算出各个预测顶点在待定位图像z中对应的真实顶点；
[0146]
判断顶点热力图中方向阈值范围内是否存在与所述第一待定位对象具有相同类别的真实顶点，所述方向阈值范围基于方向预测值确定；
[0147]
若不存在与所述第一待定位对象具有相同类别的真实顶点，则不存在实际顶点；
[0148]
若存在一个与所述第一待定位对象具有相同类别的真实顶点，则将所述与所述第一待定位对象具有相同类别的真实顶点作为实际顶点；
[0149]
若存在多个与所述第一待定位对象具有相同类别的真实顶点，则基于预测中心点和尺寸预测值从多个与所述第一待定位对象具有相同类别的真实顶点中筛选出一个真实顶点作为实际顶点。
[0150]
进一步的，所述卷积层的卷积核为3
×
3，所述卷积层的层数为4层。
[0151]
由此可见，本技术通过日冕热力图使得网络学习出中心点与非中心点的差异，无需引入大量的超参数，提升了网络对中心点定位的准确性，以更准确地预测细长物体上的中心点，具有较强的鲁棒性；同时利用顶点和中心点来描述旋转物体，避免了直接预测角度所产生的误差，且使用方向预测取代角度预测，可以更准确地描述物体的方向。
[0152]
需要说明的是，所属本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各单元的具体工作过程，可以参考前述旋转目标检测方法实施例中的对应过程，在此不再赘述。
[0153]
上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图3所示的旋转目标检测设备上运行。
[0154]
本技术实施例还提供了一种旋转目标检测设备，包括：通过系统总线连接的存储器、处理器和网络接口，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行，以实现前述的旋转目标检测方法的全部步骤或部分步骤。
[0155]
其中，网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0156]
处理器可以是cpu，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程逻辑门阵列(fieldprogrammable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件分立硬件组件等。通用处理器可以是微处理器，或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
[0157]
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如视频播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像数据等)等。此外，存储器可以包括高速随存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)、至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。
[0158]
本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现前述的旋转目标检测方法的全部步骤或部分步骤。
[0159]
本技术实施例实现前述的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0160]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0161]
本技术是参照根据本技术实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0162]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0163]
以上所述仅是本技术的具体实施方式，使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。