基于注意力融合因子特征金字塔的极小尺度害虫图像检测方法

1.本发明涉及害虫图像检测技术领域，具体来说是基于注意力融合因子特征金字塔的极小尺度害虫图像检测方法。


背景技术：

2.农作物整个生长周期受各种害虫的侵袭，严重影响农作物的产量和质量。农业害虫的识别和检测是农作物害虫监测和防治的关键。由于深度学习技术的飞速发展，基于深度神经网络的识别方法被广泛应用到农业害虫的自动检测和识别任务中。这种识别方法在很大程度上解决了科技人员不足、人工识别难以完成大量害虫识别的难题，能够及时有效地对农业害虫进行防治，降低害虫造成的损失。
3.尽管基于深度学习技术的农业害虫目标检测和识别任务取得了很大的进展，但现有的农业害虫目标检测和识别技术对极小尺度害虫目标的精准识别和检测带来极大的挑战，容易出现漏检和误检的问题。这是因为采集到的害虫目标在图像中的尺度极小，使得深度卷积神经网络对其特征表征困难。当前的方法基本采用特征金字塔网络解决小尺度害虫目标检测和识别，低层细节特征有助于小害虫的识别，高层语义特征有助于较大尺度害虫的识别。但是低层特征在识别小尺度害虫目标时也需要来自其他高层特征的帮助，来自其他层的帮助有多大？如何在特征金字塔网络中的高层和低层特征融合如何平衡两者的信息融合以提升小尺度害虫的特征表征能力。
4.因此，如何进一步提升现有的网络对极小尺度害虫特征表达，实现极小尺度害虫目标检测和识别的高准确性，在智慧植保领域已成为亟待解决的技术问题。


技术实现要素：

5.本发明的目的是为了解决现有技术中难以针对极小尺度害虫图像进行检测的缺陷，提供一种基于注意力融合因子特征金字塔的极小尺度害虫图像检测方法来解决上述问题。
6.为了实现上述目的，本发明的技术方案如下：
7.一种基于注意力融合因子特征金字塔的极小尺度害虫图像检测方法，包括以下步骤：
8.11)极小尺度害虫图像数据的获取：从获取的害虫图像数据中选择极小尺度害虫图像，选取与所选害虫图像对应的极小尺度害虫目标坐标信息和类别标签；
9.12)基于注意力融合因子特征金字塔的构建；
10.13)害虫目标定位分类网络的构建：利用极小尺度害虫图像的细节特征信息构建一阶段无锚框的害虫目标定位分类网络；
11.14)基于注意力融合因子特征金字塔与害虫目标定位分类网络的联合训练：通过软加权损失函数训练基于注意力融合因子特征金字塔与害虫目标定位分类网络；
12.15)待测极小尺度害虫图像的获取：获取待检测的极小尺度害虫图像；
13.16)极小尺度害虫图像的定位识别：将待检测极小尺度害虫图像输入训练后的基于注意力融合因子特征金字塔，获取极小尺度害虫图像的细节特征信息；将提取到的极小尺度害虫图像的细节特征信息输入到训练后的害虫目标定位分类网络得到害虫目标的类别和对应的位置坐标，并统计每类害虫的数量。
14.所述基于注意力融合因子特征金字塔的构建包括以下步骤：
15.21)设定多尺度害虫特征提取网络为深度残差网络，用于强化害虫目标的特征表达能力，选择深度残差网络的4个残差块的输出特征图，记为f1、f2、f3和f4，作为基于注意力融合因子特征金字塔的输入，从中提取极小尺度害虫丰富的特征信息；
16.22)将输入到基于注意力融合因子的特征金字塔网络的特征图f1、f2、f3和f4进行通道变换，采用1x1x256的卷积层，输出的的害虫特征图的通道数量统一为256，输出特征图分别为f1'、f2'、f3'和f4'；
17.23)对输入到基于注意力融合因子的特征金字塔网络的特征图f4'做尺度变换，采用双线性插值方法将输入害虫特征图的进行2倍上采样，输出的特征图大小变为原来的2倍，即为f
4”；
18.24)将上采样后的害虫特征图f
4”输入到注意力权重生成模块，
19.注意力权重生成模块的第一层为卷积核大小为1
×
1的卷积层，第二层为relu非线性激活层，第三层为卷积核大小为3
×
3卷积层，进一步提取极小尺度害虫特征信息，最后采用sigmoid激活函数，输出注意力权重w；
20.25)将上采样后的害虫特征图f
4”与输出的注意力权重w点乘后，与步骤22)输出的通道变换后的特征图f3'通过对应位置点相加操作进行特征图的融合，输出具有注意力特征的害虫特征图p1，构成基于注意力融合因子特征金字塔的第一层级；
21.26)将生成的基于注意力融合因子特征金字塔的第一层害虫特征图p1作为输入，执行步骤23),输出特征图p1'；将生成的特征金字塔第一层害虫特征p1作为输入，执行步骤25),输出注意力权重w',将特征图p1'与输出注意力权重w'进行点乘后，与步骤22)输出的通道变换后的特征图f2'通过对应位置点相加操作进行特征图的融合，输出具有注意力特征的害虫特征图p2，构成基于注意力融合因子特征金字塔的第二层级；
22.27)将生成的特征金字塔第一层害虫特征图p2作为输入，执行步骤23),输出特征图p2'；将生成的特征金字塔第一层害虫特征p2作为输入，执行步骤25),输出注意力权重w”,将特征图p2'与输出注意力权重w”进行点乘后，与步骤22)输出的通道变换后的特征图f1'通过对应位置点相加操作进行特征图的融合，输出具有注意力特征的害虫特征图p3，构成基于注意力融合因子特征金字塔的第三层级；
23.28)最后经过以上步骤得到注意力特征的害虫特征图p1、p2和p3，构成了具有三层融合注意力特征图的特征金字塔网络。
24.所述害虫目标定位分类网络的构建包括以下步骤：
25.31)设定害虫目标定位分类网络为一阶段无锚框的多类别害虫目标定位分类网络；
26.32)设定多类别害虫目标定位分类网络包括极小尺度害虫特征变换层、极小尺度害虫定位子网络和极小尺度害虫分类子网络；
27.33)设定极小尺度害虫特征变换层的输入为融合注意力的害虫特征图，其采用256个3
×
3的卷积层，对害虫特征图做进一步特征提取，得到极小尺度害虫特征信息；
28.34)设定极小尺度害虫定位子网络和极小尺度害虫分类子网络的输入均为极小尺度害虫特征信息；
29.其中，极小尺度害虫定位子网络采用1
×1×
4c的卷积层，输出极小尺度害虫对应类别的位置，其中c为害虫类别数，4表示害虫目标边界框的位置信息(l,r,t,b)，其中变量l、r、t、b分别是害虫中心点到边界框的左、右、上、下边界的距离；
30.极小尺度害虫分类子网络采用1
×1×
c的卷积层，输出极小尺度害虫对应的类别名。
31.所述基于注意力融合因子特征金字塔与害虫目标定位分类网络的联合训练包括以下步骤：
32.41)正、负训练样本的确定：
33.411)将具有坐标信息和类别标签的极小尺度害虫图像输入深度残差网络和基于注意力融合因子特征金字塔，
34.其中对应的坐标信息和类别标签表示为(x,y,w,h,l),(x,y)和(w,h)分别是害虫边界框的中心点的坐标和长度、宽度，l是小尺度害虫的类别标签；
35.分别通过深度残差网络和基于注意力融合因子特征金字塔后得到极小尺度害虫特征图pk，其对应的步长为sk，其中k＝1、2、3；
36.412)正样本区域的定义，在害虫目标的真实标注框内定义一个有效正样本区域：对中心点为(x,y)的区域，其正样本区域为(x-rsk,y-rsk,x rsk,y rsk)，其中r为区域超参数，设置为1.5，sk表示特征图步长；
37.413)极小尺度害虫特征图映射：
38.将特征图pk中每个位置(xi,yi)，映射到原始害虫图像中，得到位置(xo,yo)，映射关系为：
[0039][0040]
414)正、负样本点确定：
[0041]
利用得到的正样本区域，判断极小尺度害虫特征图中的样本点映射后的位置是否落入正样本区域内，若落入正样本区域，则对应的样本点为正样本，且其类别标签为对应标注框的标签l，否则是负样本点，对应的标签为0；
[0042]
42)利用得到的正、负训练样本训练害虫目标定位分类网络计算网络损失值；
[0043]
421)损失值的权重计算：
[0044]
利用软加权损失函数，训练害虫目标定位分类网络时，所有正样本给予不同的关注度，即距离害虫目标中心越近的位置，给予越多的关注度；
[0045]
小尺度害虫图像位置(i,j)处的样本点p
ij
给与的权重w
ij
为：
[0046][0047]
其中，函数f度量样本点到害虫目标边界框b的距离，距离越近则对应的权重越大，
该权重函数f的定义如下：
[0048][0049]
其中，变量l、r、t、b分别是害虫中心点到边界框的左、右、上、下边界的距离；
[0050]
422)害虫目标定位分类网络训练总损失值的计算：
[0051]
设定害虫目标定位分类网络的总损失值等于极小尺度害虫定位子网络和极小尺度害虫分类子网络两个子网络的损失值之和；
[0052]
极小尺度害虫分类子网络采用focal loss损失函数，解决正负样本不平衡的问题，极小尺度害虫定位子网络采用iou loss损失函数，
[0053]
害虫目标定位分类网络的总损失函数为：
[0054][0055]
其中，p表示样本，p

和p-和分别表示正样本和负样本，变量从c、d和f分别表示网络预测害虫的类别、边界框和中心权重值，c
*
、d
*
和f
*
则是对应的真实标注值；l
fl
和l
iou
分别表示focal loss和iou loss损失函数；
[0056]
423)深度残差网络、基于注意力融合因子特征金字塔与害虫目标定位分类网络的训练：
[0057]
将选取的具有坐标信息和类别标签的极小尺度害虫图像输入到深度残差网络提取害虫特征，然后进一步输入到基于注意力融合因子特征金字塔输出融合注意力的极小尺度害虫信息，再输入到害虫目标定位分类网络，通过将害虫目标定位分类网络预测结果与标注的真实坐标信息、类别标签进行比较，利用步骤422)计算害虫目标定位分类网络的总损失值，采用梯度反向传播算法实现深度残差网络、基于注意力融合因子特征金字塔与害虫目标定位分类网络的参数更新，当深度残差网络、基于注意力融合因子特征金字塔与害虫目标定位分类网络三者的总损失为0或者达到设定值后，训练完成。
[0058]
有益效果
[0059]
本发明的基于注意力融合因子特征金字塔的极小尺度害虫图像检测方法，与现有技术相比提升了对小尺度害虫图像的细节特征提取的能力，增强了小尺度害虫的特征表达能力；采用无锚框的害虫位置回归方法，避免复杂的锚框设置，提升小尺度害虫目标检测的效率；最后，通过将权重因子引入到损失函数中，降低小尺度害虫的误检，由此提高了小尺度害虫图像检测的精度和速度。
[0060]
本发明所述方法能够应用在多类别小尺度害虫的识别和定位任务中，有效提升小尺度害虫图像检测的准确度和效率。
[0061]
本发明通过将注意力融合因子引入到特征金字塔网络，使得特征金字塔网络在做底层和高层特征融合时能够自适应地调整底层特征层获取来自高层特征图的帮助，进一步丰富极小尺度害虫的害虫。另一方面，对于在网络优化，在此发现对不同的样本应该给予不同的关注度，即距离害虫目标中心越近的位置，给予越多的关注度，因此采用软加权损失函数以优化神经网络的参数，能够降低极小尺度害虫目标检测的误检率。
附图说明
[0062]
图1为本发明的方法顺序图；
[0063]
图2为利用本发明方法对极小尺寸害虫图像进行检测的效果图。
具体实施方式
[0064]
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
[0065]
如图1所示，本发明所述的一种基于注意力融合因子特征金字塔的极小尺度害虫图像检测方法，包括以下步骤：
[0066]
第一步，极小尺度害虫图像数据的获取：从获取的害虫图像数据中选择极小尺度害虫图像，选取与所选害虫图像对应的极小尺度害虫目标坐标信息和类别标签。
[0067]
第二步，基于注意力融合因子特征金字塔的构建。
[0068]
由于实际场景中的害虫目标尺度极小，而深度神经网络对害虫特征的表征能力有限，导致小尺度害虫目标检测和识别精度低。现有的解决方法采用特征金字塔网络的底层特征检测小尺度害虫目标，但是没有考虑高层特征对低层特征在检测害虫目标过程中的帮助。因此，本发明提出一种基于注意力融合因子的特征金字塔网络，该多尺度害虫特征提取网络为深度残差网络，该网络能够强化害虫目标的特征表达能力。构建基于注意力融合因子的特征金字塔网络，将小尺度害虫图像输入到基于注意力融合因子的特征金字塔网络，从中提取小尺度害虫丰富的特征信息。
[0069]
其具体步骤如下：
[0070]
(1)设定多尺度害虫特征提取网络为深度残差网络，用于强化害虫目标的特征表达能力，选择深度残差网络的4个残差块的输出特征图，记为f1、f2、f3和f4，作为基于注意力融合因子特征金字塔的输入，从中提取极小尺度害虫丰富的特征信息。
[0071]
(2)将输入到基于注意力融合因子的特征金字塔网络的特征图f1、f2、f3和f4进行通道变换，采用1x1x256的卷积层，输出的的害虫特征图的通道数量统一为256，输出特征图分别为f1'、f2'、f3'和f4'。
[0072]
(3)对输入到基于注意力融合因子的特征金字塔网络的特征图f4'做尺度变换，采用双线性插值方法将输入害虫特征图的进行2倍上采样，输出的特征图大小变为原来的2倍，即为f
4”。
[0073]
(4)将上采样后的害虫特征图f
4”输入到注意力权重生成模块，
[0074]
注意力权重生成模块的第一层为卷积核大小为1
×
1的卷积层，第二层为relu非线性激活层，第三层为卷积核大小为3
×
3卷积层，进一步提取极小尺度害虫特征信息，最后采用sigmoid激活函数，输出注意力权重w。
[0075]
(5)将上采样后的害虫特征图f
4”与输出的注意力权重w点乘后，与步骤(2)输出的通道变换后的特征图f3'通过对应位置点相加操作进行特征图的融合，输出具有注意力特征的害虫特征图p1，构成基于注意力融合因子特征金字塔的第一层级。
[0076]
(6)将生成的基于注意力融合因子特征金字塔的第一层害虫特征图p1作为输入，执行步骤(3),输出特征图p1'；将生成的特征金字塔第一层害虫特征p1作为输入，执行步骤(5),输出注意力权重w',将特征图p1'与输出注意力权重w'进行点乘后，与步骤(2)输出的
通道变换后的特征图f2'通过对应位置点相加操作进行特征图的融合，输出具有注意力特征的害虫特征图p2，构成基于注意力融合因子特征金字塔的第二层级。
[0077]
(7)将生成的特征金字塔第一层害虫特征图p2作为输入，执行步骤(3),输出特征图p2'；将生成的特征金字塔第一层害虫特征p2作为输入，执行步骤(5),输出注意力权重w”,将特征图p2'与输出注意力权重w”进行点乘后，与步骤(2)输出的通道变换后的特征图f1'通过对应位置点相加操作进行特征图的融合，输出具有注意力特征的害虫特征图p3，构成基于注意力融合因子特征金字塔的第三层级。
[0078]
(8)最后经过以上步骤得到注意力特征的害虫特征图p1、p2和p3，构成了具有3层融合注意力特征图的特征金字塔网络。
[0079]
第三步，害虫目标定位分类网络的构建：利用极小尺度害虫图像的细节特征信息构建一阶段无锚框的害虫目标定位分类网络。由于现有方法存在检测效率低，且人工设置锚框的大小和数量不合理，难以快速、精准提取小尺度害虫的感兴趣区域，因此，本发明提出一种一阶段无锚框的多类别害虫目标定位和分类网络，通过学习害虫目标的中心到边界框距离，实现小尺度害虫目标的精准定位。其具体步骤如下：
[0080]
(1)设定害虫目标定位分类网络为一阶段无锚框的多类别害虫目标定位分类网络。
[0081]
(2)设定多类别害虫目标定位分类网络包括极小尺度害虫特征变换层、极小尺度害虫定位子网络和极小尺度害虫分类子网络。
[0082]
(3)设定极小尺度害虫特征变换层的输入为融合注意力的害虫特征图，其采用256个3
×
3的卷积层，对害虫特征图做进一步特征提取，得到极小尺度害虫特征信息。
[0083]
(4)设定极小尺度害虫定位子网络和极小尺度害虫分类子网络的输入均为极小尺度害虫特征信息；
[0084]
其中，极小尺度害虫定位子网络采用1
×1×
4c的卷积层，输出极小尺度害虫对应类别的位置，其中c为害虫类别数，4表示害虫目标边界框的位置信息(l,r,t,b),其中变量l、r、t、b分别是害虫中心点到边界框的左、右、上、下边界的距离；
[0085]
极小尺度害虫分类子网络采用1
×1×
c的卷积层，输出极小尺度害虫对应的类别名。
[0086]
第四步，基于注意力融合因子特征金字塔与害虫目标定位分类网络的联合训练：通过软加权损失函数训练基于注意力融合因子特征金字塔与害虫目标定位分类网络。
[0087]
基于注意力融合因子特征金字塔网络与害虫目标定位分类网络的单独训练会导致网络训练效率低、复杂度高，不利于应用实际场景。因此本发明将注意力融合因子特征金字塔网络与害虫目标定位分类网络就进行联合训练，仅设计一个损失函数用于优化在提升训练效率的同时也能提升检测精度。
[0088]
其具体步骤如下：
[0089]
(1)正、负训练样本的确定，不同于基于锚框的物体检测方法，通过采用基于交并比的方法确定正、负训练样本。本发明采用无锚框的害虫目标检测方法，采用一种基于中心圆落入法判定正、负训练样本。
[0090]
a1)将具有坐标信息和类别标签的极小尺度害虫图像输入深度残差网络和基于注意力融合因子特征金字塔，
[0091]
其中对应的坐标信息和类别标签表示为(x,y,w,h,l),(x,y)和(w,h)分别是害虫边界框的中心点的坐标和长度、宽度，l是小尺度害虫的类别标签；
[0092]
分别通过深度残差网络和基于注意力融合因子特征金字塔后得到极小尺度害虫特征图pk，其对应的步长为sk，其中k＝1、2、3；
[0093]
a2)正样本区域的定义，在害虫目标的真实标注框内定义一个有效正样本区域：对中心点为(x,y)的区域，其正样本区域为(x-rsk,y-rsk,x rsk,y rsk)，
[0094]
其中r为区域超参数，设置为1.5，sk表示特征图步长；
[0095]
a3)极小尺度害虫特征图映射：
[0096]
将特征图pk中每个位置(xi,yi)，映射到原始害虫图像中，得到位置(xo,yo)，映射关系为：
[0097][0098]
a4)正、负样本点确定：
[0099]
利用得到的正样本区域，判断极小尺度害虫特征图中的样本点映射后的位置是否落入正样本区域内，若落入正样本区域，则对应的样本点为正样本，且其类别标签为对应标注框的标签l，否则是负样本点，对应的标签为0。
[0100]
(2)利用得到的正、负训练样本训练害虫目标定位分类网络计算网络损失值，采用通常的方法训练网络会导致无效的训练，使得小尺度害虫检测精度较低，本发明设计了一种软加权损失函数，在网络训练时，所有正样本给予不同的关注度，即距离害虫目标中心越近的位置，给予越多的关注度。
[0101]
b1)损失值的权重计算：
[0102]
利用软加权损失函数，训练害虫目标定位分类网络时，所有正样本给予不同的关注度，即距离害虫目标中心越近的位置，给予越多的关注度；
[0103]
小尺度害虫图像位置(i,j)处的样本点p
ij
给与的权重w
ij
为：
[0104][0105]
其中，函数f度量样本点到害虫目标边界框b的距离，距离越近则对应的权重越大，该权重函数f的定义如下：
[0106][0107]
其中，变量l、r、t、b分别是害虫中心点到边界框的左、右、上、下边界的距离；
[0108]
b2)害虫目标定位分类网络训练总损失值的计算：
[0109]
设定害虫目标定位分类网络的总损失值等于极小尺度害虫定位子网络和极小尺度害虫分类子网络两个子网络的损失值之和；
[0110]
极小尺度害虫分类子网络采用focal loss损失函数，解决正负样本不平衡的问题，极小尺度害虫定位子网络采用iou loss损失函数，
[0111]
害虫目标定位分类网络的总损失函数为：
[0112][0113]
其中，p表示样本，p

和p-和分别表示正样本和负样本，变量从c、d和f分别表示网络预测害虫的类别、边界框和中心权重值，c
*
、d
*
和f
*
则是对应的真实标注值；l
fl
和l
iou
分别表示focal loss和iou loss损失函数；
[0114]
b3)深度残差网络、基于注意力融合因子特征金字塔与害虫目标定位分类网络的训练：
[0115]
将选取的具有坐标信息和类别标签的极小尺度害虫图像输入到深度残差网络提取害虫特征，然后进一步输入到基于注意力融合因子特征金字塔输出融合注意力的极小尺度害虫信息，再输入到害虫目标定位分类网络，通过将害虫目标定位分类网络预测结果与标注的真实坐标信息、类别标签进行比较，利用步骤b2)计算害虫目标定位分类网络的总损失值，采用梯度反向传播算法实现深度残差网络、基于注意力融合因子特征金字塔与害虫目标定位分类网络的参数更新，当深度残差网络、基于注意力融合因子特征金字塔与害虫目标定位分类网络三者的总损失为0或者达到设定值后，训练完成。
[0116]
第五步，待测极小尺度害虫图像的获取：获取待检测的极小尺度害虫图像。
[0117]
第六步，极小尺度害虫图像的定位识别：将待检测极小尺度害虫图像输入训练后的基于注意力融合因子特征金字塔，获取极小尺度害虫图像的细节特征信息；将提取到的极小尺度害虫图像的细节特征信息输入到训练后的害虫目标定位分类网络得到害虫目标的类别和对应的位置坐标，并统计每类害虫的数量。
[0118]
本发明通过构建基于注意力融合因子的特征金字塔网络，提升了网络对小尺度害虫图像的细节特征提取的能力，增强了小尺度害虫的特征表达能力；采用无锚框的害虫位置回归方法，避免复杂的锚框设置，提升小尺度害虫目标检测的效率；最后，通过将权重因子引入到损失函数中，降低小尺度害虫的误检，由此提升了小尺度害虫图像检测的精度和速度。本发明提出的基于注意力融合因子的特征金字塔网络的小尺度害虫图像检测方法，能够应用在多类别小尺度害虫的识别和定位任务中，有效提升小尺度害虫图像检测的准确度和效率。
[0119]
通过在小尺度害虫图像数据集上的实验表明，如表1所示，本发明所述方法的小尺度害虫的检测准确度要高于当前比较先进的检测方法。图2为利用本发明方法对多类别害虫图像进行检测的效果图，由图2可以看出，尽管害虫尺度极小，但是本发明所述的检测方法仍然表现较好。这是由于构建基于注意力融合因子的特征金字塔网络，提升了网络对小尺度害虫图像的细节特征提取的能力，增强了小尺度害虫的特征表达能力；同时通过将权重因子引入到损失函数中，降低小尺度害虫的误检，最终实现小尺度害虫图像的精准检测。
[0120]
表1采用本发明的方法在小尺度害虫图像数据集的检测结果
[0121]
方法apap
0.5
ap
0.75
apsapmap
l
retinanet41.264.748.425.747.345.0atss46.672.655.431.751.040.0fsaf45.271.352.730.549.535.1fcos45.771.953.532.850.945.0
freeanchor43.668.151.627.148.740.1本发明方法48.975.857.236.153.160.0
[0122]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。