作物目标检测方法、装置、设备及计算机存储介质

本技术涉及图像检测，尤其涉及一种作物目标检测方法、装置、设备及计算机存储介质。

背景技术：

1、作物目标检测是精准农业和农业自动化监测中的一项关键技术，旨在通过分析无人机采集的田间影像，自动识别与定位作物作物，为苗情评估、密度统计及补苗决策提供数据支持。

2、现有的一般采用双向特征金字塔网络（bidirectional feature pyramidnetwork，bifpn）或路径聚合网络（path aggregation network，panet）等特征融合模块，但由于bifpn以及panet等方法一般采用单一卷积核（如3×3或5×5），难以同时适应因无人机固定高度飞行导致的分辨率不一致的作物影像（近处作物大而清晰，远处作物小而模糊），从而导致作物图像的检测精度较低。

技术实现思路

1、本技术的主要目的在于提供一种作物目标检测方法，旨在解决如何提升作物目标检测的检测精度的技术问题。

2、为实现上述目的，本技术提出一种作物目标检测方法，所述方法包括：

3、获取待检测作物图像，并对所述待检测作物图像进行尺寸预处理，得到预设输入尺寸的输入图像；

4、将所述输入图像输入至预先构建的骨干特征提取网络，提取具有不同空间分辨率的骨干特征，并基于所述骨干特征构建依次记为p3至p7的五级输入特征，其中，p3特征的空间分辨率最高，p7特征的空间分辨率最低；

5、在首轮双向特征融合网络的输入预处理阶段，利用双尺度选择性核注意力模块，分别对所述p3输入特征和p4输入特征进行预增强处理；

6、利用至少一轮双向特征融合网络，对p3至p7特征进行自顶向下融合和自底向上融合，并在每一轮双向特征融合网络的p4自顶向下融合节点、p3自顶向下融合节点和p4自底向上融合节点中，利用所述双尺度选择性核注意力模块对相应融合特征进行增强处理；

7、基于最后一轮双向特征融合网络输出的p3至p7多尺度融合特征，对所述待检测作物图像中的作物目标进行类别识别和位置回归，得到检测结果；

8、其中，所述双尺度选择性核注意力模块对输入特征执行如下增强操作：

9、对输入特征执行第一尺度卷积，得到第一尺度特征；

10、对所述第一尺度特征继续执行第二尺度卷积，得到第二尺度特征，所述第二尺度卷积的有效感受野大于所述第一尺度卷积；

11、分别对所述第一尺度特征和所述第二尺度特征进行通道调整，并将通道调整后的所述第一尺度特征和所述第二尺度特征在通道维度拼接，获得拼接特征；

12、沿所述拼接特征的通道维度分别计算获得平均特征和最大特征，并根据所述平均特征和所述最大特征生成分别对应于所述第一尺度特征和所述第二尺度特征的空间注意力权重；

13、根据各所述空间注意力权重，对通道调整后的所述第一尺度特征和所述第二尺度特征进行加权求和，并将加权求和的结果恢复至所述输入特征的通道数，将恢复通道数后的特征与所述输入特征逐元素相乘，得到增强后的输出特征。

14、在一实施例中，所述双尺度选择性核注意力模块中，所述第一尺度卷积为卷积核尺寸为5×5、步长为1、填充为2的深度卷积；

15、所述第二尺度卷积为卷积核尺寸为7×7、步长为1、膨胀率为3、填充为9的空洞深度卷积；

16、所述第一尺度特征和所述第二尺度特征分别通过1×1卷积降至所述输入特征通道数的一半；

17、所述平均特征和所述最大特征经拼接后，通过卷积核尺寸为7×7、填充为3且输出通道数为2的卷积及sigmoid激活生成两个所述空间注意力权重。

18、在一实施例中，所述骨干特征包括依次标记为c3、c4和c5三个骨干特征，所述基于所述骨干特征构建依次记为p3至p7的五级输入特征的步骤，包括：

19、分别对c3、c4和c5进行通道调整以得到p3、p4和p5输入特征；

20、对经通道调整的c5骨干特征执行卷积核尺寸为3×3、步长为2的最大池化得到p6输入特征；

21、对p6输入特征再次执行卷积核尺寸为3×3、步长为2的最大池化得到p7输入特征。

22、在一实施例中，所述利用所述双尺度选择性核注意力模块对相应融合特征进行增强处理的步骤，包括：

23、在所述双向特征融合网络中的每一融合节点分别为各所述输入特征设置可学习标量权重，对所述可学习标量权重进行非负化处理，并按照非负化后的权重之和与预设稳定项对各所述可学习标量权重进行归一化，获得归一化权重；

24、根据归一化权重对各所述输入特征进行加权求和，对加权求和结果依次执行非线性激活、3×3深度卷积和1×1逐点卷积；

25、在所述p4自顶向下融合节点、所述p3自顶向下融合节点和所述p4自底向上融合节点中，在所述1×1逐点卷积之后、所述批量归一化之前执行所述双尺度选择性核注意力增强。

26、在一实施例中，所述非负化处理采用relu函数，所述预设稳定项为10-4，所述非线性激活采用swish或silu函数；

27、自顶向下融合中的尺度变换采用放大倍数为2的插值上采样，所述插值上采样为最近邻插值或双线性插值；

28、自底向上融合中的尺度变换采用卷积核尺寸为3×3、步长为2的最大池化。

29、在一实施例中，所述对所述待检测作物图像中的作物目标进行类别识别和位置回归，得到检测结果的步骤，包括：

30、通过分类网络对每个锚框输出若干个类别预测值，并分别对各所述类别预测值执行sigmoid激活，获得所述待检测作物图像中作物目标的类别信息；

31、通过边界框回归网络对每个锚框输出预设数量的边界框回归参数，基于各所述边界框回归参数获得所述待检测作物图像中作物目标的位置信息；

32、基于所述类别信息以及所述位置信息获得所述待检测作物图像中所述作物目标的检测结果；

33、其中，所述分类网络和所述边界框回归网络分别包括4个依次设置的深度可分离卷积块以及一个深度可分离输出卷积块，每个深度可分离卷积块包括3×3深度卷积、1×1逐点卷积、尺度对应的批量归一化和swish激活，同一网络中的卷积参数在p3至p7之间共享，不同尺度采用相互独立的批量归一化参数。

34、在一实施例中，在p3至p7的每个特征位置设置9个预设锚框，所述9个预设锚框由尺度系数1、2(1/3)和2(2/3)与长宽比1:1、2:1和1:2交叉组合形成，基础锚框尺度参数为4。

35、此外，为实现上述目的，本技术还提出一种作物目标检测装置，所述装置包括：

36、图像处理模块，用于获取待检测作物图像，并对所述待检测作物图像进行尺寸预处理，得到预设输入尺寸的输入图像；

37、特征提取模块，用于将所述输入图像输入至预先构建的骨干特征提取网络，提取具有不同空间分辨率的骨干特征，并基于所述骨干特征构建依次记为p3至p7的五级输入特征，其中，p3特征的空间分辨率最高，p7特征的空间分辨率最低；

38、特征增强模块，用于在首轮双向特征融合网络的输入预处理阶段，利用双尺度选择性核注意力模块，分别对所述p3输入特征和p4输入特征进行预增强处理；

39、特征融合模块，用于利用至少一轮双向特征融合网络，对p3至p7特征进行自顶向下融合和自底向上融合，并在每一轮双向特征融合网络的p4自顶向下融合节点、p3自顶向下融合节点和p4自底向上融合节点中，利用所述双尺度选择性核注意力模块对相应融合特征进行增强处理；

40、结果检测模块，用于基于最后一轮双向特征融合网络输出的p3至p7多尺度融合特征，对所述待检测作物图像中的作物目标进行类别识别和位置回归，得到检测结果。

41、此外，为实现上述目的，本技术还提出一种作物目标检测设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的作物目标检测方法的步骤。

42、此外，为实现上述目的，本技术还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上文所述的作物目标检测方法。

43、本技术提出了一种作物目标检测方法、装置、设备及计算机存储介质，所述方法包括：获取待检测作物图像，并对所述待检测作物图像进行尺寸预处理，得到预设输入尺寸的输入图像；将所述输入图像输入至预先构建的骨干特征提取网络，提取具有不同空间分辨率的骨干特征，并基于所述骨干特征构建依次记为p3至p7的五级输入特征，其中，p3特征的空间分辨率最高，p7特征的空间分辨率最低；在首轮双向特征融合网络的输入预处理阶段，利用双尺度选择性核注意力模块，分别对所述p3输入特征和p4输入特征进行预增强处理；利用至少一轮双向特征融合网络，对p3至p7特征进行自顶向下融合和自底向上融合，并在每一轮双向特征融合网络的p4自顶向下融合节点、p3自顶向下融合节点和p4自底向上融合节点中，利用所述双尺度选择性核注意力模块对相应融合特征进行增强处理；基于最后一轮双向特征融合网络输出的p3至p7多尺度融合特征，对所述待检测作物图像中的作物目标进行类别识别和位置回归，得到检测结果。

44、本技术作物目标检测方法及设备可设置有基于双尺度选择性核注意力与多轮双向特征融合的检测机制，可获取待检测作物图像并进行尺寸预处理得到输入图像，通过骨干特征提取网络获得p3至p7五级输入特征（p3空间分辨率最高，p7最低），在首轮双向特征融合网络的输入预处理阶段利用双尺度选择性核注意力模块对p3和p4特征进行预增强，再利用至少一轮双向特征融合网络对p3至p7特征进行自顶向下和自底向上融合，并在各轮融合的p4、p3自顶向下节点及p4自底向上节点中利用该注意力模块对融合特征进行增强，最后基于末轮输出的多尺度融合特征进行类别识别和位置回归。进而在实际检测过程中，系统通过双尺度选择性核注意力模块在融合关键节点动态融合不同感受野的特征信息，有效提取和增强作物目标的多尺度特征，使网络能够同时适应不同尺寸的幼苗目标。相比于现有特征融合方法采用单一卷积核难以应对无人机影像中作物尺度不一致的问题，本技术通过在特征融合的关键位置引入双尺度选择性核注意力机制，能够在保持计算效率的同时提升多尺度特征的表达能力，进而用户在实施作物目标检测时，可直接获得更准确、更鲁棒的检测结果，提升了农业智能化监测的精度与可靠性。