融合全局细粒度信息的夜间小目标果实检测方法及系统

1.本公开属于农业机械目标检测技术领域，尤其涉及一种融合全局细粒度信息的夜间小目标果实检测方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
3.小目标果实的精准检测是实现果实生长全过程监测、自动化农药喷洒与智能化施肥等农业作业的基础。受目标果实大小的影响，目标果实在未成熟阶段，特别是在果实生长早期，由于目标果实较小，采集的图像中所包含的小目标果实的像素信息过少，极大的限制了小目标果实检测精确度的增加。此外，在复杂的非结构果园环境中，诸多果实的表皮颜色与果园背景颜色相近，从而大大增加了小目标果实的检测难度。
4.在小目标果实检测早期，主要采用机器学习与图像处理技术，借助图像的色彩、纹理信息与分类器等诸多方法来实现小目标果实的检测。近年来，随着深度学习技术的发展，深度学习已经被应用到小目标果实检测领域。以卷积神经网络为例，利用卷积神经网络提取特征，然后将特征映射输入到检测器中，从而获得目标果实的检测结果。然而，发明人发现，基于卷积神经网络的特征提取结构仅提取卷积核内的重要信息，未能从全局范围内提取特征；同时，可提取全局特征transformer结构仅考虑全局粗粒度信息，未能将局部细粒度信息考虑在内，这对小目标果实的检测造成不利影响。


技术实现要素：

5.本公开为了解决上述问题，提供了一种融合全局细粒度信息的夜间小目标果实检测方法及系统，所述方案通过引入焦点机制，将全局细粒度信息融合至金字塔特征映射中，来填补了特征提取过程中被忽略的全局细粒度信息，提高小目标果实检测的识别精确度。
6.根据本公开实施例的第一个方面，提供了一种融合全局细粒度信息的夜间小目标果实检测方法，包括：
7.获取待检测的果实图像；
8.基于预先训练的残差网络模型，对所述果实图像进行特征提取；其中，所述残差网络模型包括若干卷积块及焦点瓶颈transformer结构，通过所述焦点瓶颈transformer结构从全局区域提取粗粒度信息和局部细粒度信息；
9.将所述残差网络模型每层输出的特征，作为特征金字塔网络模型每层的输入，输出不同尺度下的特征信息；
10.将所述特征信息输入到预先训练的目标检测器中，输出目标检测结果。
11.进一步的，所述焦点瓶颈transformer结构为带有残差结构且中间层为焦点transformer层的瓶颈结构组成。
12.进一步的，所述焦点transformer层的编码器经过带有残差结构的焦点多头自注
意力机制模块和带有残差结构的多层感知机，获得全局粗粒度信息与局部细粒度信息。
13.进一步的，所述残差网络模型包括五部分，其中，前四部分均为卷积块，第五部分为焦点瓶颈transformer结构，第四部分卷积块的输出结果输入到所述焦点瓶颈transformer结构中。
14.进一步的，所述残差网络模型的训练，具体为：
15.构建训练数据集，其中，所述数据集的样本为在夜间led光照条件下采集的未成熟果实的远景图像，且所述远景图像中利用图像标注工具进行多边形标注；
16.基于所述训练数据集，对所述残差网络模型进行训练，获得训练好的残差网络模型。
17.根据本公开实施例的第二个方面，提供了一种融合全局细粒度信息的夜间小目标果实检测系统，包括：
18.数据获取单元，其用于获取待检测的果实图像；
19.特征提取单元，其用于基于预先训练的残差网络模型，对所述果实图像进行特征提取；其中，所述残差网络模型包括若干卷积块及焦点瓶颈transformer结构，通过所述焦点瓶颈transformer层从全局区域提取粗粒度信息和局部细粒度信息；将所述残差网络模型每层输出的特征，作为特征金字塔网络模型每层的输入，输出不同尺度下的特征信息；
20.目标检测单元，其用于将所述特征信息输入到预先训练的目标检测器中，输出目标检测结果。
21.根据本公开实施例的第三个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述一种融合全局细粒度信息的夜间小目标果实检测方法。
22.根据本公开实施例的第四个方面，提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，实现上述一种融合全局细粒度信息的夜间小目标果实检测方法。
23.与现有技术相比，本公开的有益效果是：
24.(1)本公开提供了一种融合全局细粒度信息的夜间小目标果实检测方法及系统，所述方案通过引入焦点机制，将全局细粒度信息融合至金字塔特征映射中，来填补了特征提取过程中被忽略的全局细粒度信息，提高小目标果实检测的识别精确度。
25.(2)本公开所述方案补充了现有transformer在提取全局特征的细粒度信息时的不足，适用于农业对提升小目标果实实检精确度的要求。
26.(3)本公开所述方案将局部信息、全局粗粒度信息与其局部细粒度信息相融合，弥补了全局细粒度角度缺失的细节信息。
27.本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
28.构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示
意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
29.图1为本公开实施例一中所述的融合全局细粒度信息的夜间小目标果实检测方法的网络模型整体流程图；
30.图2为本公开实施例一中所述的采集的rgb图像及其标记结果；
31.图3为本公开实施例一中所述的焦点瓶颈transformer结构示意图；
32.图4为本公开实施例一中所述的焦点transformer层示意图；
33.图5为本公开实施例一中所述的小目标果实的检测结果示意图；
34.图6为本公开实施例一中所述的焦点多头自注意力结构整体结构示意图。
具体实施方式
35.下面结合附图与实施例对本公开做进一步说明。
36.应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
37.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
38.在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
39.实施例一：
40.本实施例的目的是提供一种融合全局细粒度信息的夜间小目标果实检测方法。
41.一种融合全局细粒度信息的夜间小目标果实检测方法，包括：
42.获取待检测的果实图像；
43.基于预先训练的残差网络模型，对所述果实图像进行特征提取；其中，所述残差网络模型包括若干卷积块及焦点瓶颈transformer结构，通过所述焦点瓶颈transformer结构从全局区域提取粗粒度信息和局部细粒度信息；
44.将所述残差网络模型每层输出的特征，作为特征金字塔网络模型每层的输入，输出不同尺度下的特征信息；
45.将所述特征信息输入到预先训练的目标检测器中，输出目标检测结果。
46.进一步的，所述焦点瓶颈transformer结构为带有残差结构且中间层为焦点transformer层的瓶颈结构组成。
47.进一步的，所述焦点transformer层的编码器经过带有残差结构的焦点多头自注意力机制模块和带有残差结构的多层感知机，获得全局粗粒度信息与局部细粒度信息。
48.进一步的，所述残差网络模型包括五部分，其中，前四部分均为卷积块，第五部分为焦点瓶颈transformer结构，第四部分卷积块的输出结果输入到所述焦点瓶颈transformer结构中。
49.进一步的，所述残差网络模型的五部分输出结果分别作为所述特征金字塔网络模型各层的输入，其输入顺序按照卷积尺度从大到小进行排序。
50.进一步的，所述残差网络模型的训练，具体为：
51.构建训练数据集，其中，所述数据集的样本为在夜间led光照条件下采集的未成熟果实的远景图像，且所述远景图像中利用图像标注工具进行多边形标注；
52.基于所述训练数据集，对所述残差网络模型进行训练，获得训练好的残差网络模型。
53.进一步的，所述目标检测器具体采用二阶段法faster r-cnn目标检测器。
54.具体的，为了便于理解，以下结合附图，基于具体实现过程的方式对本公开所述方案进行详细说明：
55.本公开提供了一种融合全局细粒度信息的夜间小目标果实检测方法，具体包括以下步骤：
56.步骤1：图像采集与数据集制作：在夜间led光照条件下，使用canoneos80d相机采集未成熟果实的远景图像。并对各目标形态果实进行标注；
57.其中，所述步骤1具体包括：
58.1)在led光照条件下，使用镜头canoneos 80d相机采集目标果实rgb远景图像，其中，图像分辨率为6000
×
4000像素，并将图像保存为jpg格式。采集图像结果如图2(a)所示。
59.2)采用图像标注工具labelme，将目标果实标记为多边形，并将标记结果保存为json格式。标记结果如图2(b)所示。
60.步骤2：图像预处理：计算数据集图像的均值与方差，将图像进行归一化处理，同时调整图像至统一大小。
61.步骤3：特征提取：采用resnet50为模型的主要构架，借助卷积运算从局部区域提取特征映射。然后，将特征映射输入到带有焦点机制的transformer结构中，在提取全局粗粒度信息的同时，提取局部细粒度信息，并输出特征映射作为高层的特征映射。
62.其中，所述步骤3具体为：
63.采用resnet50作为模型的基本构架,借助卷积提取局部区域的重要信息，并将conv2_x、conv3_x和conv4_x阶段输出记为c2、c3和c4。对于resnet50中的conv5_x结构，使用焦点瓶颈transformer结构(图3)将其替换。其中，焦点瓶颈transformer结构是由带有残差结构且中间层为焦点transformer层(图4)的瓶颈结构组成。针对焦点transformer层，首先将c4进行划分为包，然后经过包嵌入运算将特征映射进行线性投影和归一化操作，然后将位置编码嵌入至线性投影中，从而获得焦点transformer编码器的输入。焦点transformer编码器经过带有残差结构的焦点多头自注意力机制模块和带有残差结构的多层感知机，获得全局粗粒度信息与细粒度信息。然后，经过变型运算获得焦点瓶颈transformer结构输出的特征映射，并将其记为c5。
64.为了清晰的介绍焦点瓶颈transformer层如何提取全局粗粒度信息与局部细粒度信息，首先定义如下名词：
65.(1)焦点层：用于定义焦点多头自注意力粒度的数量；
66.(2)焦点窗口大小：用于表示第l个粒度上子窗口的大小；
67.(3)焦点区域大小：用于表示第l个粒度级别上所包含子窗口的数量；
68.假定特征映射大小为f∈rh×w×d，其中h、w、d分别为特征映射的空间大小与通道数。首先，对所有粒度层进行子窗口池化运算。具体地，假定第i层特征层，将输入特征映射f网格化其子窗口大小为然后，借助线性投影池化空间子窗口，得到池化后的特征映射
公式表达如下：
[0069][0070][0071]
其次，根据池化后特征映射，借助三个线性投影fq，fk，fv分别计算第一个层的查询向量q以及所有层的键向量k与值向量v。公式可表示为：
[0072]
q＝fq(f1)
[0073][0074][0075]
针对于第i个子窗口，查询向量对应的键向量与值向量分别为ki∈rs×d与vi∈rs×d，则qi的焦点多头自注意力为：
[0076][0077]
其中，b表示可学习的位置偏移量。焦点多头自注意力结构整体结构如图6所示。
[0078]
步骤4：特征融合：采用fpn(feature pyramid networks：特征金字塔网络)结构，借助横向连接与自顶向下结构将浅层特征映射与高层特征映射逐元素融合，最终，输出金字塔式的特征映射。
[0079]
其中，所述步骤4具体为：
[0080]
采用特征金字塔模型进行特征融合。具体来讲，将提取的特征映射c2至c5作为特征金字塔模型的输入，借助横向连接与自顶向下结构，将浅层特征与高层特征映射以逐元素相加的方式相融合并输出特征映射f2、f3、f4和f5，并将其作为目标检测器的输入。
[0081]
步骤5：损失计算与模型训练：将特征映射输入到检测器，借助基于交叉熵的分类损失与基于smooth l1损失计算模型的损失。借助反向传播算法，不断调整模型参数，直至模型收敛。
[0082]
其中，所述步骤5具体为：
[0083]
采用二阶段法faster r-cnn的目标检测器作为小目标的检测器，借助矩形框的分类损失与回归损失作为模型的损失函数，利用反向传播算法，不断优化模型参数，直至模型收敛。
[0084]
其中，分类损失定义如下：
[0085][0086]
回归损失定义为：
[0087][0088]
其中，smooth
l1
为：
[0089][0090]
总损失函数可表示为：
[0091][0092]
其中，pi为第i个锚框预测分类的概率，如果第i个锚框为正样本，则相反，如果第i个锚框为负样本，则n
cls
为锚框的总量，n
reg
为正负样本总量，ti表示训练阶段预测的偏移量，表示训练阶段相对于真实边界框的真实偏移量。
[0093]
通过上述损失函数，逐步使模型收敛，从而获得最优的模型参数。最后，将测试集输入到模型中进行预测，预测结果如图5。
[0094]
实施例二：
[0095]
本实施例的目的是提供一种融合全局细粒度信息的夜间小目标果实检测系统。
[0096]
一种融合全局细粒度信息的夜间小目标果实检测系统，包括：
[0097]
数据获取单元，其用于获取待检测的果实图像；
[0098]
特征提取单元，其用于基于预先训练的残差网络模型，对所述果实图像进行特征提取；其中，所述残差网络模型包括若干卷积块及焦点瓶颈transformer结构，通过所述焦点瓶颈transformer层从全局区域提取粗粒度信息和局部细粒度信息；将所述残差网络模型每层输出的特征，作为特征金字塔网络模型每层的输入，输出不同尺度下的特征信息；
[0099]
目标检测单元，其用于将所述特征信息输入到预先训练的目标检测器中，输出目标检测结果。
[0100]
在更多实施例中，还提供：
[0101]
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一中所述的方法。为了简洁，在此不再赘述。
[0102]
应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0103]
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
[0104]
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一中所述的方法。
[0105]
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0106]
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步
骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0107]
上述实施例提供的一种融合全局细粒度信息的夜间小目标果实检测方法及系统可以实现，具有广阔的应用前景。
[0108]
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。