一种基于多尺度特征融合的田间小麦幼苗叶尖检测计数方法

本发明涉及小麦幼苗数量评测，具体涉及一种基于多尺度特征融合的田间小麦幼苗叶尖检测计数方法。

背景技术：

1、小麦是我国重要的粮食作物，其早期的长势状态直接关系到最终的产量与品质。在小麦幼苗期，精准获取苗数、叶龄以及群体分布均匀度等表型参数，是评价小麦“冬前壮苗”质量、指导田间精准变量施肥以及进行早期测产的重要依据。传统农业上对这些参数进行统计通常费时费力、成本高且效率低，而遥感技术具有实时高效、无损监测的特点，因此利用机器视觉快速准确获取作物表型信息在现代化农业中就尤为重要。不同采集方法的田间应用也表明，图像识别方法成本低效率高，对采集人员的要求更低，更加适合推广应用。

2、由于大田环境下小麦植株下部叶片通常相互遮挡且杂乱，传统的整株或整叶分割计数方法难以奏效 。而小麦的一片叶子仅对应一个叶尖，利用叶尖作为特征进行识别与计数，能够有效规避叶片相互遮挡的难题，已成为当前小麦群体高通量监测的极具潜力的研究方向 。为此，本发明提出了一种能够在复杂大田背景下（杂草、秸秆、光照变化），同时适应多采集平台带来的极大尺度差异，且在降低模型计算负担的前提下，精准提取并融合极小目标特征，从而实现田间小麦幼苗叶尖高精度检测与计数的方法，以解决当前农业信息化与智慧农业领域的关键技术难题。

技术实现思路

1、本发明针对上述技术难题，提出一种基于多尺度特征融合的田间小麦幼苗叶尖检测计数方法。该发明能够在复杂大田背景下，同时适应多采集平台带来的极大尺度差异，且在降低模型计算负担的前提下，精准提取并融合小目标特征，从而实现田间小麦幼苗叶尖的检测与计数。

2、为实现上述目的，本发明采用了一种基于多尺度特征融合的田间小麦幼苗叶尖检测计数方法，包括以下步骤：

3、s1：使用智能手机端和无人机端采集小麦苗期可见光图像，然后对采集的图像使用labelimg进行标注，构建图像数据集，并按照8:1:1的比例，将图像数据集随机划分为训练集、验证集和测试集，具体如下：

4、s11：图像采集，待小麦播种后，于小麦的出苗期至四叶期期间使用智能手机端和无人机端进行小麦幼苗的图像数据采集作业。

5、s12：图像裁剪，对无人机端采集图像进行分块裁剪，分块数量n由以下公式确定：

6、

7、其中，w和h分别为图像宽度和高度分辨率，s为步长。

8、s13：图像标注，使用标注工具labelimg对图像中的麦苗叶尖目标进行矩形标注，所述局标注策略为以叶片尖端顶点上方作为矩形框的一个角点，框体对角线与叶片中轴线重合或平行，沿叶片方向延伸，对角线长度（即叶尖区域纵向跨度）为 1–2 cm。矩形短边长度根据叶尖实际宽度自适应确定，确保完整覆盖叶尖轮廓。

9、s14：数据集构建，对裁剪和标注后的图像进行数据清洗后随机划分为训练集、验证集和测试集1，此外人工选择并构建三个难点测试集：测试集2为田间复杂环境难点数据，包括秸秆、杂草、秸秆+杂草、除草后图像，测试集3为田间不同光照和土壤难点数据，包括晴/阴天、不同土壤背景图像，测试集4为小麦不同生育期数据，包括一叶期至四叶期图像。

10、s2：构建基于transformer的实时目标检测模型tips-detr框架，包括特征提取网络、特征融合网络和预测网络，具体的：

11、①所述特征提取网络为双分支融合主干multibackbone，首先，将输入的原始图像送入hgstem层，进行初步的特征映射与基础降采样；随后，初步特征进入异构特征提取分支，分别提取高分辨率的空间与语义信息，并直接引出为小目标信息特征输出；最后，特征流经多个连续堆叠的空间-语义自适应融合模块 (spatial-semantic adaptive fusionmodule, ssafm)，进行深层次的多尺度特征挖掘与降采样，最终输出不同分辨率的四层特征。具体如下：

12、s211：为了避免在浅层特征图上消耗过多计算资源，设计的特征提取网络共享一个hgstem层的信息，hgstem是hgnet(high performance gpu network)网络中的初始特征提取模块。该设计有利于避免计算量过大，推理时间过大的问题。输入图像经一个卷积模块降采样后分为两路，一路通过连续的卷积模块提取局部特征，另一路利用最大池化保留全局信号，两路特征拼接后通过二次降采样模块输出。

13、s212：在经过hgstem初步映射后，特征图被同步送入并行的一个c2f (cross-stage partial feature fusion)模块与一个hgblock (hierarchical graph block)模块，得到向下游深层网络传递的特征和小目标高分辨率特征层记为s2。

14、s213：针对s2层的特征引出，本模型采用了独特的异构路由策略：s2层的直接输出仅来源于c2f分支的融合输出，hgblock模块输出的特征仅向下游深层网络传递。

15、s214：之后，网络由多个ssafm模块连续堆叠构成。每一个ssafm模块包含两条并行的异构路径，第一条由c2f与常规卷积串联组成，第二条由hgblock与深度可分离卷积交替组成；两条路径的特征在模块末端通过多尺度自适应空间注意力门机制(multi-scaleadaptive spatial attention gate, masag)进行对齐融合。masag的处理流程依次包含多尺度特征融合阶段、利用softmax计算权重的空间选择阶段、利用sigmoid进行交互调制的空间交互阶段，以及利用逐点卷积生成注意力图进行重标定的重标定阶段。通过多个ssafm模块的逐层处理，最终和小目标高分辨率特征层一起输出不同分辨率的四层特征，分别记为[s2, s3, s4, s5]。

16、②所述特征融合网络为小目标增强特征金字塔soep。在大田小麦群体图像中，幼苗叶尖属于典型的小目标，传统的特征金字塔网络（如fpn或panet）通常仅依赖s3至s5层进行特征融合。然而，在经历多次步长下采样后，小目标的空间信息在深层特征图中几乎完全丢失，导致模型产生严重的漏检与计数低估。本模型设计的小目标增强特征金字塔soep，使用s2特征层经过空间深度转换卷积(space-to-depth convolution, spdconv)将富含小目标信息的特征与s3进行融合，然后使用跨阶段局部网络(cross stage partial, csp)思想和基于全核模块(omni-kernel module, okm)进行改进得到跨阶段局部全核模块csp-okm进行特征整合。在显著降低参数量和计算量的前提下，soep实现了多尺度特征的无损传递与全维特征对齐。具体如下：

17、s221：为了保护s2层引入的小目标信息，soep采用spdconv替代传统的降采样算子。s2特征层经过spdconv后沿通道轴拼接合并压缩至与s3层相同的尺度，随后与s3层特征拼接融合输出特征f3。

18、s222：将s5输出的特征集合展平，通过基于注意力的尺度内特征交互模块（包含前馈神经网络和多头注意力机制），输出特征记作f5，具体公式如下：

19、

20、

21、其中为展平操作，为多头注意力机制，为前馈神经网络，代表将特征的形状恢复为与s5相同。

22、s223：在特征交汇节点引入了csp-okm模块，该模块使用跨阶段局部网络思想和基于全核模块进行改进得到，以极低的计算代价在跨层特征融合时最大限度地捕获小目标的判别性信息。

23、s224：在生成增强特征f3增强特征f5之后，soep进入全尺度跨层特征融合阶段。利用若干1x1卷积将特征[f3, s4, f5]通道数统一映射至256维后，进入包含基于重参数化卷积模块（reparameterization convolution, repc3）和csp-okm模块的双向加权路径。自顶向下路径： f5经上采样与s4拼接，送入repc3模块生成过渡特征p4'；p4'经上采样与f3拼接，经csp-okm模块和repc3模块共同融合输出高分辨率预测特征p3。自底向上路径： p3经spdconv降采样与p4'拼接经repc3生成中分辨率预测特征p4；p4经spdconv降采样与f5拼接经repc3模块融合输出低分辨率预测特征p5。最终，网络输出多尺度预测特征表示集合[p3,p4, p5]，并将其输入后续的预测网络中。

24、③所述预测网络采用视觉变换解码与解耦头结构。不同空间尺度的特征集合[p3,p4, p5]输入视觉变换解码器，通过多头自注意力、交叉注意力以及前馈映射网络，结合二维位置编码与残差连接进行迭代修正。解码提炼后的对象查询序列引入解耦预测头，通过相互独立的并行分类分支与回归分支进行映射解析。在边界框回归分支中基于shape-iou进行计算，其数学表达式如下：

25、

26、

27、

28、

29、其中，与分别代表预测边界框与真实边界框；与分别表示预测框与真实框的中心点坐标；为同时包含预测框与真实框的最小外接闭包区域的对角线长度。在项中，与是为了应对目标尺度变化而引入的自适应权重系数。在项中，衡量了预测框与真实框在宽度和高度维度上的相对偏差，参数用于控制形状惩罚的敏感度，本网络中将其设定为4。

30、s3：将基于transformer的实时目标检测模型tips-detr进行训练、验证和测试。使用训练集训练tips-detr模型，利用adamw优化器配合余弦退火学习率策略进行反向传播，迭代300个轮次，每个轮次在验证集上评估map值，保存最优轮数，计算模型参数和运行速度。使用相同数据训练主流模型yolov5s、yolov5m、yolov8s、yolov8m、yolov10m、rt-detr，并对比主流模型和tips-detr模型的检测精度和计数精度，评估tips-detr模型的先进性。以rt-detr模型为基础，逐步添加改进模块，构成模型1（rt-detr）、模型2（模型1+双分支融合主干）、模型3（模型2+小目标增强特征金字塔）、模型4（模型3+优化损失函数，即tips-detr），以验证各模块对小麦幼苗叶尖检测模型的影响。使用测试集和难点数据测试tips-detr模型的检测精度和计数精度，评估模型的有效性。

31、s4：基于transformer的实时目标检测模型tips-detr的使用，利用智能手机端和无人机端采集小麦苗期可见光图像，按照s1预处理后输入至基于transformer的实时目标检测模型tips-detr，获得田间小麦苗期叶尖检测结果并统计目标数量。

32、与现有技术相比，本发明具有如下创新点： 1. 本发明提出了一种基于多尺度特征融合的田间小麦幼苗叶尖检测计数方法，能够对不同大田应用场景的小麦苗期叶尖检测计数。该方法适用场景广泛，显著提高了检测计数效率。2. 构建了一种基于多尺度特征融合的田间小麦幼苗叶尖检测网络模型，在特征提取阶段引入双分支融合主干multibackbone以提取空间细节与全局语义；特征融合阶段引入小目标增强特征金字塔soep以实现微小目标特征的无损跨层聚合；预测阶段引入优化损失函数shape-iou以利用形状约束提升回归精度。该网络能有效处理多采集平台下不同尺度的小麦幼苗图像，适应田间的复杂环境，并克服杂草、秸秆背景及光照变化等干扰问题，在低计算负担下实现小目标叶尖的检测与计数。