基于旋转目标检测与多尺度注意力融合的油菜角果计数方法

摘要: 本发明涉及农业图像处理与作物表型监测,尤其涉及一种基于旋转目标检测与多尺度注意力融合的油菜角果计数方法。背景技术:1、油菜角果是籽粒形成的直接载体,单位面积角果...
基于旋转目标检测与多尺度注意力融合的油菜角果计数方法

本发明涉及农业图像处理与作物表型监测,尤其涉及一种基于旋转目标检测与多尺度注意力融合的油菜角果计数方法。

背景技术:

1、油菜角果是籽粒形成的直接载体,单位面积角果数、每角粒数和千粒重共同影响油菜产量。因此,在油菜育种、栽培评价和收获期表型调查中,快速、准确地获得角果数量具有重要意义。现有角果数量调查主要依靠人工逐个计数或从植株上剪取角果后进行测量,操作耗时、主观性强,且难以适用于大规模育种材料和高通量调查。已有图像处理方法通常需要先把角果与枝干完全分离,或者使用轮廓提取、实例分割、三维重建和点云测量等技术。将角果从植株上逐一分离会破坏角果在真实植株中的空间分布,三维采集和重建设备成本高、处理流程复杂;常规二维图像方法虽然成本较低,但在枝干原位图像中容易受角果密集簇生、交叉遮挡、残叶和枝干纹理相似等因素干扰。

2、主流二维目标检测方法多使用水平边界框hbb描述目标。油菜角果具有细长形态并在图像中以任意角度排列,水平边界框必须覆盖较大的非目标区域;当角果密集交叉时,相邻水平框具有较高iou,容易在nms阶段把真实相邻角果作为重复目标删除,同时冗余背景会干扰网络对角果边缘和纹理的学习。旋转边界框obb能够沿目标长轴形成紧致外接矩形,适合细长、旋转目标的定位,但直接采用通用旋转检测网络仍存在两类问题:一是枝干、枯黄叶片与角果外观相近,密集遮挡使网络难以聚焦于有效角果特征;二是远距离拍摄或生长初期的角果在图像中占比很小,其轮廓信息在p3及更深层特征的多次下采样过程中容易丢失。现有通道注意力或空间注意力模块往往仅在单一维度分配权重,或者通过降维获得注意力,容易削弱细小角果的方向和边缘信息;若在过浅层嵌入注意力,枝干阴影和碎片噪声会被错误放大,若在过深层嵌入,则高分辨率几何信息已经难以恢复。仅使用p3、p4、p5检测头也难以覆盖微小角果。

技术实现思路

1、本发明所要解决的技术问题是如何提供一种能够输出可核验的油菜角果实例级定位和计数结果的基于旋转目标检测与多尺度注意力融合的油菜角果计数方法。

2、为解决上述技术问题,本发明所采取的技术方案是:一种基于旋转目标检测与多尺度注意力融合的油菜角果计数方法,所述方法包括如下步骤:

3、获取包括完整油菜枝干及其角果的高分辨率原始彩色图像;

4、对获得的高分辨率原始彩色图像进行重叠滑动窗口裁剪,对裁剪得到的局部图像块进行目标存在性筛选,剔除不包含油菜角果目标的无效图像块,将筛选后的局部图像块按照预设比例划分为训练集、验证集和测试集;

5、在油菜考种过程中,干瘪角果被视为无效角果,对构建的数据集中的每一个完整且有效油菜角果进行旋转边界框标注;

6、以单阶段yolo旋转目标检测网络作为基础网络,构建top-yolo多尺度旋转目标检测网络;

7、将获得的训练图像统一调整至预设输入尺寸后,输入至构建的top-yolo多尺度旋转目标检测网络,对其进行训练;

8、将待检测的油菜角果图像输入至训练后的 top-yolo 多尺度旋转目标检测网络,输出多个候选旋转边界框;

9、经过旋转非极大值抑制后,得到最终油菜角果检测框集合,对于由滑动窗口裁剪得到的多个局部图像块,进一步将各局部图像块的检测结果映射回原始图像坐标系,并对跨图像块重复检测的同一角果进行去重,获得整幅原始图像中的油菜角果总数。

10、采用上述技术方案所产生的有益效果在于:本发明所述方法以旋转目标表示为基础,在适当的中浅层尺度嵌入三元注意力模块,并增加p2微尺度检测分支,形成旋转框、跨维注意力和四尺度检测相互配合的技术方案,在不逐一剥离角果、不依赖昂贵三维设备的前提下,解决细长旋转目标的背景冗余、密集目标nms误抑制、复杂枝干遮挡下特征聚焦不足以及微小角果下采样漏检问题,并输出可核验的实例级定位和计数结果。

1.一种基于旋转目标检测与多尺度注意力融合的油菜角果计数方法,其特征在于所述方法包括如下步骤:

2.如权利要求1所述的基于旋转目标检测与多尺度注意力融合的油菜角果计数方法,其特征在于:

3.如权利要求1所述的基于旋转目标检测与多尺度注意力融合的油菜角果计数方法,其特征在于:

4.如权利要求1所述的基于旋转目标检测与多尺度注意力融合的油菜角果计数方法,其特征在于:

5.如权利要求1所述的基于旋转目标检测与多尺度注意力融合的油菜角果计数方法,其特征在于:所述top-yolo 多尺度旋转目标检测网络包括主干特征提取网络、特征融合网络和旋转目标检测头。

6.如权利要求5所述的基于旋转目标检测与多尺度注意力融合的油菜角果计数方法,其特征在于:

7.如权利要求5所述的基于旋转目标检测与多尺度注意力融合的油菜角果计数方法,其特征在于:从主干网络的浅层高分辨率特征中引出p2小目标检测分支,对特征融合网络中的高层特征进行上采样,并与主干网络输出的p2浅层特征进行拼接和卷积融合,得到下采样倍率为4的p2检测特征;保留p3、p4和p5检测特征,其下采样倍率分别为8、16和32;由此构建包括p2、p3、p4和p5的四尺度旋转目标检测头,其中:p2检测头用于检测第一尺寸角果;p3检测头用于检测第二尺寸角果;p4检测头用于检测第三尺寸角果;p5检测头用于检测第四尺寸角果,第一尺寸<第二尺寸<第三尺寸<第四尺寸。

8.如权利要求1所述的基于旋转目标检测与多尺度注意力融合的油菜角果计数方法,其特征在于:对所述多尺度旋转目标检测网络进行训练的方法包括如下步骤:

9.如权利要求1所述的基于旋转目标检测与多尺度注意力融合的油菜角果计数方法,其特征在于:

10.如权利要求1所述的基于旋转目标检测与多尺度注意力融合的油菜角果计数方法,其特征在于: