一种基于改进YOLOv12s-seg模型的稻穗分割与表型参数测量方法

本发明涉及作物表型智能检测，具体为一种基于改进yolov12s-seg模型的稻穗分割与表型参数测量方法。

背景技术：

1、水稻作为全球近半数人口的主粮，是保障全球粮食安全的基石，准确、高效地获取其生长过程中的关键表型信息，对于评估其生长状态、产量潜力与品质具有重要意义，近年来，稻穗图像分割作为智慧农业与作物表型分析的重要技术，与三维重建协同发展，高精度分割可在复杂背景中提取稻穗的二维形态特征，为高质量三维模型构建提供可靠数据支撑，二者共同形成了从二维感知到三维结构解析的完整技术链条，为精准农情监测、表型解析及育种研究提供了坚实基础。

2、随着深度学习的发展，众多研究通过改进分割模型架构显著提升了特征提取与语义信息传递能力，现有模型优化提升了整体分割精度，但其在小目标与细节区域的分割能力仍显不足，难以满足小尺度稻穗及复杂穗部结构的精细识别需求，针对小目标和细节区域分割能力不足的问题，现有研究分别构建了专用分割网络、改进maskr-cnn、unet、yolov8-seg等模型，在一定程度上提升了细粒度分割效果，但仍存在模型鲁棒性不足、多尺度特征融合效率低、边缘分割精度有限等问题。

3、虽然模型优化显著提升了稻穗细节的二维分割能力，但二维图像难以提供穗长等关键的立体表型参数，近年来，多视角三维重建技术已被广泛用于作物表型提取，可基于多视角影像重建三维点云并提取形态参数，展示了其在高通量育种中的应用潜力，尽管水稻穗型研究已有进展，但现有分割模型在精度与鲁棒性上仍不足，且针对多分叉稻穗结构、点云边界缺失等复杂情形，三维表型测量的稳定性与准确性仍有待提升，限制了其表型测量的可靠性与工程化应用。

技术实现思路

1、本发明的目的就是为了弥补现有技术的不足，提供了一种基于改进yolov12s-seg模型的稻穗分割与表型参数测量方法，以yolov12s-seg为基线，通过引入dff动态特征融合模块、嵌入acmix混合注意力模块、采用sdi-conv单元替代传统拼接操作，构建yolov12s-dfas实例分割模型，强化稻穗细粒度结构分割能力与多尺度特征融合效率；结合colmap三维重建、点云聚类标定、拉普拉斯骨架提取与多项式曲线拟合，实现稻穗穗长、穗宽的自动化非接触测量。

2、本发明为解决上述技术问题，提供如下技术方案：一种基于改进yolov12s-seg模型的稻穗分割与表型参数测量方法，该方法包括以下具体步骤：

3、s1、采集成熟期稻穗图像构建原始数据集，通过数据增强扩展数据集后按比例划分训练集、验证集与测试集；以yolov12s-seg为基线模型进行结构改进，得到yolov12s-dfas模型并完成训练；

4、所述结构改进包括：在骨干网络中采用dff动态特征融合模块替代原c3k2模块，在骨干网络深层嵌入acmix混合注意力模块，在颈部网络采用sdi-conv单元替代传统通道拼接操作；

5、s2、采集单株稻穗的多视角原始图像，将每帧原始图像输入训练完成的yolov12s-dfas模型，通过多尺度分割头融合输出对应稻穗区域的像素级掩码图片；

6、s3、基于掩码图片对原始图像进行背景去除，将多视角去背景图像输入colmap三维重建框架得到稻穗稠密点云；通过标定板点云完成空间尺度标定，对稻穗点云进行骨架提取、曲线拟合与聚类分段，计算得到稻穗的穗长与穗宽表型参数。

7、进一步地，所述s1中，以成熟期水稻稻穗为研究对象，覆盖多个主栽品种，采用高分辨率相机进行图像采集，采集角度包含俯角、仰角、近距离、远距离，场景覆盖不同光照强度、叶片遮挡、穗间重叠条件，筛选有效稻穗图像构建原始稻穗图像数据集；

8、采用多策略数据增强对原始数据集进行扩增，增强方式包括：随机水平翻转（概率0.5）、垂直翻转（概率0.3）、亮度对比度调节（概率0.5）、高斯噪声添加（概率0.3）以及仿射变换；其中仿射变换的旋转角度范围为±15°，缩放比例范围为0.9-1.1，平移范围为图像尺寸的±5%；

9、对增强后的数据集进行实例级多边形掩码标注，按8:1:1的比例随机划分为训练集、验证集与测试集。

10、更进一步地，所述dff动态特征融合模块采用空间-通道双路径注意力机制，具体工作过程为：

11、接收主干通路输入特征与浅层旁路输入特征两路同尺度特征；

12、在空间注意力路径中，两路特征分别经1×1×1卷积变换后逐元素相加，再经sigmoid激活函数生成空间注意力权重图，对输入特征进行空间维度的动态加权，突出稻穗关键区域并抑制背景噪声；

13、在通道注意力路径中，两路特征在通道维度拼接后，依次经全局平均池化、卷积运算与sigmoid激活生成通道注意力向量，表征各通道特征的全局重要性；

14、将空间加权后的融合特征与通道注意力向量逐元素相乘，输出最终增强后的融合特征。

15、更进一步地，所述空间注意力权重图的计算公式为：；

16、通道注意力向量的计算公式为：；

17、其中，是空间注意力权重图，用于在像素维度对特征进行动态加权，突出稻穗关键区域、抑制背景噪声；是sigmoid激活函数，用于将权重值归一化至0-1区间；是1×1×1卷积运算，用于对输入特征进行通道维度变换；是第层主干通路输入的特征图，维度为；分别为特征图的高度、宽度、通道数，是第层浅层旁路输入的特征图，维度为，为前一层级输出的浅层特征，保留更丰富的细节信息，是通道注意力向量，用于在通道维度动态校准各特征通道的全局重要性；avgpool是全局平均池化运算，用于聚合特征图的全局空间信息，生成通道维度的全局描述向量；concat是通道维度拼接运算，用于将两路输入特征在通道维度进行拼接融合。

18、更进一步地，所述acmix混合注意力模块包含卷积分支与自注意力分支，具体工作过程为：

19、卷积分支对输入特征x经1×1卷积压缩通道后，通过全连接层进行分组移位，再经循环移位操作与通道拼接聚合特征，输出局部特征，保留小尺度稻穗的边缘形态细节；

20、自注意力分支对输入特征x经1×1卷积压缩通道后，按通道分组得到query、key、value三组中间特征，在n条并行路径上分别计算组内自注意力，输出全局特征，捕获稻穗的全局上下文信息；

21、将局部特征与全局特征进行通道拼接，得到拼接特征，计算公式为：，其中，是局部分支与全局分支经通道拼接后的融合特征；是卷积分支输出的局部特征，侧重保留稻穗边缘、纹理等细粒度形态信息；是自注意力分支输出的全局特征，侧重捕获稻穗的长距离空间上下文依赖；是批次大小，即单次模型训练时输入的图像样本数量；是实数域集合，上角标表示特征张量的维度，再通过可学习加权参数与1×1投影卷积进行加权融合，输出最终融合特征。

22、更进一步地，所述sdi-conv单元由sdi跨尺度动态融合模块与后置1×1卷积层组成，具体工作过程为：

23、对输入的两路不同尺度特征、，分别经3×3卷积统一通道数并提取局部特征，再通过双线性插值上采样或下采样操作统一空间分辨率，完成通道与尺度对齐；

24、将对齐后的两路特征进行逐元素相乘融合，得到初始融合特征，减少特征冗余并突出两路特征的一致性区域；

25、通过1×1卷积对初始融合特征进行通道精炼，抑制无效特征并强化有效语义信息，输出最终融合特征图。

26、更进一步地，所述s3中，三维重建与点云预处理具体为：

27、将掩码图片与对应原始图像逐像素叠加，将背景区域像素统一置白，得到去背景稻穗前景图像；

28、将多视角去背景图像输入colmap框架，依次进行特征点提取、特征匹配、稀疏点云重建与稠密点云重建，得到初始稠密点云；

29、采用统计滤波去除点云离群噪声点，设置邻居点数为20，标准差倍数阈值为1.5；

30、采用dbscan密度聚类算法分离稻穗点云与标定板点云。

31、更进一步地，所述s3中，空间尺度标定具体包括：

32、采用k-means聚类算法对标定板点云进行二聚类，初步分离黑色方块与白色方块点云，其目标函数的计算公式为：，其中，是k-means聚类的目标函数值，表征所有点云样本到对应簇中心的距离平方和，目标为最小化该值；是聚类簇的总数量，本发明中标定板二聚类时取值为2;是标定板点云中单个点的三维坐标向量；是第个聚类簇，包含所有属于该簇的点云样本；是第个聚类簇的中心坐标，为该簇内所有点的坐标平均值；

33、采用dbscan对黑色方块点云进行精细分割，得到每个黑色方块的独立点簇，设置邻域半径为0.05，最小点数为12；

34、对每个黑色方块点簇采用obb定向包围盒算法拟合最小包围盒，根据包围盒的点云尺寸与标定板方块实际物理尺寸的比值，计算得到尺度校准值。

35、更进一步地，所述稻穗的穗长计算方式为：

36、对分离后的稻穗点云采用最远点采样降采样至10000点，通过拉普拉斯收缩算法求解拉普拉斯方程，提取稻穗的中心线骨架；

37、采用dbscan聚类分离稻穗的分叉结构，选取最长分叉的骨架点，采用10阶多项式进行曲线拟合，得到骨架的连续曲线表达式；

38、对拟合的多项式曲线进行弧长积分，得到点云尺度下的穗长，与尺度校准值相乘得到实际物理穗长。

39、更进一步地，所述稻穗的穗宽计算方式为：

40、对稻穗骨架采用dbscan聚类进行分段，通过线性拟合的决定系数筛选主茎骨架段，去除包括分叉的非主茎结构；

41、在主茎骨架段的两端构建垂直于骨架切线的平面，截取中间区域的稻穗点云，并将该区域点云投影至与骨架垂直的平面上；

42、对投影点云生成最小外接矩形，取矩形长边的长度作为点云尺度下的穗宽，与尺度校准值相乘得到实际物理穗宽。

43、与现有技术相比，该一种基于改进yolov12s-seg模型的稻穗分割与表型参数测量方法具备如下有益效果：

44、本发明通过对yolov12s-seg模型进行改进，以动态特征融合模块替代原有c3k2结构、在骨干网络深层嵌入acmix混合注意力机制，以及在颈部网络引入sdi-conv单元替代传统拼接操作，有效增强了模型对稻穗细长形态和密集分布结构的特征捕捉能力，在此基础上将分割掩码作为三维重建的前置处理环节，结合colmap多视角重建、统计滤波去噪、dbscan密度聚类分割、拉普拉斯骨架收缩与高阶多项式曲线拟合等手段，配合标定板尺度校准完成真实尺寸换算，实现了稻穗穗长与穗宽的非接触式自动化测量，在保证测量准确性的同时大幅降低了人工测量的工作量和主观误差。

45、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。