一种融合无人机正射影像与数字表面模型的育种田块实例分割方法和系统

本发明涉及农业遥感与图像处理，尤其涉及一种融合无人机正射影像与数字表面模型的育种田块实例分割方法。

背景技术：

1、作物育种试验通常以大量并排布置的育种田块（micro-plot）形式在田间开展，每个育种田块种植一个基因型或一种处理。高通量田间表型分析要求在田块水平上对育种群体进行重复、客观的观测，而准确提取每个育种田块的空间边界，是可靠提取田块级表型参数（如冠层覆盖度、株高、冠层体积等）的前提。无人机遥感因空间分辨率高、观测时间灵活、成本相对较低，已成为田间表型数据获取的重要手段。因此，育种田块的自动分割并非可有可无的预处理步骤，而是无人机高通量表型鉴定流程中的关键环节。

2、现有的育种田块或田间田块自动分割方法主要依赖无人机rgb正射影像。例如：一类方法基于全卷积神经网络对rgb影像进行语义分割，再通过图像细化与霍夫直线检测等几何后处理提取田块边界（如公开号cn116469019a）；一类方法采用融合注意力机制的旋转目标检测实例分割网络，以适应田间田块相对于影像坐标轴的旋转排列（如公开号cn120107599a）；一类方法引入时间序列信息与种植设计先验知识，通过牵引线聚合由冠层语义分割结果切分单个田块（如公开号cn120107587a）。此外，也存在面向农田地块的多源遥感分割方法，但其所融合的通常是不同时空分辨率的光学影像（例如低分辨率多光谱时序影像与单景高分辨率光学影像），用于农田地块分割与作物分类（如公开号cn120808168a）。

3、上述现有技术存在的客观问题在于：其对田块边界的判别主要依赖rgb影像的光谱与纹理信息。在作物生育前期和中期，田块内部裸土与行间空隙清晰可见，rgb影像能够提供足够的光谱与纹理对比，田块边界较易识别；但在生育后期，随着冠层逐渐封闭（即封行），相邻田块之间发生冠层粘连，田块间的空隙在二维影像中逐渐消失，光谱趋于饱和、纹理趋于一致，叠加杂草侵入、冠层阴影与光照变化的影响，相邻田块之间的视觉边界严重模糊。此时，仅依赖rgb信息的模型容易将多个相邻田块误分割合并为一个整体，导致边界定位失效，并进一步污染下游田块级表型参数的提取，限制其在多环境育种试验中的实用性。

4、数字表面模型（digital surface model，dsm）作为无人机摄影测量在生成正射影像时同步产生的副产物，携带了冠层的垂直结构信息：即使相邻田块在颜色和纹理上高度相似，其边界处仍然存在冠层高度落差和局部表面结构的不连续性。然而，无人机摄影测量重建得到的dsm并非理想的主动式深度数据，其受到风致冠层摆动引起的结构模糊、纹理不足区域的重建误差以及局部空洞等多种不确定性因素的影响；与此同时，rgb影像也会受到阴影、光照变化和杂草的干扰。因此，rgb与dsm之间不仅存在信息互补关系，也存在局部数据质量差异与不一致性。若仅将dsm作为一个附加通道与rgb进行简单的早期拼接或后期融合，虽然能够引入高度信息，却容易将各模态特有的噪声一并带入特征学习过程，反而削弱边界判别的稳定性。如何在复杂田间条件下稳定、有效地融合rgb影像与dsm，以实现育种田块的精准实例分割，是现有技术尚未解决的问题。

技术实现思路

1、针对现有育种田块分割方法仅依赖rgb光谱纹理信息、在冠层封行等复杂田间条件下相邻田块容易粘连而被误合并、边界定位失效的问题，本发明提供一种融合无人机正射影像与数字表面模型的育种田块实例分割方法，通过双流跨模态融合稳定地引入并利用冠层高度结构信息，将原本依赖二维颜色差异的分割任务转化为基于三维冠层结构的边界识别任务，从而提升复杂条件下育种田块实例分割的精度与边界质量。

2、技术方案：

3、本发明首先公开了一种融合无人机正射影像与数字表面模型的育种田块实例分割方法，包括以下步骤：

4、s1、获取同一育种试验区域的无人机rgb正射影像与数字表面模型，所述rgb正射影像与所述数字表面模型具有相同的空间参考系并完成像元级对齐，将对齐后的rgb正射影像与数字表面模型切分为相互对应的rgb图像块与数字表面模型图像块；

5、s2、构建双流实例分割网络，所述双流实例分割网络包括相互参数独立的rgb编码分支与数字表面模型编码分支，利用所述rgb编码分支与所述数字表面模型编码分支分别对所述rgb图像块与所述数字表面模型图像块进行多层级特征提取，对应得到rgb多层级特征与高度多层级特征；

6、s3、对所述rgb多层级特征与所述高度多层级特征进行跨模态融合，得到在各层级上融合了rgb光谱纹理信息与数字表面模型冠层高度结构信息的多层级融合特征；

7、s4、将所述多层级融合特征输入实例解码器，预测并输出所述育种试验区域中各育种田块的实例分割掩膜。

8、优选的，步骤s1所述像元级对齐与切分包括：将所述rgb正射影像与所述数字表面模型统一至同一空间参考系和同一地面采样距离；对所述数字表面模型按设定百分位进行数值截断，并对切分后的每个数字表面模型图像块单独进行归一化，以抑制不同图像块之间的高程基准差异；将对齐后的数据切分为相互之间具有重叠区域的图像块，且对rgb图像块、数字表面模型图像块与实例标注掩膜同步施加包括翻转、旋转和尺度缩放在内的几何增强，仅对rgb图像块施加光度增强。

9、优选的，步骤s2所述rgb编码分支与数字表面模型编码分支各自采用一个参数独立的残差网络作为骨干，两个编码分支的网络结构相同但参数不共享，分别从浅层到深层输出多个层级的特征图，得到所述rgb多层级特征与所述高度多层级特征。

10、优选的，步骤s3所述跨模态融合包括分层双模态融合：在多个特征层级上，将所述高度多层级特征分解为表征冠层整体结构的低频分量与表征田块边界的高频分量，并与所述rgb多层级特征的局部纹理分量互补融合，得到分层融合特征；再将所述分层融合特征分别反馈注入所述rgb编码分支与所述数字表面模型编码分支，作为下一层级两条编码分支的输入，以实现逐级双向信息交换。

11、优选的，步骤s3所述跨模态融合还包括对所述分层融合后的各层级特征进行多尺度空间-通道注意力重标定：通过多个不同感受野的卷积提取多尺度特征，并分别在通道维度和空间维度上生成注意力权重对特征进行加权，以适应不同作物类型与不同生育阶段下的田块形态差异。

12、优选的，步骤s3所述跨模态融合还包括边界增强：分别计算rgb与数字表面模型的模态梯度，基于所述模态梯度估计田块边界响应，并利用所述田块边界响应对融合特征在田块边界区域进行增强，使田块边界的划分依据相邻区域之间的相对结构变化而非绝对高程值。

13、优选的，步骤s4所述实例解码器为基于查询的解码器，采用预设数量的可学习查询向量，在真实实例监督下由每个查询预测一个育种田块实例的类别与掩膜，输出各育种田块相互分离的实例分割掩膜。

14、优选的，所述双流实例分割网络的训练损失包括实例分割损失与特征对齐损失，所述特征对齐损失用于约束所述rgb编码分支与所述数字表面模型编码分支所提取特征在空间上的一致性。

15、优选的，还包括：s5、将所述实例分割掩膜转换为矢量多边形，通过面积过滤与紧致度过滤去除孤立伪目标，并对空间重叠度高的破碎掩膜进行合并；再利用所述rgb正射影像的地理变换关系，将所述矢量多边形由图像坐标变换至地图坐标，得到各育种田块的地理配准多边形。

16、优选的，还包括：s6、对各育种田块赋予唯一标识：将所述地理配准多边形的质心旋转至所述育种试验区域的主轴方向，沿行方向聚类、沿列方向排序，并按照站点-年份-作物-编号的格式为每个育种田块分配唯一标识。

17、优选的，还包括：s7、基于所述实例分割掩膜提取田块级表型参数，在每个育种田块的掩膜约束下，由该田块内的rgb像元和数字表面模型像元计算下列参数中的至少一项：

18、1）田块面积，为掩膜内像元数量与地面采样距离平方的乘积；

19、2）冠层覆盖度，为掩膜内植被像元数量与掩膜内像元总数量之比；

20、3）过绿指数，为掩膜内各像元归一化红、绿、蓝分量按二倍绿分量减红分量减蓝分量计算所得数值的均值；

21、4）株高，为掩膜内数字表面模型的高分位数值与该田块边界外侧缓冲区数字表面模型低分位数值之差；

22、5）冠层体积，由所述冠层覆盖度、所述株高与所述田块面积得到。

23、优选的，所述数字表面模型由所述无人机采集的低空影像经摄影测量重建生成，与所述rgb正射影像在同一摄影测量流程中产生并共享空间参考系。

24、本发明还公开了一种融合无人机正射影像与数字表面模型的育种田块实例分割系统，包括：

25、s1、数据获取与配准模块，用于获取同一育种试验区域的无人机rgb正射影像与数字表面模型，使二者具有相同的空间参考系并完成像元级对齐，并将对齐后的rgb正射影像与数字表面模型切分为相互对应的rgb图像块与数字表面模型图像块；

26、s2、双流编码模块，包括相互参数独立的rgb编码分支与数字表面模型编码分支，用于分别对所述rgb图像块与所述数字表面模型图像块进行多层级特征提取，对应得到rgb多层级特征与高度多层级特征；

27、s3、跨模态融合模块，用于对所述rgb多层级特征与所述高度多层级特征进行跨模态融合，得到在各层级上融合了rgb光谱纹理信息与数字表面模型冠层高度结构信息的多层级融合特征；所述跨模态融合模块包括在浅层和中层进行双向信息交换的分层双模态融合子模块、对融合特征进行多尺度空间-通道注意力重标定的注意力子模块、以及基于模态梯度对边界区域进行增强的边界注意力子模块；

28、s4、实例解码模块，用于将所述多层级融合特征输入基于查询的实例解码器，预测并输出各育种田块的实例分割掩膜。

29、本发明的有益效果

30、（1）本发明通过参数独立的双流编码器与跨模态融合，将dsm所携带的冠层高度结构信息稳定地引入育种田块分割，将依赖二维颜色差异的分割转化为基于三维冠层结构的边界识别；即使相邻田块在颜色和纹理上高度相似，仍可依据边界处的冠层高度落差与结构不连续性将其分离，从机理上解决了冠层封行条件下相邻田块被误合并的问题。

31、（2）本发明并非将dsm作为附加通道简单拼接，而是采用分层双模态融合、多尺度空间-通道注意力、基于模态梯度的边界注意力以及特征对齐损失，针对无人机摄影测量dsm存在的风致模糊、重建误差与局部空洞等不确定性，抑制模态噪声、提升融合的稳定性和边界感知能力，使高度信息能够在复杂田间条件下被稳定利用。

32、（3）在涵盖3种作物、4个地点、共412个育种田块、拍摄年份跨越2020年至2025年的六个无人机田间试验数据集上进行验证，本发明所述方法的平均交并比（miou）达到93.64%，ap@50达到93.84%，全景质量（pq）达到86.92%，边界f1（boundary f1）达到78.15%，在所评估的六项指标上均优于u-net、mask r-cnn、yolov8x-seg、yolo11x-seg、yolo26x-seg五个基线模型；消融实验表明，引入dsm高度信息使miou提升约2.00个百分点、边界f1提升约8.39个百分点，是分割精度提升的主要来源，所述各融合模块进一步累计提升miou约3.33个百分点。

33、（4）由本发明预测掩膜所提取的田块级表型参数与由人工标注掩膜所提取的结果高度一致，其中冠层覆盖度、株高和冠层体积的决定系数（r²）分别为0.853、0.759和0.637，偏差接近于零，说明本发明的自动分割结果可为田块级表型分析提供与人工标注相当的可靠空间基础，支撑多环境育种试验的跨点比较与时序表型整合。