面向田间小麦点云中茎、叶和土壤的边界感知语义分割方法
本发明涉及一种边界感知语义分割方法,具体涉及一种面向田间小麦点云中茎、叶和土壤的边界感知语义分割方法。
背景技术:
1、小麦是禾本科最具代表性的粮食作物之一,其苗期茎叶结构直接决定群体冠层形态和光截获效率。在真实田间场景下,对小麦三维点云中的茎、叶和土壤进行精确语义分割,是提取株高、叶片倾角、茎叶空间分布等三维结构表型的重要前提和基础。然而,田间点云受植株遮挡、点密度分布不均以及环境噪声等因素影响,常导致器官边界模糊和结构信息缺失。尤其是细长茎秆常与叶片或土壤发生重叠,容易产生边界混淆和分割不连续等问题,严重影响后续表型分析的准确性。为了降低场景复杂性,现有研究通常在语义分割之前对原始点云进行预处理,例如分离或去除地面点,以减少非目标区域的干扰。然而,这类预处理过程容易引入额外误差,并削弱模型对复杂田间环境的适应能力。因此,如何直接对原始田间点云实现高精度语义分割,仍然是作物表型分析领域亟待解决的关键问题。
2、随着高通量表型技术的发展,基于图像的作物结构分析方法得到了广泛应用。已有研究利用二维图像成功提取了部分作物表型参数。然而,由于缺乏深度信息,这类方法难以准确表征作物复杂的三维空间拓扑结构。为了获取作物三维结构信息,gai等利用tof相机获取冠层下方的深度信息;wang等采用tls技术获取温室黄瓜三维点云,并分析其冠层结构和光截获特性;song等则基于rgb-d传感器实现了室外单株植物的三维点云重建及表型特征提取。然而,现有研究主要集中于温室环境或盆栽单株植物,其在真实田间环境中的应用仍较为有限。此外,相关设备的测量性能容易受到自然光照变化、风力扰动及测量距离等因素的影响,从而引入较大的深度噪声。相比之下,多视角图像三维重建技术,即运动恢复结构,能够在较大范围内获取高分辨率三维点云,并有效保留植株几何细节,因此近年来得到了广泛关注。
3、在获得三维点云数据之后,如何对其进行有效分析成为研究重点。在深度学习方法广泛应用之前,一些研究采用传统机器学习方法开展植物器官分割。xia等结合rgb-d数据、均值漂移聚类(mean shift)和主动轮廓模型(active contour model),实现了复杂遮挡条件下的单叶分割。zhou等利用sfm重建的三维点云,并结合k-means聚类、支持向量机和boosting方法,实现了温室环境下大豆植株分割,在重叠场景中取得了一定效果。然而,这些方法大多面向单株或单叶尺度,处理流程较为复杂。随着深度学习的发展,点云语义分割技术在三维场景中取得了显著进展。qi等提出pointnet及其改进模型pointnet++,通过点级特征学习和层次化采样策略,有效建模点云局部结构,为点云语义分割奠定了基础。在此基础上,qian等提出pointnext,通过优化网络结构和训练策略进一步提升了模型性能和计算效率。然而,pointnet系列模型在邻域关系建模方面仍存在一定局限,对复杂局部几何结构和语义边界的表达能力不足。
4、为了增强局部结构建模能力,研究者从邻域关系建模和特征表示等方面进行了进一步改进。wang等提出dynamic graph cnn,利用动态图动态更新点邻域关系,从而增强局部几何形状的表达能力。thomas等提出kpconv,通过引入连续可变形卷积核,实现了点云空间结构的精细建模。zhao等提出point transformer,将自注意力机制引入点云处理框架,有效提升了复杂结构及长距离依赖关系的建模能力。
5、随着应用需求的不断扩展,一些研究开始面向实际农业场景开展点云语义分割研究。chen等基于randla-net构建深度网络,并改进局部特征聚合模块,实现了大规模农业场景点云的语义分割。liu等提出fsdnet,通过设计密度自适应嵌入子网络,实现密度特征提取与特征传播,有效缓解了点云空洞和离散点对分割性能的不利影响。cui等提出pvsegnet,将点云卷积与体素卷积相结合,并引入方向编码模块,实现了大豆荚果和茎秆的语义分割与实例分割,进一步支持表型参数提取。然而,这些方法主要针对结构较为完整的单株作物设计,对于复杂田间环境下多株交叠及细长结构的稳定分割仍缺乏针对性的设计。liu等提出samplant3d框架,将零样本分割模型与点云补全和表型参数提取相结合,无需大量标注数据即可实现植物三维实例分割及表型分析。qu等提出基于多尺度nerf的点云重建方法,并进一步构建视觉关系知识图谱网络,通过融合多视角图像分割结果与点云特征,实现了水稻点云的语义分割和实例分割。总体来看,从传统机器学习方法到深度学习框架,现有研究在点云语义分割、特征建模及农业应用等方面均取得了显著进展,并在标准点云数据集上获得了优异性能。然而,大多数方法均建立在点云结构较完整、语义边界较清晰的前提下,对于细长结构建模和边界判别仍存在明显不足。
6、尽管现有方法在标准点云数据集上取得了良好的性能,但针对真实田间苗期小麦的公开语义分割数据集仍十分匮乏。现有数据集大多针对结构完整的植株或受控环境构建,难以真实反映复杂田间条件下小麦点云的分布特征。在真实田间环境中,苗期小麦通常表现为多株交叠生长、茎秆细长、叶片交错密集,同时受到风力扰动、光照变化以及三维重建误差等因素的影响,导致点云数据普遍存在噪声较多、点密度分布不均以及局部结构缺失等问题。更为重要的是,不同器官之间的语义边界通常呈现渐变且模糊的过渡特征,尤其是在茎–叶和茎–土壤交界区域,细长茎秆极易出现边界混淆和结构不连续等现象。茎秆作为连接植株各器官的关键结构,其分割精度直接影响株高估计、群体结构分析等下游表型分析任务的准确性。已有研究在叶片分割、茎叶结构提取、单株重建以及冠层结构分析等方面取得了较好的研究进展。然而,这些方法大多针对单株植株或温室等受控环境设计,难以直接应用于复杂的真实田间场景。在复杂田间条件下,这类方法容易产生茎秆漏分、结构侵蚀以及边界误分类等问题,从而影响整体语义分割性能。此外,不同作物类型及其生长环境之间存在显著差异,进一步限制了现有机器学习方法在不同场景中的泛化能力和应用效果。
7、因此,有必要针对真实田间苗期小麦点云开展语义分割研究,以提高复杂环境下的分割性能,并为株高、叶面积等群体尺度表型参数的精准提取提供可靠的数据支撑。
技术实现思路
1、针对上述问题,本发明面向真实田间环境下小麦点云中茎、叶和土壤三类语义类别,提供了一种面向田间小麦点云中茎、叶和土壤的边界感知语义分割方法。该方法显式建模不同类别之间的语义边界区域,并引入边界细化机制,有效提高了边界区域的分类精度,同时缓解了细长茎秆结构的漏分与侵蚀现象,从而提升整体分割性能。
2、本发明的目的是通过以下技术方案实现的:
3、一种面向田间小麦点云中茎、叶和土壤的边界感知语义分割方法,包括如下步骤:
4、步骤1、数据采集与三维重建:
5、在真实田间环境下采集苗期小麦的多视角图像,并利用三维重建方法生成高密度点云数据,具体步骤如下:
6、步骤1-1、在自然光照条件下,相机围绕目标区域进行环绕式多视角拍摄,视角由低角度侧视逐渐过渡到中高角度斜视,以获取不同尺度和不同视角的观测信息;
7、步骤1-2、基于采集得到的多视角图像,采用运动恢复结构(structure frommotion,sfm)方法进行相机位姿估计和稀疏重建,利用多视图立体视觉(multi-viewstereo,mvs)生成稠密点云;
8、步骤2、数据集构建:
9、对原始点云进行分块、语义标注和数据增强,构建用于模型训练与性能评估的小麦点云语义分割数据集,具体步骤如下:
10、步骤2-1、分块:基于cloudcompare在xy平面上采用滑动窗口方式对点云进行空间划分,每个局部点云块(patch)对应田间的局部区域;
11、步骤2-2、数据标注:对每个点云patch中的所有点进行逐点人工标注,分别赋予茎秆(stem)、叶片(leaf)和土壤(soil)三类语义标签;
12、步骤2-3、数据集划分
13、采用patch级别的数据划分策略,将数据划分为训练集、验证集和测试集;
14、步骤2-4、数据增强:
15、仅对训练集进行随机数据增强,数据增强策略包括几何变换和颜色变换两部分;
16、步骤3、基于边界感知的语义分割:
17、步骤3-1、设计边界感知语义分割框架wheatseg-br:
18、wheatseg-br由四个部分组成:基于pointnext的编码器、全局分支与共享解码器、边界感知表征学习模块和不确定性引导门控融合模块,其中:基于pointnext的编码器以xyz坐标、rgb颜色信息和几何特征为输入,提取层次化点云特征;全局分支与共享解码器融合多尺度局部信息和全局上下文信息,生成解码后的特征;解码后的特征输入到边界感知表征学习模块,边界感知表征学习模块由粗分类分支、边界辅助预测分支和边界细化头(boundary refinement head,brh)组成,其中粗分类分支生成粗语义预测结果,边界辅助预测分支在训练阶段提供边界监督,brh对边界区域进行局部结构建模并输出边界细化残差预测;不确定性引导门控融合模块通过粗语义预测的置信度计算门控权重,对粗语义预测结果与边界细化残差预测进行自适应加权融合,生成最终的点级语义分割结果;
19、步骤3-2、采用语义分割损失与边界监督损失相结合的联合优化策略,对wheatseg-br进行端到端训练;
20、步骤3-3、将测试集输入到训练好的wheatseg-br中,进行茎、叶和土壤的边界感知语义分割。
21、相比于现有技术,本发明具有如下优点:
22、(1)构建了真实田间环境下的小麦三维点云语义分割数据集,为复杂农业场景下小麦器官级结构分析提供了数据基础。
23、(2)提出了边界感知语义分割框架wheatseg-br,通过显式建模语义边界,增强了复杂田间场景下细长茎秆及边界区域的特征表征能力,通过融合多模态特征与边界建模机制,提高了复杂田间场景下细粒度结构及边界区域的分割精度。wheatseg-br为复杂田间环境下小麦结构分析提供了一种实用且鲁棒的解决方案,并为后续群体尺度表型参数提取和高通量性状分析奠定了可靠基础。
24、(3)设计了边界细化头(boundary refinement head,brh)和不确定性引导的预测修正策略,提高了模型对语义过渡区域的判别能力,实现了更加连续的茎秆结构,并提升了边界区域的分割质量。
25、(4)在自建真实田间小麦点云数据集上的实验结果表明,wheatseg-br取得了77.9%的miou和94.5%的oa。其中,iou_stem达到43.6%,较pointnet++、pointnext和dgcnn分别提高28.4%、36.3%和14.7%;iou_leaf和iou_soil分别达到94.3%和95.7%。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com