基于三维点云学习的大豆植株节点检测与表型提取方法

摘要: 本发明涉及植物表型分析及三维点云深度学习,特别是基于三维点云学习的大豆植株节点检测与表型提取方法。背景技术:1、大豆植株枝干节点的数量及其空间分布直接影响分枝数...
基于三维点云学习的大豆植株节点检测与表型提取方法

本发明涉及植物表型分析及三维点云深度学习,特别是基于三维点云学习的大豆植株节点检测与表型提取方法。

背景技术:

1、大豆植株枝干节点的数量及其空间分布直接影响分枝数、叶面积指数以及荚果着生位点,是育种评价和栽培管理中的重要结构表型指标。现有生产和科研场景中,上述指标多依赖人工逐株统计,耗时耗力,且在植株生长后期易受枝叶遮挡影响,存在主观误差较大、重复性较差等问题,难以满足规模化育种对高通量、定量化表型数据的需求。

2、在三维植株点云分析领域,现有枝干处理方案通常采用先语义分割、后密度聚类、再结合主成分分析等规则推算节点位置的技术路线。该类方法依赖“分割-聚类-人工规则”的串联式后处理流程,节点位置通常由聚类参数和主方向估计结果间接推导。当存在枝叶遮挡或点云密度不均匀时,各处理环节的误差容易累积,导致输出稳定性不足,且难以直接输出节点三维坐标。

3、在大豆点云分析方面,已有研究多通过融合点云与体素特征实现茎干和豆荚的语义分割,虽然能够提取豆荚计数、茎干高度等粗粒度表型参数,但其分类对象主要限于茎干和豆荚,尚未将枝干节点作为独立目标进行建模,因而难以输出节点三维坐标,也难以计算节间距、分枝角等表型参数。另一方面,基于二维图像的大豆茎节点关键点识别方法输出的是像素坐标,受视角遮挡和透视畸变影响较大;基于rgb-d相机融合深度信息的方案虽然能够估计节点三维位姿,但依赖专用深度传感器和多模态标定,复杂度较高,通用性受到限制。

4、植株点云中节点区域的点数占比通常不足1%。在普通交叉熵监督条件下,网络更倾向于拟合叶片等多数类,容易造成节点区域严重漏检,因此类别不均衡问题需要重点解决。因此,有必要提出一种面向大豆植株三维点云的节点检测与表型参数提取技术,以实现节点三维坐标的端到端检测,并形成从节点定位到结构表型输出的完整处理链路。

技术实现思路

1、本发明克服了现有技术的不足,提供了基于三维点云学习的大豆植株节点检测与表型提取方法。

2、为达到上述目的,本发明采用的技术方案为:

3、本发明第一方面提供了基于三维点云学习的大豆植株节点检测与表型提取方法,包括以下步骤:

4、对大豆植株进行多视角图像采集以及三维点云重建处理,并标注三维点云语义;

5、对带有语义标签的目标大豆植株原始三维点云数据进行点云预处理,得到预处理目标大豆植株三维点云数据;

6、对预处理目标大豆植株三维点云数据进行序列化编码处理,并进行共享骨干网络特征提取处理;

7、基于预处理目标大豆植株三维点云数据的逐点深度特征,进行语义分割与节点目标回归处理,输出目标大豆植株的节点三维坐标,并结合目标大豆植株的节点三维坐标计算表型参数。

8、进一步的,本发明的一个较佳实施例中,所述对大豆植株进行多视角图像采集以及三维点云重建处理,并标注三维点云语义,具体为:

9、获取需要进行节点检测与表型提取的单株大豆植株,标记为目标大豆植株,并通过摄像机对所述目标大豆植株进行多视角图像采集;

10、其中,目标大豆植株经过多视角图像采集后输出目标大豆植株多视角图像数据集,且目标大豆植株多视角图像数据集中包含目标大豆植株上所有位置的视角图像;

11、获取数据处理终端并与摄像机连接,控制目标大豆植株多视角图像数据集上传至数据处理终端内,在所述数据处理终端中,引进多视角三维重建软件;

12、通过所述多视角三维重建软件,构建三维云空间,用于对目标大豆植株多视角图像数据集进行特征点与提取匹配处理;

13、其中,特征点提取与匹配处理为进行各图像对应的相机内外参解算,并对各图像进行空间反投影与稠密匹配计算,生成包含三维空间坐标与rgb颜色信息的目标大豆植株稠密三维点云,标记为目标大豆植株原始三维点云数据;

14、在数据处理终端内调用点云标注工具,对目标大豆植株原始三维点云数据进行逐点语义标注,所述逐点语义标注为node_region、stem、leaf、background四类语义标签体系,其中,目标大豆植株原始三维点云数据中不同的位置分别标注不同的语义标签。

15、进一步的,本发明的一个较佳实施例中,所述对带有语义标签的目标大豆植株原始三维点云数据进行点云预处理,得到预处理目标大豆植株三维点云数据,具体为:

16、在数据处理终端内,对带有语义标签的目标大豆植株原始三维点云数据进行离群点去除处理;

17、其中,离群点去除处理的方法为,将每个点均设为中心点,预设每个中心点的临近点的标准数量,用于构建点云簇,在每个点云簇中计算所有临近点与中心点之间的平均距离,并在每个点云簇中对超过平均距离的临近点进行去除,再结合所有去除离群点后的点云簇,得到带有语义标签的初步处理目标大豆植株三维点云数据;

18、继续对带有语义标签的初步处理目标大豆植株三维点云数据进行质心中心化处理,质心中心化处理的方法为,计算带有语义标签的初步处理目标大豆植株三维点云数据的整体质心坐标,并将所有点的三维坐标减去整体质心坐标,得到质心中心化处理后的带有语义标签的初步处理目标大豆植株三维点云数据;

19、同时进行尺度归一化处理以及最远点采样降采样处理,输出预处理目标大豆植株三维点云数据。

20、进一步的,本发明的一个较佳实施例中,所述对预处理目标大豆植株三维点云数据进行序列化编码处理,并进行共享骨干网络特征提取处理,具体为:

21、在数据处理终端中,引进hilbert空间填充曲线,对预处理目标大豆植株三维点云数据进行序列化处理;

22、其中,所述序列化处理为,在三维云空间中对预处理目标大豆植株三维点云数据映射为一维有序令牌序列,并在三维云空间中对相邻的点云数据进行序列连续维持,输出预处理目标大豆植株三维点云数据的有序点云令牌序列;

23、在数据处理终端中,构建共享骨干网络,其中,共享骨干网络的构建方法为,引进pointmamba状态空间模块并进行堆叠连接,得到层级式网络结构,并在每个pointmamba状态空间模块中进行建模配置;

24、其中,建模配置为在每个pointmamba状态空间模块中都配置令牌嵌入层、状态空间计算层及特征输出层;

25、将有序点云令牌序列输入至每个pointmamba状态空间模块的令牌嵌入层中,并进行三维坐标信息与高维特征向量的转换处理,同时融合所有的高维特征向量;

26、在pointmamba状态空间模块的状态空间计算层中,对融合后的高维特征向量进行有效高维特征向量筛选,并在特征输出层中输出筛选后的高维特征向量,标定为预处理目标大豆植株三维点云数据的逐点深度特征。

27、进一步的,本发明的一个较佳实施例中,所述基于预处理目标大豆植株三维点云数据的逐点深度特征,进行语义分割与节点目标回归处理,输出目标大豆植株的节点三维坐标,并结合目标大豆植株的节点三维坐标计算表型参数,具体为:

28、在数据处理终端中,并行设置语义分割任务头与节点坐标回归任务头,并首先在语义分割任务头中输入预处理目标大豆植株三维点云数据的逐点深度特征;

29、其中,所述语义分割任务头对预处理目标大豆植株三维点云数据的逐点深度特征进行四类语义概率预测,包括node_region、stem、leaf、background语义标签,同时引进交叉熵损失法则以及focal loss算法相结合的联合损失函数,用于对语义分割任务头进行四类语义概率预测的训练;

30、其中,所述focal loss用于降低预处理目标大豆植株三维点云数据的逐点深度特征中的样本损失权重;

31、根据语义分割任务头输出的四类语义概率,筛选node_region预测概率高于预设阈值的所有点,标记为节点候选种子点集;

32、将所述节点候选种子点集以及对应的所有逐点深度特征输入至节点坐标回归任务头中,并控制节点坐标回归任务头对节点候选种子点集中的每个点进行三维偏移向量预测与置信度得分预测;

33、其中,三维偏移向量用于表征节点候选种子点集中的每个点指向预设的节点中心的空间偏移量,置信度得分用于表征三维偏移向量的预测可信度;

34、在数据处理终端中,对节点候选种子点集中的每个点的三维偏移向量与置信度得分进行非极大值抑制处理,输出目标大豆植株各节点的最终三维坐标;

35、结合目标大豆植株各节点的最终三维坐标,计算对应的目标大豆植株表型参数。

36、进一步的,本发明的一个较佳实施例中,所述结合目标大豆植株各节点的最终三维坐标,计算对应的目标大豆植株表型参数,具体为:

37、在数据处理终端中,统计目标大豆植株各节点的最终三维坐标的数量,输出目标大豆植株的最终节点总数;

38、将目标大豆植株各节点的最终三维坐标按照竖直方向坐标由小到大排序,依次计算相邻两个最终节点的最终三维坐标之间的欧氏距离,标记为节点间距,并汇总所有节点间距,输出目标大豆植株节点间距数据集;

39、提取目标大豆植株各节点的最终三维坐标中的竖直方向坐标,计算竖直方向坐标最大值与最小值的差值,得到目标大豆植株的株高;

40、在数据处理终端中,引进主成分分析法,通过所述主成分分析法对目标大豆植株进行主茎方向向量与侧枝方向向量计算,并基于计算结果确定主茎与侧枝的分枝角,输出为目标大豆植株的分枝角数据;

41、在数据处理终端内,以结构化格式输出目标大豆植株的分枝角数据、目标大豆植株节点间距数据集、目标大豆植株的最终节点总数以及目标大豆植株的株高,得到目标大豆植株表型参数。

42、针对上述背景技术中存在的技术缺陷,本发明具有以下有益效果:获取单株大豆植株的多视角图像并重建得到三维点云;对所述三维点云进行标注、预处理和序列化编码;基于共享骨干网络提取逐点深度特征,并通过语义分割和节点坐标回归完成枝干节点三维坐标检测;根据检测得到的节点三维坐标计算节点数、节间距、株高和分枝角等表型参数。本发明能够实现大豆植株枝干节点三维坐标的端到端检测,并自动输出节点数、节间距、株高和分枝角等关键表型参数。