一种水培生菜表型分割方法、系统、介质和设备

本发明涉及植物表型识别领域，特别涉及一种水培生菜表型分割方法、系统、介质和设备。

背景技术：

1、在水培生菜种植过程中，可靠的叶级表型提取仍是一个主要瓶颈，这主要归因于叶片间的相互遮挡、复杂的表面曲率以及背景的干扰。高精度的植物表型分析是现代精准农业和数据驱动育种的基石。

2、近年来，基于标注数据的深度学习方法在3d植物器官分割领域取得了显著进展，可以实现结构复杂作物的精细语义和实例分离。其中，mask3d作为首个使用transformer的端到端3d实例分割模型，通过采用稀疏特征主干网络对输入点云进行体素化和分层特征提取，生成多尺度点云特征，并利用一组可学习的初始实例查询，经transformer解码器迭代更新，将每个查询映射为实例掩码，用查询到掩码的方式替代了传统的手工投票和几何后处理的流程；

3、然而，mask3d模型中的初始实例查询采用随机初始化或固定预设方式生成，未能充分利用输入点云自身所蕴含的全局几何分布信息。这一局限导致在处理结构复杂、形态多变的植物点云时，模型实例预测的稳定性与空间一致性较差，容易出现误检或漏检现象，进而降低了水培生菜叶片实例分割的精度。

技术实现思路

1、本发明提供了一种水培生菜表型分割方法、系统、介质和设备，用以解决现有技术中存在的上述问题，即现有技术中如何提高水培生菜表型分割精度的问题，本发明提供一种水培生菜表型分割方法，该方法包括：

2、获取水培生菜植株的多视角rgb图像，生成原始植株点云；

3、将原始植株点云输入至预训练的改进型mask3d模型，获取每个叶片的实例点云；所述改进型mask3d模型包括特征主干模块和解码模块；所述特征主干模块包括在原mask3d模型的骨干网络前增加的度量尺度坐标对齐msca模块；所述解码模块包括结构自适应查询精化saqr模块和可学习线性层；

4、其中，所述度量尺度坐标对齐msca模块将原始植株点云映射至坐标原点，确定平移后的点云；所述骨干网络对平移后的点云进行分层特征提取，确定多尺度点云特征；所述结构自适应查询精化saqr模块提取平移后的点云的径向距离和垂直坐标的统计特征作为全局几何描述符，并通过可学习线性层将全局几何描述符投影为结构偏置向量，将结构偏置向量与原mask3d模型预设的初始实例查询进行融合，生成实例查询，将实例查询投影至与多尺度点云特征维度相同的特征，确定投影后的查询向量，将查询向量与多尺度点云特征中每一个点的特征向量进行点积，确定各查询对应的概率均值，将概率均值大于预设阈值的查询作为每个叶片的实例点云。

5、可选的，将每个叶片的实例点云投影至与曲率相一致的半曲面，确定薄片化后的叶片点云；基于薄片化后的叶片点云和整株点云，获取叶片的表型参数和整株点云的表型参数；其中，所述将每个叶片的实例点云投影至与曲率相一致的半曲面，确定薄片化后的叶片点云，具体包括：

6、对于叶片点云中的每一个点，采用knn算法搜索其最近的k个临点，以构建临点集合；

7、确定临点集合的局部邻域协方差矩阵，对所述局部邻域协方差矩阵进行特征值分解，确定分解后的特征值、和，基于特征值、和，采用如下方式获取归一化曲率：

8、

9、其中，和是对应于主成分变化的另外两个特征值，为最小特征值，表示第个点的归一化曲率；

10、通过引入缩放因子，结合归一化曲率，采用如下方式获取每一个点的邻域搜索半径：

11、

12、其中，是缩放因子，为防止分母为零的极小常数；

13、在邻域搜索半径内，采用主成分分析pca方法获取任意叶片点云中的中心点的法向量，并通过十字乘积确定与法向量垂直的两条切向量和，构建局部坐标系，将邻近点转换至局部坐标系中，通过最小二乘法将转换后的邻近点拟合到局部二次曲面上，重复上述步骤，确定薄片化后的叶片点云。

14、可选的，所述叶片的表型参数，包括叶长、叶宽、叶面积、叶周长和叶倾角；整株点云的表型参数，包括植株高度、冠幅、投影面积和植株体积。

15、可选的，对薄片化后的叶片点云进行主成分分析，建立标准化三维坐标系；

16、在标准化三维坐标系内，采用迪杰斯特拉dijkstra最短路径算法提取叶脉曲线，并对所述叶脉曲线上相邻三维离散点的欧氏距离进行累加，将其作为所述叶长；

17、提取薄片化后的叶片点云中所有点沿垂直于主叶脉的横向方向的最大坐标值与最小坐标值，将最大坐标值与最小坐标值的差值作为所述叶宽；

18、提取所述标准化三维坐标系中第一主成分的主轴向量，将主轴向量与获取的叶片重力方向的夹角作为所述叶倾角。

19、可选的，提取所述薄片化后的叶片点云的边缘边界点，并对边缘边界点进行序列化排序，形成闭合的多边形边界线，将多边形边界线包围的二维平面面积，作为所述叶面积；获取薄片化后的叶片点云在2d投影平面上相邻边界点，将相邻边界点之间的欧氏距离之和作为所述叶周长。

20、可选的，将从根部到生菜植株最高点之间的垂直距离作为所述植株高度；将包围所有叶片投影点的最小圆的直径作为所述冠幅。

21、可选的，将所述原始植株点云输入至预训练的改进型mask3d模型之前，对所述原始植株点云进行预处理，具体包括：点云聚类分离、尺度恢复、坐标对齐、多阶段去噪与采样处理。

22、本发明提供了一种水培生菜表型分割系统，实现上述水培生菜表型分割方法。

23、本发明提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述水培生菜表型分割方法。

24、本发明提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述水培生菜表型分割方法。

25、相对于现有技术，本发明的有益效果如下：本发明提供了一种水培生菜表型分割方法，该方法通过采用度量尺度坐标对齐msca技术，对生菜点云进行坐标对齐同时保持其物理尺度不变，通过结构自适应查询精saqr模块提取对齐后的点云的径向距离与垂直坐标统计特征，以构建全局几何描述符，并通过可学习线性层将其投影为结构偏置向量，与mask3d预设的初始实例查询相融合，能够使实例查询在初始阶段就携带了“生菜叶片从中心向外呈径向辐射分布”这一空间结构先验知识，saqr模块再通过实例查询与点云特征之间的交互结果对查询向量进行动态调整，逐层优化实例查询的空间定位能力和语义表达能力，使分割结果更具空间合理性，减少误检与漏检，从而提高叶片实例分割的准确性。

1.一种水培生菜表型分割方法，其特征在于，包括：

2.如权利要求1所述水培生菜表型分割方法，其特征在于，将每个叶片的实例点云投影至与曲率相一致的半曲面，确定薄片化后的叶片点云；基于薄片化后的叶片点云和整株点云，获取叶片的表型参数和整株点云的表型参数；其中，所述将每个叶片的实例点云投影至与曲率相一致的半曲面，确定薄片化后的叶片点云，具体包括：

3.如权利要求2所述水培生菜表型分割方法，其特征在于，所述叶片的表型参数，包括叶长、叶宽、叶面积、叶周长和叶倾角；整株点云的表型参数，包括植株高度、冠幅、投影面积和植株体积。

4.如权利要求3所述水培生菜表型分割方法，其特征在于，对薄片化后的叶片点云进行主成分分析，建立标准化三维坐标系；

5.如权利要求3所述水培生菜表型分割方法，其特征在于，提取所述薄片化后的叶片点云的边缘边界点，并对边缘边界点进行序列化排序，形成闭合的多边形边界线，将多边形边界线包围的二维平面面积，作为所述叶面积；获取薄片化后的叶片点云在2d投影平面上相邻边界点，将相邻边界点之间的欧氏距离之和作为所述叶周长。

6.如权利要求3所述水培生菜表型分割方法，其特征在于，将从根部到生菜植株最高点之间的垂直距离作为所述植株高度；将包围所有叶片投影点的最小圆的直径作为所述冠幅。

7.如权利要求1所述水培生菜表型分割方法，其特征在于，将所述原始植株点云输入至预训练的改进型mask3d模型之前，对所述原始植株点云进行预处理，具体包括：点云聚类分离、尺度恢复、坐标对齐、多阶段去噪与采样处理。

8.一种水培生菜表型分割系统，其特征在于，实现上述权利要求1-7任一项所述水培生菜表型分割方法。

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-7任一项所述水培生菜表型分割方法。

10.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1-7任一所述水培生菜表型分割方法。