一种遮挡条件下种苗叶面积测量方法

1.本发明属于农业信息技术与自动化作物表型测量领域，具体涉及一种遮挡条件下种苗叶面积测量方法。


背景技术：

2.叶片是植物外在形态的重要组成部分，同时也是植物进行生理功能运作的主要器官。传统的叶面积测量方法使用叶面积仪，它依据叶片在二维投影产生的像素点去计算叶片参数。实际上，生长形态和变形等因素都使得叶片不可能是一个绝对的平面，直接使用二维图像进行测量将导致测量误差。只有依据叶片在三维空间中的形态构型才能实现更精确的测量。随着传感技术的快速发展和计算性能的提高，使得三维尺度上的快速数据采集和表型提取成为可能。激光雷达、低成本的深度相机和多视图成像技术等被广泛用于3d植物数据的获取。一般来说，目前的植物三维数据处理技术非常耗时，需要许多人工交互，导致大量的原始数据积累。因此，迫切需要设计和开发新的方法来提高三维植物表型测量的自动化程度。然而，为了实现这一目标，必须解决三个挑战。
3.首先，是解决点云数据的质量问题。具体来说，从rgb-d传感器获得的数据比较粗糙，离群点噪声和悬浮点比较严重。传统方法采用半径滤波和直通滤波很难滤除这些噪声点云。
4.其次，是提高植物器官的分割精度，这在植物叶面积测量中起着基础作用。特别是，基于二维的方法可以利用传统的图像处理和深度卷积神经网络(cnn)来实现分割。与二维图像相比，三维模型不仅包含颜色和纹理的信息，而且还带有最重要的深度信息。近年来，基于三维模型的表型测量已经吸引了越来越多的研究。然而，直接采用这些方法来实现种苗的点云数据分割，由于种苗具有复杂的结构，叶片之间相互遮挡，性能会明显下降。
5.最后，是处理因遮挡而缺失的叶片数据。虽然这项技术在植物三维表型的应用中是一个新兴领域，但它一直是图形和视觉界的一个重要研究问题。基于深度学习的点云完成方法已经取得了一些研究进展，但仍面临一些挑战，如计算量大、分辨率低。


技术实现要素：

6.(一)要解决的技术问题
7.本发明的目的就是为了克服上述现有技术的不足，提供一种遮挡条件下种苗叶面积测量方法，可以有效的滤除点云中的悬浮点和噪声点，还可以对存在遮挡的种苗实现高精度的点云分割和对缺失叶片进行补全，实现了种苗的叶面积自动化精确测量。
8.(二)技术方案
9.为了解决上述问题，本发明提供了如下技术方案，提出了一种遮挡条件下种苗叶面积测量方法，具体如下。
10.一种遮挡条件下种苗叶面积测量方法，其特征在于，包括如下步骤：
11.s1，采用深度相机获取种苗的深度图像，将深度图像转换为点云；
12.s2，采用邻域空间约束方法，对点云中的悬浮点和离群点噪声进行滤除处理；
13.s3，基于步骤s2处理后的种苗点云数据，采用cloud compare构建种苗分割数据集，采用缺失模拟法构建种苗叶片补全数据集；
14.s4，构建编码器-解码器种苗分割网络模型和构建编码器-解码器叶片补全网络模型；两个网络模型的编码器中均包括采用邻域聚合策略进行特征提取和邻域交互融合模块对特征进行处理，解码器中均包括采用上采样到与输入相同分辨率和邻域交互融合模块进行解码；种苗分割网络模型与叶片补全网络模型的区别包括，前者的解码器的最后输出种苗点云先进行最大池化后通过多层感知机降维，为每个点预测一个类别；
15.s5，使用步骤s3中种苗分割数据集和种苗叶片补全数据集，分别在步骤s4构建的两个网络模型上进行训练，确定种苗分割网络模型权重和叶片补全网络模型权重；
16.s6，采用待测试的遮挡种苗作为输入，基于步骤s5确定的种苗网络分割模型权重对种苗实现茎叶分离，再对因遮挡缺失的叶片通过步骤s5确定的叶片补全网络模型权重进行补全，最后通过贪婪三角化测量叶面积。
17.优选地，步骤s1中具体是将1台连接外置电脑的深度相机安装在种苗正上方，进行高通量数据采集，获得1024*1024的深度图，将深度图像转换为点云。3.根据权利要求1所述的遮挡条件下种苗叶面积测量方法，其特征在于，步骤s2中的滤除处理具体包括如下步骤：
18.s21，将原始点云通过直通滤波，得到只包含植株区域的点云；
19.s22，设定阈值n，利用k最近邻算法寻找每个中心点周围n个邻域，求得中心点与邻域间欧式距离的平均值d；
20.s23，通过设定的阈值n，利用最小二乘法拟合平面来预测每个中心点法向量，求得法向量与z轴的夹角w；
21.s24，重复s22和s23，若d≥d则判断为悬浮点，若w≥c则判断为离群点，并删除悬浮点和离群点，其中d为设定的距离阈值，c为设定的角度阈值；
22.s25，遍历整个点云，将悬浮点和离群点全部剔除。
23.优选地，滤除悬浮点和离群点噪声时，阈值n设为12，d设为0.0034，c设为60
°
。
24.优选地，步骤s3的具体实现方式为利用cloud compare人工注释茎叶制作种苗分割的训练数据集，茎点用0标记，叶点用1标记，针叶用2标记；使用缺失模拟法来制作种苗叶片补全数据集时，以种苗中完整叶片做为对象，假设选取一个种苗叶片点云s，随机选定空间中[1，1，1]、[1，1，-1]、[1，-1，1]、[1，-1，-1]、[-1，1，1]、[-1，1，-1]、[-1，-1，1]、[-1，-1，-1]、[0，0，0]某一个点作为视点v，计算视点v到种苗点云s中每一点的距离记为dvs，并从小到大进行排序；随机选取128、256、512其中一个数值作为种苗点云叶片缺失点数值，将dvs中最小点到缺失点数值的点坐标值置0；最后将上述处理后的种苗叶片点云和完整种苗叶片s构成数据对，放入种苗叶片补全数据集中。
[0025]
优选地，步骤s4中采用邻域聚合策略进行特征提取，具体实现方式为：假设邻域特征聚合层以一个具有n个点和相应特征fn的种苗点云作为输入，输出一个具有ns点的采样种苗点云及其相应的聚合特征fs；首先，采用最远点采样算法将种苗点云数量从n降采样到ns、特征fn降采样到fi；再以fi中每一个采样点为中心，在特征fn中寻找最近的k点构成邻域并用f
ik
表示其邻域特征，输出特征fs的计算方式如公式(1)所示：
[0026]fs
＝mp(lbr(concat(f
i-f
ik
，rp(fi，k))))
ꢀꢀꢀ
(1)
[0027]
其中，mp是最大池化算子，rp(fi，k)是将向量fi重复k次形成矩阵的算子，lbr包含linear层、batchnorm层和relu层，concat表示将两个特征进行拼接。7.根据权利要求1所述的遮挡条件下种苗叶面积测量方法，其特征在于，步骤s4中邻域交互融合模块对特征进行处理，具体实现方式为：将种苗点云通过局部邻域聚合策略后生成的不重叠点云组序列fs作为输入，点云组序列被用相同的投影矩阵进行线性投影到维度fo；其中网络邻域交互融合模块由两个大小相同的层组成，每层由两个mlp块组成；第一层是点云组内混合：它作用于某个点云组的内部之间，将点云组序列fs映射为fc；第二层是通道混合：它作用于各点云组序列之间，又将fc映射回与fs相同的维度并用fo表示；每个mlp块包含两个全连接层和一个非线性激活函数层；整个过程如公式(2)所示：
[0028][0029]
t是翻转操作，fc和fo分别为组内混合和通道混合中可调整的隐藏特征，layernorm表示层归一化。
[0030]
优选地，步骤s5的模型构建编码器-解码器形状的点云分割和补全的方法，简称mix-net；其中编码器采用多分辨率渐进式(2048，1024，512，256)特征提取，每个分辨率中种苗点云处理都与步骤s4中编码器处理方式相同；解码器采用多分辨率渐进式(256，512，1024，2048)预测完整种苗点云；每个分辨率中种苗点云预测都与步骤s4中解码器处理方式相同；种苗分割网络模型与叶片补全网络模型的区别包括，编码器的最后输出种苗点云先最大池化再通过多层感知机降维，为每个点预测一个类别；最后将步骤s3中构建的种苗分割和叶片补全数据集分别输入mix-net进行训练，得到种苗分割网络模型权重和叶片补全网络模型权重。
[0031]
优选地，步骤s6对种苗叶面积精确测量，具体为采集存在遮挡的单株或整盘种苗深度图像，并根据s2进行处理，将处理后的种苗点云依据步骤s5训练的种苗分割网络模型权重，得到茎叶分离的种苗；再对于因遮挡存在缺失的叶片依据步骤s5训练的叶片补全网络模型权重进行补全，最后通过贪婪三角化对单株或整盘的叶面积表型进行精准测量。
[0032]
(三)有益效果
[0033]
相对于现有技术而言，本发明提供的一种遮挡条件下种苗叶面积测量方法具备显著积极的技术效果，具体表现在如下方面。
[0034]
(1)本发明采用步骤s2解决点云数据的质量问题，获得了显著优于现有技术的处理效果。从rgb-d传感器获得的种苗数据比较粗糙，离群点噪声和悬浮点往往比较严重。传统方法采用半径滤波和直通滤波很难滤除这些噪声点云。本发明提出邻域空间约束方法，创造性地结合种苗点云内空间距离和法向量约束，对点云中的悬浮点和离群点噪声进行了准确高效地滤除。
[0035]
(2)本技术采用步骤s4的种苗点云分割模型和步骤s2构建的种苗点云分割数据集解决了遮挡条件下种苗分割的问题。与传统二维和三维分割方法相比，本发明是一种确且有效的编码器-解码器种苗分割网络模型，该模型与高精度的点云补全模型进行融合，借助点云补全模型高效特征提取能力，实现更复杂情形下的点云分割。即使种苗具有复杂的结构和叶片之间相互遮挡，也可以将种苗的茎和叶实现分离，而且性能明显提升。
[0036]
(3)本技术采用步骤s4的种苗点云补全模型和步骤s2构建的种苗点云补全数据集解决了遮挡条件下种苗叶面积精确测量的问题。在现有技术中，针对遮挡条件下种苗叶面积精确测量问题还没有得到很好的解决，大多只是根据叶片固有的形状对缺失叶片进行补全预测，然后再测量叶片叶面积，但这种方式效率低、适用性低且效果差。本发明提出的编码器-解码器种苗补全网络模型，通过邻域聚合策略和邻域交互融合模块提取到叶片丰富的特征，可以轻松补全各种缺失形状的叶片，使得种苗叶面积测量更加精确。并且，本发明的这种端到端的方式，其效率要显著高于现有技术。
附图说明
[0037]
图1为种苗数据采集过程图；
[0038]
图2为种苗点云滤波处理过程图；
[0039]
图3为种苗分割数据集和叶片补全数据集制作过程图；
[0040]
图4为种苗分割网络模型和叶片补全网络模型图；
[0041]
图5为邻域聚合策略图；
[0042]
图6为邻域交互融合模块图；
[0043]
图7为叶面积测量结果对比图。
具体实施方式
[0044]
下面结合附图及实施案例进一步说明本发明。
[0045]
图1为种苗数据采集过程图，从图1(a)种植种苗的温室大棚中获取种苗，然后放入图1(b)的数据采集装置中，获取图1(c)的深度图像，最后将深度图像转化为图1(d)的三维点云。
[0046]
图2为种苗点云滤波处理过程图，对获取到的种苗点云进行滤波，在图2(a)表示原始种苗点云，随后通过直通滤波滤除背景和地面，图2(b)表示滤除背景和地面后的点云，再通过邻域空间约束滤除悬浮点和噪声点如图2(c)所示。
[0047]
图3为种苗分割数据集和叶片补全数据集制作过程图，如图3(1)所示利用cloud compare人工注释茎叶制作种苗分割的训练数据集，茎点用0标记，叶点用1标记，针叶用2标记；如图3(2)所示用缺失模拟法来生成缺失叶片。采用上述方法，分别构建种苗分割数据集和种苗叶片补全数据集。
[0048]
图4-图6为种苗分割网络模型和叶片补全网络模型图、邻域聚合策略图和为邻域交互融合模块图。图4为构建编码器-解码器种苗分割网络模型和构建编码器-解码器叶片补全网络模型，其中包括邻域聚合策略图(neighbor point aggregation)、邻域交互融合模块(point-mixer)和上采样(up-conv)，input表示输入，output表示输出，[b，128]和[b，128，256]表示特征维度，skip connections表示特征拼接，max-pooling表示最大池化，repeat表示重复该特征。两个网络模型的编码器中均包括采用如图5所示邻域聚合策略进行特征提取和如图6所示邻域交互融合模块对特征进行处理，解码器中均包括采用上采样到与输入相同分辨率和如图6所示邻域交互融合模块进行解码；种苗分割网络模型与叶片补全网络模型的区别包括，解码器的最后输出种苗点云先进行最大池化后通过多层感知机降维，为每个点预测一个类别。图5中，bxnxd表示特征维度，fps表示最远点采样算法，k-nn
表示k最近邻算法，matrix sub表示特征相减。图6中，skip-connections表示将两端特征相加。
[0049]
使用种苗分割数据集和种苗叶片补全数据集，分别在图4构建的两个网络模型上进行训练，确定种苗分割网络模型权重和叶片补全网络模型权重。
[0050]
采用待测试的遮挡种苗作为输入，基于确定的种苗网络分割模型权重对种苗实现茎叶分离，再对因遮挡缺失的叶片通过叶片补全网络模型权重进行补全，最后通过贪婪三角化测量叶面积。图7(1)展示了40株种苗在遮挡条件下，未对缺失叶片进行补全时，利用贪婪三角化测量叶面积与人为利用叶面积测量仪测量叶面积的叶面积相关指数；图7(2)展示了采用本发明的技术方案，对缺失叶片进行补全后，利用贪婪三角化测量叶面积与人为利用叶面积测量仪测量叶面积的叶面积相关指数；二者相比，叶面积相关指数中r2提升，而mse下降；其中r2表示方差，值越大越好；mse表示平均值，值越小越好。由此可见，本技术可以实现遮挡条件下种苗叶面积的精确测量。
[0051]
申请中所描述的具体实例仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可对本发明所描述的具体实例做各种修改或者补充，或采用类型的方式替代，但并不会偏离本发明的精神或超越所附权利要求书所定义的范围。