一种遮挡条件下种苗叶面积测量方法

技术特征：
1.一种遮挡条件下种苗叶面积测量方法，其特征在于，包括如下步骤：s1，采用深度相机获取种苗的深度图像，将深度图像转换为点云；s2，采用邻域空间约束方法，对点云中的悬浮点和离群点噪声进行滤除处理；s3，基于步骤s2处理后的种苗点云数据，采用cloud compare构建种苗分割数据集，采用缺失模拟法构建种苗叶片补全数据集；s4，构建编码器-解码器种苗分割网络模型和构建编码器-解码器叶片补全网络模型；两个网络模型的编码器中均包括采用邻域聚合策略进行特征提取和邻域交互融合模块对特征进行处理，解码器中均包括采用上采样到与输入相同分辨率和邻域交互融合模块进行解码；种苗分割网络模型与叶片补全网络模型的区别包括，前者的解码器的最后输出种苗点云先进行最大池化后通过多层感知机降维，为每个点预测一个类别；s5，使用步骤s3中种苗分割数据集和种苗叶片补全数据集，分别在步骤s4构建的两个网络模型上进行训练，确定种苗分割网络模型权重和叶片补全网络模型权重；s6，采用待测试的遮挡种苗作为输入，基于步骤s5确定的种苗网络分割模型权重对种苗实现茎叶分离，再对因遮挡缺失的叶片通过步骤s5确定的叶片补全网络模型权重进行补全，最后通过贪婪三角化测量叶面积。2.根据权利要求1所述的遮挡条件下种苗叶面积测量方法，其特征在于，步骤s1中具体是将1台连接外置电脑的深度相机安装在种苗正上方，进行高通量数据采集，获得1024*1024的深度图，将深度图像转换为点云。3.根据权利要求1所述的遮挡条件下种苗叶面积测量方法，其特征在于，步骤s2中的滤除处理具体包括如下步骤：s21，将原始点云通过直通滤波，得到只包含植株区域的点云；s22，设定阈值n，利用k最近邻算法寻找每个中心点周围n个邻域，求得中心点与邻域间欧式距离的平均值d；s23，通过设定的阈值n，利用最小二乘法拟合平面来预测每个中心点法向量，求得法向量与z轴的夹角w；s24，重复s22和s23，若d≥d则判断为悬浮点，若w≥c则判断为离群点，并删除悬浮点和离群点，其中d为设定的距离阈值，c为设定的角度阈值；s25，遍历整个点云，将悬浮点和离群点全部剔除。4.根据权利要求3所述的遮挡条件下种苗叶面积测量方法，其特征在于，滤除悬浮点和离群点噪声时，阈值n设为12，d设为0.0034，c设为60
°
。5.根据权利要求1所述的遮挡条件下种苗叶面积测量方法，其特征在于，步骤s3的具体实现方式为利用cloud compare人工注释茎叶制作种苗分割的训练数据集，茎点用0标记，叶点用1标记，针叶用2标记；使用缺失模拟法来制作种苗叶片补全数据集时，以种苗中完整叶片对象，假设选取一个种苗叶片点云s，随机选定空间中[1，1，1]、[1，1，-1]、[1，-1，1]、[1，-1，-1]、[-1，1，1]、[-1，1，-1]、[-1，-1，1]、[-1，-1，-1]、[0，0，0]某一个点作为视点v，计算视点v到种苗点云s中每一点的距离记为dvs，并从小到大进行排序；随机选取128、256、512其中一个数值作为种苗点云叶片缺失点数值，将dvs中最小点到缺失点数值的点坐标值置0；最后将上述处理后的种苗叶片点云和完整种苗叶片s构成数据对，放入种苗叶片补全数据集中。
6.根据权利要求1所述的遮挡条件下种苗叶面积测量方法，其特征在于，步骤s4中采用邻域聚合策略进行特征提取，具体实现方式为：假设邻域特征聚合层以一个具有n个点和相应特征f
n
的种苗点云作为输入，输出一个具有ns点的采样种苗点云及其相应的聚合特征f
s
；首先，采用最远点采样算法将种苗点云数量从n降采样到ns、特征f
n
降采样到f
i
；再以f
i
中每一个采样点为中心，在特征f
n
中寻找最近的k点构成邻域并用f
ik
表示其邻域特征，输出特征f
s
的计算方式如公式(1)所示：f
s
＝mp(lbr(lbr(concat(f
i-f
ik
，rp(f
i
，k)))))
ꢀꢀꢀ
(1)其中，mp是最大池化算子，rp(f
i
，k)是将向量f
i
重复k次形成矩阵的算子，lbr包含linear层、batchnorm层和relu层，concat表示将两个特征进行拼接。7.根据权利要求1所述的遮挡条件下种苗叶面积测量方法，其特征在于，步骤s4中邻域交互融合模块对特征进行处理，具体实现方式为：将种苗点云通过局部邻域聚合策略后生成的不重叠点云组序列f
s
作为输入，点云组序列被用相同的投影矩阵进行线性投影到维度f
o
；其中网络邻域交互融合模块由两个大小相同的层组成，每层由两个mlp块组成；第一层是点云组内混合：它作用于某个点云组的内部之间，将点云组序列f
s
映射为f
c
；第二层是通道混合：它作用于各点云组序列之间，又将f
c
映射回与f
s
相同的维度并用f
o
表示；每个mlp块包含两个全连接层和一个非线性激活函数层；整个过程如公式(2)所示：t是翻转操作，f
c
和f
o
分别为组内混合和通道混合中可调整的隐藏特征，layernorm表示层归一化。8.根据权利要求1所述的遮挡条件下种苗叶面积测量方法，其特征在于，步骤s5的模型构建编码器-解码器形状的点云分割和补全的方法，简称mix-net；其中编码器采用多分辨率渐进式(2048，1024，512，256)特征提取，每个分辨率中种苗点云处理都与步骤s4中编码器处理方式相同；解码器采用多分辨率渐进式(256，512，1024，2048)预测完整种苗点云；每个分辨率中种苗点云预测都与步骤s4中解码器处理方式相同；种苗分割网络模型与叶片补全网络模型的区别包括，编码器的最后输出种苗点云先最大池化再通过多层感知机降维，为每个点预测一个类别；最后将步骤s3中构建的种苗分割和叶片补全数据集分别输入mix-net进行训练，得到种苗分割网络模型权重和叶片补全网络模型权重。9.根据权利要求1所述的遮挡条件下种苗叶面积测量方法，其特征在于，步骤s6对种苗叶面积精确测量，具体为采集存在遮挡的单株或整盘种苗深度图像，并根据s2进行处理，将处理后的种苗点云依据步骤s5训练的种苗分割网络模型权重，得到茎叶分离的种苗；再对于因遮挡存在缺失的叶片依据步骤s5训练的叶片补全网络模型权重进行补全，最后通过贪婪三角化对单株或整盘的叶面积表型进行精准测量。

技术总结
本发明涉及一种遮挡条件下种苗叶面积测量方法。该方法将以种苗作为对象，利用KINECT平台获取种苗的顶视深度图像，然后生成该视角的单个种苗点云。该方法从两个方面提高了叶面积测量精度。一方面，提出了邻域空间约束的方法来有效过滤点云中悬浮点和离群噪声，显著提高了点云数据的质量。另一方面，提出了一种新的基于邻域聚合策略和邻域交互融合模块的点云分割和补全方法，简称MIX-Net网络，该方法可以同时实现点云分割和补全，并且二者之间达到很好的平衡。该方法超越了现有技术中其他技术方案，获得更准确的测量结果。该方法形成了包括高通量种苗采集、种苗器官自动分割、遮挡叶片补全和表型数据提取在内的一整套自动化表型数据处理方案。型数据处理方案。型数据处理方案。


技术研发人员：徐胜勇 韩斌斌 别之龙 黄远 李磊 张毅 董万静 李雅琴
受保护的技术使用者：华中农业大学
技术研发日：2022.08.19
技术公布日：2022/12/1