基于自监督深度学习的香蕉果指点云补全方法

摘要: 本发明涉及农业表型测量的,尤其是指基于自监督深度学习的香蕉果指点云补全方法。背景技术:1、香蕉果梳及香蕉果指的长度、直径、弯曲度、体积等三维表型参数,是评价香蕉...
基于自监督深度学习的香蕉果指点云补全方法

本发明涉及农业表型测量的,尤其是指基于自监督深度学习的香蕉果指点云补全方法。

背景技术:

1、香蕉果梳及香蕉果指的长度、直径、弯曲度、体积等三维表型参数,是评价香蕉生长状态、产量形成、品种筛选和采后分级的重要依据。随着深度相机、激光扫描仪和多视角重建设备的发展,利用三维点云对香蕉果实进行无损测量已成为智慧农业和果实表型分析中的重要技术路线。与二维图像相比,三维点云能够直接表达果实表面的空间位置和几何轮廓,有利于进行长度、截面直径、弯曲状态及体积等定量分析。

2、然而,在实际采集香蕉果梳或单根香蕉果指点云时,果指之间相互遮挡、相机视角受限、表面反射率变化、传感器噪声和采样密度不足等因素会造成点云缺失。现有处理方式通常直接对残缺点云进行几何拟合或利用人工规则补齐缺失区域,这类方法对遮挡类型和缺失比例较为敏感,难以稳定恢复香蕉果指的真实曲面结构。另一方面,常规有监督点云补全方法往往需要大量残缺点云与完整点云的人工配对数据,数据采集和标注成本高,且通用物体点云补全网络未充分引入香蕉果指近似弯曲圆柱体的形状先验,容易出现补全形态不符合果指自然几何特征的问题。

3、此外,点云补全网络训练中常见的 earth mover distance 损失计算开销较大,对农业场景中大批量点云训练和部署不够友好;常规归一化预处理还可能丢失原始尺度信息,使得补全后的点云难以直接还原到真实物理尺寸,影响后续表型参数提取。因此,亟需一种能够利用完整点云自动构造训练样本、适应多种遮挡情形、融合香蕉果指几何先验、并能够在真实尺度下输出表型参数的香蕉果指点云补全方法。

技术实现思路

1、本发明的目的在于克服现有技术的不足,提出了基于自监督深度学习的香蕉果指点云补全方法,通过对完整香蕉果指点云施加多种模拟遮挡构建残缺-完整点云训练数据对,利用编码器提取多尺度几何特征,结合形状先验模块预测主轴方向、曲率参数和长径比,并采用稳定改进的解码器输出粗补全点云和精细补全点云,从而提高香蕉果指点云补全的准确性、稳定性和表型测量可用性。

2、本发明的目的通过下述技术方案实现:基于自监督深度学习的香蕉果指点云补全方法,包括以下步骤:

3、s1、获取香蕉果指的完整三维点云数据并进行去噪、下采样、归一化以及归一化参数保存的预处理,得到归一化完整点云;

4、s2、对归一化完整点云基于多种遮挡方式进行遮挡,以形成多种不同的残缺点云,再基于得到的多种残缺点云,构建残缺-完整点云的训练数据对,将所有残缺-完整点云的训练数据对组合在一起构成自监督训练数据集;

5、s3、构建点云补全深度神经网络,将自监督训练数据集输入点云补全深度神经网络进行训练,并采用chamfer distance损失函数对点云补全深度神经网络进行超参数调整,得到训练好的能够精准补全点云数据的点云补全深度神经网络;

6、s4、将待补全的点云数据输入训练好的点云补全深度神经网络,输出补全后的完整香蕉果指点云。

7、进一步,该方法包括以下步骤:

8、s5、根据预处理保存的归一化参数,将补全后的完整香蕉果指点云,由归一化坐标系还原至原始物理坐标系;

9、s6、对还原至原始物理坐标系的完整香蕉果指点云进行主成分分析和截面几何测量,提取香蕉果指的物理表型参数。

10、进一步,所述步骤s1包括以下步骤:

11、s1.1、获取香蕉果指的完整三维点云数据;

12、s1.2、对获取的所述香蕉果指完整三维点云数据进行统计离群点去除,剔除由传感器噪声或环境干扰产生的稀疏离群点,得到去噪后的点云;

13、s1.3、对去噪后的点云进行体素下采样,体素大小根据点云原始密度自适应设置,使下采样后的点云的点数控制在4000-8000点范围内;

14、s1.4、计算下采样后点云的质心,进行点云中心化,将中心化点云除以缩放因子,得到归一化至零均值单位球的归一化点云;

15、s1.5、对归一化点云进行归一化参数保存,保存质心和缩放因子,用于后续将补全点云还原为具有实际物理意义的点云。

16、进一步,所述步骤s2包括:

17、对归一化完整点云基于以下四种或任意两种遮挡方式的组合进行遮挡,以形成多种不同的残缺点云;所述遮挡方式包括hpr相机视角遮挡、结构遮挡、平面切割遮挡以及随机点移除;

18、hpr 相机视角遮挡是设置虚拟相机距离参数,从多个预定义的不同方位分别应用 hpr 算法,仅保留从相应虚拟相机视角可见的点云,移除因自遮挡不可见的点云,用于模拟深度相机单视角采集时的自遮挡效应;

19、结构遮挡是随机选择一个三维空间方向作为遮挡来源方向,沿该方向将所有点云投影至一维坐标,移除投影值位于任意一连续区间内的全部点云,用于模拟由相邻香蕉果指造成的连续物理遮挡;

20、平面切割遮挡是随机生成一个空间平面,其法向量方向在单位球面上均匀随机分布,截距在点云沿法向量方向的投影范围内随机选取,切除位于空间平面一侧的全部点云,切除比例从预设值集合中随机选取;

21、随机点移除是以均匀概率独立判断每个点云是否保留,保留比例从预设范围内均匀随机选取,用于模拟由传感器测量噪声、采样密度不足或果指表面反射率差异造成的随机性缺失。

22、进一步,所述步骤s3包括:

23、所述点云补全深度神经网络包括:

24、编码器,用于从输入的点云数据中,通过层次化集合抽象模块提取多尺度几何特征并聚合成固定维度的全局特征向量;

25、形状先验模块,基于全连接神经网络mlp,从pointnet++编码器输出的全局特征向量中预测几何参数,所述几何参数包括主轴方向、曲率参数和长径比;

26、解码器,用于从全局特征向量和几何参数的拼接特征中分别进行粗重建和精细重建,输出粗补全点云和精细补全点云;

27、所述chamfer distance损失函数为不包括 earth mover distance 损失项的纯chamfer distance 损失函数。

28、进一步,所述步骤s3包括:

29、所述编码器为pointnet++编码器,包括 full 版本编码器和 lite 版本编码器,所述full 版本编码器和 lite 版本编码器共享相同的集合抽象 sa 模块结构;

30、所述full 版本编码器包括 4 层递进的 sa 模块,为第一sa层、第二sa层、第三sa层以及第四sa层;所述第一 sa 层利用最远点采样 fps 算法进行中心点选择,并应用球查询算法聚合局部邻域点,通过多层感知机 mlp 提取局部特征;所述第二 sa 层和所述第三sa 层逐层递减采样的中心点数并增大球查询半径;所述第四 sa 层为全局聚合层,不进行中心点采样,将剩余的所有点聚合为一个全局组,输出高维全局特征向量;

31、所述lite 版本编码器包括 3 层递进的 sa 模块,为第五sa层、第六sa层以及第七sa层;第五sa层采用随机采样算法进行中心点选择,并采用 k 近邻搜索 knn 算法以聚合局部邻域点;第六sa层采用随机采样算法和 knn 算法降低点数;第七sa层为全局聚合层,输出低维全局特征向量。

32、进一步,所述步骤s3包括:

33、所述形状先验模块为curvedcylinderprior形状先验模块,包括特征降维子网络以及并行预测网络;

34、所述特征降维子网络由两层全连接层构成,每层全连接层后均连接一个 relu 激活函数,用于对输入的全局特征向量进行两级维度降低;

35、所述并行预测网络包括主轴方向预测网络、曲率参数预测网络以及长径比预测网络;所述并行预测网络以特征降维子网络的输出作为公共输入,包括:

36、主轴方向预测网络,由全连接层组成,其输出经归一化后得到单位长度的三维向量,表示预测的香蕉果指主轴方向;

37、曲率参数预测网络,由全连接层组成,其输出经sigmoid 激活函数处理,得到表征香蕉果指弯曲状态的标量参数;

38、长径比预测网络,由全连接层组成,其输出经softplus 激活函数处理后加1.0,得到表征香蕉果指长度与直径比值的标量参数;

39、形状先验模块的损失项定义为:

40、;

41、其中,为香蕉果指弯曲状态的标量参数,为预设的经验曲率中心值,为香蕉果指长度与直径比值的标量参数,为预设的长径比阈值,和 为预设的损失权重超参数。

42、进一步,所述步骤s3包括:

43、所述解码器为foldingnet 解码器,执行以下操作:

44、粗重建坐标约束:在解码器的粗重建预测器的输出层添加双曲正切 tanh 激活函数,将粗补全点云的各点三维坐标约束在归一化坐标范围内;粗重建预测器为由全连接层和线性整流激活函数 relu 交替组成的多层感知机,其输入为拼接特征,输出为粗点云的三维坐标;

45、折叠位移约束:在解码器的第一次折叠操作和第二次折叠操作各自的输出网络层后添加 tanh 激活函数,将每次折叠操作产生的位移增量的各坐标分量约束在范围内;

46、多阶段位移缩放:对第一次折叠操作产生的位移增量乘以第一缩放系数,对第二次折叠操作产生的位移增量乘以第二缩放系数,其中且;利用第一缩放系数约束第一阶段折叠进行从骨架点到局部面片的变形,利用第二缩放系数约束第二阶段折叠进行面片内的坐标微调。

47、进一步,所述步骤s2包括:

48、对输入点云补全深度神经网络的自监督训练数据集施加以下一种或多种数据增强矩阵变换:

49、(a)随机旋转:将自监督训练数据集的点云数据绕垂直轴 y 轴随机旋转设定角度,其中;

50、(b)各向异性缩放:沿三个独立的坐标轴x,y,z方向分别乘以随机缩放因子,各缩放因子均从预设的区间内通过均匀分布采样获得;

51、(c)高斯抖动:对自监督训练数据集的点云数据中的每个点坐标均叠加入均值为0、标准差为设定归一化阈值的高斯噪声。

52、进一步,所述步骤s6包括以下步骤:

53、s6.1、对所还原至原始物理坐标系的完整香蕉果指点云计算其质心,将各点坐标减去质心,得到中心化点云;

54、s6.2、计算中心化点云的协方差矩阵,对协方差矩阵进行特征值分解,获得按降序排列的特征值及对应的特征向量,取最大特征值对应的第一主成分方向作为香蕉果指的主轴方向;

55、s6.3、将所有个点投影至所述第一主成分方向上,得到一维投影坐标序列,通过计算所述一维投影坐标序列的最大值与最小值的差值,得到香蕉果指长度;

56、s6.4、在第一主成分方向上,从最小投影坐标至最大投影坐标等距设置个截面;对于每个截面,选取投影坐标落在该截面设定阈值范围内的所有点,计算各点到由点云质心和第一主成分方向确定的空间直线的径向距离,取径向距离的第百分位数作为该截面的半径估计值,并将半径估计值乘以 2 得到该截面的直径估计值;计算个截面直径估计值的算术平均值以作为果指平均直径;

57、s6.5、提取各截面的质心坐标,将各截面质心投影至由第一主成分和第二主成分张成的二维平面上,得到个二维坐标点;使用最小二乘法拟合二次多项式,并利用以下曲率公式计算果指弯曲度:

58、;

59、其中,为二维坐标点中横坐标序列的中位数;依据公式计算长径比;果指长度、果指平均直径和果指弯曲度的数值均通过缩放因子还原为真实物理尺度,并依据还原后的真实物理尺度估算香蕉果指体积。

60、本发明与现有技术相比,具有如下优点与有益效果:

61、1、通过对完整香蕉果指点云自动施加多种遮挡构建残缺-完整点云训练数据对,不需要人工采集大量配对样本,降低了训练数据构建成本。

62、2、通过 hpr 相机视角遮挡、结构遮挡、平面切割遮挡和随机点移除等互补遮挡策略,使网络能够适应实际采集中常见的自遮挡、相邻果指遮挡、视角缺失和随机稀疏缺失,提高了点云补全模型的鲁棒性。

63、3、通过pointnet++编码器提取多尺度局部几何特征和全局形状特征,并通过curvedcylinderprior 形状先验模块引入主轴方向、曲率参数和长径比约束,使补全结果更符合香蕉果指的自然几何形态。

64、4、通过 foldingnet 解码器的粗重建坐标约束、折叠位移约束和多阶段位移缩放,降低补全点云发散和局部畸变风险,提高粗补全点云和精细补全点云的稳定性。

65、5、通过不包括 earth mover distance 损失项的纯 chamfer distance 损失函数进行训练,降低计算开销,便于在农业点云数据批量训练和部署中应用。

66、6、通过保存归一化参数并在补全后还原真实物理尺度,使补全点云能够直接用于长度、平均直径、弯曲度、长径比和体积等表型参数提取,提高了补全结果的农业应用价值。