基于时序一致性约束的植物表型三维重建方法及系统与流程

摘要: 本发明涉及计算机视觉三维重建,尤其涉及基于时序一致性约束的植物表型三维重建方法及系统。背景技术:1、植物表型三维重建是支撑作物遗传育种、精准栽培表型参数提取的核...
基于时序一致性约束的植物表型三维重建方法及系统与流程

本发明涉及计算机视觉三维重建,尤其涉及基于时序一致性约束的植物表型三维重建方法及系统。

背景技术:

1、植物表型三维重建是支撑作物遗传育种、精准栽培表型参数提取的核心技术,当前主流的植株三维重建方案多依托旋转台采集的连续多视角视频开展,先通过运动恢复结构解算得到采集场景的全局相机位姿与稀疏点云,再基于三维图元优化生成场景级三维模型,随后借助单帧图像的植株分割结果对三维模型进行区域筛选,以此提取单株植株的三维模型,这类方案在受控采集环境下已得到广泛应用,可支撑基础的冠层尺度表型分析。

2、但现有方案依赖单帧图像的分割结果完成三维区域的归属筛选,单帧分割结果易受视角变化、叶片局部遮挡、相邻植株边缘重叠等因素影响出现局部偏差,该偏差会直接传导至三维模型的区域筛选过程中,造成植株叶缘、细茎等精细结构被错误剔除,或是邻株、栽培容器等周边物体的三维信息残留混入目标植株模型,最终得到的单株模型难以同时保障归属精准度与结构完整度,制约了后续精细化表型参数的测算准确性。

技术实现思路

1、本发明提供基于时序一致性约束的植物表型三维重建方法及系统,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供的基于时序一致性约束的植物表型三维重建方法,包括:

3、s1.获取植株表型视频,经预处理得到预处理图像序列,对预处理图像序列进行逐帧实例分割得到候选植物实例,对跨帧候选植物实例进行时序一致性跟踪关联,生成锁定单一目标植株的主体轨迹;

4、s2.基于主体轨迹进行坏帧过滤得到有效图像集,对有效图像集进行运动恢复结构重建,得到相机位姿与全局稀疏三维点云;

5、s3.以全局稀疏三维点云初始化目标植株对应的三维空间图元集合,利用主体轨迹作为实例归属约束对三维空间图元集合中的三维空间图元进行裁剪过滤并迭代优化,生成目标植株专属三维模型。

6、优选地,所述基于主体轨迹进行坏帧过滤得到有效图像集,包括:

7、提取主体轨迹对应单帧的实例位置与轮廓连续性参数,生成轨迹一致性评价结果;

8、计算单帧预处理图像的梯度清晰度参数,生成图像质量评分;

9、对轨迹一致性评价结果与图像质量评分进行级联判定,得到单帧有效性判定标识,依据单帧有效性判定标识剔除异常帧,得到有效图像集。

10、优选地,所述对有效图像集进行运动恢复结构重建,得到相机位姿与全局稀疏三维点云,包括:

11、提取有效图像集中的植株关键点特征,结合主体轨迹的时序位移信息生成逐帧非刚性形变偏移场;

12、对有效图像集进行初始运动恢复结构解算,得到初始相机位姿与初始稀疏三维点云;

13、利用非刚性形变偏移场对初始相机位姿进行逐帧校正,得到校正后相机位姿,并同步优化初始稀疏三维点云,得到全局稀疏三维点云。

14、优选地,所述利用主体轨迹作为实例归属约束对三维空间图元集合中的三维空间图元进行裁剪过滤并迭代优化,包括:

15、将各三维空间图元反向投影至对应帧的实例级掩码区域,计算每个三维空间图元的实例归属权重;

16、以实例归属权重为软约束参数施加于图元迭代优化过程,替代硬裁剪操作,经迭代优化后生成目标植株专属三维模型。

17、优选地,所述三维空间图元集合为三维高斯泼溅高斯体集合;以实例归属权重为软约束参数施加于图元迭代优化过程,包括:

18、统计每个三维高斯泼溅高斯体在全部有效帧中的掩码覆盖占比,生成对应高斯体的实例归属权重;

19、构建高斯泼溅优化总损失函数,函数表达式为:

20、

21、其中,为总优化损失,为高斯体可微分渲染的像素损失,用于约束渲染结果与原始图像的像素一致性;为正则化平衡系数,用于调整归属约束的作用强度,为实例归属约束损失,基于全部高斯体的实例归属权重计算得到,用于约束高斯体的空间归属;

22、以最小化总损失函数为优化目标,对三维高斯泼溅高斯体集合进行参数更新,完成软约束下的高斯体优化。

23、优选地,所述经迭代优化后生成目标植株专属三维模型,包括:

24、对三维空间图元集合进行初始迭代优化至渲染收敛,得到初步优化图元集群;

25、对初步优化图元集群施加实例归属软约束,进行二次迭代优化,得到目标植株专属三维模型。

26、优选地,所述对预处理图像序列进行逐帧实例分割得到候选植物实例,包括:

27、调取主实例分割推理单元对预处理图像进行逐像素识别,生成像素级实例掩码;

28、检测主实例分割推理单元的运行状态,当运行状态异常时切换至备用前景提取单元生成实例掩码;

29、基于实例掩码提取对应区域的属性特征,得到候选植物实例。

30、优选地,所述对跨帧候选植物实例进行时序一致性跟踪关联,生成锁定单一目标植株的主体轨迹,包括:

31、提取各候选植物实例的多维度特征参数,构建帧间匹配代价矩阵;

32、依据帧间匹配代价矩阵进行双向逐帧实例匹配,生成跨帧临时匹配链路;

33、对跨帧临时匹配链路中的特征突变段进行局部修补,得到连续完整的主体轨迹。

34、优选地,所述方法还包括:

35、s4.对目标植株专属三维模型进行分级质量校验,得到标准化三维模型;

36、其中,分级质量校验包括:

37、进行前置校验,提取稀疏重建阶段的重投影误差与轨迹连续性参数,与前置判定基准比对得到前置校验结果;

38、对通过前置校验的模型进行后置校验,提取三维模型的表型结构完整度与点云分布均匀度参数,与后置判定基准比对得到后置校验结果;

39、依据后置校验结果判定模型是否合格,将通过校验的模型作为标准化三维模型。

40、为了解决上述问题,本发明还提供基于时序一致性约束的植物表型三维重建系统,系统包括:

41、时序跟踪模块,用于获取植株表型视频,经预处理得到预处理图像序列,对预处理图像序列进行逐帧实例分割得到候选植物实例,对跨帧候选植物实例进行时序一致性跟踪关联,生成锁定单一目标植株的主体轨迹;

42、筛选重建模块,用于基于主体轨迹进行坏帧过滤得到有效图像集,对有效图像集进行运动恢复结构重建,得到相机位姿与全局稀疏三维点云;

43、图元优化模块,用于以全局稀疏三维点云初始化目标植株对应的三维空间图元集合,利用主体轨迹作为实例归属约束对三维空间图元集合中的三维空间图元进行裁剪过滤并迭代优化,生成目标植株专属三维模型;

44、分级校验模块,用于对目标植株专属三维模型进行分级质量校验,得到标准化三维模型。

45、与现有技术相比,本发明具有以下有益效果:

46、1.通过跨帧候选植物实例的时序一致性跟踪关联生成锁定单一目标植株的主体轨迹,将主体轨迹作为实例归属约束融入三维空间图元的裁剪过滤与迭代优化过程,可精准界定目标植株的三维空间范围,保障输出三维模型的植株归属专一性,同时完整保留植株叶缘、细茎等精细表型结构,为后续植株表型参数的精准测算提供高质量的三维数据支撑。

47、2.通过逐帧非刚性形变偏移场校正相机位姿与全局稀疏三维点云,配合实例归属权重作为软约束参数参与三维高斯体的迭代优化,可进一步适配植株的轻微非刚性形变特性,提升三维模型的几何还原精度与边缘平滑度,使重建得到的三维模型更贴合植株真实形态,进一步提升表型结构还原的准确性。