一种三维重建的虚拟实验环境的系统和方法与流程

1.本发明涉及计算机视觉仿真的技术领域，特别是涉及一种三维重建的虚拟实验环境的系统和方法。


背景技术：

2.植物三维重建是获取真实植物形态和呈现的有效方法，是近年来计算机视觉、计算机图形学、植物学等方面的研究热点。计算机技术与农业结合已经发展到数字化、可视化的阶段，通过利用激光雷达、单目或多目相机等设备收集植物形态信息，生成符合植物生理形态结构的三维模型，然后以计算机可视化方式呈现。通过三维重建、动态模拟、交互体验等仿真技术，反应作物实际生长状况，可以改变现有作物栽培、科研育种和园艺管理等实验形式，提供更充足、更可靠的实验方法，减少实验成本。对促进农作物的精准管理、智慧农业种植具有重要意义。
3.植物三维重建的对象是植物的枝干、叶片、花、果和根系。植物三维重建方法大致可以分为基于规则、基于图像、基于点云数据三类。基于规则的经典建模方法的l
‑
系统，其善于表达植物拓扑结构的优势，这种优势有助于表达植物的分支结构特点，但是需要专业的植物学知识，并且其真实感、建模效率有很大的进步空间。在基于图像植物重建方面上，计算机图形学的发展加速了基于图像的植物模型重建，图像容易采集、信息丰富，所以这种方法应用的比较广泛。近年来，随着激光雷达设备的快速发展使快速、准确地获取点云数据成为了可能。点云植物重建大致可以分为两类。一类方法是人工或半自动化法，另一类方法是直接利用点云数据构建三维模型，该类方法不需要用户交互就可以直接完成重建。随着深度学习算法的发展，其在三维重建上的应用也获得了巨大的进步，目前主要有两个方向，一种是在传统的重建方法中利用深度学习进行优化改进，另一种是利用深度神经网络重建物体的方法。
4.现有技术相关方案一：
5.基于多视图植物三维重建技术相对成熟，应用比较广泛，比如，比较广泛应用的基于多视图的三维重建匹配方法(patch based multi
‑
view stereo,pmvs)，首先计算出相机内外参数，然后结合图像的特征信息构建出稀疏点云，最后利用扩展和插值得到目标物体的稠密点云，植物多视角图像建模主要流程图1所示。
6.现有技术相关方案二：
7.随着深度摄像头的出现和应用，rgb数据有更丰富的外观信息，但rgb数据在采集时容易受背景图像的影响，如天气、光照、拍摄角度的影响，使得从背景图像中提取特征变得异常困难，rgb
‑
d数据信息来自深度通道，不受光照变化的影响，也不受颜色和纹理的变化的影响，更重要的是能够可靠的估计作物轮廓和枝条。
8.现有技术相关方案三：
9.随着激光雷达的不断发展，使用激光雷达数据进行三维重建的技术广泛应用，如图2所示，用激光雷达设备采集的原始点云数据，建立能真实反映植物外观与内在形状的三
维模型，在模型表面赋予彩色纹理。
10.基于点云的植物重建精准度高较高，点云数据获取成本较高；基于图像的方法由于摄像头成本低廉、采集形式简便，应用较为广泛；近年深度神经网络的快速发展，基于深度学习的视觉三维重建方法也有了巨大进步，但是基于视觉的植物三维重建算法的研究在数据采集时受环境影响较大，数据难以复现；三维重建的实验结果与真实数据(ground truth)的比对困难等问题限制了基于视觉的植物三维重建算法研究的发展。


技术实现要素：

11.本发明针对基于视觉的植物三维重建算法的研究中存在的困难，提出一种三维重建的虚拟实验环境的系统和方法，解决在数据采集时受环境影响较大，数据难以复现，三维重建的实验结果与真实数据(ground truth)的比对困难等问题。
12.本发明的一种三维重建的虚拟实验环境的系统，包括：植物模型库、相机系统、定制场景模块、数据采集模块、数据对比模块和可视化模块；
13.植物模型库：包括植物不同生长期的三维模型；
14.相机系统：包括单目、双目、多目、深度相机多种模式，相机的参数可以动态调整，双目和多目相机的间距和阵列方式可以在仿真过程中调整；
15.定制场景模块：根据需求，选择不同场景；根据研究内容，调整外界因素；
16.数据采集模块：根据实验仿真需求，定义相机移动轨迹和拍摄位置；
17.数据比对模块：用户使用数据采集模块输出的图像进行三维重建，获得三维重建模型后，可以将模型导入系统，与原始模型进行比对，输出比对结果；
18.可视化模块：将三维重建得到的模型导入系统，可以将原始模型和重建模型放置在设定的场景中，用户通过虚拟现实技术直观的对重建模型与原始模型进行比对。
19.本发明的一种三维重建的虚拟实验环境的方法，包括以下步骤：
20.1.选择目标植物：根据三维重建实验要求，选择目标作物并设定必要的参数；
21.2.选择相机：根据三维重建实验要求，选择相机类型并设定必要的参数；
22.3.设定场景：根据三维重建实验要求，选择适当的仿真环境场景并设定必要的参数；
23.4.设置数据采集参数：根据三维重建实验要求，设置目标植物的位置，相机与目标作物的距离、高度，设置相机的运动轨迹和拍摄位置参数；
24.5.设置输出位置，开始采集：设置采集的数据保存位置，点击开始即进行数据采集并将采集的图像数据保存到指定的位置；也可以选择保存，将前面设定的内容保存，以便后续重复使用；
25.6.三维重建算法实验：用户使用仿真系统输出的数据，研究自己的三维重建算法；
26.7.实验结果比对：用户将其自己的算法重建算法生成的模型导入到系统，与目标植物模型进行比对，得到两者的差异量化结果；也可以将原始模型和重建模型放置在设定的场景中，用户通过虚拟现实技术直观的对重建模型与原始模型进行比对。
27.与现有技术相比本发明的有益效果为：
28.(1)本发明解决三维重建的实验结果与真实数据(ground truth)的比对困难等问题；
29.(2)本发明解决了数据采集时受环境影响较大，数据难以复现的问题；
30.(3)本发明也可适用与植物的计算机视觉分割、识别等研究的仿真。
附图说明
31.图1是现有技术相关方案一，基于多视图获取点云数据的重建流程图；
32.图2是现有技术相关方案三，点云重建流程图；
33.图3是本发明的系统流程图；
34.图4是植物模型库图；
35.图5是相机参数设定示意图
36.图6是室内场景在rgb
‑
d相机示意图，由上往下依次为：左相机、深度相机、右相机；
37.图7中由上往下依次为模型和重建结果图；
38.图8是室外场景单株植物图；
39.图9是室外大田场景图。
具体实施方式
40.下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
41.如图3至图9所示，本发明的一种三维重建的虚拟实验环境的系统，包括：植物模型库、相机系统、定制场景模块、数据采集模块、数据对比模块和可视化模块；
42.植物模型库：包括植物不同生长期的三维模型；如乔木、灌木、草本植物等；农作物包括小麦、水稻、玉米等粮食作物，西红柿、黄瓜等蔬菜作物，桃树、苹果树、枸杞等果树作物；每种作物均包含不同生长期的多个模型；也可以根据需要，导入自定义的植物模型；
43.相机系统：相机是视觉三维重建的硬件基础，根据常用的三维重建研究所需的图像相机要求，包括单目、双目、多目、深度相机多种模式，相机的参数可以动态调整，双目和多目相机的间距和阵列方式可以在仿真过程中调整；
44.定制场景模块：根据需求，选择室内实验台、温室大棚、室外单株、大田多株等不同场景；根据研究内容，调整光照、风向、风力、降雨等外界因素；
45.数据采集模块：根据实验仿真需求，定义相机移动轨迹和拍摄位置；比如：
46.(a)室内实验台场景
‑
1：要求相机围绕目标旋转一周，每旋转15度角拍摄一张图像；
47.(b)室内实验台场景
‑
2：要求目标旋转一周，目标每旋转15度角，相机阵列拍摄一张图像；
48.(c)室外大田场景
‑
1：rgb
‑
d相机在枸杞田间穿行，高度0.8米，速度0.5米/秒，每秒钟输出30帧图像；
49.(d)室外大田场景
‑
2：rgb
‑
d相机以无人机视角在枸杞田上空飞行，高度10米，速度5米/秒，每秒钟输出30帧图像；
50.数据比对模块：用户使用数据采集模块输出的图像进行三维重建，获得三维重建模型后，可以将模型导入系统，与原始模型进行比对，输出比对结果；
51.可视化模块：将三维重建得到的模型导入系统，可以将原始模型和重建模型放置
在设定的场景中，用户通过虚拟现实技术直观的对重建模型与原始模型进行比对。
52.本发明的一种三维重建的虚拟实验环境的系统和方法，包括以下步骤：
53.1.选择目标植物：根据三维重建实验要求，选择目标作物并设定必要的参数；比如：枸杞，开花期，株高1.5米，三层塔树形；
54.2.选择相机：根据三维重建实验要求，选择相机类型并设定必要的参数；比如rgb
‑
d相机，两个rgb相机视角90度，相机间距15厘米，深度相机位于两个rgb中间；
55.3.设定场景：根据三维重建实验要求，选择适当的仿真环境场景并设定必要的参数；比如，室内实验台场景或室外大田场景，并设定光照强度、风力等参数；
56.4.设置数据采集参数：根据三维重建实验要求，设置目标植物的位置，相机与目标作物的距离、高度，设置相机的运动轨迹和拍摄位置参数；比如：
57.(a)室内实验台场景
‑
1：要求相机围绕目标旋转一周，每旋转15度角拍摄一张图像；
58.(b)室内实验台场景
‑
2：要求目标旋转一周，目标每旋转15度角，相机阵列拍摄一张图像；
59.(c)室外大田场景
‑
1：rgb
‑
d相机在枸杞田间穿行，高度0.8米，速度0.5米/秒，每秒钟输出30帧图像；
60.(d)室外大田场景
‑
2：rgb
‑
d相机以无人机视角在枸杞田上空飞行，高度10米，速度5米/秒，每秒钟输出30帧图像；
61.5.设置输出位置，开始采集：设置采集的数据保存位置，点击开始即进行数据采集并将采集的图像数据保存到指定的位置；也可以选择保存，将前面设定的内容保存，以便后续重复使用；
62.6.三维重建算法实验：用户使用仿真系统输出的数据，研究自己的三维重建算法；此步骤与本仿真系统无直接关系；
63.7.实验结果比对：用户将其自己的算法重建算法生成的模型导入到系统，与目标植物模型进行比对，得到两者的差异量化结果；也可以将原始模型和重建模型放置在设定的场景中，用户通过虚拟现实技术直观的对重建模型与原始模型进行比对。
64.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。