一种智能多分辨率特征优化的三维重建方法及系统与流程

1.本发明涉及三维重建技术领域，尤其涉及一种智能多分辨率特征优化的三维重建方法及系统。


背景技术：

2.在三维重建技术流程中，生成的结果数据一般是固定的分辨率，点云的点间距或三角面片的大小都是整齐划一的。想得到更精细的细节呈现，往往要设置更高的分辨率，而数据量则会急剧膨胀，低分辨率降低了数据量，但无法呈现复杂模型的细节。


技术实现要素：

3.本发明针对现有技术中存在的技术问题，提供一种智能多分辨率特征优化的三维重建方法及系统，以曲率为依据自动识别扫描物体的特征区域，以较高分辨率重建特征区域，以较低分辨率重建平面区域，并自动合并分辨率不同的交界区域，可以同时兼顾细节部分的良好视觉效果，而在平面上保持较大的点间距或三角网格，降低导出数据的大小；相比于在特征处通过数学函数插值生成稠密网格的方法，本技术直接采用扫描的真实数据在局部重构、合并，确保了数据的真实性；对于需要保留局部特征的大型样件，本方法可大大减少数据量。
4.根据本发明的第一方面，提供了一种智能多分辨率特征优化的三维重建方法，包括：
5.步骤1，设置第一分辨率和第二分辨率，所述第一分辨率低于第二分辨率；
6.步骤2，利用原始三维扫描数据，基于所述第一分辨率进行重建得到低分辨率模型，计算所述低分辨率模型中各个三维点的曲率，将曲率大于设定曲率阈值的所述三维点标记为特征点；
7.步骤3，利用以各个所述特征点为中心的设定区域范围内的所述原始三维扫描数据，基于所述第二分辨率进行重建得到三角网；
8.步骤4，将所述三角网缝合到所述低分辨率模型中得到三维重建模型。
9.在上述技术方案的基础上，本发明还可以作出如下改进。
10.可选的，所述步骤1中根据三维重建的需求以及所述原始三维扫描数据的大小设置所述第一分辨率和第二分辨率的大小。
11.可选的，所述步骤2中的所述曲率为高斯曲率、主曲率或平均曲率。
12.可选的，所述步骤3包括：以每个所述特征点为中心、设定阈值为半径构建空间包围盒，裁减掉落入所述包围盒中的三角面片；
13.遍历所述原始三维扫描数据，将落入所述包围盒中的点存入数组，基于所述数组中的点进行三维重建。
14.可选的，所述步骤3中基于所述第二分辨率进行重建得到三角网的过程包括：
15.将所述包围盒中的空间划分为多个立方体形的体素，利用tsdf算法确定各个所述
体素的顶点的权重和tsdf值，再利用marching cubes算法提取等值面，生成所述三角网。
16.可选的，所述步骤4中进行缝合的过程包括：
17.在所述三角网的网格块的边界处搭桥形成闭环进行缝合；再调用delaunay三角化方法重新组织三角面片；修复拓扑错误，解决因缝合产生的自相交区块。
18.可选的，在所述边界处构建了基于halfedge的数据结构的网格拓扑以及构建了空间kd树。
19.根据本发明的第二方面，提供一种智能多分辨率特征优化的三维重建系统，包括：分辨率设置模块、特征点标记模块、三角网重建模块和缝合模块；
20.所述分辨率设置模块，用于设置第一分辨率和第二分辨率，所述第一分辨率低于第二分辨率；
21.所述特征点标记模块，用于利用原始三维扫描数据，基于所述第一分辨率进行重建得到低分辨率模型，计算所述低分辨率模型中各个三维点的曲率，将曲率大于设定曲率阈值的所述三维点标记为特征点；
22.所述三角网重建模块，用于利用以各个所述特征点为中心的设定区域范围内的所述原始三维扫描数据，基于所述第二分辨率进行重建得到三角网；
23.所述缝合模块，用于将所述三角网缝合到所述低分辨率模型中得到三维重建模型。
24.根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现智能多分辨率特征优化的三维重建方法的步骤。
25.根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现智能多分辨率特征优化的三维重建方法的步骤。
26.本发明实施例提供的一种智能多分辨率特征优化的三维重建方法、系统及存储介质，以曲率为依据自动识别扫描物体的特征区域，以较高分辨率重建特征区域，以较低分辨率重建平面区域，并自动合并分辨率不同的交界区域，可以同时兼顾细节部分的良好视觉效果，而在平面上保持较大的点间距或三角网格，降低导出数据的大小；相比于在特征处通过数学函数插值生成稠密网格的方法，本技术直接采用扫描的真实数据在局部重构、合并，确保了数据的真实性；对于需要保留局部特征的大型样件，本方法可大大减少数据量；该第一分辨率和第二分辨率可以可以根据该次三维重建对分辨率需求的大小以及数据大小等实际情况等进行人工选择，也可以设置默认值；曲率阈值可以根据三维重建的实际情况灵活设置，保证计算量、数据量和视觉效果的平衡；重建高分辨率的三角网整个计算过程非常适合在gpu端并行执行，相比于cpu端的计算可以显著提高性能，可以达到实时生成网格的速度；边界信息结合了基于halfedge的数据结构用于构建网格拓扑，使得顶点数据的索引和拓扑信息的查询极为高效便利，也用到了空间kd树，使得某点半径范围内邻域点的查找效率较高；缝合过程中涉及到空间三角面之间的自相交计算，因为只用到边界处的检测，所以不需要进行全局的遍历，计算效率可控；可以很方便的拓展成基于软件界面交互的操作方式，可由用户框选指定的区域进行局部重建。
附图说明
27.图1为本发明提供的一种智能多分辨率特征优化的三维重建方法流程图；
28.图2为本发明实施例提供的不同曲率的区域渲染效果示意图；
29.图3为本发明实施例提供的低分辨率网格和高分辨率网格局部示意图；
30.图4为本发明实施例提供的两片网格缝合后的效果示意图；
31.图5为本发明实施例提供的多个区块缝合后的效果示意图
32.图6为本发明实施例提供的一种智能多分辨率特征优化的三维重建系统结构图；
33.图7为本发明提供的一种可能的电子设备的硬件结构示意图；
34.图8为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
35.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
36.图1为本发明提供的一种智能多分辨率特征优化的三维重建方法流程图，如图1所示，该三维重建方法包括：
37.步骤1，设置第一分辨率和第二分辨率，第一分辨率低于第二分辨率。
38.步骤2，利用原始三维扫描数据，基于第一分辨率进行重建得到低分辨率模型，计算低分辨率模型中各个三维点的曲率，将曲率大于设定曲率阈值的三维点标记为特征点。
39.步骤3，利用以各个特征点为中心的设定区域范围内的原始三维扫描数据，基于第二分辨率进行重建得到三角网。
40.步骤4，将三角网缝合到低分辨率模型中得到三维重建模型。
41.具体实施中，本发明提供的一种智能多分辨率特征优化的三维重建方法，协同基于双目视觉的扫描仪系统协同完成，该扫描仪完成扫描后，系统会保留整个扫描过程的原始三维扫描数据，它是大量稠密的点云，基于本方法的程序获取数据后自动计算并生成结果数据。
42.本发明提供的一种智能多分辨率特征优化的三维重建方法，以曲率为依据自动识别扫描物体的特征区域，以较高分辨率重建特征区域，以较低分辨率重建平面区域，并自动合并分辨率不同的交界区域，可以同时兼顾细节部分的良好视觉效果，而在平面上保持较大的点间距或三角网格，降低导出数据的大小；相比于在特征处通过数学函数插值生成稠密网格的方法，本技术直接采用扫描的真实数据在局部重构、合并，确保了数据的真实性；对于需要保留局部特征的大型样件，本方法可大大减少数据量。
43.实施例1
44.本发明提供的实施例1为本发明提供的一种智能多分辨率特征优化的三维重建方法的实施例，结合图1可知，该三维重建方法的实施例包括：
45.步骤1，设置第一分辨率和第二分辨率，第一分辨率低于第二分辨率。
46.在一种可能的实施例方式中，步骤1中根据三维重建的需求以及原始三维扫描数据的大小设置第一分辨率和第二分辨率的大小。
47.具体实施中，该第一分辨率和第二分辨率可以根据该次三维重建对分辨率需求以及原始三维扫描数据大小等实际情况进行人工选择，也可以设置默认值。
48.步骤2，利用原始三维扫描数据，基于第一分辨率进行重建得到低分辨率模型，计算低分辨率模型中各个三维点的曲率，将曲率大于设定曲率阈值的三维点标记为特征点。
49.可以理解的是，具体实施中，该曲率阈值也可以根据三维重建的实际情况灵活设置，保证计算量、数据量和视觉效果的平衡。
50.如图2所示为本发明实施例提供的不同曲率的区域渲染效果示意图。
51.在一种可能的实施例方式中，步骤2中的曲率为高斯曲率、主曲率或平均曲率，能反映曲面局部的弯曲程度即可。
52.步骤3，利用以各个特征点为中心的设定区域范围内的原始三维扫描数据，基于第二分辨率进行重建得到三角网。
53.在一种可能的实施例方式中，步骤3包括：以每个特征点为中心、设定阈值为半径构建空间包围盒，裁减掉落入包围盒中的三角面片。
54.遍历原始三维扫描数据，将落入包围盒中的点存入数组，基于数组中的点进行三维重建。
55.在一种可能的实施例方式中，步骤3中基于第二分辨率进行重建得到三角网的过程包括：
56.将包围盒中的空间划分为多个立方体形的体素，利用tsdf(truncated signed distance function，改进的截断式带符号距离函数)算法确定各个体素的顶点的权重和tsdf值，再利用marching cubes算法提取等值面，生成三角网。整个计算过程非常适合在gpu上实现，可以达到实时生成网格的速度。如图3所示为本发明实施例提供的低分辨率网格和高分辨率网格局部示意图。
57.步骤4，将三角网缝合到低分辨率模型中得到三维重建模型。
58.在一种可能的实施例方式中，步骤4中进行缝合的过程包括：
59.在三角网的网格块的边界处搭桥形成闭环进行缝合；再调用delaunay三角化方法重新组织三角面片；如图4所示为本发明实施例提供的两片网格缝合后的效果示意图，结合图4可知，相邻的低分辨率与高分辨率的三角面片缝合成一块，没有的则跳过。修复拓扑错误，解决因缝合产生的自相交区块。
60.如图5所示为本发明实施例提供的多个区块缝合后的效果示意图，结合图5可知，直接用高分辨率来重建，数据量庞大。采用智能多分辨率方法，整体只需要较低分辨率即可，局部采用更密集的三角面片，物体的特征细节仍然能清楚的渲染出来。
61.可以理解的是，在边界处构建了基于halfedge(半边数据结构)的数据结构的网格拓扑以及构建了空间kd树(多维二叉树)。
62.边界信息结合了基于halfedge的数据结构用于构建网格拓扑，使得顶点数据的索引和拓扑信息的查询极为高效便利，也用到了空间kd树，使得某点半径范围内邻域点的查找效率较高。缝合过程中涉及到空间三角面之间的自相交计算，因为只用到边界处的检测，所以不需要进行全局的遍历，计算效率可控。
63.实施例2
64.本发明提供的实施例2为本发明提供的一种智能多分辨率特征优化的三维重建系统的实施例，图6为本发明实施例提供的一种智能多分辨率特征优化的三维重建系统结构图，结合图6可知，该实施例包括：
65.分辨率设置模块、特征点标记模块、三角网重建模块和缝合模块。
66.分辨率设置模块，用于设置第一分辨率和第二分辨率，第一分辨率低于第二分辨率。
67.特征点标记模块，用于利用原始三维扫描数据，基于第一分辨率进行重建得到低分辨率模型，计算低分辨率模型中各个三维点的曲率，将曲率大于设定曲率阈值的三维点标记为特征点。
68.三角网重建模块，用于利用以各个特征点为中心的设定区域范围内的原始三维扫描数据，基于第二分辨率进行重建得到三角网。
69.缝合模块，用于将三角网缝合到低分辨率模型中得到三维重建模型。
70.可以理解的是，本发明提供的一种智能多分辨率特征优化的三维重建系统与前述各实施例提供的智能多分辨率特征优化的三维重建方法相对应，智能多分辨率特征优化的三维重建系统的相关技术特征可参考智能多分辨率特征优化的三维重建方法的相关技术特征，在此不再赘述。
71.请参阅图7，图7为本发明实施例提供的电子设备的实施例示意图。如图7所示，本发明实施例提了一种电子设备，包括存储器1310、处理器1320及存储在存储器1310上并可在处理器1320上运行的计算机程序1311，处理器1320执行计算机程序1311时实现以下步骤：设置第一分辨率和第二分辨率，第一分辨率低于第二分辨率；利用原始三维扫描数据，基于第一分辨率进行重建得到低分辨率模型，计算低分辨率模型中各个三维点的曲率，将曲率大于设定曲率阈值的三维点标记为特征点；利用以各个特征点为中心的设定区域范围内的原始三维扫描数据，基于第二分辨率进行重建得到三角网；将三角网缝合到低分辨率模型中得到三维重建模型。
72.请参阅图8，图8为本发明提供的一种计算机可读存储介质的实施例示意图。如图8所示，本实施例提供了一种计算机可读存储介质1400，其上存储有计算机程序1411，该计算机程序1411被处理器执行时实现如下步骤：设置第一分辨率和第二分辨率，第一分辨率低于第二分辨率；利用原始三维扫描数据，基于第一分辨率进行重建得到低分辨率模型，计算低分辨率模型中各个三维点的曲率，将曲率大于设定曲率阈值的三维点标记为特征点；利用以各个特征点为中心的设定区域范围内的原始三维扫描数据，基于第二分辨率进行重建得到三角网；将三角网缝合到低分辨率模型中得到三维重建模型。
73.本发明实施例提供的一种智能多分辨率特征优化的三维重建方法、系统及存储介质，以曲率为依据自动识别扫描物体的特征区域，以较高分辨率重建特征区域，以较低分辨率重建平面区域，并自动合并分辨率不同的交界区域，可以同时兼顾细节部分的良好视觉效果，而在平面上保持较大的点间距或三角网格，降低导出数据的大小；相比于在特征处通过数学函数插值生成稠密网格的方法，本技术直接采用扫描的真实数据在局部重构、合并，确保了数据的真实性；对于需要保留局部特征的大型样件，本方法可大大减少数据量；该第一分辨率和第二分辨率可以可以根据该次三维重建对分辨率需求的大小以及数据大小等实际情况等进行人工选择，也可以设置默认值；曲率阈值可以根据三维重建的实际情况灵活设置，保证计算量、数据量和视觉效果的平衡；重建高分辨率的三角网整个计算过程非常适合在gpu端并行执行，相比于cpu端的计算可以显著提高性能，可以达到实时生成网格的速度；边界信息结合了基于halfedge的数据结构用于构建网格拓扑，使得顶点数据的索引
和拓扑信息的查询极为高效便利，也用到了空间kd树，使得某点半径范围内邻域点的查找效率较高；缝合过程中涉及到空间三角面之间的自相交计算，因为只用到边界处的检测，所以不需要进行全局的遍历，计算效率可控；可以很方便的拓展成基于软件界面交互的操作方式，可由用户框选指定的区域进行局部重建。
74.需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
75.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
76.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
77.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
78.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
79.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
80.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。