一种4D网格生成方法及系统与流程

一种4d网格生成方法及系统
技术领域
1.本发明涉及计算机的技术领域，特别涉及一种4d网格生成方法及系统。


背景技术：

2.3d网格是将相机采集到的图像通过三维重建软件生成的静态三维模型，通常以obj、ply、3ds等格式进行保存。一般需要将相机采集到的多角度图像导入以reality capture、meta shape为代表的三维重建软件中来自动生成3d网格。
3.而相机如果以每秒60帧的速率进行同步拍摄就能生成图像序列，然后对图像序列中的图像数据逐帧进行重建从而得到3d网格序列，再对3d网格序列进行序列播放生成4d网格。
4.现有技术中，在对图像序列中的图像数据逐帧进行重建从而得到3d网格序列的过程中，3d网格每次生成都会根据当前帧的图像数据进行重新创建，并不能获得上一帧3d网格的空间信息，这就导致了每一帧3d网格的空间位置都不一致，因为3d网格之间空间位置不一致，导致3d网格序列不能被序列播放从而无法生成正确的4d网格。


技术实现要素：

5.本发明的目的就是解决背景技术中提到的问题，提出一种4d网格生成方法及系统，解决了3d网格之间空间位置不一致导致无法正确生成4d网格的技术问题，且具有稳定性好、速度快的优点。
6.为实现上述目的，本发明首先提出了一种4d网格生成方法，包括以下步骤：创建reality capture项目工程文件夹；对图像序列中第一帧所有图像数据进行对齐操作，生成图像对齐文件；将所述图像对齐文件与图像序列进行关联；通过所述图像对齐文件遍历图像序列中所有图像数据来生成3d网格；对所述3d网格进行序列播放，生成4d网格。
7.可选的，所述将图像对齐文件与图像序列进行关联包括：创建用于对图像序列中的图像数据进行逐帧存取的图像缓存池，并将图像缓存池与图像对齐文件进行关联。
8.可选的，所述通过图像对齐文件遍历图像序列中所有图像数据来生成3d网格包括以下步骤：打开所述图像对齐文件；根据图像缓存池中当前帧的图像数据生成3d网格；关闭所述图像对齐文件；将图像序列下一帧所有图像数据更新至图像缓存池；循环逐帧生成3d网格。
9.可选的，所述将图像对齐文件与图像序列进行关联包括：将所述图像对齐文件逐一复制到图像序列每一帧的文件夹中。
10.可选的，所述通过图像对齐文件遍历图像序列中所有图像数据来生成3d网格包括：通过控制图像序列每一帧文件夹中的图像对齐文件来生成3d网格。
11.可选的，还包括：监测3d网格生成的情况，当出现坏帧时，对图像序列当前帧进行记录从而重新生成3d网格。
12.可选的，还包括：删除游离的破碎网格，对生成的3d网格进行优化处理。
13.本发明实施例还提供了一种4d网格生成系统，包括：起始模块，所述起始模块被配置为创建reality capture项目工程文件夹；对齐模块，所述对齐模块被配置为对图像序列中第一帧所有图像数据进行对齐操作，生成图像对齐文件；关联模块，所述关联模块被配置为将所述图像对齐文件与图像序列进行关联；网格生成模块，所述网格生成模块被配置为通过所述图像对齐文件遍历图像序列中所有图像数据来生成3d网格；序列播放模块，所述序列播放模块被配置为对所述3d网格进行序列播放，生成4d网格。
14.可选的，还包括：监测模块，所述监测模块被配置为监测3d网格生成的情况，当出现坏帧时，对图像序列当前帧进行记录从而重新生成3d网格。
15.可选的，还包括：网格优化模块，所述网格优化模块被配置为删除游离的破碎网格，对生成的3d网格进行优化处理。
16.本发明的有益效果：
17.本发明实施例提供的一种4d网格生成方法及系统，通过对图像序列中第一帧所有图像数据进行对齐操作来生成图像对齐文件，再将图像对齐文件与图像序列进行关联来对3d网格序列之间空间位置进行匹配，解决了3d网格之间空间位置不一致导致无法正确生成4d网格的技术问题，从而正确地生成4d网格，且具有稳定性好、速度快的优点。
18.进一步的，通过创建图像缓存池，并将图像缓存池与图像对齐文件进行关联，再通过重复打开和关闭图像对齐文件配合图像缓存池对图像序列中图像数据进行逐帧存取来生成3d网格序列，生成的3d网格之间空间位置匹配，且无需要将图像对齐文件逐一复制到每一帧的文件夹中,相比通过将图像对齐文件逐一复制到图像序列每一帧的文件夹中，再控制每一帧文件夹中的图像对齐文件来生成3d网格的技术方案，具有速度快、稳定性高、错误率低、占用资源少的优点。
19.本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
20.图1为本发明实施例提供的一种4d网格生成方法的流程框图之一；
21.图2为本发明实施例提供的一种4d网格生成方法的流程框图之二；
22.图3为本发明实施例提供的一种4d网格生成方法的流程框图之三；
23.图4为本发明实施例提供的一种4d网格生成系统的系统结构框图之一；
24.图5为本发明实施例提供的一种4d网格生成系统的系统结构框图之二；
25.图6为本发明实施例提供的一种4d网格生成系统的系统结构框图之三。
具体实施方式
26.为了便于本领域技术人员的理解，下面将结合具体实施例对本发明作进一步详细描述。
27.本发明首先提出一种4d网格生成方法，解决了3d网格之间空间位置不一致导致无法正确生成4d网格的技术问题。
28.第一实施例
29.请参考图1，本发明第一实施例提供了一种4d网格生成方法，具体步骤包括：
30.步骤s10，创建reality capture项目工程文件夹；其中reality capture项目工程
文件夹用于存放环境配置数据以及相应的项目工程文件，从而快速找到项目文件所在的位置来对文件或参数进行修改，实现对项目文件的规范化管理。
31.步骤s20，对图像序列中第一帧所有图像数据进行对齐操作，生成图像对齐文件；所述图像序列为通过一个或多个相机逐帧拍摄的不同角度的图像数据，一个或多个相机的位置可以是固定的，也可以是不固定的，生成的图像对齐文件以rcproj的格式保存至reality capture项目工程文件夹中。
32.步骤s30，将所述图像对齐文件与图像序列进行关联；通过将图像对齐文件与图像序列每一帧的图像数据进行关联，实现每一帧图像数据之间的关联。
33.步骤s40，通过所述图像对齐文件遍历图像序列中所有图像数据来生成3d网格；在3d网格序列生成过程中，对经过关联的每一帧图像数据进行重建得到的3d网格序列之间空间位置相匹配，从而正确地进行序列播放生成4d网格。此外，还包括删除游离的破碎网格，对生成的3d网格进行优化处理，以及监测3d网格生成的情况，当出现坏帧时，对图像序列当前帧进行记录从而重新生成3d网格。
34.步骤s50，对所述3d网格进行序列播放，生成4d网格。
35.在本发明第一实施例中，通过对图像序列中第一帧所有图像数据进行对齐操作来生成图像对齐文件，再将图像对齐文件与图像序列进行关联来对3d网格序列之间空间位置进行匹配，从而正确地生成4d网格。
36.第二实施例
37.请参考图2，本发明第二实施例提供了一种4d网格生成方法，具体步骤包括：
38.步骤s11，创建reality capture项目工程文件夹；本实施例中创建reality capture项目工程文件夹的步骤及目的与第一实施例所述相同，在此不再赘述。
39.步骤s21，对图像序列中第一帧所有图像数据进行对齐操作，生成图像对齐文件；本实施例中，对图像序列中第一帧所有图像数据进行对齐操作，生成图像对齐文件的步骤及目的与第一实施例所述相同，在此不再赘述。
40.步骤s31，将所述图像对齐文件逐一复制到图像序列每一帧的文件夹中；图像序列每一帧的文件夹中都存在相应的图像对齐文件，通过将所述图像对齐文件逐一复制到图像序列每一帧的文件夹中，实现每一帧图像数据之间的关联。
41.步骤s41，通过控制图像序列每一帧文件夹中的图像对齐文件来生成3d网格；该步骤具体可通过逐一控制每个文件夹中的图像对齐文件来实现，也可通过脚本同时控制图像序列每一帧的文件夹中的图像对齐文件来实现，最终得到的3d网格序列之间空间位置相匹配，能正确地进行序列播放生成4d网格。此外，还包括删除游离的破碎网格，对生成的3d网格进行优化处理，以及监测3d网格生成的情况，当出现坏帧时，对图像序列当前帧进行记录从而重新生成3d网格。
42.步骤s51，对所述3d网格进行序列播放，生成4d网格。
43.在本发明第二实施例中，通过将图像对齐文件逐一复制到图像序列每一帧的文件夹中，再控制每一帧文件夹中的图像对齐文件来生成3d网格，最终得到的3d网格序列之间空间位置相匹配，能正确地进行序列播放生成4d网格。但是在要生成4d网格的图像序列具有较多帧的情况下,仍需要将图像对齐文件逐一复制到每一帧的文件夹中,并逐一控制每个文件夹中的图像对齐文件来生成3d网格，这不仅时间相对较慢，往往也会造成遗漏或错
误，此外，如果通过脚本同时控制每个文件夹中的图像对齐文件又会对系统资源带来巨大占用，会出现图像对齐文件调用了错误缓存数据的情况，从而导致生成的3d网格位置出现偏差。
44.第三实施例
45.请参考图3，本发明第三实施例提供了一种4d网格生成方法，具体步骤包括：
46.步骤s12，创建reality capture项目工程文件夹；本实施例中创建reality capture项目工程文件夹的步骤及目的与第一、第二实施例所述相同，在此不再赘述。
47.步骤s22，对图像序列中第一帧所有图像数据进行对齐操作，生成图像对齐文件；本实施例中，对图像序列中第一帧所有图像数据进行对齐操作，生成图像对齐文件的步骤及目的与第一、第二实施例所述相同，在此不再赘述。
48.步骤s32，创建图像缓存池，并与图像对齐文件进行关联；创建用于对图像序列中的图像数据进行逐帧存取的图像缓存池，并将图像缓存池与图像对齐文件进行关联，其中图像序列的引用路径就是相片缓存池的位置。
49.步骤s42，打开所述图像对齐文件。
50.步骤s52，根据图像缓存池中当前帧的图像数据生成3d网格，此外，还包括删除游离的破碎网格，对生成的3d网格进行优化处理，以及监测3d网格生成的情况，当出现坏帧时，对图像序列当前帧进行记录从而重新生成3d网格。
51.步骤s62，关闭所述图像对齐文件。
52.步骤s72，将图像序列下一帧所有图像数据更新至图像缓存池；
53.步骤s82，循环逐帧生成3d网格；即重复步骤s42～步骤s72，直到生成最后一帧的3d网格。
54.步骤s92，对所述3d网格进行序列播放，生成4d网格。
55.本发明第三实施例提供的一种4d网格生成方法，通过创建图像缓存池，并将图像缓存池与图像对齐文件进行关联，再通过重复打开和关闭图像对齐文件配合图像缓存池对图像序列中图像数据进行逐帧存取来生成3d网格序列，生成的3d网格之间空间位置匹配，且无需要将图像对齐文件逐一复制到每一帧的文件夹中,相比本发明实施例二，具有速度快、稳定性高、错误率低、占用资源少的优点。
56.综上，本发明实施例一种4d网格生成方法，通过对图像序列中第一帧所有图像数据进行对齐操作来生成图像对齐文件，再将图像对齐文件与图像序列进行关联来对3d网格序列之间空间位置进行匹配，解决了3d网格之间空间位置不一致导致无法正确生成4d网格的技术问题，从而正确地生成4d网格，且具有稳定性好、速度快的优点。
57.基于上述4d网格生成方法，本发明实施例还提供了一种4d网格生成系统，如图4所示，该系统包括：
58.起始模块13，所述起始模块被配置为创建reality capture项目工程文件夹；
59.对齐模块23，所述对齐模块被配置为对图像序列中第一帧所有图像数据进行对齐操作，生成图像对齐文件；
60.关联模块33，所述关联模块被配置为将所述图像对齐文件与图像序列进行关联；
61.网格生成模块43，所述网格生成模块被配置为通过所述图像对齐文件遍历图像序列中所有图像数据来生成3d网格；
62.序列播放模块53，所述序列播放模块被配置为对所述3d网格进行序列播放，生成4d网格。
63.请参考图5，所述4d网格生成系统还包括：
64.监测模块63，所述监测模块被配置为监测3d网格生成的情况，当出现坏帧时，对图像序列当前帧进行记录从而重新生成3d网格。
65.请参考图6，所述4d网格生成系统还包括：
66.网格优化模块73，所述网格优化模块被配置为删除游离的破碎网格，对生成的3d网格进行优化处理。
67.综上所述，本发明实施例提出的一种4d网格生成系统，该系统可以实现为一种程序的形式，在计算机设备上运行。计算机设备的存储器中可存储组成该4d网格生成系统的各个程序模块，比如，图4所示的起始模块14、对齐模块24、关联模块34、网格生成模块44、序列播放模块54。各个程序模块构成的程序使得处理器执行本说明书中描述的本技术各个实施例的一种4d网格生成方法中的步骤。
68.上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。