一种虚实场景融合的全视差全息体视图制作方法及系统与流程

1.本发明涉及全息体视图领域，特别是涉及一种虚实场景融合的全视差全息体视图制作方法及系统。


背景技术：

2.全视差全息体视图能够实现场景的3d记录与显示，此场景既可以是真实场景，也可以是虚拟场景。借鉴增强现实领域的经验，全视差全息体视图的这一特性为真实场景的增强现实显示带来了契机。
3.全视差全息体视图的3d显示可以增强人们对真实世界的感知，达到增强现实的效果。比如在文物展示中，为了在保护文物的同时展示文物的三维图像和具体信息，可以在文物图像上叠加一些虚拟的介绍性文字、图案等。
4.目前，制作全视差全息体视图的方法通常采用如下几种：一是像素替换法，该方法的基本原理是：对真实场景与虚拟场景分别进行采样，将虚拟场景信息直接叠加在真实场景上。该方法只能实现虚拟场景遮挡真实场景的空间位置关系，无法实现更加复杂场景的图像融合编码，导致重建的全息体视图质量差，显现效果也较差；二是基于深度图的虚实融合方法，该方法能够实现具有简单遮挡关系的虚实场景融合编码与再现，但深度图的求解是一个难题，不精确的深度值往往会使遮挡关系不符合设定要求，因此，重建的全息体视图质量和显现效果也有待提高。


技术实现要素：

5.基于此，本发明实施例提供一种虚实场景融合的全视差全息体视图制作方法及系统，能够实现虚实场景之间比较复杂的空间位置关系，无需计算精确的深度值，能够提高全息体视图的重建质量，提升全息体视图的显示效果。
6.为实现上述目的，本发明提供了如下方案：
7.一种虚实场景融合的全视差全息体视图制作方法，包括：
8.对真实场景进行全视角拍摄，得到多幅视角图；
9.采用多幅所述视角图重建所述真实场景的三维点云数据；
10.将所述三维点云数据导入三维建模软件中构建所述真实场景的三维模型，调整所述三维模型和所述三维建模软件中虚拟场景之间的空间位置关系，得到多幅场景融合图像；
11.对多幅所述场景融合图像进行全视差采样及编码，得到多个曝光图像阵列；
12.控制打印机构对多个所述曝光图像阵列进行全视差打印，得到全视差全息体视图。
13.可选的，所述将所述三维点云数据导入三维建模软件中构建所述真实场景的三维模型，调整所述三维模型和所述三维建模软件中虚拟场景之间的空间位置关系，得到多幅场景融合图像，具体包括：
14.采用泊松表面重建算法将所述三维点云数据转换为面片数据；
15.将所述面片数据导入所述三维建模软件中，构建所述真实场景的三维模型；
16.在所述三维建模软件中渲染虚拟场景或将绘制的虚拟场景导入所述三维建模软件中，调整所述三维模型和所述虚拟场景之间的空间位置关系，得到多幅场景融合图像。
17.可选的，所述对多幅所述场景融合图像进行全视差采样及编码，得到多个曝光图像阵列，具体包括：
18.按照设定全息打印要求，采用虚拟相机对多幅所述场景融合图像进行全视差采样，得到多个采样图像阵列；
19.采用无穷远相机法、透视分割法或视角图分割重组法对各所述采样图像阵列进行编码，得到多个曝光图像阵列。
20.可选的，所述控制打印机构对多个所述曝光图像阵列进行全视差打印，得到全视差全息体视图，具体包括：
21.将所述曝光图像阵列逐个加载到打印机构中，并逐个对加载到所述打印机构中的所述曝光图像阵列进行全视差打印，得到全视差全息体视图。
22.可选的，所述打印机构为全视差打印光路组件；所述全视差打印光路组件，包括：激光器；依次设置在所述激光器出射光路上的电子快门和偏振分光棱镜；依次设置在所述偏振分光棱镜的透射光路上的第一扩束镜、显示屏、散射屏、矩形光阑和全息板；设置在所述偏振分光棱镜的反射光路上的反光镜；设置在所述反光镜的出射光路上的第二扩束镜；所述矩形光阑位于所述第二扩束镜的出射光路上；
23.所述逐个对加载到所述打印机构中的所述曝光图像阵列进行全视差打印，得到全视差全息体视图，具体包括：
24.在对第n个曝光图像阵列进行打印时，将第n个曝光图像阵列加载到所述显示屏上，控制所述全息板移动设定距离，控制所述电子快门打开，所述偏振分光棱镜将所述激光器发出的激光分为物光束和参考光束，所述物光束依次经过所述第一扩束镜、所述显示屏和所述散射屏后，在所述矩形光阑上形成散射后的物光束，所述参考光束依次经过所述反光镜和所述第二扩束镜后，在所述矩形光阑上形成扩束后的参考光束，所述散射后的物光束和所述扩束后的参考光束在所述矩形光阑上干涉曝光，所述全息板上呈现曝光图；
25.当所有的曝光图像阵列均在所述全息板上呈现曝光图时，对所述全息板进行显影、定影和漂白处理，得到全视差全息体视图。
26.本发明还提供了一种虚实场景融合的全视差全息体视图制作系统，包括：处理器和打印机构；所述处理器和所述打印机构连接；
27.所述处理器内置虚实融合程序；所述虚实融合程序包括：
28.图像获取模块，用于对真实场景进行全视角拍摄，得到多幅视角图；
29.三维点云计算模块，用于采用多幅所述视角图重建所述真实场景的三维点云数据；
30.虚实场景融合模块，用于将所述三维点云数据导入三维建模软件中构建所述真实场景的三维模型，调整所述三维模型和所述三维建模软件中虚拟场景之间的空间位置关系，得到多幅场景融合图像；
31.采样编码模块，用于对多幅所述场景融合图像进行全视差采样及编码，得到多个
曝光图像阵列；
32.全视差打印模块，用于控制所述打印机构对多个所述曝光图像阵列进行全视差打印，得到全视差全息体视图。
33.可选的，所述虚实场景融合模块，具体包括：
34.数据转换单元，用于采用泊松表面重建算法将所述三维点云数据转换为面片数据；
35.三维模型构建单元，用于将所述面片数据导入所述三维建模软件中，构建所述真实场景的三维模型；
36.场景融合单元，用于在所述三维建模软件中渲染虚拟场景或将绘制的虚拟场景导入所述三维建模软件中，调整所述三维模型和所述虚拟场景之间的空间位置关系，得到多幅场景融合图像。
37.可选的，所述采样编码模块，具体包括：
38.全视差采样单元，用于按照设定全息打印要求，采用虚拟相机对多幅所述场景融合图像进行全视差采样，得到多个采样图像阵列；
39.编码单元，用于采用无穷远相机法、透视分割法或视角图分割重组法对各所述采样图像阵列进行编码，得到多个曝光图像阵列。
40.可选的，所述全视差打印模块，具体包括：
41.打印单元，用于将所述曝光图像阵列逐个加载到打印机构中，并逐个对加载到所述打印机构中的所述曝光图像阵列进行全视差打印，得到全视差全息体视图。
42.可选的，所述打印机构为全视差打印光路组件；所述全视差打印光路组件，包括：激光器；依次设置在所述激光器出射光路上的电子快门和偏振分光棱镜；依次设置在所述偏振分光棱镜的透射光路上的第一扩束镜、显示屏、散射屏、矩形光阑和全息板；设置在所述偏振分光棱镜的反射光路上的反光镜；设置在所述反光镜的出射光路上的第二扩束镜；所述矩形光阑位于所述第二扩束镜的出射光路上；
43.所述打印单元，具体包括：
44.逐个打印子单元，用于在对第n个曝光图像阵列进行打印时，将第n个曝光图像阵列加载到所述显示屏上，控制所述全息板移动设定距离，控制所述电子快门打开，所述偏振分光棱镜将所述激光器发出的激光分为物光束和参考光束，所述物光束依次经过所述第一扩束镜、所述显示屏和所述散射屏后，在所述矩形光阑上形成散射后的物光束，所述参考光束依次经过所述反光镜和所述第二扩束镜后，在所述矩形光阑上形成扩束后的参考光束，所述散射后的物光束和所述扩束后的参考光束在所述矩形光阑上干涉曝光，所述全息板上呈现曝光图；
45.全息板处理子单元，用于当所有的曝光图像阵列均在所述全息板上呈现曝光图时，对所述全息板进行显影、定影和漂白处理，得到全视差全息体视图。
46.与现有技术相比，本发明的有益效果是：
47.本发明实施例提出了一种虚实场景融合的全视差全息体视图制作方法及系统，首先采用对真实场景进行全视角拍摄得到的多幅视角图重建真实场景的三维点云数据；将三维点云数据导入三维建模软件中构建真实场景的三维模型，调整三维模型和虚拟场景之间的空间位置关系，得到多幅场景融合图像；对多幅场景融合图像进行全视差采样及编码，得
到多个曝光图像阵列；控制打印机构对多个曝光图像阵列进行全视差打印，得到全视差全息体视图。本发明对虚实场景融合后的图像进行采样编码，能够实现虚实场景之间比较复杂的空间位置关系，并且无需计算精确的深度值，能够提高全息体视图的重建质量，提升全息体视图的显示效果。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
49.图1为本发明实施例提供的虚实场景融合的全视差全息体视图制作方法的流程图；
50.图2为本发明实施例提供的全视差打印光路组件的光路布设图；
51.图3为本发明实施例提供的虚实场景融合的全视差全息体视图制作系统的结构图。
具体实施方式
52.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
54.全视差全息体视图作为一种有效的3d显示技术，既能显示真实世界场景，又可以再现计算机渲染的虚拟场景。本实施例提供了一种重建质量高、显示效果好的虚实场景融合的全视差全息体视图制作方法，参见图1，所述方法，包括：
55.步骤101：对真实场景进行全视角拍摄，得到多幅视角图。
56.该步骤是对真实场景采样。该步骤，具体包括：对真实场景进行拍摄采样，可以采用相机阵列或运动相机对场景进行多角度拍摄，保证场景的每一处都能显示在采样图像中，采样图像的数量没有明确要求，但通常情况下采样数量越多，采样角度越密，三维重建的效果就越好，最终需获得具有真实场景全视角的多幅视角图。
57.步骤102：采用多幅所述视角图重建所述真实场景的三维点云数据。
58.该步骤是对三维点云重建。该步骤，具体包括：
59.采用运动恢复结构(sfm)算法或visaulsfm等基于sfm算法的相关软件，对多幅所述视角图进行计算，得到所述真实场景的三维点云数据。
60.步骤103：将所述三维点云数据导入三维建模软件中构建所述真实场景的三维模型，调整所述三维模型和所述三维建模软件中虚拟场景之间的空间位置关系，得到多幅场景融合图像。
61.步骤103，具体包括：
62.1)三维面片重建。采用泊松表面重建算法将所述三维点云数据转换为面片数据，其主要目的是：保证得到的三维模型数据(面片数据)能够在3d建模软件中正确打开。
63.2)将所述面片数据导入所述三维建模软件(如3d studio max等)中，构建所述真实场景的三维模型。
64.3)获取虚拟场景，手动调整所述三维模型和所述虚拟场景之间的空间位置关系，得到多幅场景融合图像。虚拟场景可以采用现有的计算机模型，也可以直接在软件中绘制，即可以在所述三维建模软件中渲染虚拟场景或将绘制的虚拟场景导入所述三维建模软件中。
65.步骤104：对多幅所述场景融合图像进行全视差采样及编码，得到多个曝光图像阵列。
66.步骤104，具体包括：
67.1)按照设定全息打印要求，采用软件自带的虚拟相机对多幅所述场景融合图像进行全视差采样，得到多个采样图像阵列。
68.2)采样得到的图像通常不能直接进行全息体视图的制作，需要进一步进行有效编码。因此，采用无穷远相机法、透视分割法或视角图分割重组法(epism)对各所述采样图像阵列进行编码，得到多个曝光图像阵列。
69.步骤105：控制打印机构对多个所述曝光图像阵列进行全视差打印，得到全视差全息体视图。全视差即既包括水平视差又包括垂直视差。
70.其中，所述打印机构为全视差打印光路组件；参见图2，所述全视差打印光路组件，包括：激光器1；依次设置在所述激光器1出射光路上的电子快门2和偏振分光棱镜3；依次设置在所述偏振分光棱镜3的透射光路上的第一扩束镜4、显示屏5、散射屏6、矩形光阑7和全息板8；设置在所述偏振分光棱镜3的反射光路上的反光镜9；设置在所述反光镜8的出射光路上的第二扩束镜10；所述矩形光阑7位于所述第二扩束镜10的出射光路上。
71.步骤105，具体包括：
72.将所述曝光图像阵列逐个加载到打印机构中，并逐个对加载到所述打印机构中的所述曝光图像阵列进行全视差打印，得到全视差全息体视图，具体为：
73.在对第n个曝光图像阵列进行打印时，将第n个曝光图像阵列加载到所述显示屏5上，控制所述全息板8移动设定距离(一个全息单元的距离)，控制所述电子快门2打开，所述偏振分光棱镜3将所述激光器1发出的激光分为物光束和参考光束，所述物光束依次经过所述第一扩束镜4、所述显示屏5和所述散射屏6后，在所述矩形光阑7上形成散射后的物光束，所述参考光束依次经过所述反光镜9和所述第二扩束镜10后，在所述矩形光阑7上形成扩束后的参考光束，所述散射后的物光束和所述扩束后的参考光束在所述矩形光阑7上干涉曝光，所述全息板8上呈现曝光图。
74.当所有的曝光图像阵列均在所述全息板8上呈现曝光图时，对所述全息板8进行显影、定影和漂白处理，得到全视差全息体视图。
75.本实施例的虚实场景融合的全视差全息体视图制作方法，通过基于多视图的三维重建方法得到真实场景的三维点云数据；利用泊松表面重建算法将三维点云数据转化为可导入3d建模软件的其他数据格式；导入真实场景的三维模型，绘制或合并导入虚拟场景，并手动调节二者空间位置关系；利用软件自带的虚拟相机进行全视差采样，而后进行全息打
印，得到的全视差全息体视图可以同时显示虚、实场景的信息，达到对真实场景的视觉增强，在文物鉴赏、商业宣传等诸多领域具有重要意义。
76.本发明还提供了一种虚实场景融合的全视差全息体视图制作系统，参见图3，所述系统，包括：处理器11和打印机构；所述处理器11和所述打印机构连接。所述处理器11可以为计算机。
77.所述处理器11内置虚实融合程序；所述虚实融合程序包括：
78.图像获取模块，用于对真实场景进行全视角拍摄，得到多幅视角图。
79.三维点云计算模块，用于采用多幅所述视角图重建所述真实场景的三维点云数据。
80.虚实场景融合模块，用于将所述三维点云数据导入三维建模软件中构建所述真实场景的三维模型，调整所述三维模型和所述三维建模软件中虚拟场景之间的空间位置关系，得到多幅场景融合图像。
81.采样编码模块，用于对多幅所述场景融合图像进行全视差采样及编码，得到多个曝光图像阵列。
82.全视差打印模块，用于控制所述打印机构对多个所述曝光图像阵列进行全视差打印，得到全视差全息体视图。
83.在一个示例中，所述虚实场景融合模块，具体包括：
84.数据转换单元，用于采用泊松表面重建算法将所述三维点云数据转换为面片数据。
85.三维模型构建单元，用于将所述面片数据导入所述三维建模软件中，构建所述真实场景的三维模型。
86.场景融合单元，用于在所述三维建模软件中渲染虚拟场景或将绘制的虚拟场景导入所述三维建模软件中，调整所述三维模型和所述虚拟场景之间的空间位置关系，得到多幅场景融合图像。
87.在一个示例中，所述采样编码模块，具体包括：
88.全视差采样单元，用于按照设定全息打印要求，采用虚拟相机对多幅所述场景融合图像进行全视差采样，得到多个采样图像阵列。
89.编码单元，用于采用无穷远相机法、透视分割法或视角图分割重组法对各所述采样图像阵列进行编码，得到多个曝光图像阵列。
90.在一个示例中，所述全视差打印模块，具体包括：
91.打印单元，用于将所述曝光图像阵列逐个加载到打印机构中，并逐个对加载到所述打印机构中的所述曝光图像阵列进行全视差打印，得到全视差全息体视图。
92.在一个示例中，所述打印机构为全视差打印光路组件，所述全视差打印光路组件的光路图如图2所示。参见图3，所述处理器11分别与电子快门2、显示屏5和全息板8连接。激光器1作为光源，光束经电子快门2、偏振分光棱镜3后被分为物光束与参考光束。物光经第一扩束镜4调制后，均匀照射在显示屏5上，而后经散射屏6散射，与扩束后的参考光在矩形光阑7处相遇进行干涉曝光。将得到的曝光图像阵列逐个加载在显示屏5上，每曝光一幅图像，移动一次全息板8(在前一个图像曝光后，电子快门2关闭，切断光路，全息板8移动一个全息单元的距离，此时显示屏5上加载的图像跳转为下一幅曝光图像。然后，电子快门2打
开，光路按照曝光前一个全息单元的方式曝光这个全息单元，以此类推)。完成全部图像的曝光后，会得到具有矩形阵列的全息板8。将全息板8进行显影、定影、漂白处理，即可得到一幅可立体再现虚实融合场景的全视差全息体视图。
93.所述打印单元，具体包括：
94.逐个打印子单元，用于在对第n个曝光图像阵列进行打印时，将第n个曝光图像阵列加载到所述显示屏上，控制所述全息板移动设定距离，控制所述电子快门打开，所述偏振分光棱镜将所述激光器发出的激光分为物光束和参考光束，所述物光束依次经过所述第一扩束镜、所述显示屏和所述散射屏后，在所述矩形光阑上形成散射后的物光束，所述参考光束依次经过所述反光镜和所述第二扩束镜后，在所述矩形光阑上形成扩束后的参考光束，所述散射后的物光束和所述扩束后的参考光束在所述矩形光阑上干涉曝光，所述全息板上呈现曝光图。
95.全息板处理子单元，用于当所有的曝光图像阵列均在所述全息板上呈现曝光图时，对所述全息板进行显影、定影和漂白处理，得到全视差全息体视图。
96.本实施例的虚实场景融合的全视差全息体视图制作系统，对虚实场景融合后的图像进行采样编码，能够实现虚实场景之间比较复杂的空间位置关系，并且不需精确计算某一参数，而融合编码与显示的效果主要取决于三维重建的质量，对于全息体视图来说，当前技术的重建质量已经能够基本满足需求，因此，对虚实场景融合后的图像进行采样编码，通过全视差打印，得到的全视差全息体视图，重建质量高，具有更好的显示效果。
97.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
98.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。