三维图像合成方法、设备、存储介质及装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种三维图像合成方法、设备、存储介质及装置。


背景技术：

2.目前，在对三维图像进行合成时，往往通过人工方式将三维人像与三维景点模型进行合成。但是，由于人工方式无法准确调整三维合成图像的细节，从而导致三维图像合成的成像效果差、违和感强。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提供一种三维图像合成方法、设备、存储介质及装置，旨在解决现有技术中人工将三维人像与三维景点模型进行合成，成像效果差、违和感强的技术问题。
5.为实现上述目的，本发明提供一种三维图像合成方法，所述三维图像合成方法包括以下步骤：
6.在接收到三维图像合成指令时，根据所述三维图像合成指令确定待合成对象和虚拟相机信息；
7.根据所述虚拟相机信息确定所述待合成对象与预设三维景点模型之间的位置关系；
8.根据所述位置关系生成空间偏移向量，并基于所述空间偏移向量确定所述待合成对象的平移信息；
9.从所述预设三维景点模型中提取光照信息，并根据所述光照信息确定所述待合成对象的光照渲染信息；
10.根据所述位置关系、所述平移信息以及所述光照渲染信息对所述待合成对象与所述预设三维景点模型进行合成，获得目标三维图像。
11.可选地，所述根据所述位置关系生成空间偏移向量，并基于所述空间偏移向量确定所述待合成对象的平移信息的步骤，包括：
12.根据所述位置关系生成所述待合成对象的模型包围框，并从所述模型包围框中选取包围框底部顶点；
13.确定所述包围框底部顶点与所述预设三维景点模型的交叉点；
14.根据所述交叉点生成交叉包围框，并获取所述交叉包围框的中心点和所述模型包围框的底面中心点；
15.根据所述中心点和所述底面中心点生成空间偏移向量，并基于所述空间偏移向量确定所述待合成对象的平移信息。
16.可选地，所述确定所述包围框底部顶点与所述预设三维景点模型的交叉点的步骤，包括：
17.获取所述预设三维景点模型的三角形面，并确定所述三角形面的顶点；
18.根据所述顶点以及所述包围框底部顶点构建交点模型，并根据所述交点模型确定所述包围框底部顶点与所述预设三维景点模型的交叉点。
19.可选地，所述根据所述虚拟相机信息确定所述待合成对象与预设三维景点模型之间的位置关系的步骤，包括：
20.获取所述待合成对象的高度信息，并从所述虚拟相机信息中提取虚拟相机姿态和虚拟相机焦距；
21.根据所述高度信息、所述虚拟相机姿态以及所述虚拟相机焦距通过预设位置模型确定所述待合成对象与预设三维景点模型的距离信息；
22.基于所述距离信息确定所述待合成对象的空间坐标，并根据所述空间坐标确定所述待合成对象与预设三维景点模型之间的位置关系。
23.可选地，所述从所述预设三维景点模型中提取光照信息，并根据所述光照信息确定所述待合成对象的光照渲染信息的步骤，包括：
24.从所述预设三维景点模型中提取环境光照明图，并基于所述环境光照明图确定光照信息；
25.获取所述待合成对象的材质纹理信息，并根据所述光照信息和所述材质纹理信息确定所述待合成对象的光照渲染信息。
26.可选地，所述在接收到三维图像合成指令时，根据所述三维图像合成指令确定待合成对象和虚拟相机信息的步骤之前，还包括：
27.获取三维点云数据以及景点图像信息；
28.根据所述三维点云数据和所述景点图像信息构建预设三维景点模型。
29.可选地，所述根据所述三维点云数据和所述景点图像信息构建预设三维景点模型的步骤，包括：
30.根据所述三维点云数据通过预设网格重建模型构建三维网格模型；
31.从所述景点图像信息中提取多帧图像，并获取各帧图像对应的相机姿态；
32.根据各帧图像以及各帧图像对应的相机姿态进行图像融合，获得所述三维网格模型的纹理图；
33.根据所述纹理图和所述相机姿态进行全景照片拼接，获得全景图像；
34.根据所述全景图像和所述三维网格模型构建预设三维景点模型。
35.此外，为实现上述目的，本发明还提出一种三维图像合成设备，所述三维图像合成设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的三维图像合成程序，所述三维图像合成程序配置为实现如上文所述的三维图像合成方法。
36.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有三维图像合成程序，所述三维图像合成程序被处理器执行时实现如上文所述的三维图像合成方法。
37.此外，为实现上述目的，本发明还提出一种三维图像合成装置，所述三维图像合成装置包括：信息确定模块、位置确定模块、平移信息确定模块、光照信息确定模块和图像合
成模块；
38.所述信息确定模块，用于在接收到三维图像合成指令时，根据所述三维图像合成指令确定待合成对象和虚拟相机信息；
39.所述位置确定模块，用于根据所述虚拟相机信息确定所述待合成对象与预设三维景点模型之间的位置关系；
40.所述平移信息确定模块，用于根据所述位置关系生成空间偏移向量，并基于所述空间偏移向量确定所述待合成对象的平移信息；
41.所述光照信息确定模块，用于从所述预设三维景点模型中提取光照信息，并根据所述光照信息确定所述待合成对象的光照渲染信息；
42.所述图像合成模块，用于根据所述位置关系、所述平移信息以及所述光照渲染信息对所述待合成对象与所述预设三维景点模型进行合成，获得目标三维图像。
43.本发明通过在接收到三维图像合成指令时，根据三维图像合成指令确定待合成对象和虚拟相机信息，根据虚拟相机信息确定待合成对象与预设三维景点模型之间的位置关系，根据位置关系生成空间偏移向量，并基于空间偏移向量确定待合成对象的平移信息，从预设三维景点模型中提取光照信息，并根据光照信息确定待合成对象的光照渲染信息，根据位置关系、平移信息以及光照渲染信息对待合成对象与预设三维景点模型进行合成，获得目标三维图像，从而能够自动完成三维图像合成，提高三维图像合成的成像效果。
附图说明
44.图1是本发明实施例方案涉及的硬件运行环境的三维图像合成设备的结构示意图；
45.图2为本发明三维图像合成方法第一实施例的流程示意图；
46.图3为本发明三维图像合成方法第二实施例的流程示意图；
47.图4为本发明三维图像合成方法第三实施例的流程示意图；
48.图5为本发明三维图像合成装置第一实施例的结构框图。
49.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
50.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
51.参照图1，图1为本发明实施例方案涉及的硬件运行环境的三维图像合成设备结构示意图。
52.如图1所示，该三维图像合成设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)，可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为usb接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless
‑
fidelity，wi
‑
fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)，也可以是稳定的存储器(non
‑
volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储
装置。
53.本领域技术人员可以理解，图1中示出的结构并不构成对三维图像合成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
54.如图1所示，认定为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及三维图像合成程序。
55.在图1所示的三维图像合成设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述三维图像合成设备通过处理器1001调用存储器1005中存储的三维图像合成程序，并执行本发明实施例提供的三维图像合成方法。
56.基于上述硬件结构，提出本发明三维图像合成方法的实施例。
57.参照图2，图2为本发明三维图像合成方法第一实施例的流程示意图，提出本发明三维图像合成方法第一实施例。
58.步骤s10：在接收到三维图像合成指令时，根据所述三维图像合成指令确定待合成对象和虚拟相机信息。
59.应当理解的是，本实施例方法的执行主体可以是具有数据处理、网络通信以及程序运行功能的计算服务设备，例如电脑和服务器等，或者是其他能够实现相同或相似功能的电子设备，本实施例对此不加以限制。在本实施例和其他实施例中，以电脑为例进行说明。
60.需要说明的是，用户可以通过三维图像合成设备的用户交互界面发起三维图像合成指令。
61.可以理解的是，根据三维图像合成指令确定待合成对象和虚拟相机信息可以是基于信息标识从三维图像合成指令中提取待合成对象和虚拟相机信息。其中，信息标识用于标识信息内容。
62.需要说明的是，待合成对象可以是需要与预设三维景点模型进行三维图像合成的对象，待合成对象可以是三维人像，也可以是三维物体图像，本实施例对此不加以限制。虚拟相机信息可以包括虚拟相机姿态和虚拟相机焦距等信息。
63.步骤s20：根据所述虚拟相机信息确定所述待合成对象与预设三维景点模型之间的位置关系。
64.需要说明的是，预设三维景点模型可以由三维图像合成设备预先生成，也可以由用户预先录入，本实施例对此不加以限制。
65.应当理解的是，根据虚拟相机信息确定待合成对象与预设三维景点模型之间的位置关系可以是获取预设三维景点模型对应的景点空间坐标，根据景点空间坐标和虚拟相机信息通过预设位置分析模型确定待合成对象与预设三维景点模型之间的位置关系。其中，预设位置分析模型用于分析待合成对象与预设三维景点模型之间的位置关系。
66.进一步地，为了能够提高位置关系的准确性，所述步骤s20，包括：
67.获取待合成对象的高度信息，并从虚拟相机信息中提取虚拟相机姿态和虚拟相机焦距，根据高度信息、虚拟相机姿态以及虚拟相机焦距通过预设位置模型确定待合成对象与预设三维景点模型的距离信息，基于距离信息确定待合成对象的空间坐标，并根据空间坐标确定待合成对象与预设三维景点模型之间的位置关系。
68.步骤s30：根据所述位置关系生成空间偏移向量，并基于所述空间偏移向量确定所述待合成对象的平移信息。
69.需要说明的是，待合成对象的平移信息可以是待合成对象在各坐标轴上的平移距离。
70.应当理解的是，为了能够在确定待合成对象在预设三维景点模型中的位置关系后，使待合成对象与预设三维景点模型的地面贴合，提高三维合成图像的观感。因此，需要确定待合成对象的平移信息。
71.可以理解的是，根据位置关系生成空间偏移向量，并基于空间偏移向量确定所述待合成对象的平移信息可以是根据位置关系通过预设偏移分析模型生成空间偏移向量。其中，预设偏移分析模型预先设置，用于分析各位置之间的偏移关系。
72.应当理解的是，基于空间偏移向量确定待合成对象的平移信息可以是基于空间偏移向量确定待合成对象在各坐标轴上的平移距离，并将待合成对象在各坐标轴上的平移距离作为待合成对象的平移信息。
73.进一步地，为了能够提高平移信息的准确性，保证待合成对象与预设三维景点模型的地面贴合效果，所述步骤s30，包括：
74.根据位置关系生成待合成对象的模型包围框，并从模型包围框中选取包围框底部顶点，确定包围框底部顶点与预设三维景点模型的交叉点，根据交叉点生成交叉包围框，并获取交叉包围框的中心点和模型包围框的底面中心点，根据中心点和底面中心点生成空间偏移向量，并基于空间偏移向量确定待合成对象的平移信息。
75.步骤s40：从所述预设三维景点模型中提取光照信息，并根据所述光照信息确定所述待合成对象的光照渲染信息。
76.应当理解的是，为了降低视觉上的违和感，需要将预设三维景点模型的光照信息提取出来，并在待合成对象渲染时与预设三维景点模型的光照信息保持一致。
77.需要说明的是，光照信息可以包括高光信息和阴影信息等。
78.应当理解的是，从所述预设三维景点模型中提取光照信息，并根据所述光照信息确定所述待合成对象的光照渲染信息可以是从预设三维景点模型中提取环境光照明图，并基于所述环境光照明图确定光照信息，获取所述待合成对象的材质纹理信息，并根据所述光照信息和所述材质纹理信息确定所述待合成对象的光照渲染信息。
79.步骤s50：根据所述位置关系、所述平移信息以及所述光照渲染信息对所述待合成对象与所述预设三维景点模型进行合成，获得目标三维图像。
80.可以理解的是，根据位置关系、平移信息以及光照渲染信息对待合成对象与预设三维景点模型进行合成，获得目标三维图像可以是根据位置关系和平移信息在预设三维景点模型中放置待合成对象，再基于光照渲染信息对待合成对象进行渲染，以获得目标三维图像。
81.第一实施例通过在接收到三维图像合成指令时，根据三维图像合成指令确定待合成对象和虚拟相机信息，根据虚拟相机信息确定待合成对象与预设三维景点模型之间的位置关系，根据位置关系生成空间偏移向量，并基于空间偏移向量确定待合成对象的平移信息，从预设三维景点模型中提取光照信息，并根据光照信息确定待合成对象的光照渲染信息，根据位置关系、平移信息以及光照渲染信息对待合成对象与预设三维景点模型进行合
成，获得目标三维图像，从而能够自动完成三维图像合成，提高三维图像合成的成像效果。
82.参照图3，图3为本发明三维图像合成方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明三维图像合成方法的第二实施例。
83.在第二实施例中，所述步骤s20，包括：
84.步骤s201：获取所述待合成对象的高度信息，并从所述虚拟相机信息中提取虚拟相机姿态和虚拟相机焦距。
85.需要说明的是，高度信息可以由用户预先录入，也可以由三维图像合成设备对待合成对象进行分析后自动生成，本实施例对此不加以限制。
86.步骤s202：根据所述高度信息、所述虚拟相机姿态以及所述虚拟相机焦距通过预设位置模型确定所述待合成对象与预设三维景点模型的距离信息。
87.需要说明的是，预设位置模型可以预先设置在三维图像合成设备上。例如，可以预先将距离公式作为预设位置模型。距离公式如下所示：
[0088][0089]
式中，f为虚拟相机焦距，单位为：mm，d为待合成对象与预设三维景点模型的距离，单位为：m，a为虚拟相机视角，单位为：mm，h为待合成对象的高度，单位为：m。
[0090]
可以理解的是，根据高度信息、虚拟相机姿态以及虚拟相机焦距通过预设位置模型确定待合成对象与预设三维景点模型的距离信息可以是根据虚拟相机姿态确定虚拟相机视角，并根据高度信息、虚拟相机视角以及虚拟相机焦距通过距离公式计算待合成对象与预设三维景点模型的距离信息。
[0091]
步骤s203：基于所述距离信息确定所述待合成对象的空间坐标，并根据所述空间坐标确定所述待合成对象与预设三维景点模型之间的位置关系。
[0092]
需要说明的是，待合成对象的空间坐标可以是待合成对象的在三维空间中的位置坐标。
[0093]
可以理解的是，基于距离信息确定待合成对象的空间坐标可以是将距离信息作为待合成对象的竖轴坐标，并基于竖轴坐标确定待合成对象的横轴坐标和纵轴坐标，根据竖轴坐标、横轴坐标以及纵轴坐标确定待合成对象的空间坐标。其中，竖轴的正方向为虚拟相机所在方向，纵轴的正方向为向上方向，横轴的正方向为向右方向。
[0094]
在具体实现中，例如，将待合成对象与预设三维景点模型的距离作为z轴坐标，并根据z轴坐标确定待合成对象的x轴坐标和y轴坐标，以获得待合成对象的空间坐标(x,y,z)。
[0095]
需要说明的是，待合成对象与预设三维景点模型之间的位置关系可以是待合成对象在预设三维景点模型中的空间位置。
[0096]
应当理解的是，根据空间坐标确定待合成对象与预设三维景点模型之间的位置关系可以是获取预设三维景点模型对应的景点空间坐标，并根据空间坐标和景点空间坐标确定待合成对象与预设三维景点模型之间的位置关系。
[0097]
第二实施例通过获取待合成对象的高度信息，并从虚拟相机信息中提取虚拟相机姿态和虚拟相机焦距，根据高度信息、虚拟相机姿态以及虚拟相机焦距通过预设位置模型确定待合成对象与预设三维景点模型的距离信息，基于距离信息确定待合成对象的空间坐
标，并根据空间坐标确定待合成对象与预设三维景点模型之间的位置关系，从而能够提高位置关系的准确性。
[0098]
在第二实施例中，所述步骤s30，包括：
[0099]
步骤s301：根据所述位置关系生成所述待合成对象的模型包围框，并从所述模型包围框中选取包围框底部顶点。
[0100]
应当理解的是，根据位置关系生成待合成对象的模型包围框可以是根据位置关系选取待合成对象在各坐标轴上的最小值点，并将最小值点连接，获得模型包围框。
[0101]
在具体实现中，例如，确定待合成对象在x、y以及z三个方向上的最小值点，将最小值点连起来得到待合成对象的模型包围框，将模型包围框的底部顶点作为包围框底部顶点。
[0102]
步骤s302：确定所述包围框底部顶点与所述预设三维景点模型的交叉点。
[0103]
应当理解的是，确定包围框底部顶点与预设三维景点模型的交叉点可以是以包围框底部顶点为起点，向负纵轴方向发射射线，射线与预设三维景点模型的三角形面的交点为交叉点。
[0104]
在具体实现中，例如，假设y轴朝上，以包围框底部顶点为起始点，朝负y方向发射射线，计算射线与预设三维景点模型的三角形面的第一个交叉点(射线可能会跟多个三角形交叉)。
[0105]
进一步地，为了能够准确、快速地确定包围框底部顶点与预设三维景点模型的交叉点，所述步骤s302，包括：
[0106]
获取所述预设三维景点模型的三角形面，并确定所述三角形面的顶点；
[0107]
根据所述顶点以及所述包围框底部顶点构建交点模型，并根据所述交点模型确定所述包围框底部顶点与所述预设三维景点模型的交叉点。
[0108]
应当理解的是，根据顶点以及包围框底部顶点构建交点模型可以是以包围框底部顶点为起点，向负纵轴方向发射射线，根据顶点和射线构建交点模型。
[0109]
为了便于理解，以下进行举例说明，但并不对本方案进行限定。根据顶点和射线构建交点模型的步骤如下所示：
[0110]
用p0，p1，p2表示三角形面的顶点，(u,v)表示三角形面上的点，(t)表示射线上的点。
[0111]
(u,v)＝(1
‑
uv)*p0 u*p1 v*p2，式中，u≥0，v≥0，u v≤1；
[0112]
射线的参数方程为：射线上的点(t)＝p t*d
[0113]
式中，p是射线的起始点，d是提供射线方向的向量。
[0114]
因此，如果有一个点既在射线上又属于三角形，可以得到：
[0115]
p t*d＝(1
‑
uv)*p0 u*p1 v*p2[0116]
射线与三角形的交叉点定义为计算一个三元组(t,u,v)满足上式，并且满足u和v的约束
[0117]
步骤s303：根据所述交叉点生成交叉包围框，并获取所述交叉包围框的中心点和所述模型包围框的底面中心点。
[0118]
应当理解的是，根据交叉点生成交叉包围框可以是按照预设方向连接各交叉点，以获得交叉包围框。其中，预设反向可以预先设置，在本实施例中，以xyz方向为例进行说
明。
[0119]
在具体实现中，例如，四个包围框底部顶点得到四个交叉点，四个交叉点按照xyz方向连接可以得到交叉包围框。
[0120]
可以理解的是，获取交叉包围框的中心点和模型包围框的底面中心点可以是对交叉包围框和模型包围框进行模型分析，以获得交叉包围框的中心点和模型包围框的底面中心点。
[0121]
步骤s304：根据所述中心点和所述底面中心点生成空间偏移向量，并基于所述空间偏移向量确定所述待合成对象的平移信息。
[0122]
可以理解的是，上述步骤s201～203虽然能够确定待合成对象在预设三维景点模型中的位置关系，但是，不能使待合成对象与预设三维景点模型的地面贴合，从而造成视觉上的违和感。因此，需要确定待合成对象的平移信息，以根据平移信息平移待合成对象，达到待合成对象与预设三维景点模型的地面贴合的效果。
[0123]
应当理解的是，根据中心点和底面中心点生成空间偏移向量可以是通过预设偏移向量模型确定中心点和底面中心点的空间偏移向量。其中，预设偏移向量模型用于确定空间偏移向量。
[0124]
需要说明的是，待合成对象的平移信息可以是待合成对象在各坐标轴上的平移距离。
[0125]
第二实施例通过根据位置关系生成待合成对象的模型包围框，并从模型包围框中选取包围框底部顶点，确定包围框底部顶点与预设三维景点模型的交叉点，根据交叉点生成交叉包围框，并获取交叉包围框的中心点和模型包围框的底面中心点，根据中心点和底面中心点生成空间偏移向量，并基于空间偏移向量确定待合成对象的平移信息，从而能够提高平移信息的准确性，保证待合成对象与预设三维景点模型的地面贴合效果。
[0126]
在第二实施例中，所述步骤s40，包括：
[0127]
步骤s401：从所述预设三维景点模型中提取环境光照明图，并基于所述环境光照明图确定光照信息。
[0128]
应当理解的是，为了降低视觉上的违和感，需要将预设三维景点模型的光照信息提取出来，并在待合成对象渲染时与预设三维景点模型的光照信息保持一致。
[0129]
需要说明的是，环境光照明图可以是在生成预设三维景点模型时，使用的hdr高清全景图。光照信息可以包括高光信息和阴影信息等。
[0130]
可以理解的是，基于环境光照明图确定光照信息可以是提取环境光照明图中各位置对应的光强度信息，并将各位置对应的光强度信息作为光照信息。
[0131]
步骤s402：获取所述待合成对象的材质纹理信息，并根据所述光照信息和所述材质纹理信息确定所述待合成对象的光照渲染信息。
[0132]
需要说明的是，在待合成对象为三维人像时，待合成对象的材质纹理信息可以是人体肤色、服装以及头发等材质纹理信息
[0133]
应当理解的是，根据光照信息和材质纹理信息确定待合成对象的光照渲染信息可以是根据光照信息和材质纹理信息确定待合成对象各位置的渲染pbr参数，并将渲染pbr参数作为待合成对象的光照渲染信息。
[0134]
第二实施例通过从预设三维景点模型中提取环境光照明图，并基于所述环境光照
明图确定光照信息，获取所述待合成对象的材质纹理信息，并根据所述光照信息和所述材质纹理信息确定所述待合成对象的光照渲染信息，从而能够降低三维合成图像的违和感，提高三维图像合成的成像效果。
[0135]
参照图4，图4为本发明三维图像合成方法第三实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明三维图像合成方法的第三实施例。
[0136]
在第三实施例中，所述步骤s10之前，还包括：
[0137]
步骤s01：获取三维点云数据以及景点图像信息。
[0138]
需要说明的是，三维点云数据可以是三维坐标系统中向量的集合。
[0139]
应当理解的是，可以先通过激光扫描器扫描景点表面，以获得景点表面的三维点云数据，再将三维点云数据上传至三维图像合成设备。
[0140]
可以理解的是，可以先通过单反相机拍摄景点表面纹理，根据景点表面纹理生成景点图像信息，再将景点图像信息上传至三维图像合成设备。其中，单反相机拍摄景点表面纹理时可以处于hdr模式，以提高景点表面纹理的清晰度。
[0141]
步骤s02：根据所述三维点云数据和所述景点图像信息构建预设三维景点模型。
[0142]
应当理解的是，根据三维点云数据和景点图像信息构建预设三维景点模型可以是根据三维点云数据通过预设网格重建模型构建三维网格模型，从景点图像信息中提取多帧图像，并获取各帧图像对应的相机姿态，根据各帧图像以及各帧图像对应的相机姿态进行图像融合，获得三维网格模型的纹理图，根据纹理图和相机姿态进行全景照片拼接，获得全景图像，根据全景图像和三维网格模型构建预设三维景点模型。
[0143]
在具体实现中，例如，激光扫描可直接得到完整的三维点云数据，通过泊松网格重建算法能得到三维网格模型，彩色图片序列依据其对应帧的相机姿态可拼接融合得到三维网格模型的纹理图。完成模型及纹理重建后，基于单反相机得到的hdr照片及重建过程计算得到的照片对应的相机姿态执行全景照片拼接计算。
[0144]
第三实施例中通过获取三维点云数据以及景点图像信息，根据三维点云数据和景点图像信息构建预设三维景点模型，从而能够预先构建准确、可靠的三维景点模型。
[0145]
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有三维图像合成程序，所述三维图像合成程序被处理器执行时实现如上文所述的三维图像合成方法。
[0146]
此外，参照图5，本发明实施例还提出一种三维图像合成装置，所述三维图像合成装置包括：信息确定模块10、位置确定模块20、平移信息确定模块30、光照信息确定模块40和图像合成模块50；
[0147]
所述信息确定模块10，用于在接收到三维图像合成指令时，根据所述三维图像合成指令确定待合成对象和虚拟相机信息。
[0148]
需要说明的是，用户可以通过三维图像合成设备的用户交互界面发起三维图像合成指令。
[0149]
可以理解的是，根据三维图像合成指令确定待合成对象和虚拟相机信息可以是基于信息标识从三维图像合成指令中提取待合成对象和虚拟相机信息。其中，信息标识用于标识信息内容。
[0150]
需要说明的是，待合成对象可以是需要与预设三维景点模型进行三维图像合成的对象，待合成对象可以是三维人像，也可以是三维物体图像，本实施例对此不加以限制。虚
拟相机信息可以包括虚拟相机姿态和虚拟相机焦距等信息。
[0151]
所述位置确定模块20，用于根据所述虚拟相机信息确定所述待合成对象与预设三维景点模型之间的位置关系。
[0152]
需要说明的是，预设三维景点模型可以由三维图像合成设备预先生成，也可以由用户预先录入，本实施例对此不加以限制。
[0153]
应当理解的是，根据虚拟相机信息确定待合成对象与预设三维景点模型之间的位置关系可以是获取预设三维景点模型对应的景点空间坐标，根据景点空间坐标和虚拟相机信息通过预设位置分析模型确定待合成对象与预设三维景点模型之间的位置关系。其中，预设位置分析模型用于分析待合成对象与预设三维景点模型之间的位置关系。
[0154]
进一步地，为了能够提高位置关系的准确性，所述位置确定模块20，还用于获取待合成对象的高度信息，并从虚拟相机信息中提取虚拟相机姿态和虚拟相机焦距，根据高度信息、虚拟相机姿态以及虚拟相机焦距通过预设位置模型确定待合成对象与预设三维景点模型的距离信息，基于距离信息确定待合成对象的空间坐标，并根据空间坐标确定待合成对象与预设三维景点模型之间的位置关系。
[0155]
所述平移信息确定模块30，用于根据所述位置关系生成空间偏移向量，并基于所述空间偏移向量确定所述待合成对象的平移信息。
[0156]
需要说明的是，待合成对象的平移信息可以是待合成对象在各坐标轴上的平移距离。
[0157]
应当理解的是，为了能够在确定待合成对象在预设三维景点模型中的位置关系后，使待合成对象与预设三维景点模型的地面贴合，提高三维合成图像的观感。因此，需要确定待合成对象的平移信息。
[0158]
可以理解的是，根据位置关系生成空间偏移向量，并基于空间偏移向量确定所述待合成对象的平移信息可以是根据位置关系通过预设偏移分析模型生成空间偏移向量。其中，预设偏移分析模型预先设置，用于分析各位置之间的偏移关系。
[0159]
应当理解的是，基于空间偏移向量确定待合成对象的平移信息可以是基于空间偏移向量确定待合成对象在各坐标轴上的平移距离，并将待合成对象在各坐标轴上的平移距离作为待合成对象的平移信息。
[0160]
进一步地，为了能够提高平移信息的准确性，保证待合成对象与预设三维景点模型的地面贴合效果，所述平移信息确定模块30，还用于根据位置关系生成待合成对象的模型包围框，并从模型包围框中选取包围框底部顶点，确定包围框底部顶点与预设三维景点模型的交叉点，根据交叉点生成交叉包围框，并获取交叉包围框的中心点和模型包围框的底面中心点，根据中心点和底面中心点生成空间偏移向量，并基于空间偏移向量确定待合成对象的平移信息。
[0161]
所述光照信息确定模块40，用于从所述预设三维景点模型中提取光照信息，并根据所述光照信息确定所述待合成对象的光照渲染信息。
[0162]
应当理解的是，为了降低视觉上的违和感，需要将预设三维景点模型的光照信息提取出来，并在待合成对象渲染时与预设三维景点模型的光照信息保持一致。
[0163]
需要说明的是，光照信息可以包括高光信息和阴影信息等。
[0164]
应当理解的是，从所述预设三维景点模型中提取光照信息，并根据所述光照信息
确定所述待合成对象的光照渲染信息可以是从预设三维景点模型中提取环境光照明图，并基于所述环境光照明图确定光照信息，获取所述待合成对象的材质纹理信息，并根据所述光照信息和所述材质纹理信息确定所述待合成对象的光照渲染信息。
[0165]
所述图像合成模块50，用于根据所述位置关系、所述平移信息以及所述光照渲染信息对所述待合成对象与所述预设三维景点模型进行合成，获得目标三维图像。
[0166]
可以理解的是，根据位置关系、平移信息以及光照渲染信息对待合成对象与预设三维景点模型进行合成，获得目标三维图像可以是根据位置关系和平移信息在预设三维景点模型中放置待合成对象，再基于光照渲染信息对待合成对象进行渲染，以获得目标三维图像。
[0167]
本实施例通过在接收到三维图像合成指令时，根据三维图像合成指令确定待合成对象和虚拟相机信息，根据虚拟相机信息确定待合成对象与预设三维景点模型之间的位置关系，根据位置关系生成空间偏移向量，并基于空间偏移向量确定待合成对象的平移信息，从预设三维景点模型中提取光照信息，并根据光照信息确定待合成对象的光照渲染信息，根据位置关系、平移信息以及光照渲染信息对待合成对象与预设三维景点模型进行合成，获得目标三维图像，从而能够自动完成三维图像合成，提高三维图像合成的成像效果。
[0168]
本发明所述三维图像合成装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
[0169]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0170]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为名称。
[0171]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(read only memory image，rom)/随机存取存储器(random access memory，ram)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0172]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。