VR场景实时重建方法、装置、电子设备及存储介质与流程

vr场景实时重建方法、装置、电子设备及存储介质
技术领域
1.本技术涉及三维重建技术领域，具体而言，涉及一种vr场景实时重建方法、装置、电子设备及存储介质。


背景技术：

2.vr(virtual reality)技术具有沉浸感、交互性和想象性等特点，可以为用户提供沉浸式、三维动态的交互仿真体验。
3.vr技术与无人机结合是目前民用和军用无人机领域的一个热点和难点。vr与无人机结合与普通航拍无人机的区别是可以让使用者以第一视角对无人机进行操控，模拟真实的无人机驾驶，有更好的沉浸式体验。但目前的基于无人机采集图像转换为vr三维场景的重建方法主要以深度图主导三维重建的空间特征，导致三维重建结果容易出现空洞、缺失等问题。
4.针对上述问题，目前尚未有有效的技术解决方案。


技术实现要素：

5.本技术的目的在于提供一种vr场景实时重建方法、装置、电子设备及存储介质，以实时进行高精度真实场景的三维重建。
6.第一方面，本技术提供了一种vr场景实时重建方法，用于在虚拟现实中进行真实场景的三维重建，所述方法包括以下步骤：获取基于无人机实时拍摄的图像序列及与所述图像序列对应的深度图序列；根据所述深度图序列转换生成点云序列；基于分割模块分割所述图像序列生成分割图序列；根据点云序列构建场景粗胚模型；在所述分割图序列的辅助作用下根据自注意力机制卷积层融合点云序列生成融合点云集合；根据所述融合点云集合生成场景精细模型；对比所述场景粗胚模型和所述场景精细模型建立损失函数；更新所述损失函数至收敛以基于所述分割模块及所述自注意力机制卷积层建立重建模型；部署所述重建模型进行三维重建。
7.本技术的vr场景实时重建方法在利用自注意力机制卷积层融合过程中，利用分割图像的分割特征对点云序列中的点云数据进行辅助分割处理，从而能避免在生成融合点云集合过程中因深度图的测量误差而影响三维重建效果的问题，同时利用基于深度图序列建立的场景粗胚模型促进场景精细模型的优化来建立重建模型，使得本技术的vr场景实时重建方法建立的重建模型能在vr场景中实时进行高精度真实场景的三维重建。
8.所述的vr场景实时重建方法，其中，所述分割模块包括先后设置的多个卷积层及
多个反卷积层，所述卷积层数量大于所述反卷积层。
9.所述的vr场景实时重建方法，其中，所述根据点云序列构建场景粗胚模型的步骤包括：根据所述点云序列生成多个三角面片；基于多个所述三角面片组合生成所述场景粗胚模型。
10.所述的vr场景实时重建方法，其中，所述更新所述损失函数至收敛以基于所述分割模块及所述自注意力机制卷积层建立重建模型的步骤包括：更新所述自注意力机制卷积层和所述分割模块的网络参数使所述损失函数收敛；固定所述损失函数收敛时对应的自注意力机制卷积层和分割模块的网络参数以建立所述重建模型。
11.在该示例中，自注意力机制卷积层和分割模块决定了场景精细模型的重建精度，也决定了场景精细模型与场景粗胚模型的相似程度，同时也作为重建模型的结构核心，决定了最终获取的重建模型的重建精度，因此，本技术的vr场景实时重建方法训练获取重建模型的过程为更新自注意力机制卷积层和分割模块的网络参数使场景精细模型朝向场景粗胚模型靠近的过程，使得场景粗胚模型的空间结构特征贴近于直接基于点云序列建立的场景粗胚模型的空间结构特征，从而提高重建模型输出的重建结果的重建精度。
12.所述的vr场景实时重建方法，其中，所述更新所述自注意力机制卷积层和所述分割模块的网络参数的步骤包括：同时梯度下降更新所述自注意力机制卷积层和所述分割模块的网络参数。
13.所述的vr场景实时重建方法，其中，所述深度图序列基于点云转换模块转换生成所述点云序列，所述点云转换模块包括依次连接的坐标转换层、rt矩阵变换层及非负矩阵分解层。
14.所述的vr场景实时重建方法，其中，所述在所述分割图序列的辅助作用下根据自注意力机制卷积层融合点云序列生成融合点云集合的步骤包括：利用所述自注意力机制卷积层融合所述点云序列，获取初步融合点云集合；根据所述分割图序列对初步融合点云集合中的点云进行加权，生成所述融合点云集合。
15.第二方面，本技术还提供了一种vr场景实时重建装置，用于在虚拟现实中进行真实场景的三维重建，所述装置包括：获取模块，用于获取基于无人机实时拍摄的图像序列及与所述图像序列对应的深度图序列；点云转换模块，用于根据所述深度图序列转换生成点云序列；图像分割模块，用于基于分割模块分割所述图像序列生成分割图序列；粗胚模型模块，用于根据点云序列构建场景粗胚模型；点云融合模块，用于在所述分割图序列的辅助作用下根据自注意力机制卷积层融合点云序列生成融合点云集合；精细模型模块，用于根据所述融合点云集合生成场景精细模型；损失模块，用于对比所述场景粗胚模型和所述场景精细模型建立损失函数；更新模块，用于更新所述损失函数至收敛以基于所述分割模块及所述自注意力机
制卷积层建立重建模型；重建模块，用于部署所述重建模型进行三维重建。
16.本技术的vr场景实时重建装置在利用自注意力机制卷积层融合过程中，利用分割图像的分割特征对点云序列中的点云数据进行辅助分割处理，从而能避免在生成融合点云集合过程中因深度图的测量误差而影响三维重建效果的问题，同时利用基于深度图序列建立的场景粗胚模型促进场景精细模型的优化来建立重建模型，使得本技术的vr场景实时重建装置建立的重建模型能在vr场景中实时进行高精度真实场景的三维重建。
17.第三方面，本技术还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
18.第四方面，本技术还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
19.由上可知，本技术提供了一种vr场景实时重建方法、装置、电子设备及存储介质，其中，vr场景实时重建方法在利用自注意力机制卷积层融合过程中，利用分割图像的分割特征对点云序列中的点云数据进行辅助分割处理，从而能避免在生成融合点云集合过程中因深度图的测量误差而影响三维重建效果的问题，同时利用基于深度图序列建立的场景粗胚模型促进场景精细模型的优化来建立重建模型，使得该vr场景实时重建方法建立的重建模型能在vr场景中实时进行高精度真实场景的三维重建。
附图说明
20.图1为本技术实施例提供的vr场景实时重建方法的流程图。
21.图2为分割模块的网络层的结构示意图。
22.图3为本技术实施例提供的vr场景实时重建装置的结构示意图。
23.图4为本技术实施例提供的电子设备的结构示意图。
24.附图标记：201、获取模块；202、点云转换模块；203、图像分割模块；204、粗胚模型模块；205、点云融合模块；206、精细模型模块；207、损失模块；208、更新模块；209、重建模块；301、处理器；302、存储器；303、通信总线。
具体实施方式
25.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
26.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
27.现有技术的vr场景实时重建方法，一般需要通过预先标记的标签进行模型训练，
并利用图像序列和深度图序列直接融合来进行三维重建，重建过程一般会更多地考虑深度图序列，即以单深度图序列主导三维重建的空间特征，导致三维重建结果容易出现空洞、缺失等问题，主要原因为：1、深黑色物体会吸收大量红外光导致深度信息测量不准；2、表面光滑物体由于反射会导致深度信息测量精度下降；3、透明或半透明物体的深度值具有歧义性；上述问题均会导致深度图序列产生测量误差，若仅以深度图序列主导关于空间特征的三维重建会严重影响重建效果，存在重建精度差的问题。
28.第一方面，请参照图1，本技术一些实施例提供了一种vr场景实时重建方法，用于在虚拟现实中进行真实场景的三维重建，方法包括以下步骤：s1、获取基于无人机实时拍摄的图像序列及与图像序列对应的深度图序列；s2、根据深度图序列转换生成点云序列；s3、基于分割模块分割图像序列生成分割图序列；s4、根据点云序列构建场景粗胚模型；s5、在分割图序列的辅助作用下根据自注意力机制卷积层融合点云序列生成融合点云集合；s6、根据融合点云集合生成场景精细模型；s7、对比场景粗胚模型和场景精细模型建立损失函数；s8、更新损失函数至收敛以基于分割模块及自注意力机制卷积层建立重建模型；s9、部署重建模型进行三维重建。
29.具体地，本技术实施例的vr场景实时重建方法主要应用在无人机拍摄视觉的三维重建中，即基于无人机实时采集的数据信息在vr（virtual reality，虚拟现实）环境中进行三维重建，从而使得佩戴vr头戴设备的用户能实时观察到无人机所在或经过的场景的空间特征。
30.更具体地，无人机可搭载各种类型的相机或传感器来采集步骤s1中的图像序列和深度图序列，在本技术实施例中，无人机优选为通过搭载rgb-d相机来采集场景中图像序列和深度图序列，使得图像序列中每一帧图像均有与之对应匹配的一帧深度图。
31.更具体地，图像序列为无人机飞行过程中连续采集的多帧图像，深度图序列为无人机飞行过程中连续采集的多帧深度图，且与多帧图像的采集时间一一对应；在本技术实施例中，深度图序列记为d，有，其中,di为第i帧深度图，有i=1,2,
……
t，t为深度图序列中的深度图的帧数；图像序列记为i，有，其中ii为第i帧图像。
32.更具体地，图像序列反映了无人机视觉的画面信息，深度图序列反映了无人机视觉的空间结构特征，深度图序列中的深度点反映了实际场景与无人机之间的距离关系，故步骤s2根据深度图序列获取点云序列，点云序列反映了无人机不同时间下对应场景的点云分布情况，故步骤s4能基于点云序列构建场景粗胚模型，即结合不同时间下的点云分布情况进行场景模型的简易重建，该场景粗胚模型仅基于深度图序列转换生成的点云序列进行构建，即场景粗胚模型仅包含无人机所在场景的空间结构特征，而不包含场景的颜色等数据信息，使得该场景粗胚模型能准确反映到场景结构特点。
33.更具体地，利用场景粗胚模型进行三维重建，仍然会存在重建精度差的问题，因
此，本技术实施例的vr场景实时重建方法利用分割图序列辅助建立场景精细模型；其中，步骤s3利用了分割模块分割来自无人机获取的图像序列生成分割图像序列，分割模块为图像重建的网络模块，用于对图像序列中的各个图像中的像素特征进行语义分割处理，以获取根据物体像素特征进行物体边缘分割的且与分割处理前图像大小一致的分割图像，这些分割图像构成了分割图序列；在本技术实施例中，分割图序列能表征不同物体之间的边界特征，可以在三维重建中辅助区分物体边界。
34.更具体地，步骤s5利用自注意力机制卷积层对点云序列进行卷积处理，基于点云序列中不同时刻获取的点云数据卷积融合从而生成融合点云集合，自注意力机制卷积层可基于不同时刻的点云数据的协方差进行加权卷积，从而获取高精度的卷积，而本技术实施例的vr场景实时重建方法在利用自注意力机制卷积层进行融合的过程中，利用步骤s3获取的分割图序列对点云序列中的点云数据辅助融合，即利用分割图像的分割特征对点云序列中的点云数据进行分割处理，即利用分割图像的边界特征对点云序列中点云进行加权分区处理进行融合，从而能避免在生成融合点云集合过程中因深度图的测量误差而影响三维重建效果的问题。
35.更具体地，分割图序列相当于根据场景像素特征进行物体边界分割的特征热图，场景精细模型为在该特征热图辅助作用下基于点云序列的加权卷积生成的融合点云构建的高精度模型，能规避深度图序列测量误差引起的重建效果差的问题；但自注意力机制卷积层和分割模块为基于随机参数或预设参数生成的神经网络层，还需要根据实际应用场景进行优化，以使得基于自注意力机制卷积层和分割模块输出的高精度模型适用于当前场景使用，故需要执行步骤s7-步骤s8来优化自注意力机制卷积层和分割模块的网络参数来建立重建模型。
36.更具体地，步骤s7的设计思路为通过对比场景粗胚模型和场景精细模型的差异性来建立损失函数，可以是基于两者的差值、范数差、范数差平方建立损失函数，使得损失函数能表征场景粗胚模型和场景精细模型的特征距离，使得步骤s8通过更新该损失函数至最小化收敛，即使得场景粗胚模型和场景精细模型的场景特征尽可能相似。
37.更具体地，由于场景粗胚模型为基于点云序列进行建立，故步骤s8更新损失函数的过程为更新场景精细模型对应的参数的过程，使得场景精细模型在形状上在保证在规避深度图序列测量误差引起的重建效果差的情况下逐步接近场景粗胚模型，从而提高三维重建的精度。
38.更具体地，现有技术的三维重建方法在训练模型的过程中，一般需要建立人工标记获取显性的标签（label）来进行重建模型的训练，人工标记过程需要付出极大的劳动成本，且生成的重建模型难以进行移植；而本技术实施例的vr场景实时重建方法利用基于深度图序列建立的场景粗胚模型促进场景精细模型的优化来建立重建模型，即利用实际采集的深度图序列建立的场景粗胚模型作为标签，而不需要采用显性的标签作为先验数据指导建立重建模型，使得本技术实施例重建模型可基于无人机实际采集的rgb-d数据进行训练建立并能迅速地根据rgb-d数据的图像序列和深度图序列进行高精度的三维重建。
39.更具体地，现有技术的三维重建方法的重建模型训练时间长，且数据融合过程需要利用多个网络层进行多特征提取，再进行数据融合以进行三维重建，存在算法复杂、重建延时较长的缺点，而本技术实施例的vr场景实时重建方法为在分割图序列的辅助作用下根
据自注意力机制卷积层融合点云序列生成融合点云集合，并基于该融合点云集合生成场景精细模型，故训练并建立重建模型的过程为基于损失函数优化分割模块和自注意力机制卷积层的过程，具有算法简单、重建延时低的特点，尤其适用于根据无人机实时采集的数据信息在vr环境中进行三维重建这种要求重建精度高、延时低的场合。
40.更具体地，应当理解的是，本技术实施例的vr场景实时重建方法在更新损失函数至收敛后以基于分割模块及自注意力机制卷积层建立重建模型输出的结果为优化后的场景精细模型，该重建模型还可以根据无人机实时采集的图像序列和深度图序列输出最新的场景精细模型作为三维重建结果，该输出重建结果的过程具有低计算量、低延迟的优势，与vr设备适配度高，能在vr场景实现高效、高精度的三维重建。
41.本技术实施例的vr场景实时重建方法在利用自注意力机制卷积层融合过程中，利用分割图像的分割特征对点云序列中的点云数据进行辅助分割处理，从而能避免在生成融合点云集合过程中因深度图的测量误差而影响三维重建效果的问题，同时利用基于深度图序列建立的场景粗胚模型促进场景精细模型的优化来建立重建模型，使得本实施例的vr场景实时重建方法建立的重建模型能在vr场景中实时进行高精度真实场景的三维重建。
42.在一些优选的实施方式中，步骤s2和s3可以是顺序执行，也可以是同时执行，在本技术实施例中优选为同时执行，以提升重建效率。
43.在一些优选的实施方式中，步骤s4和步骤s5-步骤s6可以是顺序执行，也可以是同时执行，在本技术实施例中优选为同时执行，以提升重建效率。
44.在一些优选的实施方式中，分割模块包括先后设置的多个卷积层及多个反卷积层，卷积层数量大于反卷积层。
45.具体地，分割模块对图像序列进行分割处理的过程，相当于对图像序列中每帧图像进行重建以区分图像中物体边界的过程，在本技术实施例中，优选为对图像先利用卷积层进行下采样处理再对下采样处理后的图像进行上采样处理从而获取分割图像以获取具有物体边界清晰特性的分割图序列。
46.更具体地，如图2所示，分割模块优选为包括5个卷积层和4个反卷积层，其中，反卷积层层（deconv1
‑ꢀ
deconv4）与其对称位置的卷积层（conv4-conv1）连接，反击卷层（deconv1
‑ꢀ
deconv4）与卷积层（conv4-conv1）以conv5为对称中心，如conv1与deconv4对称，使得反卷积层的上采样处理结果为融合了对应连接的卷积层的输出结果和基于上一网络层的输出结果的上采样处理结果，以在避免其输出结果失真的情况下提高实现图像分割处理。
47.更具体地，在本技术实施例中，该分割模块优选为采用u-net模块。
48.在一些优选的实施方式中，根据点云序列构建场景粗胚模型的步骤包括：s41、根据点云序列生成多个三角面片；s42、基于多个三角面片组合生成场景粗胚模型。
49.具体地，基于点云序列进行模型重建一般采用三角面片或四角面片进行重建，在申请实施例中，优选为三角面片；基于点云序列生成多个三角面片过程可采用现有技术中的各类手段实现，如聚类方式、切片方式、区域生成方式等，在此不做限制和赘述。
50.更具体地，基于三角面片组合生成的场景粗胚模型能保证粗胚模型的完整度以反映无人机所在场景的大范围的空间结构特征。
51.在一些优选的实施方式中，根据融合点云集合生成场景精细模型的步骤包括：s61、根据融合点云集合生成多个三角面片；s62、基于多个三角面片组合生成场景精细模型。
52.在一些优选的实施方式中，更新损失函数至收敛以基于分割模块及自注意力机制卷积层建立重建模型的步骤包括：s81、更新自注意力机制卷积层和分割模块的网络参数使损失函数收敛；s82、固定损失函数收敛时对应的自注意力机制卷积层和分割模块的网络参数以建立重建模型。
53.具体地，由前述内容可知，自注意力机制卷积层和分割模块决定了场景精细模型的重建精度，也决定了场景精细模型与场景粗胚模型的相似程度，同时也作为重建模型的结构核心，决定了最终获取的重建模型的重建精度，因此，本技术实施例的vr场景实时重建方法训练获取重建模型的过程为更新自注意力机制卷积层和分割模块的网络参数使场景精细模型朝向场景粗胚模型靠近的过程，使得场景粗胚模型的空间结构特征贴近于直接基于点云序列建立的场景粗胚模型的空间结构特征，从而提高重建模型输出的重建结果的重建精度。
54.更具体地，损失函数收敛表明自注意力机制卷积层和分割模块优化结束，基于优化后的自注意力机制卷积层和分割模块输出的场景精细模型具有重建精度高的特点，因此，本技术实施例的vr场景实时重建方法通过固定此时的自注意力机制卷积层和分割模块的网络参数便能基于图像序列和深度图序列输出高精度的融合点云，基于这些融合点云便能完成高精度的三维重建；应当理解的是，本技术实施例的vr场景实时重建方法获取的重建模型包含了固定后的自注意力机制卷积层、分割模块、基于融合点云集合进行三维重建的重建模块。
55.在一些优选的实施方式中，更新自注意力机制卷积层和分割模块的网络参数的步骤包括：同时梯度下降更新自注意力机制卷积层和分割模块的网络参数。
56.具体地，自注意力机制卷积层和分割模块的网络参数可以区分先后顺序进行下降更新，在本技术实施例中，为了提高更新效率，优选为同时梯度下降更新自注意力机制卷积层和分割模块的网络参数来更新损失函数。
57.在一些优选的实施方式中，深度图序列基于点云转换模块转换生成点云序列，点云转换模块包括依次连接的坐标转换层、rt矩阵变换层及非负矩阵分解层。
58.具体地，坐标转换层用于将深度图序列中深度图的深度点转换为基于三维坐标表达的点数据，rt矩阵变换层即为齐次位姿变换，用于将该点数据转换为空间坐标表示的点云数据，非负矩阵分解层用于对点云数据进行非负矩阵分解处理，以约减点云数据的非线性维数，从而获取点云序列。
59.具体地，深度图序列中的深度图中具有多个深度点，不同深度点反映了场景中不同物体与无人机的距离，即以无人机作为参考体系，在进行三维重建的过程中，需要以空间原点建立参考体系，故需要结合坐标转换层、rt矩阵变换层及非负矩阵分解层对深度图序列中的深度点进行位姿计算以生成具有空间坐标数据的点云数据，这些点云数据构成了点云序列。
60.在一些优选的实施方式中，在分割图序列的辅助作用下根据自注意力机制卷积层融合点云序列生成融合点云集合的步骤包括：s51、利用自注意力机制卷积层融合点云序列，获取初步融合点云集合；s52、根据分割图序列对初步融合点云集合中的点云进行加权，生成融合点云集合。
61.具体地，在获取融合点云的过程中，步骤s51通过自注意力机制卷积层利用自注意力机制上采样对点云序列进行初步融合，获取了初步融合点云集合，初步融合点云集合中的点云可能存在因深度图序列测量误差引起的融合误差，因此，步骤s52则利用具有边界特征的分割图序列对初步融合点云集合中的点云进行点对点的加权，从而实现在图像序列的像素特征和深度图序列的深度特征的基础上融合点云，即利用图像序列的像素特征补正了深度图序列中产生测量误差的深度特征。
62.在一些优选的实施方式中，记点云转换模块为，三角面片利用预先建立的生成模块进行生成，记生成模块为，并记场景粗胚模型为o1，则有：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）另外，记分割模块为，将步骤s5-步骤s6利用点云序列生成场景精细模型的过程综合记录通过一个精细化重建模块实现，记该精细化重建模块为，并记自注意力机制卷积层的网络参数集合为、分割模块的网络参数集合为、场景精细模型为o2，则有：
ꢀꢀꢀꢀ
（2）步骤s7建立的损失函数则为：
ꢀꢀꢀ
（3）其中，l(
·
，
·
)为对比函数，用于对比o1和o2的特征距离,在本技术实施例优选为范数差公式。
63.更具体地，由前述内容可知，更新损失函数的过程为更新和的过程，在本技术实施例中，和分别采用下面两式进行迭代更新：
ꢀꢀꢀ
（4）
ꢀꢀꢀ
（5）其中，α和β为学习率，优选为0.05。
64.更具体地，为进一步减少损失函数的更新时间，本技术实施例的vr场景实时重建方法在和迭代更新后的损失函数的计算结果小于预设阈值时，认为损失函数收敛，即认为场景精细模型与场景粗胚模型的特征一致，在本技术实施例中，预设阈值优选为0.03，即在满足下式时结束更新：
ꢀꢀꢀꢀꢀ
（6）损失函数收敛后，固定和即可利用前述精细化重建模块建立重建模型。
65.第二方面，请参照图3，本技术一些实施例还提供了一种vr场景实时重建装置，用于在虚拟现实中进行真实场景的三维重建，装置包括：获取模块201，用于获取基于无人机实时拍摄的图像序列及与图像序列对应的深
度图序列；点云转换模块202，用于根据深度图序列转换生成点云序列；图像分割模块203，用于基于分割模块分割图像序列生成分割图序列；粗胚模型模块204，用于根据点云序列构建场景粗胚模型；点云融合模块205，用于在分割图序列的辅助作用下根据自注意力机制卷积层融合点云序列生成融合点云集合；精细模型模块206，用于根据融合点云集合生成场景精细模型；损失模块207，用于对比场景粗胚模型和场景精细模型建立损失函数；更新模块208，用于更新损失函数至收敛以基于分割模块及自注意力机制卷积层建立重建模型；重建模块209，用于部署重建模型进行三维重建。
66.本技术实施例的vr场景实时重建装置在利用自注意力机制卷积层融合过程中，利用分割图像的分割特征对点云序列中的点云数据进行辅助分割处理，从而能避免在生成融合点云集合过程中因深度图的测量误差而影响三维重建效果的问题，同时利用基于深度图序列建立的场景粗胚模型促进场景精细模型的优化来建立重建模型，使得本实施例的vr场景实时重建装置建立的重建模型能在vr场景中实时进行高精度真实场景的三维重建。
67.在一些优选的实施方式中，本技术实施例的vr场景实时重建装置用于执行上述第一方面提供的vr场景实时重建方法。
68.第三方面，请参照图4，本技术一些实施例还提供了一种电子设备的结构示意图，本技术提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当电子设备运行时，处理器301执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
69.第四方面，本技术实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（static random access memory, 简称sram），电可擦除可编程只读存储器（electrically erasable programmable read-only memory, 简称eeprom），可擦除可编程只读存储器（erasable programmable read only memory, 简称eprom），可编程只读存储器（programmable red-only memory, 简称prom），只读存储器（read-only memory, 简称rom），磁存储器，快闪存储器，磁盘或光盘。
70.综上，本技术实施例提供了一种vr场景实时重建方法、装置、电子设备及存储介质，其中，vr场景实时重建方法在利用自注意力机制卷积层融合过程中，利用分割图像的分割特征对点云序列中的点云数据进行辅助分割处理，从而能避免在生成融合点云集合过程中因深度图的测量误差而影响三维重建效果的问题，同时利用基于深度图序列建立的场景粗胚模型促进场景精细模型的优化来建立重建模型，使得本实施例的vr场景实时重建方法建立的重建模型能在vr场景中实时进行高精度真实场景的三维重建。
71.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻
辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
72.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
73.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
74.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
75.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。