三维场景中的视频拼接方法、装置和设备与流程

本发明涉及图像处理，尤其涉及一种三维场景中的视频拼接方法、装置和设备。

背景技术：

1、在数字孪生及可视化系统中，为了提高可视化场景的真实性，会采用摄像头对可视化显示场景中的部分区域进行视频画面采集，将实时采集到的视频画面拼接在三维场景模型中，即三维场景模型中摄像头视角对应区域采用实时视频画面，而其他摄像头无法采集到画面的区域采用三维场景模型，因此在可视化过程中，实时视频画面与三维场景模型的拼接效果影响到可视化的整体效果。

2、由于三维场景模型是预先构建好的，而由于实时视频画面的视角动态变化(如无人机俯冲、摄像头转动)以及现实中环境因素变化(如季节、天气、光照)的影响，视频画面区域与三维场景模型的显示视觉效果可能不一致，导致模型中画面割裂或拼接突兀。

3、现有技术通常采用固定的视角或简单的图像拼接方法，无法动态调整三维场景模型以适应视频画面视角和环境的变化，影响了虚实结合的可视化效果。

技术实现思路

1、本发明提供了一种三维场景中的视频拼接方法、装置和设备，以解决在三维模型中拼接实际场景视频画面时出现的视觉效果差的问题。

2、根据本发明的一方面，提供了一种三维场景中的视频拼接方法，包括：

3、获取目标场景的初始三维模型和图像采集设备采集到的目标场景中第一区域的图像；

4、根据所述图像中的场景环境属性信息对所述初始三维模型进行纹理映射，得到参考三维模型；

5、对所述参考三维模型和所述图像进行拼接，得到初始拼接模型；

6、根据所述图像确定所述目标场景中的其他场景属性信息，根据所述其他场景属性信息对所述初始拼接模型进行调整，得到目标拼接模型。

7、根据本发明的另一方面，提供了一种三维场景中的视频拼接装置，包括：

8、模型和图像获取模块，用于获取目标场景的初始三维模型和图像采集设备采集到的目标场景中第一区域的图像；

9、模型纹理映射模块，用于根据所述图像中的场景环境属性信息对所述初始三维模型进行纹理映射，得到参考三维模型；

10、拼接模块，用于对所述参考三维模型和所述图像进行拼接，得到初始拼接模型；

11、拼接模型调整模块，用于根据所述图像确定所述目标场景中的其他场景属性信息，根据所述其他场景属性信息对所述初始拼接模型进行调整，得到目标拼接模型。

12、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

13、至少一个处理器；以及

14、与所述至少一个处理器通信连接的存储器；其中，

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的三维场景中的视频拼接方法。

16、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的三维场景中的视频拼接方法。

17、本实施例的技术方案，通过对图像的环境属性进行分析识别，动态生成与图像画面一致的模型纹理，采用自适应纹理映射，确保进行虚实拼接时模型和图像之间的视觉一致性，解决了因环境纹理不一致导致的拼接突兀问题；并且对进行纹理映射后的初始拼接模型进行其他场景属性调整，进一步提高了虚实结合的可视化效果，增强了虚实结合的真实感，为数字孪生和可视化系统提供了更多的技术支持。

18、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种三维场景中的视频拼接方法，其特征在于，该方法包括：

2.根据权利要求1所述的方法，其特征在于，根据所述图像中的场景环境属性信息对所述初始三维模型进行纹理映射，得到参考三维模型，包括：

3.根据权利要求2所述的方法，其特征在于，根据所述场景环境属性信息生成模型纹理，包括：

4.根据权利要求3所述的方法，其特征在于，其中，所述设备属性参数至少包括设备位置信息、旋转角度信息和内参矩阵；

5.根据权利要求1所述的方法，其特征在于，根据所述图像确定所述目标场景中的其他场景属性信息，根据所述其他场景属性信息对所述初始拼接模型进行调整，包括：

6.根据权利要求1所述的方法，其特征在于，根据所述图像确定所述目标场景中的其他场景属性信息，根据所述其他场景属性信息对所述初始拼接模型进行调整，包括：

7.根据权利要求1所述的方法，其特征在于，在得到目标拼接模型之前，所述方法还包括：

8.根据权利要求1所述的方法，其特征在于，对所述参考三维模型和所述图像进行拼接，得到初始拼接模型，包括：

9.一种三维场景中的视频拼接装置，其特征在于，该装置包括：

10.一种电子设备，其特征在于，所述电子设备包括：