视频融合方法、装置、设备、系统及计算机可读存储介质与流程

技术特征：
1.一种视频融合方法，其特征在于，所述视频融合方法基于服务端，包括：接收客户端发送的渲染请求，并生成对应的渲染后的图像画面；利用所述渲染请求确定三维场景下的当前视角点位置，根据所述当前视角点位置下的视频融合区域确定渲染后的图像画面中的待填充位置；将所述视频融合区域的位置、所述待填充位置及渲染后的图像画面发送至所述客户端，以使所述客户端将实况画面中与所述视频融合区域的位置对应的画面，填充至所述图像画面中的待填充位置。2.根据权利要求1所述的视频融合方法，其特征在于，所述根据所述当前视角点位置下的视频融合区域确定渲染后的图像画面中的待填充位置，包括：获取所述当前视角点位置下的视频融合区域的第一三维坐标；确定所述第一三维坐标在成像平面的第二三维坐标；将所述第二三维坐标转换为二维屏幕坐标，并根据所述成像平面的长宽值获得所述视频融合区域在成像平面上的二维比例坐标，通过所述二维比例坐标确定渲染后的图像画面中的待填充位置。3.根据权利要求2所述的视频融合方法，其特征在于，所述确定所述第一三维坐标在成像平面的第二三维坐标，包括：在三维场景下，确定当前视角点与所述视频融合区域间的成像平面；将所述当前视角点位置与所述视频融合区域的第一三维坐标连线，将连线与所述成像平面交点的三维坐标作为所述第一三维坐标在所述成像平面的第二三维坐标。4.一种视频融合方法，其特征在于，所述视频融合方法基于客户端，包括：向服务端发送渲染请求，以使所述服务端生成对应的渲染后的图像画面，根据所述渲染请求确定三维场景下的当前视角点位置，并根据所述当前视角点位置下的视频融合区域确定渲染后的图像画面中的待填充位置，接收所述服务端发送的所述视频融合区域的位置、所述待填充位置及渲染后的图像画面；将实况画面中与所述视频融合区域的位置对应的画面，填充至所述图像画面中的待填充位置。5.根据权利要求4所述的视频融合方法，其特征在于，所述将实况画面中与所述视频融合区域的位置对应的画面，填充至所述图像画面中的待填充位置，包括：获取摄像机拍摄的至少一路实况视频的实况画面；根据所述视频融合区域的位置确定所述实况画面中的目标实况画面；将所述目标实况画面的像素值通过删减或者插值方式，替换所述渲染后的图像画面中待填充位置的像素值。6.一种视频融合装置，其特征在于，所述视频融合装置基于服务端，包括：第一接收模块，用于接收客户端发送的渲染请求，并生成对应的渲染后的图像画面；当前视角点位置确定模块，用于利用所述渲染请求确定三维场景下的当前视角点位置；待填充位置确定模块，用于根据所述当前视角点位置下的视频融合区域确定渲染后的图像画面中的待填充位置；
第一发送模块，用于将所述视频融合区域的位置、所述待填充位置及渲染后的图像画面发送至所述客户端，以使所述客户端将实况画面中与所述视频融合区域的位置对应的画面，填充至所述图像画面中的待填充位置。7.一种视频融合装置，其特征在于，所述视频融合装置基于客户端，包括：第二发送模块，用于向服务端发送渲染请求，以使所述服务端生成对应的渲染后的图像画面，根据所述渲染请求确定三维场景下的当前视角点位置，并根据所述当前视角点位置下的视频融合区域确定渲染后的图像画面中的待填充位置；第二接收模块，用于接收所述服务端发送的所述视频融合区域的位置、所述待填充位置及渲染后的图像画面；填充模块，用于将实况画面中与所述视频融合区域的位置对应的画面，填充至所述图像画面中的待填充位置。8.一种基于服务端的电子设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述的基于三维地图的视频融合的步骤。9.一种基于客户端的电子设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求4或5所述的基于三维地图的视频融合的步骤。10.一种视频融合系统，其特征在于，包括如权利要求8所述的基于服务端的电子设备和如权利要求9所述的基于客户端的电子设备。

技术总结
本发明公开了一种视频融合方法、装置、设备、系统及计算机可读存储介质；在本方案中，服务端仅执行渲染操作，不需要执行视频融合操作，服务端将视频融合区域的位置、待填充位置及渲染后的图像画面发送至客户端后，由客户端执行视频融合操作。可以看出，由于本方案在进行视频融合时，服务端不执行视频融合操作，因此客户端便不需要将实况视频传输到服务端，因此服务端也不需要对视频进行解码，从而有效的减少网络带宽对视频传输带来的影响，并将视频解码性能分摊到客户端上，有效的降低了服务端由于视频融合带来的性能压力，提升了多路视频融合渲染性能。融合渲染性能。融合渲染性能。


技术研发人员：黄黎滨
受保护的技术使用者：浙江宇视科技有限公司
技术研发日：2020.06.15
技术公布日：2021/12/16