一种视频融合方法、装置、电子设备及存储介质与流程

1.本发明涉及视频处理技术领域，尤其涉及一种视频融合方法、装置、电子设备及存储介质。


背景技术：

2.尽管视频处理技术和地理信息系统(geographic information system，简称gis系 统)在国内外发展已经很成熟，但是不可忽视的是视频与gis系统的融合还有很多问题待解决。
3.目前，视频融合技术主要采取创建载体以加载视频的方式进行拼接，这种处理方式局限于三维模型的形状，而且容易出现视频穿透模型、视频重复的问题，导致用户体验较差。


技术实现要素：

4.本发明提供一种视频融合方法、装置、电子设备及存储介质，用以解决现有技术中由于受限于三维模型的形状、且容易穿透模型、使视频重复的技术问题，本发明以通过对视频不规则裁剪、构建类真实虚拟场景，以提高用户体验的目的。
5.第一方面，本发明提供一种视频融合方法，包括：获取实时监控视频；构建gis系统，通过仿真在所述gis系统中构建类真实的虚拟场景；将所述实时监控视频投射到gis系统中；对所述实时监控视频进行不规则裁剪，将裁剪后的实时监控视频融合到构建的虚拟场景中。
6.进一步，根据本发明提供的视频融合方法，所述构建gis系统，包括：在所述gis系统中加载三维模型，构建类真实的虚拟场景。
7.进一步，根据本发明提供的视频融合方法，在所述gis系统中加载三维模型，构建类真实的虚拟场景，包括：构建gis地理信息系统环境；将获取的卫星正视影像数据加载至所述gis地理信息系统环境中，形成数字地球场景；同时，将三维模型加载至所述gis地理信息系统环境中，构建类真实的虚拟场景。
8.进一步，根据本发明提供的视频融合方法，将所述实时监控视频投射到gis系统中，包括：在gis系统中创建光照阴影，通过后处理的方式渲染所述实时监控视频；调整光照的方向和范围模拟所述实时监控视频所对应监控摄像头的拍摄方向，确定视频真实位置信息。
9.进一步，根据本发明提供的视频融合方法，在所述确定视频真实位置信息之后，包
括：根据所述视频真实位置信息创建光源相机，确定光源相机的视锥投影为一个可调整大小及长宽比的矩形；根据所述光源相机的视锥投影创建一个光照阴影矩阵，将所述光照阴影矩阵投影到三维模型上；在所述三维模型上创建后处理，将视频的文档对象模型、光照阴影矩阵以及视频真实位置信息输入后处理中，对确定的视频真实位置进行渲染。
10.进一步，根据本发明提供的视频融合方法，对所述实时监控视频进行不规则裁剪，将裁剪后的实时监控视频融合到构建的虚拟场景中，包括：通过框选所述实时监控视频的有效区域，获取视频有效区域的范围坐标信息；根据所述视频有效区域的范围坐标信息创建一张有两种颜色的base64图片；在后处理中根据所述base64图片的颜色，确定是否显示所述实时监控视频的颜色，以达到视频裁剪的效果。
11.进一步，根据本发明提供的视频融合方法，所述通过框选所述实时监控视频的有效区域，获取视频有效区域的范围坐标信息，包括：创建所述实时监控视频的文档对象模型；创建画布，在画布上渲染所述实时监控视频的文档对象模型，使其显示所述实时监控视频中的一帧画面，在画布上连续点选若干坐标信息，闭合坐标即获得视频有效区域的范围坐标信息。
12.第二方面，本发明还提供一种视频融合装置，包括：获取模块，用于获取实时监控视频；构建模块，用于构建gis系统，通过仿真在所述gis系统中构建类真实的虚拟场景；投射模块，用于将所述实时监控视频投射到gis系统中；裁剪模块，用于对所述实时监控视频进行不规则裁剪，将裁剪后的实时监控视频融合到构建的虚拟场景中。
13.第三方面，本发明还提供一种电子设备，包括：处理器、存储器和总线，其中，所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上任一项中所述视频融合方法的步骤。
14.第四方面，本发明还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使计算机执行如上所述视频融合方法的步骤。
15.第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上任一项所述视频融合方法的步骤。
16.本发明提供一种视频融合方法、装置、电子设备及存储介质，所述方法包括：获取实时监控视频；构建gis系统，通过仿真在所述gis系统中构建类真实的虚拟场景；将所述实时监控视频投射到gis系统中；对所述实时监控视频进行不规则裁剪，将裁剪后的实时监控视频融合到构建的虚拟场景中。本发明提供的视频融合方法无需载体，能够实时且不规则
裁剪融合的视频，提升了用户体验。
附图说明
17.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明提供的一种视频融合方法的流程示意图；图2是本发明提供的一种视频融合方法的整体流程示意图；图3是本发明提供的一种视频融合装置的结构示意图；图4是本发明提供的电子设备的结构示意图。
具体实施方式
19.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.图1为本发明提供的视频融合方法，如图1所示，本发明提供一种视频融合方法，包括：步骤101：获取实时监控视频。
21.在本实施例中，需要获取实时的监控视频，如车辆驾驶中，行车记录仪实时采集到的行驶视频，还可以使无人机驾驶中实时拍摄的视频，具体的获取方式可以是根据移动终端采集的方式、还可以是摄像机实时拍摄的方式，还可以是行车记录仪实时记录的方式等，具体可以根据用户的实际需要进行设定，在此不作具体限定。
22.步骤102：构建gis系统，通过仿真在所述gis系统中构建类真实的虚拟场景。
23.在本实施例中，需要构建gis （geographic information system，简称gis系）系统，是指地理信息系统，通过将三维模型加载到gis系统中的方式，构建出类真实的虚拟场景，在该虚拟场景中对获取的视频进行实时分析。其中，类真实的虚拟场景是指虚拟场景接近于真实的场景，相似度接近于百分之百的虚拟场景。
24.需要说明的是，在本实施例中，如图2所示，所述构建gis系统，包括：在所述gis系统中加载三维模型，构建类真实的虚拟场景。
25.具体包括：构建gis地理信息系统环境；将获取的卫星正视影像数据加载至所述gis地理信息系统环境中，形成数字地球场景；同时，将三维模型加载至所述gis地理信息系统环境中，构建类真实的虚拟场景。
26.在本实施例中，选择支持webgl的cecium数字地球引擎，搭建gis地理信息系统环境；然后加载卫星正视影像数据至gis地理信息系统环境中，作为基础图层，形成数字地球场景；同时，将三维模型加载至gis地理信息系统环境中，构建出类真实的虚拟场景，其中，
object model，简称dom），是w3c组织推荐的处理可扩展置标语言的标准编程接口，是一种与平台和语言无关的应用程序接口(api)。
36.根据本发明提供的视频融合方法，通过将实时监控视频投射到gis系统中构建的虚拟场景中，能够减少载体的使用，提高应用场景模拟的真实性，提高视频处理的效果。
37.基于上述任一实施例，在本发明的一个实施例中，对所述实时监控视频进行不规则裁剪，将裁剪后的实时监控视频融合到构建的虚拟场景中，包括：通过框选所述实时监控视频的有效区域，获取视频有效区域的范围坐标信息；根据所述视频有效区域的范围坐标信息创建一张有两种颜色的base64图片；在后处理中根据所述base64图片的颜色，确定是否显示所述实时监控视频的颜色，以达到视频裁剪的效果。
38.其中，所述通过框选所述实时监控视频的有效区域，获取视频有效区域的范围坐标信息，具体包括：创建所述实时监控视频的文档对象模型；创建画布，在画布上渲染所述实时监控视频的文档对象模型，使其显示所述实时监控视频中的一帧画面，在画布上连续点选若干坐标信息，闭合坐标即获得视频有效区域的范围坐标信息。
39.在本实施例中，具体是通过创建实时监控视频的dom（文档对象模型），然后创建canvas（画布），在canvas上渲染实时监控视频的dom，使其显示该视频中的一帧画面，在canvas上连续点选若干坐标，闭合坐标即获得一个视频有效区域，进而得到该视频有效区域的范围坐标信息。
40.进一步的，根据上述获得的闭合区域坐标，将整个canvas渲染成区域内为颜色1，区域外为颜色2的区域，且将canvas保存为base64的图片，其中，base64是一种基于64个可打印字符来表示二进制数据的表示方法。
41.然后，根据上述保存的base64图片创建图片dom，将图片dom传入创建的后处理中，在后处理的glsl中根据图片的颜色来确定该像素点是否显示视频颜色。其中，颜色1和颜色2是任意两种不同的颜色，可以根据用户的实际需要进行选择，在此不作具体限定。
42.根据本发明提供的视频融合方法，在gis系统中构建的虚拟场景中能够实现对实时监控视频的任意形式的裁剪，不受规则限制，提高视频处理的效果，满足用户的各种需求，提升了用户体验。
43.图3为本发明提供的视频融合装置，如图3所示，本发明提供的视频融合装置，包括：获取模块301，用于获取实时监控视频；构建模块302，用于构建gis系统，通过仿真在所述gis系统中构建类真实的虚拟场景；其中，所述构建gis系统包括：在所述gis系统中加载三维模型，构建类真实的虚拟场景；投射模块303，用于将所述实时监控视频投射到gis系统中；裁剪模块304，用于对所述实时监控视频进行不规则裁剪，将裁剪后的实时监控视频融合到构建的虚拟场景中。
44.根据本发明提供的视频融合装置，通过获取实时监控视频；构建gis系统，通过仿真在所述gis系统中构建类真实的虚拟场景；将所述实时监控视频投射到gis系统中；对所
述实时监控视频进行不规则裁剪，将裁剪后的实时监控视频融合到构建的虚拟场景中。本发明提供的视频融合装置无需载体，能够实时且不规则裁剪融合的视频，提升了用户体验；通过将三维模型加载至gis地理信息系统中，能够减少载体的使用，提高应用场景模拟的真实性，提高视频处理的效果。
45.由于本发明实施例所述方法与上述实施例所述系统的原理相同，对于更加详细的解释内容在此不再赘述。
46.图4为本发明实施例中提供的电子设备实体结构示意图，如图4所示，本发明提供一种电子设备，包括：处理器(processor)401、存储器(memory)402和总线403；其中，处理器401、存储器402通过总线403完成相互间的通信；处理器401用于调用存储器402中的程序指令，以执行上述各方法实施例中所提供的方法，例如包括：获取实时监控视频；构建gis系统，通过仿真在所述gis系统中构建类真实的虚拟场景；其中，所述构建gis系统包括：在所述gis系统中加载三维模型，构建类真实的虚拟场景；将所述实时监控视频投射到gis系统中；对所述实时监控视频进行不规则裁剪，将裁剪后的实时监控视频融合到构建的虚拟场景中。
47.本发明实施例中提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使所述计算机执行上述各方法实施例中所提供的方法，例如包括：获取实时监控视频；构建gis系统，通过仿真在所述gis系统中构建类真实的虚拟场景；其中，所述构建gis系统包括：在所述gis系统中加载三维模型，构建类真实的虚拟场景；将所述实时监控视频投射到gis系统中；对所述实时监控视频进行不规则裁剪，将裁剪后的实时监控视频融合到构建的虚拟场景中。
48.本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例所提供的方法，该方法包括：获取实时监控视频；构建gis系统，通过仿真在所述gis系统中构建类真实的虚拟场景；其中，所述构建gis系统包括：在所述gis系统中加载三维模型，构建类真实的虚拟场景；将所述实时监控视频投射到gis系统中；对所述实时监控视频进行不规则裁剪，将裁剪后的实时监控视频融合到构建的虚拟场景中。
49.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
50.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例中所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。