一种基于视频前景提取的视频融合方法及装置

1.本发明涉及一种基于视频前景提取的视频融合方法及装置。


背景技术：

2.借助无人机或者数码相机拍摄监控场景的图片可用于重建三维场景。在进行重建之前，图片的拍摄有一定的标准，首先拍摄的图片应该完全覆盖要重建的场景；其次每张图片应该与其它至少一张图片有30％以上的重叠；最后每张图片不应该包含特写镜头。一旦所有的图片都拍摄完毕，再通过sfm和mvs算法进行三维重建以获取拍摄图片的相机位姿、场景的稀疏点云和稠密点云。有了稠密点云之后，通过泊松重建和网格简化算法可以得到监控场景的三维模型。
3.对于视角固定不变的监控视频，视频中运动的对象一般称为前景，而将前景剔除之后剩余的部分称为背景，现有技术有对单个监控视频中的运动对象(行人、车辆等)进行检测提取，在估计深度之后通过贴图在三维场景中表达，结果如图1所示，图1为在三维虚拟场景中通过平面展示的前景图。也有基于单个视频提出了通过平面和预制体的形式在简单三维场景中表达的方法，结果如图2所示，图2为在三维虚拟场景中通过平面和简单预制体展示的前景图。但现有技术存在如下缺点：
4.1.现有技术在三维场景中只能在某个特定角度合理地展示前景，无法适应自由视角；
5.2.现有技术在三维场景中没有考虑到多个视频重合区域的前景展示情况。


技术实现要素：

6.本发明实施例提供了一种基于视频前景提取的视频融合方法及装置，以至少解决现有技术无法适应自由视角的技术问题。
7.根据本发明的一实施例，提供了一种基于视频前景提取的视频融合方法，包括以下步骤：
8.提取多个视频中的前景及其轮廓；
9.在三维虚拟场景中对提取的视频前景标定位姿；
10.将位姿标定之后的视频前景结合视频前景轮廓生成对应的三维模型；
11.在三维模型中融合多个视频的前景。
12.进一步地，提取多个视频中的前景及其轮廓包括：
13.采用高斯混合模型将多个视频中的前景与背景进行分离和提取，然后通过形态学方法提取前景的轮廓并计算包围盒。
14.进一步地，在三维虚拟场景中对提取的视频前景标定位姿包括：
15.假定前景模型所在的平面与成像平面平行，提取出每个监控视频中多个前景的轮廓并计算得到包围盒，从监控相机的光心处出发向成像平面上包围盒的下边缘中心发出一条射线，该射线与场景的交点为前景在虚拟三维场景的位置。
16.进一步地，将位姿标定之后的视频前景结合视频前景轮廓生成对应的三维模型包括：
17.将位姿标定之后的视频前景结合视频前景轮廓通过constrained delaunay triangulation算法生成对应的三维模型。
18.进一步地，在三维模型中融合多个视频的前景包括：
19.当多个监控相机同时拍摄到同一个物体时，根据用户的视点选取最优的前景用于展示；
20.计算来自不同视频的前景之间的距离，如果多个前景彼此之间的距离近，将这些前景视作归属于同一个对象并放入候选集；然后计算从前景坐标到观察相机的单位方向向量vf，同时根据其对应监控相机的成像平面法向量计算得到每个前景所在平面的单位法向量nf，在候选集中能够将vf·
nf最大化的前景被选作最优前景。
21.进一步地，方法还包括：
22.根据观察相机调整前景位姿保证前景始终正对观察相机。
23.根据本发明的另一实施例，提供了一种基于视频前景提取的视频融合装置，包括：
24.提取单元，用于提取多个视频中的前景及其轮廓；
25.位姿标定单元，用于在三维虚拟场景中对提取的视频前景标定位姿；
26.三维模型生成单元，用于将位姿标定之后的视频前景结合视频前景轮廓生成对应的三维模型；
27.融合单元，用于在三维模型中融合多个视频的前景。
28.进一步地，装置还包括：
29.位姿调整单元，用于根据观察相机调整前景位姿保证前景始终正对观察相机。
30.一种存储介质，存储介质存储有能够实现上述任意一项基于视频前景提取的视频融合方法的程序文件。
31.一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的基于视频前景提取的视频融合方法。
32.本发明实施例中的基于视频前景提取的视频融合方法及装置，提取多个视频中的前景及其轮廓，在三维虚拟场景中对提取的视频前景标定位姿，将位姿标定之后的视频前景结合视频前景轮廓生成对应的三维模型，在三维模型中融合多个视频的前景。本发明能够提取多视频中的前景并在虚拟三维场景中进行融合展示，能够根据视角计算前景的位姿，从而在任意视角下得到合理的观察结果，给用户良好的使用体验。
33.本发明有益效果至少在于：
34.1.与传统的前景展示方式不同，本发明能够根据视角对前景进行变换,从而使前景始终正对观察相机。
35.2.本发明能够融合多个监控视频的前景进行展示，解决多视频中前景重复展示问题。
36.3.本发明支持用户在任意视角合理观察前景，给用户良好的使用体验。
37.4.本发明能够融合多个视频的前景，具有较强的信息整合能力。
38.5.本发明能够根据视角计算前景的位姿，从而在任意视角下得到合理的观察结果。
39.6.本发明能够提取多视频中的前景并在虚拟三维场景中进行融合展示。
附图说明
40.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
41.图1为三维虚拟场景中通过平面展示的前景图；
42.图2为在三维虚拟场景中通过平面和简单预制体展示的前景图；
43.图3为本发明基于视频前景提取的视频融合方法中前景标定示意图；
44.图4为本发明基于视频前景提取的视频融合方法中前景提取过程示意图；
45.图5为本发明基于视频前景提取的视频融合方法中两视频前景融合结果图。
具体实施方式
46.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
47.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
48.实施例1
49.根据本发明一实施例，提供了一种基于视频前景提取的视频融合方法，包括以下步骤：
50.提取多个视频中的前景及其轮廓；
51.在三维虚拟场景中对提取的视频前景标定位姿；
52.将位姿标定之后的视频前景结合视频前景轮廓生成对应的三维模型；
53.在三维模型中融合多个视频的前景。
54.本发明实施例中的基于视频前景提取的视频融合方法，提取多个视频中的前景及其轮廓，在三维虚拟场景中对提取的视频前景标定位姿，将位姿标定之后的视频前景结合视频前景轮廓生成对应的三维模型，在三维模型中融合多个视频的前景。本发明能够提取多视频中的前景并在虚拟三维场景中进行融合展示，能够根据视角计算前景的位姿，从而在任意视角下得到合理的观察结果，给用户良好的使用体验。
55.其中，提取多个视频中的前景及其轮廓包括：
56.采用高斯混合模型将多个视频中的前景与背景进行分离和提取，然后通过形态学方法提取前景的轮廓并计算包围盒。
57.其中，在三维虚拟场景中对提取的视频前景标定位姿包括：
58.假定前景模型所在的平面与成像平面平行，提取出每个监控视频中多个前景的轮廓并计算得到包围盒，从监控相机的光心处出发向成像平面上包围盒的下边缘中心发出一条射线，该射线与场景的交点为前景在虚拟三维场景的位置。
59.其中，将位姿标定之后的视频前景结合视频前景轮廓生成对应的三维模型包括：
60.将位姿标定之后的视频前景结合视频前景轮廓通过constrained delaunay triangulation算法生成对应的三维模型。
61.其中，在三维模型中融合多个视频的前景包括：
62.当多个监控相机同时拍摄到同一个物体时，根据用户的视点选取最优的前景用于展示；
63.计算来自不同视频的前景之间的距离，如果多个前景彼此之间的距离近，将这些前景视作归属于同一个对象并放入候选集；然后计算从前景坐标到观察相机的单位方向向量vf，同时根据其对应监控相机的成像平面法向量计算得到每个前景所在平面的单位法向量nf，在候选集中能够将vf·
nf最大化的前景被选作最优前景。
64.其中，方法还包括：
65.根据观察相机调整前景位姿保证前景始终正对观察相机。
66.下面以具体实施例，对本发明的基于视频前景提取的视频融合方法进行详细说明：
67.本发明可以融合多个监控视频中的前景并合理地在三维虚拟场景中进行展示，使得用户能够在三维虚拟场景中的任意视点都能得到所有视频中前景的合理观察结果。
68.传统的多路监控系统各个画面之间相互割裂，不利于用户直观地理解监控内容，某些情况下用户只关心视频中某些运动的物体，针对视频中这些运动的物体对象，本发明提出了一种基于视频前景提取的视频融合方法，可以让用户更容易地理解并追踪视频中的对象在场景中的运动。
69.本发明的技术方案可以简要概括为：提取前景及其轮廓-》标定前景位姿-》根据前景轮廓生成三维模型-》融合多个视频的前景-》根据观察相机调整前景位姿保证前景始终正对观察相机。
70.首先，视频中运动的物体(即前景)可以通过高斯混合模型gmm(gaussian mixture model)算法提取，本发明中采用高斯混合模型将前景与背景进行分离和提取，然后可以通过形态学方法提取前景的轮廓并计算包围盒，提取结果如图4所示。获得前景之后需要在三维虚拟场景中标定位姿，位姿标定之后可以根据轮廓通过constrained delaunay triangulation算法生成对应的三维模型，然后将多视频中的前景进行融合，最后可以通过公告板技术保证模型始终正对观察相机，确保用户能够轻松地追踪视频中的运动对象。
71.前景的标定过程如下：首先每个监控视频会提取出许多前景的轮廓并计算得到包围盒，从监控相机的光心处出发向成像平面上包围盒的下边缘中心发出一条射线，这条射线与场景的交点即为前景在虚拟三维场景的位置。本发明假定前景模型所在的平面与成像平面是平行的，因此有了射线与三维虚拟环境的交点和成像平面的法向量，则前景网格模型所在的平面就可以唯一确定了，标定过程如图3所示。
72.多视频前景融合过程：前景生成过程中有一个问题需要解决，当多个监控相机同
时拍摄到同一个物体时，需要根据用户的视点选取最优的前景用于展示。本发明首先计算来自不同视频的前景之间的距离，如果多个前景彼此之间的距离非常接近，将这些前景视作归属于同一个对象并放入候选集。然后计算从前景坐标到观察相机的单位方向向量vf，同时每个前景所在平面的单位法向量nf，本发明可以根据其对应监控相机的成像平面法向量计算得到，那么候选集中能够将vf·
nf最大化的前景将被选作最优前景，多视频前景融合结果如图5所示，图5左侧图为视频拍摄视角下的融合结果图，中间和右侧图像为旋转一定角度后的融合结果图。
73.实施例2
74.根据本发明的另一实施例，提供了一种基于视频前景提取的视频融合装置，包括：
75.提取单元，用于提取多个视频中的前景及其轮廓；
76.位姿标定单元，用于在三维虚拟场景中对提取的视频前景标定位姿；
77.三维模型生成单元，用于将位姿标定之后的视频前景结合视频前景轮廓生成对应的三维模型；
78.融合单元，用于在三维模型中融合多个视频的前景。
79.本发明实施例中的基于视频前景提取的视频融合装置，提取多个视频中的前景及其轮廓，在三维虚拟场景中对提取的视频前景标定位姿，将位姿标定之后的视频前景结合视频前景轮廓生成对应的三维模型，在三维模型中融合多个视频的前景。本发明能够提取多视频中的前景并在虚拟三维场景中进行融合展示，能够根据视角计算前景的位姿，从而在任意视角下得到合理的观察结果，给用户良好的使用体验。
80.其中，装置还包括：
81.位姿调整单元，用于根据观察相机调整前景位姿保证前景始终正对观察相机。
82.下面以具体实施例，对本发明的基于视频前景提取的视频融合装置进行详细说明：
83.本发明可以融合多个监控视频中的前景并合理地在三维虚拟场景中进行展示，使得用户能够在三维虚拟场景中的任意视点都能得到所有视频中前景的合理观察结果。
84.传统的多路监控系统各个画面之间相互割裂，不利于用户直观地理解监控内容，某些情况下用户只关心视频中某些运动的物体，针对视频中这些运动的物体对象，本发明提出了一种基于视频前景提取的视频融合装置，可以让用户更容易地理解并追踪视频中的对象在场景中的运动。
85.本发明的技术方案可以简要概括为：提取单元，提取前景及其轮廓-》位姿标定单元，标定前景位姿-》三维模型生成单元，根据前景轮廓生成三维模型-》融合单元，融合多个视频的前景-》位姿调整单元，根据观察相机调整前景位姿保证前景始终正对观察相机。
86.首先，视频中运动的物体(即前景)可以通过高斯混合模型gmm(gaussian mixture model)算法提取，本发明中采用高斯混合模型将前景与背景进行分离和提取，然后可以通过形态学方法提取前景的轮廓并计算包围盒，提取结果如图4所示。获得前景之后需要在三维虚拟场景中标定位姿，位姿标定之后可以根据轮廓通过constrained delaunay triangulation算法生成对应的三维模型，然后将多视频中的前景进行融合，最后可以通过公告板技术保证模型始终正对观察相机，确保用户能够轻松地追踪视频中的运动对象。
87.位姿标定单元的前景的标定过程如下：首先每个监控视频会提取出许多前景的轮
廓并计算得到包围盒，从监控相机的光心处出发向成像平面上包围盒的下边缘中心发出一条射线，这条射线与场景的交点即为前景在虚拟三维场景的位置。本发明假定前景模型所在的平面与成像平面是平行的，因此有了射线与三维虚拟环境的交点和成像平面的法向量，则前景网格模型所在的平面就可以唯一确定了，标定过程如图3所示。
88.融合单元的多视频前景融合过程：前景生成过程中有一个问题需要解决，当多个监控相机同时拍摄到同一个物体时，需要根据用户的视点选取最优的前景用于展示。本发明首先计算来自不同视频的前景之间的距离，如果多个前景彼此之间的距离非常接近，将这些前景视作归属于同一个对象并放入候选集。然后计算从前景坐标到观察相机的单位方向向量vf，同时每个前景所在平面的单位法向量nf，本发明可以根据其对应监控相机的成像平面法向量计算得到，那么候选集中能够将vf·
nf最大化的前景将被选作最优前景，多视频前景融合结果如图5所示，图5左侧图为视频拍摄视角下的融合结果图，中间和右侧图像为旋转一定角度后的融合结果图。
89.实施例3
90.一种存储介质，存储介质存储有能够实现上述任意一项基于视频前景提取的视频融合方法的程序文件。
91.实施例4
92.一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的基于视频前景提取的视频融合方法。
93.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
94.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
95.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
96.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
97.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
98.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器
(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
99.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。