基于三维地图的视频融合方法、装置、设备及存储介质与流程

1.本发明涉及视频融合技术领域，更具体地说，涉及一种基于三维地图的视频融合方法、装置、设备及计算机可读存储介质。


背景技术：

2.随着三维地图应用的广泛使用，三维地图应用也越来越大众，和视频监控相结合的视频融合业务也越来越多，但是视频融合需要繁杂的配置，第一种配置方式为手工配置，利用摄像机投影或者幕布的方式将实况画面匹配到三维场景中，通过手动移动拉伸等操作来使得实况画面能够和三维模型对应上，达到三维融合的效果。但是该方式配置难度大，需要熟练的操作人员，一般用户无法自行操作，摄像机转动后往往会出现偏差，无法自行修正。另一种方式为采用配置工具，利用配置工具来标点配置，这种方式一般由各厂家提供配置工具，由售后人员在三维模型和视频画面中标点，通过点的对应来实现视频与三维模型的匹配，达到三维融合的效果。但是该方式同样需要熟练的操作人员，另外由于取点情况会直接影响配置的好坏，手动选取的点受人为因素影响较大，不利于提高配置的效率和准确率。


技术实现要素：

3.本发明的目的在于提供一种基于三维地图的视频融合方法、装置、设备及计算机可读存储介质，以实现三维地图视频的自动融合。
4.为实现上述目的，本发明提供一种基于三维地图的视频融合方法，包括：
5.获取实况环境中图像采集设备抓拍的第一图像画面，并在三维模型环境中获取与所述图像采集设备对应位置的虚拟相机抓拍的第二图像画面；
6.识别所述第一图像画面中的第一特征标识，识别所述第二图像画面中的第二特征标识，所述第一图像画面和所述第二图像画面中对应位置的特征标识相同；
7.根据所述第一特征标识的二维坐标将所述第一图像画面划分为不同的第一子区域；根据所述第二特征标识的二维坐标将所述第二图像画面划分为与所述第一子区域对应的第二子区域，并确定每个第二子区域的三维坐标；
8.利用每个所述第二子区域的三维坐标创建对应的目标平面，并将每个所述第一子区域的像素值填充至对应的目标平面。
9.其中，所述识别所述第一图像画面中的第一特征标识，识别所述第二图像画面中的第二特征标识，包括：
10.利用预先设置的特征库识别所述第一图像画面中的特征标识，利用所述特征库识别所述第二图像画面中的特征标识；
11.确定所述第一图像画面中的第一特征标识，以及所述第二图像画面中与所述第一特征标识相同的第二特征标识，且所述第一特征标识与对应的第二特征标识的位置距离小于第一预定阈值。
12.其中，所述根据所述第一特征标识的二维坐标将所述第一图像画面划分为不同的第一子区域，包括：
13.识别所述第一特征标识的第一特征点，并根据每个第一特征点的二维坐标将所述第一图像画面划分为不同的第一子区域；
14.相应的，所述根据所述第二特征标识的二维坐标将所述第二图像画面划分为与第一子区域对应的第二子区域，包括：
15.识别所述第二特征标识中与所述第一特征点对应的第二特征点；
16.根据每个第二特征点的二维坐标将所述第二图像画面划分为，与每个第一子区域对应的第二子区域。
17.其中，所述将每个第一子区域的像素值填充至对应的目标平面，包括：
18.确定每个第一子区域的像素值；
19.利用所述第一特征点的二维特征、所述第二特征点的二维特征，以及每个第一子区域的像素值，确定每个目标平面的待填充像素值；
20.根据所述第一子区域的像素值和所述目标平面的待填充像素值，将所述待填充像素值填充至对应的目标平面。
21.其中，所述将每个第一子区域的像素值填充至对应的目标平面之后，还包括：
22.确定相邻目标平面内的相邻像素点之间的三维空间距离；
23.判断所述三维空间距离是否大于第二预定阈值；
24.若是，则删除对应的目标平面。
25.为实现上述目的，本发明进一步提供一种基于三维地图的视频融合装置，包括：
26.第一获取模块，用于获取实况环境中图像采集设备抓拍的第一图像画面；
27.第二获取模块，用于在三维模型环境中获取与所述图像采集设备对应位置的虚拟相机抓拍的第二图像画面；
28.识别模块，用于识别所述第一图像画面中的第一特征标识，识别所述第二图像画面中的第二特征标识，所述第一图像画面和所述第二图像画面中对应位置的特征标识相同；
29.第一区域划分模块，用于根据所述第一特征标识的二维坐标将所述第一图像画面划分为不同的第一子区域；
30.第二区域划分模块，用于根据所述第二特征标识的二维坐标将所述第二图像画面划分为与所述第一子区域对应的第二子区域；
31.坐标确定模块，用于确定每个第二子区域的三维坐标；
32.创建模块，用于利用每个所述第二子区域的三维坐标创建对应的目标平面；
33.填充模块，用于将每个所述第一子区域的像素值填充至对应的目标平面。
34.其中，所述识别模块包括：
35.第一识别单元，用于利用预先设置的特征库识别所述第一图像画面中的特征标识；
36.第二识别单元，用于利用所述特征库识别所述第二图像画面中的特征标识；
37.第一确定单元，用于确定所述第一图像画面中的第一特征标识，以及所述第二图像画面中与所述第一特征标识相同的第二特征标识，且所述第一特征标识与对应的第二特
征标识的位置距离小于第一预定阈值。
38.其中，本方案还包括：
39.距离确定模块，用于确定相邻目标平面内的相邻像素点之间的三维空间距离；
40.判断模块，用于判断所述三维空间距离是否大于第二预定阈值；
41.平面删除模块，用于在所述三维空间距离大于第二预定阈值时，删除对应的目标平面。
42.为实现上述目的，本发明进一步提供一种电子设备，包括：
43.存储器，用于存储计算机程序；
44.处理器，用于执行所述计算机程序时实现上述的视频融合方法的步骤。
45.为实现上述目的，本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的视频融合方法的步骤。
46.通过以上方案可知，本发明实施例提供的一种基于三维地图的视频融合方法，包括：获取实况环境中图像采集设备抓拍的第一图像画面，并在三维模型环境中获取与图像采集设备对应位置的虚拟相机抓拍的第二图像画面；识别第一图像画面中的第一特征标识，识别第二图像画面中的第二特征标识，第一图像画面和第二图像画面中对应位置的特征标识相同；根据第一特征标识的二维坐标将第一图像画面划分为不同的第一子区域；根据第二特征标识的二维坐标将第二图像画面划分为与第一子区域对应的第二子区域，并确定每个第二子区域的三维坐标；利用每个第二子区域的三维坐标创建对应的目标平面，并将每个第一子区域的像素值填充至对应的目标平面。
47.综上可以看出，本技术在进行视频融合时，可自动识别三维地图和实况环境中相匹配的特征标识，通过特征标识将实况环境中每个子区域的像素值填充至三维地图的目标平面，简化了视频融合的配置过程，实现了视频的自动融合。本发明还公开了一种基于三维地图的视频融合装置、设备及计算机可读存储介质，同样能实现上述技术效果。
附图说明
48.为了更清楚地说明本发明实施例或背景技术中的技术方案，下面将对实施例或背景技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
49.图1为本发明实施例公开的一种基于三维地图的视频融合方法流程示意图；
50.图2a为本发明实施例公开的第一图像信息的特征标识示意图；
51.图2b为本发明实施例公开的第二图像信息的特征标识示意图；
52.图3为本发明实施例公开的另一种基于三维地图的视频融合方法流程示意图；
53.图4为本发明实施例公开的子区域划分示意图；
54.图5为本发明实施例公开的虚拟摄像机投影示意图；
55.图6为本发明实施例公开的坐标转换示意图；
56.图7为本发明实施例公开的各目标区域示意图；
57.图8为本发明实施例公开的一种基于三维地图的视频融合装置结构示意图；
58.图9为本发明实施例公开的一种电子设备结构示意图。
具体实施方式
59.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
60.需要说明的是，三维地图下的视频融合，是指在三维模型中叠加摄像机实况或者回放视频的功能，即在原有的三维模型下，根据摄像机的安装位置，将摄像机视频画面以投影或者幕布的方式在三维中渲染播放，通常需要将摄像机视频解码后以三维材质的方式添加到三维引擎中，并且实时解码渲染，以达到动态的三维地图效果。通常会以倾斜摄影模型来呈现，这样会使得效果更加的逼真。在本技术中，公开了一种基于三维地图的视频融合方法、装置、设备及计算机可读存储介质，以实现三维地图视频的自动融合。
61.参见图1，本发明实施例提供的一种基于三维地图的视频融合方法流程示意图；该方法具体包括：
62.s101、获取实况环境中图像采集设备抓拍的第一图像画面，并在三维模型环境中获取与图像采集设备对应位置的虚拟相机抓拍的第二图像画面；
63.在本技术中，在进行三维地图的视频融合时，首先需要确定待融合区域的图像采集设备的位置信息，利用倾斜摄影模型的高还原度，在三维模型环境中与图像采集设备对应的相同位置处架设虚拟相机。因此本技术在获取图像信息时，在实况环境中，具体是通过图像采集设备拍摄图像画面，该图像采集设备具体可以为摄像机，而在三维模型中，具体是通过虚拟相机抓拍相同位置处的图像画面，本技术为了对图像画面进行区分，将实况环境中的图像画面称为第一图像画面，将三维模型中的图像画面称为第二图像画面。
64.需要说明的是，三维模型环境中与图像采集设备对应位置处，均已预先架设虚拟相机，也即：该虚拟相机在三维地图中均已事先配置完成，在视频融合时，可直接利用对应的虚拟相机抓拍三维场景中的图像画面。
65.s102、识别第一图像画面中的第一特征标识，识别第二图像画面中的第二特征标识，第一图像画面和第二图像画面中对应位置的特征标识相同；
66.可以理解的是，本技术可根据视频融合后观察环境内容的不同预先确定特征标识。如在本技术中，是对三维地图进行视频融合，因此，本技术进行视频融合后重点观察区域是路面，即人或车活动的区域，所以本技术预先针对路面上较容易识别的标记建立特征库，例如道路标识斑马线，网格线，白色箭头，园区道闸横杆，园区停车位等这类标识进行深度学习。在获取第一图像信息及第二图像信息后，便可在第一图像信息和第二图像信息中自动识别特征标识。参见图2a及图2b，为本技术实施例公开的第一图像画面及第二图像画面中的特征标识示意图；其中，在第一图像画面中，第一特征标识包括：标识a’b’c’，在第二图像画面中，第二特征标识包括：abc。
67.需要说明的是，本技术中第一特征标识和第二特征标识的位置均是在抓拍的图像中的二维坐标位置，因此在本技术中，可以将第一特征标识和第二特征标识的二维坐标位置称为二维比例坐标位置。
68.s103、根据第一特征标识的二维坐标将第一图像画面划分为不同的第一子区域；根据第二特征标识的二维坐标将第二图像画面划分为与第一子区域对应的第二子区域，并确定每个第二子区域的三维坐标；
69.需要说明的是，本技术识别两个图像画面中的特征标识后，由于两个图像画面中相同特征标识的位置相同，因此可以将特征标识的位置作为基准，自动实现视频融合。具体来说，本技术为了实现视频融合，需要根据图像标识中的特征标识将两个图像画面划分为相同的子区域。例如：图2a及图2b中存在位置相同且特征标识相同的a’和a，此时在划分子区域时，可在第一图像画面中以a’为原点进行水平方向和竖直方向的划分，从而生成四个子区域：1
’2’3’4’
，同样的，可在第二图像画面中以a为原点进行水平方向和竖直方向的划分，同样可生成四个子区域：1234，因此，与1
’2’3’4’
这四个第一子区域相对应的第二子区域便是：1234。
70.可以理解的是，本技术在视频融合时，选择的第一特征标识和第二特征标识必须是对应的，即：第一特征标识的数量和第二特征标识的数量相同，且同一种特征标识在两个图像画面的位置也是大致相同的；并且，本技术在划分每个图像画面时，所选择的划分方式同样是相同的，这样才能划分出一一对应的第一子区域和第二子区域。
71.s104、利用每个第二子区域的三维坐标创建对应的目标平面，并将每个第一子区域的像素值填充至对应的目标平面。
72.需要说明的是，本技术中的第二子区域是要填充实况画面的区域，因此本技术为了实现三维地图的视频自动融合，首先需要确定第二子区域的三维坐标，然后根据该三维坐标创建对应的目标平面；需要说明的是，如果第二子区域为1234这四个子区域，则创建的目标平面同样是与每个第二子区域对应的目标平面，也即：需要创建与每个第二子区域对应的目标平面。所有目标平面均创建后，需要将实况画面中每个第一子区域的像素对应填充至目标平面内，例如：第一子区域为：1
’2’3’4’
，第二子区域为1234，则需要将第一子区域1’的画面填充至第二子区域1对应的目标平面，以此类推，直至填充完所有目标平面，从而实现了实况画面与三维模型的融合。
73.综上可以看出，本技术在进行视频融合时，可自动识别三维地图和实况环境中相匹配的特征标识，利用两个图像画面中的特征标识位置就可以自动实现视频画面的融合，提高视频融合配置效率。
74.参见图3，为本发明实施例提供的另一种基于三维地图的视频融合方法流程示意图；需要说明的是，本实施例所述的融合方法与上一实施例所述的融合方法可以相互参照，相同之处便不再赘述。
75.本实施例所述的融合方法具体包括：
76.s201、获取实况环境中图像采集设备抓拍的第一图像画面，并在三维模型环境中获取与图像采集设备对应位置的虚拟相机抓拍的第二图像画面；
77.s202、利用预先设置的特征库识别第一图像画面中的特征标识，利用特征库识别第二图像画面中的特征标识；
78.s203、确定第一图像画面中的第一特征标识，以及第二图像画面中与第一特征标识相同的第二特征标识，且第一特征标识与对应的第二特征标识的位置距离小于第一预定阈值；
79.在本技术中，由于已经预先针对路面上较容易识别的特征标识建立特征库，例如道路标识斑马线，网格线，白色箭头，园区道闸横杆，因此本技术可利用特征库识别两个图像画面中的所有特征标识，然后从两个图中分别查找出特征标识相同且位置大致相同的特征标识，将其分别称之为第一特征标识和第二特征标识。其中，本技术通过比对两幅图像中的特征类型和位置关系来确定第一特征标识和第二特征标识；具体来说，预先设置不同类型的特征标识，如：网格线类型、白色箭头类型等等；若通过遍历，发现第一图像画面和第二图像画面中均存在同类型的特征标识，则判断两个同类型的特征标识的距离是否小于第一预定阈值；若否，则说明这两个特征标识虽然是同类型，但是由于在这两个特征标识在两个图像画面中的位置相差太多，可能出现特征标识被移动的现象，如果此时将这两个特征标识作为第一特征标识和第二特征标识，则在像素值填充时会出现视频融合不准确的现象，如：第一图像画面中存在特征标识a’，第二图像画面中存在特征标识a，但是这两个特征标识的位置相差较大，则说明图像采集设备抓拍的第一图像画面中特征标识a’被移动过，因此在视频融合时，应该将a’附近的图像画面融合至第二图像画面的相同位置处，而非融合至位置相差较大的a处。
80.若是，则将这两个特征标识记为第一特征标识和第二特征标识，并继续遍历其他的特征标识，直到三维画面中的特征标识遍历完成为止。如：第一图像画面中存在特征标识a’，第二图像画面中存在特征标识a，且特征标识a’和特征标识a在图像中的位置类似，即距离小于第一预定阈值，则判定特征标识a’为第一特征标识，特征标识a为第二特征标识。
81.s204、识别第一特征标识的第一特征点，并根据每个第一特征点的二维坐标将第一图像画面划分为不同的第一子区域；
82.s205、识别第二特征标识中与第一特征点对应的第二特征点；根据每个第二特征点的二维坐标将第二图像画面划分为与每个第一子区域对应的第二子区域；
83.需要说明的是，将两幅图像画面的特征标识进行分别比对计算后，获得对应匹配信息，生成第一图像画面中的第一特征标识和第二图像画面中的第二特征标识。例如图2b所示，分析得到三维场景中道路特征标识，在本实施例中仅以abc这三个特征标识为例进行说明，分别记录abc这三个特征标识在图像的二维比例位置。在本技术中，为了提高融合效果，在三个特征标识上选取特征点。需要说明的是，特征点的选取可根据特征标识来确定，例如图2b中网格，则可选取四个顶点分别作为特征点，或者仅选取其中一个点作为特征点。在本实施例中，为了说明方便，仅对图像中的最边缘的上下左右处选取特征点，如图2b中的p1、p2、p3、p4即为第二图像画面中的第二特征点，并录下这四个点在画面中的二维比例坐标。
84.由于虚拟相机和真实相机之间的位置以及焦距总存在一定的差异，导致真实画面与虚拟画面之间存在一定的偏差，这也是视频融合需要人工配置的原因，因此本技术同样还需要分析实况视频画面中的路面特征标识，如图2a所示，得到第二特征标识a’、b’、c’，同样选取与第二特征点对应的第一特征点，该第一特征点也是特征标识中最边缘的上下左右四个点，即图2a中的p1’、p2’、p3’、p4’，并记录这四个点的二维坐标。可以理解的是，如果虚拟相机和真实相机的参数信息完全一致，两幅画面是可以完全重合的，但是由于配置上的差异，导致两幅画面存在或多或少的差异，存在一定的偏移，因此本技术通过选取上述特征点的目的就是来计算偏差，实现自动重合。
85.进一步，为了让两幅图像中特征点的位置能够完全的匹配上，本技术根据特征点，将画面分割成多个区域，在此仅以第二图像画面中的p1、p2、p3、p4这四个特征点为例进行说明。参见图4，为本发明实施例公开的子区域划分示意图；通过上述四个特征点，可将第一图像画面分割为25个区域，各区域的顶点标号参见图4，通过这种方式在进行图像融合时，可使得两幅图像中的所有的特征点都能够完全的对上。
86.需要说明的是，本技术可以预先设置特征点的选取数量，可以在每个特征标识区域上选取多个特征点，也可以在每个特征标识区域仅选择一个特征点。若想提高融合效果，可适当增加特征点，特征点增加后子区域会成倍增加，贴合效果会更加良好。并且，当自动检测到的特征点不足时，还可以手动增加特征点，手动选取模型上的点和视频中的点，增加点后，分割区域会更加密集，贴合效果会更加良好。
87.s206、确定每个第二子区域的三维坐标；
88.需要说明的是，由于最终的视频画面会投影到三维模型上，即替换掉三维模型上的材质，所以本方案还需要知道包括这些特征点在内的25个子区域的左上和右下的二维坐标点投影到三维模型中的三维空间坐标位，即图4中pos11-pos66这36个点，在此，需要将屏幕二维坐标转换成三维空间坐标，转换方法包括：
89.1)计算虚拟摄像机的投影矩阵m
p
。由于虚拟摄像机为透视投影，其数学上的意义为截锥六面体，参见图5，为本发明实施例公开的虚拟摄像机投影示意图，其中近裁剪面的左下角坐标为(l,b,n)，近裁剪面的右上角坐标为(r,t,n)，近裁剪面距离为n，远裁剪面距离为f，通过六个平面和相关点的运算可以推导得到
[0090][0091]
其中，
[0092]
2)计算虚拟摄像机的视图矩阵，即从世界三坐标系转换到摄像机二维坐标系的换算矩阵m
v
。视图矩阵包含两部分，虚拟摄像机的旋转变换矩阵r和位移变换矩阵t，因此视图矩阵为：
[0093][0094]
3)若p1的平面二维坐标(xa’,ya’)，则换算到空间坐标pos1。参见图6，为本发明实施例公开的坐标转换示意图；首先得到虚拟摄像机近裁剪面处的空间坐标：v＝(xa’,ya’,n)，可推导p1点的实际世界坐标为：pos1＝m
v-1
·
m
p-1
·
v，依次类推，计算得到包括p1，p2，p3，p4在内的36个平面坐标转换为三维空间坐标pos11-pos66。
[0095]
s207、利用每个第二子区域的三维坐标创建对应的目标平面，并将每个第一子区域的像素值填充至对应的目标平面。
[0096]
其中，将每个第一子区域的像素值填充至对应的目标平面，包括：确定每个第一子区域的像素值；利用第一特征点的二维特征、第二特征点的二维特征，以及每个第一子区域
的像素值，确定每个目标平面的待填充像素值；根据第一子区域的像素值和目标平面的待填充像素值，将待填充像素值填充至对应的目标平面。
[0097]
具体的，本技术计算出25个子区域三维空间坐标后，根据该三维空间坐标创建25个对应的目标平面，参见图7，为本发明实施例公开的各目标区域示意图；在填充像素值时，首选需要分别计算每个区域的实况画面缩放比例，即视频画面分区域缩放。若第一图像画面中四个特征点比例坐标为p1’(x1’,y1’),p2’(x2’,y2’),p3’(x3’,y3’),p4’(x4’,y4’)，对应的第二图像画面中的比例坐标分别是p1(x1,y1),p2(x2,y2),p3(x3,y3),p4(x4,y4)，然后根据这两组比例坐标之间的比例关系，来计算每个区域实际填充的像素值。具体来说：若第二图像画面的分辨率为w’*h’，三维虚拟画面的分辨率与其相同，第一图像画面内每个区域的分辨率分别为w1’*h1’，w2’*h2’，w3’*h3’，w4’*h4’，w5’*h5’，实际填充的每个区域的像素值分别是w1*h1，w2*h2，w3*h3，w4*h4，w5*h5，然后通过第一特征点的二维比例坐标、第二特征点的二维比例坐标以及每个第一子区域的像素值，确定每个第二子区域的待填充像素值，计算公式如下：
[0098][0099][0100][0101]
通过上述计算获得w1、w2、w3、w4、w5和h1、h2、h3、h4、h5后，便可确定每个目标平面的待填充像素值，例如：区域1的目标平面需要填充的像素值是w1*h1，然后通过删减或者插值的方式将待填充像素值填充至目标平面。例如：若w1*h1的像素值为100*100，待填充位置的像素值为100*10，则从w1*h1中均匀删除像素值后剩余100*10个像素值填充至待填充位置；相反，若w1*h1的像素值为100*10，待填充位置的像素值为100*100，则将这100*10个像素值均匀插值替换至待填充位置的100*100个像素值中，从而实现在目标实况画面与待填充位置的像素值不同的情况下，实现了两个画面的融合。
[0102]
基于上述实施例，在本实施例中，将每个第一子区域的像素值填充至对应的目标平面之后，还包括：
[0103]
确定相邻目标平面内的相邻像素点之间的三维空间距离；判断所述三维空间距离是否大于第二预定阈值；若是，则删除对应的目标平面。
[0104]
需要说明的是，根据上述实施例计算获得每个区域的像素值后，每个区域中像素点覆盖面积是不同的，如果其中一个区域的覆盖面积过大，则会出现融合后图像拉伸的情况，为了避免出现该现象，在进行像素值填充后，需要判断相邻目标平面内的相邻像素点之间的三维空间距离，即每个像素点覆盖的区域大小，若大于第二预定阈值，则判定该目标平面过于拉伸，则删除该目标平面。需要说明的是，本技术在判定三维空间距离是否大于第二预定阈值时，可以分别计算横向和纵向的像素点之间的三维空间距离，如果均大于预定值，则将该目标平面删除，保证视频融合后的展现效果。
[0105]
在实际使用过程中，配置好的摄像机可能存在被转动或者移动的可能，在传统的
视频融合方案中，相机被移动之后，融合的效果无法实现，需要重新配置，而在本方案中，可定期的检测模型特征点和视频特征点的位置偏移，一旦发生改变会重新计算完成配置，这样一来就可以继续使用，如果变动非常大，原有的特征点都已不存在则会启动重新检测机制，重新自动配置。
[0106]
综上可以看出，本方案为了解决在三维地图中视频融合配置问题，根据特征标识的特征点自动匹配三维空间位置，达到自动融合功能，再根据融合后的视频中相邻像素点之间在三维空间中的坐标偏差值，达到某一阈值后自动裁剪超出部分，实现自动裁剪功能。通过本方案，可极大的减少现场配置工作，使得视频融合功能可以在非专业人员情况下实现配置，并且在摄像机位置发生轻微变化后能够实现自动匹配的功能，极大的提升了视频融合功能的易用性和自容错能力。
[0107]
下面对本发明实施例提供的视频融合装置进行介绍，下文描述的视频融合装置与上文描述的视频融合装置可以相互参照。
[0108]
参见图8，本发明实施例提供的一种基于三维地图的视频融合装置结构示意图；该装置包括：
[0109]
第一获取模块100，用于获取实况环境中图像采集设备抓拍的第一图像画面；
[0110]
第二获取模块200，用于在三维模型环境中获取与所述图像采集设备对应位置的虚拟相机抓拍的第二图像画面；
[0111]
识别模块300，用于识别所述第一图像画面中的第一特征标识，同时识别所述第二图像画面中的第二特征标识，第一图像画面和第二图像画面中对应位置的特征标识相同；
[0112]
第一区域划分模块400，用于根据所述第一特征标识的二维坐标将所述第一图像画面划分为不同的第一子区域；
[0113]
第二区域划分模块500，用于根据所述第二特征标识的二维坐标将所述第二图像画面划分为与第一子区域对应的第二子区域；
[0114]
坐标确定模块600，用于确定每个第二子区域的三维坐标；
[0115]
创建模块700，用于利用每个第二子区域的三维坐标创建对应的目标平面；
[0116]
填充模块800，用于将每个第一子区域的像素值填充至对应的目标平面。
[0117]
其中，所述识别模块包括：
[0118]
第一识别单元，用于利用预先设置的特征库识别所述第一图像画面中的特征标识；
[0119]
第二识别单元，用于利用所述特征库识别所述第二图像画面中的特征标识；
[0120]
第一确定单元，用于确定所述第一图像画面中的第一特征标识，以及所述第二图像画面中与所述第一特征标识相同的第二特征标识，且第一特征标识与对应的第二特征标识的位置距离小于第一预定阈值。
[0121]
其中，所述第一区域划分模块具体用于：识别所述第一特征标识的第一特征点，并根据每个第一特征点的二维坐标将所述第一图像画面划分为不同的第一子区域；
[0122]
所述第二区域划分模块具体用于：识别所述第二特征标识中与所述第一特征点对应的第二特征点；根据每个第二特征点的二维坐标将所述第二图像画面划分为，与每个第一子区域对应的第二子区域。
[0123]
其中，所述填充模块包括：
[0124]
第二确定单元，用于确定每个第一子区域的像素值；
[0125]
第三确定单元，用于利用所述第一特征点的二维特征、所述第二特征点的二维特征，以及每个第一子区域的像素值，确定每个目标平面的待填充像素值；
[0126]
填充单元，用于根据所述第一子区域的像素值和所述目标平面的待填充像素值，将所述待填充像素值填充至对应的目标平面。
[0127]
其中，本装置还包括：
[0128]
距离确定模块，用于确定相邻目标平面内的相邻像素点之间的三维空间距离；
[0129]
判断模块，用于判断所述三维空间距离是否大于第二预定阈值；
[0130]
平面删除模块，用于在所述三维空间距离大于第二预定阈值时，删除对应的目标平面。
[0131]
参见图9，为本发明实施例还公开了一种电子设备结构示意图；该设备具体包括：
[0132]
存储器11，用于存储计算机程序；
[0133]
处理器12，用于执行所述计算机程序时实现上述任意方法实施例所述的视频融合方法的步骤。
[0134]
在本实施例中，设备服务端的设备或者客户端的设备，例如：服务器、电脑、笔记本等设备。该设备可以包括存储器11、处理器12和总线13。
[0135]
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是设备的内部存储单元，例如该设备的硬盘。存储器11在另一些实施例中也可以是设备的外部存储设备，例如设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，存储器11还可以既包括设备的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于设备的应用软件及各类数据，例如执行视频融合方法的程序代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0136]
处理器12在一些实施例中可以是一中央处理器(central processing unit,cpu)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行视频融合方法的程序代码等。
[0137]
该总线13可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0138]
进一步地，设备还可以包括网络接口14，网络接口14可选的可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该设备与其他电子设备之间建立通信连接。
[0139]
可选地，该设备还可以包括用户接口，用户接口可以包括显示器(display)、输入单元比如键盘(keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在设备中处理的信息以及用于显示可视化的用户界面。
[0140]
图9仅示出了具有组件11-14的设备，本领域技术人员可以理解的是，图9示出的结构并不构成对设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0141]
本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例所述的视频融合方法的步骤。
[0142]
其中，该存储介质可以包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0143]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0144]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。