全景视频的生成方法和装置与流程

1.本公开涉及图像处理技术领域，尤其是一种全景视频的生成方法和装置。


背景技术：

2.全景分为虚拟现实和三维实景。虚拟现实是利用软件制作出来的模拟现实的场景。三维实景是利用相机拍摄实景照片，经过特殊的拼合、处理，最终得到三维实景图片。
3.目前的全景视频，需要通过支持视频录制的全景相机来采集，对于拍摄设备要求较高。此外，全景视频的内容较多，对应的数据资源的上传/下载均需要较好的网络环境以及网络带宽。


技术实现要素：

4.本公开实施例提供一种全景视频的生成方法和装置，无需采用支持视频录制的全景相机，且相对于全景视频呈现动画的方式对网络环境要求低。
5.本公开实施例的第一个方面，提供一种全景视频的生成方法，包括：
6.获取包括目标场景的全景图像；
7.获取针对所述目标场景采集的视频，并从所述视频中选取出多个视频帧图像；
8.对所述全景图像与所述多个视频帧图像进行特征匹配，并基于特征匹配结果，将所述多个视频帧图像中的每个视频帧图像分别与所述全景图像进行图像融合，得到多个全景帧图像；
9.基于所述多个全景帧图像生成全景视频。
10.在一种可选的方式中，所述多个视频帧图像之间的图像采集位置和图像采集角度均相同，所述对所述全景图像与所述多个视频帧图像进行特征匹配，并基于特征匹配结果，将所述多个视频帧图像中的每个视频帧图像分别与所述全景图像进行图像融合，包括：
11.从所述多个视频帧图像中选取一视频帧图像；
12.对选取的视频帧图像与所述全景图像进行特征点匹配，基于特征点匹配结果生成所述选取的视频帧图像与所述全景图像之间的透视变换映射矩阵；
13.基于所述透视变换映射矩阵，分别将所述多个视频帧图像中的每个视频帧图像与所述全景图像进行图像融合。
14.在一种可选的方式中，所述基于所述透视变换映射矩阵，分别将所述多个视频帧图像中的每个视频帧图像与所述全景图像进行图像融合，包括：
15.基于所述透视变换映射矩阵，生成从所述选取的视频帧图像映射到所述全景图像的映射图像；
16.基于所述映射图像与所述全景图像之间的同名像点的色彩差异，分别对所述多个视频帧图像进行色彩调整；
17.将色彩调整后的多个视频帧图像分别与所述全景图像进行图像融合。
18.在一种可选的方式中，所述基于所述映射图像与所述全景图像之间的同名像点的
色彩差异，分别对所述多个视频帧图像进行色彩调整，包括：
19.基于所述映射图像与所述全景图像之间的同名像点的色彩差异，生成色彩映射函数或色彩查找表；
20.基于所述色彩映射函数或所述色彩查找表，分别对所述多个视频帧图像进行色彩调整。
21.在一种可选的方式中，所述基于所述透视变换映射矩阵，分别将所述多个视频帧图像中的每个视频帧图像与所述全景图像进行图像融合，包括：
22.基于所述透视变换映射矩阵，确定所述全景图像中与所述每个视频帧图像对应的图像融合区域；
23.针对每个视频帧图像，将所述全景图像中对应的图像融合区域内的像素点替换为视频帧图像的像素点后，进行羽化。
24.在一种可选的方式中，所述对所述全景图像与所述多个视频帧图像进行特征匹配，并基于特征匹配结果，将所述多个视频帧图像中的各视频帧图像分别与所述全景图像进行图像融合，包括：
25.将所述多个视频帧图中的每个视频帧图像与所述全景图像进行特征点匹配，基于特征点匹配结果生成所述每个视频帧图像与所述全景图像之间的透视变换映射矩阵；
26.基于所述每个视频帧图像与所述全景图像之间的透视变换映射矩阵，将所述每个视频帧图像分别与所述全景图像进行图像融合。
27.在一种可选的方式中，所述基于所述每个视频帧图像与所述全景图像之间的透视变换映射矩阵，将所述多个视频帧图像分别与所述全景图像进行图像融合，包括：
28.基于所述每个视频帧图像与所述全景图像之间的透视变换映射矩阵，生成多个映射图像，所述多个映射图像包括从所述每个视频帧图像映射到所述全景图像的映射图像；
29.基于所述多个映射图像与所述全景图像之间的同名像点的色彩差异，分别对所述多个视频帧图像进行色彩调整；
30.将色彩调整后的多个视频帧图像分别与所述全景图像进行图像融合。
31.在一种可选的方式中，所述基于所述每个视频帧图像与所述全景图像之间的透视变换映射矩阵，将所述多个视频帧图像分别与所述全景图像进行图像融合，包括：
32.基于所述每个视频帧图像与所述全景图像之间的透视变换映射矩阵，确定所述每个视频帧图像与所述全景图像的图像融合区域；
33.将所述全景图像在所述图像融合区域内的像素点分别替换为所述多个视频帧图像的像素点后，进行羽化。
34.本公开实施例的第二个方面，提供一种全景视频的生成装置，包括：
35.全景图像获取模块，用于获取包括目标场景的全景图像；
36.视频帧图像获取模块，用于获取针对所述目标场景采集的视频，并从所述视频中选取出多个视频帧图像；
37.全景帧图像获取模块，用于对所述全景图像与所述多个视频帧图像进行特征匹配，并基于特征匹配结果，将所述多个视频帧图像中的每个视频帧图像分别与所述全景图像进行图像融合，得到多个全景帧图像；
38.动画生成模块，用于基于所述多个全景帧图像生成全景视频。
39.在一种可选的方式中，所述多个视频帧图像之间的图像采集位置和图像采集角度均相同；所述全景帧图像获取模块包括：
40.视频帧图像获取单元，用于从所述多个视频帧图像中选取一视频帧图像；
41.第一透视变换映射矩阵生成单元，用于对选取的视频帧图像与所述全景图像进行特征点匹配，基于特征点匹配结果生成所述选取的视频帧图像与所述全景图像之间的透视变换映射矩阵；
42.第一图像融合单元，用于基于所述透视变换映射矩阵，分别将所述多个视频帧图像中的每个视频帧图像与所述全景图像进行图像融合。
43.在一种可选的方式中，所述第一图像融合单元包括：
44.第一映射图像生成子单元，用于基于所述透视变换映射矩阵，生成从所述选取的视频帧图像映射到所述全景图像的映射图像；
45.第一色彩调整子单元，用于基于所述映射图像与所述全景图像之间的同名像点的色彩差异，分别对所述多个视频帧图像进行色彩调整；
46.第一图像融合子单元，用于将色彩调整后的多个视频帧图像分别与所述全景图像进行图像融合。
47.在一种可选的方式中，所述第一色彩调整子单元用于基于所述映射图像与所述全景图像之间的同名像点的色彩差异，生成色彩映射函数或色彩查找表，并基于所述色彩映射函数或所述色彩查找表，分别对所述多个视频帧图像进行色彩调整。
48.在一种可选的方式中，所述第一图像融合单元包括：
49.图像融合区域确定子单元，用于基于所述透视变换映射矩阵，确定所述全景图像中与所述每个视频帧图像对应的图像融合区域；
50.图像融合子单元，用于对每个视频帧图像，将所述全景图像中对应的图像融合区域内的像素点替换为视频帧图像的像素点后，进行羽化。
51.在一种可选的方式中，所述全景帧图像获取模块包括：
52.第二透视变换映射矩阵生成单元，用于将所述多个视频帧图中的每个视频帧图像分别与所述全景图像进行特征点匹配，基于特征点匹配结果生成所述每个视频帧图像与所述全景图像之间的透视变换映射矩阵；
53.第二图像融合单元，用于基于所述每个视频帧图像与所述全景图像之间的透视变换映射矩阵，将所述每个视频帧图像分别与所述全景图像进行图像融合。
54.在一种可选的方式中，所述第二图像融合单元包括：
55.第二映射图像生成子单元，用于基于所述每个视频帧图像与所述全景图像之间的透视变换映射矩阵，生成多个映射图像，所述多个映射图像包括从所述每个视频帧图像映射到所述全景图像的映射图像；
56.第二色彩调整子单元，用于基于所述多个映射图像与所述全景图像之间的同名像点的色彩差异，分别对所述多个视频帧图像进行色彩调整；
57.第二图像融合子单元，用于将色彩调整后的多个视频帧图像分别与所述全景图像进行图像融合。
58.本公开实施例的第三个方面，提供一种电子设备，包括：
59.存储器，用于存储计算机程序；
60.处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述第一方面所述的全景视频的生成方法。
61.本公开实施例的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述第一方面所述的全景视频的生成方法。
62.本公开的全景视频的生成方法和装置、以及图像融合方法和装置，通过将包括目标场景的全景图像与针对该目标场景的视频帧图像进行融合，可以生成以目标场景进行画面变化的动画视频。本公开的实施例中，视频帧图像仅通过单目相机采集即可，无需采用支持视频录制的全景相机。此外，本公开实施例仅需采集全景中运动部分的视频，可以大大减少对网络环境质量的依赖，因此相对于全景视频呈现动画的方式对网络环境要求低。
63.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
64.构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
65.参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
66.图1为本公开实施例的全景视频的生成方法的流程图。
67.图2是本公开一个示例中的目标全景图像。
68.图3是本公开一个示例中全景视频的画面变化区域的示意图。
69.图4是本公开一个示例中将一帧视频帧图像未做处理直接粘贴在全景图像中的示意图。
70.图5是对图4进行色彩调整后的全景帧图像。
71.图6为本公开实施例的全景视频的生成装置的结构框图。
72.图7为本公开电子设备一个应用实施例的结构示意图。
具体实施方式
73.现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
74.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
75.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
76.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
77.另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
78.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其
相同或相似之处可以相互参考，为了简洁，不再一一赘述。
79.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
80.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
81.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
82.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
83.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
84.图1为本公开实施例的全景视频的生成方法的流程图。如图1所示，本公开实施例的全景视频的生成方法，包括：
85.s1：获取包括目标场景的全景图像。
86.其中，全景图像可以是一套房间的全景图，目标场景可以是该套房间内的其中一个房间的视频拍摄场景。在本公开实施例中，全景图像可以是通过单目相机拍摄多张图像后，通过对多张图像进行图像处理技术处理后得到全景图像。其中，图像处理技术包括图像拼接和图像融合等。此外，全景图像也可以是通过全景相机拍摄得到的。
87.s2：获取针对目标场景采集的视频，并从视频中选取出多个视频帧图像。
88.其中，本公开的实施例可以通过单目相机对准目标场景拍摄视频，然后从视频中选取出多个视频帧图像。其中，多个视频帧图像可以包括该视频的多个关键帧图像，或者多个视频帧图像包括该视频的所有视频帧图像。
89.其中，选取视频选取关键帧的方式可以采用基于镜头的关键帧提取方法，可以采用基于运动分析的关键帧提取方法，或采用基于视频聚类的方法。基于镜头的关键帧提取方法，先按照某种技术手段把源视频文件按照镜头变化分割，然后在视频每个镜头中选择首、尾两帧作为关键帧。基于运动分析的方法，在视频镜头中分析物体运动的光流量，每次选择视频镜头中光流移动次数最少的视频帧作为提取到的关键帧。基于视频聚类的方法，首先，初始化一个聚类中心。其次，通过计算聚类中心与当前帧之间的范围，确定被分为类的参考帧或者作为类的新聚类中心。最后，我们选择离聚类中心最近的视频帧处理成关键帧。需要说明的是，本公开并不限定关键帧的提取方法。
90.s3：对全景图像与多个视频帧图像进行特征匹配，并基于特征匹配结果，将多个视
频帧图像中的每个视频帧图像分别与全景图像进行图像融合，得到多个全景帧图像。
91.其中，特征匹配包括特征采集和特征点匹配。特征匹配结果可以包括全景图像分别与多个视频帧图像的特征点匹配结果。在本公开中，多个全景帧图像中，仅在与每个视频帧图像融合的区域发生画面变化。
92.s4：基于多个全景帧图像生成全景视频。
93.在本实施例中，本公开实施例中，视频帧图像仅通过单目相机采集即可，无需采用支持视频录制的全景相机。图2是本公开一个示例中的目标全景图像，图3是本公开一个示例中一帧全景视频的画面变化区域的示意图。如图2和图3所示，全景视频中仅在画面变化区域内的像素发生变化，其他图像区域内不发生变化。本公开实施例仅需采集全景中运动部分的视频，可以大大减少对网络环境质量的依赖，因此相对于全景视频呈现动画的方式对网络环境要求低。
94.在本公开的一个实施例中，多个视频帧图像之间的图像采集位置和图像采集角度均相同。其中，多个视频帧图像可以通过云台相机拍摄视频得到。需要说明的是，云台相机在拍摄视频时，拍摄参数保持不变。其中，拍摄参数除了包括图像采集位置和图像采集角以外、还包括图像采集焦距和图像分辨率等参数，即除了多个视频帧图像之间的图像采集位置和图像采集角度均相同以外，多个视频帧图像之间的图像采集焦距和图像分辨率也均相同。相应地，步骤s3包括：
95.s3
‑
1：从多个视频帧图像中选取一视频帧图像。其中，当多个视频帧图像仅包括多个关键帧图像时，可以将视频播放时间点最靠前的关键帧图像作为选区的视频帧图像；当多个视频帧图像包括视频的所有视频帧图像时，可以将视频的第一帧图像作为选区的视频帧图像。
96.s3
‑
2：对选取的视频帧图像与全景图像进行特征点匹配，基于特征点匹配结果生成选取的视频帧图像与全景图像之间的透视变换映射矩阵。
97.具体地，对选取的视频帧图像进行特征提取得到第一图像特征，并对全景图像进行特征提取得到第二图像特征。其中，对取的视频帧图像和全景图像进行特征提取时，使用相同地体征提取权重。
98.通过对第一图像特征和第二图像特征进行特征点匹配，可以得到选取的视频帧图像与和全景图像之间的匹配点对。
99.基于选取的视频帧图像与和全景图像之间的匹配点对，确定从选取的视频帧图像映射到全景图像的透视变换映射矩阵。其中，透视变换映射矩阵是3x3矩阵，该矩阵隐式表达了空间中视频帧图像的平面与全景图像的平面之间的相对旋转、平移以及平面参数。
100.s3
‑
3：基于透视变换映射矩阵，分别将多个视频帧图像中的每个视频帧图像与全景图像进行图像融合。其中，由于多个视频帧图像之间的图像采集位置和图像采集角度均相同，因此多个视频帧图像中的每个视频帧图像与全景图像之间的透视变换映射矩阵也完全相同。基于同样的透视变换映射矩阵，分别将多个视频帧图像中的每个视频帧图像与全景图像进行图像融合，可以得到多个全景帧图像。
101.图4是本公开一个示例中将一帧视频帧图像未做处理直接粘贴在全景图像中的示意图。如图4所示，图像融合区域与全景图像存在明显视觉差异。图5是对图4进行色彩调整后的全景帧图像，如图5所示，经过色彩调整后，有效降低了图像融合区域与其他区域的视
觉差异。
102.在本实施例中，由于多个视频帧图像之间的图像采集位置和图像采集角度均相同，因此在将多个视频帧图像中的每个视频帧图像分别与全景图像进行图像融合时，在全景图像中的图像融合区域位置保持不变，进而可以仅需建立一次透视变换映射矩阵，然后基于透视变换映射矩阵既可实现多个视频帧图像中的每个视频帧图像分别与全景图像进行图像融合。
103.在本公开的一个实施例中，步骤s3
‑
3包括：
104.s3
‑3‑
a
‑
1：基于透视变换映射矩阵，生成从选取的视频帧图像映射到全景图像的映射图像。即通过透视变换映射矩阵对选取的视频帧图像进行映射变换，既可生成该映射图像。
105.图2是本公开一个示例中的全景图像，图3是本公开一个示例中包括映射图像的全景图像。
106.s3
‑3‑
a
‑
2：基于映射图像与全景图像之间的同名像点的色彩差异，分别对多个视频帧图像进行色彩调整。同名像点也称相应像点，指任一目标点在不同相片上的构像点。
107.其中，需要首先获取映射图像与全景图像之间的同名像点的色彩差异。在本实施例中，色彩差异包括灰度图差异和rgb差异等。色彩差异可以通过同名像点的像素值比对的方式得到。以灰度图差异为例，假设第一映射图像i1和目标全景图像的对应区域i2上任意同名像点分别为p1(x1，y1)和p2(x2，y2)，则对应的灰度图上的强度差||i1(x1，y1)
‑
i2(x2，y2)||，即为色彩差异。在得到映射图像与全景图像之间的同名像点的色彩差异后，基于同名像点的色彩差异，确定同名像点之间的色彩映射关系。基于色彩映射关系，分别对多个视频帧图像进行色彩调整。
108.s3
‑3‑
a
‑
3：将色彩调整后的多个视频帧图像分别与全景图像进行图像融合。
109.在本实施例中，通过色彩调整可以降低视频帧图像与全景图像进行融合后的视觉差异。
110.在本公开的一个实施例中，步骤s3
‑3‑
a
‑
3包括：基于映射图像与全景图像之间的同名像点的色彩差异，生成色彩映射函数或色彩查找表；基于色彩映射函数或色彩查找表，分别对多个视频帧图像进行色彩调整。
111.在公开的一个示例中，通过求解一个色彩映射函数，使得选取的视频帧图像对应的映射图像与全景图像之间的同名像点的色彩差异最小。其中，使用的映射函数为指数函数的二阶泰勒级数展开，因为认为一般色差不会太大，同时高阶信息会迅速降零。基于色差映射函数对选取的视频帧图像的像素点进行色彩调整。对于多个视频帧图像中除了之前选取的视频帧图像之外剩余的每个视频帧图像，获取每个视频帧图像的所有像素点信息，然后基于色差映射函数对每个视频帧图像的像素点进行色彩调整。
112.在本公开的另一个示例中，通过建立选取的视频帧图像的像素点与全景图像的像素点之间的色彩查找表，可以使得选取的视频帧图像对应的映射图像与全景图像之间的同名像点的色彩差异最小。在本公开的一个示例中，以灰度图为例，在映射图像上找到一组像素点，使其强度值覆盖0～255。在全景图像上找到同名像点对应的强度值，构建查找表。其中，缺失的数据通过插值构造。本公开通过查指表的方式可以快速准确地建立映射图像与目标全景图像的同名像点的映射关系。基于色彩查找表对选取的视频帧图像的像素点进行
色彩调整。对于多个视频帧图像中除了之前选取的视频帧图像之外剩余的每个视频帧图像，获取每个视频帧图像的所有像素点信息，然后基于色彩查找表对每个视频帧图像的像素点进行色彩调整。
113.在本公开的另一个实施例中，步骤s3
‑
3包括：
114.s3
‑3‑
b
‑
1：基于透视变换映射矩阵，确定全景图像中与每个视频帧图像对应的图像融合区域。其中，由于多个视频帧图像之间的图像采集位置和图像采集角度均相同，因此在将多个视频帧图像中的每个视频帧图像分别与全景图像进行图像融合时，在全景图像中的图像融合区域位置保持不变。
115.s3
‑3‑
b
‑
2：对每个视频帧图像，将全景图像中对应的图像融合区域内的像素点替换为视频帧图像的像素点后，进行羽化。其中，羽化原理是令第一映射图像边缘衔接部分虚化，起到渐变的作用从而达到自然衔接的效果。
116.在本发明的另一个实施例中，步骤s3包括：将多个视频帧图中的每个视频帧图像分别与全景图像进行特征点匹配，基于特征点匹配结果生成每个视频帧图像与全景图像之间的透视变换映射矩阵；基于每个视频帧图像与全景图像之间的透视变换映射矩阵，将每个视频帧图像分别与全景图像进行图像融合。
117.在本实施例中，当采集视频时，如果图像采集参数发生变化，例如图像采集装置发生了抖动导致多个视频帧图像之间的图像采集位置和图像采集角度发生了改变，需要对每个视频帧图像分别建立透视变换映射矩阵，进而基于每个视频帧图像分别建立的透视变换映射矩阵，调整每个视频帧图像在对应的全景图像中的融合位置，保证每个视频帧图像的融合效果。
118.相应地，在基于每个视频帧图像与全景图像之间的透视变换映射矩阵，将多个视频帧图像分别与全景图像进行图像融合，包括：基于每个视频帧图像与全景图像之间的透视变换映射矩阵，生成多个映射图像，多个映射图像包括从每个视频帧图像映射到全景图像的映射图像；基于多个映射图像与全景图像之间的同名像点的色彩差异，分别对多个视频帧图像进行色彩调整；将色彩调整后的多个视频帧图像分别与全景图像进行图像融合。
119.在本实施例中，当对每个视频帧图像分别建立了透视变换映射矩阵后，需要针对每个视频帧图像对应的透视变换映射矩阵进行投射变换，从而可以得到每个视频帧图像对应的映射图像，然后基于每个视频帧图像对应的映射图像进行色彩调整，可以保证每个视频帧图像的融合效果。
120.本公开任一实施例提供的全景视频的生成装置可用于实现本公开上述实施例中全景视频的生成方法。本公开任一实施例提供的全景视频的生成装置可以设置在终端设备上，也可以设置在服务端上，或者部分设置在终端设备上，部分设置在服务端上。
121.图6为本公开实施例的全景视频的生成装置的结构框图。如图6所示，本公开实施例的全景视频的生成装置，包括：全景图像获取模块610、视频帧图像获取模块620、全景帧图像获取模块630和动画生成模块640。
122.全景图像获取模块610用于获取包括目标场景的全景图像。视频帧图像获取模块620用于获取针对目标场景采集的视频，并从视频中选取出多个视频帧图像。全景帧图像获取模块630用于对全景图像与多个视频帧图像进行特征匹配，并基于特征匹配结果，将多个视频帧图像中的每个视频帧图像分别与全景图像进行图像融合，得到多个全景帧图像。动
画生成模块640用于基于多个全景帧图像生成全景视频。
123.在本公开的一个实施例中，多个视频帧图像之间的图像采集位置和图像采集角度均相同。全景帧图像获取模块630包括：
124.视频帧图像获取单元，用于从多个视频帧图像中选取一视频帧图像；
125.第一透视变换映射矩阵生成单元，用于对选取的视频帧图像与全景图像进行特征点匹配，基于特征点匹配结果生成选取的视频帧图像与全景图像之间的透视变换映射矩阵；
126.第一图像融合单元，用于基于透视变换映射矩阵，分别将多个视频帧图像中的每个视频帧图像与全景图像进行图像融合。
127.在本公开的一个实施例中，第一图像融合单元包括：
128.第一映射图像生成子单元，用于基于透视变换映射矩阵，生成从选取的视频帧图像映射到全景图像的映射图像；
129.第一色彩调整子单元，用于基于映射图像与全景图像之间的同名像点的色彩差异，分别对多个视频帧图像进行色彩调整；
130.第一图像融合子单元，用于将色彩调整后的多个视频帧图像分别与全景图像进行图像融合。
131.在本公开的一个实施例中，第一色彩调整子单元用于基于映射图像与全景图像之间的同名像点的色彩差异，生成色彩映射函数或色彩查找表，并基于色彩映射函数或色彩查找表，分别对多个视频帧图像进行色彩调整。
132.在本公开的一个实施例中，第一图像融合单元包括：
133.图像融合区域确定子单元，用于基于透视变换映射矩阵，确定全景图像中与每个视频帧图像对应的图像融合区域；
134.图像融合子单元，用于对每个视频帧图像，将全景图像中对应的图像融合区域内的像素点替换为视频帧图像的像素点后，进行羽化。
135.在本公开的一个实施例中，全景帧图像获取模块630包括：
136.第二透视变换映射矩阵生成单元，用于将多个视频帧图中的每个视频帧图像分别与全景图像进行特征点匹配，基于特征点匹配结果生成每个视频帧图像与全景图像之间的透视变换映射矩阵；
137.第二图像融合单元，用于基于每个视频帧图像与全景图像之间的透视变换映射矩阵，将每个视频帧图像分别与全景图像进行图像融合。
138.在本公开的一个实施例中，第二图像融合单元包括：
139.第二映射图像生成子单元，用于基于每个视频帧图像与全景图像之间的透视变换映射矩阵，生成多个映射图像，多个映射图像包括从每个视频帧图像映射到全景图像的映射图像；
140.第二色彩调整子单元，用于基于多个映射图像与全景图像之间的同名像点的色彩差异，分别对多个视频帧图像进行色彩调整；
141.第二图像融合子单元，用于将色彩调整后的多个视频帧图像分别与全景图像进行图像融合。
142.需要说明的是，本公开实施例的全景视频的生成装置是与全景视频的生成方法对
应的装置，为了减少冗余，对本公开实施例的全景视频的生成装置的具体实施方式不作赘述。
143.另外，本公开实施例还提供了一种电子设备，包括：
144.存储器，用于存储计算机程序；
145.处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的全景视频的生成方法。
146.图7为本公开电子设备一个应用实施例的结构示意图。下面，参考图7来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
147.如图7所示，电子设备包括一个或多个处理器和存储器。
148.处理器可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
149.存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现上文所述的本公开的各个实施例的全景视频的生成方法以及/或者其他期望的功能。
150.在一个示例中，电子设备还可以包括：输入装置和输出装置，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
151.此外，该输入设备还可以包括例如键盘、鼠标等等。
152.该输出装置可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
153.当然，为了简化，图7中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
154.除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的全景视频的生成方法中的步骤。
155.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
156.此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述
的根据本公开各种实施例的全景视频的生成方法中的步骤。
157.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
158.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
159.以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
160.本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
161.本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
162.可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
163.还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
164.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
165.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技
术人员将认识到其某些变型、修改、改变、添加和子组合。