利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放装置及方法与流程

1.本发明涉及虚拟现实播放装置及方法。


背景技术：

2.在现有虚拟现实(virtual reality)影像技术中，为了拼接(stitching)覆盖360度全方位的原始影像，需要利用多个摄像机拍摄多个虚拟现实影像。
3.这样拍摄的多个虚拟现实影像是在同一时间拍摄互不相同的区域的影像。因此，当用户视线移到另一区域而播放中的虚拟现实影像无法覆盖该区域时，必须播放新的虚拟现实影像，而不是播放之前播放的虚拟现实影像。
4.但是，如上所述的现有技术首先需要在服务器中存储多个虚拟现实影像，随着用户视线的变化，需要重新传输与视线对应的虚拟现实影像，因此存在服务器的负担增加的问题。
5.不仅如此，变更文件来流传输的过程中难以进行同步，并且在虚拟现实播放装置发生延迟。
6.对此，本发明的发明人为了解决这些问题，而经过长时间的研究和反复试验，终于完成了本发明。


技术实现要素：

7.技术问题
8.为了解决上述问题，本发明利用一个流影像来流传输多个虚拟现实影像。
9.本发明通过将多个虚拟现实影像结合为一个流影像，将空间的变化置换为时间的变化。即，通过利用一个文件中时间的变化来解决因空间的变化而需要变更流传输的文件的问题。
10.另一方面，多个虚拟现实影像包括拼接原始影像的全部或部分而生成的广域影像、拼接比广域影像更窄的区域而生成的补丁影像。因此，当用户观看与补丁影像对应的区域时，会收看到高画质的影像。
11.并且，多个虚拟现实影像包括将原始影像分割为n个而获得的多个分割影像。多个分割影像可以互不重叠或者有有意的重叠某一区域。
12.假设分辨率相同，与拼接全部原始影像的影像相比，拼接部分影像的画质更高。因此，分割影像更有利于制作高画质的影像。
13.本发明除了同步播放的广域影像、补丁影像、分割影像以外，还可以包括非同步播放的内容。以下，将其称为非同步内容。制作虚拟现实影像的制作人可以通过在多个虚拟现实影像中的任一个上表达非同步内容来实现更多样的表达方式。
14.另一方面，在本发明中未明示的其他多个目的，可以在从以下详细说明及其效果容易推断的范围内进一步考虑。
15.技术方案
16.本发明的第一方面提供一种利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放装置，其包括：流影像输入部，通过流传输接收一个流影像，其包括同一时间在同一地点朝向互不相同的方向拍摄的多个虚拟现实影像；流时间运算部，当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，通过在新播放的虚拟现实影像的基准时间添加当前播放中的虚拟现实影像的播放位置来对新播放的虚拟现实影像进行同步；以及影像播放部，在显示装置上播放流传输的流影像，上述多个虚拟现实影像是由用于实现虚拟现实而生成的一个原始影像所拼接而成的文件，上述流影像是以对各个虚拟现实影像分配的基准时间为基准，在互不相同的时间段配置多个虚拟现实影像的一个文件，需要播放随着用户视线变化而从不同方向拍摄的虚拟现实影像时，上述虚拟现实影像播放装置通过利用各个虚拟现实影像开始的基准时间来跳转流影像的流传输时间的方法，利用一个流影像来播放多个虚拟现实影像。
17.本发明的第二方面提供一种利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放装置，其包括：流影像输入部，通过流传输接收一个流影像，其包括在同一时间拍摄不同方向的多个虚拟现实影像；流时间运算部，当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，对新播放的虚拟现实影像进行同步；以及影像播放部，在显示装置上播放流传输的流影像，上述流影像是以对各个虚拟现实影像分配的基准时间为基准，在互不相同的时间段配置多个虚拟现实影像的一个文件，当根据用户视线择一性播放包含在流影像的第一虚拟现实影像及第二虚拟现实影像时，上述流时间运算部利用如下方法进行同步：1)当需要播放第一虚拟现实影像时，跳转到在第一虚拟现实影像开始的第一基准时间添加当前播放中的虚拟现实影像的播放位置的流时间；2)当需要播放第二虚拟现实影像时，跳转到在第二虚拟现实影像开始的第二基准时间添加当前播放中的虚拟现实影像的播放位置的流时间。
18.本发明的第三方面提供一种利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放方法，其中，通过流传输接收包含多个虚拟现实影像的一个流影像的虚拟现实影像播放装置执行如下步骤：(a)通过流传输接收一个流影像，其包括在同一时间拍摄不同方向的多个虚拟现实影像；(b)播放与当前用户视线对应的虚拟现实影像，并确认播放中的虚拟现实影像的播放位置；以及(c)当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，在新播放的虚拟现实影像的基准时间添加当前播放中的虚拟现实影像的播放位置来对新播放的虚拟现实影像进行同步。
19.本发明的第四方面提供一种利用一个流影像来播放多个虚拟现实影像的虚拟现实影像提供服务器，其包括：影像输入部，接收与原始影像同一时间拍摄不同方向的多个虚拟现实影像；流影像生成部，利用对各个虚拟现实影像分配互不相同基准时间并将多个虚拟现实影像以基准时间为中心配置于互不相同时间段的方法，不将输入的多个虚拟现实影像生成为单独的文件，而将其生成为一个流影像文件；以及流提供部，通过流传输向虚拟现实影像播放装置上传输生成的一个流影像，当待播放的虚拟现实影像随着用户视线的变化而发生变化的情况下，上述流提供部通过跳转一个流影像中的基准时间的方法来提供流影像。
20.在优选实施例中，上述影像播放部包括：广域影像播放部，播放包含在多个虚拟现
实影像的广域影像；以及补丁影像播放部，将包含在多个虚拟现实影像的补丁影像重叠在广域影像上并播放，补丁影像是将广域影像的部分区域由其他画质来表达的影像。
21.在优选实施例中，上述影像播放部包括多个分割影像播放部，使包含在多个虚拟现实影像的分割影像以相互重叠的方式来播放，分割影像可将一个原始影像分割为n个区域且预定区域相互重叠。
22.有益效果
23.本发明具有利用一个流影像来流传输多个虚拟现实影像的效果。通过一个流影像可以播放与所有区域、空间、视角对应的虚拟现实影像，因此，可以减少服务器的负担，并无需在播放多个虚拟现实影像时进行同步。
24.即，本发明将多个虚拟现实影像结合为一个流影像，即使用户视线发生变化，也会通过仅变更一个文件中的流传输的时间来应对，而不是变更待播放的文件。如上所述，本发明提供一种将空间的变化置换为时间的变化的技术，使得具有解决现有技术中提到的技术缺陷的效果。
25.另一方面，本发明可以在广域影像上播放同步的补丁影像。制作人可以在原始影像中选择所需要的部分来制作为补丁影像，并可以制作相对于广域影像画质更高的补丁影像。因此，例如，当制作演出或演讲等视线主要停留在前面部的虚拟现实内容时，具有能够只将部分区域生成为高画质的补丁影像的效果。
26.并且，本发明可以生成将原始影像分割为n个区域的分割影像。分割为n个区域的分割影像可以具有互不相同的画质。因此，在这种情况下，当制作以演出或演讲等视线主要停留在前面部的虚拟现实内容时，也具有能够只将部分区域生成高画质的分割影像的效果。
27.并且，本发明除了同步播放的广域影像、补丁影像、分割影像以外，还可以包括非同步播放的内容。制作虚拟现实影像的制作人可以通过在多个虚拟现实影像中的任一个上表达非同步内容来实现更多样的表达方式。例如，当用户视线注视配置非同步内容的区域时，会激活与播放中的多个虚拟现实影像无关的独立的非同步内容。非同步内容不仅可以是影像，还可以是预定操作、弹窗事件等多种内容。
28.另一方面，补充说明的是，即使是在这里未明确提及的效果，根据本发明的技术特征所预期的以下说明书中记载的效果及其潜在效果均视为记载于本发明的说明书中的效果。
附图说明
29.图1为用于说明本发明的广域影像、补丁影像、多个分割影像的概念的图。
30.图2为用于说明本发明的分割影像的再一实施例的图。
31.图3为示出本发明的虚拟现实影像播放系统的优选实施例的图。
32.图4为用于说明本发明的流影像的结构的优选实施例的图。
33.图5为示出在本发明的流影像中跳转流传输时间的优选实施例的图。
34.图6为示出本发明的虚拟现实影像播放方法的优选实施例的图。
35.在此说明，附图是用于理解本发明的技术思想而作为参考来示例的，本发明的保护范围并不限于此。
具体实施方式
36.在描述本发明的过程中，如果关于所涉及的公知功能是本领域技术人员显而易见的事项且会不必要地混淆本发明要旨时，可以省略详细说明。
37.在本发明中，多个虚拟现实影像是由原始影像拼接而成的影像，是包括广域影像、补丁影像、分割影像的概念。
38.图1为用于说明本发明的广域影像、补丁影像、多个分割影像的概念的图。
39.利用图1的(a)部分来说明本发明的广域影像和补丁影像的概念。当假设由球体来表达整个360度的虚拟现实区域10时，广域影像v0是表达整个360度的虚拟现实区域10或比补丁影像更宽的区域的影像。以下，为了方便说明，将广域影像被说明为覆盖整个虚拟现实区域，但并不限定于此。广域影像v0原则上需要始终播放。
40.补丁影像v1‑3是表达360度的虚拟现实区域10中一部分的影像。补丁影像v1‑3可以具有不同的覆盖区域、不同的面积、不同的画质。例如，第一补丁影像v1可以是覆盖前面部的上端和下端部分区域的高画质的影像。当虚拟现实内容为音乐剧时，第一补丁影像v1可以是覆盖音乐剧舞台的区域。第二补丁影像v2可以是覆盖背面部上端部分区域的影像，第三补丁影像v3可以是覆盖背面部下端部分区域的影像。
41.补丁影像v1‑3通过在广域影像v0上重叠或修补(patched)来播放。因此，即使根据需要关闭(off)播放中的补丁影像v1‑3中的任一个，但由于广域影像v0在后面播放，因此影像中也不会出现空白。
42.补丁影像v1‑3与广域影像v0同步播放。这是因为如果不与广域影像v0进行同步，则补丁影像v1‑3可能导致用户头晕。
43.非同步内容v4是指与多个虚拟现实影像无关的由制作人有意地随意插入的内容。非同步内容v4可以是视频，也可以是特定事件操作。在内容上可以是广告，也可以是与虚拟现实影像相关的事件。
44.非同步内容v4不与多个虚拟现实影像进行同步。即，与补丁影像v1‑3和广域影像v0的同步无关，根据独立的触发信息而播放或操作。在优选实施例中，触发信息包括关于用户视线是否注视非同步内容v4的位置的信息。
45.利用图1的(b)部分来说明本发明的分割影像v1‑
n
的概念(n是大于1的自然数)。
46.在一实施例中，分割影像v1‑
n
可以是通过将一个原始影像分割为相互不重叠的n个区域而获得的影像。多个分割影像v1‑
n
可具有互不相同的大小，并可具有互不相同的画质。
47.多个分割影像v1‑
n
同步播放。多个分割影像v1‑
n
中的部分影像可根据需要关闭(off)。虽然未图示，但是在分割影像v1‑
n
的规定区域可以显示非同步内容v4。
48.图2为用于说明本发明的分割影像的再一实施例的图。
49.在再一实施例中，分割影像v1‑
n
可以相互重叠预定区域。多个分割影像v1‑
n
同步播放。在此情况下，重叠的分割影像以相互重叠的方式播放。可以根据需要关闭(off)多个分割影像v1‑
n
中的部分影像。
50.例如，覆盖180度的四个分割影像可以相互重叠90度(v1为270度～90度、v2为0度～180度、v3为90度～270度、v4为180度～360度)。在视线坐标为45度的情况下，可以开启(on)v1与v2中的任一个，并关闭(off)v3与v4。
51.如上所述，通过重叠分割影像，可以减少播放的分割影像的数量。当然，需要同步
的分割影像的数量也会减少。因此，减少服务器的负担。
52.并且，当重叠分割影像时，其优点在于，在用户视线急剧发生变化时，不需要严格控制根据分割影像中的用户视线的分割影像的开闭(on/off)操作。例如，即使关闭v1，由于v2覆盖0度～90度之间的区域，也就是原来由v1覆盖的区域中的一部分，所以即使分割影像的开闭(on/off)操作被延迟，视野中出现空白(在用户视线中什么都没有显示的故障情况)的概率也会下降。另一方面，广域影像和补丁影像的实施例与分割影像的实施例可以相互混合。例如，可以在多个分割影像的部分区域播放补丁影像。在此情况下，补丁影像重叠的分割影像可以被理解为广域影像。
53.图3为示出本发明的虚拟现实影像播放系统的优选实施例的图。
54.如图3所示，本发明的虚拟现实影像播放系统包括虚拟现实影像播放装置100及虚拟现实影像提供服务器200。
55.本发明的虚拟现实影像播放装置100是用于从虚拟现实影像提供服务器200通过流传输接收流影像并向用户播放虚拟现实影像的装置。在优选实施例中，虚拟现实影像播放装置100可以是包括智能手机等的智能终端或佩戴在用户头部的可穿戴装置，但并不限定于此。
56.在本发明中，多个虚拟现实影像是由用于实现虚拟现实而生成的一个原始影像拼接而成的文件。流影像是以对各个虚拟现实影像分配的基准时间为基准，在互不相同的时间段配置多个虚拟现实影像的一个文件。
57.在本发明中，基准时间是指在一个流影像中特定虚拟现实影像开始的基准点。播放位置是指播放中的虚拟现实影像播放至几分钟。例如，如果有10分钟的虚拟现实影像，并且当前正在播放3分31秒，则播放位置为3分31秒。
58.在本发明中，基准时间、播放位置(或者播放时间)等术语用于说明在影像文件中的特定位置。因此，在这种概念下，上述术语可以置换为标准帧、播放帧等术语。即，可以将时间看作为帧。
59.在本发明的虚拟现实影像播放装置100需要播放随着用户视线变化而拍摄不同方向的虚拟现实影像时，可利用各个虚拟现实影像开始的基准时间来采用跳转流影像的流传输时间的方法。因此，即使接收到一个流影像，也可足以播放多个虚拟现实影像。
60.以下对此进行更详细的说明。在优选实施例中，虚拟现实影像播放装置100可以包括流影像输入部110、流时间运算部120、影像播放部130、视线变化检测部140。
61.流影像输入部110通过流传输接收一个流影像。
62.以往，当对在互不相同的方向拍摄的多个虚拟现实影像进行流传输时，在服务器存储多个虚拟现实影像并且用户视线每次变化时，都需要更改并流传输新的虚拟现实影像文件，因此服务器的负担大。不仅如此，当文件被更改并流传输时，在虚拟现实播放装置发生延迟，而出现问题。
63.但是，由于本发明的流影像输入部110通过流传输接收包括同一时间在同一地点朝向互不相同的方向拍摄的多个虚拟现实影像的一个流影像，因此解决了该问题。即，可通过改变一个流影像中的时间段来拼接多个虚拟现实影像，即使遇到播放另一个虚拟现实影像的情况，也不用麻烦地更改正在流传输中的文件，只要跳转到相应流影像中播放的时间即可。
64.当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，流时间运算部120对新播放的虚拟现实影像进行同步。在优选实施例中，当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，流时间运算部120通过在新播放的虚拟现实影像的基准时间添加当前播放中的虚拟现实影像的播放位置来对新播放的虚拟现实影像进行同步。
65.以下对此进行更详细的说明。当根据用户视线择一性播放包含在流影像中的第一虚拟现实影像及第二虚拟现实影像时，流时间运算部120可以利用以下方法进行同步：
66.1)当需要播放第一虚拟现实影像时，跳转到在第一虚拟现实影像开始的第一基准时间添加当前播放中的虚拟现实影像的播放位置的流时间。
67.2)当需要播放第二虚拟现实影像时，跳转到在第二虚拟现实影像开始的第二基准时间添加当前播放中的虚拟现实影像的播放位置的流时间。
68.但是，在本发明的再一实施例中，流时间运算部可以在虚拟现实影像播放装置中除外。即，虚拟现实影像播放装置可以不用直接运算要跳转的流传输时间，而在虚拟现实影像提供服务器中执行该运算。
69.影像播放部130在显示装置上播放流传输的流影像。
70.视线变化检测部140追踪用户视线方向。为此，视线变化检测部140可包括加速度传感器、倾角传感器等。
71.视线变化检测部140可以检测用户视线方向，并确定是否需要改变播放的虚拟现实影像。当用户视线离开当前播放中的虚拟现实影像的空间(或者视角)的情况下，将其提供给流时间运算部，使得流时间运算部跳转流传输时间。
72.另一方面，在再一实施例中，视线变化检测部140可通过追踪用户视线方向，使追踪的结果传输给虚拟现实影像提供服务器。在这种实施例中，在虚拟现实影像提供服务器中运算跳转的流传输时间。
73.此外，本发明的虚拟现实影像播放装置100还包括用于接收流影像的通信部等结构。
74.虚拟现实影像提供服务器200通过结合多个虚拟现实影像来生成一个流影像，并将其通过虚拟现实影像播放装置进行流传输。在再一实施例中，用于生成流影像的服务器和实际流传输流影像的服务器可以是物理上不同的服务器。
75.虚拟现实影像提供服务器200可包括影像输入部210、流影像生成部220、流提供部230、转换点探索部240。
76.影像输入部210是由用于实现虚拟现实而生成的一个原始影像拼接而成的文件，并接收与原始影像的在同一时间拍摄不同方向的多个虚拟现实影像。
77.流影像生成部220利用对各个虚拟现实影像分配互不相同基准时间并将多个虚拟现实影像以基准时间为中心配置于互不相同时间段的方法，不将输入的多个虚拟现实影像生成为单独的文件，而将其生成为一个流影像文件，则生成的一个流影像中可包括对基准时间的信息。
78.虽然未图示，但流影像生成部220可包括：运行时间分析部，分析播放虚拟现实影像的运行时间；基准时间分配部，生成不小于运行时间的基准时间并将基准时间分配给多个虚拟现实影像中的每一个影像；以及基准时间存储部，存储对多个虚拟现实影像匹配的
基准时间的信息。
79.流提供部230通过流传输向虚拟现实影像播放装置上传输生成的一个流影像。当生成流影像时，分配给多个虚拟现实影像的基准时间可以与流影像一起提供给虚拟现实影像播放装置。流提供部230当用户视线变化而改变播放的虚拟现实影像的情况下，以跳转一个流影像中的基准时间的方法来提供流影像。
80.转换点探索部240是用于在虚拟现实影像播放装置中不直接运算跳转的流传输时间的情况下运算流传输时间的结构。当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，转换点探索部240对新播放的虚拟现实影像进行同步。在优选实施例中，当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，转换点探索部240在新播放的虚拟现实影像的基准时间添加当前播放中的虚拟现实影像的播放位置来对新播放的虚拟现实影像进行同步。
81.图4为用于说明本发明的流影像的结构的优选实施例的图。
82.如图4所示，多个虚拟现实影像v1、v2、v3分别生成不同的文件，如v1.mp4、v2.mp4、v3.mp4。在本发明中，流影像以基准时间s1、s2、s3为中心结合为一个流影像。
83.为此，首先运行时间分析部分析播放各个虚拟现实影像的运行时间。多个虚拟现实影像是由一个原始影像创建而成，因此在大多数情况下，各个虚拟现实影像的运行时间都相同。在图4的实施例中，假设多个虚拟现实影像v1、v2、v3的运行时间分别为10分钟。
84.基准时间分配部生成不小于运行时间的基准时间并将基准时间分配给多个虚拟现实影像中的每一个影像。
85.在优选实施例中，n个虚拟现实影像中第m个虚拟现实影像的基准时间可以通过以下公式计算。
86.基站时间
m
＝运行时间*(m
‑
1)
87.例如，v1的基准时间s1可以为0，v2的基准时间可以为10分钟，v3的基准时间可以为20分钟。
88.基准时间存储部用于存储对多个虚拟现实影像匹配的基准时间的信息。
89.图5为示出在本发明的流影像中跳转流传输时间的优选实施例的图。
90.如图5所示，通过流传输在虚拟现实影像播放装置上播放一个流影像(vtotal.mp4)。假设当前播放中的虚拟现实影像是v1，并播放位置(t
play
)为3分30秒。
91.当用户视线变化而经判断需要播放虚拟现实影像v2时，跳转到在虚拟现实影像v2的基准时间添加播放位置(t
play
)的流传输时间。即，虚拟现实影像v2的基准时间10分钟加上播放位置(t
play
)3分30秒得到的13分30秒就是需要跳转的流传输时间。
92.如上所述，本发明不是更换流传输的文件本身，而是通过改变在一个流传输的文件中播放的时间的方法来解决了现有技术的问题。简单地说，本发明通过将空间的移动置换为时间的移动来解决了现有技术的问题。
93.图6为示出本发明的虚拟现实影像播放方法的图。
94.在本发明的虚拟现实影像播放装置中，多个虚拟现实影像是由用于实现虚拟现实而生成的一个原始影像拼接而成的文件。上述流影像是以对各个虚拟现实影像分配的基准时间为基准，在互不相同的时间段配置多个虚拟现实影像的一个文件。基准时间是指在一个流影像中特定虚拟现实影像开始的基准点。播放位置是指播放中的虚拟现实影像播放至
几分钟。例如，如果有10分钟的虚拟现实影像，并且当前正在播放3分31秒，则播放位置为3分31秒。在本发明中，基准时间、播放位置(或者播放时间)等术语用于说明在影像文件中特定位置。因此，在这种概念下，上述术语可以置换为标准帧、播放帧等术语。即，可以将时间看作为帧。
95.本发明的虚拟现实影像播放方法是当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，通过利用添加各个虚拟现实影像开始的基准时间及播放位置的流传输时间来跳转流影像的流传输时间的方法，即使接收一个流影像，也可以播放多个虚拟现实影像。
96.如图6所示，通过流传输接收包含多个虚拟现实影像的一个流影像虚拟现实影像播放装置执行如下虚拟现实影像播放方法。
97.通过流传输接收包含多个虚拟现实影像的一个流影像，其包含同一时间在同一地点朝向互不相同的方向拍摄的多个虚拟现实影像(步骤s1100)。
98.播放与当前用户视线对应的虚拟现实影像，并确认播放中的虚拟现实影像的播放位置(步骤s1200)。
99.当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，通过在新播放的虚拟现实影像的基准时间添加当前播放中的虚拟现实影像的播放位置来对新播放的虚拟现实影像进行同步(步骤s 1300)。