一种基于全景视频的真实行走漫游系统及方法

1.本发明属于虚拟漫游技术领域，具体涉及一种基于全景视频的真实行走漫游系统及方法。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.全景视频作为一种新兴的媒体呈现形式，具有高自由度、高沉浸感等特点。随着消费级全景相机的推出，人们在家佩戴虚拟现实设备通过全景视频漫游虚拟场景成为一种可能。然而，由于空间的限制，难以通过真实行走的交互方式进行漫游全景视频拍摄的大场景。
4.首先，对于大多数虚拟场景的漫游方式根据用户在实际空间中是否移动分为静止漫游和移动漫游。静止漫游主要是通过控制器或键盘等设备输入移动命令进行漫游，这种漫游方式缺乏沉浸感和真实感。使用移动漫游的方式能够为用户带来更加真实和舒适的体验，然而有限的物理空间无法支持用户漫游大范围的全景视频虚拟场景。
5.其次，大多数虚拟场景是通过三维重建技术模拟真实的场景，然而这种方法对硬件设备的要求高，制作周期长，开发工作量大，并且普通用户无法参与创作。基于全景图的内容生成是对固定地点拍摄的全景图像，通过立体投影转换，映射到立方体或球体中进行展示。这种方式虽然操作简单，支持创作主体多元化，但是用户观看时只能基于全景图拍摄的地点进行观看，无法实现连续性的漫游。


技术实现要素：

6.本发明为了解决上述问题，提出了一种基于全景视频的真实行走漫游系统及方法，本发明能够组织全景视频的载入顺序，模拟生成大范围的虚拟场景，并且支持用户佩戴虚拟现实设备在有限空间中通过真实行走的交互漫游方式进行沉浸式虚拟漫游，保证用户的临场感。
7.根据一些实施例，本发明采用如下技术方案：
8.一种基于全景视频的真实行走漫游方法，包括以下步骤：
9.获取需要漫游区域的全景视频，每一段全景视频构成一个独立的路径序列；
10.记录每个节点的位置信息和每段全景视频的起止点和视频长度，生成二维地图，基于所述节点将全景视频的路径分段，并基于路径分段存储全景视频序列；
11.通过二维地图位置与全景视频帧数之间的映射关系，以及用户物理空间信息和虚拟空间中位置的映射关系，定位全景视频的帧序列，根据所述帧序列，进行连续性选择帧播放。
12.作为可选择的实施方式，需要漫游区域的全景视频的获取方法包括用户自行创作拍摄全景视频或调取已有场景的全景视频。
13.作为可选择的实施方式，根据各个节点信息，生成一个无向加权图，通过邻接矩阵进行保存节点之间的连接信息，初始化所述邻接矩阵中所有值为零，通过节点的序号寻找路径是否存在，如果存在，更新邻接矩阵中对应元素用于存储所述路径的长度，如果不存在，则对应元素仍旧为零。
14.作为可选择的实施方式，二维地图位置与全景视频帧数之间的映射关系为确定每段路径的起始节点和终止节点，在两个节点之间生成一条通路，并在二维平面上连接两个节点，表示为节点之间的二维路径。
15.作为可选择的实施方式，还包括根据用户视角预测用户漫游路径，具体过程包括：当用户到达节点时，根据用户的视角进行路径的切换，切换的依据为用户视角与各个节点的夹角，每个节点处记录了于其相邻节点的路径信息，获取以该节点为坐标原点，前进方向为零度角方向的节点转弯处各路径的夹角，用户视角方向与各夹角方向进行比较，选取夹角最接近的路径为用户的下一个漫游路径。
16.一种基于全景视频的真实行走漫游系统，包括：
17.头戴式显示设备交互模块，被配置为展示渲染画面，确定用户的物理空间信息，采用重定向算法计算实现漫游；
18.全景视频获取模块，被配置为获取需要漫游区域的全景视频，每一段全景视频构成一个独立的路径序列；
19.二维地图模块，被配置为记录每个节点的位置信息和每段全景视频的起止点和视频长度，生成二维地图，基于所述节点将全景视频的路径分段，并基于路径分段存储全景视频序列；
20.位置逻辑图模块，被配置为通过二维地图位置与全景视频帧数之间的映射关系，以及用户物理空间信息和虚拟空间中位置的映射关系，定位全景视频的帧序列；
21.全景视频模块，被配置为根据所述帧序列，进行连续性选择帧播放。
22.作为可选择的实施方式，还包括数据管理模块，用于存储并管理节点信息、路径信息以及用户漫游时的物理空间信息。
23.作为可选择的实施方式，所述节点的信息包括节点序号、节点名称、节点所处实际地理位置的经纬度信息；
24.所述路径的信息包括路径的长度信息，起始节点编号、终点编号和对应的视频存储路径；
25.所述物理空间信息包括用户所在空间的位置和朝向。
26.作为可选择的实施方式，所述二维地图模块，包括：
27.节点的位置生成模块，被配置为通过节点的经纬度信息和屏幕的分辨率的关系，将节点映射到二维平面上；
28.路径的映射模块，被配置为查询数据库中每段路径的起始节点和终止节点，在两个节点之间生成一个通路，并在二维平面上连接两个节点，表示为节点之间的二维路径；
29.虚拟场景位置表示模块，被配置为接收用户实际位置信息，通过计算的对应路径的帧数信息定位用户在虚拟场景中的位置。
30.作为可选择的实施方式，所述位置逻辑图模块，包括：
31.节点连接关系存储模块，被配置为使用邻接矩阵存储节点之间的连接信息，利用
一个遍历节点的寻找最大的节点编号建立邻接矩阵，通过节点序号寻找路径是否存在，如果存在，则邻接矩阵中存储路径的长度；若不存在，则为初始值；
32.快速查找模块，被配置为使用哈希表查找两个节点查询这之间是否有路径。
33.作为可选择的实施方式，所述头戴式显示设备交互模块，包括：
34.重定向模块，被配置为根据实际空间面积，计算出可容纳最大圆的半径以及曲率，在漫游过程中，动态引入平移增益、旋转增益和曲率增益进行引导，不断将用户的行走路径引导到所述圆上；
35.安全边缘重置模块，被配置为当用户走到安全范围边缘，采用基于2：1旋转算法的改进，播放全景视频的视角旋转180
°
，使用户重新在安全范围内并继续完成路径的漫游。
36.与现有技术相比，本发明的有益效果为：
37.本发明仅通过全景视频，在佩戴虚拟现实设备(如htcvive，vr一体机等设备)的情况下可以实现有限空间内对各种场景的行走漫游。这种方法成本低，简单高效，易于操作。
38.本发明采用无既定路径的引导至圆的重定向算法，并在边界处改进了2：1旋转算法，增强了体验的沉浸感。
39.本发明支持用户自主创作漫游场景，具有较大的灵活性。
40.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
41.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
42.图1为本实施例的系统流程图；
43.图2(a)为本发明实施中所述部分的全景视频命名方式；
44.图2(b)为本发明实施中所述的sqlite数据库中节点位置信息的配置；
45.图2(c)为本发明实施中所述sqlite数据库中对应图2(a)的全景视频序列的路径数据信息的配置；
46.图3为本发明实施中根据sqlite数据库信息生成的位置逻辑图；
47.图4为本发明实施中所述的全景视频帧数与位置逻辑图的映射可视化说明；
48.图5为本发明实施中对节点信息配置的对应全景视频序列的二维平面图；
49.图6(a)为本发明实施中所述的reset机制中用户即将碰撞物理边界及用户视角图。
50.图6(b)为本发明实施中所述的reset机制中用户转身后及用户视角图。
51.图7为本发明实施中所述的基于头戴式显示设备在节点处预测用户漫游意图的说明。
具体实施方式：
52.下面结合附图与实施例对本发明作进一步说明。
53.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常
理解的相同含义。
54.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
55.以佩戴htcvive头戴式显示器进行校园全景视频的真实行走漫游进行实例说明，当然，在其他实施实例中，可以佩戴其他头戴式显示设备进行其他场景的真实行走漫游。
56.一种基于全景视频的真实行走漫游系统，该系统支持用户根据自身需求或游客需要，上传拍摄的全景视频，并对视频根据节点进行编号；然后用户根据全景视频序列，自主配置sqlite数据库中节点(即路口)的位置信息和每段全景视频的路径信息；最后系统通过经纬度转换算法，根据节点信息生成位置逻辑图和二维地图，用户佩戴htcvive在3.5m*3.5m的真实物理空间中行走漫游。该系统可以支持景区工作人员或游客进行配置，实现疫情防控期间足不出户真实行走漫游旅游景点或城市，能够有效环境疫情防控的压力。
57.具体的，所述基于全景视频的真实行走漫游系统由5个主要功能模块构成，包括：数据组织管理模块、位置逻辑图模块、二维地图模块、头戴式显示设备交互模块、全景视频模块。
58.所述数据组织管理模块，用于sqlite数据库中的数据配置和数据读写，主要负责维护节点数据和路径数据；
59.所述位置逻辑图模块，将节点数据生成加权无向图，可视化节点之间的逻辑关系，并通过头戴式显示设备的位置及方向信息，计算出用户所处逻辑地图中的地理位置。
60.所述二维地图模块，实现场景的全局性呈现，并实时定位用户所在位置。在进行行走漫游的过程中，根据用户需求可进行连续性漫游体验和指定地点后的跳跃性快速漫游体验。
61.所述头戴式显示设备交互模块，主要用于输出头戴式显示设备在物理空间中的位置信息，通过该位置信息，在上述位置逻辑图模块计算出全景视频中对应的帧数进行呈现，并且实现发生物理边界碰撞的检测，在即将发生物理边界碰撞时调用reset机制。
62.所述全景视频模块，用于定位到位置逻辑图模块计算出的帧数，并且实现基于预测用户转向意图的视频预加载。
63.使用上述的基于全景视频的真实行走漫游系统，包括以下步骤：
64.(1)用户选择创作模式上传分段拍摄的全景视频，并按规定格式进行编号。
65.(2)完成数据库的基本配置：采用sqlite数据库和navicat数据库可视化软件，进行简单的数据库配置，录入节点的位置信息no de(节点编号，节点名称，经度位置，纬度位置)和视频路径的信息pathdata(起始节点，终止节点，视频存放路径，路径长度)。
66.(3)开启位置逻辑图模块：初始化逻辑地图，建立id与节点之间的映射关系，并通过两个节点查询路径；同时接收上述头戴式显示设备交互模块中用户的位置和角度信息，更新用户所在虚拟场景中的位置。
67.(4)开启二维地图模块：进入系统后，在主场景中屏幕右上角会有简化场景地图，点击该地图，二维地图会放大，切换到地图界面，出现更为细节化的地图模型；光标会实时跟踪用户位置，并同步在大小地图上呈现；进入大地图后，可以看到各场景地点名以及相关
路径，点击地点或路径上任意一点系统会自动跳到对应场景。
68.(5)开启头戴式显示设备交互模块：实时检测用户在物理空间中走动的位置信息和朝向信息，通过重定向机制，减少用户与物理边界碰撞的可能性，并在距离物理边界0.5m时开始调用reset机制，确保用户真实行走漫游的安全。
69.(6)开启全景视频模块：显示场景中播放全景视频的球形“幕布”，并通过上述头戴式显示设备的位置信息和朝向信息，预测用户行走漫游路径，并预加载到场景中，实现节点处的无缝漫游。
70.所述步骤1中，用户选择创作模式或者漫游模式，若选择漫游模式，则可以对数据库中已经创作好的场景进行漫游；若选择创作模式，则可以上传通过全景相机拍摄的全景视频序列，并按照统一的编号格式进行命名。具体格式为：“初始节点编号-终止节点编号.mp4”，便于其他模块根据两节点编号定位对应的全景视频序列。
71.所述步骤2中，若用户选择漫游模式，则可跳过步骤2。若当用户选择创作模式并上传拍摄的全景视频后，需要对拍摄节点和拍摄路径的信息进行更新。具体为：路口节点数据的编号与经纬度信息，包含下表所示的信息。
72.字段名类型说明idint节点序号namevarchar节点名称(例如餐厅、操场)longitudedecimal经度latitudedecimal纬度
73.其中经度和纬度信息，可以通过地图在线网站获取。
74.拍摄每段全景视频的路径信息，包含下表所示的路径长度、起始点、终点以及对应的视频路径信息。
75.字段名类型说明lengthfloat路径长度(以视频时长近似)startint起始节点endint终点vurltext对应的视频存储路径
76.所述步骤3中，具体方法包括：
77.(3-1)初始化逻辑地图：使用邻接矩阵存储节点之间的连接信息，为了节省系统开销，增加了一个遍历节点的寻找最大的节点编号，以此编号建立邻接矩阵的方法。初始化邻接矩阵，矩阵储存的所有值为no_path，通过节点的id寻找路径是否存在，如果存在，则邻接矩阵中存储路径的长度；若不存在，则为no_path。
78.(3-2)使用id查询节点，使用节点查询路径，与lggraphoutput接口对应。使用哈希表查找两个节点查询这之间是否有路径，哈希表用于处理和表现类似(key，value)的键值对，key通常可用来快速查找。哈希表的建立方法：
79.id-node表：键值对(节点的id,节点)
ꢀꢀ
(3)
80.id，id-pathdata表：键值对((id，id)，pathdata)
ꢀꢀ
(4)
81.(3-3)通过用户在物理空间中的位置信息与角度信息，实现location和angle的映射。具体的：若用户在节点处通过头盔转向自动预测了路径，则加载基于预测的漫游路径，
并且实时更新用户位置；若用户在节点处还没有切换路径，但用户跳跃式漫游选择了其他路径，则加载用户点击位置的路径，并实时更新到用户点击位置对应的视频帧。其中位置映射关系如下：
82.location＝prelocation rate*(x-tx)/length
ꢀꢀ
(5)
83.其中，rate为一确定量，用于确定视频播放速度与人行走速度的比率，需要通过实验验证，当rate取[7.5，10]之间时，最符合人的真实行走速率。
[0084]
如图4所示，公式(5)中x表示当前帧用户位置，tx表示上一帧用户位置，通过计算系统中当前帧用户位置与上一帧用为位置的差值得到用户位置变化量，将其与rate相乘后除以当前路径的长度，可以获得用户位置变化量占总距离的比率，再与上一帧行进的视频帧数加和，可以得到目前用户所处位置占整个路径的比率值(在0-1之间)，在系统中用其表示用户所在全景逻辑地图的位置。
[0085]
所述步骤4中，具体实现方法包括：
[0086]
(4-1)节点的位置生成，二维地图中地点使用ui中的button组件，先在场景中建立一个button作为父物体，在c#脚本中参照父物体复制出对应节点数量的button组件，并修改各自的坐标，添加监听器，当button被按下，输出相应的数据给位置逻辑图模块，即可进行场景的切换。
[0087]
由于数据库中存储的为各地点的经纬度，而在unity中展示时，要确定位置需要使用横纵坐标，因此根据如下公式将经纬度转换为一根节点为坐标原点的平面坐标。
[0088][0089][0090]
其中e表示所处地点的偏心率，计算公式为：
[0091][0092]
θ表示所处地点的纬度，a表示地球类似椭圆的半长轴长度，b表示地球类似椭圆的半短轴长度。
[0093]
在进行坐标转换时，转换后的坐标位置可能会超出画布，由此可能会导致自定义按钮以及路径偏离中央位置，针对此在脚本中对地点位坐标与画布间建立一定约束关系，让原点为点位最小横纵坐标，并定位在画布左下角3/4处，同时调整其他点位的放缩保证点位始终在画布中央3/4区域内，由此实现二维地图模块儿的可延展性。
[0094]
(4-2)路径，路径采用slider组件，实现方式与节点类似。slider的坐标使用节点脚本中的node列表，取起点终点的中点作为slider的坐标数据，在通过起点终点的位置计算路径的朝向，通过旋转直接以结点匹配，slider的缩放比例与起点终点的直线距离相关。由于slider成员变量value可以直接表示用户点击位置占路径比重，所以选择slider作为路径，可以直接输出value值到逻辑位置图从而更细致地调整用户所在位置。路径与结点都是通过数据库动态生成，因此保证了系统的延展性。
[0095]
(4-3)在本实施例中，用户实时虚拟场景中的位置表示为光标，光标采用ui中的image组件，光标图案支持用户自选，脚本中与位置逻辑图模块对接，实时接收用户位置，并
更新到光标的坐标和旋转角度。具体的：从位置逻辑图中得到position信息，通过pathdata中的数据定位用户所在路径的起点a和终点b，进一步的来确定用户的坐标范围，通过location得到用户所在路径的比重p，最后运用一下公式计算光标的坐标f
x
和fy：
[0096]fx
＝a
x
p*(b
x-a
x
)
ꢀꢀ
(9)
[0097]fy
＝ay p*(b
y-ay)
ꢀꢀ
(10)
[0098]
angle表示与视频正方向相对的角度，可直接利用欧拉角向四元数转换的函数应用到光标的rotation上。
[0099]
所述步骤5中，具体实现方法包括：通过lighthouse定位技术，追踪htcvive在物理空间中的位置信息，采用引导至圆的重定向算法实现小空间漫游。根据实际空间面积3.5m*3.5m，计算出可容纳最大圆的半径1.75m，在接下来的漫游过程中，动态引入平移增益、旋转增益和曲率增益进行引导，使用户在行走过程中，不断将其行走路径引导到圆上。此外，通过reset机制，确保用户漫游行走的安全性。如图6所示，采用基于2∶1旋转算法的改进方法，在用户即将到达安全边界时，系统提示用户转身向后，面向安全边界内，但此时用户的视角会看向原行进方向的反方向，所以同时旋转180
°
全景视频呈现的材质球，以保证用户的漫游视角不变，并在安全范围内继续路径的漫游。
[0100]
所述步骤6中，根据用户视角预测用户漫游路径，具体过程包括：当用户到达节点时，会根据用户的视角自动进行路径的切换。切换的依据为用户视角与各个节点的夹角。如图7所示，每个节点处记录了于其相邻节点的路径信息，并且通过实际测量或者开放的地图(如百度地图、高德地图等)获取以该节点为坐标原点，前进方向为零度角方向的节点转弯处各路径的夹角，用户视角方向与各夹角方向进行比较，选取夹角最接近的路径为用户的下一个漫游路径。但是由于用户的视角数据来自于头戴式显示设备，所以夹角的基准坐标系与计算节点角度的基准坐标系并不一致。因此将来自头戴式显示设备的偏转角转化为相对于出发点为原点与x轴方向的夹角。实际上，头戴式显示设备数据内的偏转角(绕y轴转角)表示的是用户视角与全景视频负方向的夹角。视频负方向与以出发点为原点的x轴方向上的夹角同样可以用anglecaculator得出，记为α，最终用于判断的角度θ：
[0101]
θ＝f(roty)-α
ꢀꢀ
(11)
[0102]
其中roty表示头戴式显示设备绕y轴的偏转角。
[0103]
由于htcvive记录偏转角范围为[-180
°
，180
°
]，而anglecaculator对角度的计算范围为[0
°
，360
°
]，因此需要用到函数f实现两种进制的转化。
[0104]
以图7为例，ob路径初始处与用户原行进方向夹角为30
°
，od路径初始处与用户原行进方向夹角为90
°
，oa路径初始处于用户原行进方向夹角为180
°
，oc路径初始处与用户原行进方向夹角为-90
°
。用户即将到达路口处，用户视角方向θ＝75
°
，通过比较，预测用户下一个漫游路径为od。
[0105]
作为一种典型实施例，如图1所示，本实施例的系统流程图：
[0106]
(1)开启。
[0107]
(2)用户选择创作模式或者漫游模式。
[0108]
(3)判断用户是否选择的模式为创作模式，如果是跳转步骤(4)；否则，跳转步骤(8)。
[0109]
(4)用户上传拍摄好的全景视频序列，并按规定格式进行命名。
[0110]
(5)用户配置sqlite数据库进行数据的更新。
[0111]
(6)进行位置逻辑图的自动生成。
[0112]
(7)二维地图地理信息与全景视频帧数的映射。
[0113]
(8)判断是否漫游到达节点出，如果是跳转步骤(9)；否则跳转步骤(10)。
[0114]
(9)预测用户漫游意图，并与加载对应的全景视频。
[0115]
(10)判断用户物理空间中的位置是否即将触碰物理边界，如果是跳转步骤(11)；否则，跳转步骤(12)。
[0116]
(11)调用reset机制，确保用户的安全性和转身后继续该路径的漫游。
[0117]
(12)判断是否结束漫游，如果是则退出系统；否则跳转步骤(8)。
[0118]
如图2(a)所示，用户上传全景视频时需要按照规定的命名方式进行命名，便于系统在读取全景视频时能够精准通过节点进行查询并加载。图2(b)展示了上述sqlite数据库中用户对节点信息的更新和配置，其中关键信息为节点的id编号和节点的经纬度信息，图2(c)为每段全景视频的路径信息，主要包括视频录制过程中的开始节点和终止节点以及视频的时长信息。
[0119]
如图3所示，跟据图2数据库中的节点信息和全景视频路径信息，生成该实施例的位置逻辑图，其中权值为每段全景视频的视频时长。
[0120]
如图5所示，基于图3生成包括全景视频路径的二维地图，并以实际二维地图作为底层图层，给用户提供整体预览的效果，并通过点击二维地图中的路径位置，实现路径的快速切换。
[0121]
如图6(a)所示，用户即将碰撞物理空间边界时，系统会进行声音提示，并调用reset机制，使得用户转身进入安全区域后的视角(如图6(b)右)与之前的视角(如图6(a)右)保持一致，完成路径的继续行走漫游。
[0122]
图4、7分别在上述步骤(3-3)中和步骤6中已说明，在此不再赘述。
[0123]
上述实施例提供的基于全景视频的真实行走漫游系统及方法可以实现，具有广阔的应用前景。
[0124]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0125]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0126]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
[0127]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0128]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。