一种沉浸式VR视频的分段渲染方法及系统与流程

摘要: 本发明涉及数据分析,具体涉及一种沉浸式vr视频的分段渲染方法及系统。背景技术:1、沉浸式vr视频分段渲染可以实现通过按需分配资源,将高分辨率聚焦于用户当前视场与...
一种沉浸式VR视频的分段渲染方法及系统与流程

本发明涉及数据分析,具体涉及一种沉浸式vr视频的分段渲染方法及系统。

背景技术:

1、沉浸式vr视频分段渲染可以实现通过按需分配资源,将高分辨率聚焦于用户当前视场与预测方向,大幅降低带宽与解码负载,消除转头黑边与延迟,减轻晕动症,同时保障焦点区域画质最优,在有限算力下实现无缝、清晰的沉浸体验。

2、沉浸式vr视频分段渲染的传统方法仅通过不同分块与视觉中心的几何距离关系对不同分块进行不同分辨率的分配,本质上是静态的空间优先级策略,忽视了用户视觉注意力动态迁移对渲染需求的影响。此种被动式分辨率调度机制未能将视线移动趋势纳入考量,导致高概率注视区域可能未获得充足资源,而低关注区域却占用大量算力,难以在用户头部转动时保障焦点区域的画质连贯性与响应及时性,限制了沉浸体验的优化空间,所得渲染结果不能保证用户的良好观感。

技术实现思路

1、为了解决以上的技术问题,本发明的目的在于提供一种沉浸式vr视频的分段渲染方法及系统。

2、根据本发明实施例的第一方面,提供的一种沉浸式vr视频的分段渲染方法,所采用的技术方案具体如下:

3、采集vr视频数据,并将所述vr视频数据转换为投影格式,进而对所述投影格式的vr视频数据的每个投影面进行分块,获得多个分块;

4、分析所述分块中每个像素点被注视的可能性,以及分析所述分块中每个像素点与所述分块的边界之间的位置关系,确定所述分块中每个边界方向对用户的吸引程度;

5、基于历史vr视频数据,获取用户的历史观看数据中观看视角的移动方向,结合所述吸引程度,分析用户观看视角向每个主方向的移动优先度,预测用户下一步向每个主方向的观看偏重程度;

6、针对当前vr视频数据,分析每个所述分块与当前视觉中心所在分块的距离关系和角度关系,结合所述观看偏重程度,对每个所述分块进行分辨率的分配,进而完成vr视频的播放。

7、在本发明的一些实施例中,分析所述分块中每个像素点被注视的可能性,包括:

8、利用视觉显著性模型对每个所述分块进行分析,生成显著图,获得所述分块中每个像素点被注视的可能概率值。

9、在本发明的一些实施例中,分析所述分块中每个像素点与所述分块的边界之间的位置关系,包括:

10、计算所述分块中每个像素点与所述分块的每个边界之间的第一欧氏距离,得到所述分块中每个像素点与所述分块的边界之间的位置关系。

11、在本发明的一些实施例中,确定所述分块中每个边界方向对用户的吸引程度,包括:

12、预设概率阈值和距离阈值;

13、针对每个所述分块,将所述可能概率值大于所述概率阈值的像素点标记为关注像素点;

14、针对每个所述分块的每个边界,获取所述关注像素点与所述边界的第一欧氏距离小于距离阈值的有效像素点,并统计所述有效像素点的数量,结合所述分块内所有像素点的总数量,获得所述分块中每个边界方向的距离因子;

15、计算所有所述有效像素点被注视的可能概率均值,与计算所有所述有效像素点与所述边界的第一欧氏距离均值,结合所述距离因子,确定所述分块中每个边界方向对用户的吸引程度。

16、在本发明的一些实施例中,基于历史vr视频数据,获取用户对vr视频的历史观看数据中观看视角的移动方向,结合所述吸引程度,分析用户观看视角向每个主方向的移动优先度,包括:

17、基于历史vr视频数据,获取用户的历史观看数据中观看视角的移动方向;

18、提取用户历史观看的所有vr视频数据中所有分块的每个边界方向对用户的吸引程度,分析所述分块的每个边界方向相对于所述分块中的其他边界方向的吸引程度差异情况,获得用户历史观看的所有vr视频数据的所有所述分块的每个边界方向对应的吸引差异度;

19、预设差异度阈值;

20、将所述吸引差异度小于所述差异度阈值的边界方向标记为关注边界方向,并将所述关注边界方向划分为上下左右四个主方向集,获取用户的观看视角向每个所述主方向集移动的次数,结合历史观看数据中观看视角移动的总次数,获得每个主方向的移动因子;

21、计算用户的观看视角向所述主方向集移动时对应的所有所述关注边界方向的吸引差异度均值,得到每个主方向的吸引差异度因子;

22、根据所述移动因子和所述吸引差异度因子,获得用户观看视角向每个主方向的移动优先度。

23、在本发明的一些实施例中,预测用户下一步向每个主方向的观看偏重程度,包括:

24、提取用户当前观看的vr视频数据的所有分块中每个边界方向对用户的吸引程度,获取用户当前观看的vr视频数据的所有所述分块的每个边界方向对应的吸引差异度,结合所述移动优先度,预测用户下一步向每个主方向的观看偏重程度。

25、在本发明的一些实施例中,针对当前vr视频数据,分析每个所述分块与当前视觉中心所在分块的距离关系和角度关系,包括:

26、针对当前vr视频数据,计算每个所述分块与当前视觉中心所在分块的第二欧氏距离,得到每个所述分块与当前视觉中心所在分块的距离关系;

27、针对当前vr视频数据,计算当前视觉中心所在分块到每个所述分块的指向向量与上下左右各主方向的最小夹角,得到每个所述分块与当前视觉中心所在分块的角度关系。

28、在本发明的一些实施例中,针对当前vr视频数据,分析每个所述分块与当前视觉中心所在分块的距离关系和角度关系,结合所述观看偏重程度,对每个所述分块进行分辨率的分配,包括:

29、针对当前vr视频数据,获得每个所述分块与当前视觉中心所在分块的距离关系和角度关系;

30、根据所述距离关系和所述角度关系,结合所述观看偏重程度,获得当前视觉中心下每个所述分块的分辨率需求度;

31、根据所述分辨率需求度,结合当前vr视频数据的最大分辨率和分辨率衰减步长常数,得到当前视觉中心下每个所述分块分配的分辨率。

32、根据本发明实施例的第二方面,提供的一种沉浸式vr视频的分段渲染系统,包括:存储器和处理器,其中:

33、所述存储器,用于存储程序代码;

34、所述处理器,用于读取所述存储器中存储的程序代码,并执行本发明实施例的第一方面所述的方法。

35、在本发明的一些实施例中,所述处理器包括:

36、视频分块模块,用于采集vr视频数据,并将所述vr视频数据转换为投影格式,进而对所述投影格式的vr视频数据的每个投影面进行分块,获得多个分块;

37、吸引性分析模块,用于分析所述分块中每个像素点被注视的可能性,以及分析所述分块中每个像素点与所述分块的边界之间的位置关系,确定所述分块中每个边界方向对用户的吸引程度;

38、观看方向预测模块,用于基于历史vr视频数据,获取用户的历史观看数据中观看视角的移动方向,结合所述吸引程度,分析用户观看视角向每个主方向的移动优先度,预测用户下一步向每个主方向的观看偏重程度;

39、分辨率分配模块,用于针对当前vr视频数据,分析每个所述分块与当前视觉中心所在分块的距离关系和角度关系,结合所述观看偏重程度,对每个所述分块进行分辨率的分配,进而完成vr视频的播放。

40、相较于现有技术,本发明提供的一种沉浸式vr视频的分段渲染方法及系统,具有以下有益效果:

41、本发明通过采集vr视频数据,并将vr视频数据转换为投影格式,进而对投影格式的vr视频数据的每个投影面进行分块,获得多个分块,为后续动态自适应传输与高效渲染奠定基础;通过分析分块中每个像素点被注视的可能性,以及分析分块中每个像素点与分块的边界之间的位置关系,确定分块中每个边界方向对用户的吸引程度,以此作为参考对不同分块的分辨率进行分配;再基于历史vr视频数据,获取用户的历史观看数据中观看视角的移动方向,结合吸引程度,分析用户观看视角向每个主方向的移动优先度,预测用户下一步向每个主方向的观看偏重程度,以此对用户接下来的观看方向进行预测,进而对不同分块的分辨率进行合理安排;最后针对当前vr视频数据,分析每个分块与当前视觉中心所在分块的距离关系和角度关系,结合观看偏重程度,对每个分块进行分辨率的分配,进而完成vr视频的播放,可以保证用户对vr视频的观感体验,消除加载延迟,避免用户转头后先看到模糊再变清晰的过程,让视觉过渡自然,并提升资源效率。