虚拟现实视频流数据处理系统的制作方法

1.本发明涉及数据处理技术领域，尤其涉及一种虚拟现实视频流数据处理系统。


背景技术：

2.虚拟现实技术(virtual reality,简称vr)是通过计算机、电子信息、仿真技术等产生的一个虚拟三维世界，给用户以对应的视觉、听觉和触觉反馈，使用户沉浸其中，就像在真实世界一样。随着虚拟现实技术的发展，由此衍生出虚拟现实视频实时交互程序也因此受到越来越多用户的欢迎，为了营造更加逼真的效果，用于虚拟现实的设备需要很高的配置，极大的提高了虚拟现实视频实时交互的体验成本。视频实时交互程序具体可以为云游戏程序。以虚拟现实云游戏为例，基于云游戏技术，云端渲染游戏画面，通过在客户端连接一台普通配置的虚拟现实眼镜设备,就可以使得用户体验到原本只能在高配置的虚拟现实设备上的才能运行的虚拟现实效果。当前应用于pc桌面或移动端的云游戏，通常采用不高于1080p的分辨率，不高于60的帧率(fps)，所需网络带宽通常为0
‑
8mbps。但是，在虚拟现实云游戏中，若要获得流畅的游戏交互体验，至少需要在2k分辨率下以90fps运行云游戏，若低于该分辨率，用户会看到晶格，低于该帧率，就会出现卡顿。基于此标准，一般至少需要的带宽=2560(分辨率宽)x1440(分辨率高)x90（帧率）/102（编码率x8(bit)=24.81mbps。这高于普通云游戏数倍以上的带宽，当本地用户网速不够或不稳定时，会感到明显的卡顿，无法获得良好的体验，同时高带宽也增加了服务器的运营成本。虽然虚拟现实云游戏使用户通过普通设备体验虚拟现实大作成为了可能，但由于带宽的限制，输出给用户的画面不够清晰，帧率低，很难达到2k,90fps的最低标准，极大的降低了用户的视觉体验。由此可知，如何在不牺牲图像质量的前提下，减小图像编码后数据大小，进而降低带宽需求成了亟待解决的技术问题。


技术实现要素：

3.本发明目的在于，提供一种虚拟现实视频流数据处理系统，在保证图像质量的前提下，减小了图像编码后数据的大小，降低了带宽需求，保证了虚拟现实视频数据播放的清晰度和流畅度，提升了用户视觉体验。
4.根据本发明一方面，提供了一种虚拟现实视频流数据处理系统，包括云服务器，所述云服务器包括数据库、存储有计算机程序的存储器和处理器，所述数据库中存储有每一客户端对应的画面切割参数、区域划分参数、第一编码压缩码率和第二编码压缩码率，所述第一编码压缩码率大于所述第二编码压缩码率，所述服务器包括所述处理器在执行所述计算机程序时，实现以下步骤：步骤s1、基于客户端发送的实时交互程序启动指令启动实时交互程序；步骤s2、接收所述客户端发送的实时交互指令和当前眼球聚焦点位置信息，所述当前眼球聚焦位置信息基于所述客户端所连接的虚拟现实设备获取；步骤s3、基于所述实时交互指令生成当前帧渲染画面；
步骤s4、根据所述客户端对应的画面切割参数切割所述当前帧渲染画面，根据所述客户端对应的区域划分参数和当前眼球聚焦位置信息，将切割后的当前帧渲染画面划分为聚焦区域和边缘区域；步骤s5、将所述聚焦区域的图像按照所述客户端对应的第一编码压缩码率编码压缩，将所述边缘区域的图像按照所述客户端的第二编码压缩码率编码压缩，基于所述聚焦区域的图像和所述边缘区域的图像编码压缩结果生成当前帧压缩数据；步骤s6、将所述当前帧压缩数据发送给对应的客户端，并在所述客户端所连接的虚拟现实设备上进行显示。
5.本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种虚拟现实视频流数据处理系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：本发明在保证图像质量的前提下，将帧图像分块，并采用不同的码率分别压缩编码，减小了图像编码后数据的大小，降低了带宽需求，保证了虚拟现实视频数据播放的清晰度和流畅度，提升了用户视觉体验。
6.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。
附图说明
7.图1为本发明实施例提供的虚拟现实视频流数据处理系统示意图。
具体实施方式
8.为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种虚拟现实视频流数据处理系统的具体实施方式及其功效，详细说明如后。
9.根据本发明实施例提供了一种虚拟现实视频流数据处理系统，如图1所示，包括云服务器，所述云服务器包括数据库、存储有计算机程序的存储器和处理器，所述数据库中存储有每一客户端对应的画面切割参数、区域划分参数、第一编码压缩码率和第二编码压缩码率，所述第一编码压缩码率大于所述第二编码压缩码率，优选的，第一编码压缩码率通常为客户端默认的编码率，即采用现有的编码率算法直接计算得到的编码压缩码率，现有的编码率算法在此不再赘述。所述第一编码压缩码率为c1，所述第二编码压缩码率为c2， c2=a*c2,优选的，a的取值范围为[0.3,0.7]。所述服务器包括所述处理器在执行所述计算机程序时，实现以下步骤：步骤s1、基于客户端发送的实时交互程序启动指令启动实时交互程序；其中，实时交互成具体可以为云游戏程序，对应的，实时交互程序启动指令为云游戏启动指令。
[0010]
步骤s2、接收所述客户端发送的实时交互指令和当前眼球聚焦点位置信息，所述当前眼球聚焦位置信息基于所述客户端所连接的虚拟现实设备获取；其中，所述实时交互指令包括输入设备按键输入指令、虚拟现实设备旋转指令等。
虚拟现实设备具体可以为虚拟现实眼镜，现有的虚拟现实设备可以通过眼镜追踪，定位得到眼球聚焦点位置信息，在此不再赘述体获取过程。
[0011]
步骤s3、基于所述实时交互指令生成当前帧渲染画面；步骤s4、根据所述客户端对应的画面切割参数切割所述当前帧渲染画面，根据所述客户端对应的区域划分参数和当前眼球聚焦位置信息，将切割后的当前帧渲染画面划分为聚焦区域和边缘区域；步骤s5、将所述聚焦区域的图像按照所述客户端对应的第一编码压缩码率编码压缩，将所述边缘区域的图像按照所述客户端的第二编码压缩码率编码压缩，基于所述聚焦区域的图像和所述边缘区域的图像编码压缩结果生成当前帧压缩数据；步骤s6、将所述当前帧压缩数据发送给对应的客户端，并在所述客户端所连接的虚拟现实设备上进行显示。
[0012]
本发明实施例所述系统，在保证图像质量的前提下，将帧图像分块，将帧图像划分为人眼聚焦对应的聚焦区域和非聚焦区域的边缘区域，并采用不同的码率分别压缩编码，将人眼聚焦的区域采用高码率编码，非聚焦的边缘区域采用低码率编码，减小了图像编码后数据的大小，降低了带宽需求，保证了虚拟现实视频数据播放的清晰度和流畅度，提升了用户视觉体验。
[0013]
作为一种实施例，所述处理器在执行所述计算机程序时，还实现以下步骤：步骤s10、接收每一客户端发送的配置参数压缩包，所述配置参数压缩包通过所述客户端的配置界面获取的用户输入的画面切割参数、区域划分参数、第一编码压缩码率和第二编码压缩码率，进行压缩后生成；可理解的是，每一客户端可以根据自身配置需求，通过客户端的配置界面来设置对应的画面切割参数、区域划分参数、第一编码压缩码率和第二编码压缩码率。
[0014]
步骤s20、从所述配置参数压缩保重解析得到所述客户端对应的画面切割参数、区域划分参数、第一编码压缩码率和第二编码压缩码率，存储在所述数据库中。
[0015]
通过步骤s20，基于客户端输入的配置参数，对应在云服务器上配置。
[0016]
作为一种实施例，所述云服务器中预先配置有实时交互程序的输入事件信息，所述步骤s3包括：步骤s31、将所述实时交互指令应用到对应的输入事件信息中，生成当前帧渲染画面信息；步骤s32、渲染所述当前帧渲染画面信息，生成所述当前帧渲染画面。
[0017]
需要说明是，通过步骤s31
‑
步骤s32，能够基于实时交互指令获取到对应的当前帧渲染画面，具体渲染操作直接采用现有技术即可，在此不再赘述。
[0018]
作为一种实施例，所述画面切割参数为n，n为大于等于2的正整数；区域划分参数为r，r为大于等于1的正整数，，其中，m为正奇数，且m小于等于n
‑
2，l为帧渲染画面的分辨率长，w为帧渲染画面的分辨率宽。l和w可以相等，也可以不相等。所述步骤s4包括：步骤s41、将所述当前帧渲染画面的分辨率宽均分为n份，将分辨率高均分为n份，从而将所述当前帧渲染画面划分为n*n份子区域；
步骤s42、根据所述当前眼球聚焦位置信息在所述n*n份子区域中确定目标中心点；其中，所述步骤s42可进一步包括：步骤s421、将所述当前眼球聚焦位置信息所在的子区域的四个顶点位置点确定为候选中心点；步骤s422、将所述候选中心点中距离当前眼球聚焦位置最近的位置点确定为所述目标中心点。
[0019]
步骤s43、基于所述目标中心点和所述客户端对应的区域划分参数r，将子区域中心点距离所述目标中心点在r范围内的子区域确定为聚焦区域，将n*n份子区域中除所述聚焦区域之外的所有其他子区域确定为所述边缘区域。
[0020]
通过步骤s41
‑
步骤s43，将当前帧渲染画划分为了人眼聚焦对应的聚焦区域，和非聚焦区域，即边缘区域，基于不同的区域，采用不同的码率编码压缩，即可减小压缩后数据的大小，通常能够将压缩后的数据降低正常压缩的[0.4,1)倍，而整个过程中的帧率和分辨率是无需做调整的，且本身人眼所看到的非人眼聚焦区域的图像都是模糊的，因此，后续通过较低编码压缩码率编码压缩边缘区域的图像，既不会影响视觉体验，还能够减小压缩后数据大小，从而降低带宽需求。
[0021]
为了进一步减小压缩后数据的大小，可以将边缘区域进一步划分为多个区域，采用不同的编码压缩码率进行压缩，作为一种实施例，所述第二编码压缩码率包括依次减小的第一子编码压缩码率、第二子编码压缩码率，
…
第m子编码压缩码率，m为大于1的正整数；区域划分参数为还包括{r1，r2，
…
r
m
‑1},r
i
为第i边缘区域划分半径，i的取值范围为1到m
‑
1，r1，r2，
…
r
m
‑1依次变大，所述步骤s43还包括：步骤s431、将子区域中心点距离所述目标中心点大于r
i
‑1小于等于r
i
的子区域确定为第i边缘区域，r0的值为r，将大于r
m
‑1的子区域确定为第m边缘区域；从而将所述边缘区域划分为第一边缘区域，第二边缘区域，
…
第m边缘区域，第j边缘区域对应的编码压缩码率为第j子编码压缩率，j的取值范围为1到m；对应的，所述步骤s5中，所述边缘区域的图像按照所述客户端的第二编码压缩码率编码压缩，包括：步骤s511、将每一第j边缘区域按照所述客户端的第二编码压缩码率中的第j子编码压缩率编码压缩。
[0022]
通过步骤s431和步骤s511能够将边缘区域进一步切分，并按照距离聚焦区域从近到远的顺序，采用逐渐减少的编码压缩码率来编码压缩对应的边缘区域图像，能够进一步减小压缩后的数据大小。
[0023]
作为一种实施例，所述系统还包括预设的子区域压缩数据结构，所述子区域压缩数据结构包括数据头子结构和压缩数据子结构，所述数据头子结构包括子区域位置数据段、子区域编码压缩码率数据段和子区域编码压缩后数据大小数据段，所述压缩数据子结构用于存储压缩后的子区域数据，所述步骤s5中，基于所述聚焦区域的图像和所述边缘区域的图像编码结果生成当前帧压缩数据，包括：步骤s51、将所述聚焦区域的每一聚焦子区域按照所述客户端对应的第一编码压缩码率编码压缩，获取压缩后的聚焦子区域数据大小、聚焦子区域位置信息，基于所述聚焦
子区域数据大小、聚焦子区域位置信息、第一编码压缩码率和压缩后的聚焦子区域数据，按照所述子区域压缩数据结构生成聚焦子区域压缩数据；步骤s52、将所述边缘区域的每一边缘子区域按照所述客户端对应的第二编码压缩码率编码压缩，获取压缩后的边缘子区域数据大小、边缘子区域位置信息，基于所述边缘子区域数据大小、边缘子区域位置信息、第二编码压缩码率和压缩后的边缘子区域数据，按照所述子区域压缩数据结构生成边缘子区域压缩数据；需要说明的是，如果通过步骤s431和步骤s511能够将边缘区域进一步切分，则采用与步骤s52中相同的逻辑对每一第j边缘区域种对应的子区域按照第j子编码压缩率编码压缩，并按照所述子区域压缩数据结构生成对应的第j边缘区域种对应的子区域压缩数据即可，在此不再赘述，所有的第j边缘区域种对应的子区域压缩数据合成对应的边缘子区域压缩数据。
[0024]
步骤s53、将所有聚焦子区域压缩数据和边缘子区域压缩数据合成所述当前帧压缩数据。
[0025]
需要说明的是，直接采用现有的将多个数据合成一个整体数据的方式实现步骤s53即可，在此不再赘述。通过将同一帧数据合成一个整体数据发送给客户端，能够保证同一帧图像的数据同时到达对应客户端，避免因为网络不稳定等因素造成部分数据延迟或丢包。
[0026]
作为一种实施例，所述步骤s6中，所述客户端将接收的当前帧压缩数据进行解析，并按照每一子区域的数据头中的子区域数据大小将解析后的当前帧压缩数据切分为n*n份，将每一子区域按照对应的数据头中的编码压缩码率进行解码，将所有子区域解码后的数据发送给所述客户端所连接的虚拟现实设备上进行显示。
[0027]
需要说明的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，部分步骤的顺序可以被重新安排，例如步骤s51和步骤s52可以互换顺序。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
[0028]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。