VR图像的压缩传输方法、系统与流程

vr图像的压缩传输方法、系统
技术领域
1.本发明涉及虚拟现实技术领域，更为具体地，涉及一种vr图像的压缩传输方法、系统。


背景技术：

2.由于科技的进步，市场需求的多元化发展，虚拟现实系统正变得越来越普遍，应用在许多领域，如电脑游戏，健康和安全，工业和教育培训。举几个例子，混合虚拟现实系统正在被整合到移动通讯设备、游戏机、个人电脑、电影院，主题公园，大学实验室，学生教室，医院锻炼健身室等生活各个角落。
3.vr串流、vr直播的核心都是将异地获取的vr图像经过编码传输发送到本地，进行拆包重组和解码后重新显示，因此在降低发送流量的同时保证图像的清晰度具有重要意义。目前视频多使用h264，h265编码压缩，虽然也具有不错的效果，但是由于图像体积过大，分辨率过高，仍然存在着传输效率低的问题，以至于影响vr直播或vr串流的操作体验。
4.因此，亟需一种减少图像、视频传输体积、提高视频传输速率的vr图像的压缩传输方法、系统。


技术实现要素：

5.鉴于上述问题，本发明的目的是提供一种vr图像的压缩传输方法、系统，以解决现有目前视频多使用h264，h265编码压缩，虽然也具有不错的效果，但是由于图像体积过大，分辨率过高，仍然存在着传输效率低的问题，以至于影响vr直播或vr串流的操作体验的问题。
6.本发明提供的一种vr图像的压缩传输方法，其中，包括：
7.获取服务器待发送的视频图像，并根据压缩范围对所述视频图像进行定域压缩以形成第一压缩视频图像；所述压缩范围通过传输样本图像确定；
8.对所述第一压缩视频图像进行视频编码处理以形成传输视频图像；
9.将所述传输视频传输至客户端，并对所述传输视频图像进行视频解码处理以将所述传输视频图像还原为第二压缩视频图像；
10.对所述第二压缩视频图像进行解压缩处理以形成展示视频图像。
11.优选地，通过所述传输样本确定所述压缩范围的过程，包括：
12.通过引导程序使用户的双眼与vr头戴的左镜筒、右镜筒相对应；
13.通过所述左镜筒、右镜筒捕捉由所述服务器发送的标记有盲区范围区域的样本图像；
14.调节所述样本图像的大小使所述盲区范围区域退出所述用户的视野。
15.优选地，根据压缩范围对所述视频图像进行定域压缩以形成第一压缩视频图像的过程，包括：
16.按照所述压缩范围对所述视频图像进行区域锁定以将所述视频图像划分为边缘
区域和中心区域；
17.通过第一图像着色程序对所述边缘区域进行预设倍数压缩采样形成压缩边缘区域；对所述中心区域进行真实采样以形成中心还原区域；
18.将所述压缩边缘区域与所述中心还原区域作为第一压缩视频图像。
19.优选地，所述预设倍数为2倍。
20.优选地，对所述第一压缩视频图像进行视频编码处理以形成传输视频图像的同时，还包括：
21.保存所述视频图像，并将所述第一压缩视频图像的压缩范围和压缩比例记录在所述视频图像的自定义信息帧内。
22.优选地，所述视频编码采用h264或h265视频。
23.优选地，所述第二压缩视频与所述第一压缩视频的分辨率相同。
24.优选地，对所述第二压缩视频图像进行解压缩处理以形成展示视频图像的过程，包括：
25.获取所述第二压缩视频图像的压缩部分与原始部分；其中，所述压缩部分与所述压缩边缘区域相一致；所述原始部分与所述中心还原区域相一致；
26.通过第二图像着色程序对所述压缩部分进行差值采样以将所述压缩部分还原为真实边缘区域，对所述原始部分进行点对点采样已形成真实中心区域；
27.将所述真实边缘区域与所述真实中心区域进行拟合处理以形成展示视频图像。
28.本发明还提供一种vr图像的压缩传输系统，实现前述的vr图像的压缩传输方法，其中，包括：
29.边缘压缩模块，用于获取服务器待发送的视频图像，并根据压缩范围对所述视频图像进行定域压缩以形成第一压缩视频图像；所述压缩范围通过传输样本图像确定；
30.视频编码模块，用于对所述第一压缩视频图像进行视频编码处理以形成传输视频图像；
31.视频解码模块，用于将所述传输视频传输至客户端，并对所述传输视频图像进行视频解码处理以将所述传输视频图像还原为第二压缩视频图像；
32.视频还原模块，用于对所述第二压缩视频图像进行解压缩处理以形成展示视频图像。
33.优选地，所述边缘压缩模块包括图像着色器，其中，
34.在所述图像着色器中设置有第一图像着色程序，所述第一图像着色程序用于对根据所述压缩范围划分的边缘区域进行预设倍数压缩采样以形成压缩边缘区域。
35.从上面的技术方案可知，本发明提供的vr图像的压缩传输方法、系统，首先获取服务器待发送的视频图像，并根据压缩范围对所述视频图像进行定域压缩以形成第一压缩视频图像，而后对第一压缩视频图像进行视频编码处理以形成传输视频图像，再将该传输视频传输至客户端，并对该传输视频图像进行视频解码处理以将该传输视频图像还原为第二压缩视频图像，再对该第二压缩视频图像进行解压缩处理以形成展示视频图像，即使用d3d或opengl计算为介质，利用图像着色程序对边缘的压缩范围内的图像数据进行压缩，从而通过压缩边缘图像的分辨率来减小整体图像的分辨率，从而减小图像体积，提高传输速率，进而提高vr直播、vr串流的稳定性。
附图说明
36.通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
37.图1为根据本发明实施例的vr图像的压缩传输方法的流程图；
38.图2为根据本发明实施例的vr图像的压缩传输方法中涉及的压缩范围示意图；
39.图3为根据本发明实施例的vr图像的压缩传输系统的示意图。
具体实施方式
40.目前视频多使用h264，h265编码压缩，虽然也具有不错的效果，但是由于图像体积过大，分辨率过高，仍然存在着传输效率低的问题，以至于影响vr直播或vr串流的操作体验。
41.针对上述问题，本发明提供一种vr图像的压缩传输方法、系统，以下将结合附图对本发明的具体实施例进行详细描述。
42.为了说明本发明提供的vr图像的压缩传输方法、系统，图1对本发明实施例的vr图像的压缩传输方法进行了示例性标示；图2对本发明实施例的vr图像的压缩传输系统进行了示例性标示。
43.以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
44.如图1所示，本发明提供的本发明实施例的vr图像的压缩传输方法，包括：
45.s1：获取服务器待发送的视频图像，并根据压缩范围对该视频图像进行定域压缩以形成第一压缩视频图像；该压缩范围通过传输样本图像确定；
46.s2：对该第一压缩视频图像进行视频编码处理以形成传输视频图像；
47.s3：将该传输视频传输至客户端，并对该传输视频图像进行视频解码处理以将该传输视频图像还原为第二压缩视频图像；
48.s4：对该第二压缩视频图像进行解压缩处理以形成展示视频图像。
49.如图1所示，步骤s1为获取服务器待发送的视频图像，并根据压缩范围对视频图像进行定域压缩以形成第一压缩视频图像；该压缩范围通过传输样本图像确定；其中，s0：通过该传输样本确定压缩范围的过程，包括：
50.s01：通过引导程序使用户的双眼与vr头戴的左镜筒、右镜筒相对应；
51.s02：通过该左镜筒、右镜筒捕捉由该服务器发送的标记有盲区范围区域的样本图像；
52.s04：调节该样本图像的大小使该盲区范围区域退出该用户的视野。
53.根据压缩范围对该视频图像进行定域压缩以形成第一压缩视频图像的过程，包括：
54.s11：按照该压缩范围对该视频图像进行区域锁定以将该视频图像划分为边缘区域和中心区域；
55.s12：通过第一图像着色程序对该边缘区域进行预设倍数压缩采样形成压缩边缘区域；对该中心区域进行真实采样以形成中心还原区域；
56.s13：将该压缩边缘区域与该中心还原区域作为第一压缩视频图像。
57.具体的，如图2所示，由于vr头戴是通过两个近似圆形的左镜筒、右镜筒看一个长方形的屏幕，正常佩戴时长方形屏幕的边缘是看不到的(图中的黑色部分)，仅仅在视线尽力偏移或头戴急速朝一侧运动时才能看到边缘部分的图像(黑色部分)，此时由于视线异常或由于急速运动，对该部分图像的显示效果很难正常感受，因此可以通过压缩边缘图像的分辨率来减小整体图像的分辨率，从而减小图像体积，故首先通过步骤s0确定压缩范围，在本实施例中，视频产生发送方为服务器，vr头戴为客户端，服务器端与客户端连通后，使用户正常佩戴vr头戴，客户端的引导程序提示用户：确定佩戴正常，观察正常后点击vr头戴的确认按钮，确定边缘左右侧；而后服务器首先预设一个左右侧的位置，比如视频图像为1920的分辨率，预设在480和1440(1920
‑
480＝1440)的位置，0
‑
480和1440
‑
1920分别渲染成纯红色，视频图像的其他部分不变，并将该图像传输到客户端显示，记录原始图像分辨率；此时客户端提示用户点击按钮“ ”或按钮
“‑”
以增加或减小红色区域，直至红色区域仅仅看见少许或看不到且不影响图像整体观感时点击确认。并且客户端发送“ ”或
“‑”
的指令到服务器端，服务器根据该指令调节红色部分的起始边界，直至用户点击确认，记录左右压缩边界，即上下边界重复该过程，进行确认，从而获取压缩范围，也就是说在本实施例中最终确认的红色区域即为压缩范围，从而根据该压缩范围对服务器待发送的视频图像进行定域压缩以形成第一压缩视频图像。
58.并且，在本实施例中，步骤s1中所述的预设倍数为2倍，具体的，在本实施例中，确定压缩范围后，编写图像着色器的第一图像着色程序，在本实施例中，该第一图像着色程序为shader程序，该shader程序利用采样重建图片，以1920*1920分辨率的视频图像为例，假设左右上下压缩边界都是480，采用2倍压缩，则横向0
‑
480部分为边缘区域，对该区域每2个像素采样一次，其中奇数行采样基数点，偶数行采样偶数点；480
‑
1440部分为中心区域，对该区域进行一比一真实采样；经过压缩后形成的第一压缩视频图像被重构为1440*1440大小，此时压缩后部分分别是左右上下的边缘区域各为240，中间未压缩部分的中心区域为960。经过处理，该第一压缩视频图像变为原来的视频图像的0.5625倍，体积缩小明显。
59.在图1所示的实施例中，步骤s2为对第一压缩视频图像进行视频编码处理以形成传输视频图像，在对第一压缩视频图像进行视频编码处理以形成传输视频图像的同时，还包括：
60.保存视频图像，并将第一压缩视频图像的压缩范围和压缩范围记录在视频图像的自定义信息帧内。
61.具体的，在将步骤s1形成的第一压缩视频图像传输至客户端的过程中，需对该第一压缩视频图像进行视频编码，在本实施例中该视频编码采用h264或h265视频编码，如果对第一压缩视频图像进行视频编码，比如h264或h265视频，则同时将边界信息(压缩范围)和压缩比例记录在sei(自定义信息)帧内，以便于后期还原视频图像。同时，若保存原始图像，可以将边界信息和压缩比例记录在同一文件夹下或在bitmap命名时按原分辨率_左右边界_左右压缩比例_上下边界_上下压缩比例的开头进行命名。例如1920#1920_480_2_480_2_自定义名称.bmp。
62.如图1所示，步骤s3为将传输视频传输至客户端，并对传输视频图像进行视频解码处理以将传输视频图像还原为第二压缩视频图像，即在对压缩了边缘区域的第一压缩视频
图像进行视频编码后，传输到客户端后需进行视频解码以获取解码后的第二压缩视频图像，并且在本实施例中，解码后的第二压缩视频图像与视频编码前的第一压缩视频图像是完全相同的，即该第二压缩视频与该第一压缩视频的分辨率相同，以防止视频失真。
63.如图1所示，步骤s4为对第二压缩视频图像进行解压缩处理以形成展示视频图像，其中，对该第二压缩视频图像进行解压缩处理以形成展示视频图像的过程，包括：
64.s41：获取该第二压缩视频图像的压缩部分与原始部分；其中，该压缩部分与该压缩边缘区域相一致；该原始部分与该中心还原区域相一致；
65.s42：通过第二图像着色程序对该压缩部分进行差值采样以将该压缩部分还原为真实边缘区域，对该原始部分进行点对点采样已形成真实中心区域；
66.s43：将该真实边缘区域与该真实中心区域进行拟合处理以形成展示视频图像；
67.步骤s4即对进行边缘压缩了的第二压缩视频图像(等同于第一压缩视频图像)进行解压缩，具体的，在实时串流或实时直播时，已经记录了边界信息(压缩范围)和原始图像分辨率，如果是解压缩存储的文件可以从视频流sei帧内提取或从图片命名中提取，解压缩需要编写图像着色器中的第二图像着色程序，在本实施例中该第二图像着色程序为shader程序，该程序利用采样重建图片，即对于压缩部分利用差值采样将两个点的色素从原图进行扩展，也就是说设置采样器为差值采样，将压缩过的部分恢复到原始大小。对原始部分(图像未压缩部分)，设置采样器为点对点采样；其中，无论是起到压缩作用的第一图像着色程序还是起到解压缩作用的第二图像着色程序均采用opengl或d3d技术为调用shader程序的媒介，从而确保运行速度。
68.并且，需要说明的是，在实时串流或直播过程中，用户可以随时调节压缩范围(边界信息)的大小，而后根据该压缩范围进行步骤s1
‑
步骤s4的定域压缩和针对该定域压缩的解压缩操作，如此使传输视频以小分辨率进行传输，提高传输速率且不影响视频图像的画质和清晰度，保证实时串流或实时直播的质量和稳定性。
69.如上所述，本发明提供的vr图像的压缩传输方法，首先获取服务器待发送的视频图像，并根据压缩范围对视频图像进行定域压缩以形成第一压缩视频图像，而后对第一压缩视频图像进行视频编码处理以形成传输视频图像，再将该传输视频传输至客户端，并对该传输视频图像进行视频解码处理以将该传输视频图像还原为第二压缩视频图像，再对该第二压缩视频图像进行解压缩处理以形成展示视频图像，即使用d3d或opengl计算为介质，利用图像着色程序对边缘的压缩范围内的图像数据进行压缩，从而通过压缩边缘图像的分辨率来减小整体图像的分辨率，从而减小图像体积，提高传输速率，进而提高vr直播、vr串流的稳定性。
70.如图3所示，本发明还提供一种vr图像的压缩传输系统100，实现前述的vr图像的压缩传输方法，其中，包括：
71.边缘压缩模块101，用于获取服务器待发送的视频图像，并根据压缩范围对视频图像进行定域压缩以形成第一压缩视频图像；该压缩范围通过传输样本图像确定；
72.视频编码模块102，用于对第一压缩视频图像进行视频编码处理以形成传输视频图像；
73.视频解码模块103，用于将传输视频传输至客户端，并对传输视频图像进行视频解码处理以将传输视频图像还原为第二压缩视频图像；
74.视频还原模块104，用于对第二压缩视频图像进行解压缩处理以形成展示视频图像。
75.其中，该边缘压缩模块101包括图像着色器，其中，
76.在该图像着色器中设置有第一图像着色程序，该第一图像着色程序用于对根据该压缩范围划分的边缘区域进行预设倍数压缩采样以形成压缩边缘区域；
77.该图像着色器也包括在视频还原模块104中，即在该视频还原模块中也包括图像着色器，在该图像着色器还包括第二图像着色程序，该第二图像着色程序用于对第二压缩视频图像中的压缩部分进行差值采样以将该压缩部分还原为真实边缘区域，对第二压缩视频图像中的原始部分进行点对点采样已形成真实中心区域，从而形成展示视频图像，如此对该服务器发送的视频图像进行完全还原展示，提高传输速率且不影响视频图像的稳定性。
78.通过上述实施方式可以看出，本发明提供的vr图像的压缩传输系统，首先通过边缘压缩模块101获取服务器待发送的视频图像，并根据压缩范围对视频图像进行定域压缩以形成第一压缩视频图像，而后通过视频编码模块102对第一压缩视频图像进行视频编码处理以形成传输视频图像，再通过视频解码模块103将该传输视频传输至客户端，并对该传输视频图像进行视频解码处理以将该传输视频图像还原为第二压缩视频图像，再通过视频还原模块104对该第二压缩视频图像进行解压缩处理以形成展示视频图像，即使用d3d或opengl计算为介质，利用图像着色程序对边缘的压缩范围内的图像数据进行压缩，从而通过压缩边缘图像的分辨率来减小整体图像的分辨率，从而减小图像体积，提高传输速率，进而提高vr直播、vr串流的稳定性。
79.如上参照附图以示例的方式描述了根据本发明提出的vr图像的压缩传输方法、系统。但是，本领域技术人员应当理解，对于上述本发明所提出的vr图像的压缩传输方法、系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。