一种基于前置相机的动态视频清晰度处理方法与流程

1.本发明涉及图像数据处理技术领域，尤其涉及一种基于前置相机的动态视频清晰度处理方法。


背景技术：

2.云游戏是以一种全新的方式向用户提供更高品质的游戏体验，云游戏服务商为了节约硬件成本，采用虚拟化技术在一个gpu上同时运行多个游戏。
3.然而，现有的视频编码方法由于gup处理图像操作的异步性和非抢占性，因此存在着资源分配不平衡的问题，导致游戏服务等级协议得不到保证，这样会导致有些游戏的帧数即画面数量很高，有些游戏的帧数很低，并且客户端在无线网络环境下，图像经过传输之后会丢失一部分帧，使本来帧数就不高的游戏，画面出现严重的花屏、卡顿现象，这样严重影响服务质量，而这些服务质量会促使用户放弃云游戏。


技术实现要素：

4.本发明的目的在于提供一种基于前置相机的动态视频清晰度处理方法，旨在解决现有的视频编码方法资源分配不平衡导致出现花屏、卡顿和响应延迟的问题。
5.为实现上述目的，本发明提供了一种基于前置相机的动态视频清晰度处理方法，包括以下步骤：
6.通过屏幕的前置相机采集用户头部图片，生成头部信息；
7.基于所述头部信息计算用户与所述屏幕之间的距离，得到距离信息，并获取用户指令；
8.对所述用户指令进行解码，得到解码数据；
9.基于所述距离信息和所述解码数据对历史视频编码后进行画面数量调节，得到视音频数据；
10.将所述视音频数据解密后通过所述屏幕进行显示。
11.其中，所述通过屏幕的前置相机采集用户头部图片，生成头部信息的具体方式为：
12.通过屏幕的前置相机采集用户头部图片，得到图片信息；
13.基于所述图片信息提取用户头部特征，得到头部信息。
14.其中，所述基于所述头部信息计算用户与所述屏幕之间的距离，得到距离信息的具体方式为：
15.对所述头部信息进行扫描，得到扫描信息；
16.将所述扫描信息中的头部的面部阴影去除，得到预处理信息；
17.捕捉所述预处理信息中的头部眼睛的位置，得到位置点；
18.计算所述位置点与所述屏幕之间的距离，得到距离信息。
19.其中，所述基于所述距离信息和所述解码数据对历史视频编码后进行画面数量调节，得到视音频数据的具体方式为；
20.将所述位置信息与距离阈值进行比较，生成编码指令；
21.基于所述解码数据对历史视频进行编码，得到视频码流；
22.基于所述编码指令对所述视频码流的画面数量进行调整，得到视音频数据。
23.其中，所述基于所述解码数据对历史视频进行编码，得到预处理视频的具体方式为：
24.基于所述解码数据将历史视频划分成多个方形的像素块，分别对每个像素块依次进行空间预测得到预测残差；
25.将所述预测残差进行变换和量化得到变换系数；
26.对所述变换系数进行熵编码，得到视频码流。
27.本发明的一种基于前置相机的动态视频清晰度处理方法，包括通过屏幕的前置相机采集用户头部图片，生成头部信息；基于所述头部信息计算用户与所述屏幕之间的距离，得到距离信息，并获取用户指令；对所述用户指令进行解码，得到解码数据；基于所述距离信息和所述解码数据对历史视频编码后进行画面数量调节，得到视音频数据；将所述视音频数据解密后通过所述屏幕进行显示，实现了可以根据用户与屏幕之间的距离对视音频数据的画面数量进行调整，解决了现有的视频编码方法资源分配不平衡导致出现花屏、卡顿和响应延迟的问题。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.图1是本发明提供的一种基于前置相机的动态视频清晰度处理方法的流程图。
30.图2是通过屏幕的前置相机采集用户头部图片，生成头部信息的流程图。
31.图3是基于所述头部信息计算用户与所述屏幕之间的距离，得到距离信息的流程图。
32.图4是基于所述距离信息和所述解码数据对历史视频编码后进行画面数量调节，得到视音频数据的流程图。
33.图5是基于所述解码数据对历史视频进行编码，得到预处理视频的流程图。
具体实施方式
34.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
35.请参阅图1至图5，本发明提供一种基于前置相机的动态视频清晰度处理方法，包括以下步骤：
36.s1通过屏幕的前置相机采集用户头部图片，生成头部信息；
37.具体方式为：s11通过屏幕的前置相机采集用户头部图片，得到图片信息；
38.具体的，所述屏幕和所述前置相机为云游戏客户端，如果所述屏幕未配置前置像
机，为其配置前置相机，可通过对所述屏幕外界输入键盘输入用户指令，使用前需确保所述前置相机处于工作状态。
39.s12基于所述图片信息提取用户头部特征，得到头部信息。
40.具体的，通过云游戏服务端基于所述图片信息提取用户头部特征，得到头部信息，仅提取所述头部信息，将其余冗杂信息滤除，避免冗杂信息影响之后对所述头部信息的处理精确度。
41.s2基于所述头部信息计算用户与所述屏幕之间的距离，得到距离信息，并获取用户指令；
42.具体的，通过所述云游戏服务端基于所述头部信息计算用户与所述屏幕之间的距离，得到距离信息，并获取用户指令。
43.基于所述头部信息计算用户与所述屏幕之间的距离，得到距离信息的具体方式为：s21对所述头部信息进行扫描，得到扫描信息；
44.具体的，通过所述云游戏服务端对所述头部信息进行扫描，得到扫描信息。
45.s22将所述扫描信息中的头部的面部阴影去除，得到预处理信息；
46.具体的，将面部的阴影取出后可避免阴影对获取眼睛造成干扰。
47.s23捕捉所述预处理信息中的头部眼睛的位置，得到位置点；
48.具体的，将两个眼睛连线的中点作为位置点。
49.s24计算所述位置点与所述屏幕之间的距离，得到距离信息。
50.具体的，通过计算眼睛到所述屏幕之间的距离，可增加对用户眼睛疲劳判断的精确度。
51.s3对所述用户指令进行解码，得到解码数据；
52.具体的，通过所述云游戏服务端对所述用户指令进行解码，得到解码数据。
53.s4基于所述距离信息和所述解码数据对历史视频编码后进行画面数量调节，得到视音频数据；
54.通过所述云游戏服务端基于所述距离信息和所述解码数据对历史视频编码后进行画面数量调节，得到视音频数据。
55.具体方式为：s41将所述位置信息与距离阈值进行比较，生成编码指令；
56.具体的，用户观看屏幕画面特点为：距离屏幕太近，眼睛容易疲劳，当人眼在疲劳状态下，对画面注意力会降低，这种情况下对画面质量要求就有所下降，而距离屏幕太远对画面的感官就有所下降。当人眼疲劳或者距离屏幕太远情况下，即便云游戏服务端推送高质量的编码，用户也不会感觉出来的，为此，将所述位置距离m与所述距离阈值m比较，如果m《＝m，则说明用户距离屏幕较近，当用户打游戏超过时间t后，用户玩游戏时长t可以通过开始打游戏时剩余时长减去此时的剩余时长获取，此时用户就会视觉疲劳，这个时候适当降低云服务录制游戏的画面数量。如果m》m,则说明用户距离屏幕较远，用户对画面的感观有所下降，此时云游戏服务端应该适当降低录制游戏画面数量。
57.s42基于所述解码数据对历史视频进行编码，得到视频码流；
58.具体方式为：s421基于所述解码数据将历史视频划分成多个方形的像素块，分别对每个像素块依次进行空间预测得到预测残差；
59.具体的，将历史视频划分成多个方形的像素块，例如h.264/avc中以16x16像素为
基本单元(h.264/avc标准是由itu-t和iso/iec联合开发的，定位于覆盖整个视频应用领域)。
60.s422将所述预测残差进行变换和量化得到变换系数；
61.具体的，将所述预测残差进行变换和量化得到变换系数具体方式为：将所述预测残差进行正变换、量化、反量化和反变换得到变换系数。
62.s423对所述变换系数进行熵编码，得到视频码流。
63.具体的，对所述变换系数进行环路滤波后再进行熵编码，得到视频码流
64.s43基于所述编码指令对所述视频码流的画面数量进行调整，得到视音频数据。
65.s5将所述视音频数据解密后通过所述屏幕进行显示。
66.具体的，通过所述云游戏服务端将所述视音频数据解密后通过所述云游戏客户端的所述屏幕进行显示。
67.以上所揭露的仅为本发明一种基于前置相机的动态视频清晰度处理方法较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。