图像处理方法及装置与流程

1.本公开涉及图像处理领域，尤其涉及图像处理方法及装置。


背景技术：

2.随着云技术的发展，用户可以使用算力较低的终端设备，例如虚拟现实(virtual realty，vr)眼镜或者计算机来运行高算力的云游戏。在云端将云游戏的视频图像进行编码，以压缩码流。在终端设备上，对云游戏的视频图像进行解码和显示。但是，由于云游戏的视频图像一般具有很高的分辨率，例如8k(7680x4096)，编码和传输如此巨大的视频图像需要很高的算力，同时，为了使得用户在体验云游戏时，不产生眩晕感，需要很高的刷新频率，至少要达到144hz以上，如此一来，单位时间内传输的码流将会非常大，需要占用很大的网络带宽以传输码流，在网络质量较差，网络带宽不够时,会降低云游戏视频图像的刷新频率，使得用户在观看云游戏时，会产生眩晕感，用户体验较差。


技术实现要素：

3.本公开实施例提供一种图像处理方法及装置，能够解决现有技术需要很高的算力且需要占用很大的网络带宽的问题。所述技术方案如下：
4.根据本公开实施例的第一方面，提供一种图像处理方法，应用于图像接收端，包括：
5.获取用户观看屏幕上显示的前帧图像的注视点；
6.根据所述注视点确定用户在屏幕上的第一关注区域；
7.将所述第一关注区域发送至图像发送端，以便所述图像发送端根据所述第一关注区域对下一帧图像进行采集并编码；
8.接收所述图像发送端发送的下一帧图像的码流并对所述下一帧图像的码流进行解码，生成所述下一帧图像。
9.本公开实施例提供的图像处理方法，图像接收端能够将第一关注区域发送至图像发送端，使得图像发送端能够对第一关注区域对应的无损采集区域内的下一帧图像无损采集后编码传输，提高清晰度，满足用户的观看需要，并对根据第一关注区域确定的下采样区域的下一帧图像下采样后编码传输，减少数据的处理量以及数据的传输量，在不影响用户观看体验的前提下降低算力并且降低占用带宽，避免了网络带宽不够时，会降低云游戏视频图像的刷新频率，使得用户在观看云游戏时，会产生眩晕感，用户体验较差的问题。
10.在一个实施例中，所述根据所述注视点确定用户在屏幕的第一关注区域后，所述方法还包括：
11.根据所述第一关注区域确定用户屏幕上的第二关注区域；
12.所述将所述第一关注区域发送至图像发送端包括：
13.将所述第一关注区域以及所述第二关注区域发送至图像发送端。
14.在一个实施例中，所述根据所述第一关注区域确定用户屏幕上的第二关注区域包
括：
15.根据所述第一关注区域确定用户屏幕上的第三关注区域，所述第一关注区域位于所述第三关注区域的中心，所述第三关注区域面积是的所述第一关注区域面积的预设倍数；
16.将所述第三关注区域中除所述第一关注区域外的区域作为所述第二关注区域。
17.根据本公开实施例的第二方面，提供一种图像处理方法，应用于图像发送端，所述方法包括：
18.接收图像接收端发送的第一关注区域；
19.根据所述第一关注区域确定下一帧图像的无损采集区域以及下采样区域，所述下采样区域为所述下一帧图像中除所述无损采集区域外的区域；
20.对所述无损采集区域内的下一帧图像进行无损采集，生成无损图像；
21.对所述下采样区域内的下一帧图像进行下采样，生成下采样图像；
22.对所述无损图像和所述下采样图像进行编码，生成所述下一帧图像的码流；
23.将所述下一帧图像的码流发送至所述图像接收端。
24.本公开实施例提供的图像处理方法，能够对第一关注区域对应的无损采集区域内的下一帧图像无损采集后编码传输，提高清晰度，满足用户的观看需要，对下采样区域的下一帧图像下采样后编码传输，减少数据的处理量以及数据的传输量，在不影响用户观看体验的前提下降低算力并且降低占用带宽，避免了网络带宽不够时，会降低云游戏视频图像的刷新频率，使得用户在观看云游戏时，会产生眩晕感，用户体验较差的问题。
25.在一个实施例中，所述接收图像接收端发送的第一关注区域包括：
26.接收所述接收图像接收端发送的第一关注区域和第二关注区域；
27.所述根据所述第一关注区域确定下一帧图像的无损采集区域后，所述方法还包括：
28.根据所述第二关注区域在所述下采样区域中确定第一下采样区域和第二下采样区域，所述第二下采样区域为所述下采样区域中除所述第一下采样区域外的区域。
29.在一个实施例中，所述对所述下采样区域内的下一帧图像进行下采样，生成下采样图像包括：
30.对所述第一下采样区域内的下一帧图像进行第一下采样，生成第一下采样图像，所述第一下采样的比例为第一比例；
31.对所述第二下采样区域内的下一帧图像进行第二下采样，生成第二下采样图像，所述第二下采样的比例为第二比例且所述第二比例小于所述第一比例；
32.所述对所述无损图像和所述下采样图像进行编码包括：
33.对所述无损图像、所述第一下采样图像和所述第二下采样图像进行编码。
34.通过对所述第一下采样区域内的下一帧图像进行第一下采样，能够减少第一下采样区域的下一帧图像的数据处理量以及数据传输量。通过对所述第二下采样区域内的下一帧图像进行第二下采样，能够进一步减少第二下采样区域的下一帧图像的数据处理量以及数据传输量，进而减少算力以及占用带宽。
35.在一个实施例中，所述对所述无损采集区域内的下一帧图像进行无损采集后，所述方法还包括：
36.采用第一高斯模糊函数对所述第一下采样区域内的下一帧图像进行模糊处理，所述第一高斯模糊函数的σ值为第一预设阈值。
37.在一个实施例中，所述方法还包括：
38.采用第二高斯模糊函数对所述第一下采样区域内的下一帧图像进行模糊处理，所述第二高斯模糊函数的σ值为第二预设阈值，所述第二预设阈值小于所述第一预设阈值。
39.通过采用对高斯模糊函数下采样区域内的下一帧图像进行模糊处理，减少下采样区域的下一帧图像的数据处理量以及数据传输量，进而减少算力以及占用带宽。
40.根据本公开实施例的第三方面，提供一种图像处理装置，应用于图像接收端，包括：
41.注视点获取模块，用于获取用户观看屏幕上显示的前帧图像的注视点；
42.第一关注区域确定模块，用于根据所述注视点确定用户在屏幕上的第一关注区域；
43.第一关注区域发送模块，用于将所述第一关注区域发送至图像发送端，以便所述图像发送端根据所述第一关注区域对下一帧图像进行采集并编码；
44.下一帧图像生成模块，用于接收所述图像发送端发送的下一帧图像的码流并对所述下一帧图像的码流进行解码，生成所述下一帧图像。
45.在一个实施例中，所述装置还包括：第二关注区域确定模块，用于：
46.根据所述第一关注区域确定用户屏幕上的第二关注区域；
47.第一关注区域发送模块用于：
48.将所述第一关注区域以及所述第二关注区域发送至图像发送端。
49.在一个实施例中，所述第二关注区域确定模块用于：
50.根据所述第一关注区域确定用户屏幕上的第三关注区域，所述第一关注区域位于所述第三关注区域的中心，所述第三关注区域面积是的所述第一关注区域面积的预设倍数；
51.将所述第三关注区域中除所述第一关注区域外的区域作为所述第二关注区域。
52.根据本公开实施例的第四方面，提供一种图像处理装置，应用于图像发送端，包括：
53.第一关注区域接收模块，用于接收图像接收端发送的第一关注区域；
54.无损采集区域确定模块，用于根据所述第一关注区域确定下一帧图像的无损采集区域以及下采样区域，所述下采样区域为所述下一帧图像中除所述无损采集区域外的区域；
55.无损采集模块，用于对所述无损采集区域内的下一帧图像进行无损采集，生成无损图像；
56.下采样模块，用于对所述下采样区域内的下一帧图像进行下采样，生成下采样图像；
57.码流生成模块，用于对所述无损图像和所述下采样图像进行编码，生成所述下一帧图像的码流；
58.码流发送模块，用于将所述下一帧图像的码流发送至所述图像接收端。
59.在一个实施例中，所述第一关注区域接收模块用于：
60.接收所述接收图像接收端发送的第一关注区域和第二关注区域；
61.所述无损采集区域确定模块用于：
62.根据所述第二关注区域在所述下采样区域中确定第一下采样区域和第二下采样区域，所述第二下采样区域为所述下采样区域中除所述第一下采样区域外的区域。
63.在一个实施例中，所述下采样模块用于：
64.对所述第一下采样区域内的下一帧图像进行第一下采样，生成第一下采样图像，所述第一下采样的比例为第一比例；
65.对所述第二下采样区域内的下一帧图像进行第二下采样，生成第二下采样图像，所述第二下采样的比例为第二比例且所述第二比例小于所述第一比例；
66.所述码流生成模块用于：
67.对所述无损图像、所述第一下采样图像和所述第二下采样图像进行编码。
68.在一个实施例中，所述装置还包括：模糊处理模块，用于：
69.采用第一高斯模糊函数对所述第一下采样区域内的下一帧图像进行模糊处理，所述第一高斯模糊函数的σ值为第一预设阈值。
70.在一个实施例中，所述模糊处理模块还用于：
71.采用第二高斯模糊函数对所述第一下采样区域内的下一帧图像进行模糊处理，所述第二高斯模糊函数的σ值为第二预设阈值，所述第二预设阈值小于所述第一预设阈值。
72.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
73.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
74.图1是本公开实施例提供的一种图像处理方法的信令交互图；
75.图2是本公开实施例提供的一种图像处理组件的模块图；
76.图3是本公开实施例提供的一种图像处理方法的流程图；
77.图4是本公开实施例提供的一种图像处理装置的结构图一；
78.图5是本公开实施例提供的一种图像处理装置的结构图二；
79.图6是本公开实施例提供的一种图像处理装置的结构图三；
80.图7是本公开实施例提供的一种图像处理装置的结构图四。
具体实施方式
81.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
82.图1是本公开实施例提供的一种图像处理方法的信令交互图。如图1所示，该方法包括：
83.s101、图像接收端获取用户观看屏幕上显示的前帧图像的注视点；
84.s102、图像接收端根据所述注视点确定用户在屏幕上的第一关注区域。
85.示例性地，在本实施例中，图像接收端可以为vr终端例如vr眼镜。可以将云游戏的当前帧图像投放至屏幕以便用户观看。在一个实施例中，用户佩戴vr眼镜观看投放至屏幕的当前帧图像时，可采用设置在vr眼镜上的传感器用采集用户的眼图数据，进而眼图数据识别人眼的观看屏幕上显示的前帧图像的注视点，再根据该注视点确定用户在屏幕上的第一关注区域，该第一关注区域为矩形区域。确定注视点以及第一关注区域可采用现有技术中vr终端的传感器和眼睛姿势识别技术实现，本实施例此处不再赘述。
86.在另一个实施例中还可以获取传感器采集的用户的姿势，包括手势动作信息，根据用户的姿势确定关注点。例如，用户的姿势为手指向屏幕的某个点，则鼠标落在该点，再将鼠标所在的点作为关注点，进而根据关注点确定第一关注区域。
87.在本实施例中，确定关注点即确定关注点在屏幕的坐标，例如关注点的坐标为(x,y)。则第一关注区域为以关注点为中心的矩形区域。例如确定第一关注区域的坐标为a(x,y,width,height)。即第一关注区域的中心点为(x,y)，宽高分别为width，height。在本实施例中，第一关注区域即为用户最关注的区域，此区域内的图像需要高清显示。
88.示例性地，所述根据所述注视点确定用户在屏幕的第一关注区域后，所述方法还包括：
89.根据所述第一关注区域确定用户屏幕上的第二关注区域。
90.下面对所述根据所述第一关注区域确定用户屏幕上的第二关注区域包括：
91.根据所述第一关注区域确定用户屏幕上的第三关注区域，所述第一关注区域位于所述第三关注区域的中心，所述第三关注区域面积是的所述第一关注区域面积的预设倍数；
92.将所述第三关注区域中除所述第一关注区域外的区域作为所述第二关注区域。
93.例如，在本实施例中，第三关注区域的坐标为b(x,y,4width,4height)，即第三关注区域的中心点为(x,y)，宽高分别为44width，4height，面积为第一关注区域的16倍，则第二关注区域是回形区域，且第二关注区域的面积是第一关注区域的15倍。在本实施例中，第二关注区域为用户次关注的增强区域，此区域内的图像只要清晰显示即可，清晰度可以稍微较低，以减少数据传输及处理。
94.此处需要说明的是，屏幕上除第一关注区域和第二关注区域外的区域为背景区域，用户不太关注，清晰度可以再降低，进一步减少数据传输及处理。
95.s103、将所述第一关注区域发送至图像发送端，以便所述图像发送端根据所述第一关注区域对下一帧图像进行采集并编码。
96.在本步骤中，将所述第一关注区域的坐标以及所述第二关注区域的坐标发送至图像发送端。
97.s104、图像发送端接收图像接收端发送的第一关注区域。
98.在本步骤中，图像发送端接收所述接收图像接收端发送的所述第一关注区域的坐标以及所述第二关注区域的坐标。
99.s105、图像发送端根据所述第一关注区域确定下一帧图像的无损采集区域以及下采样区域，所述下采样区域为所述下一帧图像中除所述无损采集区域外的区域。
100.示例性地，可以根据预先对应关系确定与屏幕上第一关注区域对应的下一帧图像
的无损采集区域，该预设对应关系为预先建立的屏幕的各个坐标与云游戏视频图像的各个像素点之间的对应关系。
101.例如，在本实施例中，与第一关注区域的坐标a(x,y,width,height)对应的无损采集区域为位于下一帧图像的中心且像素为120*1080的像素区域。再将除下采样区域为所述下一帧图像中除所述无损采集区域外的区域作为下采样区域。
102.示例性地，所述根据所述第一关注区域确定下一帧图像的无损采集区域后，所述方法还包括：
103.根据所述第二关注区域在所述下采样区域中确定第一下采样区域和第二下采样区域，所述第二下采样区域为所述下采样区域中除所述第一下采样区域外的区域。
104.在本实施中，根据预设对应关系确定与屏幕上第二关注区域对应的下采样区域中的第一下采样区域，再将下采样区域中除所述第一下采样区域外的区域作为第二下采样区域。
105.s106、图像发送端对所述无损采集区域内的下一帧图像进行无损采集，生成无损图像。
106.示例性地，在对下一帧图像进行采集前，需渲染生成该下一帧图像。
107.在本步骤中，对无损采集区域内的下一帧图像进行无损采集，即该区域内所有像素点都要采集，以提高清晰度。
108.s107、图像发送端对所述下采样区域内的下一帧图像进行下采样，生成下采样图像。
109.示例性地，所述对所述下采样区域内的下一帧图像进行下采样，生成下采样图像包括：
110.对所述第一下采样区域内的下一帧图像进行第一下采样，生成第一下采样图像，所述第一下采样的比例为第一比例；
111.对所述第二下采样区域内的下一帧图像进行第二下采样，生成第二下采样图像，所述第二下采样的比例为第二比例且所述第二比例小于所述第一比例；
112.例如，在本实施例中，对第一下采样区域内的下一帧图像进行1/2下采样，对第二下采样区域内的下一帧图像进行1/4下采样。通过对所述第一下采样区域内的下一帧图像进行第一下采样，能够减少第一下采样区域的下一帧图像的数据处理量以及数据传输量。通过对所述第二下采样区域内的下一帧图像进行第二下采样，能够进一步减少第二下采样区域的下一帧图像的数据处理量以及数据传输量，进而减少算力以及占用带宽。
113.s108、图像发送端对所述无损图像和所述下采样图像进行编码，生成所述下一帧图像的码流。
114.在本步骤中，对所述无损图像、所述第一下采样图像和所述第二下采样图像进行编码生成所述下一帧图像的码流。可以采用h264、h265、万像图像传输协议(vanxvm graphic transport protocol，vgtp)等编码方式对无损图像、所述第一下采样图像和所述第二下采样图像进行编码，无损图像、所述第一下采样图像和所述第二下采样图像的编码方式可以相同，也可以不同，本实施例此处不做具体限制。
115.s109、图像发送端将所述下一帧图像的码流发送至所述图像接收端。
116.s110、图像接收端接收所述图像发送端发送的下一帧图像的码流并对所述下一帧
图像的码流进行解码，生成所述下一帧图像。
117.示例性地，生成下一帧图像后，再将无损采集区域的下一帧图像显示至屏幕的第一关注区域，将第一下采样区域的下一帧图像显示至屏幕的第二关注区域，将第二下采样区域的图像显示至屏幕的背景区域。
118.本实施例中，除了采用下采样的方式减少下采样区域的下一帧图像的数据处理量，还可以采用高斯模糊函数对下采样区域的下一帧图像进行高斯处理，以减少下采样区域的下一帧图像的数据处理量。
119.示例性地，所述对所述无损采集区域内的下一帧图像进行无损采集后，所述方法还包括：
120.采用第一高斯模糊函数对所述第一下采样区域内的下一帧图像进行模糊处理，所述第一高斯模糊函数的σ值为第一预设阈值。
121.示例性地，所述方法还包括：
122.采用第二高斯模糊函数对所述第一下采样区域内的下一帧图像进行模糊处理，所述第二高斯模糊函数的σ值为第二预设阈值，所述第二预设阈值小于所述第一预设阈值。
123.本公开实施例提供的图像处理方法，能够对第一关注区域对应的无损采集区域内的下一帧图像无损采集后编码传输，提高清晰度，满足用户的观看需要，对下采样区域的下一帧图像下采样后编码传输，减少数据的处理量以及数据的传输量，在不影响用户观看体验的前提下降低算力并且降低占用带宽，避免了网络带宽不够时，会降低云游戏视频图像的刷新频率，使得用户在观看云游戏时，会产生眩晕感，用户体验较差的问题。
124.下面结合图2和图3，对本公开实施例提供的图像处理方法做进一步详细说明。图2是本公开实施例提供的一种图像处理组件的模块图。如图2所示，该组件包括：
125.1.vr终端模块，该模块主要用于解码显示云游戏视频，用于感知用户的姿势和眼睛的转动，智能识别人眼的注视区域，并将用户的注视区域转换为显示屏幕中的矩形坐标点。该技术属于vr终端的传感器和眼睛姿势识别技术，目前也有很多基于此功能的开发，不属于本专利要求，此处不再赘述；
126.2.输入&传感器input&sensor处理模块，该模块接收vr客户端的用户输入操作，将用户的控制事件注入云游戏所在的操作系统(英operating system，os)，达到控制游戏内容的目的。同时，该模块处理传感器数据，处理来自vr设备上用户的姿势，包括手势动作，接收用户vr端眼睛的关注点坐标数据a(x,y,width,height)；
127.3.fvc(foveated video capture)模块，本专利的核心模块。将接收到的注视点数据转换为云游戏的显示分辨率对应的坐标点，根据坐标点，确定关注点矩形框在原始图像中的位置，确定增强层的坐标点位置。根据增强层坐标点b(x`,y`,4xwidth,4xheight)(起始点 宽和高)、注视点矩形框坐标点a(x,y,width,height)(起始点 宽和高)，分开独立进行图像采集和转换。其中x`＝x-width/2,y`＝y-height/2；转换的质量参数可以根据需要进行配置；高清图像(原始像素无损转换)，增强层图像，进行1/2下采样转换，背景层图像进行1/4下采样转换；这样一来，对于一个8k的原始vr游戏像素，可以节省带宽1-(1 3/2 3)/16＝65％。以8k原始像素为例，一种注视点的采集方法可以表达为如下：
128.1)对于背景层图像，根据采集库调用os图像接口获取原始合成图像。原始图像位于图形处理器(graphic processing，gpu)和os统一管理并共享的显存中，分辨率为
7860x4096，通过os接口获取该像素对应的内存区域，使用高斯模糊函数，将背景层使用的sigma值记为σ1；设置不同的sigma值，就可以获得不同低码流的背景视频流。关于sigma的设置，可以参考高斯模糊函数的实现，本专利不再赘述；
129.2)对于增强层图像，根据vr客户端传输的注视点区域a(x,y,width,height)，计算出增强层的b(x`,y`,4xwidth,4xheight)区域大小，根据原始图像，增强层区域大小，sigma数值，计算高斯模糊函数，处理增强层图像。此处的sigma 2可以根据需要设置为σ1的2倍，记作σ2；
130.3)对于注视点区域a(x,y,width,height)的图像，不进行高斯模糊或者降采样，直接处理为高清的原图；
131.4)以上的转换步骤，可以使用gpu的图像处理能力进行加速可以有效提高图像的转换效率，满足图像高帧率的需求；
132.5)高斯模糊只是一种降低采样数据的手段，还可以使用重采样并设置指定视频码率的方案，此方案不在本专利描述范围；
133.6)对经过处理后的3个图层数据，使用提前申请好的3个单独内存buffer进行存储，以便于进一步在gpu中进行编码处理，不需要拷贝到用户程序中，避免内存拷贝导致的操作系统os算力增加和掉帧；
134.4.编码encoder模块，基于gpu的转码编码模块，可以对vr游戏渲染生成的图像数据，进行码流转换和编码输出；在本专利中，对于渲染画面按照传入的坐标值进行图像裁切，根据给定的区域图像质量，进行图像转换，降低采样率，这样对于原始的vr云游戏渲染图像的采集处理，可以使用gpu的能力，降低cpu算力。另外，对于按背景层、增强层、原始层采集之后的数据，按照指定的质量参数进行处理后，可以有效降低后端编码流程中的数据量和计算量，有效降低码流，减少带宽占用，同时也能有效降低gpu算力。
135.5.媒体服务程序media streamer，用于处理编码后的视频数据，将视频数据发送到vr设备的客户端程序上。并管理client端的媒体数据链路的建立连接传输和断开；
136.6.os图形接口，属于和vr云游戏所在操作系统强相关的图形接口，主要用于图形图像的渲染和显示作用；一般在windows操作系统上为微软microsoft的快速三维(direct 3dimension，d3d)应用程序接口(application program，api)以及显示驱动模型(windows display diver model windows，wddm)，在linux上主要为开放图形库(open graphics library，opengl)库以及x server提供的c库(x c bing，xcb)等。该模块是用于计算机生成的图像采集的接口模块，属于os的基本能力，不属于本专利要求范围；
137.7.云游戏cloud game,，运行在云端的vr游戏，图像数据的生产者。刷新率一般都需要高于144hz，同时分辨率可以达到12k*6*2的巨幅画面，图像数据非常巨大。
138.8.gpu，用于支持vr云游戏图像渲染和编码的物理载体，可以提供3d图像数据的生成，提供图像数据不出显卡的编码能力，也能提供基于指定大小区域和指定码流质量的转换；
139.以上模块，是本专利涉及的主要功能模块，其中编码模块涉及的编码技术细节不在本专利要求，故不在此详细叙述。
140.下面对图2实施例提供的图像处理组件如何进行图像处理进行说明。图3是本公开实施例提供的一种图像处理方法的流程图。如图3所示，该方法包括：
141.step1:云游戏启动，调用os渲染显示接口，生成图像；
142.step2:media stream模块启动，监听vr客户端的连接；
143.step3:vr客户端启动，连接到云游戏所在os上的media stream模块；
144.step4:云端启动input/sensor模块，准备接收用户姿势改变和眼球注视点变化；
145.step5:初始化注视点位置和stride、增强层区域和stride、背景层分辨率，默认为屏幕中间位置，通过os显示驱动接口，初始化原始视频区域，申请3个独立内存区域，映射到gpu的显存，用于后续采集后数据的保存；
146.step6:启动注视点采集(foveated video capture，fvc)，包含3个视频采集线程，分别对应背景层，增强层和高清层，按初始坐标采集；
147.step7：根据注视点坐标，处理三层视频video数据，主要为降采样，高斯模糊等手段；如果用户眼睛没有变化，就可以将3层video数据发送给gpu进行编码；否则进行下一步；
148.step8:用户关注坐标发生变化，input/sensor模块输入新的注视区域foveated area给采集模块；
149.step9:处理新的注视点区域，处理背景层、增强层；
150.step10:将上述步骤7或者9的3层数据输入gpu进行编码；
151.step11：gpu编码完毕数据，由media stream模块发送给vr客户端client。
152.step12:vr client收到3个视频流；
153.step13:vr client分别解码3层视频流；
154.step14:根据三层数据的位置信息，重新整合3层码流，融合为1帧数据；
155.step15:vr client进行video帧数据显示；
156.以上步骤是本专利的一个典型的实现方式，可以看到，实际在设计中，对于基于注视点云游戏图像采集的系统，也可以有其他变化，基于此变化均认为是本专利的保护范围。
157.基于上述图1至图3对应的实施例中所描述的图像处理方法，下述为本公开装置实施例，可以用于执行本公开方法实施例。
158.图4是本公开实施例提供的一种图像处理装置的结构图一。如图4所示，该装置40包括：
159.注视点获取模块401，用于获取用户观看屏幕上显示的前帧图像的注视点；
160.第一关注区域确定模块402，用于根据所述注视点确定用户在屏幕上的第一关注区域；
161.第一关注区域发送模块403，用于将所述第一关注区域发送至图像发送端，以便所述图像发送端根据所述第一关注区域对下一帧图像进行采集并编码；
162.下一帧图像生成模块404，用于接收所述图像发送端发送的下一帧图像的码流并对所述下一帧图像的码流进行解码，生成所述下一帧图像。
163.在一个实施例中，如图5所示，所述装置40还包括：第二关注区域确定模块405，用于：
164.根据所述第一关注区域确定用户屏幕上的第二关注区域；
165.第一关注区域发送模块403用于：
166.将所述第一关注区域以及所述第二关注区域发送至图像发送端。
167.在一个实施例中，所述第二关注区域确定模块402用于：
168.根据所述第一关注区域确定用户屏幕上的第三关注区域，所述第一关注区域位于所述第三关注区域的中心，所述第三关注区域面积是的所述第一关注区域面积的预设倍数；
169.将所述第三关注区域中除所述第一关注区域外的区域作为所述第二关注区域。
170.图6是本公开实施例提供的一种图像处理装置的结构图三。如图6所示，该装置60包括：
171.第一关注区域接收模块601，用于接收图像接收端发送的第一关注区域；
172.无损采集区域确定模块602，用于根据所述第一关注区域确定下一帧图像的无损采集区域以及下采样区域，所述下采样区域为所述下一帧图像中除所述无损采集区域外的区域；
173.无损采集模块603，用于对所述无损采集区域内的下一帧图像进行无损采集，生成无损图像；
174.下采样模块604，用于对所述下采样区域内的下一帧图像进行下采样，生成下采样图像；
175.码流生成模块605，用于对所述无损图像和所述下采样图像进行编码，生成所述下一帧图像的码流；
176.码流发送模块606，用于将所述下一帧图像的码流发送至所述图像接收端。
177.在一个实施例中，所述第一关注区域接收模块601用于：
178.接收所述接收图像接收端发送的第一关注区域和第二关注区域；
179.所述无损采集区域确定模块602用于：
180.根据所述第二关注区域在所述下采样区域中确定第一下采样区域和第二下采样区域，所述第二下采样区域为所述下采样区域中除所述第一下采样区域外的区域。
181.在一个实施例中，所述下采样模块604用于：
182.对所述第一下采样区域内的下一帧图像进行第一下采样，生成第一下采样图像，所述第一下采样的比例为第一比例；
183.对所述第二下采样区域内的下一帧图像进行第二下采样，生成第二下采样图像，所述第二下采样的比例为第二比例且所述第二比例小于所述第一比例；
184.所述码流生成模块605用于：
185.对所述无损图像、所述第一下采样图像和所述第二下采样图像进行编码。
186.在一个实施例中，如图7所示，所述装置70还包括：模糊处理模块607，用于：
187.采用第一高斯模糊函数对所述第一下采样区域内的下一帧图像进行模糊处理，所述第一高斯模糊函数的σ值为第一预设阈值。
188.在一个实施例中，所述模糊处理模块607还用于：
189.采用第二高斯模糊函数对所述第一下采样区域内的下一帧图像进行模糊处理，所述第二高斯模糊函数的σ值为第二预设阈值，所述第二预设阈值小于所述第一预设阈值。
190.本公开实施例提供的图像处理装置，其实现过程和技术效果可以参见上述图1实施例，在此不再赘述。
191.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读
存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
192.本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。