一种远端图像处理方法及装置与流程

1.本技术涉及图像处理技术领域，尤其涉及一种远端图像处理方法及装置。


背景技术：

2.远端图像处理技术被广泛应用于视频、游戏、教育、医疗等领域，远端图像处理技术通常应用于图像传输系统，如图1所示，图1为本发明提供的一种图像传输系统的结构示意图，图像传输系统包括用于生成图像的远端服务器100、用于向用户展示图像的客户端300和用于实现客户端300与远端服务器100之间图像传输的网络设备200。
3.客户端300所呈现的视频的流畅性是影响用户的体验感的重要因素之一，客户端300所呈现的视频由远端服务器100在单位时间内传输的图像组成，远端服务器100传输的图像的数量越多，所形成的视频越流畅。通常使用码率来生成视频，码率是指数据传输时在单位时间内传送的数据量，其中，在每张图像对应的数据量不变的基础上，码率越高，视频的流畅性越高；码率越低，视频的流畅性越低。同时，只有码率与网络环境相匹配时，例如远端服务器100所使用的码率与其所在网络的网络环境参数相匹配时，才能够保证所传输的视频达到与该码率对应的效果。因此，为了保证视频的流畅性，远端服务器100会根据所在网络的网络环境参数调整所使用的码率。
4.此外，客户端300所呈现的视频的清晰度也是影响用户的体验感的重要因素之一，通常，视频中每张图像所带有的数据量越多，视频越清晰；视频中每张图像所带有的数据量越低，视频越模糊。通常，为了保证视频的流畅性，远端服务器100会改变图像所带有的数据量。例如，采用在同时增加一张图像上每个区域所对应的数据量来匹配升高的码率，或者同时减少一张图像上每个区域所对应的数据量来匹配降低的码率。但是，当同时增加图像上的数据量时，由于整体视频所对应的增加的数据量有限，均分至每一张图像的增加的数据量则较少，那么视频提高清晰度的幅度较小；当同时降低一张图像上每个区域所对应的数据量时，会一同降低用户主要观看区域的清晰度，造成用户体验感的大幅下降。


技术实现要素：

5.本发明提供了一种远端图像处理方法及装置，通过动态调节视频中每一张图像的所带有的数据量，来匹配对应的码率，在保证视频流畅性的基础上，提高视频的清晰度。
6.本发明提供了一种远端图像处理方法，应用于远端服务器，包括：获取推荐码率，所述推荐码率与所述远端服务器所在的网络环境参数相匹配，所述网络环境参数用于反应所述网络传输数据量的大小；根据所述推荐码率生成与待处理图像中不同区域对应的调整参数，并利用所述调整参数处理对应的区域，得到用于展示的单帧图像，以使所述单帧图像所包含的数据量与所述推荐码率相匹配。
7.这样，可以生成待处理图像中的每一个区域所对应的调整参数，在保证单帧图像的传输流畅性的基础上，独立调整待处理图像上的每一个区域，以使单帧图像的清晰度符合用户的需求。
8.在一种实现方式中，所述根据所述推荐码率生成与待处理图像中不同区域对应的调整参数，并利用所述调整参数处理对应的区域，得到用于展示的单帧图像包括：如果所述推荐码率下降，则根据所述推荐码率生成对应的调整参数，其中，利用所述调整参数得到的单帧图像的数据量减少；如果所述推荐码率上升，则根据所述推荐码率生成对应的调整参数，其中，利用所述调整参数得到的单帧图像的数据量增多。
9.这样，可以通过调整参数调整所生成的单帧图像对应的数据量，以匹配推荐码率，从而适应网络环境参数，不仅保证单帧图像传输的流畅性，同时提高单帧图像的清晰度。
10.在一种实现方式中，所述根据所述推荐码率生成与待处理图像不同区域对应的调整参数包括：利用预设参数计算模型根据所述推荐码率计算所述调整参数。
11.这样，可以利用参数计算模型精准计算各个区域对应的调整参数。
12.在一种实现方式中，所述根据所述推荐码率生成与待处理图像不同区域对应的调整参数包括：利用参数计算公式根据所述推荐码率计算所述调整参数。
13.这样，可以利用参数计算公式精准计算各个区域对应的调整参数。
14.在一种实现方式中，所述根据所述推荐码率生成与待处理图像不同区域对应的调整参数包括：根据所述推荐码率确定与所述推荐码率对应的参数选取区间，所述参数选取区间包含至少一个参数；在所述参数选取区间内选取所述调整参数。
15.这样，可以通过推荐码率与参数选取区间之前的简单匹配，快速确定调整参数。
16.在一种实现方式中，所述调整参数包括区域尺寸，所述利用所述调整参数处理对应的区域，得到用于展示的单帧图像包括：利用所述区域尺寸调整所述待处理图像中对应区域的尺寸，得到所述单帧图像，以调整所述单帧图像所包含的数据量。
17.这样，可以通过调整各个区域的区域尺寸，进而调整每个区域对应的数据量，从而令单帧图像对应符合推荐码率的数据量。
18.在一种实现方式中，所述调整参数包括画面参数，所述利用所述调整参数处理对应的区域，得到用于展示的单帧图像包括：利用所述画面参数处理所述待处理图像中对应的区域，得到所述单帧图像，以调整所述单帧图像所包含的数据量。
19.这样，可以通过调整各个区域的画面参数，进而调整每个区域对应的数据量，从而令单帧图像对应符合推荐码率的数据量。
20.可选的，如果所述画面参数为分辨率，则通过提高所述分辨率以提高对应分区的图像的数据量，通过降低所述分辨率以降低对应分区的图像的数据量；如果所述画面参数为压缩率，则通过提高所述压缩率以降低对应分区的图像的数据量，通过降低所述压缩率以提高对应分区的图像的数据量；如果所述画面参数为采样点数量，则通过提高所述采样点数据量以提高对应分区的图像的数据量，通过降低所述采样点数据量以降低对应分区的图像的数据量。
21.在一种实现方式中，所述调整参数包括区域尺寸和画面参数，所述利用所述调整参数处理对应的区域，得到用于展示的单帧图像包括：利用所述区域尺寸调整所述待处理图像中对应区域的尺寸，并利用所述画面参数处理所述待处理图像中对应的区域，得到所述单帧图像，以调整所述单帧图像所包含的数据量。
22.这样，可以通过将区域尺寸和画面参数搭配调整各个区域，令调整方式更加灵活，令得到的单帧图像更加符合用户要求。
23.在一种实现方式中，所述待处理图像包含至少两个区域。
24.这样，可以令待处理图像的清晰度变化更加有过渡性，更加符合用户的视觉习惯，可以提高用户的体验感。
25.本发明还提供了一种远端图像处理装置，应用于远端服务器，包括：数据采集单元，用于获取推荐码率，所述推荐码率与所述远端服务器所在的网络环境参数相匹配，所述网络环境参数用于表征所述网络在单位时间内传输数据量的能力；处理单元，用于根据所述推荐码率生成与待处理图像中不同区域对应的调整参数，并利用所述调整参数处理对应的区域，得到用于展示的单帧图像，以使所述单帧图像所包含的数据量与所述推荐码率相匹配。
26.这样，可以生成待处理图像中的每一个区域所对应的调整参数，在保证单帧图像的传输流畅性的基础上，独立调整待处理图像上的每一个区域，以使单帧图像的清晰度符合用户的需求。
27.可选的，所述处理单元还用于：如果所述推荐码率下降，则根据所述推荐码率生成对应的调整参数，其中，利用所述调整参数得到的单帧图像的数据量减少；如果所述推荐码率上升，则根据所述推荐码率生成对应的调整参数，其中，利用所述调整参数得到的单帧图像的数据量增多。
28.这样，可以通过调整参数调整所生成的单帧图像对应的数据量，以匹配推荐码率，从而适应网络环境参数，不仅保证单帧图像传输的流畅性，同时提高单帧图像的清晰度。
29.可选的，所述处理单元还用于利用预设参数计算模型根据所述推荐码率计算所述调整参数。
30.这样，可以利用参数计算模型精准计算各个区域对应的调整参数。
31.可选的，所述处理单元还用于利用参数计算公式根据所述推荐码率计算所述调整参数。
32.这样，可以利用参数计算公式精准计算各个区域对应的调整参数。
33.可选的，所述处理单元还用于根据所述推荐码率确定与所述推荐码率对应的参数选取区间，所述参数选取区间包含至少一个参数；在所述参数选取区间内选取所述调整参数。
34.这样，可以通过推荐码率与参数选取区间之前的简单匹配，快速确定调整参数。
35.可选的，所述调整参数包括区域尺寸，所述处理单元还用于利用所述区域尺寸调整所述待处理图像中对应区域的尺寸，得到所述单帧图像，以调整所述单帧图像所包含的数据量。
36.这样，可以通过调整各个区域的区域尺寸，进而调整每个区域对应的数据量，从而令单帧图像对应符合推荐码率的数据量。
37.可选的，所述调整参数包括画面参数，所述处理单元还用于利用所述画面参数处理所述待处理图像中对应的区域，得到所述单帧图像，以调整所述单帧图像所包含的数据量。
38.这样，可以通过调整各个区域的画面参数，进而调整每个区域对应的数据量，从而令单帧图像对应符合推荐码率的数据量。
39.可选的，所述处理单元还用于：如果所述画面参数为分辨率，则通过提高所述分辨
率以提高对应分区的图像的数据量，通过降低所述分辨率以降低对应分区的图像的数据量；如果所述画面参数为压缩率，则通过提高所述压缩率以降低对应分区的图像的数据量，通过降低所述压缩率以提高对应分区的图像的数据量；如果所述画面参数为采样点数量，则通过提高所述采样点数据量以提高对应分区的图像的数据量，通过降低所述采样点数据量以降低对应分区的图像的数据量。
40.可选的，所述调整参数包括区域尺寸和画面参数，所述处理单元还用于利用所述区域尺寸调整所述待处理图像中对应区域的尺寸，并利用所述画面参数处理所述待处理图像中对应的区域，得到所述单帧图像，以调整所述单帧图像所包含的数据量。
41.这样，可以通过将区域尺寸和画面参数搭配调整各个区域，令调整方式更加灵活，令得到的单帧图像更加符合用户要求。
42.可选的，所述待处理图像包含至少两个区域。
43.这样，可以令待处理图像的清晰度变化更加有过渡性，更加符合用户的视觉习惯，可以提高用户的体验感。
44.本发明还提供了一种服务器，包括存储器和处理器，所述存储器与所述处理器耦合；所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，使所述服务器执行对应的远端图像处理方法。
45.本发明还提供了一种图像传输系统，包括客户端、服务器和网络设备，所述客户端与所述服务器通过所述网络设备连接，以实现图片传输；其中，所述客户端、所述服务器和所述网络设备中的任意一个为网络环境监测节点，用于获取网络环境参数；所述客户端、所述服务器和所述网络设备中的任意一个为计算节点，用于根据所述网络环境参数计算推荐码率；所述服务器执行对应的远端图像处理方法。
46.本发明还提供了一种芯片系统，所述芯片系统包括处理器，用于支持上述装置或者设备实现上述各方面及其实现方式中所涉及的功能，例如，获取与网络环境参数相匹配的推荐码率，并根据推荐码率生成待处理图像中不同区域对应的调整参数，以使用这些调整参数单独调整对应的区域，得到所包含的数据量与推荐码率相匹配的单帧图像。
附图说明
47.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
48.图1为本发明提供的一种图像传输系统的结构示意图；
49.图2为本发明实施例提供的一种图片传输系统的硬件结构示意图；
50.图3为本发明实施例提供的一种远端图像处理方法的流程图；
51.图4为本发明实施例提供的一种待处理图像的区域划分示意图；
52.图5为本发明实施例提供的一种待处理图像的区域划分示意图；
53.图6为本发明实施例提供的一种区域尺寸调整的效果示意图；
54.图7为本发明实施例提供的另一种区域尺寸调整的效果示意图；
55.图8为本发明实施例提供的一种画面参数调整的效果示意图；
56.图9为本发明实施例提供的另一种画面参数调整的效果示意图；
57.图10为本发明实施例提供的一种区域尺寸和画面参数调整的效果示意图；
58.图11为本发明实施例提供的一种区域尺寸和画面参数调整的效果示意图；
59.图12为本发明实施例提供的一种远端图像处理装置的结构示意图。
具体实施方式
60.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
61.如图1所示，本发明所提供的远端图像处理方法应用于远端服务器100，远端服务器100所在的图像传输系统还包括客户端300和网络设备200。
62.其中，客户端300可以为计算机、手机、平板电脑、云化虚拟现实(cloud virtual reality，cloud vr)设备等具有图像显示功能、数据采集功能以及数据处理功能的终端设备。图2为本发明实施例提供的一种图片传输系统的硬件结构示意图，客户端300可以包括：至少一个处理器、至少一个存储器和至少一个通信接口，以图2作为示例，客户端300包括处理器301、存储器302和通信接口303，其中，处理器301、存储器302和通信接口303耦合，存储器302中存储有程序指令，处理器301可调用存储器302中的程序指令，使客户端300执行相关的方法，例如采集网络环境参数或者计算推荐码率。通信接口303用于与网络设备建立通信链路，实现发送推荐码率、发送网络环境参数发送、发送图片获取请求等，通信接口303可以包括一个或者多个光纤链路接口、以太网接口、微波链路接口或者铜线接口等。
63.网络设备200可以为路由器、交换机、网络主机或者基站等具有数据流转功能、数据采集功能以及数据处理功能的设备。网络设备200可以包括：至少一个处理器、至少一个存储器和至少一个通信接口，以图2作为示例，网络设备200包括处理器201、存储器202和通信接口203，其中，处理器201、存储器202和通信接口203耦合，存储器202中存储有程序指令，处理器201可调用存储器202中的程序指令，使网络设备200执行相关的方法，例如采集网络环境参数或者计算推荐码率。通信接口203用于与客户端300和远端服务器100建立通信链路，实现发送推荐码率、发送网络环境参数发送、发送图片获取请求、发送图片等，通信接口203可以包括一个或者多个光纤链路接口、以太网接口、微波链路接口或者铜线接口等。
64.远端服务器100可以为服务器或服务器构成的集群(可带有旁挂设备)、云服务提供的虚拟机、计算机等具有图像渲染、编码、数据采集、数据处理功能的设备。远端服务器100可以包括：至少一个处理器、至少一个存储器和至少一个接口单元，以图2作为示例，远端服务器100包括处理器101、存储器102和通信接口103，其中，处理器101、存储器102和通信接口103耦合，存储器102中存储有程序指令，处理器101可调用存储器102中的程序指令，使远端服务器100执行相关的方法，例如图片渲染、图片编码、采集网络环境参数或者计算推荐码率。通信接口103用于与网络设备200建立通信链路，实现接收推荐码率、接收网络环境参数发送、接收图片获取请求、发送图片等，通信接口103可以包括一个或者多个光纤链路接口、以太网接口、微波链路接口或者铜线接口等。
65.在本发明实施例中所提及的处理器可以包括一个或者多个处理单元，例如系统芯
片(system on a chip，soc)、中央处理器(central processing unit，cpu)、微控制器(microcontroller，mcu)、存储控制器等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
66.在本发明实施例中所提及的存储器可以包括一个或者多个存储单元，例如可以包括易失性存储器(volatile memory)，如：动态随机存取存储器(dynamic random access memory，dram)、静态随机存取存储器(static random access memory，sram)等；还可以包括非易失性存储器(non-volatile memory，nvm)，如：只读存储器(read-only memory，rom)、闪存(flash memory)等。其中，不同的存储单元可以是独立的器件，也可以集成或者封装在一个或者多个处理器或者通信接口中，成为处理器或者通信接口的一部分。
67.在本发明实施例中所提及的通信接口可以包括网络适配器(network adapter)、网卡(network interface card)、局域网接收器(lan adapter)、网络接口控制器(network interface controller，nic)、调制解调器(modem)等。其中，通信接口可以是独立的器件，也可以部分或者全部地集成或者封装在处理器中，成为处理器的一部分。
68.图3为本发明实施例提供的一种远端图像处理方法的流程图，该方法应用于远端服务器100，如图1所示，所述方法包括：
69.s1、获取推荐码率，所述推荐码率与所述远端服务器所在的网络环境参数相匹配；
70.s2、根据所述推荐码率生成与待处理图像中不同区域对应的调整参数，并利用所述调整参数处理对应的区域，得到用于展示的单帧图像，以使所述单帧图像所包含的数据量与所述推荐码率相匹配。
71.客户端300根据用户需求通过网络设备200向远端服务器100发送图片获取请求，其中，客户端300具有采集用户信息的功能，例如可以通过采集用户动作，如点击、按压、滑动、头部转动、身体移动等采集用户信息，或者通过采集用户视线信息，如眼球移动、聚焦位置等采集用户信息。客户端300将采集到用户信息生成图像获取请求，还可以同时将用户id(identity document，身份识别号)、设备编号等信息生成图像获取请求。客户端300将生成的图像获取请求发送至网络设备200，再进一步通过网络设备200将其转发至远端服务器100。
72.远端服务器100接收到图片获取请求之后，会根据该请求生成对应的图片，并将生成的图片以视频流的方式发送至网络设备200，再由网络设备200转发至客户端300，以展示给用户。为了保证视频的流畅性，远端服务器100需要生成与网络环境参数相匹配的推荐码率对应的图片。因此，远端服务器100需要首先获取推荐码率。推荐码率是根据网络环境参数计算所得，因此，对于图像传输系统来说，首要任务是通过监测网络来采集网络环境参数。
73.其中，可以以客户端300、网络设备200或者远端服务器100作为网络环境监测节点，并动态采集网络环境参数，其中，网络环境参数主要指客户端300与远端服务器100之间的网络环境参数。具体地，在一种实现方式中，可以通过网络环境监测节点按照预设周期采集网络环境参数，以动态更新推荐码率，令远端服务器100所使用的推荐码率更加贴近网络环境参数。在另一种实现方式中，可以通过网络环境监测节点在预设时间节点，例如网络使用高峰期、网络使用低谷期等，采集网络环境参数，以动态更新推荐码率。在另一种实现方式中，网络环境监测节点可以获取客户端300生成的图片获取请求，并从中获取用户信息，
这样，网络环境监测节点可以在获取到预设用户信息时，例如用户对图片清晰度的要求发生变化等，采集网络环境参数，以动态更新推荐码率。
74.在网络环境监测节点采集到网络环境参数之后，计算节点根据该网络环境参数计算对应的推荐码率，其中，计算节点可以为客户端300、网络设备200或者远端服务器100。具体地，可以按照如下过程计算推荐码率：
75.s101、计算节点从网络环境监测节点获取网络环境参数，并根据所述网络环境参数计算网络的剩余带宽值；
76.其中，所述网络环境参数可以为剩余带宽值，在这里，剩余带宽值是指网络用于传输图像所对应的数据量，剩余带宽值的大小能表征所述网络在单位时间内传输数据量的能力；或者，所述网络环境参数为网络的带宽值和网络的已使用带宽值，其中，已使用带宽值通常指网络用于传输非图像数据所对应的数据量，这样，通过计算上述两个参数的差值，可以得到网络的剩余带宽值；或者，所述网络环境参数为网络的带宽值和网络用于传输图像的数据量比值，这样，通过计算上述两个参数的乘积，可以得到网络的剩余带宽值；或者，所述网络环境参数也可以为其它通过计算等方式得到网络的剩余带宽值的参数。
77.s102、计算节点判断所述剩余带宽值与预设剩余带宽范围的关系；
78.s103、如果所述剩余带宽值大于所述预设剩余带宽范围，则将远端服务器当前所使用的码率上调至与所述剩余带宽值对应的推荐码率；
79.s104、如果所述剩余带宽值在所述预设剩余带宽范围内，则将远端服务器当前所使用的码率确定为推荐码率；
80.s105、如果所述剩余带宽值小于所述预设剩余带宽范围，则计算节点接收所述网络环境监测节点发送的报文重传数量，并判断所述报文重传数量与预设报文重传数量阈值的关系；
81.其中，如果所述报文重传数量大于所述预设报文重传数量阈值，则将远端服务器当前所使用的码率下调至推荐码率，以使远端服务器使用所述推荐码率时对应的报文重传数量小于或者等于所述预设报文重传数量阈值；如果所述报文重传数量小于或者等于所述预设报文重传数量阈值，则将远端服务器当前所使用的码率确定为推荐码率。
82.计算节点计算得到推荐码率之后，可以自动将推荐码率发送至远端服务器100，或者根据远端服务器100的推荐码率获取请求，将推荐码率发送至远端服务器100。
83.远端服务器100获取到推荐码率之后，根据推荐码率生成与待处理图像对应的调整参数，其中，待处理图像为远端服务器100根据客户端300的图像获取请求需要生成或者处理的图像。在本实施例中，生成调整参数的最小单元为待处理图像中的每一个区域，其中，可以根据对待处理图像中不同区域的不同要求，分别生成对应的调整参数，再使用调整参数独立调整对应的区域。图4为本发明实施例提供的一种待处理图像的区域划分示意图，如图4所示，以待处理图像被划分为两个区域作为示例，其中区域a为注视点区域，区域b为非注视点区域，如果客户端300为cloud vr设备，客户端300会模仿人眼的视线范围展示画面，其中，视线范围对应的区域为注视点区域，视线范围以外对应的区域为非注视点区域，为了提高用户的体验感，可以将注视点区域和非注视点区域设置为不同的清晰度，主要保证注视点区域的清晰度，以使用户可以更加浏览更加清晰的图像，而用户视线不及之处可以采用较低的清晰度。当然，待处理图像还可以被划分为三个或者三个以上的区域，图5为
本发明实施例提供的一种待处理图像的区域划分示意图，可见，待处理图像被划分为三个区域，其中，在区域a和区域b之间设置区域c，其中区域c对应的图像的清晰度介于区域a和区域b之间，相当于一个过渡区域，这样，待处理图像上各区域清晰度的变化具有过渡，所生成的单帧图像上不会有较为明显的清晰度界限，比较适合人眼接受。
84.本实施例提供的待处理图像的区域划分可以为其它形状和形式，同时，每个区域对应的清晰度可以相同，也可以不同。
85.单帧图像的清晰度由其所包含的数据量决定，当单帧图像所包含的数据量越高时，单帧图像的清晰度越高；当单帧图像所包含的数据量越低时，单帧图像的清晰度越低。进一步地，单帧图像中某一区域对应的数据量越高时，该区域的清晰度越高；单帧图像中某一区域对应的数据量越低时，该区域的清晰度越低。同时，单帧图像所包含的数据量需要与推荐码率相对应，才能够保证图像传输的流畅性。本发明实施例可以通过分别调整待处理图像上各区域对应的数据量，来对应推荐码率。这样，可以令待处理图像上每个区域对应的图像满足不同的清晰度需求，以提高用户的体验感。
86.其中，调整参数跟随推荐码率变化的规则为，当推荐码率照比远端服务器100当前所使用的码率下降时，则需要保证利用所生成的调整参数得到的单帧图像的数据量减少，以保证单帧图像传输的流畅性；当推荐码率照比远端服务器100当前所使用的码率上升时，则需要保证利用所生成的调整参数得到的单帧图像的数据量增多，以提高单帧图像的清晰度。
87.具体地，可以按照下述方式根据推荐码率生成与待处理图像不同区域对应的调整参数：
88.在第一种实现方式中，可以利用预设参数计算模型根据所述推荐码率计算所述调整参数。
89.在本实现方式中，可以预先设计一个参数计算模型，通过将推荐码率输入该参数计算模型，得到待处理图像不同区域对应的调整参数。本实现方式给出一种示例的参数计算模型，该参数计算模型包括参数输入模块、图像信息输入模块、图像数据量计算模块、区域数据量计算模块和调整参数计算模块，具体地，通过参数输入模块将推荐码率输入模型，通过图像信息输入模块将输入用户信息输入模型，其中，图像信息可以根据用户信息获得，至少包括待处理图像的每一个区域的信息，例如每一个区域在待处理图像上的定位、每一个区域的边界信息、每一个区域对应的区域类型(清晰度要求)，如注视点区域、过渡区域和非注视点区域等。图像数据量计算模块接收该推荐码率，计算待处理图像所包含的数据量，并将计算结果输入区域数据量计算模块。区域数据量计算模块根据待处理图像所包含的数据量以及待处理图像每一个区域对应的图像信息，计算每一个区域对应的数据量，并将每一个区域对应的数据量输入调整参数计算模块。调整参数计算模块根据每一个区域对应的数据量，计算每一个区域对应的调整参数。
90.这样，通过参数计算模型可以准确计算待处理图像上每一个区域对应的调整参数，以使每一个区域根据对应调整参数生成单帧图像后所对应的数据量可以匹配推荐码率，进而匹配网络环境参数，保证单帧图像的传输流畅性和清晰度。需要说明的是，除本实现方式中公开的参数计算模型，还可以采用其它具有分区计算图像不同区域对应的调整参数(数据量)的计算模型，此处不再一一列举。
91.在第二种实现方式中，可以利用参数计算公式根据所述推荐码率计算所述调整参数。
92.在本实现方式中，可以利用参数计算公式计算待处理图像中每一个区域对应的调整参数，例如，d
t
＝d0 (m
t-m0)
×
k，其中，d
t
代表一个区域对应的调整参数，d0代表该区域对应的基础调整参数，m
t
代表推荐码率，m0代表基础调整参数对应的码率，k代表单位码率对应的调整参数变化值。可以预先为待处理图像的每一个区域设定一个基础调整参数，并在该基础调整参数上根据码率变化增加或者减少调整参数变化值，得到待处理图像中每一区域对应的调整参数，以使每一个区域根据对应的调整参数生成单帧图像。需要说明的是，除本实现方式中公开的参数计算公式，还可以采用其它具有计算调整参数的计算公式，此处不再一一列举。
93.在第三种实现方式中，可以根据所述推荐码率确定与所述推荐码率对应的参数选取区间，所述参数选取区间包含至少一个参数；在所述参数选取区间内选取所述调整参数。
94.在本实现方式中，可以根据经验值或者历史调整数据设定码率与用于生成图像的参数之间的对应关系，本实现方式给出一种示例性的对应关系，以待处理图像包括两个区域为例，例如码率为1-10时，注视点区域对应的参数选取区间为20-25，非注视点区域对应的参数选取区间为10-15；码率为11-20时，注视点区域对应的参数选取区间为26-30，非注视点区域对应的参数选取区间为16-20；码率为21-30时，注视点区域对应的参数选取区间为31-35，非注视点对应的参数选取区间为21-35。如果推荐码率为12，则需要从26-30中选取注视点区域对应的调整参数，从16-20中选取非注视点区域对应的调整参数，如注视点区域的调整参数为28，非注视点区域的调整参数为18。这样，可以根据推荐码率确定每一个区域对应的参数选取区间，进而确定每一区域对应的调整参数。需要说明的是，除本实现方式中公开的对应关系，还可以采用其它对应关系，此处不再一一列举。
95.通常，待处理图像会对应一个初始的图像格式，例如，图像上各个区域具有初始的区域尺寸(面积)，图像上各个区域具有初始的数据量(清晰度)。上述计算得到的调整参数可能会与初始的图像格式存在差异，因此，可以根据调整参数，在待处理图像上进行相应的调整，以得到单帧图像。
96.通过上述计算得到的调整参数，可以包括区域尺寸和/或画面参数，其中，区域尺寸为待处理图像中各个区域对应的面积尺寸，画面参数为分辨率或者压缩率。具体调整过程如下：
97.在第一种实现方式中，所述调整参数包括区域尺寸，利用所述区域尺寸调整所述待处理图像中对应区域的尺寸，得到所述单帧图像，以调整所述单帧图像所包含的数据量。图6为本发明实施例提供的一种区域尺寸调整的效果示意图，当区域尺寸照比待处理图像中各区域对应的初始区域尺寸存在差异时，根据区域尺寸对待处理图像中各区域对应的尺寸进行调整，图6以待处理图像包括注视点区域a和非注视点区域b两个区域为例，图6左侧为区域a和区域b对应的初始的区域尺寸，其中，区域a对应的区域尺寸变小，区域b对应的区域尺寸则相应增大，则根据调整参数对区域a和区域b调整后得到图6右侧所示的单帧图像。图6所示的调整过程适用于推荐码率下调的情况，区域a的清晰度高于区域b的清晰度，相应的，相同面积下区域a所对应的数据量要高于区域b所对应的数据量，为了匹配推荐码率，则需要减少待处理图像所对应的数据量，此时，如果适当缩小区域a的面积，并相应扩大区域b
的面积，则可以有效减少待处理图像所对应的数据量，从而与下调的推荐码率相匹配，进而可以满足对单帧图像传输流畅性的要求，同时，还能够继续保证所得到的单帧图像上存在区域a，以供用户可以浏览一个清晰度较高的图像区域，保证用户的体验感。
98.相反的，图7为本发明实施例提供的另一种区域尺寸调整的效果示意图，图7也以待处理图像包括注视点区域a和非注视点区域b两个区域为例，图7左侧为区域a和区域b对应的初始的区域尺寸，其中，区域a对应的区域尺寸变大，区域b对应的区域尺寸则相应变小，则根据调整参数对区域a和区域b调整后得到图7右侧所示的单帧图像。图7所示的调整过程适用于推荐码率上调的情况，如果适当扩大区域a的面积，并相应缩小区域b的面积，则可以有效提高待处理图像所对应的数据量，从而与上调的推荐码率相匹配，在可以满足对单帧图像传输流畅性的要求，还能够扩大区域a的面积，令用户可以浏览更广阔的清晰度较高的图像区域，提高用户的体验感。
99.在第二种实现方式中，所述调整参数包括画面参数，利用所述画面参数处理所述待处理图像中对应的区域，得到所述单帧图像，以调整所述单帧图像所包含的数据量。
100.图8为本发明实施例提供的一种画面参数调整的效果示意图，当画面参数照比待处理图像中各区域对应的初始图像格式存在差异时，根据画面参数对待处理图像中各区域对应调整，图8以待处理图像包括注视点区域a和非注视点区域b两个区域为例，图8左侧为区域a和区域b对应的初始的画面参数，其中，例如画面参数为分辨率，则区域a对应的分辨率降低，区域b对应的分辨率也降低，则根据调整参数对区域a和区域b调整后得到图8右侧所示的单帧图像。图7所示的调整过程适用于推荐码率下调的情况，为了匹配下调的推荐码率，则需要减少待处理图像所对应的数据量，此时，如果适当降低区域a的分辨率和区域b的分辨率，则可以有效减少待处理图像所对应的数据量，从而与下调的推荐码率相匹配，进而可以满足对单帧图像传输流畅性的要求。
101.可选地，为了适应下调的推荐码率，还可以选择仅降低区域a或者区域b的分辨率，在上述调节分辨率的过程中，区域a与区域b对应的分辨率可以相同也可以不同。
102.可选地，画面参数还可以为压缩率，具体地，为了与下调的推荐码率相匹配，还可以选择提高区域a和/或区域b的压缩率，以降低对应区域的图像的数据量，调整效果可以参照图8，其中，区域a和区域b的压缩率可以相同也可以不同。
103.可选地，为了适应下调的推荐码率，还可以选择降低区域a和/或区域b的采样点数量，以降低对应区域的图像的数据量，调整效果可以参照图8，其中，区域a和区域b所降低的采样点数量可以相同也可以不同。
104.相反的，图9为本发明实施例提供的另一种画面参数调整的效果示意图，图9也以待处理图像包括注视点区域a和非注视点区域b两个区域为例，示例地，图9以画面参数为分辨率为例，图9左侧为区域a和区域b对应的初始的分辨率，其中，区域a对应的分辨率提高，区域b对应的分辨率也提高，则根据调整参数对区域a和区域b调整后得到图9右侧所示的单帧图像。图8所示的调整过程适用于推荐码率上调的情况，如果适当提高区域a和区域b的分辨率，则可以提高待处理图像所对应的数据量，从而与上调的推荐码率相匹配，在可以满足对单帧图像传输流畅性的要求，还可以提高单帧图像的清晰度，提高用户的体验感。
105.可选地，为了适应上调的推荐码率，还可以选择仅提高区域a或者区域b的分辨率，在上述调节分辨率的过程中，区域a与区域b对应的分辨率可以相同也可以不同。
106.可选地，画面参数还可以为压缩率，具体地，为了与上调的推荐码率相匹配，还可以选择降低区域a和/或区域b的压缩率，以提高对应区域的图像的清晰度，调整效果可以参照图9，其中，区域a和区域b的压缩率可以相同也可以不同。
107.可选地，为了适应上调的推荐码率，还可以选择提高区域a和/或区域b的采样点数量，以提高对应区域的图像的清晰度，调整效果可以参照图9，其中，区域a和区域b所提高的采样点数量可以相同也可以不同。
108.在第三种实现方式中，所述调整参数包括区域尺寸和画面参数，利用所述区域尺寸调整所述待处理图像中对应区域的尺寸，并利用所述画面参数处理所述待处理图像中对应的区域，得到所述单帧图像，以调整所述单帧图像所包含的数据量。
109.在本实现方式中，调整参数包括区域尺寸和画面参数，将区域尺寸和画面参数的调整相结合，可以更加灵活地调整待处理图像。本实现方式给出一种调整示例，具体过程如下：
110.图10为本发明实施例提供的一种区域尺寸和画面参数调整的效果示意图，图10以待处理图像包括注视点区域a和非注视点区域b两个区域为例，展示一种适应推荐码率上调的调整过程。如图10中的
①
所示，区域a和区域b的初始的图像格式，随着推荐码率上调，首先，如图10中的
②
所示，小幅度增大区域a的区域尺寸，并同时小幅度调整区域a的画面参数，以提高区域a对应的数据量。然后如图10中的
③
所示，继续小幅度增大区域a的区域尺寸，并同时大幅度调整区域a的画面参数，以大幅度提高区域a对应的数据量。再然后如图10中的
④
所示，继续增大区域a的区域尺寸，并继续调整区域a对应的画面参数，以继续提高区域a对应的数据量。当推荐码率足够高时，可以如图10中的
⑤
所示，调整区域a的画面参数直至区域a所对应的数据量达到预设数据量阈值，此时，逐渐扩大区域a的区域尺寸，或者逐渐调整区域b的画面参数，以使区域b对应的数据量增高，直至区域a与区域b的清晰度相同为止。
111.图11为本发明实施例提供的一种区域尺寸和画面参数调整的效果示意图，图11以待处理图像包括注视点区域a和非注视点区域b两个区域为例，展示一种适应推荐码率下调的调整过程。如图11中的
①
所示，区域a和区域b的初始的图像格式，随着推荐码率下调，首先，如图11中的
②
所示，小幅度缩小区域a的区域尺寸，并同时小幅度调整区域b的画面参数，以降低区域b对应的数据量。然后如图11中的
③
所示，继续缩小区域a的区域尺寸，并同时调整区域b的画面参数，以降低区域b对应的数据量。再然后如图11中的
④
所示，当区域a的区域尺寸达到预设区域尺寸阈值，则开始调整区域a对应的画面参数，以降低区域a对应的数据量。当推荐码率非常低时，可以如图11中的
⑤
所示，进一步调整区域a的画面参数以降低区域a所对应的数据量，同时进一步调整区域b的画面参数以进一步降低区域b对应的数据量。
112.针对上述提到的匹配上调或者下调的推荐码率的情况，还可以其他的调整方式，来搭配调整区域尺寸和画面尺寸，以得到符合用户需求的单帧图像。
113.上述实施例中，分别从远端服务器100、网络设备200、客户端300之间交互的角度对本发明提供的远端图像处理方法的各个方案进行了介绍。可以理解的是，各个设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例性的单元及算法步骤，本发明
可以以硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法实现所描述的功能，但是这种实现不应认为超出本技术的范围。
114.例如，上述远端服务器100可以通过软件模块来实现相应的功能。
115.在一个实施例中，如图12所示，用于实现上述远端服务器100行为的功能的远端图像处理装置包括：数据采集单元1001，用于获取推荐码率，所述推荐码率与所述远端服务器所在的网络环境参数相匹配，所述网络环境参数用于表征所述网络在单位时间内传输数据量的能力；处理单元1002，用于根据所述推荐码率生成与待处理图像中不同区域对应的调整参数，并利用所述调整参数处理对应的区域，得到用于展示的单帧图像，以使所述单帧图像所包含的数据量与所述推荐码率相匹配。
116.可选的，所述处理单元1002还用于：如果所述推荐码率下降，则根据所述推荐码率生成对应的调整参数，其中，利用所述调整参数得到的单帧图像的数据量减少；如果所述推荐码率上升，则根据所述推荐码率生成对应的调整参数，其中，利用所述调整参数得到的单帧图像的数据量增多。
117.可选的，所述处理单元1002还用于利用预设参数计算模型根据所述推荐码率计算所述调整参数。
118.可选的，所述处理单元1002还用于利用参数计算公式根据所述推荐码率计算所述调整参数。
119.可选的，所述处理单元1002还用于根据所述推荐码率确定与所述推荐码率对应的参数选取区间，所述参数选取区间包含至少一个参数；在所述参数选取区间内选取所述调整参数。
120.可选的，所述调整参数包括区域尺寸，所述处理单元1002还用于利用所述区域尺寸调整所述待处理图像中对应区域的尺寸，得到所述单帧图像，以调整所述单帧图像所包含的数据量。
121.可选的，所述调整参数包括画面参数，所述处理单元1002还用于利用所述画面参数处理所述待处理图像中对应的区域，得到所述单帧图像，以调整所述单帧图像所包含的数据量。
122.可选的，所述处理单元1002还用于：如果所述画面参数为分辨率，则通过提高所述分辨率以提高对应分区的图像的数据量，通过降低所述分辨率以降低对应分区的图像的数据量；如果所述画面参数为压缩率，则通过提高所述压缩率以降低对应分区的图像的数据量，通过降低所述压缩率以提高对应分区的图像的数据量；如果所述画面参数为采样点数量，则通过提高所述采样点数据量以提高对应分区的图像的数据量，通过降低所述采样点数据量以降低对应分区的图像的数据量。
123.可选的，所述调整参数包括区域尺寸和画面参数，所述处理单元1002还用于利用所述区域尺寸调整所述待处理图像中对应区域的尺寸，并利用所述画面参数处理所述待处理图像中对应的区域，得到所述单帧图像，以调整所述单帧图像所包含的数据量。
124.可选的，所述待处理图像包含至少两个区域。
125.本发明实施例还提供一种计算机存储介质，计算机存储介质中存储有计算机指
令，当其在计算机上运行时，使得计算机执行上述各方面的方法。
126.本发明实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面的方法。
127.本发明还提供了一种芯片系统。该芯片系统包括处理器，用于支持上述装置或设备实现上述方面中所涉及的功能，例如，生成或处理上述方法中所涉及的信息。在一种可能的设计中，芯片系统还包括存储器，用于保存上述装置或设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。
128.以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。