图像处理方法、系统、电子设备及计算机可读存储介质与流程

1.本技术属于人工智能领域，尤其涉及一种图像处理方法、系统、电子设备及计算机可读存储介质。


背景技术：

2.当前市面上出现了越来越多画面精细的产品，例如，高画质的游戏和视频。
3.当电子设备在渲染这些产品的画面时，由于渲染功耗高，计算量大，对电子设备的硬件资源要求较高。然而，当电子设备的硬件资源不足时，电子设备只能以较低的画质运行这些产品，严重影响了产品的画面效果。


技术实现要素：

4.本技术提供一种图像处理方法、系统、电子设备及计算机可读存储介质，解决了现有的图像方案中，当电子设备的硬件资源不足时，电子设备只能以较低的画质运行高画质产品的问题。
5.为达到上述目的，本技术采用如下技术方案：
6.第一方面，提供一种图像处理方法，应用于第一电子设备，包括：
7.所述第一电子设备获取原生图像数据，所述原生图像数据为应用程序生成的、且未经过渲染的图像数据；
8.所述第一电子设备通过第一图形渲染硬件对所述原生图像数据进行渲染，得到第一图像；
9.所述第一电子设备通过第二图形渲染硬件对所述第一图像进行超分辨率重建，得到目标图像，所述第一图形渲染硬件和第二图形渲染硬件为不同的图形渲染硬件。
10.需要说明的是，应用程序在运行的过程中生成原生图像数据。
11.第一电子设备在获取到原生图像数据之后，可以通过第一图形渲染组件对原生图像数据进行渲染，使得原生图像数据转化为可见像素，得到第一图像。
12.之后，第一电子设备可以通过第二图形渲染组件对第一图像进行超分辨率重建，得到高画质的目标图像。
13.与直接将原生图像数据渲染成高画质的目标图像的方式相比，本技术的图像处理方法通过结合初步渲染与超分辨率重建的方式得到目标图像，可以降低电子设备渲染高画质图像的渲染功耗和计算量。
14.此外，第一图形渲染组件和第二图形渲染组件的具体类型可以为中央处理器(central processing unit，cpu)、图形处理器(graphics processing unit，gpu)以及神经网络处理器(neural-network processing units，npu)中的一种或多种。
15.并且，第一图形渲染组件和第二图形渲染组件为不同的图形渲染组件，从而充分利用电子设备内部异构的图形渲染组件，避免因单一图形渲染硬件的硬件资源不足导致电子设备以较低的画质运行高画质产品。
16.在第一方面的一种可能的实现方式中，所述第一电子设备通过第一图形渲染硬件对所述第一图像进行超分辨率重建，得到目标图像，包括：
17.所述第一电子设备获取所述应用程序的标识；
18.所述第一电子设备查找与所述标识关联的目标超分模型；
19.所述第一电子设备通过所述第一图形渲染硬件以及查找到的所述目标超分模型对所述第一图像进行超分辨率重建，得到目标图像。
20.需要说明的是，第一电子设备可以通过超分模型对第一图像进行超分辨率重建。
21.其中，超分模型可以包括特定超分模型和通用超分模型。特定超分模型仅仅适用于部分应用程序，其适用性较差，但是拥有较高的画质优化能力。通用超分模型的适用性较高，但是画质优化能力有限。
22.由于特定超分模型的应用范围有限，因此，电子设备可以预先建立特定超分模型与其适用的应用程序的关联关系。
23.第一电子设备在获取到第一图像之后，可以获取应用程序的标识，并查找与该标识存在关联的目标超分模型。
24.如果第一电子设备可以找到与上述标识关联的目标超分模型，则表示第一电子设备中存在适用于上述应用程序的特定超分模型(即目标超分模型)。第一电子设备可以通过上述第一图形渲染硬件以及上述目标超分模型对第一图像进行超分辨率重建。
25.电子设备使用目标超分模型对第一图像进行超分辨率重建，可以更好地提高目标图像的画质。
26.此外，上述应用程序的标识可以为应用程序的包名，或者，上述应用程序也可以是用户自定义的标识。
27.在第一方面的一种可能的实现方式中，在所述第一电子设备查找与所述标识关联的目标超分模型之后，还包括：
28.若未查找到与所述标识关联的目标超分模型，则所述第一电子设备通过所述第一图形渲染硬件以及预设的通用超分模型对所述第一图像进行超分辨率重建，得到目标图像。
29.需要说明的是，如果第一电子设备无法查找到与上述标识关联的目标超分模型，则表示该应用程序不存在相关联的特定超分模型。
30.此时，第一电子设备可以通过第一图形渲染硬件以及预设的通用超分模型对第一图像进行超分辨率重建，得到目标图像。
31.在第一方面的一种可能的实现方式中，在所述第一电子设备通过预设的通用超分模型对所述第一图像进行超分辨率重建，得到目标图像之后，还包括：
32.所述第一电子设备建立所述标识与所述通用超分模型的关联关系。
33.需要说明的是，当第一电子设备使用通用超分模型对第一图像进行超分辨率重建时，由于第一电子设备可能设置有多个通用超分模型，因此，为了使该应用程序下一次被启动时，第一电子设备可以调用同一通用超分模型对第一图像进行超分辨率重建，第一电子设备可以建立上述标识与该通用超分模型的关联关系。
34.当该应用程序下一次启动时，第一电子设备可以根据上述标识与该通用超分模型的关联关系，查找到该通用超分模型，将该通用超分模型确定为目标超分模型，使用目标超
分模型对第一图像进行超分辨率重建，从而使第一电子设备在处理该应用程序的图像时，可以保持相同的画质优化水平。
35.在第一方面的一种可能的实现方式中，所述第一电子设备通过第一图形渲染硬件对所述原生图像数据进行渲染，得到第一图像，包括：
36.所述第一电子设备通过所述第一图形渲染硬件以及预设的第一图像分辨率对所述原生图像数据进行渲染，得到第一图像。
37.需要说明的是，第一电子设备在进行初步渲染时，可以根据第一图像分辨率对原生图像数据进行渲染。第一图像分辨率为第一电子设备预先设置的。
38.在第一方面的一种可能的实现方式中，所述第一电子设备通过第二图形渲染硬件对所述第一图像进行超分辨率重建，得到目标图像，包括：
39.所述第一电子设备通过所述第二图形渲染硬件以及单倍增强型超分模型对所述第一图像进行超分辨率重建，得到目标图像，其中，所述第一图像分辨率和所述目标图像的图像分辨率一致，所述单倍增强型超分模型为输入图像的图像分辨率和输出图像的图像分辨率相同的超分模型。
40.需要说明的是，如果第一图像分辨率和目标图像的图像分辨率一致，则第一电子设备在选用超分模型对第一图像进行超分辨率重建时，可以选用单倍增强型超分模型。
41.对于单倍增强型超分模型而言，该模型的输入图像的图像分辨率和该模型的输出图像的图像分辨率一致。
42.在第一方面的一种可能的实现方式中，所述第一电子设备通过第二图形渲染硬件对所述第一图像进行超分辨率重建，得到目标图像，包括：
43.所述第一电子设备通过所述第二图形渲染硬件以及多倍增强型超分模型对所述第一图像进行超分辨率重建，得到目标图像，其中，所述第一图像分辨率小于所述目标图像的图像分辨率，所述多倍增强型超分模型为输入图像的图像分辨率小于输出图像的图像分辨率的超分模型。
44.需要说明的是，如果第一图像分辨率小于目标图像的图像分辨率，则电子设备可以选用多倍增强型超分模型对第一图像进行超分辨率重建。
45.对于多倍增强型超分模型而言，该模型的输入图像的图像分辨率小于该模型的输出图像的图像分辨率。也即是说，多倍增强型超分模型可以增大输入图像的图像分辨率。
46.在第一方面的一种可能的实现方式中，所述第一电子设备通过第一图形渲染硬件对所述原生图像数据进行渲染，得到第一图像，包括：
47.所述第一电子设备通过图形处理器对所述原生图像数据进行渲染，得到第一图像；
48.相应的，所述第一电子设备通过第二图形渲染硬件对所述第一图像进行超分辨率重建，得到目标图像，包括：
49.所述第一电子设备通过神经网络处理器对所述第一图像进行超分辨率重建，得到目标图像。
50.需要说明的是，第一电子设备通过异构的图形渲染硬件对原生图像数据进行处理，得到目标图像。具体地，第一电子设备可以通过图形处理器对原生图像数据进行渲染，得到第一图像，并通过神经网络处理器对第一图像进行超分辨率重建。
51.第一电子设备选用合适的图形渲染硬件执行相应的操作，可以提高第一电子设备的图像处理效率。
52.第二方面，提供一种图像处理方法，应用于第二电子设备，包括：
53.所述第二电子设备接收第一电子设备发送的第一图像，所述第一图像为所述第一电子设备对应用程序生成的原生图像数据渲染后得到的图像；
54.所述第二电子设备对所述第一图像进行超分辨率重建，得到目标图像。
55.需要说明的是，当用户希望将第一电子设备的屏幕显示画面投屏至第二电子设备时，第一电子设备可以在本地对应用程序的原生图像数据进行初步渲染，得到第一图像。
56.然后，第一电子设备将第一图像发送至第二电子设备。
57.第二电子设备接收第一图像，并对第一图像进行超分辨率重建，得到高画质的目标图像。
58.在得到目标图像的过程中，第一电子设备和第二电子设备联合进行图像处理，可以充分利用不同电子设备的图形渲染硬件的硬件资源，从而减少第一电子设备在渲染高画质图像时对本地硬件资源的负荷，降低第一电子设备渲染高画质图像的渲染消耗，并且，充分利用不同电子设备的硬件资源，可以更好地提高图像的画质，从而提高用户的使用体验。
59.在第二方面的一种可能的实现方式中，所述第二电子设备对所述第一图像进行超分辨率重建，得到目标图像，包括：
60.所述第二电子设备获取所述应用程序的标识；
61.所述第二电子设备查找与所述标识关联的目标超分模型；
62.所述第二电子设备通过查找到的所述目标超分模型对所述第一图像进行超分辨率重建，得到目标图像。
63.需要说明的是，第二电子设备可以通过超分模型对第二图像进行超分辨率重建。
64.其中，超分模型可以包括特定超分模型和通用超分模型。特定超分模型仅仅适用于部分应用程序，其适用性较差，但是拥有较高的画质优化能力。通用超分模型的适用性较高，但是画质优化能力有限。
65.由于特定超分模型的应用范围有限，因此，电子设备可以预先建立特定超分模型与其适用的应用程序的关联关系。
66.第二电子设备在获取到第二图像之后，可以获取应用程序的标识，并查找与该标识存在关联的目标超分模型。
67.如果第二电子设备可以找到与上述标识关联的目标超分模型，则表示第二电子设备中存在适用于上述应用程序的特定超分模型(即目标超分模型)，第二电子设备可以通过图形渲染硬件以及上述目标超分模型对第二图像进行超分辨率重建。
68.电子设备使用目标超分模型对第二图像进行超分辨率重建，可以更好地提高目标图像的画质。
69.此外，上述应用程序的标识可以为应用程序的包名，或者，上述应用程序也可以是用户自定义的标识。
70.在第二方面的一种可能的实现方式中，在所述第二电子设备查找与所述标识关联的目标超分模型之后，还包括：
71.若未查找到与所述标识关联的目标超分模型，则所述第二电子设备通过预设的通
用超分模型对所述第一图像进行超分辨率重建，得到目标图像。
72.需要说明的是，如果第二电子设备无法查找到与上述标识关联的目标超分模型，则表示该应用程序不存在相关联的特定超分模型。
73.此时，第二电子设备可以通过图形渲染硬件以及预设的通用超分模型对第二图像进行超分辨率重建，得到目标图像。
74.在第二方面的一种可能的实现方式中，在所述第二电子设备通过预设的通用超分模型对所述第一图像进行超分辨率重建，得到目标图像之后，还包括：
75.所述第二电子设备建立所述标识与所述通用超分模型的关联关系。
76.需要说明的是，当第二电子设备使用通用超分模型对第二图像进行超分辨率重建时，由于第二电子设备可能设置有多个通用超分模型，因此，为了使该应用程序下一次被启动时，第二电子设备可以调用同一通用超分模型对第二图像进行超分辨率重建，第二电子设备可以建立上述标识与该通用超分模型的关联关系。
77.当该应用程序下一次启动时，第二电子设备可以根据上述标识与该通用超分模型的关联关系，查找到该通用超分模型，将该通用超分模型确定为目标超分模型，使用目标超分模型对第二图像进行超分辨率重建，从而使第二电子设备在处理该应用程序的图像时，可以保持相同的画质优化水平。
78.在第二方面的一种可能的实现方式中，所述第一图像的第一分辨率和所述目标图像的图像分辨率一致；
79.所述第二电子设备对所述第一图像进行超分辨率重建，得到目标图像，包括：
80.所述第二电子设备通过单倍增强型超分模型对所述第一图像进行超分辨率重建，得到所述目标图像，其中，所述单倍增强型超分模型为输入图像的图像分辨率和输出图像的图像分辨率相同的超分模型。
81.需要说明的是，如果第一图像分辨率和目标图像的图像分辨率一致，则第二电子设备在选用超分模型对第一图像进行超分辨率重建时，可以选用单倍增强型超分模型。
82.单倍增强型超分模型的输入图像的图像分辨率和输出图像的图像分辨率一致。
83.在第二方面的一种可能的实现方式中，所述第一图像的第一分辨率低于所述目标图像的图像分辨率；
84.所述第二电子设备对所述第一图像进行超分辨率重建，得到目标图像，包括：
85.所述第二电子设备对所述第一图像进行上采样处理，得到第二图像，所述第二图像的图像分辨率与所述目标图像的图像分辨率一致；
86.所述第二电子设备通过单倍增强型超分模型对所述第二图像进行超分辨率重建，得到所述目标图像，其中，所述单倍增强型超分模型为输入图像的图像分辨率和输出图像的图像分辨率相同的超分模型。
87.需要说明的是，如果第一图像分辨率小于目标图像的图像分辨率，则第二电子设备可以对第一图像进行上采样处理，得到第二图像，使得第二图像的图像分辨率与目标图像的图像分辨率一致。
88.然后，第二电子设备再使用单倍增强型超分模型对第二图像进行处理，得到目标图像。
89.上采样所应用的算法可以是最邻近元法、双线性内插法、三次内插法等插值算法
中的任意一种。
90.在第二方面的一种可能的实现方式中，所述第一图像的第一分辨率低于所述目标图像的分辨率；
91.所述第二电子设备对所述第一图像进行超分辨率重建，得到目标图像，包括：
92.所述第二电子设备通过多倍增强型超分模型对所述第一图像进行超分辨率重建，得到所述目标图像，其中，所述多倍增强型超分模型为输入图像的图像分辨率小于输出图像的图像分辨率的超分模型。
93.需要说明的是，如果第一图像分辨率小于目标图像的图像分辨率，则第二电子设备除了可以对第一图像进行上采样之外，第二电子设备还可以选用多倍增强型超分模型对第一图像进行超分辨率重建。
94.多倍增强型超分模型的输入图像的图像分辨率小于输出图像的图像分辨率。也即是说，多倍增强型超分模型可以增大输入图像的图像分辨率。
95.第三方面，提供一种电子设备，包括：
96.原生数据模块，用于获取原生图像数据，所述原生图像数据为应用程序生成的、且未经过渲染的图像数据；
97.初步渲染模块，用于通过第一图形渲染硬件对所述原生图像数据进行渲染，得到第一图像；
98.第一超分模块，用于通过第二图形渲染硬件对所述第一图像进行超分辨率重建，得到目标图像，所述第一图形渲染硬件和第二图形渲染硬件为不同的图形渲染硬件。
99.在第三方面的一种可能的实现方式中，所述第一超分模块，包括：
100.第一标识子模块，用于获取所述应用程序的标识；
101.第一模型子模块，用于查找与所述标识关联的目标超分模型；
102.第一重建子模块，用于通过所述第一图形渲染硬件以及查找到的所述目标超分模型对所述第一图像进行超分辨率重建，得到目标图像。
103.在第三方面的一种可能的实现方式中，所述第一超分模块，还包括：
104.第一通用子模块，用于若未查找到与所述标识关联的目标超分模型，则通过所述第一图形渲染硬件以及预设的通用超分模型对所述第一图像进行超分辨率重建，得到目标图像。
105.在第三方面的一种可能的实现方式中，所述第一超分模块，还包括：
106.第一关联子模块，用于建立所述标识与所述通用超分模型的关联关系。
107.在第三方面的一种可能的实现方式中，所述初步渲染模块，具体用于通过所述第一图形渲染硬件以及预设的第一图像分辨率对所述原生图像数据进行渲染，得到第一图像。
108.在第三方面的一种可能的实现方式中，所述第一超分模块，具体用于通过所述第二图形渲染硬件以及单倍增强型超分模型对所述第一图像进行超分辨率重建，得到目标图像，其中，所述第一图像分辨率和所述目标图像的图像分辨率一致，所述单倍增强型超分模型为输入图像的图像分辨率和输出图像的图像分辨率相同的超分模型。
109.在第三方面的另一种可能的实现方式中，所述第一超分模块，具体用于通过所述第二图形渲染硬件以及多倍增强型超分模型对所述第一图像进行超分辨率重建，得到目标
图像，其中，所述第一图像分辨率小于所述目标图像的图像分辨率，所述多倍增强型超分模型为输入图像的图像分辨率小于输出图像的图像分辨率的超分模型。
110.在第三方面的一种可能的实现方式中，所述初步渲染模块，具体用于通过图形处理器对所述原生图像数据进行渲染，得到第一图像；
111.相应的，所述第一超分模块，具体用于通过神经网络处理器对所述第一图像进行超分辨率重建，得到目标图像。
112.第四方面，提供一种电子设备，包括：
113.图像接收模块，用于接收第一电子设备发送的第一图像，所述第一图像为所述第一电子设备对应用程序生成的原生图像数据渲染后得到的图像；
114.第二超分模块，用于对所述第一图像进行超分辨率重建，得到目标图像。
115.在第四方面的一种可能的实现方式中，所述第二超分模块，包括：
116.第二标识子模块，用于获取所述应用程序的标识；
117.第二模型子模块，用于查找与所述标识关联的目标超分模型；
118.第二重建子模块，用于通过查找到的所述目标超分模型对所述第一图像进行超分辨率重建，得到目标图像。
119.在第四方面的一种可能的实现方式中，所述第二超分模块，还包括：
120.第二通用子模块，用于若未查找到与所述标识关联的目标超分模型，则通过预设的通用超分模型对所述第一图像进行超分辨率重建，得到目标图像。
121.在第四方面的一种可能的实现方式中，所述第二超分模块，还包括：
122.第二关联模块，用于建立所述标识与所述通用超分模型的关联关系。
123.在第四方面的一种可能的实现方式中，所述第一图像的第一分辨率和所述目标图像的图像分辨率一致；
124.所述第二超分模块，具体用于通过单倍增强型超分模型对所述第一图像进行超分辨率重建，得到所述目标图像，其中，所述单倍增强型超分模型为输入图像的图像分辨率和输出图像的图像分辨率相同的超分模型。
125.在第四方面的另一种可能的实现方式中，所述第一图像的第一分辨率低于所述目标图像的图像分辨率；
126.所述第二超分模块，包括：
127.上采样子模块，用于对所述第一图像进行上采样处理，得到第二图像，所述第二图像的图像分辨率与所述目标图像的图像分辨率一致；
128.增强子模块，用于所述第二电子设备通过单倍增强型超分模型对所述第二图像进行超分辨率重建，得到所述目标图像，其中，所述单倍增强型超分模型为输入图像的图像分辨率和输出图像的图像分辨率相同的超分模型。
129.在第四方面的另一种可能的实现方式中，所述第一图像的第一分辨率低于所述目标图像的分辨率；
130.所述第二超分模块，具体用于通过多倍增强型超分模型对所述第一图像进行超分辨率重建，得到所述目标图像，其中，所述多倍增强型超分模型为输入图像的图像分辨率小于输出图像的图像分辨率的超分模型。
131.第五方面，提供一种图像处理系统，所述系统包括第一电子设备和第二电子设备；
132.所述第一电子设备用于对应用程序生成的原生图像数据进行渲染，得到第一图像，并将所述第一图像发送至所述第二电子设备；
133.所述第二电子设备用于执行上述第二方面提及的图像处理方法。
134.第六方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，电子设备实现如上述方法的步骤。
135.第七方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，使得电子设备实现如上述方法的步骤。
136.第八方面，提供了一种芯片系统，所述芯片系统可以为单个芯片，或者多个芯片组成的芯片模组，所述芯片系统包括存储器和处理器，所述处理器执行所述存储器中存储的计算机程序，以实现如上述方法的步骤。
137.本技术实施例与现有技术相比存在的有益效果是：
138.在本技术的图像处理方法中，电子设备先对原生图像数据进行渲染，得到第一图像，再对第一图像进行超分辨率重建，得到在屏幕上显示的目标图像。与直接将应用程序生成的原生图像数据渲染成最终在屏幕上显示的目标图像的方式相比，以初步渲染加超分辨率重建的方式生成目标图像可以降低渲染功耗，减少计算量，提高渲染效率。
139.并且，电子设备通过第一图形渲染硬件执行初步渲染操作，通过第二图形渲染硬件执行超分辨率重建操作，可以充分利用电子设备内异构的硬件资源，避免因单一图形渲染硬件的硬件资源不足导致电子设备以较低的画质运行高画质产品。
140.综上，本技术的图像处理方法可以减少渲染高画质图像的渲染功耗和计算量，并且可以充分利用电子设备内异构的硬件资源，解决了现有的图像方案中，当电子设备的硬件资源不足时，电子设备只能以较低的画质运行高画质产品的问题，具有较强的易用性和实用性。
附图说明
141.图1是本技术实施例提供的一种电子设备的结构示意图；
142.图2是本技术实施例提供的一种电子设备的软件结构框图；
143.图3是本技术实施例提供的一种图像处理方法的流程示意图；
144.图4是本技术实施例提供的一种示例图像的示意图；
145.图5是本技术实施例提供的另一种示例图像的示意图；
146.图6是本技术实施例提供的另一种示例图像的示意图；
147.图7是本技术实施例提供的另一种电子设备的示意图；
148.图8是本技术实施例提供的一种应用场景的示意图；
149.图9是本技术实施例提供的另一种图像处理方法的流程示意图；
150.图10是本技术实施例提供的另一种应用场景的示意图；
151.图11是本技术实施例提供的另一种图像处理方法的流程示意图；
152.图12是本技术实施例提供的另一种应用场景的示意图；
153.图13是本技术实施例提供的另一种应用场景的示意图；
154.图14是本技术实施例提供的另一种应用场景的示意图；
155.图15是本技术实施例提供的另一种应用场景的示意图；
156.图16是本技术实施例提供的另一种应用场景的示意图；
157.图17是本技术实施例提供的另一种图像处理方法的流程示意图；
158.图18是本技术实施例提供的另一种应用场景的示意图；
159.图19是本技术实施例提供的另一种图像处理方法的流程示意图；
160.图20是本技术实施例提供的另一种应用场景的示意图；
161.图21是本技术实施例提供的另一种应用场景的示意图；
162.图22是本技术实施例提供的另一种应用场景的示意图；
163.图23是本技术实施例提供的另一种应用场景的示意图；
164.图24是本技术实施例提供的另一种应用场景的示意图；
165.图25是本技术实施例提供的另一种应用场景的示意图；
166.图26是本技术实施例提供的另一种电子设备的示意图。
具体实施方式
167.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
168.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或硬件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、硬件和/或其集合的存在或添加。
169.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
170.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0171]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0172]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0173]
在介绍本技术实施例之前，首先对本技术实施例涉及的部分术语进行解释说明：
[0174]
画质指的是画面质量。评估图像画质的画质指标有许多，较为常见的画质指标是图像分辨率，在其他画质指标相同的情况下，图像分辨率越高，图像的画质越高，图像分辨率越低，图像画质越低。
[0175]
除了图像分辨率之外，画质指标还可以包括清晰度、锐度、镜头畸变度、色散度、解析度、色域范围、色彩纯度(色彩艳度)、色彩平衡参数等指标中的一种或多种。
[0176]
图像分辨率指图像中存储的信息量，可以理解为图像中包含的像素数量。图像分辨率的表达方式可以为“水平像素数
×
垂直像素数”。例如，图像的分辨率为2048
×
1080，表示该图像中每一行像素包括2048个像素，每一列像素包括1080个像素。
[0177]
渲染在计算机术语中是指根据图像模型生成图像的过程。图像模型是用严格定义的语言或者数据结构对于三维场景的描述，它包括几何、视点、纹理、照明信息及渲染参数。渲染参数中可以包括上述画质指标。
[0178]
当前市面上出现了越来越多画面精细的产品，例如，高画质的游戏和视频。
[0179]
这些产品对电子设备的硬件资源要求较高。当电子设备在渲染这些产品的画面时，渲染功耗高，并且，如果电子设备的硬件资源不足，那么电子设备只能以较低的画质运行这些产品，影响用户的使用体验。
[0180]
例如，如果用户在具备rtx2080显卡级别的硬件资源的电子设备上运行一款制作精细的游戏，即使用户将图像分辨率调节至2048
×
1080，电子设备的帧率也能保持在90帧/秒左右。
[0181]
但是，如果用户在手机平台上以较高的图像分辨率运行一款制作精细的游戏，即使该手机平台是当前较高水准的手机平台mali-g76，电子设备的帧率通常也只能保持在40帧/秒左右。如果用户调低图像分辨率，电子设备的帧率通常也只能保持在60帧/秒。
[0182]
对此，提供了一种图像加速(gpu-turbo)技术。gpu-turbo技术在电子设备的系统底层重构了传统的gpu架构，实现了软硬件协协同，使得gpu整体运算效率得到了大幅度提升。并且，gpu-turbo技术可以通过人工智能(artificial intelligence，ai)技术检测相邻帧图像的画质异同，进行相邻帧的差异部分进行渲染，保留相邻帧相同的内容，通过这种方式，gpu-turbo可以节约80％的计算，极大地提高gpu的渲染速度。
[0183]
但是，gpu-turbo技术的图像渲染方式与传统的gpu渲染方式一致，都是由gpu直接将初始的图像文件渲染成最终上屏显示的图像。因此，使用gpu-turbo技术运行高画质的产品时，仍会对电子设备的gpu产生较大的负荷，渲染功耗高。
[0184]
有鉴于此，本技术实施例提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，以解决现有的图像渲染方法在渲染高画质的产品时，渲染功耗高，计算量大的问题。
[0185]
可以理解的是，本技术实施例中提供的图像渲染方法中所涉及到的步骤仅仅作为示例，并非所有的步骤均是必须执行的步骤，或者并非各个信息或消息中的内容均是必选的，在使用过程中可以根据需要酌情增加或减少。
[0186]
本技术实施例中同一个步骤或者具有相同功能的步骤或者消息在不同实施例之间可以互相参考借鉴。
[0187]
本技术实施例描述的业务场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
[0188]
本技术实施例中描述的电子设备可以是手机、平板电脑、手持计算机、个人数字助
理(personal digital assistant，pda)、增强现实(augmented reality，ar)\虚拟现实(virtual reality，vr)设备、媒体播放器、穿戴设备等设备，本技术实施例对该电子设备的具体形态/类型不作任何限制。
[0189]
示例性的，图1示出了电子设备100的一种结构示意图。
[0190]
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
[0191]
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0192]
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
[0193]
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0194]
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
[0195]
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
[0196]
i2c接口是一种双向同步串行总线，包括一根串行数据线(serial data line，sda)和一根串行时钟线(derail clock line，scl)。在一些实施例中，处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k，充电器，闪光灯，摄像头193等。例如：处理器110可以通过i2c接口耦合触摸传感器180k，使处理器
110与触摸传感器180k通过i2c总线接口通信，实现电子设备100的触摸功能。
[0197]
i2s接口可以用于音频通信。在一些实施例中，处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过i2s接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
[0198]
pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中，音频模块170也可以通过pcm接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
[0199]
uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过uart接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过uart接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
[0200]
mipi接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。mipi接口包括摄像头串行接口(camera serial interface，csi)，显示屏串行接口(display serial interface，dsi)等。在一些实施例中，处理器110和摄像头193通过csi接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过dsi接口通信，实现电子设备100的显示功能。
[0201]
gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。gpio接口还可以被配置为i2c接口，i2s接口，uart接口，mipi接口等。
[0202]
usb接口130是符合usb标准规范的接口，具体可以是mini usb接口，micro usb接口，usb type c接口等。usb接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如ar设备等。
[0203]
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本技术另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
[0204]
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
[0205]
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141
system，qzss)和/或星基增强系统(satellite based augmentation systems，sbas)。
[0212]
电子设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0213]
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，电子设备100可以包括1个或n个显示屏194，n为大于1的正整数。
[0214]
电子设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
[0215]
isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
[0216]
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备100可以包括1个或n个摄像头193，n为大于1的正整数。
[0217]
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
[0218]
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
[0219]
npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
[0220]
外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
[0221]
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可
存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。
[0222]
电子设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
[0223]
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
[0224]
扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170a收听音乐，或收听免提通话。
[0225]
受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
[0226]
麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。电子设备100可以设置至少一个麦克风170c。在另一些实施例中，电子设备100可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
[0227]
耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
[0228]
压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180a检测所述触摸操作强度。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
[0229]
陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180b检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备
100的抖动，实现防抖。陀螺仪传感器180b还可以用于导航，体感游戏场景。
[0230]
气压传感器180c用于测量气压。在一些实施例中，电子设备100通过气压传感器180c测得的气压值计算海拔高度，辅助定位和导航。
[0231]
磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
[0232]
加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
[0233]
距离传感器180f，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180f测距以实现快速对焦。
[0234]
接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180g检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式，口袋模式自动解锁与锁屏。
[0235]
环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测电子设备100是否在口袋里，以防误触。
[0236]
指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
[0237]
温度传感器180j用于检测温度。在一些实施例中，电子设备100利用温度传感器180j检测的温度，执行温度处理策略。例如，当温度传感器180j上报的温度超过阈值，电子设备100执行降低位于温度传感器180j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。
[0238]
触摸传感器180k，也称“触控器件”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
[0239]
骨传导传感器180m可以获取振动信号。在一些实施例中，骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180m也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号，解析出语音
信号，实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息，实现心率检测功能。
[0240]
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
[0241]
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
[0242]
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
[0243]
sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或n个sim卡接口，n为大于1的正整数。sim卡接口195可以支持nano sim卡，micro sim卡，sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。电子设备100通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用esim，即：嵌入式sim卡。esim卡可以嵌在电子设备100中，不能和电子设备100分离。
[0244]
电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的android系统为例，示例性说明电子设备100的软件结构。
[0245]
图2是本发明实施例的电子设备100的软件结构框图。
[0246]
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(android runtime)和系统库，以及内核层。
[0247]
应用程序层可以包括一系列应用程序包。
[0248]
如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，wlan，蓝牙，音乐，视频，短信息等应用程序。
[0249]
应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。
[0250]
如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
[0251]
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
[0252]
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
[0253]
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示
界面，可以包括显示文字的视图以及显示图片的视图。
[0254]
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
[0255]
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
[0256]
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
[0257]
android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
[0258]
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
[0259]
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
[0260]
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：opengl es)，2d图形引擎(例如：sgl)等。
[0261]
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层的融合。
[0262]
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:mpeg4，h.264，mp3，aac，amr，jpg，png等。
[0263]
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
[0264]
2d图形引擎是2d绘图的绘图引擎。
[0265]
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
[0266]
下面结合捕获拍照场景，示例性说明电子设备100软件以及硬件的工作流程。
[0267]
当触摸传感器180k接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193捕获静态图像或视频。
[0268]
接下来，将从第一电子设备的角度，对本实施例提供的一种图像处理方法进行描述。请参阅图3所示的图像处理方法的流程图，该方法包括：
[0269]
s301、第一电子设备通过第一图形渲染硬件对原生图像数据进行渲染，得到第一图像；
[0270]
当用户在使用第一电子设备的应用程序时，应用程序将原生图像数据传递至第一
电子设备的第一图形渲染硬件进行渲染。原生图像数据是指应用程序产生，未经过渲染的图像文件。
[0271]
渲染是指通过光栅化等技术，将第一电子设备中存储的图像数据转化为可见像素的过程。
[0272]
在本实施例的图像处理方法中，第一电子设备可以通过图像超分辨率重建的方式，得到目标画质指标的目标图像。但是，第一电子设备无法直接对原生图像数据进行超分辨率重建。
[0273]
因此，第一电子设备需要对原生图像数据进行初步渲染，得到可以进行超分辨率重建的第一图像。
[0274]
第一电子设备在初步渲染的过程中，可以调用第一图形渲染硬件以第一画质指标对原生图像数据进行渲染，得到第一图像。
[0275]
第一图形渲染硬件以第一画质指标对原生图像数据进行初步渲染时，可以是以第一图像分辨率对原生图像数据进行渲染，第一图像分辨率低于预设图像分辨率；或者，第一图形渲染硬件也可以是调节其他画质指标，使得第一画质指标低于预设画质指标，然后对原生图像数据进行渲染。
[0276]
上述第一画质指标可以特制某一种画质指标，或者，上述第一画质指标可以为多种画质指标的集合。当上述第一画质指标为多种画质指标的集合时，上述第一画质指标低于预设画质指标可以理解为第一画质指标中的部分画质指标或全部画质指标低于预设画质指标。
[0277]
例如，如图4和图5所示的示例图像，当除了图像分辨率以外的其他画质指标相同时，图4的图像分辨率低于图5的图像分辨率，则可以认为图4的画质低于图5的画质。请参阅图5和图6所示的示例图像，当图5和图6的图像分辨率一致时，由于图6的清晰度低于图5的清晰度，也可以认为图6的画质低于图5的画质。
[0278]
由于第一图形渲染硬件在渲染图像时，渲染图像的画质指标越高，则第一图形渲染硬件占用的硬件资源也会越多，渲染功耗越高。所以，当第一图形渲染硬件以低于预设画质指标的第一画质指标对原生图像数据进行初步渲染时，可以减少第一图形渲染硬件渲染时所占用的硬件资源，并且减少渲染功耗。
[0279]
上述第一图形渲染硬件可以根据实际情况进行选择。在一些实施例中，第一图形渲染硬件可以为中央处理器(central processing unit，cpu)、图形处理器(graphics processing unit，gpu)以及神经网络处理器(neural-network processing units，npu)中的一种或多种。例如，当第一电子设备采用gpu-turbo技术对原生图像数据进行初步渲染时，上述第一图形渲染硬件可以为cpu和gpu的组合。
[0280]
s302、第一电子设备通过第二图形渲染硬件对所述第一图像进行超分辨率重建，得到目标图像。
[0281]
在s301中，第一电子设备通过第一图形渲染硬件对应用程序的原生图像数据进行初步渲染，得到第一图像。但是，第一图像的画质较低，难以满足用户对产品画质的要求。
[0282]
超分辨率重建是指应用ai技术，将低分辨率的图像映射至高分辨率，以期望达到增强图像画质的作用。
[0283]
在第一图形渲染硬件得到第一图像之后，第一电子设备使用过第二图形渲染硬件
可以对上述第一图像进行超分辨率重建。
[0284]
第一电子设备对第一图像进行超分辨率重建时，可以将上述第一图像输入经过训练的超分模型中，通过超分模型对第一图像进行画质增强，得到目标图像。
[0285]
上述超分模型的类型可以根据实际情况进行选择。例如，上述超分模型可以为超分辨率卷积神经网络模型(super-resolution convolutional neural network，srcnn模型)、快速超分辨率卷积神经网络模型(fast super-resolution convolutional neural network，srcnn模型)、亚像素卷积神经网络模型(efficient sub-pixel convolutional neural network，espcn模型)、深度递归模型(deeply-recursive convolutional network，drcn模型)以及深度超分辨网络模型(very deep network for super-resolution，vsdr模型)等模型中任意一种。
[0286]
并且，如果第一电子设备处理单帧的图像耗费了较长的时间，会使得应用程序无法保持一定的送显帧率，从而导致第一电子设备的屏幕出现画面卡顿的现象。因此，开发人员在选择超分模型时，应当限制超分模型的规模，从而使超分模型的单帧运行时间满足应用程序送显帧率的单帧时间的要求。例如，假设应用程序送显帧率为90帧/秒，则应用程序送显帧率的单帧时间为1/90秒。此时，应当限制超分模型的规模，使得超分模型的单帧运行时间小于1/90秒，从而确保应用程序的送显帧率尽量保持在90帧/秒，减少画面卡顿现象的发生。
[0287]
在训练上述超分模型时，第一电子设备可以获取至少一组图像样本对，通过图像样本对训练超分模型。图像样本对是指成对的样本图像。每一组图像样本对中包括第一样本图像和第二样本图像。第一样本图像和第二样本图像的内容一致，但是第一样本图像的画质低于第二样本图像的画质。
[0288]
第一电子设备在使用图像样本对训练超分模型时，可以将图像样本对中的第一样本图像输入超分模型，得到第一输出图像。
[0289]
然后，第一电子设备根据第一输出图像、第二样本图像和预设的损失函数计算损失值，根据损失值以及预设的网络更新算法对超分模型进行更新。
[0290]
超分模型更新后，再返回执行前一步骤，循环使用图像样本对训练超分模型，直至循环次数达到预设次数阈值或损失值小于预设损失阈值。
[0291]
上述图像样本对的获取方式可以根据实际情况进行选择。例如，上述图像样本对可以是原生成对的图像数据集，或者，上述图像样本对也可以是将高画质图像退化成低画质图像，从而得到成对的图像样本对。
[0292]
并且，图像样本对的来源会对超分模型的性能造成一定的影响。如果开发人员想要训练通用的超分模型，则开发人员在采样图像样本对时，可以无针对性地进行样本采集，得到通用的图像样本对。
[0293]
此时，第一电子设备使用通用的图像样本对训练的超分模型，可以得到通用超分模型。通用超分模型的适用性较高，可以应用于较多的应用场景。但是，通用超分模型的画质优化能力有限，难以对各应用场景的图像都进行较高程度的画质优化。
[0294]
因此，如果开发人员想要超分模型能够对某一产品或某一类产品进行较高程度的画质优化时，则开发人员在采样图像样本对时，应当只采集与该产品或该类产品有关的图像样本对，得到特定的图像样本对。
valor》的图像进行处理。
[0305]
此外，上述超分模型可以为单倍增强型超分模型，或者，上述超分模型也可以是多倍增强型超分模型。单倍增强型超分模型为输入图像的图像分辨率和输出图像的图像分辨率相同的超分模型。多倍增强型超分模型为输入图像的图像分辨率小于输出图像的图像分辨率的超分模型。
[0306]
当上述超分模型为单倍增强型超分模型时，第一图像的图像分辨率和目标图像的图像分辨率一致，单倍增强型超分模型通过改善第一图像的其他画质指标的方式增强第一图像的画质，得到目标图像。
[0307]
当上述超分模型为多倍增强型超分模型时，第一图像的图像分辨率小于目标图像的图像分辨率。第一电子设备的第一图形渲染硬件在对应用程序的原生图像数据进行初步渲染时，可以以较小的图像分辨率进行渲染，从而降低第一图形渲染硬件在渲染过程中所占用的硬件资源，以及降低渲染功耗。
[0308]
当第一图形渲染硬件渲染得到图像分辨率较小的第一图像后，第一电子设备再根据用户配置的目标分辨率，通过多倍增强型超分模型对第一图像进行画质增强，将第一图像的图像分辨率适配至目标图像分辨率，得到目标图像。
[0309]
需要说明的是，第一电子设备在执行上述超分辨率重建操作时，运行上述超分模型的第二图形渲染硬件可以根据实际情况进行设置。在一些实施例中，第一电子设备可以在cpu上运行上述超分模型，通过cpu对上述第一图像进行画质增强；在另一些实施例中，第一电子设备可以在gpu上运行上述超分模型，通过gpu对上述第一图像进行画质增强；或者，第一电子设备可以在npu上运行上述超分模型，通过npu对上述第一图像进行画质增强。本技术在此不对第一电子设备内执行上述超分辨率重建操作的硬件进行限定。
[0310]
为了更好地对本技术实施例提供的图像处理方法进行说明，以下结合具体的场景进行描述。
[0311]
图7为本实施例提供的适用于场景一、场景二、场景三和场景四的第一电子设备的示意图。如图7所示，第一电子设备内可以设置有gpu 701和npu 702。在npu 702内，预设有通用的游戏类超分模型以及针对游戏a的超分模型，针对游戏a的超分模型与游戏a的应用标识相关联。
[0312]
场景一：
[0313]
如8所示，第一电子设备的主页面上可以设置有多个图标，包括“时钟”、“日历”、“游戏b”、“备忘录”、“相机”、“通讯录”、“电话”、“信息”等图标。一个图标表示一种应用程序。
[0314]
用户点击第一电子设备上游戏b的图标，第一电子设备响应于用户的点击操作，启动游戏b。
[0315]
如图9所示，游戏b启动后，游戏b的应用程序逐帧发送原生图像数据至gpu 701。
[0316]
gpu 701对上述原生图像数据进行逐帧渲染，得到与各帧原生图像数据对应的第一图像，并将第一图像逐帧发送至npu 702。
[0317]
npu 702接收到第一图像后，获取游戏b的应用标识，根据游戏b的应用标识未找到与游戏b对应的超分模型，则选用通用游戏类的超分模型作为目标超分模型。
[0318]
npu 702逐帧地将第一图像输入目标超分模型中，通过目标超分模型对第一图像
进行画质增强，得到各帧第一图像对应的目标图像，并将目标图像逐帧送至第一电子设备的显示屏。
[0319]
如图10所示，显示屏获取到目标图像之后，将目标图像上屏显示，从而使显示屏显示游戏b的画面。
[0320]
此外，如果第一电子设备中仅设置有一个通用游戏类的超分模型，则当用户再次触发游戏b时，第一电子设备依然使用同一通用游戏类的超分模型对游戏b的图像进行处理。
[0321]
如果第一电子设备中存在多个通用游戏类的超分模型，则当用户再次触发游戏b时，第一电子设备可以从多个通用游戏类的超分模型中随机选择一个超分模型对游戏b的图像进行处理。
[0322]
或者，如果第一电子设备中存在多个通用游戏类的超分模型，第一电子设备也可以在首次使用通用游戏类的超分模型对游戏b的图像进行处理后，建立游戏b的应用标识与该通用游戏类的超分模型的关联关系。当用户再次触发游戏b时，第一电子设备可以获取游戏b的应用标识，根据游戏b的应用标识找到同一通用游戏类的超分模型对游戏b的图像进行处理。
[0323]
场景二：
[0324]
如图11所示，第一电子设备的主页面上可以设置有多个图标，包括“时钟”、“日历”、“游戏a”、“备忘录”、“相机”、“通讯录”、“电话”、“信息”等图标。一个图标表示一种应用程序。
[0325]
如图9所示，用户点击第一电子设备上游戏a的图标，第一电子设备响应于用户的点击操作，启动游戏a。
[0326]
游戏a启动后，游戏a的应用程序逐帧发送原生图像数据至gpu 701。
[0327]
gpu 701对上述原生图像数据进行逐帧渲染，得到各帧原生图像数据对应的第一图像，并将第一图像逐帧发送至npu 702。
[0328]
npu 702接收到第一图像后，获取游戏a的应用标识，根据游戏a的应用标识找到了针对游戏a的超分模型，则选用针对游戏a的超分模型作为目标超分模型。
[0329]
npu 702逐帧地将第一图像输入目标超分模型中，通过目标超分模型对第一图像进行画质增强，得到各帧第一图像对应的目标图像，并将目标图像逐帧送至第一电子设备的显示屏。
[0330]
如图12所示，显示屏获取到目标图像之后，将目标图像上屏显示，从而使显示屏显示游戏a的画面。
[0331]
场景三：
[0332]
如图11所示，用户点击第一电子设备上游戏a的图标，第一电子设备响应于用户的点击操作，启动游戏a。
[0333]
如图13和14所示，游戏a启动后，游戏a的应用程序逐帧发送原生图像数据1301至gpu 701。原生图像数据1301的图像分辨率为480
×
360。
[0334]
gpu 701对上述原生图像数据1301进行逐帧渲染，得到各帧原生图像数据1301对应的第一图像1302，第一图像1302的图像分辨率为1920
×
1080。gpu 701将初步渲染后的第一图像1302逐帧发送至npu 702。
[0335]
npu 702接收到第一图像1302后，获取游戏a的应用标识，根据游戏a的应用标识找到针对游戏a的超分模型，则选用针对游戏a的超分模型作为目标超分模型。该目标超分模型为单倍增强型超分模型，目标超分模型的输出图像的目标分辨率为1920
×
1080。
[0336]
npu 702逐帧地将第一图像1302输入目标超分模型中，通过目标超分模型对第一图像1302进行画质增强，得到图像分辨率为1920
×
1080的目标图像1303。
[0337]
如图14所示，目标图像1303的图像分辨率与第一图像1302的图像分辨率相同，但是目标图像1303的清晰度高于第一图像1302，目标图像1303的画质高于第一图像1302的画质。
[0338]
npu 702获取到目标图像1303之后，将目标图像1303逐帧送至第一电子设备的显示屏。
[0339]
场景四：
[0340]
如图11所示，用户点击第一电子设备上游戏a的图标，第一电子设备响应于用户的点击操作，启动游戏a。
[0341]
如图15和图16所示，游戏a启动后，游戏a的应用程序逐帧发送原生图像数据1501至gpu 701。原生图像数据1501的图像分辨率为480
×
360。
[0342]
gpu 701对上述原生图像数据1501进行逐帧渲染，得到各帧原生图像数据对应的第一图像1502，第一图像1502的图像分辨率为480
×
360。gpu 701将初步渲染后的第一图像1502逐帧发送至npu 702。
[0343]
npu 702接收到第一图像1502后，获取游戏a的应用标识，根据游戏a的应用标识找到针对游戏a的超分模型，则选用针对游戏a的超分模型作为目标超分模型。该目标超分模型为多倍增强型超分模型，目标超分模型的输出图像的目标分辨率为1920
×
1080。
[0344]
npu 702逐帧地将第一图像1502输入目标超分模型中，通过目标超分模型对第一图像1502进行画质增强，并对第一图像1502进行分辨率适配，得到图像分辨率为1920
×
1080的目标图像1503。
[0345]
如图16所示，目标图像1503的清晰度与第一图像1502的清晰度相同，但是目标图像1503的图像分辨率高于第一图像1502的图像分辨率，目标图像1503的画质高于第一图像1502的画质。
[0346]
npu 702获取到目标图像1503之后，将目标图像1503逐帧送至第一电子设备的显示屏上屏显示。
[0347]
综上可得，在本实施例提供的图像处理方法中，第一电子设备先对应用程序的原生图像数据进行初步渲染，得到第一图像。然后，第一电子设备再通过超分模型对第一图像进行超分辨率重建，提高第一图像的画质，得到用于上屏显示的目标图像。与目前对原生图像数据进行渲染，直接得到高画质的图像的方案相比，本实施例提供的图像处理方法可以减少对第一电子设备的硬件资源的要求，且降低渲染功耗，解决了现有的图像处理方法在渲染高画质的产品时，渲染功耗高，计算量大的问题。
[0348]
此外，上述初步渲染的步骤以及超分辨率重建的步骤可以由第一电子设备内相同的图形渲染硬件执行。例如，在一些实施例中，上述初步渲染的步骤以及超分辨率重建的步骤可以均由第一电子设备内的gpu执行；在另一些实施例中，上述初步渲染的步骤以及超分辨率重建的步骤可以均由第一电子设备内的npu执行。
[0349]
或者，上述初步渲染的步骤以及超分辨率重建的步骤也可以由第一电子设备内不同的图形渲染硬件执行，即上述第一图形渲染硬件和第二图形渲染硬件为不同的图形渲染硬件。例如，在一些实施例中，上述初步渲染的步骤可以由第一电子设备的gpu执行，上述超分辨率重建的步骤可以由第一电子设备的npu执行；在另一些实施例中，上述初步渲染的步骤可以由第一电子设备的cpu执行，上述超分辨率重建的步骤可以由第一电子设备的npu执行。
[0350]
当上述初步渲染的步骤以及超分辨率重建的步骤由不同的硬件执行时，可以充分利用第一电子设备内多种异构硬件资源，降低对第一电子设备的硬件资源的要求，在硬件资源有限的条件下更好地提升图像的画质。
[0351]
在进行超分辨率重建时，第一电子设备选用的超分模型可以为单倍增强型超分模型，或者，第一电子设备选用的超分模型也可以为多倍增强型超分模型。当第一电子设备选用的超分模型为多倍增强型超分模型时，可以降低初步渲染过程中图形渲染硬件所占用的硬件资源以及初步渲染的渲染功耗。
[0352]
此外，上述超分模型可以为通用超分模型，或者，上述超分模型也可以为针对某一应用程序或某一类应用程序的特定超分模型。特定超分模型的适用范围比通用超分模型的适用范围小，但是通常特定超分模型的画质增强效果优于通用超分模型。
[0353]
以上为本技术实施例提供的一种图像处理方法，以下将从第一电子设备和指定设备的角度，对本实施例提供的另一种图像处理方法进行描述。请参阅图8所示的图像处理方法的流程图，该方法包括：
[0354]
s1701、第一电子设备对原生图像数据进行渲染，得到第一图像；
[0355]
在本实施例中，将对多个电子设备协同进行图像渲染的方法进行介绍。
[0356]
当第一电子设备与其他电子设备多屏互动时，第一电子设备可能需要将本设备的显示画面投屏至其他电子设备。
[0357]
例如，当用户在用手机玩游戏时，用户可能会觉得手机的屏幕太小，视觉效果不佳。此时，如果用户拥有一智能电视，则用户可以控制手机与智能电视进行多屏互动，建立手机和智能电视的通信连接，将手机上的游戏画面投屏至智能电视进行显示，从而使用户可以通过智能电视观看游戏画面，得到更好的视觉体验。
[0358]
在当前的投屏方案中，投屏方的第一电子设备需要独立完成图像渲染工作，然后将渲染后的图像传递至被投屏方的第一电子设备。之后，被投屏方的第一电子设备会对渲染后的图像进行分辨率适配，将分辨率适配后的图像上屏显示。
[0359]
由于在当前的投屏方案中，图像的渲染工作完全由投屏方的第一电子设备处理，所以，这会占用投屏方的电子设备大量的硬件资源，渲染功耗大，未充分利用同一局域网内的多个电子设备的硬件资源。
[0360]
并且，通常投屏技术用于将小屏设备的显示画面投屏至大屏设备的屏幕，此时，低图像分辨率的图像难以适配高图像分辨率的显示设备，从而导致用户使用体验不佳。
[0361]
为此，在本实施例提供的图像处理方法中，当用户在第一电子设备上启动应用程序，并开启了多屏互动功能时，第一电子设备可以对应用程序产生的原生图像数据进行初步渲染，得到第一图像。
[0362]
初步渲染的过程可以参照上一实施例中关于步骤s301的描述，在此不重复赘述。
[0363]
s1702、第一电子设备将第一图像发送至指定设备，以指示指定设备对第一图像进行超分辨率重建，得到目标图像。
[0364]
指定设备(即前述第二电子设备)为用户选定的，与上述第一电子设备处于同一局域网络的其他电子设备。
[0365]
例如，如图18所示，当用户希望将手机的游戏画面投屏至智能电视时，用户可以开启手机的“无线投屏”功能。用户开启了手机的“无线投屏”功能之后，手机开始搜索同一局域网内可用的电子设备。手机搜索到电子设备1、电子设备2和电子设备3。当手机检测到用户对电子设备1的点击操作时，表示电子设备1被用户选定，手机将电子设备1确定为指定设备。
[0366]
第一电子设备在得到第一图像后，将第一图像发送至指定设备。上述指定设备为被投屏的电子设备。指定设备的数量可以为一个，或者，指定设备的数量也可以为多个。
[0367]
例如，请参阅图18，假设电子设备1为智能电视，电子设备2为电脑。当用户操作手机，如果用户希望将手机的游戏画面投屏至智能电视时，则手机为投屏方的第一电子设备，智能电视为被投屏方的电子设备(即指定设备)，此时用户可以开启手机的“无线投屏”功能。用户开启了手机的“无线投屏”功能之后，手机开始搜索同一局域网内可用的电子设备。手机搜索到电子设备1、电子设备2和电子设备3。然后用户点击电子设备1，手机响应于用户的操作，将电子设备1设置为指定设备，指定设备的数量为1。
[0368]
当用户操作手机，如果用户希望将手机的游戏画面同时投屏至智能电视和电脑时，则手机为投屏方的第一电子设备，智能电视和电脑为被投屏方的电子设备(即指定设备)，此时用户可以开启手机的“无线投屏”功能。用户开启了手机的“无线投屏”功能之后，手机开始搜索同一局域网内可用的第一电子设备。手机搜索到电子设备1、电子设备2和电子设备3。然后用户点击电子设备1和电子设备2，手机响应于用户的操作，将电子设备1和电子设备2设置为指定设备，指定设备的数量为2。
[0369]
指定设备在接收到第一图像后，将第一图像输入经过训练的超分模型中，对第一图像进行超分辨率重建，得到目标图像并显示。
[0370]
可以理解的是，在本实施例的图像处理方法中，第一电子设备不仅可以使用本地的硬件资源对图像进行渲染，还可以利用指定设备的硬件资源对图像的画质进行优化，充分利用同一局域网内多个电子设备的硬件资源，从而减少第一电子设备在渲染高画质图像时对本地硬件资源的负荷，以及减少第一电子设备渲染高画质图像的渲染功耗。
[0371]
指定设备上的超分模型可以为单倍增强型超分模型，或者，指定设备上的超分模型也可以为多倍增强型超分模型。单倍增强型超分模型为输入图像的图像分辨率和输出图像的图像分辨率相同的超分模型。多倍增强型超分模型为输入图像的图像分辨率小于输出图像的图像分辨率的超分模型。
[0372]
在一些实施例中，当指定设备上的超分模型为单倍增强型超分模型时，第一电子设备可以获取指定设备上配置的目标图像分辨率。目标图像分辨率为指定设备上设置的屏幕显示图像的图像分辨率。
[0373]
第一电子设备根据目标图像分辨率对应用程序产生的原生图像数据进行渲染，得到第一图像。此时，第一图像的图像分辨率为目标图像分辨率。
[0374]
然后，第一电子设备将第一图像传递至指定设备。指定设备将第一图像输入单倍
增强型超分模型，通过单倍增强型超分模型提高第一图像的画质，得到目标图像并上屏显示。目标图像的图像分辨率为目标图像分辨率。
[0375]
在另一些实施例中，当指定设备上的超分模型为单倍增强型超分模型时，第一电子设备也可以直接根据用户配置的第一图像分辨率对应用程序产生的原生图像数据进行渲染，得到第一图像。此时，第一图像的图像分辨率为第一图像分辨率。
[0376]
然后，第一电子设备将第一图像传递至指定设备。由于指定设备上的超分模型为单倍增强型超分模型，无法使第一图像的分辨率适配至目标图像分辨率。目标图像分辨率为指定设备设置的上屏显示的图像分辨率。因此，指定设备在获取到第一图像之后，可以对第一图像进行上采样处理，将第一图像的分辨率适配为指定设备上配置的目标图像分辨率，得到第二图像。第二图像的图像分辨率为目标图像分辨率。
[0377]
上采样所应用的算法可以是最邻近元法、双线性内插法、三次内插法等插值算法中的任意一种。指定设备通过预设的上采样算法对第一图像进行上采样处理，得到第二图像。
[0378]
之后，指定设备将第二图像输入单倍增强型超分网络，通过单倍增强型超分网络增强上述第二图像的画质，得到目标图像。目标图像的图像分辨率为目标图像分辨率。
[0379]
在另一些实施例中，当指定设备上的超分模型为多倍增强型超分模型时，第一电子设备可以根据用户配置的第一图像分辨率对应用程序产生的原生图像数据进行渲染，得到第一图像。此时，第一图像的图像分辨率为第一图像分辨率。
[0380]
然后，第一电子设备将第一图像传递至指定设备。指定设备将第一图像输入多倍增强型超分网络，通过多倍增强型超分网络增强上述第一图像的画质，并将上述第一图像的分辨率适配至指定设备上配置的目标图像分辨率，得到目标图像。目标图像的图像分辨率为目标图像分辨率。
[0381]
此外，指定设备上的超分模型可以为通用超分模型，或者，上述超分模型也可以为针对某一产品或者某一类产品而训练的特定超分模型。上述通用超分模型以及特定超分模型的训练方式可以参见上一实施例的描述，在此不再赘述。
[0382]
当指定设备上设置有多个训练后的超分模型时，指定设备可以在接收到第一图像后，获取上述第一图像对应的应用程序的标识，根据应用程序的标识选择相应的超分模型对第一图像进行超分辨率重建处理。
[0383]
如果指定设备未检测到应用程序的标识对应的超分模型，则指定设备可以调用通用超分模型进行超分辨率重建处理。并且，当指定设备中设置有多个通用超分模型时，指定设备还可以在使用通用超分模型对第一图像进行超分辨率重建之后，建立该通用超分模型与上述应用程序的标识的关联关系，以便指定设备下一次处理该应用程序的第一图像时，可以根据前述关联关系查找到同一通用超分模型对第一图像进行处理。
[0384]
需要说明的是，第一电子设备可以根据实际情况选择合适的图形渲染硬件对原生图像数据进行初步渲染，得到第一图像。上述图形渲染硬件可以为中央处理器(central processing unit，cpu)、图形处理器(graphics processing unit，gpu)以及神经网络处理器(neural-network processing units，npu)中的一种或多种。例如，当第一电子设备采用gpu-turbo技术对原生图像数据进行初步渲染时，上述图形渲染硬件可以为cpu和gpu的组合。
[0385]
指定设备可以根据实际情况选择合适的硬件运行上述超分模型。在一些实施例中，指定设备可以在cpu上运行上述超分模型，通过cpu对上述第一图像进行画质增强；在另一些实施例中，指定设备可以在gpu上运行上述超分模型，通过gpu对上述第一图像进行画质增强；或者，指定设备可以在npu上运行上述超分模型，通过npu对上述第一图像进行画质增强。本技术在此不对指定设备内执行上述超分重建操作的硬件进行限定。
[0386]
为了更好地对本技术实施例提供的图像处理方法进行说明，以下结合具体的场景进行描述。
[0387]
在以下的应用场景中，第一电子设备(即投屏方的电子设备)可以为手机，手机内可以设置有gpu。指定设备(即被投屏方的电子设备)可以为智能电视以及电脑，智能电视以及电脑内可以设置有npu。在npu内，预设有通用游戏类的超分模型以及针对游戏a的超分模型，针对游戏a的超分模型与游戏a的应用标识相关联。
[0388]
场景五：
[0389]
用户操作手机，将手机的显示画面投屏至智能电视。
[0390]
如图8和图19所示，用户点击手机上游戏b的图标，手机响应于用户的点击操作，启动游戏b。
[0391]
游戏b启动后，游戏b的应用程序逐帧发送原生图像数据至手机gpu。
[0392]
手机的gpu对上述原生图像数据进行逐帧渲染，得到各帧原生图像数据对应的第一图像，并通过手机的无线通信模块将第一图像逐帧发送至智能电视。
[0393]
智能电视接收到第一图像后，获取第一图像对应的应用标识，根据游戏b的应用标识未找到与游戏b对应的超分模型，则选用通用的游戏类超分模型作为目标超分模型。
[0394]
智能电视的npu逐帧地将第一图像输入目标超分模型中，通过目标超分模型对第一图像进行画质增强，得到各帧第一图像对应的目标图像，并将目标图像逐帧送至智能电视的显示屏上屏显示。
[0395]
场景六：
[0396]
用户操作手机，将手机的显示画面投屏至智能电视。
[0397]
如图9和图19所示，用户点击手机上游戏a的图标，手机响应于用户的点击操作，启动游戏a。
[0398]
游戏a启动后，游戏a的应用程序逐帧发送原生图像数据至手机的gpu。
[0399]
手机的gpu对上述原生图像数据进行逐帧渲染，得到各帧原生图像数据对应的第一图像，并通过手机的无线通信模块将第一图像发送至智能电视。
[0400]
智能电视接收到第一图像后，获取第一图像对应的应用标识，根据游戏a的应用标识找到了针对游戏a的超分模型，则选用针对游戏a的超分模型作为目标超分模型。
[0401]
智能电视的npu逐帧地将第一图像输入目标超分模型中，通过目标超分模型对第一图像进行画质增强，得到各帧第一图像对应的目标图像，并将目标图像逐帧送至智能电视的显示屏上屏显示。
[0402]
场景七：
[0403]
请参阅图20和图21，用户操作手机2001，将手机2001的显示画面投屏至智能电视2002和电脑2003。
[0404]
用户点击手机2001上游戏a的图标，手机2001响应于用户的点击操作，启动游戏a。
[0405]
游戏a启动后，游戏a的应用程序逐帧发送原生图像数据20011至手机2001的gpu。原生图像数据20011的图像分辨率为480
×
360。
[0406]
并且，手机2001通过无线通信模块与智能电视2002以及电脑2003进行数据交互，获取智能电视2002上配置的图像分辨率1920
×
1080和电脑2003上配置的图像分辨率2560
×
1440。
[0407]
手机2001根据智能电视2002上配置的图像分辨率1920
×
1080，对上述原生图像数据20011进行逐帧渲染，得到图像20012，图像20012的分辨率为1920
×
1080。
[0408]
同时，手机2001根据电脑2003上配置的图像分辨率2560
×
1440，对上述原生图像数据20011进行逐帧渲染，得到图像20013，图像20013的分辨率为2560
×
1440。
[0409]
手机2001通过无线通信模块将图像20012发送至智能电视2002，并且通过无线通信模块将图像20013发送至电脑2003。
[0410]
智能电视2002接收到图像20012后，获取图像20012对应的应用标识，根据游戏a的应用标识找到了针对游戏a的单倍增强型超分模型，则选用针对游戏a的单倍增强型超分模型作为目标超分模型。
[0411]
智能电视2002的npu逐帧地将图像20012输入目标超分模型中，通过目标超分模型对图像20012进行超分辨率重建，得到图像20021。图像20021的图像分辨率为1920
×
1080。
[0412]
如图21所示，图像20012的图像分辨率和图像20021的图像分辨率都是1920
×
1080，但是图像20021的清晰度高于图像20012的清晰度，图像20021的画质高于图像20012的画质。
[0413]
智能电视2002得到图像20012之后，将图像20012逐帧传递至智能电视2002的显示屏上屏显示。
[0414]
电脑2003接收到图像20013后，获取图像20013对应的应用标识，根据游戏a的应用标识找到了针对游戏a的单倍增强型超分模型，则选用针对游戏a的单倍增强型超分模型作为目标超分模型。
[0415]
电脑2003的npu逐帧地将图像20013输入目标超分模型中，通过目标超分模型对图像20013进行超分辨率重建，得到图像20031。图像20031的图像分辨率为2560
×
1440。
[0416]
如图21所示，图像20013的图像分辨率和图像20031的图像分辨率都是2560
×
1440，但是图像20031的清晰度高于图像20013的清晰度，图像20031的画质高于图像20013的画质。
[0417]
电脑2003得到图像20031之后，将图像20031逐帧传递至电脑2003的显示屏上屏显示。
[0418]
场景八：
[0419]
请参阅图22和图23，用户操作手机2201，将手机2201的显示画面投屏至智能电视2202和电脑2203。
[0420]
用户点击手机2201上游戏a的图标，手机2201响应于用户的点击操作，启动游戏a。
[0421]
游戏a启动后，游戏a的应用程序逐帧发送原生图像数据22011至手机2201的gpu。原生图像数据22011的图像分辨率为480
×
360。
[0422]
手机2201根据预先配置的图像分辨率，对上述原生图像数据22011进行逐帧渲染，得到图像22012，图像22012的分辨率为480
×
360。
[0423]
手机2201通过无线通信模块将图像22012发送至智能电视2202，并且通过无线通信模块将图像22012发送至电脑2203。
[0424]
智能电视2202接收到图像22012后，获取图像22012对应的应用标识，根据游戏a的应用标识找到了针对游戏a的单倍增强型超分模型，则选用针对游戏a的单倍增强型超分模型作为目标超分模型。
[0425]
智能电视2202的npu逐帧地对图像22012进行上采样，得到图像22021，图像22021的图像分辨率为1920
×
1080。然后，智能电视2202的nup逐帧地将图像22021输入目标超分模型中，通过目标超分模型对图像22021进行超分辨率重建，得到图像22022。
[0426]
如图23所示，图像22021的图像分辨率和图像22022的图像分辨率都是1920
×
1080，但是图像22022的清晰度高于图像22021的清晰度，图像22022的画质高于图像22021的画质。
[0427]
智能电视2202得到图像22022之后，将图像22022逐帧传递至智能电视2202的显示屏上屏显示。
[0428]
电脑2203接收到图像22012后，获取图像22012对应的应用标识，根据游戏a的应用标识找到了针对游戏a的单倍增强型超分模型，则选用针对游戏a的单倍增强型超分模型作为目标超分模型。
[0429]
电脑2203的npu逐帧地对图像22012进行上采样，得到图像22031，图像22031的图像分辨率为2560
×
1440。然后，电脑2203的nup逐帧地将图像22031输入目标超分模型中，通过目标超分模型对图像22031进行超分辨率重建，得到图像22032。
[0430]
如图23所示，图像22031的图像分辨率和图像22032的图像分辨率都是1920
×
1080，但是图像22032的清晰度高于图像22031的清晰度，图像22032的画质高于图像22031的画质。
[0431]
电脑2203得到图像22032之后，将图像22032逐帧传递至电脑2203的显示屏上屏显示。
[0432]
场景九：
[0433]
请参阅图24和图25，用户操作手机2401，将手机2401的显示画面投屏至智能电视2402和电脑2403。
[0434]
用户点击手机2401上游戏a的图标，手机2401响应于用户的点击操作，启动游戏a。
[0435]
游戏a启动后，游戏a的应用程序逐帧发送原生图像数据24011至手机2401的gpu。
[0436]
手机2401根据预先配置的图像分辨率，对上述原生图像数据24011进行逐帧渲染，得到图像24012，图像24012的分辨率为480
×
360。
[0437]
手机2401通过无线通信模块将图像24012发送至智能电视2402，并且通过无线通信模块将图像24012发送至电脑2403。
[0438]
智能电视2402接收到图像24012后，获取图像24012对应的应用标识，根据游戏a的应用标识找到了针对游戏a的多倍增强型超分模型，则选用针对游戏a的多倍增强型超分模型作为目标超分模型。
[0439]
智能电视2402的npu逐帧地将图像24012输入目标超分模型中，通过目标超分模型对图像24012进行超分辨率重建，得到图像24021。图像24021的图像分辨率为1920
×
1080。
[0440]
如图25所示，图像24021的图像分辨率大于图像24012的图像分辨率，且图像24021
的清晰度大于图像24012的清晰度，所以图像24021的画质高于图像24012的画质。
[0441]
智能电视2402得到图像24021之后，将图像24021逐帧传递至智能电视2402的显示屏上屏显示。
[0442]
电脑2403接收到图像24012后，获取图像24012对应的应用标识，根据游戏a的应用标识找到了针对游戏a的多倍增强型超分模型，则选用针对游戏a的多倍增强型超分模型作为目标超分模型。
[0443]
电脑2403的npu逐帧地将图像24012输入目标超分模型中，通过目标超分模型对图像24012进行超分辨率重建，得到图像24031。图像24031的图像分辨率为2560
×
1440。
[0444]
图像24031的图像分辨率大于图像24012的图像分辨率，且图像24031的清晰度大于图像24012的清晰度，所以图像24031的画质高于图像24012的画质。
[0445]
电脑2403得到图像24031之后，将图像24031逐帧传递至电脑2403的显示屏上屏显示。
[0446]
综上可得，在本实施例提供的图像处理方法中，第一电子设备先对应用程序的原生图像数据进行初步渲染，得到第一图像。然后，第一电子设备再将第一图像传输至需要投屏的指定设备，由指定设备对第一图像进行超分辨率重建，提高第一图像的画质，得到用于上屏显示的目标图像。也即是说，在本实施例提高的图像处理方法中，将图像渲染过程分成初步渲染和超分辨率重建两个步骤，初步渲染步骤由投屏方的第一电子设备执行，超分辨率重建的步骤由被投屏方的指定设备执行，从而减少投屏方的第一电子设备的硬件资源的负荷，降低渲染功效，并且可以充分利用投屏方的第一电子设备的硬件资源以及被投屏方的指定设备的硬件资源。
[0447]
此外，采用本实施例提供的图像处理方法，可以使画质增强后的目标图像的显示分辨率与指定设备的显示分辨率相适配，提高用户的使用体验。
[0448]
其中，指定设备在进行超分辨率重建时，指定设备选用的超分模型可以为单倍增强型超分模型，或者，也可以为多倍增强型超分模型。当指定设备选用的超分模型为多倍增强型超分模型时，可以降低初步渲染所占用的硬件资源以及初步渲染的渲染功耗。
[0449]
此外，上述超分模型可以通用超分模型，或者，也可以为针对某一应用程序或某一类应用程序的特定超分模型。特定超分模型的适用范围比通用超分模型的适用范围小，但是通常特定超分模型的画质增强效果优于通用超分模型。
[0450]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0451]
请参阅图26，本技术实施例还提供了一种电子设备。如图26所示，该实施例的电子设备26包括：处理器260、存储器261以及存储在所述存储器261中并可在所述处理器260上运行的计算机程序262。所述处理器260执行所述计算机程序262时实现上述屏幕扩展方法实施例中的步骤，例如图1所示的步骤s301至s302。或者，所述处理器260执行所述计算机程序262时实现上述各装置实施例中各模块/单元的功能，例如图26所示模块2601至2602的功能。
[0452]
示例性的，所述计算机程序262可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器261中，并由所述处理器260执行，以完成本技术。所
述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序262在所述电子设备26中的执行过程。例如，所述计算机程序262可以被分割成原生数据模块、初步渲染模块以及第一超分模块，各模块具体功能如下：
[0453]
原生数据模块，用于获取原生图像数据，所述原生图像数据为应用程序生成的、且未经过渲染的图像数据；
[0454]
初步渲染模块，用于通过第一图形渲染硬件对所述原生图像数据进行渲染，得到第一图像；
[0455]
第一超分模块，用于通过第二图形渲染硬件对所述第一图像进行超分辨率重建，得到目标图像，所述第一图形渲染硬件和第二图形渲染硬件为不同的图形渲染硬件。
[0456]
所述电子设备26可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器260、存储器261。本领域技术人员可以理解，图26仅仅是电子设备26的示例，并不构成对电子设备26的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
[0457]
所称处理器260可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件硬件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0458]
所述存储器261可以是所述电子设备26的内部存储单元，例如电子设备26的硬盘或内存。所述存储器261也可以是所述电子设备26的外部存储设备，例如所述电子设备26上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器261还可以既包括所述电子设备26的内部存储单元也包括外部存储设备。所述存储器261用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器261还可以用于暂时地存储已经输出或者将要输出的数据。
[0459]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0460]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0461]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟
以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0462]
在本技术所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或硬件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0463]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0464]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0465]
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0466]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。