一种图像处理方法及相关装置与流程

1.本技术涉及计算机视觉领域，尤其涉及一种图像处理的方法及相关装置。


背景技术：

2.智能手机发展至今，拍照已然成为其最为重要的特性之一。无论是基础成像器件还是成像算法，均产生了极大的发展和变化，一次又一次地推动了手机拍照的变革，提升用户拍照体验。然而，在这一次又一次的变革背后，器件的成本也越来越高，成像质量也越来越趋近瓶颈。
3.现有方案中，为了提升终端拍摄到照片的质量，通常终端在摄像头获取到拍摄画面后，会通过图像处理器(image signal processing，isp)生成图像数据，并通过预设的算法对该图像数据进行处理优化，以提升图像效果。但是，终端利用固定的算法对图片进行处理，处理后的图像都是同一风格，并且由于终端能力的限制，处理后的图像质量并不高。而且不同的景物，呈现风格是不一样的。例如，北京故宫等名胜古迹呈现的是古风古韵的风格，上海外滩等都市景点，呈现的是大都市风格。同一景物不同的环境下，呈现的风格也是不一样的。例如，夏天的故宫和冬天的故宫，所呈现出的风格也是不一样的。对于摄影师来说，每一种风格都有不同的清晰度、色彩丰富度、对比度、白平衡、细节、纹理等等图像参数。现有方案中终端提升拍摄图片的质量的手段十分有限，成像质量不高。


技术实现要素：

4.本技术提供了一种图像处理方法及相关装置，实现了通过云端服务器和终端结合，充分利用高质量图片数据和算法，赋能终端拍照成像系统，是终端能够突破终端本身成像质量极限，使得普通摄像头也能拍出媲美专业单反相机的效果，从而，在降低手机成本的同时，极大的提升终端拍摄照片的质量，以及用户拍照体验。并且，云服务器可以根据用户上传的图像不断地优化图像处理模型，从而能够提升图像处理模型的图像处理能力。
5.第一方面，本技术提供了一种图像处理方法，该方法可以应用于图像处理系统，该图像处理系统可以包括终端和云服务器；其中，该方法可以包括：该终端在第一时刻接收到用户的第一输入；响应于该第一输入，该终端获取第一图像以及拍摄该第一图像时的第一环境信息；该终端发送该第一图像和该第一环境信息给该云服务器；该云服务器根据该第一环境信息，确定与该第一环境信息对应的第一图像处理模型；该第一图像处理模型在该第一时刻之前由该云服务器利用该第一环境信息对应的多张图像训练第二图像处理模型得到；该云服务器通过该第一图像处理模型对该第一图像进行处理，得到第二图像；该云服务器发送该第二图像给该终端。
6.这样，终端可以借助云服务器提高图像的质量。这样可以使终端能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的效果，从而在降低手机成本的同时，极大的提升终端的拍照质量和用户拍照体验。
7.在一种可能的实现方式中，该终端在第一时刻接收到用户的第一输入之前，该方
法还包括：该云服务器可以获取终端在第一时刻之前上传的与该第一环境信息对应的n张终端图像；当该n张终端图像的数量大于第一预设阈值时，该云服务器查找出与该n张终端图像匹配的 n张高清图像；该云服务器根据该n张终端图像和该n张高清图像，训练该第二图像处理模型，生成该第一图像处理模型。
8.这样，云服务器还可以根据终端用户上传的图像，以及云服务器中与用户上传的图像匹配的高质量图像形成训练数据集，优化云服务器中的图像处理模型。这样，云服务器可以根据用户上传的图像不断地优化图像处理模型，从而能够提升图像处理模型的图像处理能力。
9.在一种可能的实现方式中，该云服务器查找出与该n张终端图像匹配的n张高清图像之后，该方法还包括：该云服务器对该n张终端图像与该n张高清图像进行配准，得到n张配准后的终端图像和n张配准后的高清图像；该云服务器可以根据该n张终端图像和该n 张高清图像，训练该第二图像处理模型，生成该第一图像处理模型，具体包括：该云服务器根据该n张配准后的终端图像和该n张配准后的高清图像，训练该第二图像处理模型，生成该第一图像处理模型。这样，可以使得云服务器生成的第一图像处理模型优化图像的效果更好。
10.可以理解的是，n张终端图像可以是多个终端上传到云服务器的。
11.在一种可能的实现方式中，该n张终端图像中包括第一终端图像，该n张高清图像中包括第一高清图像，该第一高清图像与该第一终端图像匹配；该n张配准后的终端图像中包括第二终端图像，该n张配准后的高清图像中包括第二高清图像，该第二终端图像为该第一终端图像中的与该第一高清图像拍摄内容相同的图像；该第二高清图像为该第一高清图像中的与该第一终端图像拍摄内容相同的图像。
12.可以理解的是，第二终端图像可以是云服务器从第一终端图像中裁剪出的图像，第二终端图像的清晰度和第一终端图像的清晰度相同。同样地，第二高清图像可以是云服务器从第一高清图像中裁剪出的图像，第二高清图像的清晰度与第一高清图像的清晰度相同。举例来说，第一终端图像的拍摄内容包括电脑a、盆栽a，第一高清图像的拍摄内容中包括电脑a 和办公桌a。那么云服务器可以裁剪出第一终端图像中电脑a的图像，得到第二终端图像。即，第二终端图像中拍摄内容为电脑a。同样地，云服务器可以裁剪出第一高清图像中电脑 a的图像，得到第二高清图像。即，第二高清图像中拍摄内容为电脑a。
13.在一种可能的实现方式中，该第二高清图像的拍摄内容与该第二终端图像的拍摄内容的相似度，大于该第一高清图像的拍摄内容与该第一终端图像的拍摄内容的相似度。
14.在一种可能的实现方式中，该第一高清图像与该第一终端图像匹配包括：该第一高清图像的拍摄地点与该第一终端图像的拍摄地点相同；且该第一高清图像的拍摄内容与该第一终端图像的拍摄内容的相似度大于第二预设阈值。
15.在一种可能的实现方式中，该云服务器根据该n张终端图像和该n张高清图像，训练该第二图像模型，生成第一图像训练模型之前，该方法还包括：该云服务器将该第一环境信息对应的(n m)张高清图像输入到第一退化网络中，得到(n m)张低清图像；该云服务器根据该n张终端图像和该n张高清图像，训练该第二图像处理模型，生成第一图像处理模型，具体包括：该云服务器根据该n张终端图像与该n张高清图像、以及该(n m)张低清图像与该(n m)张高清图像，训练该第二图像处理模型，生成该第一图像处理模型。
16.这样，云服务器可以根据退化网络生成第一图像处理模型的训练数据。这样，训练数据增多了，云服务器生成的第一图像处理模型能够更稳健，处理图像的效果可以更好。
17.在一种可能的实现方式中，该终端在第一时刻接收到用户的第一输入之前，该方法包括：该终端接收到用户的第二输入；响应于该第二输入，该终端获取第三图像以及拍摄该第三图像时的第二环境信息；该第二环境信息与该第一环境信息相同；该终端发送该第三图像和第二环境信息给该云服务器；该云服务器根据该第二环境信息，确定与该第二环境信息对应的第二图像处理模型；该云服务器通过该第二图像处理模型对该第三图像进行处理，得到第四图像；该云服务器发送该第四图像给该终端。
18.可以理解的是，第二环境信息和第一环境信息相同，可以是粗精度的相同，例如，第一环境信息为“拍摄地点为深圳a商场”，第二环境信息为“拍摄地点为深圳a商场”，在本技术实施例中第一环境信息中的位置信息和第二环境信息中的位置信息相同，那么即可以理解为第一环境信息和第二环境信息相同。第二环境信息和第一环境信息相同，也可以是细精度的相同，例如，第一环境信息为“拍摄地点为深圳a商场、拍摄时间为上午、拍摄天气为晴天”，第二环境信息为“拍摄地点为深圳a商场、拍摄时间为上午、拍摄天气为晴天”。即第一环境信息中的位置信息、时间信息、天气信息，均与第二环境信息中的位置信息、时间信息、天气信息相同时，第一环境信息与第二环境信息相同。
19.这样，当云服务器中没有第二环境信息对应的图像处理模型时，云服务器可以用普适模型(第二图像处理模型)处理终端上传的图像。
20.在一种可能的实现方式中，云服务器通过该第一图像处理模型对该第一图像进行处理，得到第二图像，具体包括：该云服务器通过第一图像处理模型对所述第一图像的细节清晰度、和/或动态范围、和/或对比度、和/或噪声、和/或色彩进行处理，得到所述第二图像。
21.在一种可能的实现方式中，第一环境信息包括以下一种或多种：地理位置信息、天气信息、季节信息、时间信息、拍摄姿态信息、拍摄参数等等。
22.第二方面，提供一种图像处理方法，该方法应用于终端，该方法可以包括：该终端在第一时刻接收到用户的第一输入；响应于该第一输入，终端获取第一图像以及拍摄第一图像时的第一环境信息；该终端发送该第一图像和第一环境信息给该云服务器；该终端接收该云服务器发送的第二图像；其中，该第二图像由该云服务器通过该第一图像处理模型处理该第一图像得到；该第一图像处理模型由该云服务器根据该第一环境信息确定；该第一图像处理模型在该第一时刻之前由该云服务器利用该第一环境信息对应的多张图像训练第二图像处理模型生成。
23.这样，终端可以借助云服务器提高图像的质量。这样可以使终端能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的效果，从而在降低手机成本的同时，极大的提升终端的拍照质量和用户拍照体验。
24.在一种可能的实现方式中，该终端在第一时刻接收到用户的第一输入之前，该方法还包括：该终端接收到用户的第二输入；响应于该第二输入，该终端获取第三图像以及拍摄该第三图像时的第二环境信息；该第二环境信息和该第一环境信息相同；该终端发送该第三图像和第二环境信息给该云服务器；该终端获取云服务器发送的第四图像，该第四图像由该云服务器通过第二图像处理模型得到，该第二图像处理模型由该云服务器根据该第
一环境信息确定。
25.这样，当云服务器中没有第二环境信息对应的图像处理模型时，云服务器可以用普适模型(第二图像处理模型)处理终端上传的图像。
26.在一种可能的实现方式中，该第一图像处理模型在该第一时刻之前由该云服务器利用该第一环境信息对应的多张图像训练第二图像处理模型生成，具体包括：该第一图像处理模型在该第一时刻之前由所述云服务器利用该第一环境信息对应的n张终端图像和n张高清图像训练第二图像处理模型生成；该n张高清图像与该n张终端图像匹配。
27.在一种可能的实现方式中，第一图像处理模型在第一时刻之前由云服务器利用第一环境信息对应的n张终端图像和n张高清图像训练第二图像处理模型生成，具体包括：第一图像处理模型在第一时刻之前由云服务器利用n张配准后的终端图像和n张配准后的高清图像训练第二图像处理模型生成，n张配准后的终端图像和n张配准后的高清图像由云服务器对n 张终端图像与n张高清图像进行配准得到。
28.在一种可能的实现方式中，该n张终端图像中包括第一终端图像，该n张高清图像中包括第一高清图像，该第一高清图像与该第一终端图像匹配；该n张配准后的终端图像中包括第二终端图像，该n张配准后的高清图像中包括第二高清图像，该第二终端图像为该第一终端图像中的与该第一高清图像拍摄内容相同的图像；该第二高清图像为该第一高清图像中的与该第一终端图像拍摄内容相同的图像。
29.在一种可能的实现方式中，第二高清图像的拍摄内容与第二终端图像的拍摄内容的相似度，大于第一高清图像的拍摄内容与第一终端图像的拍摄内容的相似度。
30.在一种可能的实现方式中，第一高清图像与第一终端图像匹配包括：第一高清图像的拍摄地点与第一终端图像的拍摄地点相同；且第一高清图像的拍摄内容与第一终端图像的拍摄内容的相似度大于第二预设阈值。
31.第三方面，提供一种图像处理方法，应用于云服务器，该方法可以包括：该云服务器接收终端发送的第一图像以及拍摄该第一图像时的第一环境信息；该云服务器根据该第一环境信息，确定与该第一环境信息对应的第一图像处理模型；该第一图像处理模型在该第一时刻之前由该云服务器利用该第一环境信息对应的多张图像训练第二图像处理模型得到；该云服务器通过该第一图像处理模型对该第一图像进行处理，得到第二图像；该云服务器发送该第二图像给该终端。
32.这样，云服务器可以提高终端图像的质量。云服务器还可以根据终端发送图像对应的环境信息确定对应的图像处理模型。这样，云服务器优化出的图像能够更符合该环境信息处风景或建筑等的风格。
33.在一种可能的实现方式中，该终端在第一时刻接收到用户的第一输入之前，该方法还包括：该云服务器获取终端在第一时刻之前上传的与该第一环境信息对应的n张终端图像；当该n张终端图像的数量大于第一预设阈值时，该云服务器查找出与该n张终端图像匹配的n 张高清图像；该云服务器根据该n张终端图像和该n张高清图像，训练该第二图像处理模型，生成所述第一图像处理模型。
34.这样，云服务器还可以根据终端用户上传的图像，以及云服务器中与用户上传的图像匹配的高质量图像形成训练数据集，优化云服务器中的图像处理模型。例如，云服务器中存在针对地理位置上海训练出的图像处理模型。当用户在深圳使用该图像处理功能时，
上传深圳地区的图像到云服务器，云服务器可以查找出与用户上传的深圳地区的图像匹配的高清图像。云服务器可以将用户上传的深圳地区的图像和与该深圳地区的图像匹配的高清图像作为训练数据集，训练出针对深圳地区的图像处理模型。这样，云服务器可以根据用户上传的图像不断地优化图像处理模型，从而能够提升图像处理模型的图像处理能力。
35.在一种可能的实现方式中，该云服务器查找出与该n张终端图像匹配的n张高清图像之后，该方法还包括：该云服务器对该n张终端图像与该n张高清图像进行配准，得到n张配准后的终端图像和n张配准后的高清图像；该云服务器根据该n张终端图像和该n张高清图像，训练该第二图像处理模型，生成该第一图像处理模型，具体包括：该云服务器根据该n张配准后的终端图像和该n张配准后的高清图像，训练该第二图像处理模型，生成该第一图像处理模型。
36.在一种可能的实现方式中，该n张终端图像中包括第一终端图像，该n张高清图像中包括第一高清图像，该第一高清图像与该第一终端图像匹配；该n张配准后的终端图像中包括第二终端图像，该n张配准后的高清图像中包括第二高清图像，该第二终端图像为该第一终端图像中的与该第一高清图像拍摄内容相同的图像；该第二高清图像为该第一高清图像中的与该第一终端图像拍摄内容相同的图像。
37.在一种可能的实现方式中，该第二高清图像的拍摄内容与该第二终端图像的拍摄内容的相似度，大于该第一高清图像的拍摄内容与该第一终端图像的拍摄内容的相似度。
38.在一种可能的实现方式中，该第一高清图像与该第一终端图像匹配包括：该第一高清图像的拍摄地点与该第一终端图像的拍摄地点相同；且该第一高清图像的拍摄内容与该第一终端图像的拍摄内容的相似度大于第二预设阈值。
39.在一种可能的实现方式中，该云服务器根据该n张终端图像和该n张高清图像，训练该第二图像模型，生成第一图像训练模型之前，该方法还包括：该云服务器将该第一环境信息对应的(n m)张高清图像输入到第一退化网络中，得到(n m)张低清图像；该云服务器根据该n张终端图像和该n张高清图像，训练该第二图像处理模型，生成第一图像处理模型，具体包括：该云服务器根据该n张终端图像与该n张高清图像、以及该(n m)张低清图像与该(n m)张高清图像，训练该第二图像处理模型，生成该第一图像处理模型。
40.这样，云服务器可以根据退化网络生成第一图像处理模型的训练数据。这样，训练数据增多了，云服务器生成的第一图像处理模型能够更稳健，处理图像的效果可以更好。
41.第四方面，提供一种图像处理方法，该方法应用于图像处理系统，该图像处理系统中可以包括终端和云服务器；其中，该方法可以包括：响应于第一用户的第三输入，该终端获取第十图像；该终端发送该第十图像给该云服务器；该云服务器通过存储的s个图像处理模型对该第十图像进行处理，得到s张处理后的图像，该s张处理后的图像的风格不同；该s个图像处理模型用于提高图像的质量；该云服务器将该s张处理后的图像发送给该终端。
42.这样，该方法不仅可以使得终端借助云服务器提升图像的质量。该方法还可以使得云服务器基于用户的选择，按照用户的喜欢来优化图像。这样，可以提升用户体验。
43.在一种可能的实现方式中，云服务器将该s张处理后的图像发送给该终端之后，该方法还包括：该终端接收并显示该s张处理后的图像；该终端接收该第一用户的第一操作，该第一操作用于选择该s张处理后的图像中的第十一图像；响应于该第一操作，该终端发送该第一用户的第一标识和该第十一图像给该云服务器；该云服务器将该输出该第十一图像
的第十一图像处理模型与该第一标识建立映射关系。
44.在一种可能的实现方式中，云服务器将该输出该第十一图像的第十一图像处理模型与该第一标识建立映射关系之后，该方法还包括：该终端接收第一用户的第四输入；响应于该第四输入，该终端获取第十二图像和该第一用户的第一标识；该终端发送该第十二图像和该第一标识给该云服务器；该云服务器根据该第一标识，确定该第一标识对应的该第十一图像处理模型；该云服务器将通过该第十一图像处理模型对该第十二图像进行处理，得到第十三图像；该云服务器将该第十三图像发送给该终端。
45.在一种可能的实现方式中，该s张处理后的图像的风格不同包括：该s张处理后的图像的锐度、和/或饱和度、和/或色温不同。
46.第五方面，本技术提供了一种终端，包括：摄像头、收发器、一个或多个处理器和一个或多个存储器。该一个或多个处理器与该摄像头、该一个或多个存储器以及该收发器耦合，该一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当该一个或多个处理器执行该计算机指令时，使得该终端执行上述任一方面任一项可能的实现方式中的图像处理方法。
47.第六方面，本技术提供了一种云服务器，收发器、一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合，该一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当该一个或多个处理器执行该计算机指令时，使得该云服务器执行上述任一方面任一项可能的实现方式中的图像处理方法。
48.第七方面，本技术实施例提供了一种计算机存储介质，包括计算机指令，当计算机指令在终端上运行时，使得终端执行上述任一方面任一项可能的实现方式中的图像处理方法。
49.第八方面，本技术实施例提供了一种计算机存储介质，包括计算机指令，当计算机指令在云服务器上运行时，使得云服务器执行上述任一方面任一项可能的实现方式中的图像处理方法。
50.第九方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端上运行时，使得终端执行上述任一方面任一项可能的实现方式中的图像处理方法。
51.第十方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在云服务器上运行时，使得云服务器执行上述任一方面任一项可能的实现方式中的图像处理方法。
附图说明
52.图1是本技术实施例提供的通信系统示意图；
53.图2a是本技术实施例提供的电子设备的结构示意图；
54.图2b是本技术实施例提供的电子设备的软件架构示意图；
55.图3a-图3h是本技术实施例提供的一组用户界面示意图；
56.图3i-图3j是本技术实施例提供的一组图像处理效果对比示意图；
57.图3k是本技术实施例提供的一组图片处理效果对比示意图；
58.图4是本技术实施例提供的一种图像处理方法的流程示意图；
59.图5a是本技术实施例提供的一种退化网络示意图；
60.图5b是本技术实施例提供的一种图像处理网络示意图；
61.图6是本技术实施例提供的另一种图像处理方法的流程示意图。
具体实施方式
62.本技术以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本技术的限制。如在本技术的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本技术中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
63.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
64.下面介绍本技术实施例涉及的一种通信系统10。
65.请参照图1，图1示出了申请实施例涉及的一种通信系统10的架构示意图。该通信系统 10可以包括终端100和云服务器200。其中，终端100可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer，umpc)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，pda)、增强现实(augmented reality，ar)\虚拟现实(virtual reality，vr)设备等。本技术实施例对该终端100的具体类型不作特殊限制。
66.终端100可以通过2g网络、3g网络、4g网络、5g网络、无线局域网(wireless local areanetwork，wlan)等连接上云服务器200。其中，终端100可以向云服务器200发送图像数据、图像数据的环境信息(例如地理位置信息、拍摄设备拍摄姿态信息、拍摄时间信息、天气信息等等)。云服务器200可以向终端100发送图像处理网络模型、高清图片数据等等。
67.云服务器200可以与多个终端100建立连接，可以独立处理多个终端100请求的处理任务。其中，云服务器200可以通过终端上用户登录的账户(例如，华为账户)对终端进行区分。
68.图2a示出了终端100的结构示意图。
69.下面以终端100为例对实施例进行具体说明。应该理解的是，图2a所示终端100仅是一个范例，并且终端100可以具有比图2a中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
70.终端100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线 (universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线 1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头 193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温
度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
71.可以理解的是，本发明实施例示意的结构并不构成对终端100的具体限定。在本技术另一些实施例中，终端100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
72.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器 (application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
73.其中，控制器可以是终端100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
74.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110 中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
75.在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronousreceiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface， mipi)，通用输入输出(general-purpose input/output，gpio)接口，用户标识模块(subscriberidentity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
76.i2c接口是一种双向同步串行总线，包括一根串行数据线(serial data line，sda)和一根串行时钟线(derail clock line，scl)。在一些实施例中，处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k，充电器，闪光灯，摄像头 193等。例如：处理器110可以通过i2c接口耦合触摸传感器180k，使处理器110与触摸传感器180k通过i2c总线接口通信，实现终端100的触摸功能。
77.i2s接口可以用于音频通信。在一些实施例中，处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过i2s接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
78.pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中，音频模块170 也可以通过pcm接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
79.uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用
于连接处理器110与无线通信模块160。例如：处理器110通过uart接口与无线通信模块160 中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过uart接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
80.mipi接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。mipi接口包括摄像头串行接口(camera serial interface，csi)，显示屏串行接口(display serial interface， dsi)等。在一些实施例中，处理器110和摄像头193通过csi接口通信，实现终端100的拍摄功能。处理器110和显示屏194通过dsi接口通信，实现终端100的显示功能。
81.gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。gpio接口还可以被配置为i2c接口，i2s 接口，uart接口，mipi接口等。
82.usb接口130是符合usb标准规范的接口，具体可以是mini usb接口，micro usb接口，usb type c接口等。usb接口130可以用于连接充电器为终端100充电，也可以用于终端100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他终端，例如ar设备等。
83.可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端100的结构限定。在本技术另一些实施例中，终端100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
84.充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过终端100 的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为终端供电。
85.电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块 141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
86.终端100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
87.天线1和天线2用于发射和接收电磁波信号。终端100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
88.移动通信模块150可以提供应用在终端100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noiseamplifier，lna)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调
制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块 150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150 的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
89.调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a，受话器170b等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
90.无线通信模块160可以提供应用在终端100上的包括无线局域网(wireless local areanetworks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
91.在一些实施例中，终端100的天线1和移动通信模块150耦合，天线2和无线通信模块 160耦合，使得终端100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，gsm)，通用分组无线服务(general packet radio service，gprs)，码分多址接入(code division multiple access， cdma)，宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址 (time-division code division multiple access，td-scdma)，长期演进(long term evolution，lte)， bt，gnss，wlan，nfc，fm，和/或ir技术等。所述gnss可以包括全球卫星定位系统 (global positioning system，gps)，全球导航卫星系统(global navigation satellite system， glonass)，北斗卫星导航系统(beidou navigation satellite system，bds)，准天顶卫星系统 (quasi-zenith satellite system，qzss)和/或星基增强系统(satellite based augmentation systems， sbas)。
92.终端100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
93.显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode 的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled， micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，终端100可以包括1个或n个显示屏194，n为大于1的正整数。
94.终端100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
95.isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
96.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体 (complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，终端100可以包括1个或n个摄像头193，n为大于1的正整数。
97.数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
98.视频编解码器用于对数字视频压缩或解压缩。终端100可以支持一种或多种视频编解码器。这样，终端100可以播放或录制多种编码格式的视频，例如：动态图像专家组(movingpicture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
99.npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现终端100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
100.外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展终端100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
101.内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行终端100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储终端100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。
102.终端100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口 170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
103.音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110 中。
104.扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。终端100可以通过扬声器170a收听音乐，或收听免提通话。
105.受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当终端100接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
106.麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。终端100可以设置至少一个麦克风170c。在另一些实施例中，终端100可以设置两个麦克风 170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，终端100还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
107.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是3.5mm 的开放移动终端平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
108.压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a，电极之间的电容改变。终端100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，终端100根据压力传感器180a 检测所述触摸操作强度。终端100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
109.陀螺仪传感器180b可以用于确定终端100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定终端100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180b 可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180b检测终端100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消终端100的抖动，实现防抖。陀螺仪传感器180b还可以用于导航，体感游戏场景。
110.气压传感器180c用于测量气压。在一些实施例中，终端100通过气压传感器180c测得的气压值计算海拔高度，辅助定位和导航。
111.磁传感器180d包括霍尔传感器。终端100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中，当终端100是翻盖机时，终端100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
112.加速度传感器180e可检测终端100在各个方向上(一般为三轴)加速度的大小。当终端100 静止时可检测出重力的大小及方向。还可以用于识别终端姿态，应用于横竖屏切换，计步器等应用。
113.距离传感器180f，用于测量距离。终端100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，终端100可以利用距离传感器180f测距以实现快速对焦。
114.接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。终端100通过发光二极管向外发射红外光。终端100使
用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定终端100附近有物体。当检测到不充分的反射光时，终端100可以确定终端100附近没有物体。终端100 可以利用接近光传感器180g检测用户手持终端100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式，口袋模式自动解锁与锁屏。
115.环境光传感器180l用于感知环境光亮度。终端100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l 还可以与接近光传感器180g配合，检测终端100是否在口袋里，以防误触。
116.指纹传感器180h用于采集指纹。终端100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
117.温度传感器180j用于检测温度。在一些实施例中，终端100利用温度传感器180j检测的温度，执行温度处理策略。例如，当温度传感器180j上报的温度超过阈值，终端100执行降低位于温度传感器180j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，终端100对电池142加热，以避免低温导致终端100异常关机。在其他一些实施例中，当温度低于又一阈值时，终端100对电池142的输出电压执行升压，以避免低温导致的异常关机。
118.触摸传感器180k，也称“触控面板”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于终端100的表面，与显示屏194所处的位置不同。
119.骨传导传感器180m可以获取振动信号。在一些实施例中，骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180m也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息，实现心率检测功能。
120.按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端100可以接收按键输入，产生与终端100的用户设置以及功能控制有关的键信号输入。
121.马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
122.指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
123.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和终端100的接触和分离。终端100可以支持1个或n个sim卡接口，n 为大于1的正整数。sim卡接口195可以支持nano sim卡，micro sim卡，sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。sim卡接口195也可以
兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。终端100 通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，终端100采用esim，即：嵌入式sim卡。esim卡可以嵌在终端100中，不能和终端100分离。
124.终端100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的android系统为例，示例性说明终端100的软件结构。
125.图2b是本发明实施例的终端100的软件结构框图。
126.分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(android runtime)和系统库，以及内核层。
127.应用程序层可以包括一系列应用程序包。
128.如图2b所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，wlan，蓝牙，音乐，视频，短信息等应用程序。
129.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programminginterface，api)和编程框架。应用程序框架层包括一些预先定义的函数。
130.如图2b所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
131.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
132.内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
133.视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
134.电话管理器用于提供终端100的通信功能。例如通话状态的管理(包括接通，挂断等)。
135.资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
136.通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，终端振动，指示灯闪烁等。
137.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
138.核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
139.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
140.系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(medialibraries)，三维图形处理库(例如：opengl es)，2d图形引擎(例如：sgl)等。
141.表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层的融合。
142.媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:mpeg4，h.264，mp3，aac，amr，jpg，png等。
143.三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
144.2d图形引擎是2d绘图的绘图引擎。
145.内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
146.下面结合捕获拍照场景，示例性说明终端100软件以及硬件的工作流程。
147.当触摸传感器180k接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头 193捕获静态图像或视频。
148.本技术提供一种图像处理方法，可以结合终端和云服务器的处理能力，充分利用云服务器上的高质量图像数据和图像处理模型，赋能终端拍照成像系统。云服务器可以通过终端上传的图像以及图像的环境信息(例如地理位置信息、天气信息、时间信息、拍摄参数、拍摄姿态信息等等)，匹配出适合该图像的图像处理模型。通过该图像处理模型可以增强终端上传图像的质量和效果。这样，可以让不同环境下拍摄的图片，呈现出不同的风格和效果。这样也使终端能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的效果，从而在降低手机成本的同时，极大的提升终端的拍照质量和用户拍照体验。
149.云服务器还可以根据终端用户上传的图像，以及云服务器中与用户上传的图像匹配的高质量图像形成训练数据集，优化云服务器中的图像处理模型。例如，云服务器中存在针对地理位置上海训练出的图像处理模型。当用户在深圳使用该图像处理功能时，上传深圳地区的图像到云服务器，云服务器可以查找出与用户上传的深圳地区的图像匹配的高清图像。云服务器可以将用户上传的深圳地区的图像和与该深圳地区的图像匹配的高清图像作为训练数据集，训练出针对深圳地区的图像处理模型。这样，云服务器可以根据用户上传的图像不断地优化图像处理模型，从而能够提升图像处理模型的图像处理能力。
150.下面结合应用场景，介绍本技术实施例涉及的一种图像处理方法。
151.在一些应用场景中，用户在使用终端100拍照时，可以选择终端100的相机应用中的不同拍照模式进行拍照。当用户通过终端100在景点、商圈等地方拍摄风景时，用户可以选择相机应用中的“云增强模式”进行拍摄。在“云增强模式”下，终端100可以借助云服务器的处理能力对终端100拍摄到的画面进行增强优化。这样，可以使终端100能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的效果。例如，终端100 在拍摄远景时，由于自身成像质量极限的限制，当变焦到一定程度时，终端100拍摄的远景
的细节会变得模糊。而当终端100开启“云增强模式”拍摄远景时，终端100可以借助云服务器的处理能力，对终端100拍摄到的远景图像进行优化，使得终端100在拍摄远景时，也能拍出清晰的图片。
152.如图3a所示，终端100可以显示有主屏幕的界面310，该界面310中显示了一个放置有应用图标的页面，该页面包括多个应用图标(例如，天气应用图标、股票应用图标、计算器应用图标、设置应用图标、邮件应用图标、支付宝应用图标、脸书应用图标、浏览器应用图标、图库应用图标312、音乐应用图标、视频应用图标、微信应用图标等等)。多个应用图标下方还显示包括有页面指示符，以表明当前显示的页面与其他页面的位置关系。页面指示符的下方有多个托盘图标(例如拨号应用图标、信息应用图标、联系人应用图标、相机应用图标313)，托盘图标在页面切换时保持显示。在一些实施例中，上述页面也可以包括多个应用图标和页面指示符，页面指示符可以不是页面的一部分，单独存在，上述图片图标也是可选的，本技术实施例对此不作限制。在该界面310的上方部分区域显示有状态栏311，该状态栏311可以包括：移动通信信号(又可称为蜂窝信号)的一个或多个信号强度指示符，电池状态指示符，时间指示符，wi-fi信号指示符等等。
153.终端100可以接收用户作用于相机应用图标313的输入操作(例如单击)，响应于该输入操作，终端100可以显示如图3b所示的拍摄界面320。
154.如图3b所示，该拍摄界面320可以显示包括有已拍摄图像回显控件321、拍摄控件322、摄像头转换控件323、摄像头捕捉的画面324、设置控件325、变焦倍率控件326、一个或多个拍摄模式控件(例如，“夜景模式”控件327a、“人像模式”控件327b、“云增强模式”控件327c、“普通拍照模式”控件327d、“录像模式”控件327e、“专业模式”控件327f、更多模式控件327g)。其中，该已拍摄图像回显控件321可用于显示已拍摄的图像。该拍摄控件322用于触发保存摄像头拍摄到的图像。该摄像头转换控件323可用于切换拍照的摄像头。该设置控件325可用于设置拍照功能。该变焦倍率控件326可用于设置摄像头的变焦倍数。该拍摄模式控件可用于触发开启该拍摄模式对应的图像处理流程。例如，“夜景模式”控件 327a可用于触发增加拍摄图像中的亮度和色彩丰富度等。“人像模式”控件327b可用于触发对拍摄图像中人物背景的虚化。“云增强模式”控件327c可用于触发借助云服务器的处理能力增强拍摄图像的画面效果。如图3b所示，当前用户选择的拍摄模式为“普通拍照模式”。
155.终端100可以接收用户作用于“云增强模式”控件327c的输入操作(例如单击)，响应于该输入操作，如图3c所示，终端100可以将当前用户选中的拍摄模式调整为“云增强模式”。
156.如图3c所示，用户当前选择的拍摄模式为“云增强模式”。终端100可以接收用户针对拍摄控件322的输入操作(例如单击)，响应于该输入操作，终端100可以获取摄像头拍摄到的图像以及该图像的环境信息。其中，该环境信息可以包括以下一种或多种：地理位置信息、天气信息、时间信息、拍摄参数、拍摄姿态信息等等。其中，拍摄参数可以包括变焦倍数等等。拍摄姿态信息可以包括拍摄设备的拍摄镜头在拍摄图像时的朝向信息。例如，拍摄镜头的俯仰角以及方向角度等等，或者自然坐标下的三轴旋转角等等。终端100可以将拍摄图像以及该拍摄图像的环境信息发送给云服务器200，借助云服务器200的处理能力对拍摄图像进行增强。其中，终端100借助云服务器200的处理能力对拍摄图像进行增强的过程将在后续实施例中详细介绍，在此不予详述。
157.终端100可以接收到云服务器200发送的该拍摄图像增强后的图像。用户可以在终端100 中查看该拍摄图像增强后的图像。
158.终端100可以接收用户针对已拍摄图像回显控件321的输入操作(例如单击)，响应于该输入操作，终端100可以显示如图3d所示照片浏览界面350。
159.如图3d所示，该照片浏览界面350可以显示包括有增强后的图像351、标记352、图像相关信息353、菜单354、图库控件355。其中，该标记352用于提示用户该图像351已借助云服务器200的处理能力进行增强。该图像相关信息353可以包括有该图像351的拍摄时间、拍摄天气、地理位置信息等等。例如，拍摄时间可以为“2019年12月3日8：00am”，拍摄天气可以为“多云”，拍摄地点可以为“上海
·
迪士尼”等等。该菜单354可以包括分享按钮、收藏按钮、编辑按钮、删除按钮、更多按钮。分享按钮可用于触发对该图像351的分享。该收藏按钮可用于触发收藏该图像351到图片收藏文件夹。编辑按钮可用于触发对图像351 的旋转、修剪、增加滤镜、虚化等编辑功能。删除按钮可用于触发删除该图像351。更多按钮可用于触发打开更多与该图像351相关的功能。该图库控件355可用于触发终端100打开图库应用。
160.在一些实施例中，若云服务器200中没有存储针对地理位置a的图像进行图像增强的图像处理模型，云服务器200可以根据终端100发送的地理位置a(例如“四川
·
九寨沟”)的多张手机图像，以及云端存储的地理位置a的手机图像对应的高清图像训练针对该地理位置 a的图像处理模型。举例来说，若云服务器200中没有“四川
·
九寨沟”对应的图像处理模型，当终端100向云服务器200发送地理位置为“四川
·
九寨沟”的图像a，云服务器200 可以通过云服务器200中已有的图像处理模型(例如“普适模型”)对图像a进行增强。
161.这里，将云服务器200的图像处理模型库中存储的，无具体对应拍摄地点的图像处理模型简称为普适模型。具体可参考下文中的描述。
162.如图3e所示，该拍摄界面360中可以显示有已拍摄图像361。拍摄界面中还可以显示有已拍摄图像回显控件321、拍摄控件322、摄像头转换控件323、、设置控件325、变焦倍率控件326、一个或多个拍摄模式控件(例如，“夜景模式”控件327a、“人像模式”控件327b、“云增强模式”控件327c、“普通拍照模式”控件327d、“录像模式”控件327e、“专业模式”控件327f、更多模式控件327g)。这里可以参考图3b中对拍摄界面320的描述，此处不再赘述。用户可以点击“云增强模式”控件327c，响应于改用户操作，终端100可以将已拍摄图像361、以及已拍摄图像361的拍摄地理位置“四川
·
九寨沟”发送给云服务器200。
163.在一种可能的实现方式中，云服务器200可以接收到终端100发送的已拍摄图像361、以及已拍摄图像361的拍摄地理位置“四川
·
九寨沟”。云服务器200可以根据已拍摄图像 361的拍摄地理位置“四川
·
九寨沟”搜索用于对已拍摄图像361进行增强的图像处理模型。若云服务器200中没有存储“四川
·
九寨沟”对应的图像处理模型。云服务器200可以使用云服务器200中已存储的图像处理模型对已拍摄图像361进行增强。增强后的图像可以如图 3f中的图像371。增强后的图像的清晰度比增强前的图像的清晰度高，细节(例如纹理)更突出。
164.进一步地，当云服务器200接收到终端100同一地理位置(例如“四川
·
九寨沟”)的多张图像，云服务器200中未存储针对该地理位置(例如“四川
·
九寨沟”)的图像处理模型，那么云服务器200可以根据该地理位置的多张图像、以及云服务器200中存储的对应多张图像的高清图像训练处针对该地理位置的图像处理模型。云服务器200训练针对该地理位置
的图像处理模型的具体过程可以参考下文中的描述，此处先不赘述。
165.例如，云服务器200中可以训练出针对“四川
·
九寨沟”的图像处理模型。当用户下一次将终端100拍摄的“四川
·
九寨沟”的图像上传云端进行增强时，云服务器200可以通过对应“四川
·
九寨沟”的图像处理模型对终端100拍摄的“四川
·
九寨沟”的图像进行增强。增强后的图像可以是图3g中的图像381。图像381的清晰度可以比增强前的图像(图3e中的图像361)的清晰度，以及利用其他图像处理模型进行增强后的图像(图3f中的图像371) 的清晰度更高，纹理细节更丰富。
166.在一些实施例中，终端100可以接收到云服务器200发送的拍摄图像增强后的多张图像。终端100可以显示增强后的多张图像。用户可以在终端100中选择喜欢的增强后的图像。终端100可以保存用户选择的增强后的图像。终端100还可以将用户选择的增强后的图像反馈给云服务器200。当后续终端100再向云服务器200发送拍摄图像时，云服务器200可以通过用户选择的增强后的图像对应的图像处理模型对该拍摄图像进行增强。
167.示例性的，如图3h所示，终端100的用户界面340中可以显示已拍摄图像324、和增强后的图像341、增强后的图像342、增强后的图像343、增强后的图像344、以及增强后的图像345。多张增强后的图像可以具有不同的风格，用户可以通过点击增强后的图像来选择用户喜欢的增强后的图像。例如，用户a可以点击增强后的图像343。
168.进一步地，响应于用户的操作，终端100可以保存该图像343，并将图像343以及用户a 的id(例如用户a的华为账号)上传到云服务器200。云服务器200可以建立该用户a的id 与图像343对应的图像处理模型的映射关系。当用户a再次将终端100拍摄的图像上传到云服务器200进行图像处理时，云服务器200可以通过图像343对应的图像处理模型对用户a 上传的图像进行处理。
169.在本技术实施例中，不同风格的图像可以指具有相同拍摄内容的多张图像，但该多张图像的锐度(acutance)、饱和度、色温等参数中的一项或多项不同。
170.图像的饱和度越大，图像中颜色越鲜艳。
171.图像的锐度越大，图像中拍摄内容的线条、边缘轮廓会越清晰。反之，图像的锐度越小，图像中的拍摄内容的线条、边缘轮廓会越柔和。不同的光源发出光的色调是不同的。
172.图像的色温不同，呈现出的色调也就不同。不同光的色调是用色温来描述的，单位是开尔文(k)。万里无云的蓝天的色温约为10000k，阴天约为7000～9000k，晴天日光直射下的色温约为5600k，荧光灯的色温约为4700k，碘钨灯的色温约为3200k，钨丝灯的色温约为2600k，日出或日落时的色温约为2000k，烛光下的色温约为1000k。在各种不同的光线状况下，目标物的色彩会产生变化。在室内钨丝灯光下，白色物体看起来会带有橘黄色色调，在这样的光照条件下拍摄出来的景物就会偏黄。但如果是在蔚蓝天空下，则会带有蓝色色调，在这样的光照条件下拍摄出来的景物会偏蓝。
173.示例性地，以图像的锐度不同为例。例如，图3i和图3j分别示出的两张图像，具有相同的拍摄内容。但是，与图3j中图像相比，图3i中图像的锐度更大。因此，图3i中的图像中纹理细节(图中景物的线条、轮廓)更突出。
174.本技术实施例通过提供的一种图像处理方法，可以实现终端100在“云增强模式”下，通过借助云服务器200的处理能力对终端100拍摄到的画面进行增强优化。可以使终端100 能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的
效果。
175.如图3k所示，图3k中的(a)示出了终端100借助云服务器200的处理能力增强之前的拍摄图像，图3k中的(b)示出了终端100借助云服务器200的处理能力增强拍摄图像后得到的图像。图3k中的(c)示出了上述图3k的(a)中拍摄图像的局部图，图3k中的(d) 示出了上述图3k的(b)中增强后图像的局部图。对比图3k中(a)和(b)，图3k中的(c) 和(d)，可以看出，终端100通过借助云服务器200的处理能力对拍摄图像增强之后，提升了图像整体和细节的清晰度，也提升了图像的对比度、动态范围、色彩等等。
176.下面介绍本技术实施例中终端100如何借助云服务器200的处理能力对图片进行增强。
177.请参考图4，图4示出了本技术实施例提供的一种图像处理方法的流程示意图。如图4 所示，该方法包括：
178.s401、终端100接收用户的输入p1。
179.s402、终端100响应于输入p1，获取图像a0以及图像a0的环境信息b0。
180.示例性地，如图3b所示，用户的输入p1可以是用户点击拍摄界面(例如，图3b中的拍摄界面320)中的用于上传图像到云服务器200进行增强的控件(例如，云增强控件327c)。终端100获取到的图像a0可以是终端摄像头获取到的图像，例如图3b中示出的图像324。
181.可选地，用户的输入p1还可以是用户点击已拍摄图像回显控件321，在图库中保存的已拍摄图像中选择一张图像，再点击云增强控件。终端100获取的图像a0还可以是用户在终端100的图库中选择的一张图像，此处对图像a0不作限定。
182.其中，环境信息b0可以包括地理位置信息，例如“四川
·
九寨沟”、“上海
·
迪士尼”等地理位置信息。环境信息b0还可以包括天气信息、季节信息、时间信息、拍摄姿态信息、拍摄参数等等中的一个或多个。其中，拍摄参数可以包括变焦倍数等等。拍摄姿态信息可以包括拍摄设备的拍摄镜头在拍摄图像时的朝向信息。例如，拍摄镜头的俯仰角以及方向角度等等，或者自然坐标下的三轴旋转角等等。
183.在一种可能的实现方式中，终端100可以在图库应用中标记出待增强的图片、已增强过的图片和增强后的图片。其中，当图片的第一环境信息齐全时，且未通过云服务器200增强过，则该图片可以归为上述待增强的图片。当图片已经被用户选中借助云服务器200的处理能力进行优化，并生成有对应的高质量图片时，该图片归为上述已增强过的图片。上述增强后的图片可以指用户选中的图片借助云服务器200的处理能力进行优化后生成的高质量图片。这样，可以方便用户快速选择出需要借助云服务器200的处理能力进行增强的图片，节约用户的时间。
184.在本技术实施例中，输入p1可以称为第二输入，图像a0可以称为第三图像，环境信息 b0可以称为第二环境信息。
185.s403、终端100将图像a0以及图像a0的环境信息b0发送给云服务器200。
186.其中，在终端100获取到第一图像以及第一环境信息时，终端100可以检测当前的网络状态，若网络状态断开，无法连接至云服务器200时，终端100可以输出提示，以提示用户在连接网络后才能借助云服务器200对第一图像进行增强。
187.s404、云服务器200根据环境信息b0，从图像处理模型库中确定出与环境信息b0匹配的图像处理模型c0。
188.其中，由于在不同拍摄环境下，图像的成像效果以及风格会有不同，因此，可以对针对不同的拍摄环境训练出不同的图像处理模型。这样，可以针对特定的拍摄环境，使用特定的图像处理模型对图像进行优化，提升图像的质量。
189.该图像处理模型库中存储有训练好的多种拍摄环境对应的图像处理模型。该拍摄环境可以通过地理位置信息、天气信息、季节信息、时间信息等等中的一种或多种进行区分。
190.示例性的，例如，图像处理模型库中可以根据拍摄地点划分有多个图像处理模型。该图像处理模型库中存储的多种拍摄环境对应的图像处理模型可以如下表1所示：
191.表1
[0192][0193]
由上表可以看出，拍摄地点为“上海
·
外滩”的拍摄环境对应图像处理模型1。拍摄地点为“上海
·
迪士尼”的拍摄环境对应图像处理模型2。拍摄地点为“北京
·
故宫”的拍摄环境对应图像处理模型3。拍摄地点为“北京
·
颐和园”的拍摄环境对应图像处理模型4。拍摄地点为“北京
·
八达岭长城”的拍摄环境对应图像处理模型5，等等。当拍摄地点为除“上海
·
外滩”、“上海
·
迪士尼”、“北京
·
故宫”、“北京
·
颐和园”、“北京
·
八达岭长城”等等具有对应的图像处理模型以外的地点时，其对应图像处理模型为图像处理模型0。为了便于描述，下文将云服务器200的图像处理模型库中存储的，无具体对应拍摄地点的图像处理模型简称为普适模型。例如，表1中示出的图像处理模型0可以简称为普适模型。举例来说，云服务器200接收到终端100发送的图像a0，图像处理模型库中没有图像a0的拍摄地点对应的图像处理模型时，云服务器200可以通过普适模型优化图像a0。
[0194]
可以理解的是，图像处理模型库中可以根据拍摄地点和拍摄天气划分有多个图像处理模型。图像处理模型库中可以根据拍摄地点和拍摄天气、以及拍摄时间划分有多个图像处理模型。上述表1所示示例仅仅用于解释本技术，不应构成限定。
[0195]
例如，结合表1所示的图像处理模型库中包括的多种拍摄环境对应的图像模型，当图像 a0的环境信息b0中的地理位置信息为“上海
·
外滩”时，云服务器200从图像处理模型库中确定出与环境信息b0对应的图像处理模型c0可以为“图像处理模型1”。当图像a0(例如，图3e中示出的图像361)的环境信息b0中的地理位置信息为“四川
·
九寨沟”，且图像处理模型库中没有“四川
·
九寨沟”对应的图像处理模型时，云服务器200从图像处理模型库中确定出与环境信息b0对应的图像处理模型c0可以为“图像处理模型0”。
[0196]
在本技术实施例中，图像处理模型c0可以称为第二图像处理模型。
[0197]
s405、云服务器200通过图像处理模型c0对图像a0进行优化处理，得到图像q0。
[0198]
云服务器200可以将图像a0输入到图像处理模型c0中，经过图像处理模型c0处理，得到图像q0。该图像q0与图像a0相比，图像q0的细节清晰度、动态范围/对比度、噪声和色彩等有所提升。
[0199]
在本技术实施例中，图像q0可以称为第四图像。
[0200]
s406、云服务器200向终端100发送图像q0。
[0201]
s407、终端100接收图像q0。
[0202]
终端100可以将接收到图像q0保存在图库中，并将该图像q0标记为已增强的图像的图像。终端100还可以将图像q0显示在终端100的拍摄界面中。本技术实施例对此不作限定。
[0203]
在一种可能的实现方式中，在步骤s406之前，云服务器200根据图像a0以及图像a0 的环境信息b0，从高清图像库中检索出高清图像g0。云服务器200根据图像a0对高清图像进行图像配准，得到高清图像g1。云服务器200将高清图像g1发送给终端100。在步骤s406 之后，终端100可以将图像q0与高清图像g1进行图像融合，得到图像q1。
[0204]
其中，高清图像g0的环境信息与图像a0的环境信息b0之间的相似度大于或等于第一预设阈值，高清图像g0中的拍摄内容与所述图像a0中的拍摄内容之间的相似度大于或等于第二预设阈值。
[0205]
其中，该高清图像数据中存储有多张高清图像以及高清图像的环境信息。云服务器200 在接收到终端100发送的图像a0和环境信息b0后，云服务器200可以根据环境信息b0从高清数据库中先选择出环境信息与环境信息b0的相似度大于或等于第一预设阈值的高清图像。然后，云服务器200可以将图像a0与该拍摄环境相似的高清图像进行对比，从该拍摄环境相似的高清图像中筛选出与图像a0中拍摄内容的相似度大于或等于第二预设阈值的高清图像g0。
[0206]
示例性的，高清图像库中存储的高清图像以及高清图像的环境信息可以如下表2所示：
[0207]
表2
[0208][0209]
[0210]
由上表2可以看出，高清图像库中高清图像1的拍摄地点为“上海
·
外滩”，天气为“晴”，拍摄时间为“下午”。高清图像2的拍摄地点为“上海
·
外滩”，天气为“多云”，拍摄时间为“早上”。高清图像3的拍摄地点为“上海
·
外滩”，天气为“多云”，拍摄时间为“早上”。高清图像4的拍摄地点为“上海
·
外滩”，天气为“多云”，拍摄时间为“晚上”。高清图像5 的拍摄地点为“北京
·
故宫”，天气为“晴”，拍摄时间为“早上”。高清图像6的拍摄地点为“北京
·
故宫”，天气为“小雨”，拍摄时间为“下午”。等等。上述表2所示示例仅仅用于解释申请，不应构成限定。
[0211]
例如，第一图像的第一环境信息中拍摄地点可以为“上海
·
外滩”，天气可以为“多云”，拍摄时间可以为“早上”。由于上述表2中所示，高清图像2的拍摄地点为“上海
·
外滩”，天气为“多云”，拍摄时间为“早上”。高清图像3的拍摄地点为“上海
·
外滩”，天气为“多云”，拍摄时间为“早上”。因此，云服务器200可以确定出与图像a0拍摄环境相同的高清图像有高清图像2和高清图像3。然后，云服务器200可以从高清图像2和高清图像3中筛选出拍摄内容与图像a0中拍摄内容的相似度大于或等于预设范围内的高清图像g0。例如，高清图像2中的拍摄内容与第一图像中的拍摄内容相似度为90％，高清图像3中的拍摄内容与第一图像中的拍摄内容相似度为40％，第二预设阈值为80％，因此，云服务器200可以将该高清图像2确定为高清图像g0。上述示例仅仅用于解释申请，不应构成限定。
[0212]
其中，云服务器200可以提取a0图像和高清图像g0中匹配的特征点，然后，通过匹配特征点对，得到图像空间坐标变换参数。然后，云服务器200可以根据该图像空间坐标变化参数进行图像配准，得到高清图像g1。
[0213]
终端100在接收到云服务器200发送的高清图像g1后，可以通过图像融合算法对比图像q0和高清图像g1中的特征信息，并将高清图像g1中的具有一定优势的特征信息融合到图像q0上，得到图像q1(即对图像a0增强后的图像)。例如，可以将高清图像g1中清晰度高的细节、色彩丰富的特征点等等融合到图像q0中，以得到图像q1。这样，可以提升图像的细节清晰度、色彩、白平衡等等。
[0214]
在一些实施例中，在云服务器200根据图像a0以及环境信息b0从高清图像库中检索出高清图像g0，并对高清图像g0进行图像配准，得到高清图像g1后，不用发送高清图像g1 给终端100。云服务器200可以将图像q0与高清图像g1进行图像融合，得到图像q1(即对图像a0增强后的图像)后，再将该图像q1发送给终端100。这样，可以极大节约终端100 的计算资源，使终端100能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的效果。
[0215]
在一些实施例中，终端100可以在响应用户的输入p1后，只将图像a0的环境信息b0 发送给云服务器200。云服务器200在接收到终端100发送的环境信息b0后，可以从图像处理模型库中确定出与环境信息b0匹配的图像处理模型c0，并将图像处理模型c0发送给终端100。终端100在接收到图像处理模型c0后，可以通过图像处理模型c0对图像a0进行优化处理得到图像q0，作为增强后的图像保存至本地。
[0216]
在一些实施例中，终端100可以在响应用户的输入p1后，将图像a0以及图像a0的环境信息b0发送给云服务器200。云服务器200可以根据环境信息b0从高清图像库中检索出与高清图像g0，并将根据图像a0对高清图像g0进行图像配准，得到高清图像g1。云服务 200可以将高清图像g1发送至终端100上，由终端100将高清图像g1和图像a0进行图像融合，得到
增强后的图像保存至终端100的本地。在一种可能的实现方式中，云服务器200 还可以在得到高清图像g1后，直接与图像a0进行图像融合，并将图像融合后的图像发送给终端100。
[0217]
当云服务器200中没有存储图像a0的环境信息b0所对应的图像处理模型时，云服务器 200可通过以保存的图像处理模型优化图像a0，并保存图像a0。当云服务器200保存的环境信息为环境信息b0的图像数量达到预设数值后，云服务器200可以根据保存的环境信息为环境信息b0的图像训练出一个对应环境信息b0的图像处理模型。当云服务器200中训练得到环境信息b0对应的图像处理模型后，云服务器200可以通过该环境信息b0对应的图像处理模型优化环境信息为环境信息b0的图像。具体可参考下述步骤s408-步骤s418。
[0218]
s408、云服务器200存储图像a0，当接收到终端100发送的与图像a0拍摄环境相同的 n张图像后，查找出与n张图像匹配的n张高清图像。
[0219]
云服务器200可以保存终端100发送的图像a0。当云服务器200接收到终端100发送的与图像a0拍摄环境相同的n张图像后，在高清图像库中检索出与n张图像匹配的高清图像。例如，与图像a0匹配的高清图像g0，与图像a1匹配的高清图像g1、与图像a2匹配的高清图像g2，
…
，以及与图像an(n＝n-1)匹配的高清图像gn。其中，与图像ai(0≤i≤n)匹配的高清图像gi可以符合如下条件：高清图像gi的环境信息与图像ai的环境信息bi之间的相似度大于或等于第一预设阈值，高清图像gi中的拍摄内容与所述图像ai中的拍摄内容之间的相似度大于或等于第二预设阈值。
[0220]
其中，n可以等于100，也可以等于200，也可以等于1000，此处对n的具体取值不作限定。可以理解的是，n的取值越大，用于训练图像处理模型的训练集越大，训练出的图像处理模型的损失越低，鲁棒性越高。
[0221]
图像a0、图像a1、图像a2、
…
、图像an等n张图像的拍摄环境相同。例如，拍摄地点相同，该n张图像的拍摄地点为“四川
·
九寨沟”。那么，云服务器200可以利用该n张图像训练出“四川
·
九寨沟”对应的图像处理模型。
[0222]
在一些可能的实现方式中，当图像a0、图像a1、图像a2、
…
、图像an等n张图像的拍摄地点为同一个城市(例如“深圳”)，且拍摄地点之间的距离在预设距离范围内时，云服务器200可以该n张图像训练出“深圳”对应的图像处理模型。
[0223]
在一些可能的实现方式中，当图像a0、图像a1、图像a2、
…
、图像an等n张图像中的拍摄地点相同，例如为“深圳”，且拍摄内容的相似度在相似度预设范围内时，云服务器 200可以该n张图像训练出“深圳”对应的图像处理模型。
[0224]
s409、云服务器200利用与图像a0拍摄环境相同的n张图像，以及与n张图像匹配的 n张高清图像训练得到退化网络d0，退化网络d0的输入为高清图像，输出为类似手机图像的低清图像。
[0225]
云服务器200可以利用图像a0、图像a1、图像a2、
…
、图像an，以及高清图像g0、高清图像g1、高清图像g2、
…
、高清图像gn作为训练数据集，训练得到退化网络d0。退化网络d0的输入为高清图像，输出为类似手机图像的低清图像。对比与高清图像，该低清图像的细节清晰度、动态平衡/对比度等有所降低。可以理解的是，退化网络可用于将输入的高清图像的细节清晰度、动态平衡/对比度降低。
[0226]
示例性地，如图5a所示，图5a示出了本技术实施例中退化网络的训练数据以及输入和输出。退化网络502可以由训练数据集504训练得到。该训练数据集504中可以包括手机
图像集5041和高清图像集5042。手机图像集5041可以包括图像a0、图像a1、图像a2、
…
、图像an等多张终端100上传到云服务器的图像。高清图像集5042可以包括高清图像g0、高清图像g1、高清图像g2、
…
、高清图像gn等多张高清图像。退化网络502的输入可以是高清图像501，输出可以是低清图像503。
[0227]
云服务器200可以将高清图像库中的高清图像输入到退化网络d0中得到低清图像，从而可以得到大量的低清图像和高清图像对。这样，云服务器200可以通过退化网络d0产生图像处理模型的训练数据。
[0228]
s410、云服务器200将存储的与图像a0拍摄环境相同的高清图像输入到退化网络d0中，得到低清图像。
[0229]
云服务器200可以将储存的与图像a0拍摄环境相同的高清图像输入到退化退化网络d0 中，得到低清图像。举例来说，若与图像a0拍摄环境相同的高清图像为高清图像g0、高清图像g1、
…
、高清图像gn、高清图像g(n 1)、高清图像g(n 2)、
…
、高清图像g(n m)。其中m为正整数。云服务器200可以依次地将高清图像g0、高清图像g1、
…
、高清图像 gn、高清图像g(n 1)、高清图像g(n 2)、
…
、高清图像g(n m)得到低清图像w0、低清图像w1、
…
、低清图像wn、低清图像w(n 1)、低清图像w(n 2)、
…
、低清图像w(n m)。即，云服务器200可以将高清图像g0输入到退化网络d0得到低清图像w0。云服务器200 可以将高清图像g1输入到退化网络d0得到低清图像w1。依次地，云服务器200可以将高清图像g(n m)输入到退化网络d0得到低清图像w(n m)。
[0230]
退化网络d0可以称为第一退化网络。
[0231]
s411、云服务器200利用退化网络d0得到的低清图像，以及低清图像对应的高清图像训练得到图像处理模型c1。
[0232]
云服务器200可以将低清图像w0/高清图像g0、低清图像w1/高清图像g1、
…
、低清图像wn/高清图像gn、低清图像w(n 1)/高清图像g(n 1)、低清图像w(n 2)/高清图像 g(n 2)、
…
、低清图像w(n m)/高清图像g(n m)等图像对作为训练数据。云服务器200还可以将图像a0/高清图像g0、图像a1/高清图像g1、图像a2/高清图像g2、
…
、图像an/ 高清图像gn等图像对作为训练数据。
[0233]
进一步地，云服务器200可以将低清图像/高清图像对(例如低清图像wj/高清图像gj(0≤j≤n m)、图像ai/高清图像gi)进行图像配准。云服务器200可以将配准后的低清图像 /高清图像对作为训练数据。
[0234]
云服务器200可以通过上述训练数据训练得到图像处理模型c1。示例性地，如图5b所示，图像处理模型512可以由训练数据集514训练得到。训练数据集514可以包括数据集5141 和数据集5142。其中，数据集5141中可以包括配准后的手机图像/高清图像对，例如配准后的图像ai/高清图像gi。数据集5142中可以包括配准后的退化网络输出的低清图像/高清图像对，例如低清图像wj/高清图像gj。图像处理模型512的输入可以是低清图像511，输出可以是高清图像513。相比于低清图像511，高清图像513的细节清晰度、动态范围/对比度、噪声和色彩等有所提升。
[0235]
在本技术实施例中，图像处理模型c1可以称为第一图像处理模型。
[0236]
可以理解的是，终端100发送给云服务器200图像时，还可以携带终端100的型号。由于不同型号的终端，拍摄出来的图像的分辨率不同。云服务器200的图像处理模型库中还
可以根据终端的多个型号来划分图像处理模型。当云服务器200中未存储某个型号对应的图像处理模型时，云服务器200还可以按照上述步骤训练出该型号对应的图像处理模型。
[0237]
s412、终端100接收用户的输入p2。
[0238]
s413、终端100响应于输入p2，获取图像a2以及图像a2的环境信息b1。
[0239]
用户的输入p2可以是用户点击拍摄界面(例如，图3b中的拍摄界面320)中的用于上传图像到云服务器200进行增强的控件。可选地，用户的输入p2还可以是用户点击已拍摄图像回显控件321，在图库中保存的已拍摄图像中选择一张图像，再点击云增强控件。这里可以参考上文对输入p1的描述，此处不再赘述。
[0240]
环境信息b0与环境信息b1相同。可以理解的是，环境信息b0和环境信息b1相同，可以是粗精度的相同，例如，环境信息b0为“拍摄地点为深圳a商场”，环境信息b1为“拍摄地点为深圳a商场”，在本技术实施例中环境信息b0中的位置信息和环境信息b1中的位置信息相同，那么即可以理解为环境信息b0和环境信息b1相同。环境信息b0和环境信息 b1相同，也可以是细精度的相同，例如，环境信息b0为“拍摄地点为深圳a商场、拍摄时间为上午、拍摄天气为晴天”，环境信息b1为“拍摄地点为深圳a商场、拍摄时间为上午、拍摄天气为晴天”。即环境信息b0中的位置信息、时间信息、天气信息，均与环境信息b1 中的位置信息、时间信息、天气信息相同时，环境信息b0与环境信息b1相同。
[0241]
图像a2可以时终端接收用户输入p2时，终端100的摄像头采集到的图像。图像a2还可以是用户在终端100的图库中选择的图像。图像a2的环境信息与图像a0的环境信息相同，即图像a2的环境信息和图像a0的环境信息都可以为环境信息b0。例如，图像a2的拍摄地点为“四川
·
九寨沟”，图像a0的拍摄地点为“四川
·
九寨沟”。
[0242]
可以理解的是，图像a2的环境信息也可以与图像a0的环境信息不同。当图像a2的环境信息与图像a0的环境信息不同时，云服务器200可以通过与图像a2的环境信息匹配的图像处理模型对图像a2进行优化处理，此处可以参考上述步骤中云服务器200优化图像a0的描述，这里不再赘述。
[0243]
在本技术实施例中，输入p2可以称为第一输入，图像a2可以称为第一图像，环境信息 b1可以称为第一环境信息
[0244]
s414、终端100向云服务器200发送图像a2以及图像a2的环境信息b1。
[0245]
s415、云服务器200根据环境信息b1，从图像处理模型库中确定与环境信息b2匹配的图像处理模型c1。
[0246]
当云服务器200再次接收到拍摄地点为“四川
·
九寨沟”的图像时，云服务器200可以根据拍摄地点从图像处理模型库中找到“四川
·
九寨沟”对应的图像处理模型c1。云服务器 200不再将不对应任何拍摄地点的图像处理模型(例如表1中示出的图像处理模型0)作为环境信息b0匹配的图像处理模型。
[0247]
步骤s415可以参考上述步骤s404中的描述，此处不再赘述。
[0248]
s416、云服务器200通过图像处理模型c1对图像a2优化处理，得到图像q2。
[0249]
云服务器200可以将图像a2输入到图像处理模型c1中，经过图像处理模型c1处理，得到图像q2。该图像q2与图像a2相比，图像q2的细节清晰度、动态范围/对比度、噪声和色彩等有所提升。
[0250]
在本技术实施例中，图像q2可以称为第二图像。
[0251]
可以理解的是，若图像a0的拍摄内容与图像a2的拍摄内容相同。当云服务器200接收到图像a0时，云服务器200中没有环境信息b0对应的图像处理模型。云服务器200可以通过以保存的适用所有拍摄地点的图像处理模型c1对图像a0优化处理，得到图像q0。当云服务器200接收图像a2时，云服务器200中已经训练得到了环境信息b0对应的图像处理模型c1。云服务器200通过图像处理模型c1对图像a2优化处理，得到图像q2。相比于图像 q0，图像q2的细节清晰度、动态范围/对比度、噪声和色彩等有所提升。
[0252]
可以理解的是，图像处理模型c0和图像处理模型c1的训练数据不同。图像处理模型c0和图像处理模型c1对不同拍摄地点，不同拍摄内容的优化程度也不相同。例如，图像处理模型c1是用“四川
·
九寨沟”的手机图像和高清图像作为训练数据，那么图像处理模型 c1输出的图像的细节清晰度、动态范围/对比度、噪声和色彩会越来越接近训练集中“四川
·
九寨沟”的高清图像中的细节清晰度、动态范围/对比度、噪声和色彩。图像处理模型c0是用“上海
·
外滩”、“上海
·
迪士尼”、“深圳
·
大梅沙”、“北京
·
故宫”等每个拍摄地点各几对手机图像/高清图像对作为训练数据。由于训练数据集中各个图像的拍摄内容，以及纹理特征动态范围/对比度、噪声和色彩区别较大，因此，对于“四川
·
九寨沟”的图像，图像处理模型c0的优化程度要低于图像处理模型c1的优化程度。
[0253]
s417、云服务器200向终端100发送图像q2。
[0254]
s418、终端100接收图像q2。
[0255]
终端100可以将图像q2保存在图库中，也可以将图像q2显示在终端100的拍摄界面中，此处不作限定。步骤s418可以参考上文对步骤s407的描述，此处不再赘述。
[0256]
通过本技术实施例提供一种图像处理方法，可以结合终端和云服务器的处理能力，充分利用高质量图像数据和图像处理算法，赋能终端拍照成像系统。云服务器可以通过终端上传的图像以及图像的环境信息(例如地理位置信息、天气信息、季节信息、时间信息、拍摄参数、拍摄姿态信息等等)，匹配出适合该图像的图像处理算法，通过该图像处理算法以及该高质量图像数据，可以增强终端上传图像的质量和效果。当云服务器中没有与该图像的环境信息相匹配的图像处理模型时，云服务器可以通过“普适模型”对该图像进行优化。当云服务器接收到的与该图像环境信息相同的图像数量达到预设阈值时，云服务器可以训练出匹配该环境信息的图像处理模型。当云服务器下次接收到该环境信息的图像时，云服务器可以利用训练出的匹配该环境信息的图像处理模型优化图像。这样，图像的优化效果可以进一步得到提升。随着用户上传的图像的不断增多，云服务器会根据用户上传的图像优化图像处理模型。这样可以使得云服务器中图像处理模型优化图像的效果更好。
[0257]
本技术实施例提出另一种图像处理方法，可以结合终端和云服务器的处理能力，充分利用高质量图像数据和图像处理算法，赋能终端拍照成像系统。当用户首次选择将终端中的图像上传至云端进行增强时，云服务器中可以多个图像处理模型对终端上传的图像进行增强，得到多张增强后的图像。该多张增强后的图像的纹理细节、以及清晰度、动态平衡等有所区别。云服务器可以将多张增强后的图像发送给终端，终端用户可以根据自己喜欢选择一张增强后的图像。终端可以将用户选择的增强后的图像以及用户的标识发送给云服务器。云服务器将该用户的标识与输出该用户选择的增强后的图像的图像处理模型ei建立映射关系。当用户再次将终端中的图像上传到云服务器时，云服务器可根据该用户的标识确定出用于优化图像的图像处理模型为图像处理模型ei。云服务器通过图像处理模型ei
对图像进行优化处理。这样，该方法不仅可以使得终端借助云服务器提升图像的质量。该方法还可以使得云服务器基于用户的选择，按照用户的喜欢来优化图像。这样，可以提升用户体验。
[0258]
请参考图6，图6示出了本技术实施例提供的一种图像处理方法的流程示意图。如图6 所示，该方法包括：
[0259]
s601、终端100接收用户h的输入p3。
[0260]
s602、响应于输入p3，终端100获取图像e0。
[0261]
用户的输入p3可以是用户点击拍摄界面(例如，图3b中的拍摄界面320)中的用于上传图像到云服务器200进行增强的控件。可选地，用户的输入p3还可以是用户点击已拍摄图像回显控件321，在图库中保存的已拍摄图像中选择一张图像，再点击云增强控件。这里可以参考上文对输入p1的描述，此处不再赘述。
[0262]
图像e0可以时终端接收用户输入p3时，终端100的摄像头采集到的图像。图像e0还可以是用户在终端100的图库中选择的图像。
[0263]
可选地，终端100还可以获取图像e0的环境信息b2。
[0264]
可以理解的是，在步骤s601之前，用户h可以在终端100中登录有用户h的登录账号。用户h的标识可以是该登录账号。
[0265]
在本技术实施例中，输入p3可以称为第三输入，图像e0可以称为第十图像。
[0266]
s603、终端100向云服务器200发送图像e0。
[0267]
s604、云服务器200通过图像处理模型f1对图像e0进行优化，得到图像e1；通过图像处理模型f2对图像e0进行优化，得到图像e2；
…
；通过图像处理模型fn对图像e0进行优化，得到图像en。
[0268]
云服务器200的图像处理模型库中可以存储有多个图像处理模型。每个模型处理模型输出的图像的风格不同。
[0269]
示例性地，例如，图像处理模型库中可以根据图像处理模型输出图像的风格划分有多个图像处理模型。该图像处理模型库中存储的多种风格对应的图像处理模型可以如下表3所示：
[0270]
表3
[0271][0272][0273]
由上表可以看出，图像处理模型库中可以包含图像处理模型31、图像处理模型32、
s607-步骤s615。即云服务器200可以通过与用户h的标识建立过映射关系的图像处理模型优化图像。
[0282]
在一种可能的实现方式中，在步骤s601之前，云服务器200已经将用户h的标识与拍摄地点为“上海
·
外滩”的拍摄环境对应图像处理模型中的一个图像处理模型建立映射关系。若图像e0的拍摄地点为“上海
·
外滩”，云服务器200可以通过与用户h的标识建立过映射关系的图像处理模型优化图像。若图像e0的拍摄地点为“北京
·
故宫”，云服务器200可以通过拍摄地点为“北京
·
故宫”对应的多个图像处理模型分别对图像e0进行优化。即云服务器200执行步骤s604。
[0283]
相比于图像e0，图像e1、图像e2、
…
、图像en的细节清晰度、动态范围/对比度、噪声和色彩等有所提升。图像e1、图像e2、
…
、图像en这n张图像的图像风格均不同。例如图像e1中拍摄内容的线条、边缘轮廓较突出、清晰。图像e2中拍摄内容的线条、边缘轮廓特别突出、清晰。图像en中拍摄内容的线条、边缘轮廓柔和、模糊。
[0284]
在本技术实施例中，图像处理模型f1、图像处理模型f2、
…
、图像处理模型fn可以称为云服务器中存储的s个图像处理模型。即s等于n。
[0285]
s605、云服务器200向终端100发送图像e1、图像e2、
…
、图像en。
[0286]
s606、终端100接收并显示图像e1、图像e2、
…
、图像en。
[0287]
示例性地，如图3h所示，终端100可以在终端100的拍摄界面340中显示图像e1、图像e2、
…
、图像en。图像e1、图像e2、
…
、图像en可以分别是图3h中的图像341、图像 342、图像343、图像344、以及图像345。
[0288]
可以理解的是，终端100显示增强后的图像的数量可以比图3h中示出的增强后的图像的数量更多或更少。用户可以在终端100的拍摄界面340的底部以查看被隐藏的增强后的图像。
[0289]
在本技术实施例中，图像e1、图像e2、
…
、图像en可以称为s张处理后的图像。
[0290]
s607、终端100接收用户h选择图像ei的操作，i大于等于1，且小于等于n。
[0291]
用户h可以在终端100中选择自己喜欢的增强后的图像。示例性地，如图3h所示，图 3h中图像341、图像342、图像343、以及图像344、图像345均为云服务器200增强后的图像。图像ei可以是图3h中示出的图像343。如图3h所示，用户可以通过点击图像343来选定图像343。用户还可以通过双击图像343来选定图像343，此处不作限定。
[0292]
s608、终端100向云服务器200发送用户h选择的图像ei和用户h的标识。
[0293]
终端100可以将图像ei和用户h的标识发送云服务器200。
[0294]
在本技术实施例中，图像ei可以称为第十一图像，用户h的标识可以称为第一标识。
[0295]
s609、云服务器200接收图像ei和用户h的标识，将用户h的标识与输出图像ei的图像处理模型ei建立映射关系。
[0296]
云服务器200可以根据图像ei确定出输出图像ei的图像处理模型ei。然后云服务器200 将将用户h的标识与输出图像ei的图像处理模型ei建立映射关系。用户h的标识与图像处理模型ei建立映射关系后，若云服务器200收到终端100发送的图像和用户h的标识，那么云服务200可以通过图像处理模型ei优化该图像。
[0297]
s610、终端100接收用户h的输入p4。
或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定
…”
或“响应于确定
…”
或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
[0314]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线) 或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如dvd)、或者半导体介质(例如固态硬盘)等。
[0315]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：rom或随机存储记忆体 ram、磁碟或者光盘等各种可存储程序代码的介质。