图像处理方法、装置、电子设备及存储介质

1.本技术涉及计算机视觉技术领域，更具体地，涉及一种图像处理方法、装置、电子设备及存储介质。


背景技术：

2.云游戏(cloud gaming)又可称为游戏点播(gaming on demand)，是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thin client)能运行高品质游戏。在云游戏场景下，游戏并不在玩家游戏终端，而是在云游戏服务器中运行，并由云游戏服务器将游戏场景渲染为视频音频流，通过网络传输给玩家游戏终端。玩家游戏终端无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云游戏服务器的能力即可。
3.在云游戏场景中，往往需要追求较高的用户体验质量(qoe,quality of experience)。目前，为了提高用户体验质量，通常的做法是从画面延迟补偿、传输帧速率调整以及视频流编码调整等流媒体质量方向对游戏图像进行优化，然而，这些从流媒体质量方向对游戏图像进行优化的方式仅能够减轻外部因素对于游戏图像的影响，实际的显示质量仍然无法满足用户的需求。


技术实现要素：

4.鉴于上述问题，本技术实施例提出了一种图像处理方法、装置、电子设备及存储介质，以改善上述问题。
5.第一方面，本技术实施例提供了一种图像处理方法，方法包括：接收目标游戏图像；通过目标神经网络模型对目标游戏图像进行增强处理，目标神经网络模型通过对共享参数以及目标特有参数进行优化后得到，共享参数基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，目标特有参数基于目标神经网络模型对应的样本数据进行优化。
6.第二方面，本技术实施例提供了一种图像处理方法，方法包括：获取与目标客户端对应的目标图像渲染策略；利用目标图像渲染策略，对游戏数据进行渲染处理，生成渲染后的游戏图像；将渲染后的游戏图像发送到目标客户端，以使目标客户端获得与渲染后的游戏图像对应的目标游戏图像，并通过目标神经网络模型得到与目标游戏图像对应的增强后的目标游戏图像，目标神经网络模型通过对共享参数以及目标特有参数进行优化后得到，共享参数基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，目标特有参数基于目标神经网络模型对应的样本数据进行优化。
7.第三方面，本技术实施例提供了一种图像处理装置，装置包括：获取模块、提取模块、目标事件类型确定模块以及目标风险值计算模块。获取模块，目标游戏图像接收模块，用于接收目标游戏图像；目标游戏图像增强模块，用于通过目标神经网络模型对目标游戏
图像进行增强处理，目标神经网络模型通过对共享参数以及目标特有参数进行优化后得到，共享参数基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，目标特有参数基于目标神经网络模型对应的样本数据进行优化。增强后的目标游戏图像获取模块，用于获取目标网络模型输出的增强后的目标游戏图像。显示模块，用于显示增强后的目标游戏图像。
8.可选地，装置还包括退化检测模块以及恢复模块。退化检测模块，用于对目标游戏图像进行退化检测，得到退化检测结果。恢复模块，用于调用与退化检测结果对应的图像恢复算法，对目标游戏图像进行图像恢复处理，得到恢复后的目标游戏图像。
9.可选地目标游戏图像增强模块还用于通过目标神经网络模型对恢复后的目标游戏图像进行增强处理。
10.可选地，退化检测结果包括预测退化类型以及预测退化类型对应的概率，相应地，恢复模块，还用于确定概率大于目标概率阈值的预测退化类型为目标退化类型；调用与目标退化类型对应的图像恢复算法，对目标游戏图像进行图像恢复处理，得到恢复后的目标游戏图像。
11.可选地，目标神经网络模型包括注意力子网络以及增强子网络，相应地，目标游戏图像增强模块还用于利用注意力权重矩阵，通过注意力子网络，确定目标游戏图像中各个图像区域对应的增强程度；基于目标游戏图像中各个图像区域对应的增强程度以及增强子网络，对目标游戏图像进行增强处理；相应地，增强后的目标游戏图像获取模块，还用于获取增强子网络输出的增强后的目标游戏图像。
12.可选地，装置还包括评分检测模块以及目标评分发送模块。评分检测模块，用于对目标游戏图像进行评分检测，得到目标游戏图像对应的目标评分。目标评分发送模块，用于将目标评分发送至云游戏服务器，以使云游戏服务器根据目标评分，确定针对游戏数据的目标图像渲染策略。
13.可选地，评分检测模块，还用于对目标游戏图像进行美学维度的评分检测，得到目标游戏图像在各个美学维度下对应的评分；对目标游戏图像进行退化检测，得到目标游戏图像对应的预测退化类型以及各个预测退化类型对应的概率；基于目标游戏图像在各个美学维度下对应的评分以及目标权重矩阵，得到目标游戏图像在预测退化类型下的得分；基于目标游戏图像在预测退化类型下的得分以及各个预测退化类型对应的概率，得到目标游戏图像对应的目标评分。
14.可选地，装置还包括：样本数据集获取模块、第一迁移模块、第二迁移模块以及第三迁移模块。样本数据集获取模块，用于获取由多张携带退化类型标签的退化后的第一游戏图像组成的第一样本数据集合，由多张携带主观评分标签的第二游戏图像、多张携带退化类型标签的退化后的第二游戏图像和多张增强后的第二游戏图像组成的第二样本数据集合，由多张携带主观评分标签的第一自然图像组成的第三样本数据集合，以及由多张第二自然图像和多张增强后的第二自然图像组成的第四样本数据集合。第一迁移模块，用于利用第一样本数据集合、第二样本数据集合以及第三样本数据集合，对第一初始神经网络模型以及第二初始神经网络模型进行迁移学习，得到优化后的第二中间神经网络模型，优化后的第二中间神经网络模型包括共享参数。第二迁移模块，用于通过共享参数将知识迁移到初始目标神经网络模型，得到知识迁移后的初始目标神经网络模型。第三迁移模块，用
于利用第二样本数据集合以及第四样本数据集合，对知识迁移后的初始目标神经网络模型以及优化后的第二中间神经网络模型进行迁移学习，得到目标神经网络模型。
15.可选地，装置还包括第一训练模块、第二训练模块、第三训练模块、参数更新模块、第四训练模块以及第五训练模块。第一训练模块，用于利用第一样本数据集合，对第一初始神经网络模型进行训练，得到第一中间神经网络模型，第一中间神经网络模型包括共享参数以及第一参数。第二训练模块，用于利用共享参数对第二初始神经网络模型进行更新，并利用第三样本数据集合，对更新后的第二初始神经网络模型进行训练，得到第二中间神经网络模型，第二中间神经网络模型包括第一次更新后的共享参数以及第二参数。第三训练模块，用于利用第一次更新后的共享参数对第一中间神经网络模型进行第一次更新，并利用第二样本数据集合，对第一次更新后的第一中间神经网络模型以及第二中间神经网络模型进行联合训练，得到优化后的第二中间神经网络模型，优化后的第二中间神经网络模型包括第二次更新后的共享参数以及第一次更新后的第二参数。参数更新模块，用于利用第二次更新后的共享参数对目标初始神经网络模型进行更新，得到知识迁移后的初始目标神经网络模型。第四训练模块，用于利用第四样本数据集合，对知识迁移后的初始目标神经网络模型进行训练，得到目标中间神经网络模型，目标中间神经网络模型包括第三次更新后的共享参数以及第三参数。第五训练模块，用于利用第三次更新后的共享参数对优化后的第二中间神经网络模型进行更新，并利用第二样本数据集合，对更新后的优化后的第二中间神经网络模型以及目标中间神经网络模型进行联合训练，得到目标神经网络模型，目标神经网络模型包括第四次更新后共享参数以及第一次更新后的第三参数。
16.可选地，携带主观评分标签的第一自然图像包括携带图像质量评分的第一自然图像、携带图像整体美学评分的第一自然图像或者携带多维度美学评分标签的第一自然图像中的至少一者。
17.第四方面，本技术实施例提供了一种图像处理装置，装置包括：目标图像渲染策略获取模块、渲染模块、游戏图像发送模块、目标评分接收模块以及目标图像渲染策略更新模块。目标图像渲染策略获取模块，用于获取与目标客户端对应的目标图像渲染策略。渲染模块，用于利用目标图像渲染策略，对游戏数据进行渲染处理，生成渲染后的游戏图像。游戏图像发送模块，用于将渲染后的游戏图像发送到目标客户端，以使目标客户端获得与渲染后的游戏图像对应的目标游戏图像，并通过目标神经网络模型得到与目标游戏图像对应的增强后的目标游戏图像，目标神经网络模型通过对共享参数以及目标特有参数进行优化后得到，共享参数基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，目标特有参数基于目标神经网络模型对应的样本数据进行优化；目标评分接收模块，用于接收目标客户端发送的目标评分，其中，目标评分是目标客户端对目标游戏图像进行评分检测得到的。目标图像渲染策略更新模块，用于根据目标评分，对目标图像渲染策略进行更新。
18.可选地，装置还包括检测模块、第一目标图像渲染策略确定模块以及第二目标图像渲染策略确定模块。检测模块，用于在与目标客户端建立连接的情况下，检测是否存在与目标客户端对应的历史图像渲染策略；第一目标图像渲染策略确定模块用于若存在历史图像渲染策略，将历史图像渲染策略作为目标图像渲染策略；第二目标图像渲染策略确定模块用于若不存在历史图像渲染策略，选择初始图像渲染策略作为目标图像渲染策略。
19.可选地，装置还包括：样本数据集获取模块、第一迁移模块、第二迁移模块以及第三迁移模块。样本数据集获取模块，用于获取由多张携带退化类型标签的退化后的第一游戏图像组成的第一样本数据集合，由多张携带主观评分标签的第二游戏图像、多张携带退化类型标签的退化后的第二游戏图像和多张增强后的第二游戏图像组成的第二样本数据集合，由多张携带主观评分标签的第一自然图像组成的第三样本数据集合，以及由多张第二自然图像和多张增强后的第二自然图像组成的第四样本数据集合。第一迁移模块，用于利用第一样本数据集合、第二样本数据集合以及第三样本数据集合，对第一初始神经网络模型以及第二初始神经网络模型进行迁移学习，得到优化后的第二中间神经网络模型，优化后的第二中间神经网络模型包括共享参数。第二迁移模块，用于通过共享参数将知识迁移到初始目标神经网络模型，得到知识迁移后的初始目标神经网络模型。第三迁移模块，用于利用第二样本数据集合以及第四样本数据集合，对知识迁移后的初始目标神经网络模型以及优化后的第二中间神经网络模型进行迁移学习，得到目标神经网络模型。
20.作为一种实施方式，装置还包括第一训练模块、第二训练模块、第三训练模块、参数更新模块、第四训练模块以及第五训练模块。第一训练模块，用于利用第一样本数据集合，对第一初始神经网络模型进行训练，得到第一中间神经网络模型，第一中间神经网络模型包括共享参数以及第一参数。第二训练模块，用于利用共享参数对第二初始神经网络模型进行更新，并利用第三样本数据集合，对更新后的第二初始神经网络模型进行训练，得到第二中间神经网络模型，第二中间神经网络模型包括第一次更新后的共享参数以及第二参数。第三训练模块，用于利用第一次更新后的共享参数对第一中间神经网络模型进行第一次更新，并利用第二样本数据集合，对第一次更新后的第一中间神经网络模型以及第二中间神经网络模型进行联合训练，得到优化后的第二中间神经网络模型，优化后的第二中间神经网络模型包括第二次更新后的共享参数以及第一次更新后的第二参数。参数更新模块，用于利用第二次更新后的共享参数对目标初始神经网络模型进行更新，得到知识迁移后的初始目标神经网络模型。第四训练模块，用于利用第四样本数据集合，对知识迁移后的初始目标神经网络模型进行训练，得到目标中间神经网络模型，目标中间神经网络模型包括第三次更新后的共享参数以及第三参数。第五训练模块，用于利用第三次更新后的共享参数对优化后的第二中间神经网络模型进行更新，并利用第二样本数据集合，对更新后的优化后的第二中间神经网络模型以及目标中间神经网络模型进行联合训练，得到目标神经网络模型，目标神经网络模型包括第四次更新后共享参数以及第一次更新后的第三参数。
21.第五方面，本技术实施例提供了一种电子设备，包括处理器以及存储器；一个或多个程序被存储在存储器中并被配置为由处理器执行以实现上述的方法。
22.第六方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有程序代码，其中，在程序代码被处理器运行时执行上述的方法。
23.第七方面，本技术实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的方法。
24.本技术实施例提供的一种图像处理方法、装置、电子设备及存储介质，能够在客户端通过目标神经网络模型直接对游戏图像进行增强并显示，由于是直接对图像进行增强，
因此，使得增强后的目标游戏图像能够提升用户对于显示的游戏画面的主观视觉感受，使得增强后的目标游戏图像更加符合人类视觉审美偏好，进而提升游戏图像在显示时的显示效果、提升云游戏场景下的用户体验质量，且由于目标神经网络模型是通过对共享参数以及目标特有参数进行优化后得到的，以及共享参数基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，目标特有参数基于目标神经网络模型对应的样本数据进行优化，因此，目标神经网络能够学习得到不同数据域中的信息，提高目标神经网络模型的泛化能力，同时，还能够降低样本数据的获取难度。
附图说明
25.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1示出了本技术实施例提出的一种云游戏系统的应用环境的示意图；
27.图2示出了本技术实施例提出的一种云游戏服务器与游戏客户端进行图像处理的示意图；
28.图3示出了本技术实施例提出的一种图像处理方法的整体结构示意图；
29.图4示出了本技术实施例提出的一种图像处理方法的流程图；
30.图5示出了本技术实施例提出的另一种图像处理方法的流程图；
31.图6示出了本技术实施例提出的一种目标游戏图像与增强后的目标游戏图像的对比图；
32.图7示出了本技术实施例提出的一种云游戏的设置界面中目标控件选择示意图；
33.图8示出了本技术实施例提出的另一种图像处理方法的流程图；
34.图9示出了图8所示实施例提出的一种图像处理处理方法中s230的一种实施方式的流程图；
35.图10示出了本技术实施例提出的另一种图像处理方法的流程图；
36.图11示出了本技术实施例提出的另一种图像处理方法的流程图；
37.图12示出了本技术实施例提出的另一种图像处理方法的流程图；
38.图13示出了本技术实施例提出的一种多任务学习模型的训练过程的流程图；
39.图14示出了图13所示实施例提出的一种图像处理处理方法中s602的一种实施方式的流程图；
40.图15示出了图13所示实施例提出的一种图像处理处理方法中s604的一种实施方式的流程图；
41.图16示出了本技术实施例提出的一种示例性的图像处理流程示意图；
42.图17示出了本技术实施例提出的一种图像处理装置的框图；
43.图18示出了本技术实施例提出的另一种图像处理装置的框图
44.图19示出了用于执行根据本技术实施例的图像处理方法的电子设备的结构框图。
具体实施方式
45.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
46.在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
47.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
48.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
49.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
50.机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
51.其中，随着机器学习技术的发展，机器学习技术在多个领域展开了广泛的研究和应用，本技术实施例提供的技术方案涉及到机器学习技术在计算机视觉技术领域的应用。具体地，涉及到一种图像处理方法。
52.对本技术实施例进行进一步详细说明之前，对本技术实施例中涉及的部分名词和术语进行说明，本技术实施例中涉及的名词和术语适用于如下的解释：
53.1)cg图像：computer graphics，计算机图形，即通过计算机软件所绘制的一切图形的总称，国际上习惯将利用计算机技术进行视觉设计和生产的领域通称为cg。
54.2)自然图像：(natural image)，自然图像有别于随机生成的噪声图像，失真的图像，以及很大一部分计算机图形学生成的图像等等，是指人眼或相机在自然界能够观察或拍摄到的清晰的图像。
55.3)用户体验质量：(quality of experience,qoe)，即为衡量客户对某项服务(例如，网络浏览、电话、视频广播)体验的快感或烦恼度的一个指标。qoe关注的是整个服务体验，它是一个整体概念，类似于用户体验领域。
56.4)迁移学习：(transfer learning)，是一种机器学习方法，是把一个领域(即源领域)的知识，迁移到另外一个领域(即目标领域)，使得目标领域能够取得更好的学习效果。
57.5)注意力机制：(attention mechanism)，本质是一种通过网络自主学习出的一组权重系数，并以“动态加权”的方式来强调用户感兴趣的区域，同时抑制不相关背景区域的机制。
58.为了解决上述提到的云游戏场景中存在的问题，发明人提出了本技术提供的图像处理方法、装置、电子设备及存储介质，能够在客户端通过目标神经网络模型直接对游戏图像进行增强并显示，由于是直接对图像进行增强，因此，使得增强后的目标游戏图像能够提升用户对于显示的游戏画面的主观视觉感受，使得增强后的目标游戏图像更加符合人类视觉审美偏好，进而提升游戏图像在显示时的显示效果、提升云游戏场景下的用户体验质量，且由于目标神经网络模型是通过对共享参数以及目标特有参数进行优化后得到的，以及共享参数基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，目标特有参数基于目标神经网络模型对应的样本数据进行优化，因此，目标神经网络能够学习得到不同数据域中的信息，提高目标神经网络模型的泛化能力，同时，还能够降低样本数据的获取难度。
59.在对本技术实施例进行进一步详细说明之前，对本技术实施例中涉及一种应用环境进行介绍。
60.如图1所示，图1所示为本技术实施例所涉及的云游戏系统的应用环境的示意图。如图1所示，为支撑一个云游戏运行，在云游戏系统中，包括有游戏客户端110以及云游戏服务器120，游戏客户端110以及云游戏服务器120可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。其中，云游戏的类型可以是多人同时在线游戏，这种情况下，云游戏服务器120可以同时连接多个游戏客户端110，也即，游戏客户端110的数量可以有多个，图1仅以3个为例进行示例。
61.需要说明的是，其中，云游戏服务器120可以理解为部署或者安装云游戏的服务器，可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
62.游戏客户端110所在的电子设备可以为智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、可穿戴设备、智能机器人、车载终端等，但并不局限于此。在本技术实施例中，该游戏客户端对应的应用程序可以是任意能够为用户提供云游戏的应用程序，用户可以通过游戏客户端对应的应用程序开启云游戏，该应用游戏客户端可以包括一个或多个云游戏。可选地，上述应用程序可以是以网页形式展示应用平台的浏览器，也可以是应用平台的客户端。
63.下面结合图1所示的云游戏系统对本技术实施例的云游戏的运行过程进行介绍。
64.在制作完成云游戏的镜像文件后，可将该云游戏的镜像文件部署或者安装到云游戏服务器中，以使得云游戏服务器可通过加载该镜像文件以启动对应的云游戏。当接收到游戏客户端发送的关于云游戏的连接请求时，云游戏服务器可以与该游戏客户端建立连接。在云游戏服务器和游戏客户端成功建立连接后，云服务器便可以运行云游戏。
65.如图2所示，在启动云游戏之后，即在云游戏的运行过程中，云游戏服务器中的游戏应用可以调用云游戏服务器内的渲染模块，基于目标渲染策略对游戏数据进行渲染，以实时渲染得到云游戏的游戏画面/图像；其次，云游戏服务器中的游戏应用还可调用编码模块按照视频编码标准(如h.264、h.265等)对渲染后的游戏画面进行图像压缩编码操作，以节省后续图像传输时占用的网络带宽；然后，可采用视频流的方式通过网络将图像压缩编码得到的编码数据(即压缩图像)传输至游戏客户端中。相应的，游戏客户端在接收到编码数据后，可通过解码模块对该编码数据执行解码操作以还原出游戏画面，至此，游戏客户端便能够接收到目标游戏图像。游戏客户端在接收到目标游戏图像之后，便能够通过对样本数据进行迁移学习得到的目标神经网络模型对目标游戏图像进行增强处理，得到增强后的目标游戏图像，最后，游戏客户端便能够显示增强后的游戏图像。
66.其中，在上述的云游戏的运行过程中，利用目标神经网络模型对游戏图像进行处理，目标神经网络模型是通过对共享参数以及目标特有参数进行优化后得到，共享参数基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，目标特有参数基于目标神经网络模型对应的样本数据进行优化得到的，因此，还包括用于训练得到目标神经网络模型电子设备，其中，用于训练得到目标神经网络模型电子设备可以是服务器，也可以是客户端。可选地，用于训练得到目标神经网络模型的服务器可以是上述提到的云游戏服务器，还可以是区别于云游戏服务器的其他专用于训练神经网络模型的服务器。
67.结合上述内容，下面结合图3对本技术实施例的图像处理方法的整体结构进行阐述。
68.如图3所示，本技术主要包括样本数数据收集、特征处理、模型应用阶段以及游戏客户端与云游戏服务器交互四个部分。
69.首先，在数据收集阶段，需要收集四个样本数据集合，第一样本数据集合包括携带退化类型标签的退化后的第一游戏图像，第二样本数据集合包括携带退化类型标签的退化后的第二游戏图像、增强后的第二游戏图像，第三样本数据集合包括携带主观评分标签的第一自然图像，第四样本数据集合包括第二自然图像以及增强后的第二自然图像作为样本数据。特征处理与模型训练阶段既可以云游戏服务器执行，也可以在游戏客户端执行。
70.其次，在特征处理阶段，通过对上述样本数据进行迁移学习与数据特征提取，得到多任务神经网络模型，多任务神经网络模型包括用于退化类型检测的第一神经网络模型、用于评分检测的第二神经网络模型以及用于游戏图像增强的目标神经网络模型。特征处理与模型训练阶段既可以云游戏服务器执行，也可以在游戏客户端执行。
71.然后，在模型应用阶段，游戏客户端通过调用多任务神经网络模型对游戏图像进行图像增强处理，得到增强后的游戏图像，以及进行评分检测，得到游戏图像对应的目标评分。
72.最后，在游戏客户端与云游戏服务器交互阶段，游戏客户端将目标评分发送到云游戏服务器，建立信息反馈机制，使服务器进行资源调整。
73.下面将结合附图具体描述本技术的各实施例。
74.请参阅图4，图4所示为本技术一实施例提出的一种图像处理方法的流程图，该方法可以应用于客户端(例如图1中的游戏客户端)，该方法包括：
75.s110，接收目标游戏图像。
76.本技术实施例中，目标游戏图像是指游戏客户端对接收的压缩编码后的编码数据(压缩图像)进行解码得到的游戏图像。结合前述内容可知，在云游戏运行过程中，云游戏服务器可以基于目标渲染策略对游戏数据进行渲染，得到渲染后的游戏图像，然后对渲染后的游戏图像进行图像压缩编码操作，并通过云游戏服务器与游戏客户端之间连接的网络环境，采用视频流的方式将图像压缩编码得到的编码数据(即压缩图像)传输至游戏客户端中，游戏客户端在接收到编码数据后，再对该编码数据执行解码操作从而得到游戏图像，该游戏图像即为目标游戏图像。
77.s120，通过目标神经网络模型对目标游戏图像进行增强处理。
78.其中，目标神经网络模型通过对共享参数以及目标特有参数进行优化后得到，共享参数基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，目标特有参数基于目标神经网络模型对应的样本数据进行优化。
79.可以理解的是，在云游戏领域中，数据存在独特的特点，即游戏图像虽然众多，但是带有人为主观评分标签的游戏图像却少之又少，这就导致在针对cg内容的图像增强任务中，可用的监督数据十分有限，如果直接使用带有人为主观评分标签的游戏图像进行深度学习的话，就需要耗费大量的人力物力对游戏图像进行人工标注，加大了目标游戏图像的增强成本。因此，可以考虑在少量人为主观评分标签的游戏图像的基础上，结合其他一些较容易获得的样本数据，通过共享网络参数的方式来得到目标神经网络模型，从而简化用于增强目标游戏图像的目标神经网络的样本获取难度，即通过对共享参数以及特有参数进行优化的方式来训练神经网络模型。
80.本实施例中，与目标神经网络模型关联的神经网络模型可以理解为在目标神经网络模型训练过程中，与目标神经网络模型进行参数共享的模型。
81.目标特有参数可以理解为目标神经网络特有的需要进行优化的参数。共享参数可以理解为目标神经网络模型以及与目标神经网络模型关联的神经网络模型进行参数共享的参数。
82.可以理解的是，本实施例中，目标神经网络模型在训练的过程中需要不断优化共享参数以及目标特有参数，从而得到训练完成的目标神经网络模型。
83.而作为一种实施方式，本实施例中的共享参数可以基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，即目标神经网络模型可以在训练过程中学习到关联的神经网络模型的样本数据特征，即学习到不同数据域的信息，提到目标神经网络模型的泛化能力。
84.作为一种实施方式，对共享参数以及目标特有参数进行优化过程中，使用的样本数据可以包括携带退化类型标签的退化后的第一游戏图像、携带主观评分标签的第二游戏图像、携带退化类型标签的退化后的第二游戏图像、增强后的第二游戏图像、携带主观评分标签的第一自然图像、第二自然图像以及增强后的第二自然图像。
85.其中，第一游戏图像可以是游戏爱好者或者互联网合法爬虫收集的大量的没有明显退化的cg内容游戏图像数据，不需要人工标注主观评分标签。在一些实施方式中，在得到第一游戏图像之后，可以对第一游戏图像经过退化处理，从而得到携带退化类型标签的游
戏图像。
86.在一些实施方式中，第二游戏图像可以是游戏爱好者或者互联网合法爬虫收集的大量的没有明显退化的cg内容游戏图像数据。在一些实施方式中，在得到第二游戏图像之后，可以对第二游戏图像进行人工主观评分标注，从而得到携带主观评分标签的第二游戏图像。此外，还可以对第二游戏图像进行退化处理，得到携带退化类型标签的第二游戏图像。此外，还可以对第二游戏图像经过增强算法进行处理，得到增强后的第二游戏图像。
87.在一些实施方式中，携带主观评分标签的第一自然图像包括携带图像质量评分的第一自然图像、携带图像整体美学评分的第一自然图像或者携带多维度美学评分标签的第一自然图像中的至少一者。例如，携带主观评分标签的第一自然图像可以全部由携带图像质量评分的第一自然图像组成，也可以全部由携带图像整体美学评分的第一自然图像组成，或者也可以全部由携带多维度美学评分标签的第一自然图像组成，还可以部分由携带图像质量评分的第一自然图像组成，部分由携带图像整体美学评分的第一自然图像组成，或者部分由携带图像质量评分的第一自然图像组成，部分由携带多维度美学评分标签的第一自然图像组成。其中，携带图像质量评分的第一自然图像可以通过互联网合法爬虫进行收集得到，也可以直接使用已有的自然图像数据库得到，例如，已有的自然图像质量评估数据库tid2013或者自然图像质量评估数据库tid2008等。携带携带多维度美学评分标签的第一自然图像可以通过互联网合法爬虫进行收集得到，也可以直接使用已有的图像美学评价数据库得到，例如，已有的图像美学评价数据集ava(aesthetic visual analysis)。
88.在一些实施方式中，第二自然图像可以通过互联网合法爬虫进行收集得到，也可以直接使用已有的待增强图像数据库得到，例如，通过包含大量待增强图像的mit-adobe five-k数据集得到，其中，mit-adobe fivek是现在很多做图像增强(image enhancement)与图像修饰(image retouching)方面研究的人员经常会使用到的数据库。在得到第二自然图像之后，便可以对第二自然图像经过增强算法进行处理，得到增强后的第二自然图像。
89.需要说明的是，第一游戏图像与第二游戏图像可以是相同的图像，也可以是不同的图像，第一自然图像与第二自然图像可以是相同的图像，也可以是不同的图像。
90.作为一种实施方式，对第二游戏图像经过增强算法进行处理可以是将hdr (high dynamic range ，高动态光照渲染加强)算法和细节增强算法先后作用在第二游戏图像上。对第二自然图像经过增强算法进行处理同样可以是将hdr (high dynamic range ，高动态光照渲染加强)算法和细节增强算法先后作用在第二自然图像上。可选地，细节增强算法可以为局部拉普拉斯滤波(local laplacian filters)算法。
91.其中，通过目标神经网络模型对目标游戏图像进行增强处理是指通过目标神经网络模型对目标游戏图像进行符合人类视觉美感方向的增强处理。可以理解的是，在一些情况下，由于网络环境、用户行为或者游戏客户端的硬件条件等，游戏客户端实际接收并解码后得到的游戏图像与云游戏服务器渲染后的游戏图像可能会存在差异，因此，为了使得游戏客户端的用户看到的游戏图像能够更加符合人类视觉美感偏好，客户端能够调用目标神经网络模型对目标游戏图像进行增强处理。
92.由于对共享参数以及目标特有参数进行优化的样本数据包括携带退化类型标签的退化后的第一游戏图像、携带主观评分标签的第二游戏图像、携带退化类型标签的退化后的第二游戏图像、增强后的第二游戏图像、携带主观评分标签的第一自然图像、第二自然
图像以及增强后的第二自然图像，使得目标神经网络模型在训练的过程中能够学习(迁移)到不同数据域中的信息，从而提高目标神经网络的泛化能力，并使得目标神经网络能够进一步向符合人类视觉审美偏好的方向对目标游戏图像进行增强。
93.需要说明的是，本技术实施例中游戏客户端所使用的目标神经网络模型可以是在服务器完成训练之后，部署于游戏客户端的，也可以是在游戏客户端完成训练并部署的。
94.s130，获取目标网络模型输出的增强后的目标游戏图像。
95.可以理解的是，游戏客户端在通过调用目标神经网络模型对目标游戏图像进行增强处理之后，目标神经网络模型可以输出一个处理结果，即输出增强后的目标游戏图像，并且该增强后的目标游戏图像相较于目标游戏图像能够更加符合人类视觉审美偏好。
96.s140，显示增强后的目标游戏图像。
97.进一步地，游戏客户端能够对增强后的游戏图像进行显示。
98.在一些实施方式中，如图5所示，游戏客户端在接收目标游戏图像之后，还可以执行s150-s180的步骤。
99.s150，对目标游戏图像进行评分检测，得到目标游戏图像对应的目标评分。
100.评分检测是指对目标游戏图像基于人类视觉审美偏好的评分检测。评分检测对应的目标评分越高，表明目标游戏图像越符合人类视觉审美偏好，用户体验质量越高。
101.在一些实施方式中，对目标游戏图像进行评分检测，可以直接得到目标游戏图像对应的目标评分。
102.可选地，可以使用神经网络模型对目标游戏图像进行评分检测。该用于对目标游戏图像进行评分检测，直接得到目标游戏图像对应的目标评分的神经网络模型，可以是第一评分检测模型，第一评分检测模型可以通过对共享参数以及第一特有参数进行优化后得到，共享参数基于第一评分检测模型对应的样本数据、以及与第一评分检测模型关联的神经网络模型对应的样本数据进行联合优化，第一特有参数基于第一评分检测模型对应的样本数据进行优化。其中，第一特有参数是指第一评分检测模型特有的需要进行优化的参数。这种情况下，第一评分检测模型使用的样本数据可以包括携带退化类型标签的退化后的第一游戏图像、携带主观评分标签的第二游戏图像、携带退化类型标签的退化后的第二游戏图像、增强后的第二游戏图像、携带主观评分标签的第一自然图像、第二自然图像以及增强后的第二自然图像，其中，携带主观评分标签的第一自然图像包括携带图像质量评分的第一自然图像。
103.可选地，在一些情况下，在不考虑人工标注成本的情况下，即能够较为简单的获取到多个携带人类视觉审美偏好评分标签的样本游戏图像的情况下，也可以直接通过多个携带人类视觉审美偏好评分标签的样本游戏图像经过训练得到。训练过程中，可以将每个携带人类视觉审美偏好评分标签的样本游戏图像输入初始评分检测模型，初始评分检测模型可以输出针对该游戏图像的预测评分，并计算预测评分和该游戏图像的评分标签信息之间的损失(loss)，根据损失对初始评分检测模型的模型参数进行调节，从而可以得到评分检测模型。
104.可以理解的是，携带图像质量评分的第一自然图像和携带美学维度评分标签的第一自然图像相较于携带人类视觉审美偏好评分标签的样本游戏图像更容易获得，可以简化样本数据获取难度。
105.在另一些实施方式中，对目标游戏图像进行评分检测，并不能够直接得到目标游戏图像对应的目标评分，这种情况下，可以使用神经网络模型对目标游戏图像进行美学维度的评分检测，得到目标游戏图像在各个美学维度下对应的评分，以及使用神经网络模型对目标游戏图像进行退化检测，得到目标游戏图像对应的预测退化类型以及各个预测退化类型对应的概率，然后再基于目标游戏图像在各个美学维度下对应的评分以及目标权重矩阵，得到目标游戏图像在预测退化类型下的得分，然后再基于目标游戏图像在预测退化类型下的得分以及各个预测退化类型对应的概率，得到目标游戏图像对应的目标评分。
106.可选地，基于目标游戏图像在预测退化类型下的得分以及各个预测退化类型对应的概率，得到目标游戏图像对应的目标评分可以是将目标游戏图像在预测退化类型下的得分以及各个预测退化类型对应的概率进行加权求和，将加权求和结果作为目标游戏图像对应的目标评分。
107.其中，用于对目标游戏图像进行退化检测，得到目标游戏图像对应的预测退化类型以及各个预测退化类型对应的概率的神经网络模型可以是第一神经网络模型，该用于对目标游戏图像进行美学维度的评分检测，得到目标游戏图像在各个美学维度下对应的评分，然后再基于目标游戏图像在各个美学维度下对应的评分以及目标权重矩阵，得到目标游戏图像在预测退化类型下的得分，以及基于目标游戏图像在预测退化类型下的得分以及各个预测退化类型对应的概率，得到目标游戏图像对应的目标评分的神经网络模型可以是第二评分检测模型。在上述过程中，第二评分检测模型得到目标游戏图像对应的目标评分的过程用到了第一神经网络模型的输出结果。
108.其中，第一神经网络模型通过对共享参数以及第二特有参数进行优化后得到，第二评分检测模型可以通过对共享参数以及第三特有参数进行优化后得到，共享参数基于第一神经网络模型以及第二评分检测模型对应的样本数据、以及与第一神经网络模型以及第二评分检测模型关联的神经网络模型对应的样本数据进行联合优化，第二特有参数基于第一神经网络模型对应的样本数据进行优化，第三特有参数基于第二评分检测模型对应的样本数据进行优化。其中，第二特有参数是指第一神经网络模型特有的需要进行优化的参数，第三特有参数是指第二评分检测模型特有的需要进行优化的参数。
109.作为一种实施方式，对共享参数、第二特有参数以及第三特有参数进行优化过程中，使用的样本数据可以包括携带退化类型标签的退化后的第一游戏图像、携带主观评分标签的第二游戏图像、携带退化类型标签的退化后的第二游戏图像、增强后的第二游戏图像、携带图像质量评分的第一自然图像和携带多维度美学评分标签的第一自然图像、第二自然图像以及增强后的第二自然图像的样本数据进行迁移学习得到。其中，携带主观评分标签的第一自然图像包括携带图像整体美学评分的第一自然图像或者携带多维度美学评分标签的第一自然图像中的至少一者。
110.可以理解的是，携带图像质量评分的第一自然图像和携带多维度美学评分标签的第一自然图像相较于携带人类视觉审美偏好评分标签的样本游戏图像更容易获得，可以简化样本数据获取难度。
111.如图6所示，示出了目标游戏图像a1以及增强后的目标游戏图像a2。其中增强后的目标游戏图像是通过目标神经网络模型对目标游戏图像进行增强处理后得到的，此外，图像a1以及图像a2上分别标注了对应的评分，该评分是通过对分别图像a1以及图像a2进行评
分检测得到的，也即，除了可以对图像a1进行评分检测外，还可以对图像a2进行评分检测，该评分可以反映人类视觉审美偏好。结合图6可以看出，增强后的目标游戏图像a2相较于目标游戏图像a1纹理更加细致，细节更加清晰，增强后的目标游戏图像a2看起来更加美观，更加符合人类视觉审美偏好，此外，图像a2的评分大于图像a1的评分来看，因此，可以看出，增强后的目标游戏图像更加符合人类视觉审美偏好，本实施例的图像增强方法可以提升游戏图像在显示时的显示效果、提升云游戏场景下的用户体验质量。
112.s160，将目标评分发送至云游戏服务器，以使云游戏服务器根据目标评分，确定针对游戏数据的目标图像渲染策略。
113.游戏客户端在获取到目标评分之后，可以将目标评分发送到云游戏服务器，以建立对于云游戏服务器传输的渲染后的游戏图像的反馈机制，从而使得云游戏服务器能够根据目标评分，确定针对游戏数据的目标图像渲染策略，并根据确定的目标图像渲染策略对后续需要渲染的游戏数据进行渲染，得到渲染后的游戏图像。
114.在一些实施方式中，考虑到客户端调用目标神经网络模型对目标游戏图像进行处理是需要占用内存以及处理资源的，对于一些配置较低的终端设备，可能存在内存或者处理资源不够用的情况，因此，在通过目标神经网络模型对目标游戏图像进行增强处理之前，还可以检测通过目标神经网络模型对目标游戏图像进行增强处理的功能是否处于开启状态，若处于开启状态，则执行通过目标神经网络模型对目标游戏图像进行增强处理的步骤。若处于关闭状态，则不对目标游戏图像进行增强处理。
115.可选地，在一些实施方式中，游戏客户端的用户可以通过云游戏客户端的设置界面提供的目标控件来决定是否开启通过目标神经网络模型对目标游戏图像进行增强处理的功能。
116.请参阅图7，示出了一种云游戏的设置界面中目标控件选择示意图，当用户选择到图像设置这一项时，界面中示出了“图像增强”这一设置项，具体包括“开”以及“关”两项，当用户选择“开”时，即可开启目标神经网络模型对目标游戏图像进行增强处理的功能，当用户选择“关”时，即可关闭目标神经网络模型对目标游戏图像进行增强处理的功能。
117.本实施例提供的图像处理方法，能够在客户端通过目标神经网络模型直接对游戏图像进行增强并显示，由于是直接对图像进行增强，因此，使得增强后的目标游戏图像能够提升用户对于显示的游戏画面的主观视觉感受，使得增强后的目标游戏图像更加符合人类视觉审美偏好，进而提升游戏图像在显示时的显示效果、提升云游戏场景下的用户体验质量，且由于目标神经网络模型是通过对共享参数以及目标特有参数进行优化后得到的，以及共享参数基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，目标特有参数基于目标神经网络模型对应的样本数据进行优化，因此，目标神经网络能够学习得到不同数据域中的信息，提高目标神经网络模型的泛化能力，同时，还能够降低样本数据的获取难度。
118.请参阅图8，图8所示为本技术另一实施例提出的一种图像处理方法的流程图，该方法可以应用于客户端(例如图1中的游戏客户端)，该方法包括：
119.s210，接收目标游戏图像。
120.s220，对目标游戏图像进行退化检测，得到退化检测结果。
121.退化检测是指对目标游戏图像所属的退化类型进行检测，退化检测结果则表明目
标游戏对象所属的退化类型。
122.结合前述内容可知，由于网络环境、用户行为或者游戏客户端的硬件条件等，游戏客户端实际接收并解码后得到的游戏图像与云游戏服务器渲染后的游戏图像可能会存在差异，即云游戏服务器渲染后的游戏图像在到达游戏客户端并被解码之后会出现退化现象，因此，为了进一步提高后续在客户端显示的增强后的目标游戏图像的显示效果，进一步提高用户体验质量，可以先对目标游戏图像进行退化检测，得到退化检测结果。
123.可以理解的是，游戏客户端解码得到的目标游戏图像相较于云游戏服务器渲染后的游戏图像可能存在一种退化类型，也可能存在不止一种退化类型，还可能没有发生退化，即不存在退化类型。
124.作为一种实施方式，可以使用神经网络模型对目标游戏图像进行退化检测。
125.可选地，该用于对目标游戏图像进行退化检测的神经网络模型，可以简称为退化检测模型，可以通过多个样本游戏图像以及该多个样本游戏图像各自对应的携带退化类型标签的退化后游戏图像，经过训练得到。
126.训练过程中，可以将每个携带退化类型标签的退化后的游戏图像输入初始退化检测模型，初始退化检测模型可以输出针对该游戏图像的预测退化类型信息，并计算预测类型和该游戏图像的退化类型标签信息之间的损失(loss)，根据损失对初始退化检测模型的模型参数进行调节，从而可以得到退化检测模型。
127.可选地，该退化检测模型还可以是前述实施例中的第一神经网络模型。
128.可以理解的是，在一些实施方式中，在利用退化检测模型对目标游戏图像进行退化检测之后，得到的退化检测模型的输出结果可以是只包括该目标游戏对象所属的退化类型这一个结果，例如，该目标游戏图像的退化类型属于模糊退化、压缩退化或者噪声退化等退化类型中的一种。这种情况下，退化检测结果即为退化检测模型输出的退化类型这个结果。
129.在另一些实施方式中，在利用退化检测模型对目标游戏图像进行退化检测之后，得到的退化检测模型的输出结果可以包括退化类型以及退化类型对应的概率，例如，退化检测模型的输出结果可以是模糊退化对应概率0.5、压缩退化对应概率0.4，以及噪声退化对应概率0.1，此时，退化检测结果则包括退化类型以及退化类型对应的概率。
130.s230，调用与退化检测结果对应的图像恢复算法，对目标游戏图像进行图像恢复处理，得到恢复后的目标游戏图像。
131.可以理解的是，由于目标游戏图像可能是退化后的，如果直接对目标游戏图像进行增强，可能导致增强后的目标游戏图像的显示效果依然不够好，因此，为了能够提高后续增强后的目标游戏图像在显示时的效果，提高用户体验质量，在得到退化检测结果之后，可以先对目标游戏图像进行恢复，即调用与退化类型对应的图像恢复算法，以尽量得到与服务器渲染后得到的游戏图像相差不大的图像，然后再对恢复后的目标游戏图像进行增强，以提高增强后的目标游戏图像的显示效果。
132.结合前述内容可知，退化检测结果可以包括仅退化类型这类结果，也可以包括退化类型以及退化类型对应的概率这类结果。
133.在一些实施方式中，当退化检测结果仅包括这类结果退化类型，退化检测结果可以直接表示退化类型，这种情况下，可以直接调用与退化检测结果对应的图像恢复算法，对
目标游戏图像进行图像恢复处理，得到恢复后的目标游戏图像。
134.在另一些实施方式中，当退化检测结果包括退化类型以及退化类型对应的概率这类结果时，如图9所示，调用与退化检测结果对应的图像恢复算法，对目标游戏图像进行图像恢复处理，得到恢复后的目标游戏图像，可以包括以下步骤：
135.s231，确定概率满足目标概率阈值的退化类型为目标退化类型。
136.本实施例中，可以在游戏客户端预先配置用于确定目标退化类型的目标概率阈值，然后将退化检测模型输出的退化类型对应的概率与目标概率阈值进行比较，若退化类型对应的概率大于或者等于目标概率阈值，说明目标游戏图像对应的退化类型大概率为满足目标概率阈值的退化类型，因此，可以将概率满足目标概率阈值的退化类型为目标退化类型。可选地，目标概率阈值可以根据经验进行配置，也可以根据实际需要进行配置，例如，可以目标概率阈值配置为0.4。
137.s232，调用与目标退化类型对应的图像恢复算法，对目标游戏图像进行图像恢复处理，得到恢复后的目标游戏图像。
138.由于目标退化类型表示的是目标游戏图像对应的退化类型，因此，可以调用与目标退化类型对应的图像恢复算法，对目标游戏图像进行图像恢复处理，得到恢复后的目标游戏图像。
139.示例性地，若目标退化类型为压缩退化以及噪声退化，那么可以调用压缩退化对应的恢复算法以及调用噪声退化对应的恢复算法，对目标游戏图像进行图像恢复处，得到恢复后的目标游戏图像。
140.s240，通过目标神经网络模型对恢复后的目标游戏图像进行增强处理。
141.其中，目标神经网络模型通过对共享参数以及目标特有参数进行优化后得到，共享参数基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，目标特有参数基于目标神经网络模型对应的样本数据进行优化。
142.本技术实施例中，在得到恢复后的目标游戏图像之后，便可以通过目标神经网络模型对恢复后的目标游戏图像进行增强处理。
143.s250，获取目标网络模型输出的增强后的目标游戏图像。
144.s260，显示增强后的目标游戏图像。
145.其中，步骤s240、s250和s260的具体实现方式可以参照s120～s140的具体描述，这里不再赘述。
146.本技术实施例的图像处理方法，在获得目标游戏图像之后，先对目标游戏图像进行退化检测，得到退化检测结果之后，再根据退化检测结果对目标游戏图像进行恢复，以尽量得到与服务器渲染后得到的游戏图像相差不大的图像，然后再对恢复后的目标游戏图像进行增强，可以以提高增强后的目标游戏图像的显示效果，进一步提高用户体验质量。
147.此外，考虑到游戏图像是由不同的渲染部件(例如人脸、人手等渲染部件)渲染得到的，不同的图像渲染部件由于渲染基本参数不同，例如，渲染基本图形的数量以及渲染纹理的属性等不同，其中渲染纹理的属性具体可以包括渲染方向和复杂度等，因此使得不同的渲染部件具有不同的渲染难度，从而使得最终渲染得到的游戏图像在不同的图像区域具有不同的渲染难度。本技术实施例中，引入注意力机制来对不同渲染难度的图像区域进行
不同程度的增强处理，以提高增强处理效率以及增强效果。因此，在一些实施方式中，请参阅图10，图10所示为本技术另一实施例提出的一种图像处理方法的流程图，该方法中的目标神经网络模型可以包括注意力子网络以及增强子网络，该方法可以应用于客户端(例如图1中的游戏客户端)，该方法包括：
148.s310，接收目标游戏图像。
149.s320，通过注意力子网络，确定目标游戏图像中各个图像区域对应的增强程度。
150.注意力子网络是基于注意力机制训练得到的子网络，将目标游戏图像输入到注意力子网络中，通过注意力子网络对目标游戏图像进行处理，可以得到目标游戏图像中对于增强任务不同重要程度的特征的信息分布，即得到各个图像区域对应的增强程度。
151.结合前述内容可知，不同的渲染部件具有不同的渲染难度，因此，可以预先对样本游戏图像中不同的渲染部件标注渲染难易程度标签，从而得到各个样本图像以及各自图像区域对应的渲染难易程度标签，并在目标神经网络中加入注意力机制，然后将各个样本图像以及各自图像区域对应的渲染难易程度标签加入到前述的目标神经网络的迁移学习过程中，最终便能够得到注意力子网络以及增强子网络。
152.s330，基于目标游戏图像中各个图像区域对应的增强程度以及增强子网络，对目标游戏图像进行增强处理。
153.作为一种实施方式，增强子网络可以通过目标神经网络模型通过对共享参数以及目标特有参数进行优化后得到，共享参数基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，目标特有参数基于目标神经网络模型对应的样本数据进行优化。
154.增强子网络可以基于目标游戏图像中各个图像区域对应的增强程度，采取不同的增强响应力度。例如，对增强程度较高的图像区域采取较大的增强响应力度，对增强程度较低的图像区域采取较小的增强响应力度。
155.s340，获取增强子网络输出的增强后的目标游戏图像。
156.在对目标游戏图形进行增强之后，客户端便可以获取增强子网络输出的增强后的目标游戏图像。
157.s350，显示增强后的目标游戏图像。
158.本技术实施例提供的图像处理方法，通过引入注意力机制，能够对不同的图像区域采用不同的增强程度进行增强，在游戏客户端处理能力一定的情况下，可以提高增强处理效率以及增强效果。
159.请参阅图11，图11所示为本技术另一实施例提出的一种图像处理方法的流程图，该方法可以应用于服务器(例如图1中的云游戏服务器)，该方法包括：
160.s410：获取与目标客户端对应的目标图像渲染策略。
161.目标客户端可以是与云游戏服务器连接的任意一个游戏客户端。
162.可以理解的是，不同的目标客户端可能使用不同的目标图像渲染策略，因此，在对游戏数据进行渲染之前，可以先获取与目标客户端对应的目标图像渲染策略。
163.s420，利用目标图像渲染策略，对游戏数据进行渲染处理，生成渲染后的游戏图像。
164.本实施例中，目标图像渲染策略包括针对待渲染图像的渲染基本图形数量、渲染
纹理属性或者渲染结构等。在获得目标图像渲染策略之后，便能够将渲染基本图形数量、渲染纹理属性或者渲染结构等参数调节来与目标图像渲染策略记录的一致，并基于调节后的参数对游戏数据进行渲染处理，生成渲染后的游戏图像。
165.s430，将渲染后的游戏图像发送到目标客户端，以使目标客户端获得与渲染后的游戏图像对应的目标游戏图像，并通过目标神经网络模型得到与目标游戏图像对应的增强后的目标游戏图像。
166.其中，目标神经网络模型通过对共享参数以及目标特有参数进行优化后得到，共享参数基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，目标特有参数基于目标神经网络模型对应的样本数据进行优化。
167.本实施例中，云游戏服务器可以将渲染后的游戏图像通过与目标客户端之间的网络环境发送目标游戏客户端，如此，目标游戏客户端便能够接收到渲染后的游戏图像对应的目标游戏图像。
168.在一些实施方式中，为了节约网络带宽，云游戏服务器可以先对渲染后的游戏图像进行压缩，然后将压缩后的游戏图像发送到目标客户端，此时，目标客户端可以先对接收到的压缩后的游戏图像进行解码操作，然后得到渲染后的游戏图像对应的目标游戏图像。
169.目标客户端在获得与渲染后的游戏图像对应的目标游戏图像之后，可以调用部署的目标神经网络模型对目标游戏图像进行增强处理，从而得到目标神经网络模型输出的增强后的目标游戏图像。
170.在一些实施方式中，目标客户端在调用目标神经网络模型对目标游戏图像进行增强处理之前，还可以对目标游戏图像进行退化类型检测，从而得到目标游戏图像对应的退化类型，然后调用与退化检测结果对应的图像恢复算法，对目标游戏图像进行图像恢复处理，得到恢复后的目标游戏图像，接着再调用目标神经网络模型对恢复后的目标游戏图像进行增强处理，如此，可以提高后续在客户端显示的增强后的目标游戏图像的显示效果，进一步提高用户体验质量。
171.s440，接收目标客户端发送的目标评分。
172.其中，目标评分是目标客户端对目标游戏图像进行评分检测得到的。
173.目标客户端在获得目标游戏图像之后，还可以对目标游戏图像进行基于人类视觉审美偏好的评分检测，得到目标游戏图像对应的目标评分，通过对目标游戏图像进行评分检测，得到目标评分，然后通过目标评分便可以判断云游戏服务器渲染后的游戏图像发送到目标客户端之后，是否符合人类视觉审美偏好。
174.目标客户端在得到目标评分之后，便可以将目标评分发送到云游戏服务器。并且只将目标评分发送到云游戏服务器可以减少传输数据量，节约带宽。
175.s450，根据目标评分，对目标图像渲染策略进行更新。
176.由于通过目标评分可以判断云游戏服务器渲染后的游戏图像发送到目标客户端之后，是否符合人类视觉审美偏好，因此，云游戏服务器可以根据目标评分对目标客户端对应的目标图像渲染策略进行更新调整。
177.可选地，在目标评分相对较低时，例如低于某个评分阈值时，云游戏服务器可以适当增加针对目标客户端分配的渲染资源以及计算资源(计算资源例如分配的中央处理器
cpu/图形处理器gpu个数、内存大小等)，从而在服务器一侧提高图像的视觉美感，这样，即使渲染后的目标图像在到达目标客户端之后存在退化，导致视觉美感降低，但是由于云游戏服务器已经分配了更多的渲染资源，能够使得目标游戏图像有了一定程度的改进，这样，目标神经网络便可以减少增强响应力度，从而节约目标客户端的处理资源。由于云游戏服务器具有更强的处理能力，通过服务器在目标评分相对较低时，增加针对目标客户端分配的渲染资源，可以达到充分利用服务器计算资源，节约目标客户端计算资源的效果。
178.可选地，考虑到图像在客户端显示时，人眼辨识能力有限，例如，在某个游戏图像的视觉美感达到一定程度之后，人眼便不再能够明显看出区别，因此，在目标评分相对较高时，例如高于某个评分阈值时，云游戏服务器可以适当降低针对目标客户端分配的渲染资源以及计算资源，如此能够在满足用户对于显示的游戏图像的视觉美感需求的情况下，降低服务器的负荷，节约服务器资源，进而实现对整个云游戏系统的质量控制。
179.可选地，分数阈值可以在游戏调试阶段根据经验预设。
180.本实施例提供的图像处理方法，通过建立云游戏服务器与客户端之间的反馈机制，在将渲染后的游戏图像发送到目标客户端之后，云游戏服务器能够接收目标客户端发送的针对目标游戏图像的目标评分，并根据目标评分对目标图像渲染策略进行更新调整，从而实现充分利用服务器计算资源，节约目标客户端计算资源，以及在满足用户对于显示的游戏图像的视觉美感需求的情况下，降低服务器的负荷，节约服务器资源的效果，实现综合权衡游戏图像的视觉效果和云游戏服务器渲染复杂性。
181.此外，由于对图像渲染策略进行更新调整之后，使得渲染后的游戏图像大小不同，在分别发送到不同的目标客户端时占用不同的带宽，因此，可以在服务器对数据传输进行优化，例如，对于带宽占用大的渲染后的游戏图像分配较大的带宽，而带宽占用小的渲染后的游戏图像分配较小的带宽，如此，相较于使用同一带宽进行传输，在服务器总的传输带宽不变的情况下可以使得各个目标客户端均能够获得较好的用户体验质量。
182.请参阅图12，图12所示为本技术另一实施例提出的一种图像处理方法的流程图，该方法可以应用于服务器(例如图1中的云游戏服务器)，该方法包括：
183.s510，在与目标客户端建立连接的情况下，检测是否存在与目标客户端对应的历史图像渲染策略。
184.历史图像渲染策略可以理解为目标客户端历史上曾经使用过的图像渲染策略。
185.可以理解的是，目标客户端可能不是第一次连接云游戏服务器，例如，目标游戏客户端昨天连接云游戏服务器进行游戏之后下线，与云游戏服务器断开连接，在目标游戏客户端下线之后，云游戏服务器可以记录目标游戏客户端对应的图像渲染策略，例如将目标游戏客户端标识与目标客户端对应的图像渲染策略关联存储于云游戏服务器中，作为历史图像渲染策略，那么当目标游戏客户端重新与云游戏服务器连接进行游戏的时候，云游戏服务器便可以根据目标客户端标识查找到历史图像渲染策略，作为目标客户端对应的目标图像渲染策略。从而通过在云游戏服务器内关联存储目标游戏客户端标识与目标客户端对应的图像渲染策略，可以使得目标游戏客户端在再次连接到云游戏服务器时，云游戏服务器能够迅速选择目标客户端对应的目标图像渲染策略，从而保证用户一开始进行云游戏便能够拥有较高的用户体验质量。因此，在云游戏服务器与目标客户端建立连接之后，云游戏服务器可以检测是否存在与目标客户端对应的历史图像渲染策略。
186.若云游戏服务器检测存在历史图像渲染策略，则执行下述步骤s521，若检测不存在历史图像渲染策略，则执行下述步骤s522。
187.作为一种实施方式，在目标客户端与云游戏服务器建立连接之后，云游戏服务器可以首先根据目标客户端的标识，目标客户端的标识例如可以是游戏账号、mac地址(media access control address，媒体存取控制位址)或者ip地址等，判断云游戏服务器内是否存在与目标客户端标识对应的历史图像渲染策略，若存在历史图像渲染策略，则选择最近一次使用的历史图像渲染策略作为目标客户端的目标图像渲染策略。
188.s521，若存在历史图像渲染策略，将历史图像渲染策略作为目标图像渲染策略。
189.本实施例中，在存在历史图像渲染策略的情况下，云游戏服务器将历史图像渲染策略作为目标图像渲染策略。
190.s522，若不存在历史图像渲染策略，选择初始图像渲染策略作为目标图像渲染策略。
191.其中，初始图像渲染策略是指云游戏服务器中预先设置的默认图像渲染策略，该策略作为某个目标客户端初次连接云游戏服务器时使用。
192.本实施例中，在不存在历史图像渲染策略的情况下，云游戏服务器将选择初始图像渲染策略作为目标图像渲染策略。
193.s530，利用目标图像渲染策略，对游戏数据进行渲染处理，生成渲染后的游戏图像。
194.s540，将渲染后的游戏图像发送到目标客户端，以使目标客户端获得与渲染后的游戏图像对应的目标游戏图像，并通过目标神经网络模型对目标游戏图像进行增强处理，得到目标神经网络模型输出的增强后的目标游戏图像。
195.其中，目标神经网络模型通过对样本数据进行迁移学习得到，样本数据包括携带退化类型标签的退化后的第一游戏图像、携带主观评分标签的第二游戏图像、携带退化类型标签的退化后的第二游戏图像、增强后的第二游戏图像、携带主观评分标签的第一自然图像、第二自然图像以及增强后的第二自然图像。
196.s550，接收目标客户端发送的目标评分，其中，目标评分是目标客户端对目标游戏图像进行评分检测得到的。
197.s560，根据目标评分，对目标图像渲染策略进行更新。
198.其中，步骤s530-s560的具体实现方式可以参照s420～s450的具体描述，这里不再赘述。
199.本技术提供的一种图像处理方法，在与目标客户端建立连接的情况下，云游戏服务器检测是否存在与目标客户端对应的历史图像渲染策略，并在存在历史图像渲染策略时，将历史图像渲染策略作为目标图像渲染策略，从而使得目标游戏客户端在再次连接到云游戏服务器时，云游戏服务器能够迅速选择目标客户端对应的目标图像渲染策略，从而保证用户一开始进行云游戏便能够拥有较高的用户体验质量。
200.结合前述内容可知，对目标游戏图像进行增强处理的目标神经网络模型、对目标游戏图像进行退化检测，得到目标游戏图像对应的预测退化类型以及各个预测退化类型对应的概率的第一神经网络模型，以及对目标游戏图像进行美学维度的评分检测，得到目标游戏图像在各个美学维度下对应的评分，然后再基于目标游戏图像在各个美学维度下对应
的评分以及目标权重矩阵，得到目标游戏图像在预测退化类型下的得分，以及基于目标游戏图像在预测退化类型下的得分以及各个预测退化类型对应的概率，得到目标游戏图像对应的目标评分的第二评分神经网络模型可以通过对共享参数以及各自特有的参数进行优化后得到，优化过程中，使用的样本数据可以包括携带退化类型标签的退化后的第一游戏图像、携带主观评分标签的第二游戏图像、携带退化类型标签的退化后的第二游戏图像、增强后的第二游戏图像、携带主观评分标签的第一自然图像、第二自然图像以及增强后的第二自然图像。这种情况下，在迁移学习过程中，主要包括三个任务，第一个任务是退化类型检测任务，可以用第一初始神经网络模型来学习，第二个任务是评分检测任务，可以用第二初始神经网络模型来学习，第三个任务是游戏图像增强任务，可以用目标初始神经网络模型来学习。由于第一初始神经网络模型、第二初始神经网络模型以及目标初始神经网络模型所用来预训练或者组合联合训练的数据集既有交集又不完全相同，因此本技术实施例可以通过共享参数，并在训练各个任务对应的初始神经网络模型时去同步更新以学习(迁移)到不同数据域中的信息，来增加各个任务对应的神经网络模型的泛化能力。可以理解的是，除了共享参数之外，三个模型还分别具有各自特有的参数，即第一神经网络模型还包括第一参数，第二神经网络模型还包括第二参数，目标神经网络模型还包括第三参数。
201.其中，本技术实施例的第一神经网络模型、第二神经网络模型以及目标神经网络模型三者之间共享参数可以有不同的方式。
202.作为一种实施方式，本技术实施例中的第一神经网络模型、第二神经网络模型以及目标神经网络模型可以是三个单独的模型，只不过在训练过程中进行参数共享。
203.作为另一种实施方式，本技术实施例中的第一神经网络模型、第二神经网络模型以及目标神经网络模型也可以是多任务学习模型中的三个子模型，三个子模型通过网络共享层进行参数共享。
204.下面主要以第一神经网络模型、第二神经网络模型以及目标神经网络模型也是多任务学习模型中的三个子模型，并通过网络共享层进行参数共享的形式来介绍三个模型的训练过程，如图13所示，训练过程包括步骤s601-s604。
205.其中，训练过程s601-s604可以应用于服务器(例如图1中的云游戏服务器)，或者区别于云游戏服务器的其他专用于训练神经网络模型的服务器(图1中未示出)，服务器在训练得到目标神经网络模型之后，可以将目标神经网络模型发送到客户端进行部署，还可以应用于客户端(例如图1中的游戏客户端)，客户端在训练得到目标神经网络模型，便能够在自身进行部署，下面对各步骤分别进行说明：
206.s601，获取由多张携带退化类型标签的退化后的第一游戏图像组成的第一样本数据集合，由多张携带主观评分标签的第二游戏图像、多张携带退化类型标签的退化后的第二游戏图像和多张增强后的第二游戏图像组成的第二样本数据集合，由多张携带主观评分标签的第一自然图像组成的第三样本数据集合，以及由多张第二自然图像和多张增强后的第二自然图像组成的第四样本数据集合。
207.s602，利用第一样本数据集合、第二样本数据集合以及第三样本数据集合，对第一初始神经网络模型以及第二初始神经网络模型进行迁移学习，得到优化后的第二中间神经网络模型，优化后的第二中间神经网络模型包括共享参数。
208.本技术实施例中，通过利用第一样本数据集合、第二样本数据集合以及第三样本
数据集合，对第一初始神经网络以及第二初始神经网络进行迁移学习，可以共享/迁移不同数据域之间的信息，即通过退化类型检测任务来辅助评分检测任务，可以使得第二中间神经网络模型在携带主观评分标签的第二游戏图像不足的情况下也能够获得较好的泛化能力。
209.此外，本技术实施例中，除了可以得到优化后的第二中间神经网络模型之外，还可以得到优化后的第二中间神经网络模型，优化后的第一中间神经网络模型通过网络共享层共享相同的共享参数。
210.s603，通过共享参数将知识迁移到初始目标神经网络模型，得到知识迁移后的初始目标神经网络模型。
211.本实施例中，在得到共享参数之后，可以通过共享参数将知识迁移到初始目标神经网络模型，从而得到知识迁移后的初始目标神经网络模型。同样地，该过程通过网络共享层自动实现。
212.由于共享参数将知识迁移到初始目标神经网络模型，使得知识迁移后的初始目标神经网络模型可以从不同类型数据中学习到的信息(特征表达等)得到一定程度的共享/迁移，使得目标神经网络模型也具有更好的泛化性能。
213.s604，利用第二样本数据集合以及第四样本数据集合，对知识迁移后的初始目标神经网络模型以及优化后的第二中间神经网络模型进行迁移学习，得到目标神经网络模型。
214.本技术实施例中，考虑到优化后的第二中间神经网络模型已经能对游戏图像进行较好的评分检测，因此，在知识迁移后的初始目标神经网络模型中考虑将优化后的第二中间神经网络模型的部分作为损失函数的一部分，用评分检测任务去辅助图像增强任务，使得最终得到的目标神经网络模型可以获得更好的增强效果。
215.此外，本技术实施例中，除了可以得到目标神经网络模型之外，还可以得到第一神经网络模型以及第二神经网络模型，第一神经网络模型、第二神经网络模型以及目标神经网络模型通过网络共享层共享相同的共享参数。
216.在本技术实施例中，如图14所示，步骤s602可以通过步骤s6021-s6023，也就是说，利用第一样本数据集合、第二样本数据集合以及第三样本数据集合，对第一初始神经网络模型以及第二初始神经网络模型进行迁移学习，得到优化后的第二中间神经网络模型，包括步骤s6021-s6023，下面对各步骤分别进行说明。
217.s6021，利用第一样本数据集合，对第一初始神经网络模型进行训练，得到第一中间神经网络模型。
218.其中，第一中间神经网络模型包括共享参数以及第一参数。
219.第一初始神经网络模型是用于退化类型检测的神经网络模型，可以用于对第一数据集合中的第一样本数据进行退化类型分类，以预测出第一样本数据对应的退化类型，以及各退化类型对应的概率，其中，各退化类型对应的概率之和为1。
220.在预测得到第一样本数据对应的退化类型，以及各退化类型对应的概率之后，便可以结合第一样本数据对应的退化类型标签，构建损失函数。作为一种实施方式，损失函数可以为经验交叉熵损失函数，具体表示为以下公式：
[0221][0222]
其中，x
1(k)
表示第一样本数据集中第k个第一样本数据，表示第一样本数据集中第k个第一样本数据对应的退化类型标签，i表示第i个退化类型，j表示训练样本的个数，w表示当前训练阶段下网络共享层的共享参数，w1表示第一参数，p
1i(k)
表示预测得到第一样本数据对应的退化类型，以及各退化类型对应的概率。
[0223]
通过上述过程，可以对第一初始神经网络模型进行预训练，得到第一中间神经网络模型。
[0224]
s6022，利用共享参数对第二初始神经网络模型进行更新，并利用第三样本数据集合，对更新后的第二初始神经网络模型进行训练，得到第二中间神经网络模型。
[0225]
其中，第二中间神经网络模型包括第一次更新后的共享参数以及第二参数。
[0226]
第一神经网络模型与第二神经网络模型通过网络共享层共享参数，因此，在得到共享参数之后，可以用共享参数对第二初始神经网络模型进行更新，即第二初始神经网络模型使用网络共享层的参数。
[0227]
结合前述内容可知，在通常情况下，携带图像质量评分标签的第一自然图像和携带美学维度评分标签的第一自然图像相较于携带人类视觉审美偏好评分标签的样本游戏图像更容易获得，例如，携带图像质量评分的第一自然图像直接通过已有的自然图像质量评估数据库tid2013获得，携带美学维度评分标签的第一自然图像直接通过图像美学评价数据集ava获得。因此，在一些情况下，第三样本数据集合可以包括，携带图像质量评分的第一自然图像和携带美学维度评分标签的第一自然图像。
[0228]
第二初始神经网络模型是用于评分检测的神经网络模型，从而基于上述的第三样本数据集，可以用第二初始神经网络模型对第三数据集合中的第三样本数据进行美学维度的评分检测，以预测出第三样本数据在各个美学维度下对应的评分，然后再对各个美学维度下对应的评分相加取均值，以预测得到第三样本数据对应的目标评分。
[0229]
在预测得到第三样本数据对应的目标评分之后，便可以结合第三样本数据对应的主观评分标签，构建损失函数。作为一种实施方式，损失函数可以表示为以下公式：
[0230][0231]
其中，表示预测出第三样本数据对应的目标评分，具体为对向量中所有元素相加取均值得到，向量表示第三样本数据对应的各个退化类型对应分数，具体可以先通过第二初始神经网络模型预测得到第三样本数据对应的各个美学维度下的评分然后再结合第二初始神经网络全连接层提供的权重矩阵得到各个退化类型对应分数，x
3(k)
表示第三样本数据集中第k个第三样本数据，q
(k)
表示第三样本数据集中第k个第三样本数据对应的主观评分标签，具体为图像质量评分标签或者美学维度评分标签的加权求和，w2表示第二参数。
[0232]
s6023，利用第一次更新后的共享参数对第一中间神经网络模型进行第一次更新，并利用第二样本数据集合，对第一次更新后的第一中间神经网络模型以及第二中间神经网
络模型进行联合训练，得到优化后的第二中间神经网络模型。
[0233]
其中，优化后的第二中间神经网络模型包括第二次更新后的共享参数以及第一次更新后的第二参数。
[0234]
进一步地，在得到第一次更新后的共享参数之后，可以用第一次更新后的共享参数对第一中间神经网络模型进行更新，即第一中间神经网络模型使用网络共享层的第一次更新后的共享参数。
[0235]
由于第三样本数据集合的规模不算大，导致第二中间神经网络模型经过预训练后可能会有过拟合等问题，同时考虑到需要针对游戏图像的评分检测，本技术实施例采用多任务的框架，用退化类型检测任务(即第一次更新后的第一中间神经网络模型)来辅助评分检测任务(即第二中间神经网络模型)，在小规模的第二样本数据集合上对第一次更新后的第一中间神经网络模型以及第二中间神经网络模型(包括第二中间神经网络模型的全连接层)进行联合训练和权重微调。作为一种实施方式，该过程中损失函数可以表示为以下公式：
[0236][0237]
其中，x
2(k)
表示第二样本数据集中第k个未增强第二样本数据，q
2(k)
表示第二样本数据集中第k个第二样本数据对应的主观评分标签，表示第二样本数据集合中第k个第二样本数据携带的各个美学维度的评分标签，表示第二样本数据对应的目标评分，具体为第二样本数据对应的各个退化类型的概率p
2(k)
与第二样本数据对应的各个退化类型对应分数的加权求和，其中，第二样本数据对应的各个退化类型的概率p
2(k)
可以通过第一中间神经网络模型预测得到，第二样本数据对应的各个退化类型对应分数可以先通过第二中间神经网络模型预测得到第二样本数据对应的各个美学维度下的评分，然后再结合第二中间神经网络全连接层提供的权重矩阵得到各个退化类型对应分数，表示第二样本数据对应的第m个美学维度的评分标签，表示第二样本数据对应的第m个美学维度的预测评分，β1和β2为大于零的权衡各项的超参数。
[0238]
在本技术实施例中，步骤s603，通过共享参数将知识迁移到初始目标神经网络模型，得到知识迁移后的初始目标神经网络模型，包括：利用第二次更新后的共享参数对目标初始神经网络模型进行更新，得到知识迁移后的初始目标神经网络模型。
[0239]
进一步地，在得到第二次更新后的共享参数之后，可以用第二次更新后的共享参数对第一中间神经网络模型进行更新，即知识迁移后的初始目标神经网络模型使用网络共享层的第二次更新后的共享参数。
[0240]
在本技术实施例中，如图15所示，步骤s604可以通过s6041-s6042，也就是说，利用第一样本数据集合、第二样本数据集合以及第三样本数据集合，对第一初始神经网络模型以及第二初始神经网络模型进行迁移学习，得到优化后的第二中间神经网络模型，包括s6041-s6042，下面对各步骤分别进行说明。
[0241]
s6041，利用第四样本数据集合，对知识迁移后的初始目标神经网络模型进行训练，得到目标中间神经网络模型。
[0242]
其中，目标中间神经网络模型包括第三次更新后的共享参数以及第三参数。
[0243]
目标初始神经网络模型是用于图像增强的神经网络模型，可以用于对第四数据集合中的第四样本数据，即第二自然图像进行图像增加处理，以输出增强结果，即预测的增强后第二自然图像。
[0244]
在得到预测的增强后第二自然图像之后，便可以结合第四样本数据集合中的增强后的第二自然图像，构建损失函数。作为一种实施方式，损失函数可以表示为以下公式：
[0245][0246]
其中，为衡量预测的增强后第二自然图像与增强后的第二自然图像之间相似度的保真项，具体可以根据预测的增强后第二自然图像以及增强后的第二自然图像得到，w3表示第三参数。
[0247]
通过上述过程，可以对知识迁移后的初始目标神经网络模型进行训练，得到目标中间神经网络模型。
[0248]
s6042，利用第三次更新后的共享参数对优化后的第二中间神经网络模型进行更新，并利用第二样本数据集合，对更新后的优化后的第二中间神经网络模型以及目标中间神经网络模型进行联合训练，得到目标神经网络模型。
[0249]
其中，目标神经网络模型包括第四次更新后共享参数以及第一次更新后的第三参数。
[0250]
进一步地，在得到第三次更新后的共享参数之后，可以用第三次更新后的共享参数对优化后的第二中间神经网络模型进行更新，即优化后的第二中间神经网络模型使用网络共享层的第三次更新后的共享参数。
[0251]
进一步地，再在小规模的第二样本数据集合上对更新后的优化后的第二中间神经网络模型(包括第二中间神经网络模型的全连接层)以及目标中间神经网络模型进行联合训练。作为一种实施方式，该过程中损失函数可以表示为以下公式：
[0252][0253]
其中，x
2(k)
表示第二样本数据集中第k个未增强第二样本数据，即第k个未增强的第二游戏图像，表示第二样本数据集中与第k个未增强第二样本数据对应的增强后的第二游戏图像，为衡量预测的增强后第二游戏图像与增强后的第二游戏图像之间相似度的保真项，具体可以根据预测的增强后第二游戏图像以及增强后的第二游戏图像得到，为更新后的优化后的第二中间神经网络模型输出的预测目标评分，β3为大于零的权重参数。
[0254]
然后通过最小化以下损失得到所需参数组即：
[0255]
[0256]
在得到上述参数组w以及w3之后，便能够基于参数组w以及w3得到目标神经网络模型。
[0257]
不同于传统的用定义好的损失函数(比如l2-norm)去训练网络，考虑到优化后的第二中间神经网络模型已经能对游戏图像较好进行基于人类视觉美感的评分，本技术实施例在目标中间神经网络模型中考虑将优化后的第二中间神经网络模型对应的网络部分作为损失函数的一部分，用优化后的第二中间神经网络模型去辅助目标中间神经网络模型，可以得到更好的增强结果。
[0258]
此外，结合共享参数w以及前述得到的第一次更新后的第二参数，便能够得到第二神经网络模型，可以理解的是，第二神经网络模型的全连接层是在训练过程中一同更新的，因此，第一次更新后的第二参数中包括有全连接层的目标权重矩阵，此外，结合共享参数w以及前述得到的第一参数，便能够得到第一神经网络模型。至此，便完成了对第一样本数据集合、第二样本数据集合、第三样本数据集合以及第四样本数据集合进行迁移学习的过程，得到了第一神经网络模型、第二神经网络模型以及目标神经网络模型。
[0259]
在一些实施方式中，在获取到第一样本数据集合、第二样本数据集合、第三样本数据集合以及第四样本数据集合之后，针对其中的每个样本数据集合，可以将分别划分第一比例的数据作为训练集，划分第二比例的数据作为验证集以及划分第三比例的数据作为测试集，其中，第一比例、第二比例以及第三比例之和为1。示例性地，第一比例可以是60％，第二比例可以是20％，第三比例可以是20％。
[0260]
本实施中，通过对第一样本数据集合、第二样本数据集合、第三样本数据集合以及第四样本数据集合进行迁移学习的方式，得到目标神经网络模型、第一神经网络模型以及第二神经网络模型，可以将从易于获得的样本数据中学习到的知识迁移到较难获得的样本数据中，从而简化样本数据的获取难度，降低对游戏客户端接收的目标游戏图像进行增强的成本。
[0261]
下面，将说明本技术实施例在一个实际的应用场景中的示例性应用。
[0262]
参见图16，图16是本技术实施例提供的一种示例性的图像处理流程示意图；如图16所示，在云游戏场景中，包括云游戏服务器以及游戏客户端，游戏客户端内部署有多任务神经网络模型，多任务神经网络模型包括第一神经网络模型、第二神经网络模型以及目标神经网络模型，第一神经网络模型、第二神经网络模型以及目标神经网络模型通过网络共享层共享参数。
[0263]
在游戏客户端通过网络与云游戏服务器建立连接之后，云游戏服务器可以获取与游戏客户端对应的图像渲染策略，并根据该图像渲染策略对游戏数据进行渲染，得到渲染后的游戏数据，接着，云游戏服务器再调用编码模块按照视频编码标准对渲染后的游戏画面进行图像压缩编码操作，并通过网络将压缩编码得到的编码数据(即压缩图像)发送到游戏客户端。
[0264]
游戏客户端可以通过网络接收云游戏服务器发送的编码数据，然后调用解码模块对该编码数据执行解码操作以还原出游戏图像，至此，游戏客户端便接收到目标游戏图像。
[0265]
游戏客户端在接收到目标游戏图像之后，先将目标游戏图像输入到多任务神经网络模型，在多任务神经网络模型中，先利用第一神经网络模型对目标游戏图像进行退化类型检测，得到目标游戏图像对应的预测退化类型，以及各个预测退化类型对应的概率p，接
着，游戏客户端确定概率大于目标概率阈值的预测退化类型为目标退化类型，然后调用与目标退化类型对应的图像恢复算法，对目标游戏图像进行图像恢复处理，得到恢复后的目标游戏图像。
[0266]
接着，游戏客户端再通过多任务神经模型中的目标神经网络模型对恢复后的目标游戏图像进行图像增强处理，得到目标网络模型输出的增强后的目标游戏图像
[0267]
接着，游戏客户端对增强后的目标游戏图像进行显示，从而使得游戏客户端的用户能够看到更加符合人类视觉审美偏好的游戏图像，提高用户体验。
[0268]
此外，游戏客户端还可以通过多任务神经模型中的第二神经网络模型，对目标游戏图像进行评分检测，从而得到目标游戏图像对应的目标评分。具体地，在评分检测过程中，第二神经网络先对目标游戏图像进行美学维度的评分检测，得到目标游戏图像在各个美学维度下对应的评分s，然后在通过目标神经网络的全连接层的目标权重矩阵对目标游戏图像在各个美学维度下对应的评分进行处理，得到目标游戏图像对应的各个退化类型对应的分数接着目标神经网络模型再对目标游戏图像在各个美学维度下对应的评分s以及目标游戏图像对应的各个退化类型对应的分数进行加权求和，得到目标游戏图像对应的目标评分。
[0269]
然后，将目标评分通过网络反馈到云游戏服务器。
[0270]
云游戏服务器在接收到目标评分之后，能够根据目标评分是否高于预设的评分阈值，对针对游戏客户端的目标图像渲染策略进行更新调整，并采用更新调整后的目标图像渲染策略对游戏数据进行渲染，得到渲染后的游戏图像，并返回上述调用编码模块按照视频编码标准对渲染后的游戏画面进行图像压缩编码操作，并通过网络将压缩编码得到的编码数据(即压缩图像)发送到游戏客户端的步骤。
[0271]
在一些实施方式中，游戏客户端在获得目标游戏图像之后，可以根据渲染部件对目标游戏图像进行拆解，得到各个图像区域，相应地，游戏客户端在调用第二神经网络模型对目标游戏图像进行评分检测的时候，可以是对目标游戏图像包括的各个图像区域分别进行评分检测，得到各个图像区域分别对应的目标评分，相应地，游戏客户端在将目标评分发送到云游戏服务器的时候，则是将各个图像区域分别对应的目标评分发送到云游戏服务器，如此，云游戏服务器能够根据各个图像区域对应的目标评分，准确确定各个渲染部件对应的目标游戏渲染策略，从而进一步提高后续目标游戏图像在游戏客户端被增强后显示的效果，进一步提升用户体验质量。
[0272]
需要说明的是，本技术提供以上一些具体可实施方式的示例，在互不抵触的前提下，各个实施例示例之间可任意组合，以形成新一种图像处理方法。应当理解的，对于由任意示例所组合形成的新一种图像处理方法，均应落入本技术的保护范围。
[0273]
另外需要说明的是，在有些作为替换的实现方式中，本发明实施例中部分流程的执行顺序也可以以不同于前述具体实施例中所记载的执行顺序进行执行。例如，两个连续的流程实际上可以并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
[0274]
请参阅图17，图17示出了本技术一实施例提出的一种图像处理装置700的框图，该装置700可以应用于客户端(例如图1中的游戏客户端)，该装置700包括：获取模块710、提取
模块720、目标事件类型确定模块730以及目标风险值计算模块740。
[0275]
获取模块710，目标游戏图像接收模块，用于接收目标游戏图像；
[0276]
目标游戏图像增强模块720，用于通过目标神经网络模型对目标游戏图像进行增强处理，目标神经网络模型通过对共享参数以及目标特有参数进行优化后得到，共享参数基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，目标特有参数基于目标神经网络模型对应的样本数据进行优化。
[0277]
增强后的目标游戏图像获取模块730，用于获取目标网络模型输出的增强后的目标游戏图像。
[0278]
显示模块740，用于显示增强后的目标游戏图像。
[0279]
作为一种实施方式，装置700还包括退化检测模块以及恢复模块。
[0280]
退化检测模块，用于对目标游戏图像进行退化检测，得到退化检测结果。
[0281]
恢复模块，用于调用与退化检测结果对应的图像恢复算法，对目标游戏图像进行图像恢复处理，得到恢复后的目标游戏图像。
[0282]
目标游戏图像增强模块720还用于通过目标神经网络模型对恢复后的目标游戏图像进行增强处理。
[0283]
作为一种实施方式，退化检测结果包括预测退化类型以及预测退化类型对应的概率，相应地，恢复模块，还用于确定概率大于目标概率阈值的预测退化类型为目标退化类型；调用与目标退化类型对应的图像恢复算法，对目标游戏图像进行图像恢复处理，得到恢复后的目标游戏图像。
[0284]
作为一种实施方式，目标神经网络模型包括注意力子网络以及增强子网络，相应地，目标游戏图像增强模块720还用于利用注意力权重矩阵，通过注意力子网络，确定目标游戏图像中各个图像区域对应的增强程度；基于目标游戏图像中各个图像区域对应的增强程度以及增强子网络，对目标游戏图像进行增强处理；相应地，增强后的目标游戏图像获取模块730，还用于获取增强子网络输出的增强后的目标游戏图像。
[0285]
作为一种实施方式，装置700还包括评分检测模块以及目标评分发送模块。
[0286]
评分检测模块，用于对目标游戏图像进行评分检测，得到目标游戏图像对应的目标评分。
[0287]
目标评分发送模块，用于将目标评分发送至云游戏服务器，以使云游戏服务器根据目标评分，确定针对游戏数据的目标图像渲染策略。
[0288]
作为一种实施方式，评分检测模块，还用于对目标游戏图像进行美学维度的评分检测，得到目标游戏图像在各个美学维度下对应的评分；基于目标游戏图像在各个美学维度下对应的评分以及目标权重矩阵，得到目标游戏图像对应的目标评分。
[0289]
作为一种实施方式，装置700还包括：样本数据集获取模块、第一迁移模块、第二迁移模块以及第三迁移模块。
[0290]
样本数据集获取模块，用于获取由多张携带退化类型标签的退化后的第一游戏图像组成的第一样本数据集合，由多张携带主观评分标签的第二游戏图像、多张携带退化类型标签的退化后的第二游戏图像和多张增强后的第二游戏图像组成的第二样本数据集合，由多张携带主观评分标签的第一自然图像组成的第三样本数据集合，以及由多张第二自然
图像和多张增强后的第二自然图像组成的第四样本数据集合。
[0291]
第一迁移模块，用于利用第一样本数据集合、第二样本数据集合以及第三样本数据集合，对第一初始神经网络模型以及第二初始神经网络模型进行迁移学习，得到优化后的第二中间神经网络模型，优化后的第二中间神经网络模型包括共享参数。
[0292]
第二迁移模块，用于通过共享参数将知识迁移到初始目标神经网络模型，得到知识迁移后的初始目标神经网络模型。
[0293]
第三迁移模块，用于利用第二样本数据集合以及第四样本数据集合，对知识迁移后的初始目标神经网络模型以及优化后的第二中间神经网络模型进行迁移学习，得到目标神经网络模型。
[0294]
作为一种实施方式，装置还包括第一训练模块、第二训练模块、第三训练模块、参数更新模块、第四训练模块以及第五训练模块。
[0295]
第一训练模块，用于利用第一样本数据集合，对第一初始神经网络模型进行训练，得到第一中间神经网络模型，第一中间神经网络模型包括共享参数以及第一参数。
[0296]
第二训练模块，用于利用共享参数对第二初始神经网络模型进行更新，并利用第三样本数据集合，对更新后的第二初始神经网络模型进行训练，得到第二中间神经网络模型，第二中间神经网络模型包括第一次更新后的共享参数以及第二参数。
[0297]
第三训练模块，用于利用第一次更新后的共享参数对第一中间神经网络模型进行第一次更新，并利用第二样本数据集合，对第一次更新后的第一中间神经网络模型以及第二中间神经网络模型进行联合训练，得到优化后的第二中间神经网络模型，优化后的第二中间神经网络模型包括第二次更新后的共享参数以及第一次更新后的第二参数。
[0298]
参数更新模块，用于利用第二次更新后的共享参数对目标初始神经网络模型进行更新，得到知识迁移后的初始目标神经网络模型。
[0299]
第四训练模块，用于利用第四样本数据集合，对知识迁移后的初始目标神经网络模型进行训练，得到目标中间神经网络模型，目标中间神经网络模型包括第三次更新后的共享参数以及第三参数。
[0300]
第五训练模块，用于利用第三次更新后的共享参数对优化后的第二中间神经网络模型进行更新，并利用第二样本数据集合，对更新后的优化后的第二中间神经网络模型以及目标中间神经网络模型进行联合训练，得到目标神经网络模型，目标神经网络模型包括第四次更新后共享参数以及第一次更新后的第三参数。
[0301]
作为一种实施方式，携带主观评分标签的第一自然图像包括携带图像质量评分的第一自然图像、携带图像整体美学评分的第一自然图像或者携带多维度美学评分标签的第一自然图像中的至少一者。
[0302]
本技术实施例提供的图像处理装置，能够通过目标神经网络模型直接对游戏图像进行增强并显示，由于是直接对图像进行增强，因此，使得增强后的目标游戏图像能够提升用户对于显示的游戏画面的主观视觉感受，使得增强后的目标游戏图像更加符合人类视觉审美偏好，进而提升游戏图像在显示时的显示效果、提升云游戏场景下的用户体验质量，且由于目标神经网络模型是通过对共享参数以及目标特有参数进行优化后得到的，以及共享参数基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，目标特有参数基于目标神经网络模型对应的样本数据进
行优化，因此，目标神经网络能够学习得到不同数据域中的信息，提高目标神经网络模型的泛化能力，同时，还能够降低样本数据的获取难度。
[0303]
请参阅图18，图18示出了本技术一实施例提出的一种图像处理装置800的框图，该装置800可以应用于客户端(例如图1中的游戏客户端)，该装置800包括：目标图像渲染策略获取模块810、渲染模块820以及游戏图像发送模块830、目标评分接收模块840以及目标图像渲染策略更新模块850。
[0304]
目标图像渲染策略获取模块810，用于获取与目标客户端对应的目标图像渲染策略。
[0305]
渲染模块820，用于利用目标图像渲染策略，对游戏数据进行渲染处理，生成渲染后的游戏图像。
[0306]
游戏图像发送模块830，用于将渲染后的游戏图像发送到目标客户端，以使目标客户端获得与渲染后的游戏图像对应的目标游戏图像，并通过目标神经网络模型得到与目标游戏图像对应的增强后的目标游戏图像，目标神经网络模型通过对共享参数以及目标特有参数进行优化后得到，共享参数基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，目标特有参数基于目标神经网络模型对应的样本数据进行优化。
[0307]
目标评分接收模块840，用于接收目标客户端发送的目标评分，其中，目标评分是目标客户端对目标游戏图像进行评分检测得到的。
[0308]
目标图像渲染策略更新模块850，用于根据目标评分，对目标图像渲染策略进行更新。
[0309]
作为一种实施方式，装置800还包括：检测模块、第一目标图像渲染策略确定模块以及第二目标图像渲染策略确定模块。
[0310]
检测模块，用于在与目标客户端建立连接的情况下，检测是否存在与目标客户端对应的历史图像渲染策略。
[0311]
第一目标图像渲染策略确定模块用于若存在历史图像渲染策略，将历史图像渲染策略作为目标图像渲染策略。
[0312]
第二目标图像渲染策略确定模块用于若不存在历史图像渲染策略，选择初始图像渲染策略作为目标图像渲染策略。
[0313]
作为一种实施方式，装置800还包括：样本数据集获取模块、第一迁移模块、第二迁移模块以及第三迁移模块。
[0314]
样本数据集获取模块，用于获取由多张携带退化类型标签的退化后的第一游戏图像组成的第一样本数据集合，由多张携带主观评分标签的第二游戏图像、多张携带退化类型标签的退化后的第二游戏图像和多张增强后的第二游戏图像组成的第二样本数据集合，由多张携带主观评分标签的第一自然图像组成的第三样本数据集合，以及由多张第二自然图像和多张增强后的第二自然图像组成的第四样本数据集合。
[0315]
第一迁移模块，用于利用第一样本数据集合、第二样本数据集合以及第三样本数据集合，对第一初始神经网络模型以及第二初始神经网络模型进行迁移学习，得到优化后的第二中间神经网络模型，优化后的第二中间神经网络模型包括共享参数。
[0316]
第二迁移模块，用于通过共享参数将知识迁移到初始目标神经网络模型，得到知
识迁移后的初始目标神经网络模型。
[0317]
第三迁移模块，用于利用第二样本数据集合以及第四样本数据集合，对知识迁移后的初始目标神经网络模型以及优化后的第二中间神经网络模型进行迁移学习，得到目标神经网络模型。
[0318]
作为一种实施方式，装置还包括。
[0319]
第一训练模块，用于利用第一样本数据集合，对第一初始神经网络模型进行训练，得到第一中间神经网络模型，第一中间神经网络模型包括共享参数以及第一参数。
[0320]
第二训练模块，用于利用共享参数对第二初始神经网络模型进行更新，并利用第三样本数据集合，对更新后的第二初始神经网络模型进行训练，得到第二中间神经网络模型，第二中间神经网络模型包括第一次更新后的共享参数以及第二参数。
[0321]
第三训练模块，用于利用第一次更新后的共享参数对第一中间神经网络模型进行第一次更新，并利用第二样本数据集合，对第一次更新后的第一中间神经网络模型以及第二中间神经网络模型进行联合训练，得到优化后的第二中间神经网络模型，优化后的第二中间神经网络模型包括第二次更新后的共享参数以及第一次更新后的第二参数。
[0322]
参数更新模块，用于利用第二次更新后的共享参数对目标初始神经网络模型进行更新，得到知识迁移后的初始目标神经网络模型。
[0323]
第四训练模块，用于利用第四样本数据集合，对知识迁移后的初始目标神经网络模型进行训练，得到目标中间神经网络模型，目标中间神经网络模型包括第三次更新后的共享参数以及第三参数。
[0324]
第五训练模块，用于利用第三次更新后的共享参数对优化后的第二中间神经网络模型进行更新，并利用第二样本数据集合，对更新后的优化后的第二中间神经网络模型以及目标中间神经网络模型进行联合训练，得到目标神经网络模型，目标神经网络模型包括第四次更新后共享参数以及第一次更新后的第三参数。
[0325]
作为一种实施方式，携带主观评分标签的第一自然图像包括携带图像质量评分的第一自然图像、携带图像整体美学评分的第一自然图像或者携带多维度美学评分标签的第一自然图像中的至少一者。
[0326]
本技术实施例提供的图像处理装置，能够通过目标神经网络模型直接对游戏图像进行增强并显示，由于是直接对图像进行增强，因此，使得增强后的目标游戏图像能够提升用户对于显示的游戏画面的主观视觉感受，使得增强后的目标游戏图像更加符合人类视觉审美偏好，进而提升游戏图像在显示时的显示效果、提升云游戏场景下的用户体验质量，且由于目标神经网络模型是通过对共享参数以及目标特有参数进行优化后得到的，以及共享参数基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，目标特有参数基于目标神经网络模型对应的样本数据进行优化，因此，目标神经网络能够学习得到不同数据域中的信息，提高目标神经网络模型的泛化能力，同时，还能够降低样本数据的获取难度。
[0327]
需要说明的是，本技术中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。
[0328]
下面将结合图19对本技术提供的一种电子设备进行说明。
[0329]
请参阅图19，基于上述的图像处理方法，本技术实施例还提供的另一种包括可以
执行前述方法的处理器102的电子设备100，该电子设备100可以为服务器或终端设备，终端设备可以是智能手机、平板电脑、计算机或者便携式计算机等设备。
[0330]
电子设备100还包括存储器104。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序。
[0331]
其中，处理器102可以包括一个或者多个用于处理数据的核以及消息矩阵单元。处理器102利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器102可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。
[0332]
存储器104可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所获取的数据(如，待推荐数据以及操作方式)等。
[0333]
电子设备100还可以包括网络模块以及屏幕，网络模块用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。网络模块可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(sim)卡、存储器等等。网络模块可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。屏幕可以进行界面内容的显示以及进行数据交互。
[0334]
在一些实施例中，电子设备100还可以包括有：外设接口和至少一个外围设备。处理器102、存储器104和外设接口106之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外设接口连接。具体地，外围设备包括：射频组件108、定位组件112、摄像头114、音频组件116、显示屏118以及电源122等中的至少一种
[0335]
外设接口106可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器102和存储器104。在一些实施例中，处理器102、存储器104和外设接口106被集成在同一芯片或电路板上；在一些其他实施例中，处理器102、存储器104和外设接口106中的任意一个或两个可以在单独的芯片或电路板上实现，本技术实施例对此不加以限定。
[0336]
射频组件108用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频组件108通过电磁信号与通信网络以及其他通信设备进行通信。射频组件108将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频组件108包
括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频组件108可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频组件108还可以包括nfc(near field communication，近距离无线通信)有关的电路，本技术对此不加以限定。
[0337]
定位组件112用于定位电子设备的当前地理位置，以实现导航或lbs(locationbased service，基于位置的服务)。定位组件112可以是基于美国的gps(globalpositioning system，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
[0338]
摄像头114用于采集图像或视频。可选地，摄像头114包括前置摄像头和后置摄像头。通常，前置摄像头设置在电子设备100的前面板，后置摄像头设置在电子设备100的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头114还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
[0339]
音频组件116可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器102进行处理，或者输入至射频组件108以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器102或射频组件108的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频组件114还可以包括耳机插孔。
[0340]
显示屏118用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏118是触摸显示屏时，显示屏118还具有采集在显示屏118的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器102进行处理。此时，显示屏118还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏118可以为一个，设置电子设备100的前面板；在另一些实施例中，显示屏118可以为至少两个，分别设置在电子设备100的不同表面或呈折叠设计；在又一些实施例中，显示屏118可以是柔性显示屏，设置在电子设备100的弯曲表面上或折叠面上。甚至，显示屏118还可以设置成非矩形的不规则图形，也即异形屏。显示屏118可以采用lcd(liquid crystal display，液晶显示屏)、oled(organic light-emitting diode，机发光二极管)等材质制备。
[0341]
电源122用于为电子设备100中的各个组件进行供电。电源122可以是交流电、直流电、一次性电池或可充电电池。当电源122包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过
无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
[0342]
本技术实施例还提供一种计算机可读存储介质。该计算机可读介质中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。
[0343]
计算机可读存储介质可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质具有执行上述方法中的任何方法步骤的程序代码的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码可以例如以适当形式进行压缩。
[0344]
本技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中描述的方法。
[0345]
综上，本技术实施例提供的一种图像处理方法、装置、电子设备、存储介质及计算机程序产品或计算机程序，本技术提供的一种图像处理方法，能够在客户端通过目标神经网络模型直接对游戏图像进行增强并显示，由于是直接对图像进行增强，因此，使得增强后的目标游戏图像能够提升用户对于显示的游戏画面的主观视觉感受，使得增强后的目标游戏图像更加符合人类视觉审美偏好，进而提升游戏图像在显示时的显示效果、提升云游戏场景下的用户体验质量，且由于目标神经网络模型是通过对共享参数以及目标特有参数进行优化后得到的，以及共享参数基于目标神经网络模型对应的样本数据、以及与目标神经网络模型关联的神经网络模型对应的样本数据进行联合优化，目标特有参数基于目标神经网络模型对应的样本数据进行优化，因此，目标神经网络能够学习得到不同数据域中的信息，提高目标神经网络模型的泛化能力，同时，还能够降低样本数据的获取难度。
[0346]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。