图像处理方法、图像处理系统及电子设备与流程

1.本技术涉及计算机技术领域，尤其涉及一种图像处理方法、图像处理系统及电子设备。


背景技术：

2.目前，很多游戏应用、电商应用或社交应用中有提供一项功能，用户可通过该功能生成一个卡通风格的虚拟形象图。这个虚拟形象图可以像自己，也可以像其他人。这种功能在行业内可称为“捏脸”，泛指对虚拟角色样貌进行自定义数据操作的行为。
3.基于真人照片捏脸的技术作为一种低门槛的虚拟形象创作技术正在产业界得到越来越多的关注和研究。当前基于真人照片进行捏脸的方案，大多存在虚拟形象效果不佳的问题。


技术实现要素：

4.本技术提供一种解决上述问题或至少部分地解决上述问题的图像处理方法、第一图像合成模型的确定方法、系统及设备。
5.在本技术的一个实施例中，提供了一种图像处理方法。该图像处理方法，包括：
6.获取用户图像；确定与所述用户图像适配的虚拟形象对应的第一虚拟形象参数；提取所述用户图像的特征信息；结合所述特征信息，优化所述第一虚拟形象参数；根据优化后的所述第一虚拟形象参数，生成第一虚拟形象图。
7.在本技术的另一个实施例中，提供了一种图像处理方法。该图像处理方法，包括：
8.响应于用户触发的输入操作，获取用户图像；确定所述用户图像对应的捏脸参数；提取所述用户图像的特征信息；结合所述特征信息，优化所述捏脸参数；调用图像生成引擎，使得所述图像生成引擎按照优化后的所述捏脸参数生成虚拟形象图；显示所述虚拟形象图。
9.在本技术的又一个实施例中，还提供一种图像处理方法。该图像处理方法，包括：
10.获取第一图像；利用图像处理模型，确定将所述第一图像转换为目标风格图像对应的图像参数；提取所述第一图像的特征信息；结合所述第一图像的特征信息，优化所述图像参数；根据优化后的所述图像参数，生成目标风格的第二图像。
11.在本技术的一个实施例中，提供了一种图像处理系统。该图像处理系统包括：
12.客户端，用于响应于用户的操作，向服务端发送用户图像；
13.服务端，用于获取所述用户图像，确定与所述用户图像中人物形象适配的虚拟形象对应的第一虚拟形象参数；提取所述人物形象的特征信息；结合所述特征信息，优化所述第一虚拟形象参数；根据优化后的所述第一虚拟形象参数，生成第一虚拟形象图；
14.客户端，用于显示所述第一虚拟形象图。
15.在本技术的一实施例中，提供了一种电子设备。该电子设备包括处理器及存储器，其中，所述存储器，用于存储一条或多条计算机指令；所述处理器，与所述存储器耦合，用于
所述一条或多条计算机指令，以用于实现上述各方法实施例中的步骤。
16.在本技术的又一实施例中，还提供了一种计算机程序产品。该计算机程序产品包括计算机程序或指令，当所述计算机程序或指令被处理器执行时，致使所述处理器能够实现上述各方法实施例中的步骤。
17.本技术实施例提供的技术方案中，确定与用户图像适配虚拟形象对应的第一虚拟形象参数，并结合用户图像的特征信息对第一虚拟形象参数进行优化，以根据优化后的第一虚拟形象参数生成第一虚拟形象图。可见，本技术实施例提供的方案利用用户图像特征对参数进行优化，可提高虚拟形象图与用户图像的相似度；进一步的本技术实施例可利用一个图像处理模型(即端到端模型)来确定与用户图像适配虚拟形象对应的第一虚拟形象参数，可降低多步骤或多模型协同工作存在的训练目标不一致、误差累积大等问题的影响，性能好，复杂度低；例如在具体实施时可部署在客户端侧有助于提高虚拟形象图的生成效率。
附图说明
18.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要利用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1示出了客户端采用本技术实施例提供的图像处理方法实现的从用户图像生成虚拟形象图的示意图；
20.图2示出了本技术一实施例提供的图像处理系统的原理性示意图；
21.图3示出了本技术另一实施例提供的图像处理系统的原理性示意图；
22.图4示出了本技术一实施例提供的图像处理方法的流程示意图；
23.图5示出了本技术一实施例中提及循环生成对抗网络的原理性示意图；
24.图6示出了本技术另一实施例提供的图像处理方法的流程示意图；
25.图7示出了本技术又一实施例提供的图像处理方法的流程示意图；
26.图8示出了本技术一实施例提供的图像处理装置的结构示意图；
27.图9示出了本技术另一实施例提供的图像处理装置的结构示意图；
28.图10示出了本技术一实施例提供的电子设备的结构示意图。
具体实施方式
29.现有技术中，基于真人脸进行捏脸的技术主要分为二类：
30.第一类：基于模板匹配的方案
31.基于模板匹配的方案就是，利用人脸关键点和人脸语义提取真人照片的五官轮廓和颜色，然后进行模板匹配。该方法的优点是可解释性强；其缺点也很明显，这种模板匹配的方法，对人脸姿态不够鲁棒，容易错误匹配，容易受光照影响，而且对于捏脸参数中的连续参数识别不够准确，导致最终生成的虚拟形象图效果不好。
32.第二类：基于人脸重建的方案
33.通过人脸重建算法构建真人脸，该方法可以生成逼真度较高的人脸图像和对应贴
图，缺点在于不一定与虚拟形象风格适配，逼真度太高。该基于人脸重建的方案使用场景更倾向于逼真数字人构建。
34.为此本技术提出了如下实施例，以提供一种虚拟形象生成效果好的方案。为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。在本技术的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的模块、模型、设备等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。此外，下述的各实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
35.首先对本文中提及的一下术语进行简单的解释，以方便理解。
36.虚拟形象：指虚拟的角色形象，比如游戏角色、人物头像等。
37.捏脸：虚拟形象系统包含可编辑的系统，捏脸指通过对虚拟形象可编辑系统的参数和属性进行调整从而生成虚拟形象图的过程。
38.风格化(或风格迁移)：将一种风格变换到另一种风格的技术，比如图像领域将真人脸变成卡通风格。人脸风格化就是将人脸头像转换为特定的风格头像，比如素描肖像风格、卡通形象风格、油画风格等等。
39.本技术实施例提供的技术方案可适用于游戏类应用、电商类应用、社交类应用等等各类应用中。比如在游戏类应用中，游戏类应用为用户提供了采用本技术实施例的方案实现的功能，用户使用该功能便可利用自己的照片生成游戏场景中的游戏角色图。又比如，社交类应用中，社交类应用为用户提供了采用本技术实施例的方案实现的功能，用户使用该功能便可利用自己的照片生成卡通头像、表情包、社交角色等等。
40.如图1所示的场景，用户可通过客户端(如智能手机、台式计算机、平板电脑等)触控该功能对应的控件，客户端启动摄像头拍摄用户照片，随后根据拍摄到的用户照片采用本技术各实施例提供的方案生成虚拟形象图并进行展示。因为该虚拟形象图基于的虚拟形象参数结合了用户照片的特征信息，所以具有与用户照片较高的相似度，虚拟形象图具有较好的效果。
41.除了基于用户图像生成适配的虚拟形象图外，本技术实施例提供的技术方案还适用于其他类图像的风格转换，比如基于建筑照片生成动画风格建筑图，基于动物照片生成动画风格动物图。除动画、卡通风格外，还可以包含有油画风格、素描风格等等，本实施了对此不作限定。
42.本技术实施例提供的技术方案可基于图2所示的系统实现。具体的，如图2所示，所述图像处理系统包括客户端11和服务端12。其中，所述客户端11用于获取用户图像；确定与所述用户图像适配的虚拟形象对应的第一虚拟形象参数；提取所述用户图像的特征信息；结合所述特征信息，优化所述第一虚拟形象参数；根据优化后的所述第一虚拟形象参数，生成第一虚拟形象图。服务端12用于对所述图像处理模型进行训练，其中，所述图像处理模型
的训练样本是利用风格化模型构建的，所述风格化模型是利用图像生成引擎随机生成的虚拟形象图以及从网络侧获得的人物图像训练得到的。
43.具体的，所述客户端可利用图像处理模型确定所述第一虚拟形象参数。有关图像处理模型的训练过程将在下文中详细说明，请参见下文中的内容。
44.服务端12负责模型的训练，完成训练的图像处理模型发送至客户端11，这样客户端11便可在本地利用图像处理模型对客户端11用户输入的用户图像进行虚拟形象参数确定；随后在结合用户图像的特征信息优化虚拟形象参数，基于优化后的虚拟形象参数生成虚拟形象图。
45.或者，如图3示出了另一方案，所述客户端11用于向服务端12发送用户图像，并显示服务端12返回的虚拟形象图像；其他的处理均由服务端12负责。如图3所示，服务端12用于训练风格化模型、用于构建训练样本、用于利用训练样本训练图像处理模型以及用于利用图像处理模型并结合用户图像特征提取生成虚拟形象图。具体的，所述客户端11用于响应于用户的操作，将用户图像发送至服务端12。所述服务端12用于获取用户图像；利用图像处理模型，确定与所述用户图像适配的虚拟形象对应的第一虚拟形象参数；提取所述用户图像的特征信息；结合所述特征信息，优化所述第一虚拟形象参数；根据优化后的所述第一虚拟形象参数，生成第一虚拟形象图。所述客户端还用于显示所述第一虚拟形象图。
46.本实施例中的客户端可以是智能手机、台式电脑、笔记本电脑、平板电脑、智能穿戴设备等等，服务端可以是服务器、服务器集群、虚拟服务器或云端等，本实施例对此不作限定。另外，本实施例中的所述客户端11和所述服务端12除具有上述步骤对应的功能外，还可实现下述各方法实施例中步骤对应功能，具体可参见下文中相应实施例中的内容。
47.图4示出了本技术一实施例提供的图像处理方法的流程示意图。本实施例提供的所述方法的执行主体可以是上述图像处理系统中的客户端或服务端。如图1所示，所述方法包括：
48.101、获取用户图像；
49.102、确定与所述用户图像适配的虚拟形象对应的第一虚拟形象参数；
50.103、提取所述用户图像的特征信息；
51.104、结合所述特征信息，优化所述第一虚拟形象参数；
52.105、根据优化后的所述第一虚拟形象参数，生成第一虚拟形象图。
53.参见图1所示的例子，用户可通过客户端输入用户图像。比如，通过客户端上的图像采集设备采集用户图像，也可通过客户端上的交互界面从图库导入所述用户图像。其中，图库可以是本实施例所述方法的执行主体本地存储的(如相册)，也可以是网络侧其他设备上存储的，本实施例对此不作限定。
54.上述102中，在具体实施时，可利用图像处理模型来确定所述第一虚拟形象参数。所述图像处理模型可以是深度学习模型，深度学习模型可包括卷积神经网络，如将卷积层进行堆叠，即可组成深度卷积神经网络并用其进行虚拟形象参数预测任务的训练。其中，卷积层还可分为：常规卷积层、反卷积层、空洞卷积层等等。深度学习模型的网络结构中还可包含有残差网络等其他网络层。当然，本实施例中的图像处理模型也可采用其他类型的网络实现，本文不一一例举。
55.上述103中的特征信息提取可通过人物关键点及语义分割模型来实现。即通过人
物关键点及语义分割模型对用户图像进行特征分析，以提取出人体轮廓信息、颜色信息等等。
56.实际上用户可能更在乎的是虚拟形象的面部特征像不像，因此更进一步的，本实施例中的提取的特征信息可以是人脸特征信息。即上述的人物关键点及语义分割模型可具体为：人脸关键点和人脸语义分割模型来实现。通过人脸关键点和人脸语义分割模型对用户图像进行特征分析，以提取出人脸五官信息、颜色信息等等。
57.其中，人脸五官信息可包括但不限于：发型轮廓、嘴唇轮廓、鼻子轮廓、眉毛轮廓、眼睛角度、眼睑样式、眉毛宽度、睫毛可见与否属性等等。颜色信息可包括但不限于：皮肤颜色、唇色、眼虹膜颜色、发色等等。
58.这里需要补充的是：人物关键点及语义分割模型可以是两个模型。同样的，人脸关键点和人脸语义分割模型可以是两个模型，比如，关键点提取模型和语义分割模型。本实施例中可直接选用已有的关键点提取模型、语义分割模型。有关关键点提取模型和语义分割模型的内容可参见现有文献，本文不具体限定且不作赘述。
59.上述104中，所述第一虚拟形象参数可包括：反映虚拟形象特征的多个第一离散参数及多个第一连续参数。例如，发型参数、头发颜色、皮肤颜色、唇色等等均为离散参数。脸宽、脸长、眼睛角度、眉毛宽度等为连续参数。
60.相应的，在一可实现的技术方案中本步骤104“结合所述特征信息，优化所述第一虚拟形象参数”可包括如下步骤：
61.1041、基于所述特征信息，对所述多个第一离散参数进行取值优化处理，以优化所述多个第一离散参数中的至少部分参数的取值；
62.1042、利用美型优化算法，对所述多个第一连续参数及取值优化处理后的所述多个第一离散参数进行美型优化。
63.步骤1041是为了优化离散参数的取值，使得离散参数更贴合用户图像的特征信息，以便于后续生成的虚拟形象图能与用户图像具有较高的相似度。步骤1042是为了美型优化，美型优化的目的实质上是为了使最终生成的虚拟形象图符合审美要求，虚拟形象图看上去更好看。在具体实施时，可预置一些审美参数，如额部在面部的占比、双眼间距等等，在美型优化算法中可按照预置的审美参数对多个第一连续参数及多个第一离散参数进行美型调整，使得美型调整后的参数生成的第一虚拟形象图是符合审美标准的，俗称是好看的。
64.根据上述步骤1041和1042优化后的第一虚拟形象参数，生成的第一虚拟形象图与用户图像相似度高，又较为美型(即好看)。
65.具体地本实施例中步骤1041“基于所述特征信息，对所述多个第一离散参数进行取值优化处理，以优化所述多个第一离散参数中的至少部分参数的取值”可采用如下步骤实现：
66.s11、根据所述特征信息，生成特征模板；
67.s12、在所述多个第一离散参数中，确定所述特征模板对应的目标离散参数；
68.s13、利用模板匹配算法，在特征素材集中检索出与所述特征模板匹配的目标素材；
69.s14、将所述目标离散参数的取值赋值为所述目标素材对应的素材标识。
70.上述步骤s11～s14仅示出了一个第一离散参数的优化步骤。实质上，多个第一离散参数中的其他第一离散参数也可通过上述s11～s14的步骤实现优化。
71.以游戏类应用、电商类应用或社交类应用中的捏脸系统为例，捏脸系统中有些离散参数是对应有相应素材库的，图像生成引擎(在游戏类应用中该引擎可以是游戏引擎)在按照离散参数生成虚拟形象图时，会按照该离散参数的取值(即素材标识)到相应的素材库中去调取相应素材，然后利用该素材进行虚拟形象图的生成。比如，发型参数，捏脸系统中对应有相应的发型素材库。
72.为了保证虚拟形象参数符合图像生成引擎的输入，减少错误情况的发生，本实施例中采用上述s11～s14来对多个第一离散参数中的至少部分第一离散参数的取值进行优化。
73.上述s11中，“基于所述特征信息生成特征模板”可包括但不限于如下至少一项：
74.根据所述特征信息中的发型、嘴唇等特征，分别生成相应的发型模板、嘴唇模板；
75.根据所述特征信息中的发色、皮肤颜色、唇色等特征，分别生成相应的发色模板、皮肤颜色模板、唇色模板等。
76.上述s12中，可通过识别特征模板的属性与离散参数的参数名是否一致或相似，来确定特征模板对应的目标离散参数。比如，发型模板的属性为“发型”，某一离散参数的参数名为“发型”，则该发型模板对应的目标离散参数就是参数名为“发型”的离散参数。
77.上述s13中，利用模板匹配算法，在特征素材集中检索出与所述特征模板匹配的目标素材。举例来说，特征模板为发型模板，此时模板匹配算法可具体为：利用形状匹配算法，在发型素材库中检索相似的发型素材。其中，一种可实现的形状匹配算法可以是将发型模板与素材库中发型素材对齐后求差；与发型模板差异小的发型素材即为要检索出的模板素材。又比如，特征模板为唇色模板，此时模板匹配算法可具体为：利用颜色匹配算法，在唇色素材库中检索相似的唇色素材。其中，颜色匹配算法可包括但不限于：颜色直方图算法。
78.上述105中，可直接调用图像生成引擎，以使图像生成引擎根据优化后的所述第一虚拟形象参数生成第一虚拟形象图。
79.本实施例提供的技术方案中，利用图像处理模型确定与用户图像适配虚拟形象对应的第一虚拟形象参数，并结合用户图像的特征信息对第一虚拟形象参数进行优化，以根据优化后的第一虚拟形象参数生成第一虚拟形象图。可见，本技术实施例提供的方案，将图像处理模型预测虚拟形象参数和利用用户图像特征优化参数相结合，虚拟形象图与用户图像的相似度高，效果好；另外，本实施例利用一个图像处理模型(即端到端模型)进行参数预测，可降低多步骤或多模型协同工作存在的训练目标不一致、误差累积大等问题的影响，性能好，复杂度低；例如在具体实施时，可部署在客户端侧有助于提高虚拟形象图的生成效率。
80.进一步的，本技术实施例中的步骤102中的一虚拟形象参数是利用图像处理模型确定的，即步骤102可具体为“利用图像处理模型，确定与所述用户图像适配的虚拟形象对应的第一虚拟形象参数”。相应的，本实施例提供的所述图像处理方法还可包括如下步骤：
81.106、将第二虚拟形象图输入风格化模型，执行所述风格化模型输出人物图像；
82.107、获取所述第二虚拟形象图对应的第二虚拟形象参数；
83.108、将人物图像及所述第二虚拟形象参数作为样本对添加至训练样本；
84.109、利用训练样本中的样本对，对所述图像处理模型进行训练。
85.上述步骤106～109介绍了本实施例中图像处理模型的训练方案。可参见图1和图2，本实施例中的图像处理模型的训练样本是利用风格化模型得到。获得成对的虚拟形象参数及人物图像是比较困难的，因此本实施例利用风格化模型来生成第二虚拟形象图对应的人物图像，然后将该第二虚拟形象图对应的第二虚拟形象参数与风格化模型生成的人物图像作为样本对添加至训练样本。采用该训练样本中的样本对进行训练，得到的图像处理模型会更加精确，性能更优。
86.例如，所述第二虚拟形象参数包括多个第二离散参数及多个第二连续参数。相应的，上述步骤109“利用训练样本中的样本对，对所述图像处理模型进行训练”，可包括如下步骤：
87.1091、将所述样本对中的人物图像输入所述图像处理模型，执行所述图像处理模型输出第三虚拟形象参数；其中，所述第三虚拟形象参数包括多个第三离散参数及多个第三连续参数；
88.1092、基于所述多个第三离散参数及所述样本对中的所述多个第二离散参数，确定离散参数损失；
89.1093、根据所述多个第三连续参数及所述样本对中的所述多个第二连续参数，确定连续参数损失；
90.1094、基于所述离散参数损失及所述连续参数损失，对所述图像处理模型进行优化。
91.上述步骤1092和1093中，针对不同的离散参数构建有相应的损失函数。同样的，针对不同的连续参数构建有相应的损失函数。比如，发型参数对应有发型损失函数、脸长(或宽)参数对应有脸型损失函数，等等，本文不一一例举。因此在执行上述1092步骤时，不同的离散参数选择各自对应的损失函数，分别计算各离散参数对应的离散参数损失。同样的，不同的连续参数选择各自对应的损失函数，分别计算各连续参数对应的连续参数损失。
92.上述1094中，根据所有损失计算综合损失，然后利用综合损失对所述图像处理模型中的参数进行优化。有关利用损失优化模型参数的具体实施步骤可参见现有文献，本文不作具体限定且不进行赘述。
93.再进一步的，本技术实施例提供的所述图像处理方法还包括如下步骤：
94.110、将随机生成的第三虚拟形象图置于第一数据集；
95.111、将从网络侧获得的人物图像置于第二数据集；
96.112、利用所述第一数据集及所述第二数据集，对风格化模型进行训练。
97.如图1和图2所示，所述随机生成的第三虚拟形象图，可由图像生成引擎按照随机虚拟形象参数生成。人物图可从网络侧开源数据中获取。
98.随机生成的第三虚拟形象及网络侧获得的人物图为非成对数据集，因此本实施例中的风格化模型可选用如图所示的循环生成对抗网络来实现，该循环生成对抗网络的训练可采用不配对数据集的无监督训练。具体的，上述步骤112“利用所述第一数据集及所述第二数据集，对风格化模型进行训练”可具体包括：
99.1121、将所述第一数据集中的第三虚拟形象图输入所述循环生成对抗网络，执行所述循环生成对抗网络得到第一输出结果；
100.1122、根据所述第一输出结果及所述第三虚拟形象图，确定第一循环一致性损失；
101.1123、利用人物识别模型，确定所述第一输出结果与所述第三虚拟形象的第一全局表观损失；
102.1124、利用人体语义分割模型，确定所述第一输出结果与所述第三虚拟形象的第一局部特征损失；
103.1125、将所述第二数据集中的人物图像输入所述循环生成对抗网络，执行所述循环生成对抗网络得到第二输出结果；
104.1126、根据所述第二输出结果及输入的所述人物图像，确定第二循环一致性损失；
105.1127、利用人物识别模型，确定所述第二输出结果与所述人物图像的第二全局表观损失；
106.1128、利用人体语义分割模型，确定所述第二输出结果与所述人物图像的第二局部特征损失；
107.1129、根据所述第一循环一致性损失、所述第一全局表观损失、所述第一局部特征损失、所述第二循环一致性损失、所述第二全局表观损失及所述第二局部特征损失，对所述循环生成对抗网络进行优化。
108.参见图5所示，循环生成对抗网络(简称cyclegan)，通过对源域x图像x进行两部变换：首先将图像x映射到目标域y，然后返回源域x得到二次生成图像从而消除了在目标域y中图像配对的要求，这是一个循环的结构，因此称之为cyclegan。从图5中可以看出cyclegan其实就是两个方向相反的单向gan，他们共享两个生成器，然后各自有一个判别器，加起来总共有两个判别器和两个生成器。
109.参见图5所示，x和y分别表示两个域的图像。cyclegan包括两个生成器g和f，分别用于从x到y的生成，以及y到x生成；还包含两个判别器，分别是dx和dy。其损失loss如下：
110.l(g，f，d
x
，dy)＝l
gan
(g，dy，x，y) l
gan
(f，d
x
，x，y) λl
cyc
(f，g)
111.其中，λ为超参数，前两项就是生成对抗损失loss，lcyc则是cyclegan的循环一致性损失。具体的，lcyc损失为：
112.l
cyc
(f，g)＝e
x～pdata(x)
[‖f(g(x))-x‖1] e
y～pdata(y)
[‖g(f(y))-y‖1]
[0113]
其中，x～pdata(x)表示图像x来自x域；y～pdata(y)表示图像y来y域。参见图5所示，f(g(x))表示图像x经生成器g(x)生成后，在通过生成器生成期望期望g(f(y))表示图像y经生成器f(y)生成后，在通过生成器生成期望期望
[0114]
因cyclegan缺少对人脸语义信息的理解，最终训练后的效果不佳。所以需要对其进行改进，让它能够理解语义信息，保证人脸五官分布的合理。比如，使用关键点进行约束的方法，通过增加关键点预测任务来约束输出图像的五官分布；或者基于注意力机制的方法，使用注意力机制对人脸的有效区域进行学习。又或者，可再增加两个损失函数分别从全局表观和局部细节两个方便进行度量。比如，引入了一个人脸识别模型来度量两张人脸的全局表观损失，如人脸形状以及大致表情等。比如，人脸识别模型“light cnn-29v2”来提取256维的人脸特征的嵌入表示，然后使用该特征计算两张图像之间的余弦距离作为它们的相似度表示，该损失可称为人脸身份损失，它的功能是判断图像和图像x或图像和图像y是否属于同一个身份。
[0115]
除了人脸身份损失之外，还可使用人脸语义分割模型提取局部面部特征，并通过计算这些局部面部特征在像素级的误差来定义一个面部内容损失。面部内容损失可以被视为对两个图像中不同面部成分的形状和位移的约束，例如，眼睛、嘴巴和鼻子。由于面部内容损失更关心的是面部图像特征差异。例如，可使用resnet-50作为语义分割模型。
[0116]
实际上还可设计更加复杂的损失loss以使风格化模型能够更好的捕捉虚拟形象图和人物图像两者的特征，实现更好的风格化控制。另外，本实施例对于损失选择、构建等不作具体限定，可根据需要进行设计。
[0117]
最终，风格化模型的总损失函数可以为上述l(g，f，d
x
，dy)、人脸身份损失、面部内容损失等的线性组合。
[0118]
基于上述风格化模型，可以将大量的虚拟形象图风格化到对应的人物图像，从而方便建立具备成对的人物图像和虚拟形象参数的数据集，这些成对的数据可作为训练样本对为后续进一步训练图像处理模型提供数据基础。上述方法还可以被用于多种多样与人脸具备一定特征相似性的捏脸系统，大幅提升了智能捏脸系统的适用范围，使捏脸系统能够被拓展到对不同风格虚拟形象进行自动生成。
[0119]
进一步的，本实施例中利用风格化模型构来建成对的人脸图与虚拟形象参数，然后利用这些成对的数据，便可训练出输入人物图像便能输出对应虚拟形象参数的图像处理模型。
[0120]
综上，本技术实施例提供的技术方案巧妙地设计了风格化模型，利用风格化模型来捕捉虚拟形象图与真实人物图像(如照片)的相似特征，从而为每个虚拟形象图生成与之对应的人物图像，以基于生成的人物图像及对应的虚拟形象图的虚拟形象参数再训练出基于人物图像得出虚拟形象参数的图像处理模型。本技术实施例提供的这种解耦设计方式，在实际测试中表现出了极好的泛化效果，而且风格化能力也使本方案能泛化到更加抽象的虚拟形象场景，比如二次元头像等等。
[0121]
实际上，本实施例中也可将人物图像输入风格化模型输出虚拟形象图，然后利用成对的虚拟形象图及其对应的虚拟形象系数训练预测模型，这样在实际使用时就需要用到两个模型，分别为风格化模型和预测模型。具体的，本技术又一实施例提供的一种图像处理方法包括：
[0122]
a、获取用户图像；
[0123]
b、将所述用户图像输入风格化模型，执行风格化模型输出对应的第四虚拟形象图；
[0124]
c、将所述第四虚拟形象图输入预测模型，执行所述预测模型输出对应的四虚拟形象参数；
[0125]
d、提取所述用户图像的特征信息；
[0126]
e、结合所述特征信息，优化所述第四虚拟形象参数；
[0127]
f、调用图像生成引擎，以使图像生成引擎按照优化后的所述虚拟形象参数生成对应的第五虚拟形象图。
[0128]
这里需要补充的是，本实施例中的第四虚拟形象图、第四虚拟形象参数及第五虚拟形象图均时为了区别上文中的虚拟形象图、虚拟参数等。
[0129]
游戏业界通常会为虚拟形象创作定制较为复杂的捏脸系统，以满足用户个性化形
象的诉求。本技术实施例提供的技术方案也可应用到现有捏脸系统中。即如图6所示，本技术另一实施例提供一种图像处理方法的流程示意图。如图6所示，本实施例所述方法执行主体可以是上述图像处理系统中的客户端。具体的，所述方法包括：
[0130]
201、响应于用户触发的输入操作，获取用户图像；
[0131]
202、确定所述用户图像对应的捏脸参数；
[0132]
203、提取所述用户图像的特征信息；
[0133]
204、结合所述特征信息，优化所述捏脸参数；
[0134]
205、调用图像生成引擎，使得所述图像生成引擎按照优化后的所述捏脸参数生成虚拟形象图；
[0135]
206、显示所述虚拟形象图。
[0136]
有关上述步骤201～205的更详尽的内容，可参见上述实施例中的描述。本实施例中的捏脸参数与上述实施例中的虚拟形象参数类同。
[0137]
进一步的，本实施例所述的方法还可包括如下步骤：
[0138]
207、从服务端获取已完成训练的图像处理模型；其中，所述图像处理模型的训练样本是利用风格化模型构建的，所述风格化模型是利用所述图像生成引擎随机生成的虚拟形象图以及从网络侧获得的人物图像训练得到的；
[0139]
208、将所述图像处理模型存于本地。
[0140]
相应的，本实施例中步骤202可具体为“利用所述图像处理模型确定所述用户图像对应的捏脸参数”[0141]
其中，有关所述图像处理模型的训练内容以及风格化模型的训练内容，可参见上述实施例中的相关描述，此处不作赘述。
[0142]
进一步的，所述捏脸参数可包括多个离散参数和多个连续参数。相应的，上述步骤204“结合所述特征信息，优化所述捏脸参数”可包括如下步骤：
[0143]
2041、基于所述特征信息，对所述多个离散参数进行取值优化处理，以优化所述多个离散参数中的至少部分参数的取值；
[0144]
2042、利用美型优化算法，对所述多个连续参数及取值优化处理后的所述多个离散参数进行美型优化。
[0145]
再进一步的，上述步骤2041“基于所述特征信息，对所述多个离散参数进行取值优化处理，以优化所述多个离散参数中的至少部分参数的取值”，可采用如下步骤实现：
[0146]
根据所述特征信息，生成特征模板；
[0147]
在所述多个离散参数中，确定所述特征模板对应的目标离散参数；
[0148]
利用模板匹配算法，在所述图像生成引擎对应的特征素材集中检索出与所述特征模板匹配的目标素材；
[0149]
将所述目标离散参数的取值赋值为所述目标素材对应的素材标识。
[0150]
同样的，有关上述步骤2041和2042更详尽的内容可参见上述实施例中的内容，本实施例对此不作赘述。
[0151]
本技术实施例提供的方案还可适用于更广泛的图像风格转换场景中。例如，图7示出了本技术又一实施例提供的图像处理方法的流程示意图。如图所示，所述方法包括：
[0152]
301、获取第一图像；
[0153]
302、利用图像处理模型，确定将所述第一图像转换为目标风格图像对应的图像参数；
[0154]
303、提取所述第一图像的特征信息；
[0155]
304、结合所述第一图像的特征信息，优化所述图像参数；
[0156]
305、根据优化后的所述图像参数，生成目标风格的第二图像。
[0157]
上述第一图像可以是人脸图像，动物图像等等，本实施例对此不作限定。目标风格可包括但不限于：素描风格、油画风格、动画卡通风格等等。在具体实施时，所述图像处理模型可利用不同风格对应的训练集中的样本对进行训练得到。
[0158]
比如，通过完成训练的风格化模型生成人物图像与素描风格图对应的图像参数对，作为样本对添加至训练样本中。图像处理模型利用该训练样本进行训练，完成训练的图像处理模型便可根据输入的第一图像确定出素描风格对应的图像参数了。然后，再结合第一图像的特征信息优化图像参数，图像生成引擎便可根据优化后的图像参数，生成目标风格的第二图像。
[0159]
其中，风格化模型的训练数据集可以包括：图像生成引擎随机生成的素描风格图以及从网络侧获得的人物图像。风格化模型利用非成对的随机生成的素描风格图以及从网络侧获得的人物图像，进行无监督训练。完成训练后，便可利用风格化模型构建成对样本，便于图像处理模型训练。
[0160]
本实施例中的各步骤、图像处理模型的训练及风格化模型的训练内容，可参见上文中的相应内容，此处不作赘述。
[0161]
本技术各实施例提供的技术方案具有如下的优点：
[0162]
1、本技术实施例提供的技术方案中，图像处理模型采用端到端学习的方式，对输入的人物图像具有较好的鲁棒性，能够更好的确定虚拟形象参数中的离散参数，尤其是连续系数；通过训练学习的方法能很好捕捉人物图像与虚拟形象参数间的关系。
[0163]
2、本技术实施例提供的技术方案中无需人工构建训练样本对图像处理模型进行训练。
[0164]
3、本技术实施例提供的技术方案对噪声鲁棒性强，相似度高，具有很高的普适性和泛化性。
[0165]
图8示出了本技术一实施例提供的图像处理装置的结构示意图。如图8所示，所述装置包括：第一获取模块21、第一确定模块22、第一提取模块23、第一优化模块24及生成模块25。其中，第一获取模块21用于获取用户图像。所述第一确定模块22用于确定与所述用户图像适配的虚拟形象对应的第一虚拟形象参数。所述第一提取模块23用于提取所述用户图像的特征信息。所述第一优化模块24用于结合所述特征信息，优化所述第一虚拟形象参数。所述生成模块25用于根据优化后的所述第一虚拟形象参数，生成第一虚拟形象图。
[0166]
进一步的，所述第一虚拟形象参数包括：反映虚拟形象特征的多个第一离散参数及多个第一连续参数。相应的，所述第一优化模块24在结合所述特征信息，优化所述第一虚拟形象参数时具体用于：
[0167]
基于所述特征信息，对所述多个第一离散参数进行取值优化处理，以优化所述多个第一离散参数中的至少部分参数的取值；利用美型优化算法，对所述多个第一连续参数及取值优化处理后的所述多个第一离散参数进行美型优化。
[0168]
进一步的，所述第一优化模块24在基于所述特征信息，对所述多个第一离散参数进行取值优化处理，以优化所述多个第一离散参数中的至少部分参数的取值时，具体用于：
[0169]
根据所述特征信息，生成特征模板；在所述多个第一离散参数中，确定所述特征模板对应的目标离散参数；利用模板匹配算法，在特征素材集中检索出与所述特征模板匹配的目标素材；将所述目标离散参数的取值赋值为所述目标素材对应的素材标识。
[0170]
进一步的，本实施例提供的所述图像处理装置中第一确定模块22具体用于利用图像处理模型，确定与所述用户图像适配的虚拟形象对应的第一虚拟形象参数。相应的，本实施例提供的所述图像处理装置还可包括执行模块、添加模块及第一训练模块。其中，所述执行模块用于将第二虚拟形象图输入风格化模型，执行所述风格化模型输出人物图像。所述第一获取模块21还用于获取所述第二虚拟形象图对应的第二虚拟形象参数。所述添加模块用于将人物图像及所述第二虚拟形象参数作为样本对添加至训练样本。所述第一训练模块用于利用训练样本中的样本对，对所述图像处理模型进行训练。
[0171]
再进一步的，所述第二虚拟形象参数包括多个第二离散参数及多个第二连续参数。相应的，所述第一训练模块在利用训练样本中的样本对，对所述图像处理模型进行训练时，具体用于：
[0172]
将所述样本对中的人物图像输入所述图像处理模型，执行所述图像处理模型输出第三虚拟形象参数；其中，所述第三虚拟形象参数包括多个第三离散参数及多个第三连续参数；
[0173]
基于所述多个第三离散参数及所述样本对中的所述多个第二离散参数，确定离散参数损失；
[0174]
根据所述多个第三连续参数及所述样本对中的所述多个第二连续参数，确定连续参数损失；
[0175]
基于所述离散参数损失及所述连续参数损失，对所述图像处理模型进行优化。
[0176]
进一步的，本实施例提供的所述图像处理装置还包括数据准备模块及第二训练模块。其中，所述数据准备模块用于将随机生成的第三虚拟形象图置于第一数据集，将从网络侧获得的人物图像置于第二数据集。所述第二训练模块用于利用所述第一数据集及所述第二数据集，对风格化模型进行训练。
[0177]
进一步的，所述风格化模型包括循环生成对抗网络。相应的，所述第二训练模块具体用于：
[0178]
将所述第一数据集中的第三虚拟形象图输入所述循环生成对抗网络，执行所述循环生成对抗网络得到第一输出结果；
[0179]
根据所述第一输出结果及所述第三虚拟形象图，确定第一循环一致性损失；
[0180]
利用人物识别模型，确定所述第一输出结果与所述第三虚拟形象的第一全局表观损失；
[0181]
利用人体语义分割模型，确定所述第一输出结果与所述第三虚拟形象的第一局部特征损失；
[0182]
将所述第二数据集中的人物图像输入所述循环生成对抗网络，执行所述循环生成对抗网络得到第二输出结果；
[0183]
根据所述第二输出结果及输入的人物图像，确定第二循环一致性损失；
[0184]
利用人物识别模型，确定所述第二输出结果与所述人物图像的第二全局表观损失；
[0185]
利用人体语义分割模型，确定所述第二输出结果与所述人物图像的第二局部特征损失；
[0186]
根据所述第一循环一致性损失、所述第一全局表观损失、所述第一局部特征损失、所述第二循环一致性损失、所述第二全局表观损失及所述第二局部特征损失，对所述循环生成对抗网络进行优化。
[0187]
这里需要说明的是：上述实施例提供的图像处理装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
[0188]
图9示出了本技术另一实施例提供的图像处理装置的结构示意图。如图9所示，所述图像处理装置包括：第二获取模块31、第二确定模块32、第二提取模块33、第二优化模块34、调用模块35及显示模块36。其中，第二获取模块31用于响应于用户触发的输入操作，获取用户图像。所述第二确定模块32用于确定所述用户图像对应的捏脸参数。所述第二提取模块33用于提取所述用户图像的特征信息。所述第二优化模块34用于结合所述特征信息，优化所述捏脸参数。所述调用模块35用于调用图像生成引擎，使得所述图像生成引擎按照优化后的所述捏脸参数生成虚拟形象图。所述显示模块36用于显示所述虚拟形象图。
[0189]
进一步的，本实施例提供的所述图像处理装置还可包括存储模块。所述第二获取模块31还用于从服务端获取已完成训练的图像处理模型；其中，所述图像处理模型的训练样本是利用风格化模型构建的，所述风格化模型是利用所述图像生成引擎随机生成的虚拟形象图以及从网络侧获得的人物图像训练得到的。所述存储模块用于将所述图像处理模型存于本地。
[0190]
相应的，本实施例中所述第二确定模块32可具体用于：利用所述图像处理模型确定所述用户图像对应的捏脸参数。
[0191]
进一步的，所述捏脸参数包括：多个离散参数和多个连续参数。相应的，所述第二优化模块34在结合所述特征信息，优化所述捏脸参数时，具体用于：
[0192]
基于所述特征信息，对所述多个离散参数进行取值优化处理，以优化所述多个离散参数中的至少部分参数的取值；利用美型优化算法，对所述多个连续参数及取值优化处理后的所述多个离散参数进行美型优化。
[0193]
再进一步的，所述第二优化模块34在基于所述特征信息，对所述多个离散参数进行取值优化处理，以优化所述多个离散参数中的至少部分参数的取值时，具体用于：
[0194]
根据所述特征信息，生成特征模板；
[0195]
在所述多个离散参数中，确定所述特征模板对应的目标离散参数；
[0196]
利用模板匹配算法，在所述图像生成引擎对应的特征素材集中检索出与所述特征模板匹配的目标素材；
[0197]
将所述目标离散参数的取值赋值为所述目标素材对应的素材标识。
[0198]
这里需要说明的是：上述实施例提供的图像处理装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
[0199]
本技术又一实施例提供了一种图像处理装置。该图像处理装置的结构与图9类同。具体的，所述图像处理装置包括：第一获取模块、第一确定模块、第一提取模块、第一优化模块及生成模块。其中，第一获取模块用于获取第一图像。所述第一确定模块用于利用图像处理模型，确定将所述第一图像转换为目标风格图像对应的图像参数。所述第一提取模块用于提取所述第一图像的特征信息。所述第一优化模块用于结合所述第一图像的特征信息，优化所述图像参数。所述生成模块用于根据优化后的所述图像参数，生成目标风格的第二图像。
[0200]
这里需要说明的是：上述实施例提供的用于图像处理的第一图像合成模型的确定装置可实现上述相应方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述相应方法实施例中的相应内容，此处不再赘述。
[0201]
图10示出了本技术一实施例提供的电子设备的原理性结构示意图。所述电子设备包括处理器42及存储器41。其中，所述存储器41用于存储一条或多条计算机指令；所述处理器42，与所述存储器41耦合，用于一条或多条计算机指令(如实现数据存储逻辑的计算机指令)，以用于实现上述各方法实施例中的步骤。
[0202]
存储器41可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0203]
进一步，如图10所示，电子设备还包括：通信组件43、电源组件45及显示器44等其它组件。图10中仅示意性给出部分组件，并不意味着电子设备只包括图10所示组件。
[0204]
本技术还有一实施例提供一种计算机程序产品(说明书附图中无相应附图示出)。该计算机程序产品包括计算机程序或指令，当所述计算机程序或指令被处理器执行时，致使所述处理器能够实现上述各方法实施例中的步骤。
[0205]
相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例提供的方法步骤或功能。
[0206]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0207]
通过以上实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0208]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；
而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。