特效图像生成方法、装置、电子设备及存储介质与流程

1.本发明实施例涉及图像处理技术领域，尤其涉及一种特效图像生成方法、装置、电子设备及存储介质。


背景技术：

2.目前，可以基于神经网络生成相应的图像。在基于神经网络处理之前，可以先构建相应的训练样本，以基于训练样本对模型进行训练。
3.构建的训练样本中包括在真实环境中采集的原始数据，经过一系列处理，得到尺寸、清晰度相似的数据，并将其标注后得到原始数据集。
4.若要生成原始数据集对应的某种风格主题的配对数据，往往需要人工根据原始数据集手绘到成百上千中某种风格主题的图像，并且每种风格类型也需要成百上千幅图像，从而得到与原始数据集相对应的配对数据集。
5.但是，上述方式存在需要人工收集大量的原始图像，以及手工绘制与原始数据相关联的大量的风格数据，存在配对数据生成困难以及成本高的问题，进一步的，绘制相同风格的图像也需要成千上万幅，此时也存在绘制出的图像质量参差不齐的问题，进而导致训练得到的模型也存在准确性较低的问题。


技术实现要素：

6.本发明提供一种特效图像生成方法、装置、电子设备及存储介质，以实现生成配对训练数据的质量，进而优化目标特效图生成模型。
7.第一方面，本发明实施例提供了一种特效图像生成方法，该方法包括：
8.在检测到触发特效显示控件时，获取包括待处理部位的待处理图像；
9.基于目标特效图转换模型对所述待处理图像进行特效处理，得到目标特效图；
10.其中，所述目标特效图中的所述待处理部位展示为目标特效，所述目标特效图像是基于预先构建的训练样本确定的，所述训练样本中包括配对训练数据，所述配对训练数据中包括原始图像和风格图像，所述风格图像是基于相同采集条件对待渲染部位赋予目标风格化材质参数后确定的；所述待渲染部位与所述待处理部位相适配。
11.第二方面，本发明实施例还提供了一种特效图像生成装置，该装置包括：
12.待处理图像采集模块，用于在检测到触发特效显示控件时，获取包括待处理部位的待处理图像；
13.特效图生成模块，用于基于目标特效图转换模型对所述待处理图像进行特效处理，得到目标特效图；
14.其中，所述目标特效图中的所述待处理部位展示为目标特效，所述目标特效图像是基于预先构建的训练样本集确定的，所述训练样本集中的训练样本中包括配对训练数据，所述配对训练数据中包括原始图像和风格图像，所述风格图像是基于相同采集条件对待渲染部位赋予目标风格化材质参数后确定的；所述待渲染部位与所述待处理部位相适
配。
15.第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
16.一个或多个处理器；
17.存储装置，用于存储一个或多个程序，
18.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例任一所述的特效图像生成方法。
19.第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的特效图像生成方法。
20.本公开实施例的技术方案，通过在检测到触发特效显示控件时，获取包括待处理部位的待处理图像，基于目标特效图转换模型对待处理图像特效处理，得到目标特效图，而目标特效图转换模型的训练是基于构建的配对数据训练得到的，解决了现有技术中构建配对数据不便以及配对数据质量不佳，导致目标特效图转换模型对待处理图像的处理效果不佳的问题，实现了提高了配对数据的质量以及丰富性，进而提高了目标特效图转换模型图像处理的准确性的技术效果。
附图说明
21.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
22.图1为本公开实施例一所提供的一种特效图像生成方法流程示意图；
23.图2为本公开实施例二所提供的一种特效图像生成装置结构示意图；
24.图3为本公开实施例三所提供的一种电子设备结构示意图。
具体实施方式
25.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
26.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
27.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
28.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员
应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
29.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
30.实施例一
31.图1为本公开实施例一所提供的一种特效图像生成方法流程示意图，本公开实施例适用于在互联网所支持的任意特效展示或者特效处理的场景中，用于多种动画特效叠加并同时播放的情况，该方法可以由特效图像生成装置来执行，该装置可以通过软件和/或硬件的形式实现，可选地，通过电子设备来实现，该电子设备可以是移动终端、pc端或服务器等。
32.如图1所示，所述方法包括：
33.s110、确定各训练样本中的配对训练数据。
34.其中，将训练得到目标特效转换模型时所使用的样本，作为训练样本。训练样本中包括原始数据和特效数据。将原始数据和配置数据作为配对训练数据。
35.在本实施例中，所述确定各训练样本中的配对训练数据，包括：确定与待渲染部位相对应的至少一种类型的训练样本构造模型；基于各训练样本构造模型以及预先设置的目标风格化材质参数，确定各训练样本中的配对训练数据。
36.其中，待渲染部位可以是肢体上的任意部位，可选的，手部、脚部、胳膊部位、腿部部位、各关节部位中的任意一个部位。至少一种类型可以是两种类型或者多种类型，每一种类型可以是与性别相对应，可选的，男性、女性；也可以是与年龄层级相匹配，每个年龄层级的步长可以是五岁或者十岁。可以从网络上下载至少一种性别类型以及不同年龄层级所对应的模型。相应的，训练样本构造模型为构建出的与待渲染部位相一致的并且具有真实感的模型。此时训练样本构造模型为没有添加相应特效的基本模型。目标风格化材质参数可以理解在训练样本构造模型上添加相应特效后所对应的模型。目标风格化材质参数可以是在待渲染部位戴上帽子、或者戴上手套或者穿上某种风格化服装的参数，同时，还需要说明的是，各种穿戴物品是有一定美感和纹理的。配对数据是基于训练样本构造模型和赋予训练样本构造模型相应的目标风格化材质参数后构造出的训练样本。该数据主要为参与模型训练的数据。具体的，待渲染部位可以为手部部位。可以分别构建一个男性手部模型、女性手部模型、或者不同年龄层级的手部模型。如果仅仅是男性手部和女性手部，那么，手部模型主要是通用的手部模型，可选的，可以构建成年男性或者女性的手部模型。将构建的手部模型作为训练样本构造模型。
37.为了得到相应的配对数据，还需要在相应训练样本构造模型的基础上，为训练样本构造模型赋予相应的目标风格化材质参数，可选的，目标风格化材质参数为毛茸茸手套所对应的材质参数。基于训练样本构造模型和赋予目标风格化材质参数后的训练样本构造模型，可以确定出各训练样本中的配对训练数据。
38.在上述技术方案的基础上，确定与待渲染部位相对应的至少一种类型的训练样本构造模型，包括：获取与待渲染部位相对应的至少一种类型的待处理基础模型，并为基础模型贴附贴图信息，得到至少一个待使用基础模型；其中，至少一种类型与用户属性中的性别相匹配；基于至少一个待使用基础模型和预设皮肤材质参数，确定至少一个训练样本构造模型。
39.其中，待处理基础模型为与待渲染部位相一致的，此时，主要是待渲染部位的基础骨骼信息相一致的模型。贴图信息可以理解为为待处理基础部位添加上相应的皮肤等信息，例如，可以添加不同肤色的皮肤等信息。将贴附上相应贴图信息后的待处理基础模型，作为待使用基础模型。皮肤材质参数可以是在待使用基础上模型上添加的更为细致的纹理信息、血管等信息。将依次执行完上述操作后所对应的模型，作为训练样本构造模型。
40.具体的，可以从网络上或者实际场景中采集待渲染部位中包括骨骼肌肉和皮肤信息示意图，可选的，例如，获取待渲染部位的激光扫描仪或ct图像所对应的模型作为待使用基础模型；或者从网络上下载的待渲染部位的3d模型作为待处理基础模型。在得到待处理基础上模型后，可以为待处理基础模型后，为基础模型贴附上贴图，得到待使用基础模型。同时，基于预设皮肤参数对待使用基础模型进行修正，得到训练样本构造模型。可以理解为，每个训练样本构造模型中包括待使用基础上模型，和为待使用基础模型添加相应预设皮肤参数后得到的模型。在本实施例中，基于至少一个待使用基础模型和预设皮肤材质参数，确定至少一个训练样本构造模型，包括：针对各待使用基础模型，将待使用基础模型与骨骼信息绑定，并为骨骼信息中的绑定至少一组关节显示参数，以基于待使用基础模型的操作信息，调取相应的关节显示参数，得到第一模型；其中，关节显示参数与待使用基础模型的姿态信息相对应；分别为第一模型赋予至少一组预设皮肤材质参数，确定至少一个待训练样本构造模型；其中，每一组预设皮肤材质参数与用户属性中的年龄相匹配，每一组预设皮肤材质参数中包括血管参数、肤质参数以及斑点信息中的至少一个。
41.为了得到待渲染部位在各种姿态变化下的待训练样本构造模型，从而构建出更加丰富的训练样本。可以对待使用基础模型进行进一步处理，从而得到待渲染部位在各种姿态下的模型，进而得到待训练样本构造模型。
42.其中，待渲染部位可以是手部部位，手部部位上包括五个手指，每个手指上包括至少三个关节点。可以将每个手指上的三个关节点，可以设置每个关节点所对应的权重值。在手部姿态不同时，所对应的关节显示参数不同，每一组关键显示参数与手部姿态相对应，例如，手部姿态为握拳时，对应第一组关节显示参数；手部姿态为五指张开，对应第二组关节显示参数。关节显示参数主要是修正不同手部姿态时所对应的纹理信息。因此，可以在待使用基础上模型添加相应的关节显示参数，以基于关节显示参数为相应手部姿态进行细微调整。将为相应待使用基础模型赋予关节显示参数后，得到的模型作为第一模型。至少一组预设皮肤材质参数是为了丰富第一模型的纹理特征设置的参数。每一组皮肤材质参数与用户属性中的年龄相匹配，例如，以两岁为起始点，每隔十岁设置一组皮肤材质参数，这是因为不同年龄所对应的肤质参数是不同的。待训练样本构造模型为参与确定训练样本的模型，将不同的第一模型赋予不同的皮肤材质参数，可以得到多个待训练样本构造模型。
43.通常，皮肤材质参数中主要包括的血管参数、肤质参数以及斑点信息中的至少一个。血管参数可以是血管粗细，以及血管明显程度。不同年龄层级所对应的血管参数是对应一定差异的。肤质参数可以是肤色参数，例如，肤色参数可以是黄皮、白皮以及黑皮中的至少一种。斑点信息可以是手部上是否存在斑点、痦子等，可以将其添加到第一模型上。基于皮肤参数调整第一模型，可以提高待训练样本构造模型与实际某个部位之间的匹配度，即既提高了第一模型的真实度。
44.在本实施例中，将对各第一模型添加相应的预设肤质参数后，可以得到多个不同
手部姿态且不同肤质参数的待训练样本构造模型。但是，配对训练数据中不仅包括原始图像所对应的数据，还包括添加相应特效后风格图像所对应的数据，因此，将此时得到的待训练样本构造模型作为配对训练数据中的确定原始图像的模型。为了确定配对数据中的风格图像，可以基于相应的待训练样本构造模型，构造相应的配对样本构造模型。
45.其中，配对样本构造模型为添加特效参数后所对应的模型。添加的特效可以是一种或者多种的叠加，用户可以根据实际情况设置，相应的，风格材质参数可以是多种特效叠加后所对应的参数。例如，想要叠加的特效为戴手套的特效，那么，目标风格化材质参数可以是戴手套的参数；若是想要得到骷髅手特效，那么，目标风格化材质参数可以是骷髅手所对应的参数。当然，叠加特效所对应的材质参数为各种特效叠加后所对应的参数。
46.可选的，确定配对样本构造模型可以是：基于各训练样本构造模型以及预先设置的目标风格化材质参数，确定与各训练样本相对应的配对样本构造模型。
47.具体的，将确定的目标特效所对应的参数作为目标风格化材质参数。将目标风格化材质参数赋予到相应的待训练样本构造模型上，得到与各训练样本构造模型相对应的配对样本构造模型。
48.可选的，所述基于各训练样本构造模型以及预先设置的目标风格化材质参数，确定与各训练样本相对应的配对样本构造模型，包括：针对各训练样本构造模型，为所述当前训练样本构造模型赋予至少一种风格类型的目标风格化材质参数，得到与当前训练样本构造模型相对应的配对样本构造模型。
49.为了提高配对训练数据的丰富性和数量，可以对每个训练样本构造模型采用上述方式进行处理。即，为每个训练样本构造模型添加至少一种风格类型的目标风格化材质参数，得到与各训练样本构造模型相一致的配对样本构造模型。
50.其中，至少一种风格类型可以是预先设置的特效风格类型，或者特效类型，相应的，目标风格化材质参数是所有特效的材质参数的叠加。
51.在上述技术方案的基础上，在得到训练样本构造模型和相应的配对样本构造模型之后，可以确定出每个训练样本中的配对训练数据，可选的，依次调整采集参数，获取当前训练样本构造模型所对应的原始图像，以及获取与当前训练样本构造模型相对应的配对样本构造模型在相同采集参数下的风格图像；其中，采集参数包括采集角度和当前训练样本所属环境的光量信息；基于同一采集参数所对应的原始图像和风格图像，确定配对训练数据。
52.其中，采集参数主要是采集角度、模型所属环境的光量信息等。将基于训练样本构造模型确定出的图像作为原始图像，将基于配对样本构造模型确定出的图像作为风格图像。将同一采集参数下，对同一手部姿态下训练样本构造模型和配对样本构造模型的图像，作为一个配对训练数据。配对训练数据用于训练相应的模型。此种方式，提高了训练样本数据获取的便捷性和有效性，同时，还可以包括配对数据的质量。光量信息主要是模拟真实环境中的光场信息。即，真实手部在自然光下的图像。
53.还需要说明的是，本技术方案的光量信息主要是模拟自然环境下的光量，即真实的待渲染部位，可选的，手部部位，在真实环境下的图像。此种方式，解决了现有技术中采用虚拟光源照射在物体上，导致出现的图像比较假，与真实图像相差较大，同时，导致训练得到的模型输出的特效图像真实度较低的问题。
54.基于此，采用的方式可以是：以当前训练样本构造模型为球心构建球体网格；其中，球体网格上包括多个网格点；基于至少一个目标网格点上部署的采集装置以及包覆球体网格的光场，获取与当前训练样本构造模型对应的原始图像；其中，至少一个目标网格点为预先确定的采集角度，在基于光场照射当前训练样本构造模型时，为光场叠加随机旋转值。
55.需要说明的是，对于每个训练样本构造模型和相应的配对样本构造模型的数据采集方式否是相同的，在此，以对其中一组训练样本构造模型和相应的配对样本构造模型处理为例来介绍。
56.具体的，可以以当前训练样本构造模型为球心构建一个球体网格，以及覆盖球体网格的光场。即，光场也是包覆球体网格和当前训练样本构造模型的球体，该球体的中心与球体网格的球心相一致。可以调整光场的光量信息，即光照信息可以基于真实环境采集制作(high-dynamic-range imaging(hdri)，随机采用一张hdri并加上一个随机旋转值，保证真实感的同时尽量增加多样性，即，此时可以采集到某个部位在真实环境中的信息。球体网格包括多个网格点，可以在每个网格点部署一个虚拟相机，以基于虚拟相机采集不同视角下的训练样本构造模型，得到原始图像。同时，可以将训练样本构造模型替换为配对样本构造模型，在相同的采集条件下，采集风格图像。将同一采集条件下所对应的原始图像和风格图像作为配对训练数据。
57.为光场叠加随机旋转值，可以理解为光场相对于训练样本构造模型或者配对样本构造模型来说，是相互旋转的，这样设置的好处，可以采集不同光照和视角的原始图像和风格图像。
58.在实际应用中，可能存在某些网格点采集的原始图像和风格图像不具备参考性，此时，为了提高配对训练数据获取的高效性，可以预先确定哪些视觉角度下的样本不适用于训练模型，相应的，在采集原始图像和风格图像时，可以不采集此种条件下的。或者是，获取每个网格点下的原始图像和风格图像，并按照预先设置的筛选条件，将相应的图像删除处理。
59.还需要说明的，确定原始图像和风格图像的方式都是相同的，此时，以确定原始图像为例来介绍。
60.可选的，基于各目标网格上部署的采集装置以及所述光场，获取所述当前训练样本构造模型的待筛选原始图像；从所述待筛选原始图像中，确定所述原始图像；确定所述原始图像的所对应的采集角度，并对所述采集角度对应的至少网格点进行标记，以基于标记的目标网格点采集各训练样本构造模型的原始图像。
61.具体的，将各网点采集的图像作为待筛选原始图像。根据预先确定的采集角度，筛选大角度的待筛选原始图像，得到原始图像。在得到原始图像的同时，可以记录每一幅原始图像所对应的采集条件，以基于相同的采集条件，得到各原始图像所对应的风格图像。
62.在本实施例中，确定风格图像的方式包括至少两种，两种方式可以分别是：
63.第一种方式为：每采集到一幅原始图像，基于相应的配对样本构造模型替换所述当前训练样本构造模型，并基于与所述原始图像相对应的采集参数，确定风格图像。
64.可以理解为，每采集一幅原始图像，就采集一幅风格图像。每采集到一幅原始图像，就将球体网格中心的当前训练样本构造模型替换为配对样本训练模型。基于相同的采
集参数采集配对样本训练模型，得到同一采集条件下的原始图像和风格图像。
65.第二种方式为：在得到各原始图像后，基于相应的配对样本构造模型替换所述当前训练样本构造模型，，并根据每一幅原始图像的采集参数采集与相应原始图像所对应的风格图像。
66.可以理解为，在得到与当前训练样本构造模型相对应的所有原始图像的同时，记录各原始图像所对应的采集角度和光量信息。将与当前训练样本构造模型相对应的配对样本构造模型作为球体网格的中心点，基于各原始图像的采集条件，采集与训练样本构造模型相对应的风格图像。将同一采集条件下的原始图像和风格图像，作为一组配对训练数据。
67.还需要说明的是，确定配对训练数据还可以是：以相同的方式确定与当前训练样本构造模型相对应的配对样本构造模型的球体网格，并根据预先设置的采集角度和光量信息，分别对当前训练样本构造模型和配对样本构造模型进行采集，得到原始图像和风格图像。确定同一采集条件的风格图像和原始图像，得到一组配对训练数据。在本实施例中，所述待处理部位包括肢体躯干上的任意部位，所述任意部位包括手部部位、头部部位、胳膊部位以及腿部部位中的至少一个部位；所述目标风格化材质参数包括渲染的特效所对应的装饰参数。
68.需要说明的是，为了清楚的介绍本技术方案，以构造手部部位为例来介绍，但是手部部位并不是对本极少方案的限定，还可以是任意部位。
69.还需要说明的是，任意需要获取训练样本的情形，都可以采用本技术方案的方式来获取，此种方式，提高了样本获取的便捷性、高质量性以及有效性的技术效果。
70.s120、基于各训练样本对待训练特效图转换模型进行训练，得到目标特效图转换模型，以基于目标特效图转换模型将待处理图像中的待处理部位转换为目标特效。
71.其中，待训练特效图转换模型中的模型参数为默认值。目标特效图转换模型是基于训练样本对待训练特效图转换模型处理后，得到的模型。基于目标特效图转换模型可以将待处理图像中的待处理部位转换为相应的目标特效。
72.也就是说，目标特效图转换模型处理得到的特效，与训练样本存在一定的关系，训练样本中风格图像所对应份目标风格材质参数是什么，得到的目标特效就可以是什么。
73.在得到配对训练数据之后，可以基于各配对训练数据中的原始图像和风格图像对待训练特效图转换模型进行训练处理，得到目标特效图转换模型。可以将目标特效图转换模型部署在终端设备中，以在采集到待处理图像时，可以对采集的待处理图像进行特效处理。
74.可以理解为：将原始图像作为待训练特效图转换模型的输入，将与原始图像相对应的风格图像，作为相应的模型输出，来训练得到目标特效图转换模型。
75.s130、在检测到触发特效显示控件时，获取包括待处理部位的待处理图像。
76.其中，执行本公开实施例提供的视频处理方法的装置，可以集成在支持视频图像处理功能的应用软件中，且该软件可以安装在电子设备中，可选地，电子设备可以是移动终端或者pc端等。应用软件可以是对图像/视频处理的一类软件，其具体的应用软件在此不再一一赘述，只要可以实现图像/视频处理即可。还可以是专门研发的应用程序，来实现添加特效并特效展示的软件中，亦或是集成在相应的页面中，用户可以通过pc端中集成的页面来实现特效添加处理。
77.还需要说明的是，本技术方案可以应用在任意需要特效展示的场景中，例如，短视频拍摄中，视频通话过程中，或者将其模型嵌入至某个可以图像处理的图像拍摄软件中，或者是，将其作为一种特效道具嵌入至某个软件中。具体的，可以触发某个特效道具，该到特效的实现可以是基于上述方式构建的配对样本数据训练的目标特效图转换模型生成的。在触发特效道具后，可以基于自带摄像装置采集包括待处理部位的待处理图像。此时的待处理部位与模型训练时的待渲染部位相一致。
78.s140、基于目标特效图转换模型对待处理图像进行特效处理，得到目标特效图。
79.具体的，目标特效图转换模型可以对待处理图像中的待处理部位进行特效转换处理，得到将待处理部位转换为目标特效的目标特效图。
80.在上述技术方案的基础上，还需要说明的是，待渲染部位多为手部部位。手部数据多样性组合方式，比如光照的多样性增加了暗光环境的识别率；手掌褶皱增强了半握拳手势的效果，同时，改进主要是数据分布，例如筛除大角度、控制数据比例，尽可能接近真实分布。上述方式实现了配对数据获取的高质量性、便捷性，进而提高了训练得到的特效图转换模型的准确性。
81.本公开实施例的技术方案，通过在检测到触发特效显示控件时，获取包括待处理部位的待处理图像，基于目标特效图转换模型对待处理图像特效处理，得到目标特效图，而目标特效图转换模型的训练是基于构建的配对数据训练得到的，解决了现有技术中构建配对数据不便以及配对数据质量不佳，导致目标特效图转换模型对待处理图像的处理效果不佳的问题，实现了提高了配对数据的质量以及丰富性，进而提高了目标特效图转换模型图像处理的准确性的技术效果。
82.实施例二
83.图2为本公开实施例二所提供的一种特效图像生成装置的结构示意图，该装置包括：待处理图像采集模块210以及特效图生成模块220。
84.其中，待处理图像采集模块210，用于在检测到触发特效显示控件时，获取包括待处理部位的待处理图像；特效图生成模块220，用于基于目标特效图转换模型对所述待处理图像进行特效处理，得到目标特效图；其中，所述目标特效图中的所述待处理部位展示为目标特效，所述目标特效图像是基于预先构建的训练样本集确定的，所述训练样本集中的训练样本中包括配对训练数据，所述配对训练数据中包括原始图像和风格图像，所述风格图像是基于相同采集条件对待渲染部位赋予目标风格化材质参数后确定的；所述待渲染部位与所述待处理部位相适配。
85.在上述技术方案的基础上，所述装置包括：
86.训练样本确定模块，用于确定各训练样本中的配对训练数据；
87.模型生成模块，用于基于各训练样本对待训练特效图转换模型进行训练，得到所述目标特效图转换模型，以基于所述目标特效图转换模型将所述待处理图像中的待处理部位转换为所述目标特效。
88.在上述技术方案的基础上，所述训练样本确定模块，包括：
89.样本构造模型确定单元，用于确定与待渲染部位相对应的至少一种类型的训练样本构造模型；
90.配对样本构造模型确定单元，用于基于各训练样本构造模型以及预先设置的目标
风格化材质参数，确定与各训练样本构造模型相对应的配对样本构造模型；
91.数据确定单元，用于基于所述训练样本构造模型和相应的配对样本构造模型，确定各训练样本中的配对训练数据。
92.在上述技术方案的基础上，所述样本构造模型确定单元，包括：
93.基础模型确定子单元，用于获取与所述待渲染部位相对应的至少一种类型的待处理基础模型，并为所述基础模型贴附贴图信息，得到至少一个待使用基础模型；其中，所述至少一种类型与用户属性中的性别相匹配；
94.构造模型确定子单元，用于基于所述至少一个待使用基础模型和预设皮肤材质参数，确定至少一个训练样本构造模型。
95.在上述技术方案的基础上，所述构造模型确定子单元，还用于：
96.针对各待使用基础模型，将所述待使用基础模型与骨骼信息绑定，并为所述骨骼信息中的绑定至少一组关节显示参数，以基于所述待使用基础模型的操作信息，调取相应的关节显示参数，得到第一模型；其中，所述关节显示参数与所述待使用基础模型的姿态信息相对应；分别为所述第一模型赋予至少一组预设皮肤材质参数，确定至少一个待训练样本构造模型；其中，每一组预设皮肤材质参数与所述用户属性中的年龄相匹配，每一组预设皮肤材质参数中包括血管参数、肤质参数以及斑点信息中的至少一个。
97.在上述技术方案的基础上，所述配对样本构造模型确定单元，用于
98.针对各训练样本构造模型，为所述当前训练样本构造模型赋予至少一种风格类型的目标风格化材质参数，得到与当前训练样本构造模型相对应的配对样本构造模型。
99.在上述技术方案的基础上，所述数据确定单元，用于：
100.依次调整采集参数，获取当前训练样本构造模型所对应的原始图像，以及获取与所述当前训练样本构造模型相对应的配对样本构造模型在相同采集参数下的风格图像；其中，所述采集参数包括采集角度和所述当前训练样本构造模型所属环境的光量信息；基于同一采集参数所对应的原始图像和风格图像，确定所述配对训练数据。
101.在上述技术方案的基础上，所述数据确定单元，用于：
102.以所述当前训练样本构造模型为球心构建球体网格；其中，所述球体网格上包括多个网格点；
103.基于至少一个目标网格点上部署的采集装置以及包覆所述球体网格的光场，获取与所述当前训练样本构造模型对应的原始图像；
104.其中，所述至少一个目标网格点为预先确定的采集角度，在基于所述光场照射所述当前训练样本构造模型时，为所述光场叠加随机旋转值。
105.在上述技术方案的基础上，所述数据确定单元，用于：
106.基于各目标网格上部署的采集装置以及所述光场，获取所述当前训练样本构造模型的待筛选原始图像；
107.从所述待筛选原始图像中，确定所述原始图像；
108.确定所述原始图像的所对应的采集角度，并对所述采集角度对应的至少网格点进行标记，以基于标记的目标网格点采集各训练样本构造模型的原始图像。
109.在上述技术方案的基础上，所述数据确定单元，用于：
110.所述为所述当前训练样本构造模型赋予至少一种风格类型的目标风格化材质参
数，并重新执行所述依次调整采集参数，获取与每一幅原始图像所对应的风格图像，包括：
111.每采集到一幅原始图像，基于相应的配对样本构造模型替换所述当前训练样本构造模型，并基于与所述原始图像相对应的采集参数，确定风格图像；或，
112.在得到各原始图像后，基于相应的配对样本构造模型替换所述当前训练样本构造模型，，并根据每一幅原始图像的采集参数采集与相应原始图像所对应的风格图像。
113.在上述技术方案的基础上，所述模型训练模块，还用于：针对各训练样本，将当前训练样本中的原始图像、待渲染部位边缘像素坐标以及所述待渲染部位关节点位置信息作为待训练特效图转换模型的输入，将相应的风格图像作为待训练特效图转换模型的输出，以训练得到所述目标特效图转换模型。
114.在上述各技术方案的基础上，所述待处理部位包括肢体躯干上的任意部位，所述任意部位包括手部部位、头部部位、胳膊部位以及腿部部位中的至少一个部位；所述目标风格化材质参数包括渲染的特效所对应的装饰参数。
115.本公开实施例的技术方案，通过在检测到触发特效显示控件时，获取包括待处理部位的待处理图像，基于目标特效图转换模型对待处理图像特效处理，得到目标特效图，而目标特效图转换模型的训练是基于构建的配对数据训练得到的，解决了现有技术中构建配对数据不便以及配对数据质量不佳，导致目标特效图转换模型对待处理图像的处理效果不佳的问题，实现了提高了配对数据的质量以及丰富性，进而提高了目标特效图转换模型图像处理的准确性的技术效果。
116.本公开实施例所提供的特效图生成装置可执行本公开任意实施例所提供的特效图生成方法，具备执行特效图生成方法相应的功能模块和有益效果。
117.值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
118.实施例三
119.图3为本公开实施例三所提供的一种电子设备结构示意图。下面参考图3，其示出了适于用来实现本公开实施例的电子设备(例如图3中的终端设备或服务器)300的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
120.如图3所示，电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301，其可以根据存储在只读存储器(rom)302中的程序或者从存储装置308加载到随机访问存储器(ram)303中的程序而执行各种适当的动作和处理。在ram 303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、rom 302以及ram 303通过总线304彼此相连。编辑/输出(i/o)接口305也连接至总线304。
121.通常，以下装置可以连接至i/o接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具
有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
122.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从rom 302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。
123.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
124.本公开实施例提供的电子设备与上述实施例提供的特效图像生成方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
125.实施例四
126.本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的特效图像生成方法。
127.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
128.在一些实施方式中，客户端、服务器可以利用诸如http(hypertext transfer protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
129.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
130.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电
子设备执行时，使得该电子设备：
131.在检测到触发特效显示控件时，获取包括待处理部位的待处理图像；
132.基于目标特效图转换模型对所述待处理图像进行特效处理，得到目标特效图；
133.其中，所述目标特效图中的所述待处理部位展示为目标特效，所述目标特效图像是基于预先构建的训练样本确定的，所述训练样本中包括配对训练数据，所述配对训练数据中包括原始图像和风格图像，所述风格图像是基于相同采集条件对待渲染部位赋予目标风格化材质参数后确定的；所述待渲染部位与所述待处理部位相适配。
134.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
135.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
136.描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
137.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
138.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。根据本公开的一个或多个实施例，【示例一】提供了一种特效图
像生成方法，该方法包括：
139.在检测到触发特效显示控件时，获取包括待处理部位的待处理图像；特效图生成模块，用于基于目标特效图转换模型对所述待处理图像进行特效处理，得到目标特效图；
140.其中，所述目标特效图中的所述待处理部位展示为目标特效，所述目标特效图像是基于预先构建的训练样本集确定的，所述训练样本集中的训练样本中包括配对训练数据，所述配对训练数据中包括原始图像和风格图像，所述风格图像是基于相同采集条件对待渲染部位赋予目标风格化材质参数后确定的；所述待渲染部位与所述待处理部位相适配。
141.根据本公开的一个或多个实施例，【示例二】提供了一种特效图像生成方法，该方法，包括：
142.可选的，确定各训练样本中的配对训练数据；
143.基于各训练样本对待训练特效图转换模型进行处理，得到所述目标特效图转换模型，以基于所述目标特效图转换模型将所述待处理图像中的待处理部位转换为所述目标特效。
144.根据本公开的一个或多个实施例，【示例三】提供了一种特效图像生成方法，该方法，包括：
145.可选的，所述确定各训练样本中的配对训练数据，包括：
146.确定与待渲染部位相对应的至少一种类型的训练样本构造模型；
147.基于各训练样本构造模型以及预先设置的目标风格化材质参数，确定与各训练样本构造模型相对应的配对样本构造模型；
148.基于所述训练样本构造模型和相应的配对样本构造模型，确定各训练样本中的配对训练数据。
149.根据本公开的一个或多个实施例，【示例四】提供了一种特效图像生成方法，该方法，包括：
150.可选的，所述确定与待渲染部位相对应的至少一种类型的训练样本构造模型，包括：
151.获取与所述待渲染部位相对应的至少一种类型的待处理基础模型，并为所述基础模型贴附贴图信息，得到至少一个待使用基础模型；其中，所述至少一种类型与用户属性中的性别相匹配；
152.基于所述至少一个待使用基础模型和预设皮肤材质参数，确定至少一个训练样本构造模型。
153.根据本公开的一个或多个实施例，【示例五】提供了一种特效图像生成方法，该方法，包括：
154.可选的，所述基于所述至少一个待使用基础模型和预设皮肤材质参数，确定至少一个训练样本构造模型，包括：
155.针对各待使用基础模型，将所述待使用基础模型与骨骼信息绑定，并为所述骨骼信息中的绑定至少一组关节显示参数，以基于所述待使用基础模型的操作信息，调取相应的关节显示参数，得到第一模型；其中，所述关节显示参数与所述待使用基础模型的姿态信息相对应；
156.分别为所述第一模型赋予至少一组预设皮肤材质参数，确定至少一个待训练样本构造模型；
157.其中，每一组预设皮肤材质参数与所述用户属性中的年龄相匹配，每一组预设皮肤材质参数中包括血管参数、肤质参数以及斑点信息中的至少一个。
158.根据本公开的一个或多个实施例，【示例六】提供了一种特效图像生成方法，该方法，包括：
159.可选的，所述基于各训练样本构造模型以及预先设置的目标风格化材质参数，确定与各训练样本相对应的配对样本构造模型，包括：
160.针对各训练样本构造模型，为所述当前训练样本构造模型赋予至少一种风格类型的目标风格化材质参数，得到与当前训练样本构造模型相对应的配对样本构造模型。
161.根据本公开的一个或多个实施例，【示例七】提供了一种特效图像生成方法，该方法，包括：
162.可选的，所述基于所述训练样本构造模型和相应的配对样本构造模型，确定各训练样本中的配对训练数据，包括：
163.依次调整采集参数，获取当前训练样本构造模型所对应的原始图像，以及获取与所述当前训练样本构造模型相对应的配对样本构造模型在相同采集参数下的风格图像；其中，所述采集参数包括采集角度和所述当前训练样本构造模型所属环境的光量信息；
164.基于同一采集参数所对应的原始图像和风格图像，确定所述配对训练数据。
165.根据本公开的一个或多个实施例，【示例八】提供了一种特效图像生成方法，该方法，包括：
166.可选的，所述依次调整采集参数，获取当前训练样本构造模型所对应的原始图像，包括：
167.以所述当前训练样本构造模型为球心构建球体网格；其中，所述球体网格上包括多个网格点；
168.基于至少一个目标网格点上部署的采集装置以及包覆所述球体网格的光场，获取与所述当前训练样本构造模型对应的原始图像；
169.其中，所述至少一个目标网格点为预先确定的采集角度，在基于所述光场照射所述当前训练样本构造模型时，为所述光场叠加随机旋转值。
170.根据本公开的一个或多个实施例，【示例九】提供了一种特效图像生成方法，该方法，包括：
171.可选的，所述至少一个目标网格包括所述球体网格的所有网格，所述基于至少一个目标网格点上部署的采集装置以及包覆所述球体网格的光场，获取与所述当前训练样本构造模型对应的原始图像，包括：
172.基于各目标网格上部署的采集装置以及所述光场，获取所述当前训练样本构造模型的待筛选原始图像；
173.从所述待筛选原始图像中，确定所述原始图像；
174.确定所述原始图像的所对应的采集角度，并对所述采集角度对应的至少网格点进行标记，以基于标记的目标网格点采集各训练样本构造模型的原始图像。
175.根据本公开的一个或多个实施例，【示例十】提供了一种特效图像生成方法，该方
法，包括：
176.可选的，所述为所述当前训练样本构造模型赋予至少一种风格类型的目标风格化材质参数，并重新执行所述依次调整采集参数，获取与每一幅原始图像所对应的风格图像，包括：
177.每采集到一幅原始图像，为所述当前训练样本构造模型赋予至少一种风格类型的目标风格化材质参数，并基于与所述原始图像相对应的采集参数，确定风格图像；或，
178.在得到各原始图像后，为所述当前训练样本构造模型赋予至少一种风格类型的目标风格化材质参数，并根据每一幅原始图像的采集参数采集与相应原始图像所对应的风格图像。
179.根据本公开的一个或多个实施例，【示例十一】提供了一种特效图像生成方法，该方法，包括：
180.可选的，所述基于各训练样本对待训练特效图转换模型进行处理，得到所述目标特效图转换模型，包括：
181.针对各训练样本，将当前训练样本中的原始图像、待渲染部位边缘像素坐标以及所述待渲染部位关节点位置信息作为待训练特效图转换模型的输入，将相应的风格图像作为待训练特效图转换模型的输出，以训练得到所述目标特效图转换模型。
182.根据本公开的一个或多个实施例，【示例十二】提供了一种特效图像生成方法，该方法，包括：
183.可选的，所述待处理部位包括肢体躯干上的任意部位，所述任意部位包括手部部位、头部部位、胳膊部位以及腿部部位中的至少一个部位；所述目标风格化材质参数包括渲染的特效所对应的装饰参数。
184.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
185.此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
186.尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。