一种人物图像性别转换模型的训练、图像生成方法及装置与流程

1.本公开实施例涉及图像处理技术，尤其涉及一种人物图像性别转换模型的训练、图像生成方法及装置。


背景技术：

2.相关技术中，可以通过识别人物图像中的人脸状态，从而将人物图像中的人脸状态转换为其他的形象，例如，3d(3-dimensional，三维)虚拟形象、动漫形象或者童话故事中的人物形象等等。但是，这种方法对人物图像进行性别变换时，灵活度较差。


技术实现要素：

3.本公开提供一种人物图像性别转换模型的训练、图像生成方法及装置，以至少解决相关技术中对人物图像进行性别转换时灵活度较差的问题。
4.本公开实施例的技术方案如下：
5.根据本公开实施例的第一方面，提供一种人物图像性别转换模型的训练方法，该方法包括：
6.获取非配对图像样本集，所述非配对图像样本集中包括无配对关系的男性人物图像集和女性人物图像集；所述配对关系表示：任一人物图像经过性别变换且保持背景图像不变，得到的另一人物图像与任一所述人物图像的对应关系；
7.将所述非配对图像样本集输入至第一深度学习模型中进行训练，得到配对图像生成模型，其中，所述第一深度学习模型为循环对抗生成网络，所述配对图像生成模型用于针对所述非配对图像样本集中的各人物图像，分别生成具有所述配对关系的人物图像；
8.将待配对人物图像输入至所述配对图像生成模型中，输出目标人物图像；其中，所述待配对人物图像与所述目标人物图像具有配对关系，构成配对图像样本；
9.将配对图像样本集输入至第二深度学习模型中进行训练，得到人物性别转换模型，其中，所述第二深度学习模型为配对对抗生成网络，所述人物性别转换模型用于执行人物性别转换操作。
10.可选的，在所述将配对图像样本集输入人物图像性别转换模型中进行训练步骤之前，还包括：
11.根据所述目标人物图像中的人物性别，进行符合人物性别特征的非规则图像特征调整；其中，所述非规则图像特征包括下述至少一项：所述目标人物图像中的人物头发、人物所穿衣物或者人物所佩戴的饰品。
12.可选的，所述根据所述目标人物图像中的人物性别，进行符合人物性别特征的非规则图像特征调整步骤包括：
13.识别所述目标人物图像中的人物性别、人物头部轮廓和人物姿态；
14.根据所述人物性别、人物头部轮廓和人物姿态，将替换发型更新至所述目标人物图像中，以进行非规则图像特征调整。
15.可选的，在将替换发型更新至所述目标人物图像中，以进行非规则图像特征调整步骤之后包括：
16.识别所述目标人物图像中的人物外露头发，其中，所述人物外露头发为在所述替换发型外部的人物头发；
17.当所述外露头发覆盖在人脸区域时，根据未被外露头发覆盖的人脸肤色确定外露头发覆盖区域的皮肤颜色，以消除所述外露头发；
18.和/或，
19.当所述外露头发未覆盖在人脸区域时，根据未被外露头发覆盖的图像背景消除所述外露头发。
20.可选的：所述待配对人物图像包括所述非配对图像样本集中的至少一个图像。
21.可选的，在将所述非配对图像样本集输入至配对图像生成模型中进行训练步骤之前，所述方法还包括：
22.对所述非配对图像样本集进行数据清洗，以滤除所述非配对图像样本集中的异常人物图像，其中，所述异常人物图像包括下述至少一种图像：不包含人脸特征的图像，或者过曝的图像；
23.和/或，
24.将所述非配对图像样本集的各人物图像进行尺寸归一化处理，以使各所述人物图像的尺寸相同。
25.根据本公开实施例的第二方面，提供一种图像生成方法，该方法包括：
26.获取至少一个原始人物图像；
27.将原始人物图像输入至人物图像性别转换模型中，输出与所述原始人物图像具有配对关系的目标人物图像，其中，所述人物图像性别转换模型为根据权利要求1-6中任一所述的人物图像性别转换模型的训练方法训练而得；所述配对关系表示：任一人物图像经过性别变换且保持背景图像不变，得到的另一人物图像与任一所述人物图像的对应关系。
28.可选的，获取至少一个原始人物图像步骤包括：
29.从用户通过客户端提供的连续视频帧中，按照设定规则抽取至少一个关键帧，将所述关键帧作为所述原始人物图像。
30.根据本公开实施例的第三方面，提供一种人物图像性别转换模型的训练装置，该装置包括：
31.获取模块，被配置为获取非配对图像样本集，所述非配对图像样本集中包括无配对关系的男性人物图像集和女性人物图像集；所述配对关系表示：任一人物图像经过性别变换且保持背景图像不变，得到的另一人物图像与任一所述人物图像的对应关系；
32.训练模块，将所述非配对图像样本集输入至第一深度学习模型中进行训练，得到配对图像生成模型，其中，所述配对图像生成模型为循环对抗生成网络，所述配对图像生成模型用于针对所述非配对图像样本集中的各人物图像，分别生成具有所述配对关系的人物图像；
33.输出模块，被配置为将待配对人物图像输入至所述配对图像生成模型中，输出目标人物图像；其中，所述待配对人物图像与所述目标人物图像具有配对关系，构成配对图像样本；
34.训练模块，被配置为将配对图像样本集输入至第二深度学习模型中进行训练，得到人物性别转换模型，其中，所述第二深度学习模型为配对对抗生成网络，所述人物性别转换模型用于执行人物性别转换操作。
35.可选的，所述装置还包括：
36.调整模块，被配置为根据所述目标人物图像中的人物性别，进行符合人物性别特征的非规则图像特征调整；其中，所述非规则图像特征包括下述至少一项：所述目标人物图像中的人物头发、人物所穿衣物或者人物所佩戴的饰品。
37.可选的，所述调整模块，具体被配置为识别所述目标人物图像中的人物性别、人物头部轮廓和人物姿态；
38.根据所述人物性别、人物头部轮廓和人物姿态，将替换发型更新至所述目标人物图像中，以进行非规则图像特征调整。
39.可选的，所述装置还包括：
40.识别模块，被配置为识别所述目标人物图像中的人物外露头发，其中，所述人物外露头发为在所述替换发型外部的人物头发；
41.当所述外露头发覆盖在人脸区域时，根据未被外露头发覆盖的人脸肤色确定外露头发覆盖区域的皮肤颜色，以消除所述外露头发；
42.和/或，
43.当所述外露头发未覆盖在人脸区域时，根据未被外露头发覆盖的图像背景的语义信息消除所述外露头发。
44.可选的，所述装置还包括：
45.清洗模块，被配置为对所述非配对图像样本集进行数据清洗，以滤除所述非配对图像样本集中的异常人物图像，其中，所述异常人物图像包括下述至少一种图像：不包含人脸特征的图像，或者过曝的图像；
46.和/或，
47.将所述非配对图像样本集的各人物图像进行尺寸归一化处理，以使各所述人物图像的尺寸相同。
48.根据本公开实施例的第四方面，提供一种图像生成装置，该装置包括：
49.获取模块，被配置为获取至少一个原始人物图像；
50.输出模块，被配置为将原始人物图像输入至人物图像性别转换模型中，输出与所述原始人物图像具有配对关系的目标人物图像，其中，所述人物图像性别转换模型为根据本公开第一方面所述的人物图像性别转换模型的训练方法训练而得；所述配对关系表示：任一人物图像经过性别变换且保持背景图像不变，得到的另一人物图像与任一所述人物图像的对应关系。
51.根据本公开实施例的第五方面，提供一种电子设备，其特征在于，包括：
52.处理器；
53.用于存储所述处理器可执行命令的存储器；
54.其中，所述处理器被配置为执行所述命令，以实现如本公开中任一实施例所述的人物图像性别转换模型的训练方法，或者如本公开中任一实施例所述的物图像生成方法。
55.根据本公开实施例的第六方面，提供一种存储介质，当所述存储介质中的指令由
电子设备的处理器执行时，使得所述电子设备能够执行本公开任意实施例所述的人物图像性别转换模型的训练方法，或者图像生成方法。
56.根据本公开实施例的第八方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，实现本公开任意实施例所述的配对图像数据生成模型的训练方法，或者图像生成方法。
57.本公开的实施例提供的技术方案至少带来以下有益效果：通过获取非配对图像样本集，非配对图像样本集中包括无配对关系的男性人物图像集和女性人物图像集；将非配对图像样本集输入至第一深度学习模型中进行训练，得到配对图像生成模型；将待配对人物图像输入至配对图像生成模型中，输出目标人物图像；将配对图像样本集输入至第二深度学习模型中进行训练，得到人物性别转换模型，人物性别转换模型用于执行人物性别转换操作。本公开的方案，可以解决相关技术中对人物图像进行性别转换时灵活度较差的问题，可以得到与人物图像性别相反的配对图像数据，为后续生成丰富的魔法表情提供依据；可以解决相关技术中对人物图像进行性别转换时灵活度较差的问题，可以得到与人物图像性别相反的配对图像数据，为后续生成丰富的魔法表情提供依据。
58.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
59.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
60.图1是根据一示例性实施例示出的一种人物图像性别转换模型的训练方法的流程图。
61.图2是根据一示例性实施例示出的一种人物图像性别转换模型的训练方法的流程图。
62.图3是根据一示例性实施例示出的一种人物图像性别转换模型的训练方法的流程图。
63.图4是根据一示例性实施例示出的一种图像生成方法的流程图。
64.图5是根据一示例性实施例示出的一种图像生成方法的流程图。
65.图6是根据一示例性实施例示出的一种人物图像性别转换模型的训练方法的流程图。
66.图7a是根据一示例性实施例示出的一种图像生成方法的流程图。
67.图7b是根据一示例性实施例示出的一种魔法表情人物图像的生成方法生成的魔法表情的示意图。
68.图7c是根据一示例性实施例示出的一种图像生成方法生成的魔法表情的示意图。
69.图7d是根据一示例性实施例示出的一种图像生成方法生成的魔法表情的示意图。
70.图8是根据一示例性实施例示出的一种人物图像性别转换模型的训练装置框图。
71.图9是根据一示例性实施例示出的一种图像生成装置框图。
72.图10是根据一示例性实施例示出的一种电子设备的结构框图。
具体实施方式
73.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
74.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
75.图1是根据一示例性实施例示出的一种人物图像性别转换模型的训练方法的流程图，如图1所示，人物图像性别转换模型的训练方法可以通过人物图像性别转换模型的训练装置执行，该装置可以通过软件和/或硬件的方式实现，并用于电子设备中，该电子设备可以为服务器，该方法包括以下步骤。
76.在步骤s11中，获取非配对图像样本集，非配对图像样本集中包括无配对关系的男性人物图像集和女性人物图像集。
77.其中，本实施例中涉及到的配对关系表示：任一人物图像经过性别变换且保持背景图像不变，得到的另一人物图像与任一人物图像的对应关系。示例性的，男性人物图像a和女性人物图像a具有配对关系；那么，男性人物图像a与女性人物图像a除性别相反之外，其余特征均相同，例如，两张人物图像的背景，以及两张人物图像中的人物五官均相同。
78.本实施例中，非配对图像样本集中可以包括男性人物图像集和女性人物图像集；其中，男性人物图像集中包括的多个男性人物图像，和女性人物图像集中包括的多个女性人物图像之间不存在配对关系，即非配对图像样本集中包括的多个人物图像之间，均不存在配对关系。
79.在本实施例的一个可选实现方式中，获取到的非配对图像样本集可以包括2万张人物图像，其中，2万张人物图像中包括1万张男性人物图像，以及1万张女性人物图像，各个男性人物图像与女性人物图像之间不存在配对关系。
80.在步骤s12中，将非配对图像样本集输入至第一深度学习模型中进行训练，得到配对图像生成模型。
81.其中，第一深度学习模型为循环对抗生成网络；配对图像生成模型用于针对非配对图像样本集中的各人物图像，分别生成具有配对关系的人物图像。
82.在本实施例的一个可选实现方式中，在获取到非配对图像样本集之后，可以将非配对图像样本集输入至第一深度学习模型中进行训练，从而调整第一深度学习模型的参数，当迭代次数达到设定次数时(例如，10万次或者20万次，本实施例中对其不加以限定)，或者第一深度学习模型收敛时，可以停止对第一深度学习模型的训练。其中，第一深度学习模型为循环对抗生成网络(cycle-constraint adversarial network，cycle gan)，从而得到配对图像生成模型。需要说明的是，配对图像生成模型可以生成非配对图像样本集中的每个人物图像的配对图像，即可以生成与非配对图像样本集中的每个人物图像具有配对关系的人物图像。
83.示例性的，在获取到非配对图像样本集之后，可以将该非配对图像样本集输入至
cycle gan网络中进行训练，从而调整cycle gan网络的网络参数，当迭代次数达到设定次数时(例如，10万次或者20万次)，或者cycle gan网络收敛时，停止对cycle gan网络的训练，从而得到配对图像生成模型。
84.在步骤s13中，将待配对人物图像输入至配对图像生成模型中，输出目标人物图像。
85.其中，待配对人物图像与目标人物图像具有配对关系，构成配对图像样本。
86.需要说明的是，本实施例中涉及到的待配对人物图像可以为在步骤s11中获取到的非配对图像样本集中的任一图像；同时，本实施例中对待配对图像中的人物性别也不作限定，其既可以为男性人物图像，也可以为女性人物图像。
87.在本实施例的一个可选实现方式中，将待配对人物图像输入至训练得到的配对图像生成模型中之后，可以得到与待配对人物图像配对的目标人物图像，其中，待配对人物图像与目标人物图像的性别相反，且背景图像相同；每个待配对人物图像与其配对的目标人物图像构成一个配对图像样本，即具有配对关系。示例性的，如果待配对人物图像为男性人物图像a，将其输入至配对图像生成模型中，可以得到与男性人物图像a具有配对关系的女性人物图像a，且男性人物图像a与女性人物图像a构成一个配对图像样本；如果待配对人物图像为女性人物图像b，将其输入至配对图像生成模型中，可以得到与女性人物图像b具有配对关系的男性人物图像b，且女性人物图像b与男性人物图像b构成一个配对图像样本。
88.在步骤s14中，将配对图像样本集输入至第二深度学习模型中进行训练，得到人物图像性别转换模型。
89.其中，第二深度学习模型为配对对抗生成网络，人物性别转换模型用于执行人物性别转换操作。需要说明的是，本实施例中训练得到的人物性别转换模型可以对任一人物图像进行性别转换，并且可以保持人物图像的背景图像不变。例如，将男性人物图像a输入至本实施例中训练得到的人物性别转换模型中，可以得到女性人物图像a；其中男性人物图像a与女性人物图像性别相反，背景图像相同。
90.需要说明的是，本实施例中涉及到的配对图像样本集中可以包括多个配对图像样本，例如，100个、1万个或者10万个等，本实施例中对其不加以限制。
91.在本实施例的一个可选实现方式中，在获取到配对图像样本集之后，可以进一步的将获取到的配对样本集输入至第二深度学习模型中进行训练，从而优化第二深度学习模型中的各个参数，直至迭代次数达到设定次数时(例如，10万次或者20万次，本实施例中对其不加以限定)，或者第二深度学习模型收敛时，可以停止对第二深度学习模型的训练，从而得到人物图像性别转换模型；其中，第二深度学习模型为配对对抗生成网络(pix2pix)。
92.示例性的，在获取到配对图像样本集之后，可以将该配对图像样本集输入至pix2pix网络中进行训练，从而调整pix2pix的网络参数，当迭代次数达到设定次数时(例如，10万次或者20万次)，或者pix2pix网络收敛时，停止对pix2pix网络的训练，从而得到人物图像性别转换模型。
93.本实施例的方案，通过获取非配对图像样本集，非配对图像样本集中包括无配对关系的男性人物图像集和女性人物图像集；将非配对图像样本集输入至第一深度学习模型中进行训练，得到配对图像生成模型；将待配对人物图像输入至配对图像生成模型中，输出目标人物图像；将配对图像样本集输入至第二深度学习模型中进行训练，得到人物性别转
换模型；可以解决相关技术中对人物图像进行性别转换时灵活度较差的问题，可以得到与人物图像性别相反的配对图像数据，为后续生成丰富的魔法表情提供依据。
94.图2是根据一示例性实施例示出的一种人物图像性别转换模型的训练方法的流程图，本实施例是对上述技术方案的进一步细化，本实施例中的技术方案可以与上述一个或者多个实施例中的各个可选方案结合。如图2所示，人物图像性别转换模型的训练方法包括如下步骤。
95.在步骤s21中，获取非配对图像样本集，非配对图像样本集中包括无配对关系的男性人物图像集和女性人物图像集。
96.在步骤s22中，将非配对图像样本集输入至第一深度学习模型中进行训练，得到配对图像生成模型。
97.在步骤s23中，将待配对人物图像输入至配对图像生成模型中，输出目标人物图像。
98.在步骤s24中，根据目标人物图像中的人物性别，进行符合人物性别特征的非规则图像特征调整。
99.其中，非规则图像特征可以包括下述至少一项：目标人物图像中的人物头发、人物所穿衣物或者人物所佩戴的饰品。其中，人物所佩戴的饰品可以包括耳环、项链或者发卡等，本实施例中对其不加以限定。
100.在本实施例的一个可选实现方式中，在将待配对人物图像输入至配对图像生成模型中，生成与待配对人物图像配对的目标人物图像之后，可以进一步的根据目标人物图像中的人物性别，进行符合人物性别特征的非规则图像特征调整，例如，可以根据目标人物图像中的人物性别更换人物的发型或者人物穿着的衣物等。
101.这样设置的好处在于，通过对人物性别特征的非规则特征进行调整，可以增强转换性别后的目标图像的真实感。
102.可选的，根据目标人物图像中的人物性别，进行符合人物性别特征的非规则图像特征调整可以包括：识别目标人物图像中的人物性别、人物头部轮廓和人物姿态；根据人物性别、人物头部轮廓和人物姿态，将替换发型更新至目标人物图像中，以进行非规则图像特征调整；其中，替换发型可以存储在发型库中。
103.在本实施例的一个可选实现方式中，可以先识别目标人物图像中的人物性别、人物头部轮廓和人物姿态，并进一步的根据识别到的人物性别、人物头部轮廓和人物姿态，将替换发型更新至目标人物图像中，其中，替换发型可以为存储在发型库中的任一发型，例如，长直发、黑色卷发或者金色短发等等，本实施例中对其不加以限定。
104.在本实施例的另一个可选实施方式中，在识别到目标人物图像中的人物性别、人物头部轮廓和人物姿态之后，可以进一步的使用基于pnp(perspective-n-point，多点透视成像)的相机姿态估计算法，将替换发型更新至目标人物图像中，例如，将替换发型更新在目标人物图像的人物头部。
105.可选的，在将替换发型更新至目标人物图像中，以进行非规则图像特征调整之后，还可以包括：识别目标人物图像中的人物外露头发，其中，人物外露头发为在替换发型外部的人物头发；如果确定外露头发覆盖在人脸区域，则根据未被外露头发覆盖的人脸肤色确定外露头发覆盖区域的皮肤颜色，以消除外露头发；和/或，如果确定外露头发未覆盖在人
脸区域，则根据未被外露头发覆盖的图像背景的语义信息消除外露头发。
106.在本实施例的一个可选实现方式中，在将替换发型更新至目标人物图像之后，可以进一步的识别目标人物图像中的人物外露头发，其中，人物外露头发可以为在替换发型外部的人物头发。示例性的，如果目标人物图像中在更新替换发型前的发型为有刘海的长发，替换发型为无刘海的齐耳短发，那么外露头发为未被无刘海短发遮住的刘海，以及耳朵下面的长发。
107.进一步的，如果确定外露头发的覆盖在人脸区域(例如，额头)，那么可以根据未被外露头发覆盖的人脸肤色(例如，脸颊肤色)确定外露头发覆盖在人脸区域的皮肤颜色，从而重建被刘海覆盖区域的人脸肤色，以消除覆盖在人脸区域的外露头发。
108.示例性的，如果确定外露头发的覆盖在额头上，则可以对额头的皮肤进行mask覆盖(如，涂成白色)，用目标人物图像进行监督，从而重建出mask覆盖区域的皮肤。例如，消除刘海过程是，对用户刘海区域进行覆盖，经消刘海网络计算后，mask区域被重建为用户皮肤，此时完成刘海消除。
109.进一步的，如果确定外露头发未覆盖在人脸区域，则根据未被外露头发覆盖的图像背景的语义信息消除外露头发。示例性的，如果确定外露头发覆盖在人物肩膀上，则可以根据未被外露头发覆盖的图像北京的语义信息消除外露头发。
110.在本实施例的一个可选实现方式中，可以通过inpainting算法，消除未覆盖在人脸区域的外露头发，并还原对应的背景等语义信息。
111.这样设置的好处在于，可以消除外露于替换发型外的用户头发，增强了转换性别后的目标图像的真实感。
112.在步骤s25中，将配对图像样本集输入至第二深度学习模型中进行训练，得到人物性别转换模型。
113.本实施例的方案，在得到目标人物图像之后，可以通过识别目标人物图像中的人物性别、人物头部轮廓和人物姿态；根据人物性别、人物头部轮廓和人物姿态，将替换发型更新至目标人物图像中，以进行非规则图像特征调整，在得到与人物图像性别相反的配对图像数据的同时，也可以对人物性别特征的非规则图像特征进行调整，增强了转换性别后的目标图像的真实感，为后续生成丰富的魔法表情提供依据。
114.图3是根据一示例性实施例示出的一种人物图像性别转换模型的训练方法的流程图，本实施例是对上述技术方案的进一步细化，本实施例中的技术方案可以与上述一个或者多个实施例中的各个可选方案结合。如图3所示，人物图像性别转换模型的训练方法包括如下步骤。
115.在步骤s31中，获取非配对图像样本集，非配对图像样本集中包括无配对关系的男性人物图像集和女性人物图像集。
116.在步骤s32中，对非配对图像样本集进行数据清洗，以滤除非配对图像样本集中的异常人物图像；和/或将非配对图像样本集的各人物图像进行尺寸归一化处理，以使各人物图像的尺寸相同。
117.在本实施例的一个可选实现方式中，在获取到非配对图像样本集之后，可以进一步的对获取到的非配对图像样本集进行数据清洗，例如，可以滤除不清晰的图像样本，滤除不包含人脸特征的图像样本或者滤除过曝的图像样本等，本实施例中对其不加以限制。
118.进一步的，也可以对非配对图像样本集的各人物图像进行尺寸归一化处理，保证输入至配对图像生成模型中的样本图像的尺寸相同。
119.在步骤s33中，将非配对图像样本集输入至第一深度学习模型中进行训练，得到配对图像生成模型。
120.在步骤s34中，将待配对人物图像输入至配对图像生成模型中，输出目标人物图像。
121.在步骤s35中，根据目标人物图像中的人物性别，进行符合人物性别特征的非规则图像特征调整。
122.在步骤s36中，将配对图像样本集输入至第二深度学习模型中进行训练，得到人物图像性别转换模型。
123.本实施例的方案，通过对非配对图像样本集进行数据清洗，以滤除非配对图像样本集中的异常人物图像；将非配对图像样本集的各人物图像进行尺寸归一化处理，以使各人物图像的尺寸相同，可以对获取到的非配对图像样本集进行清洗，进而提高后续对配对图像生成模型的训练准确率，以及对人物图像性别转换模型的训练准确率，为后续生成丰富的魔法表情提供依据。
124.图4是根据一示例性实施例示出的一种图像生成方法的流程图，如图1所示，图像生成方法可以图像生成装置执行，该装置可以通过软件和/或硬件的方式实现，并用于电子设备中，该电子设备可以为计算机、服务器或者智能手机等，该方法包括以下步骤。
125.在步骤s41中，获取至少一个原始人物图像。
126.在本实施例的一个可选实现方式中，可以从客户端获取用户提供的至少一个原始人物图像；其中，客户端可以为智能手机、平板电脑或者计算机等，本实施例中对其不加以限制。需要说明的是，本实施例中涉及到的魔法表情就是指将用户的人脸状态转换为其他状态(魔法表情)，例如，将用户的人脸状态转换为卡通形象、动漫形象或者其他3d虚拟形象等等，本实施例中对其不加以限定。
127.在本实施例的一个可选实现方式中，当用户在客户端录制小视频或者拍照时，即可获取到用户录制的小视频或者拍摄的照片中的人物图像，该人物图像即为原始人物图像。
128.需要说明的是，当用户录制小视频时，由于每个小视频都包括多个连续的视频帧，每一个视频帧都可以看作是一个图像，因此，在用户录制的小视频中可以获取到多个原始人物图像。
129.示例性的，在本实施例中，当接收到用户的视频或者拍照触发指令时，即可实时的获取视频数据中包含的多个原始人物图像，以及拍摄的照片中包含的原始人物图像。
130.在步骤s42中，将原始人物图像输入至人物图像性别转换模型中，输出与原始人物图像具有配对关系的目标人物图像。
131.其中，人物图像性别转换模型为根据本公开中任一实施例中涉及到的人物图像性别转换模型的训练方法训练而得；配对关系表示：任一人物图像经过性别变换且保持背景图像不变，得到的另一人物图像与任一人物图像的对应关系。
132.在本实施例的一个可选实现方式中，在获取到用户通过客户端提供的至少一个原始人物图像之后，可以进一步的将获取到的原始人物图像输入至人物图像性别转换模型
中，从而生成与输入的原始人物图像具有配对关系的目标人物图像。
133.示例性的，若原始人物图像为一个短发的男性人物图像，将该图像输入至人物图像性别转换模型中，可以输出与短发的男性人物图像配对的长发的女性人物图像。
134.需要说明的是，本实施例中涉及到的原始人物图像与其配对的目标人物图像之间除人物性别不相同之外，两张图像的背景，以及与这两张图像对应的用户id(identity document，身份识别码)是相同的。可以理解的是，若两张人物图像除性别相反之外，这两张图像的背景，以及与这两张图像对应的用户id是相同的，那么可以确定这两张人物图像是配对图像，具有配对关系。
135.在本实施例的一个可选实现方式中，当得到与原始人物图像配对的目标人物图像之后，可以进一步的将得到的目标人物图像通过客户端向用户展示。
136.本实施例的方案，通过获取用户通过客户端提供的至少一个原始人物图像；将原始人物图像输入至人物图像性别转换模型中，输出与原始人物图像具有配对关系的目标人物图像；解决了相关技术中对人物图像进行性别转换灵活性较差的问题，可以生成与用户性别相反的魔法表情，可以生成形象丰富的魔法表情。
137.图5是根据一示例性实施例示出的一种魔法表情人物图像的生成方法的流程图，本实施例是对上述技术方案的进一步细化，本实施例中的技术方案可以与上述一个或者多个实施例中的各个可选方案结合。如图5所示，人魔法表情人物图像的生成方法包括如下步骤。
138.在步骤s51中，从用户通过客户端提供的连续视频帧中，按照设定规则抽取至少一个关键帧，将关键帧作为原始人物图像。
139.在本实施例的一个可选实现方式中，可以从用户通过客户端提供的连续视频帧中，按照设定规则抽取至少一个关键帧，将关键帧作为原始人物图像。其中，设定规则可以为随机抽取规则，例如，随机在客户端提供的连续视频帧中随机抽取多个视频帧，并将抽取到的多个视频帧作为关键帧；设定规则也可以为间隔抽取规则，例如，可以每间隔一定数量的(例如，2个或者3个等)视频帧，抽取一个视频帧，作为关键帧；设定规则还可以为全部抽取规则，例如，将客户端提供的全部视频帧作为关键帧，本实施例中还可以通过其他规则抽取关键帧，本实施例中在此不再对其进行赘述，其并不是对本实施例的限定。
140.可以理解的是，每一个视频帧都可以看作是一个原始人物图像，那么本实施例中即可将通过上述任一规则采集到的关键帧作为原始人物图像。
141.在步骤s52中，将原始人物图像输入至人物图像性别转换模型中，输出与原始人物图像具有配对关系的目标人物图像。
142.在步骤s53中，识别目标人物图像中的人脸关键点以及人脸轮廓。
143.在本实施例的一个可选实现方式中，在得到与原始人物图像配对的目标人物图像之后，可以进一步的识别目标人物图像中的人脸关键点以及人脸轮廓；其中，人脸关键点可以包括：眼睛、鼻子、嘴巴、额头或者耳朵等等，本实施例中对其不加以限定。
144.可选的，本实施例中可以通过人脸关键点检测模型识别目标人物图像中的人脸关键点，通过语义分割模型分割目标人物图像中的人脸轮廓。
145.其中，人脸关键点检测模型可以为dcnn(deep convolutional network，深度卷积神经网络)、mtcnn(multi-task cascaded convolutional networks，多任务级联卷积神经
网络)或者dan(deep alignment network，深度对准网络)等人脸关键点检测模型对目标人物图像的人脸关键点进行检测。语义分割模型可以为fcns(fully convolution networks，全卷积网络)、mask r-cnn(mask region convolutional network，掩模区域卷积网络)或者pspnet(pyramid scene parsing network，金字塔场景解析网络)等予以分割模型对目标人物图像的人脸轮廓进行分割。
146.在本实施例的一个可选实现方式中，可以检测较为稀疏的人脸关键点，如68、81或者106个，定位人脸上比较明显且重要的特征点(如眼睛关键点、眉毛关键点、鼻子关键点、嘴巴关键点、轮廓关键点等)，以降低处理量、减少处理时间。
147.在步骤s54中，根据人脸关键点以及人脸轮廓对目标人物图像进行美妆处理，以得到魔法表情人物图像，更新为目标人物图像。
148.在本实施例的一个可选实现方式中，在获取到目标人物图像中的人脸关键点以及人脸轮廓之后，可以进一步的根据目标人物图像中的人脸关键点以及人脸轮廓对目标人物图像进行美妆处理，从而得到魔法表情人物图像，并将美妆处理后的人物图像确定更新为目标人物图像。
149.在本实施例的一个可选实现方式中，根据人脸关键点以及人脸轮廓对目标人物图像进行美妆处理可以包括：识别用户选取的美妆素材；根据人脸关键点以及人脸轮廓确定美妆素材的添加位置，并将美妆素材添加至位置上。
150.其中，美妆素材可以为眼影、口红、耳环、发饰、项链或者珍珠眼泪等等，本实施例中对其不加以限制。
151.在具体实现中，客户端识别到用户选取的美妆素材之后，可以进一步的根据获取到的人脸关键点以及人脸轮廓确定美妆素材的添加位置，并根据确定的添加位置将美妆素材添加到该位置上。
152.示例性的，若用户选取的美妆素材为眼影，则可以根据获取到的人脸关键点以及人脸轮廓确定眼皮的位置，并将用户选取的眼影添加在眼皮上；若用户选取的美妆素材为耳环，则可以根据获取到的人脸关键点以及人脸轮廓确定耳朵的位置，并将用户选取的耳环添加在耳朵上。
153.在本实施例的一个可选实现方式中，当将用户选取的美妆素材添加至相应位置之后，可以进一步的确认用户对美妆处理是否满意，如果不满意，用户可以通过点头或者摇头等方式更换美妆素材，或者美妆素材的添加位置等，本实施例中对其不加以限制。
154.在本实施例的一个可选实现方式中，在得到美妆处理后的目标人物图像之后，可以根据目标人物图像更新在客户端采集的连续视频帧中关键帧和相连帧的人物图像，并向客户端展示。
155.本实施例的方案，通过识别目标人物图像中的人脸关键点以及人脸轮廓；根据人脸关键点以及人脸轮廓确定美妆素材的添加位置，并将美妆素材添加至位置上，可以实现对目标人物图像的美妆处理，可以构建多款不同的魔法表情，丰富了魔法表情，提升了用户体验。
156.为了更好地理解本公开实施例，图6是根据一示例性实施例示出的一种人物图像性别转换模型的训练方法的流程图，该方法可以在服务器中运行，参考图6，其主要包括如下步骤。
157.在步骤s61中，收集男性人物图像数据集和女性人物图像数据集。
158.具体的，可以收集大量的男性和女性真实图像；进一步的，对收集到的数据集进行数据处理，例如，去除异常数据、对采集到的数据集进行归一化等。
159.在步骤s62中，训练cycle gan网络。
160.将数据处理后的男性人物图像数据集和女性人物图像数据集，输入至cycle gan网络中进行训练。
161.在步骤s63中，获取男、女配对图像数据。
162.训练完成后的cycle gan网络，对于任一用户图像，可将其进行性别变换，变换前后的图像中用户id信息和背景不变。根据训练后的cycle gan可以生成大量性别变化前后的图像对，即男、女配对图像数据。
163.在步骤s64中，优化男、女配对图像数据。
164.经观察，通过步骤s63获取到的男、女配对图像数据存在如下问题：
165.1.变性别时，会生成非规则头发。以男变女为例，在视频上的表现是，出现不断闪动的长发。
166.为解决此问题，本实施例使用了设计师设计的男、女多款3d发型，并使用基于pnp的相机姿态估计算法，将3d发型贴至每张图像上。此时，就得到拥有固定发型的男、女配对图像数据。
167.2.存在部分用户头发外露于固定发型的情况，严重影响了整体真实感。
168.为解决此问题，本实施例将外露的用户头发分为两部分：覆盖在人脸区域的外露头发，以及覆盖在非人脸区域的外露头发；针对覆盖在人脸区域的外露头发，本实施例自行设计了消刘海网络，其核心是，重建用户人脸皮肤。具体指，对用户人脸部分区域(如，额头等)的皮肤进行mask覆盖(如，涂成白色)，用用户原图进行监督，促使网络可以重建出mask覆盖区域的皮肤。具体的消除覆盖在人脸区域的外露头发的过程可以是，对用户覆盖在人脸区域的外露头发区域进行覆盖，经消覆盖在人脸区域的外露头发网络计算后，mask区域被重建为用户皮肤，此时完成覆盖在人脸区域的外露头发消除。针对覆盖在非人脸区域的外露头发，本实施例应用inpainting相关算法，消除由mask标记的覆盖在非人脸区域的外露头发，并还原对应的背景等语义信息。
169.在步骤s65中，训练pix2pix网络。
170.将优化后的后的男、女配对图像数据输入至pix2pix网络，对pix2pix网络进行训练。训练完成后，该网络可以对任意输入的用户图像进行性别转换，同时保留用户的id信息和背景信息，并在用户头上生成固定的发型，并消除掉用户多余的头发。
171.为了更好地理解本公开实施例，图7a是根据一示例性实施例示出的一种魔法表情人物图像的生成方法的流程图，该方法可以在移动终端实时运行，参考图7a，其主要包括如下步骤。
172.在步骤s71中，获取用户人物图像。
173.实际运行时，对于用户拍摄的短视频，进行实时抽帧。
174.在步骤s72中，获取与用户人物图像配对的目标人物图像。
175.将用户人物图像输入至pix2pix，得到与用户人物图像配对的目标人物图像。
176.在步骤s73中，调用关键点网络和语义分割网络，得到人脸关键点和人脸mask等分
割信息，再结合对应的素材，得到性别变换后的最终结果。
177.为了更好地理解本公开实施例，图7b-图7d是根据一示例性实施例示出的一种魔法表情人物图像的生成方法生成的魔法表情的示意图，从图7b中可以看出，本实施例中可以根据用户的需求对人物的发型进行更换，并确定用户对替换的发型是否满意，当用户不满意时，可以通过摇头等方式更换用户发型；从图7c中可以看出，本实施例中可以根据用户的需求对人物的妆容进行更换，并确定用户对妆容是否满意，当用户不满意时，可以通过摇头等方式更换用户妆容。需要说明的是，本实施例中还可以对用户的佩戴的饰品或者装饰等进行更换，本实施例中在此不再对其进行赘述，可以理解的是，其并不是对本实施例的限定。从图7d可以看出，本实施例中还可以生成其他的魔法表情，例如，邻家女孩、雅痞、霸气变身、变男神、变女神、百变男神、百变女神、旗袍美人以及校服少年等，本实施例中对其不作限定。
178.图8是根据一示例性实施例示出的一种人物图像性别转换模型的训练装置框图。参照图8，该装置包括获取模块81、训练模块82、输出模块83和训练模块84。
179.获取模块81，被配置为获取非配对图像样本集，非配对图像样本集中包括无配对关系的男性人物图像集和女性人物图像集；
180.训练模块82，被配置为将非配对图像样本集输入至第一深度学习模型中进行训练，得到配对图像生成模型，其中，配对图像生成模型为循环对抗生成网络，配对图像生成模型用于针对非配对图像样本集中的各人物图像，分别生成具有配对关系的人物图像；
181.输出模块83，被配置为将待配对人物图像输入至配对图像生成模型中，输出目标人物图像；其中，待配对人物图像与目标人物图像具有配对关系，构成配对图像样本；
182.训练模块84，被配置为将配对图像样本集输入至第二深度学习模型中进行训练，得到人物性别转换模型，其中，第二深度学习模型为配对对抗生成网络，人物性别转换模型用于执行人物性别转换操作。
183.本实施例的方案，通过获取模块获取非配对图像样本集，非配对图像样本集中包括无配对关系的男性人物图像集和女性人物图像集；通过训练模块将非配对图像样本集输入至第一深度学习模型中进行训练，得到配对图像生成模型；通过输出模块将待配对人物图像输入至配对图像生成模型中，输出目标人物图像；通过训练模块将配对图像样本集输入至第二深度学习模型中进行训练，得到人物性别转换模型，解决了相关技术中对人物图像进行性别转换时灵活度较差的问题，可以得到与人物图像性别相反的配对图像数据，为后续生成丰富的魔法表情提供依据。
184.可选的，人物图像性别转换模型的训练装置还包括：调整模块，被配置为根据目标人物图像中的人物性别，进行符合人物性别特征的非规则图像特征调整；其中，非规则图像特征包括下述至少一项：目标人物图像中的人物头发、人物所穿衣物或者人物所佩戴的饰品。
185.可选的，调整模块，具体被配置为识别目标人物图像中的人物性别、人物头部轮廓和人物姿态；
186.根据人物性别、人物头部轮廓和人物姿态，将替换发型更新至目标人物图像中，以进行非规则图像特征调整。
187.可选的，本实施例中涉及到的人物图像性别转换模型的训练装置还包括：装置还
包括：识别模块，被配置为识别目标人物图像中的人物外露头发，其中，人物外露头发为在替换发型外部的人物头发；当外露头发覆盖在人脸区域时，根据未被外露头发覆盖的人脸肤色确定外露头发覆盖区域的皮肤颜色，以消除外露头发；和/或，当外露头发未覆盖在人脸区域时，根据未被外露头发覆盖的图像背景的语义信息消除外露头发。
188.可选的，本实施例中涉及到的待配对人物图像为非配对图像样本集中的任一图像。
189.可选的，人物图像性别转换模型的训练装置还包括：清洗模块，被配置为对非配对图像样本集进行数据清洗，以滤除非配对图像样本集中的异常人物图像，其中，异常人物图像包括下述至少一种图像：不包含人脸特征的图像，或者过曝的图像；和/或，将非配对图像样本集的各人物图像进行尺寸归一化处理，以使各人物图像的尺寸相同。
190.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
191.图9是根据一示例性实施例示出的一种魔法表情人物图像的生成装置框图。参照图9，该装置包括获取模块91和输出模块92。
192.获取模块91，被配置为获取至少一个原始人物图像；
193.输出模块92，被配置为将原始人物图像输入至人物图像性别转换模型中，输出与原始人物图像具有配对关系的的目标人物图像，其中，人物图像性别转换模型为根据本公开中任一实施例中涉及到的人物图像性别转换模型的训练方法训练而得；配对关系表示：任一人物图像经过性别变换且保持背景图像不变，得到的另一人物图像与任一人物图像的对应关系。
194.本实施例的方案，通过获取模块获取用户通过客户端提供的至少一个原始人物图像；通过输出模块将原始人物图像输入至人物图像性别转换模型中，输出与原始人物图像具有配对关系的目标人物图像，解决了相关技术中对人物图像进行性别转换时灵活性较差的问题，可以生成与用户性别相反的魔法表情，可以生成形象丰富的魔法表情。
195.可选的，获取模块91，具体被配置为从用户通过客户端提供的连续视频帧中，按照设定规则抽取至少一个关键帧，将关键帧作为原始人物图像；
196.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
197.图10是根据一示例性实施例示出的一种电子设备的结构框图。如图10所示，该电子设备包括处理器101；用于存储处理器101的可执行指令的存储器102，存储器102可以包括随机存取存储器(random access memory，ram)和只读存储器(read-only memory，rom)；其中，处理器101被配置为执行指令，以实现上述人物图像性别转换模型的训练方法，或者魔法表情人物图像的生成方法。
198.在示例性实施例中，还提供了一种包括指令的存储介质，例如存储可执行指令的存储器102，上述指令可由电子设备(服务器或智能终端)的处理器101执行以完成上述人物图像性别转换模型的训练方法，或者魔法表情人物图像的生成方法。
199.可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
200.在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品中的指
令由电子设备(服务器或智能终端)的处理器执行时，实现上述人物图像性别转换模型的训练方法，或者魔法表情人物图像的生成方法。
201.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
202.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。