人脸图像卡通化处理方法、装置、计算机设备和存储介质与流程

1.本技术涉及工智能技术领域以及图像处理技术领域，特别是涉及一种人脸图像卡通化处理方法、装置、计算机设备和存储介质。


背景技术：

2.随着计算机技术和人工智能的迅速发展，各种基于计算机视觉的图像处理技术不断涌现，例如，将二维图像中信息进行三维重建处理，具体如生成三维卡通人脸等场景。相关技术中，通常是提取人脸各五官部件的特征，然后在三维卡通人脸数据库中匹配与五官部件相似的卡通人脸素材，然后对这些卡通人脸素材缩放后进行三维卡通人脸重建及插值运算等，以生成三维卡通人脸。
3.然而，目前的这种方式需要对三维卡通人脸的五官进行逐一拆解，处理效率较低，且生成的三维卡通人脸的精度较低，与真实人脸的相似度差别较大。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够有效生成与真实的用户人脸相似的三维卡通人脸形象的人脸图像卡通化处理方法、装置、计算机设备和存储介质。
5.一种人脸图像卡通化处理方法，所述方法包括：
6.从真实人脸图像中提取人脸特征点和形象特征；
7.基于所述人脸特征点构建与所述真实人脸图像相应的三维的仿真人脸模型；
8.获取所述仿真人脸模型与三维仿真人脸模板之间的差异特征；
9.基于所述三维仿真人脸模板与三维卡通人脸模板之间的语义映射关系，将所述差异特征迁移至所述三维卡通人脸模板，得到三维的卡通人脸模型；
10.根据所述形象特征对所述卡通人脸模型进行形象渲染，生成三维卡通形象。
11.一种人脸图像卡通化处理装置，所述装置包括：
12.特征提取模块，用于从真实人脸图像中提取人脸特征点和形象特征；
13.三维人脸重建模块，用于基于所述人脸特征点构建与所述真实人脸图像相应的三维的仿真人脸模型；
14.差异特征提取模块，用于获取所述仿真人脸模型与三维仿真人脸模板之间的差异特征；
15.差异特征迁移模块，用于基于所述三维仿真人脸模板与三维卡通人脸模板之间的语义映射关系，将所述差异特征迁移至所述三维卡通人脸模板，得到三维的卡通人脸模型；
16.三维卡通形象生成模块，用于根据所述形象特征对所述卡通人脸模型进行形象渲染，生成三维卡通形象。
17.在一个实施例中，所述人脸特征点为二维的人脸特征点；所述三维人脸重建模块还用于获取所述二维的人脸特征点在三维仿真人脸模板中的特征点映射矩阵；基于所述人脸特征点和所述特征点映射矩阵进行参数估计，得到三维人脸参数；基于所述三维人脸参
数，构建与所述真实人脸图像相应的三维的仿真人脸模型。
18.在一个实施例中，所述三维人脸重建模块还用于基于所述人脸特征点和所述特征点映射矩阵进行相机参数迭代估计，在满足第一迭代条件后，得到相机参数；基于所述人脸特征点、所述特征点映射矩阵和所述相机参数，进行人脸参数迭代估计，满足第二迭代条件后得到人脸形状基参数和人脸表情基参数；根据所述相机参数、所述人脸形状基参数和所述人脸表情基参数，构建与所述真实人脸图像相应的三维的仿真人脸模型。
19.在一个实施例中，所述仿真人脸模型的拓扑结构中包括多个三角面；所述差异特征提取模块还用于获取所述仿真人脸模型中的各三角面，在所述三维仿真人脸模板中相对应的三角面上的第一变形梯度；根据所述第一变形梯度，得到所述仿真人脸模型中的各三角面与所述三维仿真人脸模板中相对应的各三角面之间的仿射变换映射矩阵；所述仿射变换映射矩阵，用于表征所述仿真人脸模型与所述三维仿真人脸模板之间的差异特征。
20.在一个实施例中，所述三维卡通人脸模板的拓扑结构中包括多个三角面；所述差异特征迁移模块还用于基于所述三维仿真人脸模板与三维卡通人脸模板之间的语义映射关系，将所述仿真人脸模型与所述三维卡通人脸模板进行对齐处理；在对齐后的三维卡通人脸模板中的各三角面中，查找与所述仿真人脸模型中的各三角面相匹配的三角面，得到所述仿真人脸模型中的各三角面与所述三维卡通人脸模板中的三角面之间的三角面映射关系；按照所述三角面映射关系将所述差异特征迁移至所述三维卡通人脸模板，得到三维的卡通人脸模型。
21.在一个实施例中，所述差异特征迁移模块还用于根据所述三角面映射关系和所述仿射变换映射矩阵，对所述三维卡通人脸模板中原始的三角面进行变形处理，确定所述三维卡通人脸模板中原始的三角面与变形后的三角面之间的第二变形梯度；朝着使所述第二变形梯度与所述第一变形梯度之间的差异最小化的方向，根据所述三角面映射关系和所述仿射变换映射矩阵，对所述对齐后的三维卡通人脸模板中的各三角面进行迭代变形处理；在满足迭代停止条件后，得到三维的卡通人脸模型。
22.在一个实施例中，所述特征提取模块还用于从真实人脸图像中提取五官关键点、轮廓关键点以及分别对应的语义信息；根据所述五官关键点和所述轮廓关键点以及分别对应的语义信息，得到人脸特征点；基于所述人脸特征点提取所述真实人脸图像的形象特征。
23.在一个实施例中，所述形象特征，包括原生形象特征和附加形象特征；所述特征提取模块还用于对所述真实人脸图像进行人脸对齐处理，得到对齐后的真实人脸图像；基于所述人脸特征点，从所述对齐后的真实人脸图像中识别原生形象特征；基于所述人脸特征点，从所述对齐后的真实人脸图像中识别附加形象特征。
24.在一个实施例中，所述原生形象特征，包括发型特征；所述特征提取模块还用于通过已训练的发型识别网络，提取所述对齐后的真实人脸图像中的头发特征，并根据所述头发特征生成头发掩膜图；基于所述人脸特征点将所述头发掩膜图划分为至少两个掩膜图子区域；根据所述头发特征在所述至少两个掩膜图子区域中的分布，得到发型特征。
25.在一个实施例中，所述特征提取模块还用于根据所述人脸特征点的分布位置，从所述对齐后的真实人脸图像中提取附加形象区域图像；通过已训练的目标分类网络，识别所述附加形象区域图像的附加形象类别；根据所述附加形象类别，得到所述真实人脸图像中的附加形象特征。
26.在一个实施例中，所述形象特征包括肤色特征、原生形象特征和附加形象特征；所述三维卡通形象生成模块还用于基于所述人脸特征点的分布位置提取肤色区域的像素，根据所述肤色区域的像素获取肤色特征；根据所述肤色特征对所述三维的卡通人脸模型进行肤色渲染；根据所述原生形象特征和所述附加形象特征获取相匹配的形象素材，将所述形象素材渲染至肤色渲染后的三维的卡通人脸模型中，得到具有人脸特征和形象特征的三维卡通形象。
27.在一个实施例中，上述装置还包括展示模块，用于展示卡通形象选择界面，所述卡通形象选择界面包括三维形象选项；响应于对所述三维形象选项的选择操作，采集用户的真实人脸图像；展示形象预览界面，并在所述形象预览界面中展示所述真实人脸图像和所述三维卡通形象。
28.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
29.从真实人脸图像中提取人脸特征点和形象特征；
30.基于所述人脸特征点构建与所述真实人脸图像相应的三维的仿真人脸模型；
31.获取所述仿真人脸模型与三维仿真人脸模板之间的差异特征；
32.基于所述三维仿真人脸模板与三维卡通人脸模板之间的语义映射关系，将所述差异特征迁移至所述三维卡通人脸模板，得到三维的卡通人脸模型；
33.根据所述形象特征对所述卡通人脸模型进行形象渲染，生成三维卡通形象。
34.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
35.从真实人脸图像中提取人脸特征点和形象特征；
36.基于所述人脸特征点构建与所述真实人脸图像相应的三维的仿真人脸模型；
37.获取所述仿真人脸模型与三维仿真人脸模板之间的差异特征；
38.基于所述三维仿真人脸模板与三维卡通人脸模板之间的语义映射关系，将所述差异特征迁移至所述三维卡通人脸模板，得到三维的卡通人脸模型；
39.根据所述形象特征对所述卡通人脸模型进行形象渲染，生成三维卡通形象。
40.一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中；所述计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令时实现以下步骤：
41.从真实人脸图像中提取人脸特征点和形象特征；
42.基于所述人脸特征点构建与所述真实人脸图像相应的三维的仿真人脸模型；
43.获取所述仿真人脸模型与三维仿真人脸模板之间的差异特征；
44.基于所述三维仿真人脸模板与三维卡通人脸模板之间的语义映射关系，将所述差异特征迁移至所述三维卡通人脸模板，得到三维的卡通人脸模型；
45.根据所述形象特征对所述卡通人脸模型进行形象渲染，生成三维卡通形象。
46.上述人脸图像卡通化处理方法、装置、计算机设备和存储介质，通过从真实人脸图像中提取人脸特征点和形象特征后，基于人脸特征点构建与真实人脸图像相应的三维的仿真人脸模型。然后通过获取仿真人脸模型与三维仿真人脸模板之间的差异特征，由于三维
仿真人脸模板与三维卡通人脸模板之间具有预设的语义映射关系，通过基于语义映射关系根据差异特征对三维卡通人脸模板进行变形迁移，从而能够精准有效地将仿真人脸模型与三维仿真人脸模板之间的差异特征迁移至三维卡通人脸模板中，得到具有真实人脸图像中的真实人脸特征和卡通化特征的三维的卡通人脸模型。通过进一步根据形象特征对卡通人脸模型进行形象渲染，以将真实人脸图像中的形象特征渲染到卡通人脸模型中，从而生成与真实人脸图像中的真实人脸更加相似的三维卡通形象。
附图说明
47.图1为一个实施例中人脸图像卡通化处理方法的应用环境图；
48.图2为一个实施例中人脸图像卡通化处理方法的流程示意图；
49.图3为一个实施例中真实人脸图像和构建的对应的三维的仿真人脸模型的示意图；
50.图4为一个实施例中三维仿真人脸模板的拓扑结构示意图；
51.图5为一个实施例中三维仿真人脸模板与相应的三维的仿真人脸模型的示意图；
52.图6为一个实施例中将仿真人脸模型与三维卡通人脸模板进行对齐处理的示意图；
53.图7为一个实施例中将差异特征迁移至三维卡通人脸模板的示意图；
54.图8为一个实施例中对真实人脸图像进行人脸特征点提取的示意图；
55.图9为一个实施例中对真实人脸图像进行人脸对齐处理的示意图；
56.图10为一个实施例中对真实人脸图像进行人脸特征点提取和人脸对齐处理以及对人脸区域进行划分后的图像的示意图；
57.图11为一个实施例中的头发掩膜图的示意图；
58.图12为一个实施例中对眼镜特征进行分类的流程示意图；
59.图13为一个实施例中的肤色色卡的示意图；
60.图14为一个实施例中对真实人脸图像进行三维卡通化重建后，得到的三维卡通形象的效果示意图；
61.图15为一个实施例中三组真实人脸图像与相应的三维卡通形象的效果示意图；
62.图16为一个实施例中卡通形象选择界面的示意图；
63.图17为一个实施例中图像拍摄界面的示意图；
64.图18为一个实施例中展示形象预览界面的示意图；
65.图19为一个实施例中展示三维卡通形象调整界面的示意图；
66.图20为一个实施例中人脸图像卡通化处理装置的结构框图；
67.图21为一个实施例中计算机设备的内部结构图；
68.图22为另一个实施例中计算机设备的内部结构图。
具体实施方式
69.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
70.本技术提供的人脸图像卡通化处理方法，可以应用于计算机设备中。计算机设备可以为终端或服务器。可以理解的是，本技术提供的人脸图像卡通化处理方法可以应用于终端，也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。
71.本技术提供的人脸图像卡通化处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。其中，终端102通过网络与服务器104进行通信。其中，终端102可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
72.其中，云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为iaas(infrastructure as a service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。
73.具体地，终端102获取或采集真实人脸图像，将真实人脸图像上传至服务器104。服务器104则从真实人脸图像中提取人脸特征点和形象特征，基于人脸特征点构建与真实人脸图像相应的三维的仿真人脸模型，并获取仿真人脸模型与三维仿真人脸模板之间的差异特征。服务器104进一步基于三维仿真人脸模板与三维卡通人脸模板之间的语义映射关系，将差异特征迁移至三维卡通人脸模板，从而能够有效得到三维的卡通人脸模型；然后再根据形象特征对卡通人脸模型进行形象渲染，进而能够生成与真实人脸相似的三维卡通形象，并输出该三维卡通形象。
74.可以理解，本技术各实施例中的人脸图像卡通化处理方法，采用人工智能技术中的计算机视觉技术以及机器学习技术等，能够有效实现自动生成与真实人脸相似的三维卡通形象。人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
75.计算机视觉技术(computer vision,cv)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。可以理解，本技术正是使用计算机视觉技术，对真实人脸图像进行人脸图像卡通化处理，以生成与真实人脸相似的三维卡通形象。
76.机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习
行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。可以理解，在本技术一些实施例中使用到的人脸特征点检测网络、目标分类网络以及发型识别网络等，就是使用机器学习技术训练得到的，基于该机器学习技术训练得到的，能够更加精准地对真实人脸图像进行特征点提取、目标分类以及发型识别等处理。
77.在一个实施例中，如图2所示，提供了一种人脸图像卡通化处理方法，以该方法应用于计算机设备为例进行说明，该计算机设备具体可以是图1中的终端或服务器，可以理解的是，该方法还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，包括以下步骤：
78.s202，从真实人脸图像中提取人脸特征点和形象特征。
79.其中，真实人脸图像，是真实场景下采集的人脸的图像，是二维的人脸图像，真实人脸图像中包括用户的人脸。真实人脸图像可以是通过摄像机实时拍摄的正脸照片，也可以是从本地或互联网中获取包括人脸的人脸图像。
80.本实施例中的真实人脸图像，可以是任意姿态和表情的二维人脸图像。
81.可以理解，人脸特征点，是通过对包括人脸的图像进行特征提取，得到的人脸中多个关键点的特征，用于表征人脸信息。可以理解，多个是指两个以上。真实人脸图像中包括眉毛、眼睛、鼻子、嘴唇和下巴等中的至少一种人脸特征点。在一个实施例中，人脸特征点可以主要分布在眉骨部位、鼻梁部位、眼睛部位、嘴唇部位和下颌部位等至少一种人脸部位处。
82.在一个实施例中，人脸特征点可以包括五官关键点和轮廓关键点。五官关键点和轮廓关键点还携带相应的语义信息。例如，语义信息可以包括关键点位置、各个关键点之间的几何特征等信息。其中，各关键点之间的几何特征，包括关键点之间的距离、面积和角度等中的至少一种。五官关键点和轮廓关键点以及相应的语义信息，可以反映出人脸的轮廓和表情。
83.其中，形象特征是指真实人脸图像中所包括的与形象有关的特征。
84.在一个实施例中，形象特征可以包括原生形象特征和附加形象特征。其中，原生形象特征，是指真实人脸图像中的真实人脸本身所具有的形象特征。例如原生形象特征，包括用户自身具有的发型特征、肤色特征、胎记特征、痣特征等中的至少一种。附加形象特征，是指真实人脸图像中不属于用户自身的、附加的与形象相关的特征，例如真实人脸图像中的用户所佩戴的附加的特征，具体可以是人脸区域以及人脸附近区域所包括的附加的特征。例如，附加形象特征包括配饰特征，配饰特征包括眼镜、特征、耳环等中的至少一种配饰的特征。
85.计算机设备获取真实人脸图像后，从真实人脸图像中提取出人脸特征点。具体地，可以采用预先训练的人脸检测网络或采用预设人脸特征点检测算法提取人脸特征点，进而根据人脸特征点提取出真实人脸图像中的形象特征。
86.在一个实施例中，由于获取的原始的真实人脸图像可能存在各种噪声和随机干扰，因此还可以对获取的真实人脸图像进行灰度校正、噪声过滤等图像预处理。具体地，计算机设备首先检测真实人脸图像中的人脸区域，基于人脸区域检测结果对真实人脸图像进
行预处理。对于真实人脸图像而言，其预处理过程可以包括对真实人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等中的至少一种。对真实人脸图像进行预处理后，则进一步从预处理后的真实人脸图像中提取人脸特征点和形象特征。
87.在一个实施例中，可以采用预先训练的深度神经网络从真实人脸图像中的形象特征。具体地，预先训练的深度神经网络中可以包括针对不同形象特征的子网络，以分别提取不同的形象特征。在另一个实施例中，还可以采用不同的深度神经网络分别提取不同的形象特征。
88.本技术各实施例中的方法，是将真实人脸图像进行卡通化处理，以对其进行三维重建，进而生成三维卡通形象，使得生成的三维卡通形象具有与真实人脸相似的人脸特征和形象特征。
89.s204，基于人脸特征点构建与真实人脸图像相应的三维的仿真人脸模型。
90.其中，真实人脸图像是一种二维的图像，二维的图像是指不包含深度信息的平面图像。三维(即3d)是指在平面二维系中又加入了一个方向向量构成的空间系。可以理解，三维的仿真人脸模型，是一种三维的人脸几何结构，具体可以是基于二维的真实人脸图像中的人脸特征点进行三维建模，构建的具有真实人脸图像中的真实人脸特征的三维仿真人脸模型。
91.计算机设备从真实人脸图像中提取出人脸特征点和形象特征后，首先根据提取出的人脸特征点，建立人脸的2d特征点与3d特征点之间的映射关系。具体地，计算机设备可以将人脸特征点的二维坐标信息分别与预设的三维仿真人脸模板中的关键特征点进行匹配和映射，得到对应的得到三维坐标信息。并根据人脸方位矫正人脸姿态，得到表情归一化后的人脸特征。进而基于通过三维形变映射并矫正后的人脸特征生成与真实人脸图像相应的三维的仿真人脸模型。
92.其中，三维仿真人脸模板，是通过对大量人脸数据对应的人脸特征进行平均处理，得到的一个三维的平均人脸模型。例如可以采用3dmm(3d morphable face model，可变形人脸模型)模型进行人脸重建。这里的人脸重建，是指通过二维的真实人脸图像重建出该人脸对应的三维人脸模型。其中，3dmm是一种通用的三维人脸模型，用固定的点数来表示人脸，可以用于实现从二维的人脸图像构建三维的人脸形状。
93.s206，获取仿真人脸模型与三维仿真人脸模板之间的差异特征。
94.可以理解，差异特征，是指人脸特征之间的差异，也就是真实人脸图像中的人脸相对于平均人脸模板的变化特征。
95.具体地，计算机设备基于二维的人脸特征点构建与真实人脸图像相应的三维的仿真人脸模型后，将仿真人脸模型与平均的三维仿真人脸模板进行比较，提取仿真人脸模型相对于平均的三维仿真人脸模板的变化特征，从而提取得到仿真人脸模型与三维仿真人脸模板之间的差异特征。
96.其中，差异特征，可以通过进行比例提取，也就是提取仿真人脸模型与三维仿真人脸模板之间的比例映射关系，这个比例映射关系反映了仿真人脸模型在形状上的变化，由此能够通过提取比例映射关系，从而有效地提取出仿真人脸模型与三维仿真人脸模板之间的差异特征。
97.s208，基于三维仿真人脸模板与三维卡通人脸模板之间的语义映射关系，将差异
特征迁移至三维卡通人脸模板，得到三维的卡通人脸模型。
98.其中，三维卡通人脸模板，是指预设的通用的卡通人脸模型，具体可以是通过对大量的仿真人脸模型所对应的卡通人脸进行平均处理，得到的一个平均的三维卡通人脸模型。
99.可以理解的是，三维的仿真人脸模型与三维仿真人脸模板，以及三维的卡通人脸模型与三维卡通人脸模板，都是具有拓扑结构的三维的人脸模型。其中，拓扑结构包括顶点数量、顶点顺序、顶点间的连接关系等信息。三维的仿真人脸模型与三维仿真人脸模板是具有一致的拓扑结构的几何模型，三维的仿真人脸模型与三维卡通人脸模板与具有不同的拓扑结构。
100.其中，语义映射关系，是预设的三维仿真人脸模板与三维卡通人脸模板之间的映射关系。在其中一个实施例中，语义映射关系，可以是三维仿真人脸模板与三维卡通人脸模板分别对应的拓扑结构中的三角面之间的映射关系。在另一个实施例中，语义映射关系，还可以是三维仿真人脸模板中的人脸关键点与三维卡通人脸模板中的人脸关键点之间的映射关系。
101.计算机设备提取出仿真人脸模型与三维仿真人脸模板之间的差异特征后，则基于三维仿真人脸模板与三维卡通人脸模板之间的语义映射关系，将差异特征迁移至三维卡通人脸模板。具体地，计算机设备首先根据三维仿真人脸模板的拓扑结构与三维卡通人脸模板的拓扑结构之间在语义上的语义映射关系，将三维仿真人脸模板与三维卡通人脸模板进行对齐处理，也就是按照语义对齐将三维仿真人脸模板与三维卡通人脸模板变形到一致，使得这两个不同的人脸模板在语义上是对齐的。
102.由于三维的仿真人脸模型与三维仿真人脸模板是具有一致的拓扑结构，计算机设备进而根据对齐后的三维仿真人脸模板的拓扑结构与三维卡通人脸模板的拓扑结构，将三维的仿真人脸模型在三维仿真人脸模板上的差异特征，基于语义映射关系对齐后的拓扑结构迁移至三维卡通人脸模板中，从而能够有效地生成既有卡通形象又有真实人脸特征的三维的卡通人脸模型。
103.s210，根据形象特征对卡通人脸模型进行形象渲染，生成三维卡通形象。
104.其中，生成的卡通人脸模型具有真实人脸图像中人脸的特征。
105.可以理解，三维卡通形象，是三维的具有卡通化特征和真实人脸特征的非真实的卡通图像。
106.由于所生成的卡通人脸模型具有真实人脸图像中人脸的特征，计算机设备进一步根据形象特征对卡通人脸模型进行形象渲染，以将真实人脸图像中的形象特征渲染到卡通人脸模型中，从而生成与真实人脸图像中的真实人脸更加相似的三维卡通形象。
107.上述人脸图像卡通化处理方法中，计算机设备通过从真实人脸图像中提取人脸特征点和形象特征后，基于人脸特征点构建与真实人脸图像相应的三维的仿真人脸模型。然后通过获取仿真人脸模型与三维仿真人脸模板之间的差异特征，由于三维仿真人脸模板与三维卡通人脸模板之间具有预设的语义映射关系，通过基于语义映射关系根据差异特征对三维卡通人脸模板进行变形迁移，从而能够精准有效地将仿真人脸模型与三维仿真人脸模板之间的差异特征迁移至三维卡通人脸模板中，得到具有真实人脸图像中的真实人脸特征和卡通化特征的三维的卡通人脸模型。通过进一步根据形象特征对卡通人脸模型进行形象
渲染，以将真实人脸图像中的形象特征渲染到卡通人脸模型中，从而生成与真实人脸图像中的真实人脸更加相似的三维卡通形象。
108.在一个实施例中，人脸特征点为二维的人脸特征点；基于人脸特征点构建与真实人脸图像相应的三维的仿真人脸模型，包括：获取二维的人脸特征点在三维仿真人脸模板中的特征点映射矩阵；基于人脸特征点和特征点映射矩阵进行参数估计，得到三维人脸参数；基于三维人脸参数，构建与真实人脸图像相应的三维的仿真人脸模型。
109.其中，三维人脸参数，是指在构建与真实人脸图像相应的三维的仿真人脸模型的过程中需要求解的人脸参数。例如，三维人脸参数可以包括人脸形状基参数和人脸表情基参数等。
110.三维仿真人脸模板，是一种三维的人脸几何结构，具体可以是一种参数化模型，也就是用各种参数来表达人脸的人脸几何结构。其中，特征点映射矩阵，是指二维的人脸特征点与三维的人脸特征点之间的映射关系，也就是2d-3d间的特征点映射矩阵。
111.计算机设备从真实人脸图像中提取出二维的人脸特征点后，则利用二维的人脸特征点进行三维人脸重建。具体地，计算机设备首先获取二维的人脸特征点在三维仿真人脸模板中的特征点映射矩阵，以建立二维的人脸特征点与三维的人脸特征点之间的映射关系。其中，特征点映射矩阵则用于表征二维的人脸特征点与三维的人脸特征点之间的映射关系。
112.可以理解的是，由于人脸包括了很强的先验信息，人脸可以通过一系列的参数线性组合而成。因此，可以通过参数估计，构建三维的仿真人脸模型。其中，一系列的参数包括相机参数和三维人脸参数等。
113.计算机设备进而根据人脸特征点和特征点映射矩阵进行参数估计，具体可以通过参数估计，以得到最终的三维人脸参数。计算机设备进而根据估计得到三维人脸参数，构建出与真实人脸图像中的真实人脸相应的三维的仿真人脸模型。
114.在一个实施例中，计算机设备还可以首先根据人脸特征点和特征点映射矩阵估计出相机参数，然后再根据人脸特征点和特征点映射矩阵，以及相机参数进行参数估计，以得到最终的三维人脸参数。进而根据估计得到相机参数和三维人脸参数，构建出与真实人脸图像中的真实人脸相应的三维的仿真人脸模型。
115.本实施中，通过根据二维的人脸特征点，以及二维的人脸特征点在三维仿真人脸模板中的特征点映射矩阵进行参数估计，然后在利用得到的三维人脸参数进行三维人脸重建，从而能够精准地构建出具有真实人脸特征的三维的仿真人脸模型。
116.在一个实施例中，基于人脸特征点和特征点映射矩阵进行参数估计，得到三维人脸参数的步骤，包括：基于人脸特征点和特征点映射矩阵进行相机参数迭代估计，在满足第一迭代条件后，得到相机参数；基于人脸特征点、特征点映射矩阵和相机参数，进行人脸参数迭代估计，满足第二迭代条件后得到人脸形状基参数和人脸表情基参数。
117.基于三维人脸参数，构建与真实人脸图像相应的三维的仿真人脸模型的步骤，包括：根据相机参数、人脸形状基参数和人脸表情基参数，构建与真实人脸图像相应的三维的仿真人脸模型。
118.可以理解的是，与三维仿真人脸模板类似，三维的仿真人脸模型具有拓扑结构的三维人脸模型，且两者具有相同的拓扑结构。其中，三维人脸参数包括人脸形状基参数和人
脸表情基参数等。其中，人脸形状基参数可以用于控制生成的人脸的长相，人脸表情基参数可以用于控制生成的人脸的表情。
119.其中，迭代是重复反馈过程的活动，其目的通常是为了逼近所需目标或结果。在计算机技术中，可以是通过计算机设备对需要反复执行的程序或指令，即重复执行程序中的循环步骤，直到满足某条件为止，这个过程则称为迭代。每一次对过程的重复称为一次“迭代”，而每一次迭代得到的结果会作为下一次迭代的初始值。
120.迭代估计，是至采用预设算法或公式，例如方程组求解、矩阵求特征值等算法，重复执行一系列运算步骤，从前面的量依次求出后面的量的过程。此过程的每一次结果，都是由对前一次所得结果施行相同的运算步骤得到的。本实施例中，正是利用迭代估计方式，求解出三维人脸参数中的相机参数、人脸形状基参数和人脸表情基参数。
121.计算机设备进行参数估计时，可以采用分步迭代估计的方式，分别估计出相机参数和三维人脸参数。可以理解，分步迭代估计，可以是指将迭代估计的过程，分为不同阶段的迭代估计步骤，以分别对所需要的参数值进行求解。例如，分步迭代估计可以包括第一阶段迭代估计和第二阶段迭代估计。
122.可以理解，计算机设备可以首先通过第一阶段迭代估计，估计出相机参数。然后通过第二阶段迭代估计，估计出人脸形状基参数和人脸表情基参数。
123.具体地，计算机设备首先根据人脸特征点和特征点映射矩阵进行第一阶段迭代估计，以进行相机参数迭代估计。在满足第一迭代条件后，得到相机参数。其中，第一迭代条件是指停止相机参数迭代估计的条件。例如，第一迭代条件具体可以是达到预设迭代轮数，还可以是相机参数的收敛值达到预设收敛阈值等。
124.计算机设备得到相机参数后，则进一步根据人脸特征点、特征点映射矩阵和相机参数第二阶段迭代估计，以进行人脸参数迭代估计。满足第二迭代条件后得到人脸形状基参数和人脸表情基参数。其中，第二迭代条件，是指停止人脸参数迭代估计的条件。例如，第二迭代条件具体可以是达到预设迭代轮数，还可以是人脸形状基参数和人脸表情基参数对应的收敛值达到预设收敛阈值等。
125.计算机设备进而根据估计得到的相机参数、人脸形状基参数和人脸表情基参数，构建与真实人脸图像相应的三维的仿真人脸模型。
126.在一个实施例中，三维人脸模型对应的目标函数的表达式可以如下：
[0127][0128][0129]
其中，m表示三维仿真人脸模板，也即平均脸。s,r,t表示相机参数，其中，s表示相机参数中的缩放尺度，r表示相机参数中的旋转矩阵，t表示相机参数中的平移因子，也即位移向量。id表示形状基，exp表示表情基，k表示人脸特征点个数，k表示第k个人脸特征点，a
id
表示形状基基底，α
id
表示形状基系数，a
exp
表示表情基基底，α
exp
表示表情基系数，lk表示人脸2d人脸特征点，p表示3dmm的系数，λ表示正则项因子，用于避免过拟合。
[0130]
其中，需要求解的量为相机参数、人脸形状基参数和人脸表情基参数。上述目标函
数是一个非线性方程，具体可以通过非线性最优化的方式对这些参数进行联合求解。例如，可以通过计算代价函数的雅可比矩阵，或通过高斯牛顿法等方式进行参数迭代。
[0131]
为了保证算法的实时性，可以采用了分步线性求解的方式，把联合求解过程分解为对相机参数、人脸形状基参数和人脸表情基参数三组参数的分步求解过程。求解其中一组参数时，将另外的几组参数置为常量，这样每组参数的求解都是一个线性问题，可以直接得到解析结果。具体的参数估计的步骤如下：
[0132]
(1)求解相机参数：将形状基参数和表情基参数置为常量。例如，将初始值都设为零。这里将相机模型简化为弱透视投影模型，弱透视投影模型可适用于物体自身的深度相对于到相机的距离很小的情况。相机模型只有尺度，平移，旋转分量。使用黄金标准法来计算，从每个2d-3d对构造一个2x8方程：这里的xi表示的是3d点的齐次坐标，xi表示的是2d点的非齐次坐标，p1和p2表示的是相机投影矩阵(3x4)的前两行：
[0133][0134]
n个人脸特征点可以构建出2nx8的方程组，通过求解方程组可以求出投影矩阵p，也就是三维的人脸特征点投影至二维的人脸特征点的投影矩阵。然后从中可以分解出相机参数中的s,r,t参数。
[0135]
(2)求解人脸形状基系数：将相机参数和表情基参数固定，例如可以将相机参数和表情基参数置为常量。其中，相机参数在上一步中已经求得，表情基参数初始化为零。目标函数则变换为能力函数，的表达式如下：
[0136][0137]
这里令α
id
＝x，则p＝α
id
＝x，同时s,r,t,a
id
,a
exp
,α
exp
,lk都为已知量，所以有：
[0138]
a＝s
·r·aid
，
[0139]
所以能量函数可以表示为：
[0140][0141]
通过在ax b上，加入一个对角阵ω来进行加权，可以得到如下能量函数：
[0142][0143]
其中，这里x表示待求解的表情系数，a表示根据形状基、平均脸以及相机矩阵进行相关变换后的结果，b表示2d人类特征点的赋值，ω表示加权因子，λ表示正则项因子。这里的正则项是为了避免过拟合。具体可以通过线性最小二乘的方式求出解析结果。
[0144]
(3)求解人脸表情基参数：将相机参数和人脸形状基参数置为常量，采用和求解形状基类似的方式进行求解。表达式可以如下：
[0145]
x＝-(a
t
ωa λi)-1
(a
t
ω
t
b)
[0146]
其中，通过对步骤(3)中得到的能量函数进行求解，即可得到人脸表情基参数的结果。
[0147]
通过迭代执行步骤(1)-(3)，在满足迭代条件后，则可以得到相机参数、人脸形状
基参数和人脸表情基参数。
[0148]
其中，在迭代执行步骤(1)-(3)的过程中，可以首先在第一迭代阶段中，进行相机参数迭代估计，在满足第一迭代条件后，得到相机参数。
[0149]
然后在第二迭代阶段中，根据人脸特征点、特征点映射矩阵和得到的相机参数，进行人脸参数迭代估计，满足第二迭代条件后，得到人脸形状基参数和人脸表情基参数。
[0150]
在另一个实施例中，人脸形状基参数和人脸表情基参数也可以是不同的迭代阶段中进行估计得到的。即首先在第一迭代阶段中，进行相机参数迭代估计，在满足第一迭代条件后，得到相机参数。然后在第二迭代阶段中，根据人脸特征点、特征点映射矩阵和得到的相机参数，进行人脸参数迭代估计，满足第二迭代条件后，得到人脸形状基参数。进一步的，在第三迭代阶段中，根据人脸特征点、特征点映射矩阵和得到的相机参数以及人脸形状基参数，进行人脸参数迭代估计，满足第三迭代条件后，得到人脸表情基参数。
[0151]
本实施例中，由于相机参数对整体参数估计的结果影响最大，人脸形状基参数对人脸全局产生影响，人脸表情基参数是对人脸分区域产生影响。因此通过在分步线性求解个参数的过程中，按照相机参数、人脸形状基参数、人脸表情基参数的顺序来进行参数估计，也就是按照对最终结果影响的从大到小来分步更新，从而能够得到更加精准的、与真实人脸更加逼真的三维的仿真人脸模型。
[0152]
如图3所示，为一个实施例中的真实人脸图像和构建的对应的三维的仿真人脸模型的示意图。图3中(a)为对真实人脸图像进行人脸特征点提取后的图像，图3中(b)为构建的具有真实人脸图像中的真实人脸特征的三维的仿真人脸模型。
[0153]
在另一个实施例中，还可以采用基于人工智能的方式确定出人脸图像对应的人脸形状基参数和人脸表情基参数。例如，通过将人脸图像输入到已训练的深度神经网络模型，该深度神经网络模型可提取人脸图像的深层特征，并基于提取的深层特征得到人脸形状基参数和人脸表情基参数。然后，基于神经网络模型输出的人脸形状基参数和人脸表情基参数，以及基于3dmm模型的三维仿真人脸模板，即可构建得到真实人脸图像对应的三维的仿真人脸模型。
[0154]
在一个实施例中，仿真人脸模型的拓扑结构中包括多个三角面；获取仿真人脸模型与三维仿真人脸模板之间的差异特征，包括：获取仿真人脸模型中的各三角面，在三维仿真人脸模板中相对应的三角面上的第一变形梯度；根据第一变形梯度，得到仿真人脸模型中的各三角面与三维仿真人脸模板中相对应的各三角面之间的仿射变换映射矩阵；仿射变换映射矩阵，用于表征仿真人脸模型与三维仿真人脸模板之间的差异特征。
[0155]
其中，变形梯度，是指人脸几何拓扑结构中的变化程度。第一变形梯度，反映了真实人脸对应的三维的仿真人脸模型，相对于三维仿真人脸模板的变化特征。
[0156]
可以理解，三维的仿真人脸模型与三维仿真人脸模板类似，三维的仿真人脸模型也是一种三维的几何模型。几何模型的拓扑结构中包括大量的顶点，通过大量顶点组成的多个三角面，即三角面。通常顶点数量越多，三维卡通人脸模型的精度越高。通过对三角面进行变形处理，即可模拟各种形状和表情的三维仿真人脸模型。
[0157]
通常几何模型的拓扑结构都是由许多细小的三角面片组成。其中，三维仿真人脸模板的拓扑结构中包括多个三角面，三维的仿真人脸模型的拓扑结构中也包括多个三角面。三维的仿真人脸模型与三维仿真人脸模板的拓扑结构一致，也就是三维的仿真人脸模
型中的各三角面，在三维仿真人脸模板中具有相对应的各三角面。在一个实施例中，进行变形迁移处理的基本单元为几何模型的三角面。
[0158]
例如，如图4所示，为一个实施例中三维仿真人脸模板的拓扑结构示意图。其中，图4中包括三维仿真人脸模板的拓扑结构图(a)，三维仿真人脸模板的拓扑结构中的其中一个三角面(a1)，以及三角面(a1)发生形变后得到的三角面(b1)。从拓扑结构图(a)中可以看出三维仿真人脸模板的拓扑结构中包括多个顶点，任意三个顶点连接可得到一个三角面，三维仿真人脸模板的拓扑结构可以视为由多个三角面组成。由于三维仿真人脸模板是一种可形变的几何模型，在基于三维仿真人脸模板重建与真实人脸相应的仿真人脸模型的过程中，可以视为三维仿真人脸模板的拓扑结构中的三角面发生了与真实人脸特征相应的形变，从而得到与真实人脸相应的仿真人脸模型。其中，图4中为三维仿真人脸模板的拓扑结构中的其中一个三角面(a1)中的顶点通过对三角面(a1)进行变形处理后，得到三角面(b1)以及相应的顶点vi1、vi2、vi3，可以看出三角面(a1)与三角面(b1)的形状以及相应的顶点位置均发生了变化。通过对三维仿真人脸模板中的各个三角面进行变形处理，即可模拟重建出各种形状和表情的三维仿真人脸模型。
[0159]
如图5所示，图5中包括三维仿真人脸模板(a)，以及基于三维仿真人脸模板(a)与所构建的与真实人脸图像相应的三维的仿真人脸模型(b)。由此构建的仿真人脸模型(b)既具有三维仿真人脸模板(a)的特征，同时又具有真实人脸图像中的真实人脸特征。
[0160]
由于真实人脸对应的三维的仿真人脸模型，是基于三维仿真人脸模板进行建模生成的，因此三维的仿真人脸模型同时具有真实人脸图像中的真实人脸特征，以及三维仿真人脸模板中的平均脸特征，包括五官特征和轮廓特征等重要信息。
[0161]
因此，通过提取三维的仿真人脸模型与三维仿真人脸模板之间的差异特征，即提取用户的三维人脸和平均三维人脸之间的差异特征，然后通过将提取的差异特征迁移至预设的三维卡通人脸模板上，也就是平均卡通人脸上，由此就能够得到具有用户的真实人脸特征的三维卡通人脸。
[0162]
具体地，计算机设备构建出与真实人脸图像相应的三维的仿真人脸模型后，则根据三维的仿真人脸模型与三维仿真人脸模板的拓扑结构的对应关系，获取仿真人脸模型中的各三角面，在三维仿真人脸模板中相对应的三角面上的第一变形梯度。
[0163]
进一步地，可以对两个模型的拓扑结构中的三角面进行比例提取，也就是提取用户的仿真人脸模型中与三维仿真人脸模板中分别相对应的各个三角面之间的比例映射关系，而非差分关系。两个三维模型分别对应的各个三角面之间可以得到一个三角形的映射关系，也就是第一变形梯度，第一变形梯度体现了三角面对之间在空间中的空间角度、边长等方面的形状变化，进而反映了构建得到的仿真人脸模型在形状上的变化。
[0164]
计算机设备根据两个三维模型分别对应的各个三角面之间的第一变形梯度，得到仿真人脸模型中的各三角面与三维仿真人脸模板中相对应的各三角面之间的仿射变换映射矩阵，这个仿射变换映射矩阵则包括了仿真人脸模型中与三维仿真人脸模板中所有三角面之间的映射关系以及第一变形梯度。得到的仿射变换映射矩阵，则用于表征仿真人脸模型与三维仿真人脸模板之间的差异特征。
[0165]
本实施例中，通过直接计算用户的仿真人脸模型与三维仿真人脸模板之间相对应的三角面的变形梯度获得仿射变换映射矩阵，由此能够有效地提取出仿真人脸模型相对于
三维仿真人脸模板的变化特征，从而能够精准地提取出仿真人脸模型与三维仿真人脸模板之间的差异特征。
[0166]
在一个实施例中，三维卡通人脸模板的拓扑结构中包括多个三角面；基于三维仿真人脸模板与三维卡通人脸模板之间的语义映射关系，将差异特征迁移至三维卡通人脸模板，得到三维的卡通人脸模型，包括：基于三维仿真人脸模板与三维卡通人脸模板之间的语义映射关系，将仿真人脸模型与三维卡通人脸模板进行对齐处理；在对齐后的三维卡通人脸模板中的各三角面中，查找与仿真人脸模型中的各三角面相匹配的三角面，得到仿真人脸模型中的各三角面与三维卡通人脸模板中的三角面之间的三角面映射关系；按照三角面映射关系将差异特征迁移至三维卡通人脸模板，得到三维的卡通人脸模型。
[0167]
可以理解，与三维仿真人脸模板类似，三维卡通人脸模板也是一种三维的几何拓扑结构模型。但三维仿真人脸模板与三维卡通人脸模板对应的拓扑结构不同。三维卡通人脸模板的拓扑结构中也包括大量的顶点，通过大量顶点组成的多个三角面，即三角面。其中，三维仿真人脸模板与三维卡通人脸模板之间不需要具有相同数量的顶点、三角面或相同的点与点之间的连接方式。通过对三维卡通人脸模板中的各个三角面进行变形处理，即可模拟各种形状和表情的三维卡通人脸。
[0168]
由于预先建立了三维仿真人脸模板与三维卡通人脸模板的拓扑结构之间的语义映射关系，而重建生成的仿真人脸模型与三维仿真人脸模板具有一致的拓扑结构，因此，根据三维仿真人脸模板与三维卡通人脸模板之间的语义映射关系，就可以得到仿真人脸模型与三维卡通人脸模板的拓扑结构之间的对应关系。
[0169]
计算机设备提取用户的三维仿真人脸模型和三维仿真人脸模板之间的差异特征后，进而可以根据三维仿真人脸模板与三维卡通人脸模板之间的语义映射关系，利用提取的差异特征对预设的三维卡通人脸模板进行变形处理，以将差异特征迁移至三维卡通人脸模板上，由此就能够得到具有用户的真实人脸特征的三维卡通人脸。
[0170]
具体地，计算机设备首先根据三维仿真人脸模板与三维卡通人脸模板之间的语义映射关系，然后按照这种语义映射关系，获取仿真人脸模型中的三角面与三维卡通人脸模板中的三角面在语义上的对应关系，进而按照语义对齐的原则，将仿真人脸模型与三维卡通人脸模板变形到一致。
[0171]
例如，如图6所示，为一个实施例中将仿真人脸模型与三维卡通人脸模板进行对齐处理的示意图。其中，图6中的三维仿真人脸模板(a)与仿真人脸模型(b)的拓扑结构相同，仿真人脸模型(b)与三维卡通人脸模板(c)的拓扑结构是不同的，从图中可以看到一个带后脑一个不带后脑，仿真人脸模型(b)与三维卡通人脸模板(c)之间的三角面对应关系是未知的，因此需要通过模型进行对齐获取。因此根据预设的三维仿真人脸模板(a)与三维卡通人脸模板(c)之间的语义映射关系，在语义上将仿真人脸模型(b)与三维卡通人脸模板(c)进行变形对齐，得到对齐后的三维卡通人脸模板(c1)。
[0172]
计算机设备然后通过在对齐后的三维卡通人脸模板中的各三角面中，查找与仿真人脸模型中的各三角面相匹配的三角面。其中，相匹配的三角面，具体可以是语义最邻近或最接近的两个三角面，也就是在符合语义一致原则上的三角面对。从而能够有效得到仿真人脸模型中的各三角面，与三维卡通人脸模板中的三角面之间的三角面映射关系。这个三角面映射关系，也就是仿真人脸模型与三维卡通人脸模板的变化特征。
[0173]
计算机设备进而可以按照三角面映射关系，根据差异特征对三维卡通人脸模板进行变形迁移处理，从而实现将差异特征迁移至三维卡通人脸模板，由此能够有效得到具有真实人脸特征的三维的卡通人脸模型。
[0174]
例如，重建出来的与真实人脸图像相应的三维的仿真人脸模型，相对于三维仿真人脸模板在鼻子上的差异，如大鼻子或者高鼻梁等特征，通过将在鼻子上的差异作用到三维卡通人脸模板的鼻子上，从而实现将仿真人脸模型在鼻子上的等价变化，进而能够在语义上准确地将差异特征迁移至三维卡通人脸模板。
[0175]
本实施例中，由于三维仿真人脸模板与三维卡通人脸模板之间预设有语义映射关系，然后通过按照语义映射关系，从而能够得到仿真人脸模型中的三角面与三维卡通人脸模板中的三角面在语义上的对应关系，由此能够准确地按照语义映射关系和语义对齐原则将仿真人脸模型与三维卡通人脸模板变形到一致。
[0176]
在一个实施例中，按照三角面映射关系将差异特征迁移至三维卡通人脸模板，得到三维的卡通人脸模型，包括：根据三角面映射关系和仿射变换映射矩阵，对三维卡通人脸模板中原始的三角面进行变形处理，确定三维卡通人脸模板中原始的三角面与变形后的三角面之间的第二变形梯度；朝着使第二变形梯度与第一变形梯度之间的差异最小化的方向，根据三角面映射关系和仿射变换映射矩阵，对对齐后的三维卡通人脸模板中的各三角面进行迭代变形处理；在满足迭代停止条件后，得到三维的卡通人脸模型。
[0177]
其中，迭代变形处理，是指对三维卡通人脸模板进行多次变形处理，以不断优化卡通人脸模型，使得在满足相应的迭代停止条件后，得到最终的三维的卡通人脸模型。
[0178]
可以理解的是，第二变形梯度，是根据得到的差异特征对三维卡通人脸模板中的三角面进行变形处理过程中，三维卡通人脸模板中原始的三角面与变形后的各三角面之间的变形梯度。
[0179]
计算机设备将仿真人脸模型与三维卡通人脸模板进行对齐，并获得仿真人脸模型中的各三角面，与三维卡通人脸模板中的三角面之间的三角面映射关系后，进而根据三角面映射关系和仿射变换映射矩阵，对三维卡通人脸模板中原始的三角面进行变形处理。也就是根据三角面映射关系，按照仿射变换映射矩阵所对应的第一变形梯度，对三维卡通人脸模板中相应的原始的三角面进行变形，在变形时三维卡通人脸模板中原始的三角面会发生变化，计算机设备则确定三维卡通人脸模板中原始的三角面与变形后的三角面之间的第二变形梯度。
[0180]
可以理解，重建三维卡通人脸的过程是一个不断优化的过程，因此计算机设备需要进行迭代变形处理，以优化三维卡通人脸模型。具体地，计算机设备确定第二变形梯度后，朝着使第二变形梯度与第一变形梯度之间的差异最小化的方向，根据三角面映射关系和仿射变换映射矩阵，对对齐后的三维卡通人脸模板中的各三角面进行迭代变形处理。在满足迭代停止条件后，则可以得到最终的三维的卡通人脸模型。
[0181]
其中，迭代停止条件，具体可以是预设迭代轮数，也可以是第二变形梯度与第一变形梯度之间的差异达到预设差异阈值，还可以是第二变形梯度与第一变形梯度之间的差异不再减小的时候。
[0182]
如图7所示，为一个实施例中将差异特征迁移至三维卡通人脸模板的示意图。其中，图7中三维仿真人脸模板(a)与三维的仿真人脸模型(b)之间可以求得差异特征。由于三
维仿真人脸模板(a)与三维卡通人脸模板(c)之间具有预设的语义映射关系，并且已经获得了三维仿真人脸模板(a)与仿真人脸模型(b)中各个三角面的仿射变换映射矩阵，也即差异特征。进而通过根据差异特征对三维卡通人脸模板(c)进行变形处理，得到三维卡通人脸模型(d)。由此通过将三维仿真人脸模板(a)与仿真人脸模型(b)之间的第一变形梯度，和三维卡通人脸模板(c)三维卡通人脸模板(c)与三维卡通人脸模型(d)之间的第二变形梯度变形到一致，即可认为将三维仿真人脸模板(a)与仿真人脸模型(b)之间的差异，迁移到了三维卡通人脸模板(c)上，从而得到了与真实人脸图像相应的三维卡通人脸模型(d)。
[0183]
本实施例中，通过根据三维仿真人脸模板与三维卡通人脸模板之间预设的语义映射关系，以及三维仿真人脸模板与仿真人脸模型中各个三角面的仿射变换映射矩阵，对三维卡通人脸模板中的三角面进行迭代变形处理，使得三维卡通人脸模板中的三角面的第二变形梯度与仿射变换映射矩阵对应的第一变形梯度之间的差异最小化，从而能够精准地将差异特征迁移至三维卡通人脸模板上，由此能够有效得到具有真实人脸特征的三维的卡通人脸模型。
[0184]
在一个实施例中，从真实人脸图像中提取人脸特征点和形象特征，包括：从真实人脸图像中提取五官关键点、轮廓关键点以及分别对应的语义信息；根据五官关键点和轮廓关键点以及分别对应的语义信息，得到人脸特征点；基于人脸特征点提取真实人脸图像的形象特征。
[0185]
其中，五官关键点是指人脸中的五官部位所对应的关键点，例如五官关键点包括眉毛、眼睛、鼻子、嘴唇和下巴等中的至少一个部位对应的关键点。轮廓关键点是指人脸的整体轮廓的关键点，例如人脸的下颌线轮廓对应的关键点。五官关键点、轮廓关键点分别对应的语义信息，是指各个关键点之间的几何特征信息，如距离、面积和角度等信息。
[0186]
计算机设备获取真实人脸图像后，从真实人脸图像中提取出五官关键点、轮廓关键点以及分别对应的语义信息，以获得真实人脸图像中的人脸特征点。具体地，计算机设备可以采用预先训练的人脸检测网络或采用预设人脸特征点检测算法提取真实人脸图像中的人脸特征点。
[0187]
在一个实施例中，计算机设备可以预先利用包括人脸的样本图像，训练出人脸特征提取网络。其中，人脸特征提取网络可以采用基于cnn(convolutional neural networks，卷积神经网络)、resnet(深度残差卷积网络)、densenet(紧密卷积网络)、dpn(dual path network，双通道卷积网络)等深度网络的机器学习模型。本实施例中的人脸特征提取网络，通过从深度网络结构优化、网络尺寸裁剪和提高样本图像的质量等方面，提高人脸特征提取网络的鲁棒性、实时性以及特征提取的准确性。
[0188]
具体地，计算机设备可以通过已训练的人脸特征提取网络，对真实人脸图像进行人脸特征提取，具体可以提取出256个人脸特征点，并且提取的每个人脸特征点具有特定的语义信息。例如，可以采用x号点表示人脸中的鼻头位置，y号点表示人脸中的眼珠位置。通过预先训练的准确度较高的人脸特征提取网络对真实人脸图像进行人脸特征提取，可以从真实人脸图像中提取出可靠的人脸点位，即人脸特征点。基于提取到的人脸点位可以对人脸进行准确的解析，也是后续进行三维仿真人脸重建与属性解析的重要前置步骤。如图8所示，通过对真实人脸图像(8a)进行人脸特征点提取后，可以得到人脸特征点提取后的人脸特征点示意图(8b)。可以理解，实际所提取的人脸特征点的数量并不仅仅是人脸特征点示
意图(8b)中所展示的数量。可以理解的是，基于保护用户真实人脸图像的隐私角度，对真实人脸图像(8a)中眼睛部位进行了遮挡，在对真实人脸图像进行特征点提取时，实际上也采集了眼睛部位的特征点，提取的人脸特征点后的人脸特征点示意图(8b)也包括了眼睛部位的特征点。
[0189]
进一步地，计算机设备从真实人脸图像中提取出人脸特征点后，则基于所提取的人脸特征点进一步提取真实人脸图像中的形象特征。具体地，计算机设备可以根据人脸特征点的位置分布，提取真实人脸图像中相应区域的形象特征。例如，通常形象特征包括人脸中不同区域的一些形象特征，因此可以根据人脸特征点的位置分布，提取相应区域的形象特征。
[0190]
本实施例中，通过首先提取出真实人脸图像中的人脸特征点以及相应的语义信息后，根据人脸特征点进一步对真实人脸图像进行形象特征提取，由此能够更加精准地提取出真实人脸图像中的形象特征。
[0191]
在一个实施例中，形象特征包括原生形象特征和附加形象特征；基于人脸特征点提取真实人脸图像的形象特征，包括：对真实人脸图像进行人脸对齐处理，得到对齐后的真实人脸图像；基于人脸特征点，从对齐后的真实人脸图像中识别原生形象特征；基于人脸特征点，从对齐后的真实人脸图像中识别附加形象特征。
[0192]
可以理解，原始的真实人脸图像中的人脸相对与图像可能存在人脸倾斜等情况，也就是真实人脸图像中的人脸非正脸的情况。人脸对齐处理，则是指将原始的真实人脸图像中的人脸进行矫正，使得齐后的真实人脸图像中的人脸相对于图像是正脸。
[0193]
其中，原生形象特征，是指真实人脸图像中的真实人脸本身所具有的形象特征，例如真实人脸图像中的用户自身具有的头发、胎记、痣等与形象相关的特征。附加形象特征，是指真实人脸图像中的用户所佩戴的附加的配饰对应的特征，真实人脸图像中的附加形象特征，则是人脸区域以及人脸附近区域所包括的配饰的特征。例如，附加形象特征包括眼镜、帽子、耳环等配饰的特征。
[0194]
计算机设备从真实人脸图像中提取得到人脸特征点后，首先根据人脸特征点对原始的真实人脸图像进行人脸对齐处理，计算机设备具体可以根据人脸中的对齐关键点或人脸特征点对原始的真实人脸图像进行人脸对齐，以将真实人脸图像中的人脸的位置校正对齐，从而得到对齐后的真实人脸图像。
[0195]
在一个实施例中，如图9所示，通过对真实人脸图像(9a)进行人脸对齐处理后，则可以得到对人脸对齐处理后的图像(9b)，由此可以看出人脸对齐处理后的图像(9b)中的人脸相对于图像是正脸，因此能够更加精准地提取真实人脸图像中的形象特征。
[0196]
在其中一个实施例中，计算机设备可以在对真实人脸图像进行人脸特征点提取的过程中，对原始的真实人脸图像进行对齐，具体可以根据人脸中的对齐关键点或初始的人脸特征点对原始的真实人脸图像中的人脸的位置校正对齐，以进一步提取人脸特征点，从而能够更加精准地提取出真实人脸图像中的人脸特征点。
[0197]
计算机设备对真实人脸图像进行对齐处理后，则基于人脸特征点，从对齐后的真实人脸图像中识别原生形象特征。同时，计算机设备还根据人脸特征点，从对齐后的真实人脸图像中识别附加形象特征。
[0198]
具体地，计算机设备根据人脸特征点的位置分布，提取真实人脸图像中相应区域
的原生形象特征，例如，人脸区域内和人脸区域周围的区域中的原生形象特征和附加形象特征。
[0199]
本实施例中，通过对原始的真实人脸图像进行人脸对齐后，能够更加精准地根据人脸特征点的位置分布，提取出真实人脸图像中的原生形象特征和附加形象特征。
[0200]
在一个实施例中，原生形象特征，包括发型特征；基于人脸特征点，从对齐后的真实人脸图像中识别发型特征，包括：通过已训练的发型识别网络，提取对齐后的真实人脸图像中的头发特征，并根据头发特征生成头发掩膜图；基于人脸特征点将头发掩膜图划分为至少两个掩膜图子区域；根据头发特征在至少两个掩膜图子区域中的分布，得到发型特征。
[0201]
可以理解，原生形象特征包括了发型特征，其中，发型特征包括发型类别，例如，发型类别包括短发、中发、长发等。更具体的，还可以进一步识别人脸的性别特征，并进一步跟进性别特征区分不同类别的发型特征。例如，若真实人脸的性别特征为女，则发型类别包括短发、中发、长发以及直发、卷发等。若真实人脸的性别特征为男，则发型类别包括特短发、短发、中发等。
[0202]
计算机设备可以预先利用大量的样本图像训练发型识别网络，使得已训练的发型识别网络具有识别出真实人脸图像中的发型特征的能力。
[0203]
具体地，计算机设备从真实人脸图像中提取出人脸特征点，并对原始的真实人脸图像进行人脸对齐处理后，则将人脸对齐处理后的真实人脸图像输入至已训练的发型识别网络，通过发型识别网络从对齐后的真实人脸图像中提取特发特征，并根据提取的头发特征生成头发掩膜图。
[0204]
计算机设备进而根据人脸特征点将头发掩膜图划分为至少两个掩膜图子区域。例如，可以根据人脸特征点在人脸中的位置分布，对人脸区域进行划分，从而将整个头发掩膜图划分为多个掩膜图子区域。计算机设备则根据头发特征在多个掩膜图子区域中的分布，得到发型特征。
[0205]
在一个实施例中，计算机设备还可以首先根据人脸特征点在人脸中的位置分布，对人脸区域进行划分后，再将人脸区域划分后的图像输入至已训练的发型识别网络中。计算机设备通过发型识别网络提取出头发掩膜图后，则可以直接根据对人脸区域进行划分的划分标记，将头发掩膜图划分为多个掩膜图子区域。
[0206]
在一个实施例中，如图10所示，为通过对真实人脸图像进行人脸特征点提取和人脸对齐处理以及对人脸区域进行划分后的图像。其中，图10中所示的图像中包括了所提取的人脸特征点，即人脸中的眉毛、眼睛、鼻子、嘴唇、下巴、下颌线等中的至少一种部位相应的关键点。计算机设备根据人脸特征点在人脸中的位置分布，对人脸区域进行划分，具体地，将人脸区域进行三等分，并通过图10中的划分标记10a、划分标记10b进行标记，从而将图像划分为三个子区域。
[0207]
计算机设备通过对图10中的图像进行头发特征提取后，如图11所示，计算机设备则根据提取的头发特征生成头发掩膜图11。其中，白色区域即表示真实人脸图像中的头发特征，黑色区域表示除头发特征的背景。图11中的划分标记11a、划分标记11b，与图10中的划分标记10a、划分标记10b相对应，因此，根据划分标记11a和划分标记11b则可以将头发掩膜图划分为三个掩膜图子区域。
[0208]
计算机设备进而根据头发特征在多个掩膜图子区域中的分布，确定发型特征。例
如，图11中根据划分标记11a和划分标记11b，将头发掩膜图划分为三个掩膜图子区域，其中，划分标记11a具体可以是根据耳根关键点划分得到的，划分标记11b具体可以是根据下巴关键点划分的。由此，划分标记11a以上的部分为掩膜图子区域q1，划分标记11a和划分标记11b之间的部分为掩膜图子区域q2，划分标记11b以下的部分为掩膜图子区域q3。
[0209]
若头发掩膜图中的头发特征大多集中在掩膜图子区域q1中，掩膜图子区域q2和掩膜图子区域q3中几乎没有分布头发特征，则确定发型特征为短发。若头发掩膜图中的头发特征大部分均分布在掩膜图子区域q1中，其中一部分还分布在掩膜图子区域q2中，则确定发型特征为短发。同理，若头发掩膜图中的头发特征大部分均分布在掩膜图子区域q1中，其中一部分还分布在掩膜图子区域q2和掩膜图子区域q3中，则确定发型特征为长发。在其中一个实施例中，若头发掩膜图中没有头发特征，考虑到美观度的问题，可以确定对应的发型特征为短发。
[0210]
本实施例中，通过已训练的发型识别网络提取头发特征并生成头发掩膜图后，基于人脸特征点将头发掩膜图划分为至少两个掩膜图子区域，进而通过根据头发特征在至少两个掩膜图子区域中的分布，从而能够精准地识别真实人脸图像中的发型特征。
[0211]
在一个实施例中，基于人脸特征点，从对齐后的真实人脸图像中识别附加形象特征，包括：根据人脸特征点的分布位置，从对齐后的真实人脸图像中提取附加形象区域图像；通过已训练的目标分类网络，识别附加形象区域图像的附加形象类别；根据附加形象类别，得到真实人脸图像中的附加形象特征。
[0212]
其中，目标分类网络是经过预先训练的，具有对真实人脸图像中的配饰进行分类的能力的深度学习网络。其中，目标分类网络可以采用mobilenet轻量级网络，mobilenet的基本单元是深度级可分离卷积。在一些实施例中，目标分类网络还可以采用基于cnn(convolutional neural networks，卷积神经网络)、resnet(深度残差卷积网络)、densenet(紧密卷积网络)、dpn(dual path network，双通道卷积网络)等深度网络的机器学习模型。
[0213]
计算机设备可以预先利用大量的样本图像训练目标分类网络，使得已训练的目标分类网络具有识别出真实人脸图像中的附加形象特征的能力。
[0214]
具体地，计算机设备从真实人脸图像中提取出人脸特征点，并对原始的真实人脸图像进行人脸对齐处理后，首先根据人脸特征点的分布位置，从对齐后的真实人脸图像中提取配饰区域图像。然后计算机设备将配饰区域图像输入至已训练的目标分类网络，进而通过目标分类网络，识别装饰区域图像中配饰部件的类别，以根据配饰部件的类别得到真实人脸图像中的附加形象特征。
[0215]
在其中一个实施例中，附加形象特征包括眼镜特征。例如，眼镜特征包括无眼镜、黑框眼镜、金属框眼镜等中的至少一种。如图12所示，为一个实施例中对眼镜特征进行分类的流程示意图。以图9中的真实人脸图像为例，从真实人脸图像中提取人脸特征点后，根据人脸区域中的眼镜关键点从对齐后的人脸图像中，提取眼睛周围区域，从而得到眼镜区域图像，并将眼镜区域图像做为输入图像12a。计算机设备然后将眼镜区域图像调整到预设的尺寸大小，得到尺寸调整后的图像12b，例如预设尺寸大小可以为64*32。然后将尺寸调整后的图像12b，输入至目标分类网络中，目标分类网络具体为mobilenet网络1202，通过mobilenet网络1202中的各卷积网络对尺寸调整后的图像12b进行特征提取，然后通过全连
接层1204识别图像中的配饰部件的类别，并输出分类结果1206。其中，分类结果即为附加形象类别，附加形象类别可以包括无眼镜、黑框眼镜和金属框眼镜中的任意一种。计算机设备进而以根据附加形象类别得到真实人脸图像中的附加形象特征。
[0216]
在一个实施例中，目标分类网络采用的是mobilenet轻量级网络，mobilenet轻量级网络的基本单元是深度级可分离卷积。其中，mobilenet轻量级网络中包括多个网络层，每个网络层包括网络层类型、网络步长、滤波器形状尺寸和输入图像尺寸等属性信息。例如，网络层类型以及对应的网络步长可以包括conv/s2、conv dw/s1、conv/s1、conv dw/s2、avg pool/s1、fc/s1、softmax/s1等中的至少一种。滤波器形状尺寸可以包括3x3x3x32、3x3x32dw、1x1x32dw、3x3x64dw、1x1x64x128、3x3x128dw、1x1x64x128、3x3x256dw、3x3x512dw、3x3x1024dw等中的至少一种。输入图像尺寸可以包括64x32x3、112x112x32、56x56x64、56x56x128、28x28x128、28x28x256、14x14x256、14x14x512、7x7x1024、1x1x1024等中的至少一种。其中，mobilenet轻量级网络的初始网络层的输入图像尺寸可以为64x32x3。fc层的输出类别为3类，例如无眼镜、黑框眼镜和金属框眼镜这三种分类结果。
[0217]
在一个实验测试实施例中，获取一万余张样本图像作为训练集，其中包括3500张无眼镜的图像，3420张具有黑框眼镜的图像，以及3320张具有金属框眼镜的图像。通过训练集中的样本图像训练出目标分类网络。通过测试，训练后的目标分类网络针对眼镜类别的整体分类精度92％，由此能够有效地训练得到分类准确度较高的目标分类网络。
[0218]
在一个实施例中，形象特征包括肤色特征、原生形象特征和附加形象特征；根据形象特征对卡通人脸模型进行形象渲染，生成三维卡通形象，包括：基于人脸特征点的分布位置提取肤色区域的像素，根据肤色区域的像素获取肤色特征；根据肤色特征对三维的卡通人脸模型进行肤色渲染；根据原生形象特征和附加形象特征获取相匹配的形象素材，将形象素材渲染至肤色渲染后的三维的卡通人脸模型中，得到具有人脸特征和形象特征的三维卡通形象。
[0219]
其中，肤色特征，是指真实人脸图像中真实人脸的肤色的特征。例如，肤色特征可以是通过像素颜色特征或肤色的颜色深浅度等表示。
[0220]
计算机设备在提取出真实人脸图像的过程中，还根据人脸特征点的分布位置提取肤色区域的像素，根据肤色区域的像素获取肤色特征。具体地，计算机设备可以根据真实人脸图像的人脸特征点中的眼睛关键点以及嘴唇关键点，去除眼睛和嘴部可能影响肤色计算的区域，以提取能够用于肤色特征的肤色区域，也就是主要统计脸颊部分的像素。计算机设备进而将肤色区域的像素与预设的肤色色卡的像素做比较，获取像素差最小的肤色色卡，作为真实人脸图像的肤色特征。如图13所示，为一个实施例中的肤色色卡的示意图，参照图13，各种不同的肤色特征，可以通过颜色深浅度区分。图13中分别展示了五种不同肤色特征的肤色色卡。
[0221]
计算机设备提取出真实人脸图像中的形象特征，即肤色特征、原生形象特征和附加形象特征，并构建出相应的三维的卡通人脸模型后，则根据肤色特征对应的像素颜色，对卡通人脸模型进行肤色渲染。
[0222]
计算机设备进一步根据原生形象特征和附加形象特征获取相匹配的形象素材。其中，数据库中包括与各种原生形象特征和附加形象特征分别相应的形象素材。计算机设备然后将形象素材渲染至肤色渲染后的三维的卡通人脸模型中，从而能够有效得到具有人脸
特征和形象特征的三维卡通形象。
[0223]
在一个具体的实施例中，以图9中的真实人脸图像为例，构建出相应的三维的卡通人脸模型后，通过将提取的形象特征，渲染至对应的卡通人脸模型，从而得到的三维卡通形象。如图14所示，为通过对真实人脸图像14(r1)进行三维卡通化重建后，得到的三维卡通形象的效果图14(c1)。其中，真实人脸图像14(r1)中真实人脸的原生形象特征包括肤色特征、发型特征和痣标识特征，以及附加形象特征，及眼镜特征。因此构建的三维卡通形象的效果图14(c1)中也包括与真实人脸中的肤色特征、发型特征和痣标识特征以及眼镜特征分别相对应的形象特征。
[0224]
如图15所示，为其他实施例中真实人脸图像进行三维卡通化重建后，得到的三维卡通形象的效果图。图15中分别展示了三组真实人脸图像，即真实人脸图像15(r1)、真实人脸图像15(r2)和真实人脸图像15(r3)，通过分别对真实图像进行三维卡通化重建后，分别得到相应的三维卡通形象15(c1)、三维卡通形象15(c2)和三维卡通形象15(c3)。
[0225]
本实施例中，通过提取真实人脸图像中的肤色特征、原生形象特征和附加形象特征相应的形象特征，并在构建与真实人脸相对应的三维的卡通人脸模型后，通过分别将肤色特征对应的颜色，以及原生形象特征和附加形象特征分别对应的素材渲染至卡通人脸模型上，从而能够构建得到精准度较高且具有真实人脸特征和形象特征的三维卡通形象，有效提高了三维卡通形象与真实人脸之间的相似度。
[0226]
在一个实施例中，从真实人脸图像中提取人脸特征点和形象特征之前，方法还包括：展示卡通形象选择界面，卡通形象选择界面包括三维形象选项；响应于对三维形象选项的选择操作，采集用户的真实人脸图像；根据形象特征对卡通人脸模型进行形象渲染，生成三维卡通形象之后，上述人脸图像卡通化处理方法还包括：展示形象预览界面，并在形象预览界面中展示真实人脸图像和三维卡通形象。
[0227]
其中，计算机设备可以为终端，终端中运行有能够实现三维卡通形象重建功能的应用，该应用中包括卡通形象选择界面。可以理解，卡通形象选择界面，是用于指示用户进行选择卡通形象类型的界面。例如，卡通形象选择界面中包括二维形象选项和三维形象选项。
[0228]
用户通过在卡通形象选择界面中选择相应卡通形象类型的选项后，则展示图像获取界面，以获取用户的真实人脸图像。具体地，当用户在卡通形象选择界面中选中三维形象选项后，终端响应针对三维形象选项的选择操作后，则获取用户的真实人脸图像。终端具体还可以展示图像获取界面，图像获取界面具体可以是本地图像选择界面或图像拍摄界面。其中，本地图像选择界面用于从终端的本地数据库中获取已有的真实人脸图像。图像拍摄界面用于实时采集用户的真实人脸图像。
[0229]
终端获取真实人脸图像后，首先从真实人脸图像中提取人脸特征点和形象特征，然后基于人脸特征点构建与真实人脸图像相应的三维的仿真人脸模型，并获取仿真人脸模型与三维仿真人脸模板之间的差异特征。进一步根据三维仿真人脸模板与三维卡通人脸模板之间的语义映射关系，将差异特征迁移至三维卡通人脸模板，从而得到三维的卡通人脸模型。最后根据提取的形象特征对卡通人脸模型进行形象渲染，则可以得到具有真实人脸特征以及真实人脸的形象特征的三维卡通形象，由此能够精准有效地构建出与真实人脸更加相似的三维卡通形象。
[0230]
终端获得与真实人脸图像对应的三维卡通形象后，则展示形象预览界面，并在形象预览界面中展示原始的真实人脸图像和所构建的三维卡通形象，由此能够有效地在形象预览界面中比对真实人脸图像和三维卡通形象的相似度。
[0231]
在一个具体的实施例中，如图16所示，为一个实施例中卡通形象选择界面的示意图。例如，可以为“厘米秀”应用中的卡通形象选择界面。其中，卡通形象选择界面中包括二维的卡通形象的展示区域2d和三维的卡通形象的展示区域3d，并且分别在二维的卡通形象的展示区域2d中展示二维形象选项2da，在三维的卡通形象的展示区域3d中展示三维形象选项3db。
[0232]
当选中三维形象选项3db后，则展示图像拍摄界面。如图17所示，为一个实施例中图像拍摄界面的示意图。当终端展示图像拍摄界面后，则通过终端的摄像采集装置拍摄当前用户的真实人脸图像，并利用人脸检测框17a，检测图像拍摄界面是否有人脸。当识别到当前画面中存在人脸时，则自动采集当前用户的真实人脸图像，并进一步进行三维卡通形象构建处理。
[0233]
在构建得到与真实人脸图像对应的三维卡通形象后，则展示形象预览界面。如图18所示，为一个实施例中展示形象预览界面的示意图。形象预览界面中包括三维卡通形象展示区域18a和原始真实人脸图像展示区域18b。形象预览界面中还可以包括完成选项，用于保存当前生成的三维卡通形象。
[0234]
进一步地，在构建并保存与真实人脸图像对应的三维卡通形象后，用户还可以对生成的三维卡通形象进行自定义调整。具体地，终端可以展示三维卡通形象调整界面，以在三维卡通形象调整界面中实现自定义调整三维卡通形象。如图19所示，为一个实施例中展示三维卡通形象调整界面的示意图。三维卡通形象调整界面中包括调整预区域19a和素材选择区域19b，其中，素材选择区域19b包括各种人脸部位和形象特征等相应的素材，用户可以在素材选择区域19b中选择相应的素材，添加至三维卡通形象中的相应部位，或对三维卡通形象中相应部位的素材进行替换，从而能够有效地实现对自动生成的三维卡通形象进行自定义调整，有效提高了三维卡通形象的可编辑性和适配性。
[0235]
在另一个应用场景中，计算机设备还可以对连续的视频帧所对应的真实人脸图像进行三维卡通形象构建。计算机设备通过从真实人脸图像中提取人脸特征点和形象特征后，基于人脸特征点构建与真实人脸图像相应的三维的仿真人脸模型。然后通过获取仿真人脸模型与三维仿真人脸模板之间的差异特征，根据三维仿真人脸模板与三维卡通人脸模板之间具有预设的语义映射关系将差异特征迁移至三维卡通人脸模板中，得到三维的卡通人脸模型。进而根据形象特征对卡通人脸模型进行形象渲染，以将真实人脸图像中的形象特征渲染到卡通人脸模型中，从而生成与真实人脸图像中的真实人脸更加相似的三维卡通形象。
[0236]
进一步地，计算机设备构建出初始帧真实人脸图像对应的三维卡通形象后，只需要对后续帧对应的真实人脸图像中的人脸姿态和表情，对已经构建出的三维卡通形象进行调整。具体地，计算机设备通过后续帧中真实人脸图像的相机参数、人脸形状参数和人脸表情基参数，然后与初始帧真实人脸图像中的相机参数、人脸形状参数和人脸表情基参数进行比对，若这些参数发生变更，则根据变更后的相机参数、人脸形状参数和人脸表情基参数，直接调整三维卡通形象中的卡通人脸模型相应的参数，使得三维卡通形象与相应的真
实人脸图像的形态表情一致。
[0237]
例如，可以在终端的界面中展示连续的视频帧，也就是展示包括真实人脸的视频。终端生成与各视频帧中的真实人脸相对应的三维卡通形象后，则在界面中同时展示包括真实人脸的视频和相对应的三维卡通形象。由此能够高效地对视频帧真实人脸图像进行人脸图像卡通化处理，从而能够快速精准地构建出与真实人脸相似的三维卡通形象。
[0238]
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0239]
在一个实施例中，如图20所示，提供了一种人脸图像卡通化处理装置2000，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：特征提取模块2002、三维人脸重建模块2004、差异特征提取模块2006、差异特征迁移模块2008和三维卡通形象生成模块2010，其中：
[0240]
特征提取模块2002，用于从真实人脸图像中提取人脸特征点和形象特征；
[0241]
三维人脸重建模块2004，用于基于人脸特征点构建与真实人脸图像相应的三维的仿真人脸模型；
[0242]
差异特征提取模块2006，用于获取仿真人脸模型与三维仿真人脸模板之间的差异特征；
[0243]
差异特征迁移模块2008，用于基于三维仿真人脸模板与三维卡通人脸模板之间的语义映射关系，将差异特征迁移至三维卡通人脸模板，得到三维的卡通人脸模型；
[0244]
三维卡通形象生成模块2010，用于根据形象特征对卡通人脸模型进行形象渲染，生成三维卡通形象。
[0245]
在一个实施例中，人脸特征点为二维的人脸特征点；三维人脸重建模块2004还用于获取二维的人脸特征点在三维仿真人脸模板中的特征点映射矩阵；基于人脸特征点和特征点映射矩阵进行参数估计，得到三维人脸参数；基于三维人脸参数，构建与真实人脸图像相应的三维的仿真人脸模型。
[0246]
在一个实施例中，三维人脸重建模块2004还用于基于人脸特征点和特征点映射矩阵进行相机参数迭代估计，在满足第一迭代条件后，得到相机参数；基于人脸特征点、特征点映射矩阵和相机参数，进行人脸参数迭代估计，满足第二迭代条件后得到人脸形状基参数和人脸表情基参数；根据相机参数、人脸形状基参数和人脸表情基参数，构建与真实人脸图像相应的三维的仿真人脸模型。
[0247]
在一个实施例中，仿真人脸模型的拓扑结构中包括多个三角面；差异特征提取模块2006还用于获取仿真人脸模型中的各三角面，在三维仿真人脸模板中相对应的三角面上的第一变形梯度；根据第一变形梯度，得到仿真人脸模型中的各三角面与三维仿真人脸模板中相对应的各三角面之间的仿射变换映射矩阵；仿射变换映射矩阵，用于表征仿真人脸模型与三维仿真人脸模板之间的差异特征。
[0248]
在一个实施例中，三维卡通人脸模板的拓扑结构中包括多个三角面；差异特征迁
移模块2006还用于基于三维仿真人脸模板与三维卡通人脸模板之间的语义映射关系，将仿真人脸模型与三维卡通人脸模板进行对齐处理；在对齐后的三维卡通人脸模板中的各三角面中，查找与仿真人脸模型中的各三角面相匹配的三角面，得到仿真人脸模型中的各三角面与三维卡通人脸模板中的三角面之间的三角面映射关系；按照三角面映射关系将差异特征迁移至三维卡通人脸模板，得到三维的卡通人脸模型。
[0249]
在一个实施例中，差异特征迁移模块2006还用于根据三角面映射关系和仿射变换映射矩阵，对三维卡通人脸模板中原始的三角面进行变形处理，确定三维卡通人脸模板中原始的三角面与变形后的三角面之间的第二变形梯度；朝着使第二变形梯度与第一变形梯度之间的差异最小化的方向，根据三角面映射关系和仿射变换映射矩阵，对对齐后的三维卡通人脸模板中的各三角面进行迭代变形处理；在满足迭代停止条件后，得到三维的卡通人脸模型。
[0250]
在一个实施例中，特征提取模块2002还用于从真实人脸图像中提取五官关键点、轮廓关键点以及分别对应的语义信息；根据五官关键点和轮廓关键点以及分别对应的语义信息，得到人脸特征点；基于人脸特征点提取真实人脸图像的形象特征。
[0251]
在一个实施例中，形象特征包括原生形象特征和附加形象特征；特征提取模块2102还用于对真实人脸图像进行人脸对齐处理，得到对齐后的真实人脸图像；基于人脸特征点，从对齐后的真实人脸图像中识别原生形象特征；基于人脸特征点，从对齐后的真实人脸图像中识别附加形象特征。
[0252]
在一个实施例中，原生形象特征包括发型特征；特征提取模块2102还用于通过已训练的发型识别网络，提取对齐后的真实人脸图像中的头发特征，并根据头发特征生成头发掩膜图；基于人脸特征点将头发掩膜图划分为至少两个掩膜图子区域；根据头发特征在至少两个掩膜图子区域中的分布，得到发型特征。
[0253]
在一个实施例中，特征提取模块2002还用于根据人脸特征点的分布位置，从对齐后的真实人脸图像中提取附加形象区域图像；通过已训练的目标分类网络，识别附加形象区域图像的附加形象类别；根据附加形象类别，得到真实人脸图像中的附加形象特征。
[0254]
在一个实施例中，形象特征包括肤色特征、原生形象特征和附加形象特征；三维卡通形象生成模块2010还用于基于人脸特征点的分布位置提取肤色区域的像素，根据肤色区域的像素获取肤色特征；根据肤色特征对三维的卡通人脸模型进行肤色渲染；根据原生形象特征和附加形象特征获取相匹配的形象素材，将形象素材渲染至肤色渲染后的三维的卡通人脸模型中，得到具有人脸特征和形象特征的三维卡通形象。
[0255]
在一个实施例中，上述装置还包括展示模块，用于展示卡通形象选择界面，卡通形象选择界面包括三维形象选项；响应于对三维形象选项的选择操作，采集用户的真实人脸图像；展示形象预览界面，并在形象预览界面中展示真实人脸图像和三维卡通形象。
[0256]
关于人脸图像卡通化处理装置的具体限定可以参见上文中对于人脸图像卡通化处理方法的限定，在此不再赘述。上述人脸图像卡通化处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0257]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结
构图可以如图21所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储真实人脸图像、三维仿真人脸模板和三维卡通人脸模板等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人脸图像卡通化处理方法。
[0258]
在一个实施例中，提供了另一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图22所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种人脸图像卡通化处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0259]
本领域技术人员可以理解，图21和图22中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0260]
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0261]
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0262]
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
[0263]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0264]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例
中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0265]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。