人脸图像美化方法、装置、电子设备以及存储介质与流程

1.本技术涉及计算机技术领域，具体涉及一种人脸图像美化方法、装置、电子设备以及存储介质。


背景技术：

2.随着人工智能在图像处理技术上的不断发展，在计算机设备上对图像或者视频进行个性化处理，生成新的图像或者视频变得越来越普遍。例如，用户通过终端拍照后，对拍摄的照片进行美化等个性化处理，生成新的图像。
3.然而，目前这种图像处理方式需要用户手动操作，比如手动调节美化素材的颜色、亮度以及大小等等，对用户动手能力要求较高，从而导致图像美化的效率偏低。


技术实现要素：

4.本技术提供一种人脸图像美化方法、装置、电子设备以及存储介质，无需用户手动操作，可以提高图像美化的效率。
5.本技术提供了一种人脸图像美化方法，包括：
6.获取待美化人脸图像以及至少一个候选美化素材，所述候选美化素材为从参考美化人脸图像的美化后区域中提取得到的素材；
7.对所述待美化人脸图像与所述美化后区域进行映射；
8.基于所述待美化人脸图像与所述美化后区域之间的映射关系，建立所述待美化人脸与候选美化素材之间的关联关系；
9.响应于针对所述候选美化素材的素材选择操作，将选择的候选美化素材确定为目标美化素材，并基于所述关联关系以及目标美化素材对所述待美化图像进行美化。
10.相应的，本技术还提供了一种人脸图像美化装置，包括：
11.获取模块，用于获取待美化人脸图像以及至少一个候选美化素材，所述候选美化素材为从参考美化人脸图像的美化后区域中提取得到的素材；
12.映射模块，用于对所述待美化人脸图像与所述美化后区域进行映射；
13.建立模块，用于基于所述待美化人脸图像与所述美化后区域之间的映射关系，建立所述待美化人脸与候选美化素材之间的关联关系；
14.第二确定模块，用于响应于针对所述候选美化素材的素材选择操作，将选择的候选美化素材确定为目标美化素材；
15.美化模块，用于基于所述关联关系以及目标美化素材对所述待美化图像进行美化。
16.可选的，在本技术的一些实施例中，所述映射模块包括：
17.提取单元，用于提取所述待美化人脸的人脸特征点，得到第一特征点集合，以及提取所述参考美化人脸的人脸特征点，得到第二特征点集合；
18.第一单元，用于对所述第一特征点集合进行网格化处理，得到所述待美化人脸对
应的网格人脸；
19.第二单元，用于在所述第二特征点集合中选择与所述美化后区域关联的特征点，并对选择的特征点进行网格化处理，得到所述美化后区域对应的网格区域；
20.映射单元，用于对所述网格人脸与网格区域进行映射。
21.可选的，在本技术的一些实施例中，所述映射单元包括：
22.获取子单元，用于获取所述网格人脸中每个网格点的位置信息，其中，所述网格点与所述待美化人脸的人脸特征点对应；
23.映射子单元，用于根据所述位置信息，将所述网格区域中每个顶点映射至所述网格人脸中。
24.可选的，在本技术的一些实施例中，所述映射子单元具体用于：
25.根据所述位置信息以及所述美化后区域在所述参考美化人脸中的位置，在所述网格人脸中选择与所述美化区域匹配的匹配区域；
26.将所述网格区域中每个顶点映射至所述匹配区域中。
27.可选的，在本技术的一些实施例中，所述美化模块具体用于：
28.根据所述关联关系、所述待美化区域的区域颜色信息以及所述目标美化素材的素材颜色信息，对所述待美化图像进行美化。
29.可选的，在本技术的一些实施例中，所述美化模块包括：
30.检测单元，用于检测所述待美化人脸图像中人脸的人脸姿态；
31.调整单元，用于基于所述人脸姿态对所述目标美化素材的形状进行调整，得到调整后素材；
32.美化单元，用于根据所述关联关系、所述待美化区域的区域颜色信息以及所述调整后素材的素材颜色信息，对所述待美化图像进行美化。
33.可选的，在本技术的一些实施例中，还包括检测单元，所述检测单元具体用于：
34.检测所述待美化人脸图像中人脸是否存在遮挡区域；
35.当检测到所述待美化人脸图像中人脸存在遮挡区域时，在所述待美化人脸图像上构建覆盖所述遮挡区域的掩膜区域，得到掩膜后人脸图像；
36.所述美化单元具体还用于：根据所述关联关系、所述待美化区域的区域颜色信息以及所述调整后素材的素材颜色信息，对所述掩膜后人脸图像进行美化。
37.可选的，在本技术的一些实施例中，所述确定具体用于：
38.基于所述待美化人脸图像与所述美化后区域之间的映射关系，确定所述待美化人脸中待美化区域对应的候选美化素材；
39.建立所述待美化区域与对应的候选美化素材之间的关联关系。
40.本技术实施例在获取待美化人脸图像以及至少一个候选美化素材后，所述候选美化素材为从参考美化人脸图像的美化后区域中提取得到的素材，对所述待美化人脸图像与所述美化后区域进行映射，然后，基于待美化人脸图像与所述美化后区域之间的映射关系，建立所述待美化人脸与候选美化素材之间的关联关系，最后，响应于针对所述候选美化素材的素材选择操作，将选择的候选美化素材确定为目标美化素材，并基于所述关联关系以及目标美化素材对所述待美化图像进行美化，在本技术提供的人脸图像美化方案中，通过建立待美化人脸与候选美化素材之间的关联关系，在执行人脸图像美化任务时，无需用户
手动操作，即可对待美化图像进行美化，因此，提高了提高图像美化的效率。
附图说明
41.为了更清楚地说明本技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1a是本技术提供的人脸图像美化方法的场景示意图；
43.图1b是本技术提供的人脸图像美化方法的流程示意图；
44.图2是本技术提供的人脸图像美化方法的另一流程示意图；
45.图3是本技术提供的人脸图像美化装置的结构示意图；
46.图4是本技术提供的电子设备的结构示意图。
具体实施方式
47.下面将结合本技术中的附图，对本技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
48.本技术提供一种人脸图像美化方法、装置、电子设备和存储介质。
49.其中，该人脸图像美化装置具体可以集成在终端或服务器中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表或者只能车辆等，但并不局限于此，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器，其中，终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接本技术在此不做限制。
50.例如，请参阅图1a，本技术提供一种人脸图像美化装置，该人脸图像美化装置集成在手机10中，手机10安装有图像美化应用的客户端，当用户20需要进行人脸图像美化时，可以通过该客户端打开待美化人脸图像，该客户端可以显示待美化人脸图像以及至少一个候选美化素材，候选美化素材为从参考美化人脸图像的美化后区域中提取得到的素材，然后，手机10对待美化人脸图像与所述美化后区域进行映射，接着，手机10基于待美化人脸图像与美化后区域之间的映射关系，建立待美化人脸与候选美化素材之间的关联关系，最后，手机10响应于用户20针对候选美化素材的素材选择操作，将用户20选择的候选美化素材确定为目标美化素材，并基于关联关系以及目标美化素材对所述待美化图像进行美化。
51.本技术提供的人脸图像美化方法，获取到待美化人脸图像以及候选美化素材后，基于待美化人脸与美化后区域之间的映射关系，建立待美化人脸与候选美化素材之间的关联关系，用户只需要选择美化素材，即可对待美化图像进行美化，因此，提高了提高图像美化的效率。
52.以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优先顺序的限定。
53.本实施例将从人脸图像美化装置集成在观众终端的角度进行描述。
54.一种人脸图像美化方法，包括：获取待美化人脸图像以及至少一个候选美化素材，对待美化人脸图像与所述美化后区域进行映射，基于待美化人脸图像与美化后区域之间的映射关系，建立待美化人脸与候选美化素材之间的关联关系，响应于针对候选美化素材的素材选择操作，将选择的候选美化素材确定为目标美化素材，并基于关联关系以及目标美化素材对待美化图像进行美化。
55.请参阅图1b，图1b为本技术提供的人脸图像美化方法的流程示意图。该人脸图像美化方法的具体流程可以如下：
56.101、获取待美化人脸图像以及至少一个候选美化素材。
57.其中，待美化人脸图像可以从本地获取，比如，人脸图像美化装置集成在终端中，可以从终端的数据库中获取待美化人脸图像，具体的，用户可以通过人脸图像美化应用的客户端中调用人脸图像库，从而实现人脸图像美化装置获取待美化人脸图像。又比如，待美化人脸图像可以通过网络获取，比如，通过网页下载相应的待美化人脸图像，具体可以根据实际情况进行选择，在此不再赘述。
58.需要说明的是，候选美化素材为从参考美化人脸图像的美化后区域中提取得到的素材，其中，参考美化人脸图像为参考人脸美化后的图像，参考人脸可以是用户的人脸，也可以是由人工智能构建的人脸，人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。计算机视觉技术(computer vision,cv)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
59.具体的，可以预先将参考人脸图像以及美化素材进行融合，得到参考美化人脸图像，然后，再从参考美化人脸图像中提取美化人脸图像的美化后区域，从而得到候选美化素材，获取候选美化素材的方式可以从本地获取，也可以从网络中获取，比如，终端安装有人脸图像美化应用的客户端，在下载该客户端时，可以一并下载候选美化素材集合，并将下载的候选美化素材集合保存在本地，并且，还可以通过网络从服务器中获取未下载的候选美化素材，具体可以根据实际情况进行选择，在此不再赘述。
60.102、对待美化人脸图像与美化后区域进行映射。
61.在本技术中，对待美化人脸图像与美化后区域进行映射实质上是将美化后区域中的点投影至待美化人脸图像中，其中，对待美化人脸图像与美化后区域进行映射可以包括如下两种方式，1)可以基于计算机图形学中的三角剖分算法，对待美化人脸图像与美化后区域进行映射，2)基于待美化人脸与参考美化人脸之间的人脸相似度，对待美化人脸图像与美化后区域进行映射。
62.针对第一种方式，可以基于三角剖分算法构建待美化人脸对应的网格人脸以及美化后区域对应的网格区域，即，可选的，在一些实施例中，步骤“对待美化人脸图像与美化后区域进行映射”，具体可以包括：
63.(11)提取待美化人脸的人脸特征点，得到第一特征点集合，以及提取参考美化人脸的人脸特征点，得到第二特征点集合；
64.(12)对第一特征点集合进行网格化处理，得到待美化人脸对应的网格人脸；
65.(13)在第二特征点集合中选择与美化后区域关联的特征点，并对选择的特征点进行网格化处理，得到美化后区域对应的网格区域；
66.(14)对网格人脸与网格区域进行映射。
67.例如，可以利用三角剖分算法对第一特征点集合进行网格化处理，得到待美化人脸对应的网格人脸，其中，三角剖分算法对数值分析(比如有限元分析)以及图形学来说，都是极为重要的一项预处理技术，尤其是狄洛尼(delaunay)三角剖分，由于其独特性，关于点集的很多种几何图都和delaunay三角剖分相关，如voronoi图，emst树，gabriel图等。delaunay三角剖分有最大化最小角，“最接近于规则化的“的三角网和唯一性(任意四点不能共圆)两个特点，三角剖分的定义是：假设v是二维实数域上的有限点集，边e是由点集中的点作为端点构成的封闭线段,e为e的集合。那么该点集v的一个三角剖分t＝(v,e)是一个平面图g，该平面图满足条件：a.除了端点，平面图中的边不包含点集中的任何点；b.没有相交边；c.平面图中所有的面都是三角面，且所有三角面的合集是散点集v的凸包。进一步的，在实际中运用的最多的三角剖分是delaunay三角剖分，它是一种特殊的三角剖分。先从delaunay边说起，delaunay边：假设e中的一条边e(两个端点为a,b)，e若满足下列条件，则称之为delaunay边：存在一个圆经过a,b两点，圆内(注意是圆内，圆上最多三点共圆)不含点集v中任何其他的点，这一特性又称空圆特性。delaunay三角剖分：如果点集v的一个三角剖分t只包含delaunay边，那么该三角剖分称为delaunay三角剖分。
68.以构建待美化人脸对应的网格人脸为例进行具体说明，首先，首先建立一个大的三角形或多边形，把所有第一特征点(即第一特征点契合)包围起来，向其中插入一点，该点与包含它的三角形三个顶点相连，形成三个新的三角形，然后逐个对它们进行空外接圆检测，同时用lawson设计的局部优化过程进行优化，即通过交换对角线的方法来保证所形成的三角网为delaunay三角网
69.上述基于散点的构网算法理论严密、唯一性好，网格满足空圆特性，较为理想。由其逐点插入的构网过程可知，遇到非delaunay边时，通过删除调整，可以构造形成新的delaunay边。在完成构网后，增加新点时，无需对所有的点进行重新构网，只需对新点的影响三角形范围进行局部联网，且局部联网的方法简单易行。同样，点的删除、移动也可快速动态地进行。
70.需要说明的是，局部优化过程(local optimization procedure，lop)基本做法为将两个具有共同边的三角形合成一个多边形，然后，以最大空圆准则作检查，看其第四个顶点是否在三角形的外接圆之内；如果其第四个顶点在三角形的外接圆之内，修正对角线即将对角线对调，即完成局部优化过程的处理。当然，也可以采用其他优化算法，本技术不作限制。
71.而关于美化后区域对应的网格区域可以参照上述方法进行构建，需要说明的是，构建美化后区域对应的网格区域需要在第二特征点集合中选择与美化后区域关联的特征点，比如，美化后区域为腮红区域，可以在第二特征点集合中选择与腮红区域关联的特征点，其中，与腮红关联的特征点可以为鼻翼特征点、颧骨特征点以及嘴角特征点等等，具体根据实际情况进行选择，在此不再赘述。
72.进一步的，为了保证映射的准确性，在映射时，需要考虑网格人脸中每个网格点的位置信息以及美化后区域的属性信息，其中，该属性信息携带有美化后区域在参考美化人脸图像中的位置以及区域的形状，基于此，对待美化人脸图像与美化后区域进行映射，即，可选的，在一些实施例中，步骤“对网格人脸与网格区域进行映射”，具体可以包括：
73.(21)获取美化后区域的属性信息网格人脸中每个网格点的位置信息；
74.(22)根据属性信息和位置信息，将网格区域中每个顶点映射至网格人脸中。
75.其中，网格点与待美化人脸的人脸特征点对应，具体的，可以利用属性信息中携带的数据如美化后区域在参考美化人脸图像中的位置以及区域的形状等等，以及位置信息中携带的数据如每个网格点在网格人脸的位置，在网格人脸中选择与美化区域匹配的匹配区域，然后，将网格区域中每个顶点映射至匹配区域中。
76.针对第二种方式，可以根据待美化人脸的人脸特征点以及参考美化人脸的人脸特征点，计算待美化人脸与参考美化人脸之间的人脸相似度，然后，将人脸相似度确定待美化人脸中待美化区域与美化后区域之间的映射关系，即，可选的，在一些实施例中，步骤“基于待美化人脸与参考美化人脸之间的人脸相似度，确定待美化人脸与美化后区域之间的映射关系”，具体可以包括：
77.提取待美化人脸的人脸特征点，得到第一特征点集合，以及提取参考美化人脸的人脸特征点，得到第二特征点集合；
78.根据第一特征点集合和第二特征点集合，计算待美化人脸与参考美化人脸之间的人脸相似度；
79.基于人脸相似度，确定待美化人脸中待美化区域与美化后区域之间的映射关系。
80.具体的，可以通过人脸特征点检测模型提取待美化人脸的人脸特征点以及提取参考美化人脸的人脸特征点，需要说明的是，人脸特征提取就是针对人脸的某些特征进行的。人脸特征提取，也称人脸表征，它是对人脸进行特征建模的过程。人脸特征提取的方法归纳起来分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。
81.基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等。人脸由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为识别人脸的重要特征，这些特征被称为几何特征。基于知识的人脸表征主要包括
基于几何特征的方法和模板匹配法。
82.具体的，可以利用人脸的几何特征，提取具有尺寸、旋转和位移不变性的人脸特征点，比如可以提取出如眼睛、鼻子以及嘴唇等部位的关键特征点位置。例如，选取人脸的9个特征点，这些特征点的分布具有角度不变性，分别为2个眼球中心点、4个眼角点、两鼻孔的中点以及2个嘴角点。
83.但是，在进行人脸特征提取时，由于无法将局部的边缘信息有效地组织起来，传统的边缘检测算子不能可靠地提取人脸的特征，比如眼睛或者嘴唇的区域，所以可以采用如susan算子的算法来提取人脸的特征。susan算子的原理为：以像素为半径的圆形区域，即面积覆盖像素位置为掩膜，考察人脸图像中的每个点在该区域范围内的所有点的像素值，与当前点的像素值的一致程度。
84.需要说明的是，由于人脸表情的不同可能会引起嘴唇形状有较大的变动，并且嘴唇区域比较容易受到胡须等因素的干扰，因此唇部区域的特征点提取的准确性会受到较大的影响。由于嘴角点的位置受表情等影响相对变动较小，角点的位置较准确，所以采取唇部区域的重要特征点为两个嘴角点的定位方式。
85.进一步的，基于人脸相似度确定待美化人脸中待美化区域与美化后区域之间的映射关系的方式有两种，具体如下：
86.方式一：可以将人脸相似度大于第一预设值的参考美化人脸确定为目标人脸，然后，基于目标人脸的第二特征点集，确定每个待美化区域对应的美化后区域，即，可选的，在一些实施例中，步骤“基于人脸相似度，确定待美化人脸中待美化区域与美化后区域之间的映射关系”，具体可以包括：
87.将人脸相似度大于第一预设值的参考美化人脸确定为目标人脸；
88.从待美化人脸中分割至少一个待美化区域；
89.基于目标人脸的第二特征点集合，确定每个待美化区域对应的美化后区域。
90.其中，在本技术中，人脸相似度是基于人脸特征点计算得到的，比如，可以计算待美化人脸与参考人脸在n维向量上的相似度，具体可以采用欧几里得距离表征两个向量之间的距离，距离越大，相似度越小；距离越小，相似度越大。
91.在确定目标人脸后，可以从待美化人脸中分割至少一个待美化区域，具体可以基于预置策略以及待美化人脸的人脸特征点，从待美化人脸中分割至少一个待美化区域，比如，预置策略指示待美化区域为眉毛区域和唇部区域，那么，则基于待美化人脸的人脸特征点，从待美化人脸中分割待美化区域为眉毛区域和唇部区域，最后，基于美化特征点的位置信息，确定眉毛区域对应的美化区域和唇部区域对应的美化区域，即，可选的，在一些实施例中，步骤“于目标人脸的第二特征点集合，确定每个待美化区域对应的美化后区域”，具体可以包括：
92.确定目标人脸的美化后区域所包含的第二特征点，得到美化区域对应的美化特征点；
93.基于美化特征点的位置信息，确定每个待美化区域对应的美化后区域。
94.进一步的，为了提高后续人脸图像美化的美化结果的可靠性，在本技术中，不仅关注美化特征点的局部位置信息，还关注美化特征点的全局位置信息，即，关注美化特征点在美化区域的位置，以及关注美化特征点在参考人脸中的位置，也即，可选的，在一些实施例
中，步骤“基于美化特征点的位置信息，确定每个待美化区域对应的美化后区域”，具体可以包括：
95.基于美化特征点的位置信息，获取美化特征点在对应的美化区域中的位置以及美化特征点在参考美化人脸中的位置；
96.根据获取的位置以及第一特征点集合中第一特征点在待美化人脸中的分布，确定每个待美化区域对应的美化后区域。
97.例如，待美化人脸包括特征点a、特征点b、特征点c、特征点d以及特征点e，参考人脸包括特征点a、特征点b、特征点c、特征点d以及特征点e，其中，特征点a、特征点b以及特征点c对应的美化区域为眉毛区域，特征点d以及特征点e对应的美化区域为腮红区域，进一步的，特征点b以及特征点c分布在参考人脸的左眉毛，特征点a分布在参考人脸的右眉毛，特征点d分布在参考人脸的左脸，特征点e分布在参考人脸的右脸，而在待美化人脸中，特征点b以及特征点c分布在参考人脸的左眉毛，特征点a分布在参考人脸的右眉毛，特征点d分布在参考人脸的左脸，特征点e分布在参考人脸的右脸，由此可见，特征点b和特征点c所在的待美化区域(左眉)对应的美化区域为特征点b以及特征点c所在的左眉毛区域(美化区域)，特征点a所在的待美化区域(右眉)对应的美化区域为特征点a所在的右眉毛区域(美化区域)，同理，特征点d所在的待美化区域(左脸)对应的美化区域为特征点d所在的左脸区域(美化区域)，特征点e所在的待美化区域(右脸)对应的美化区域为特征点e所在的右脸区域(美化区域)，需要说明的是，本实施例中的“左”和“右”，是为了区分特征点所在的位置不同，并不是对本技术的限制。
98.方式二：由于噪声、光照或者设备本身的原因，通常获取的原始图像的质量不是很高，因此，为了避免由于外在因素(噪声、光照或者设备本身的原因)而过滤掉一些实际相似程度很高的参考美化人脸(人脸相似度小于或等于第一预设值的参考美化人脸)，因此，在本技术中，将人脸相似度小于或等于第一预设值的参考美化人脸确定为备选人脸，然后，确定备选人脸中美化区域对应的人脸特征点，得到备选人脸中美化区域对应的备选特征点集合，接着，根据第一特征点集合对待美化人脸的脸部区域进行划分，得到至少一个脸部子区域；再然后，根据脸部子区域对应的人脸特征点与备选特征点集合，计算脸部子区域与备选人脸中美化区域之间的区域相似度，最后，将区域相似度大于第二预设值的备选人脸的美化区域确定为参考美化区域，并确定待美化人脸中脸部区域与参考美化区域之间的映射关系。
99.103、基于待美化人脸图像与美化后区域之间的映射关系，建立待美化人脸与候选美化素材之间的关联关系。
100.在确定待美化人脸与美化后区域之间的映射关系后，可以基于该映射关系确定与待美化人脸关联的候选美化素材，比如，待美化人脸f关联的候选美化素材为眉毛素材a1、唇彩素材b2以及腮红素材c1，然后，再建立待美化人脸f眉毛区域与眉毛素材a1之间的关联关系、待美化人脸f唇部区域与唇彩素材b2之间的关联关系以及待美化人脸f腮红区域与腮红素材c1之间的关联关系，即，可选的，在一些实施例中，步骤“基于待美化人脸图像与美化后区域之间的映射关系，建立待美化人脸与候选美化素材之间的关联关系”，具体可以包括：
101.(31)基于映射关系，确定待美化人脸中待美化区域对应的候选美化素材；
102.(32)建立待美化区域与对应的候选美化素材之间的关联关系。
103.需要说明的是，用户在使用人脸图像美化应用的客户端时，该客户端页面上可以显示所有的候选美化素材，然后，在建立待美化人脸与候选美化素材之间的关联关系后，可以隐藏与待美化人脸无关的候选美化素材，随后执行步骤104。
104.104、响应于针对候选美化素材的素材选择操作，将选择的候选美化素材确定为目标美化素材，并基于关联关系以及目标美化素材对待美化图像进行美化。
105.例如，可以根据关联关系、待美化区域的区域颜色信息以及目标美化素材的素材颜色信息，对待美化图像进行美化，具体的，以一个待美化区域为例，基于关联关系确定该待美化区域所对应的目标美化素材，然后，将待美化区域的区域颜色以及目标美化素材的素材颜色进行颜色融合，从而实现对待美化图像的美化。
106.可选的，在一些实施例中，考虑到噪声、光照或者设备本身的原因，待美化人脸图像中的待美化人脸可能会出现曝光或者图像颜色较暗的情况，因此，可以对待美化区域的颜色进行二次处理，即，将待美化区域的颜色确定为第一颜色，将目标美化素材的颜色确定为第二颜色，设第一颜色为x1，第二颜色为x2，将第一颜色x1乘以第二颜色x2得到第三颜色x3，即，x3＝x1*x2，然后，再将第三颜色x3与第一颜色x1进行融合，得到待美化区域美化后的颜色x，x＝alpha*x3 (1
‑
alpha)*x1，其中，alpha为透明度。
107.需要说明的是，在一些实施例中，可以利用图形处理器中的顶点着色器完成对待美化图像进行美化，这种技术的优点在于它的实时性，由此，可以提升图像美化的效率。
108.此外，还需要说明的是，当待美化人脸图像中包括多张人脸时，本技术在图像美化时，采用对象检测模型检测待美化人脸图像中的人脸是否出现遮挡等情况，比如，在腮红美化的场景下，可以采用人脸检测模型检测待美化人脸图像中人脸的数量，具体可以通过眼睛的特征点的数量确定待美化人脸图像中人脸的数量，当检测到待美化人脸图像中人脸的数量为两个时，并且，其中一个人的脸部被遮挡了，本技术可以基于基于关联关系以及目标美化素材对未遮挡的腮红区域进行图像美化。
109.又比如，在瞳孔美化的场景下，可以采用眼睛闭合检测模型检测多个人脸的眼部区域是否处于闭合状态，当检测到眼部区域处于闭合状态的人脸，具体可以根据该人脸的眼部区域的特征点数量进行分类，这是因为当眼部区域处于闭合状态时，眼部区域的特征点集合会缺少眼球的特征点，因此，当人脸的眼部区域的特征点集合缺少眼球的特征点即可标注为闭合状态，然后，可以根据该对该闭眼的人脸图像进行修复，比如，截取该人脸的眼部区域(睁眼)，得到更新后的眼部区域，将该人脸的眼部区域作为更新后的眼部区域，然后，将更新后的眼部区域添加至该人脸中，以便后续进行图像美化。
110.需要说明的是，在进行图像美化时，考虑到用户的人脸姿态会有多种情况如微笑、大小以及抿嘴等等表情，为了提高图像的美化效果，在一些实施例中，可以检测待美化人脸图像中人脸的人脸姿态，然后，基于人脸姿态对目标美化素材的形状进行调整，最后，根据关联关系、待美化区域的区域颜色信息以及调整后素材的素材颜色信息，对待美化图像进行美化，即，可选的，在一些实施例中，步骤“根据关联关系、待美化区域的区域颜色信息以及目标美化素材的素材颜色信息，对待美化图像进行美化”，具体可以包括。
111.(41)检测待美化人脸图像中人脸的人脸姿态；
112.(42)基于人脸姿态对目标美化素材的形状进行调整，得到调整后素材；
113.(43)根据关联关系、待美化区域的区域颜色信息以及调整后素材的素材颜色信息，对待美化图像进行美化。
114.例如，具体的，当检测到待美化人脸图像中人脸的表情为微笑时，且目标美化素材为唇彩，此时，则获取待美化人脸图像中人脸的唇部区域对应的特征点，然后，基于唇部区域对应的特征点对目标美化素材进行调整，如调整目标美化素材的形状，最后，根据关联关系、待美化区域的区域颜色信息以及调整后素材的素材颜色信息，对待美化图像进行美化，从而使得美化后图像的美化效果更自然。
115.还需要说明的是，在一些实施例中，某些用户在拍摄时，可能会佩戴眼镜或其他配饰，导致对人脸的局部区域会造成遮挡，因此，为了使得美化后图像的美化效果更自然，可以在待美化人脸图像中构建掩膜区域，在进行图像美化时，美化素材则不会对掩膜区域的图像进行美化，使得美化后图像的美化效果更自然，即，本技术的图像美化方法具体还可以包括：
116.(51)检测待美化人脸图像中人脸是否存在遮挡区域；
117.(52)当检测到待美化人脸图像中人脸存在遮挡区域时，在待美化人脸图像上构建覆盖遮挡区域的掩膜区域，得到掩膜后人脸图像。
118.也即，步骤“根据关联关系、待美化区域的区域颜色信息以及调整后素材的素材颜色信息，对待美化图像进行美化”具体可以为：根据关联关系、待美化区域的区域颜色信息以及调整后素材的素材颜色信息，对掩膜后人脸图像进行美化。
119.本技术实施例在获取待美化人脸图像以及至少一个候选美化素材后，对待美化人脸图像与美化后区域进行映射，基于待美化人脸图像与美化后区域之间的映射关系，建立待美化人脸与候选美化素材之间的关联关系，响应于针对候选美化素材的素材选择操作，将选择的候选美化素材确定为目标美化素材，并基于关联关系以及目标美化素材对待美化图像进行美化，在本技术提供的人脸图像美化方案中，获取到待美化人脸图像以及候选美化素材后，基于待美化人脸与美化后区域之间的映射关系，建立待美化人脸与候选美化素材之间的关联关系，用户只需要选择美化素材，即可对待美化图像进行美化，因此，提高了提高图像美化的效率。
120.进一步的，本实施例将从人脸图像美化装置集成在终端的角度进行描述。
121.请参阅图2，一种人脸图像美化方法，具体流程可以如下：
122.201、终端获取待美化人脸图像以及至少一个候选美化素材。
123.其中，待美化人脸图像可以从本地获取，比如，人脸图像美化装置集成在终端中，可以从终端的数据库中获取待美化人脸图像，具体的，用户可以通过人脸图像美化应用的客户端中调用人脸图像库，从而实现人脸图像美化装置获取待美化人脸图像，候选美化素材为从参考美化人脸图像的美化后区域中提取得到的素材，终端安装有人脸图像美化应用的客户端，终端在下载该客户端时，可以一并下载候选美化素材集合，并将下载的候选美化素材集合保存在本地，并且，还可以通过网络从服务器中获取未下载的候选美化素材，具体可以根据实际情况进行选择，在此不再赘述。
124.202、终端对待美化人脸图像与美化后区域进行映射。
125.例如，终端可以基于计算机图形学中的三角剖分算法，对待美化人脸图像与美化后区域进行映射，终端也可以基于待美化人脸与参考美化人脸之间的人脸相似度，对待美
化人脸图像与美化后区域进行映射。
126.203、终端基于待美化人脸图像与美化后区域之间的映射关系，建立待美化人脸与候选美化素材之间的关联关系。
127.例如，具体的，终端基于待美化人脸图像与美化后区域之间的映射关系，确定待美化人脸中待美化区域对应的候选美化素材，然后，终端建立待美化区域与对应的候选美化素材之间的关联关系。
128.204、终端应于针对候选美化素材的素材选择操作，将选择的候选美化素材确定为目标美化素材，并基于关联关系以及目标美化素材对待美化图像进行美化。
129.例如，终端可以根据关联关系、待美化区域的区域颜色信息以及目标美化素材的素材颜色信息，对待美化图像进行美化，具体的，以一个待美化区域为例，终端基于关联关系确定该待美化区域所对应的目标美化素材，然后，终端将待美化区域的区域颜色以及目标美化素材的素材颜色进行颜色融合，从而实现对待美化图像的美化。
130.由上可知，本技术实施例的终端在获取待美化人脸图像以及至少一个候选美化素材后，终端对待美化人脸图像与美化后区域进行映射，终端基于待美化人脸图像与美化后区域之间的映射关系，建立待美化人脸与候选美化素材之间的关联关系，终端响应于针对候选美化素材的素材选择操作，将选择的候选美化素材确定为目标美化素材，并基于关联关系以及目标美化素材对待美化图像进行美化，在本技术提供的人脸图像美化方案中，终端获取到待美化人脸图像以及候选美化素材后，终端基于待美化人脸与美化后区域之间的映射关系，建立待美化人脸与候选美化素材之间的关联关系，用户只需要选择美化素材，即可对待美化图像进行美化，因此，提高了提高图像美化的效率。
131.为便于更好的实施本技术的人脸图像美化方法，本技术还提供一种基于上述人脸图像美化装置(简称美化装置)，所提及名词的含义与上述人脸图像美化方法中相同，具体实现细节可以参考方法实施例中的说明。
132.请参阅图3，图3为本技术提供的人脸图像美化装置的结构示意图，其中该美化装置可以包括获取模块301、映射模块302、建立模块303、确定模块304以及美化模块305，具体可以如下：
133.获取模块301，用于获取待美化人脸图像以及至少一个候选美化素材。
134.其中，获取模块301可以从本地获取待美化人力啊你图像，比如，人脸图像美化装置集成在终端中，获取模块301可以从终端的数据库中获取待美化人脸图像，具体的，用户可以通过人脸图像美化应用的客户端中调用人脸图像库，从而实现人脸图像美化装置获取待美化人脸图像，候选美化素材为从参考美化人脸图像的美化后区域中提取得到的素材，终端安装有人脸图像美化应用的客户端，终端在下载该客户端时，可以一并下载候选美化素材集合，并将下载的候选美化素材集合保存在本地，并且，获取模块301还可以通过网络从服务器中获取未下载的候选美化素材，具体可以根据实际情况进行选择，在此不再赘述。
135.映射模块302，用于对待美化人脸图像与美化后区域进行映射。
136.例如，映射模块302可以基于计算机图形学中的三角剖分算法，对待美化人脸图像与美化后区域进行映射，映射模块302也可以基于待美化人脸与参考美化人脸之间的人脸相似度，对待美化人脸图像与美化后区域进行映射。
137.可选的，在一些实施例中，映射模块302具体可以包括：
138.提取单元，用于提取待美化人脸的人脸特征点，得到第一特征点集合，以及提取参考美化人脸的人脸特征点，得到第二特征点集合；
139.第一单元，用于对第一特征点集合进行网格化处理，得到待美化人脸对应的网格人脸；
140.第二单元，用于在第二特征点集合中选择与美化后区域关联的特征点，并对选择的特征点进行网格化处理，得到美化后区域对应的网格区域；
141.映射单元，用于对网格人脸与网格区域进行映射。
142.可选的，在一些实施例中，映射单元具体可以包括：
143.获取子单元，用于获取网格人脸中每个网格点的位置信息；
144.映射子单元，用于根据位置信息，将网格区域中每个顶点映射至网格人脸中。
145.其中，网格点与待美化人脸的人脸特征点对应。
146.可选的，在一些实施例中，映射子单元具体可以用于：根据位置信息以及美化后区域在参考美化人脸中的位置，在网格人脸中选择与美化区域匹配的匹配区域，将网格区域中每个顶点映射至匹配区域中。
147.建立模块303，用于基于待美化人脸图像与所述美化后区域之间的映射关系，建立待美化人脸与候选美化素材之间的关联关系；
148.例如，具体的，建立模块303基于待美化人脸图像与所述美化后区域之间的映射关系，确定待美化人脸中待美化区域对应的候选美化素材，然后，建立模块303建立待美化区域与对应的候选美化素材之间的关联关系。
149.可选的，在一些实施例中，建立模块303具体可以用于于：基于待美化人脸图像与所述美化后区域之间的映射关系，确定待美化人脸中待美化区域对应的候选美化素材；建立待美化区域与对应的候选美化素材之间的关联关系。
150.确定模块304，用于响应于针对候选美化素材的素材选择操作，将选择的候选美化素材确定为目标美化素材。
151.美化模块305，用于基于关联关系以及目标美化素材对待美化图像进行美化。
152.可选的，在一些实施例中，美化模块305具体可以用于：根据关联关系、美化区域的区域颜色信息以及目标美化素材的素材颜色信息，对待美化图像进行美化。
153.可选的，在一些实施例中，美化模块305具体可以包括：
154.检测单元，用于检测待美化人脸图像中人脸的人脸姿态；
155.调整单元，用于基于人脸姿态对所述目标美化素材的形状进行调整，得到调整后素材；
156.美化单元，用于根据关联关系、待美化区域的区域颜色信息以及调整后素材的素材颜色信息，对待美化图像进行美化。
157.可选的，在一些实施例中，具体还可以包括检测单元，检测单元具体可以用于：检测待美化人脸图像中人脸是否存在遮挡区域，当检测到待美化人脸图像中人脸存在遮挡区域时，在待美化人脸图像上构建覆盖遮挡区域的掩膜区域，得到掩膜后人脸图像。
158.可选的，在一些实施例中，美化单元具体还可以用于：根据关联关系、待美化区域的区域颜色信息以及调整后素材的素材颜色信息，对掩膜后人脸图像进行美化。
159.本技术实施例的获取模块301在获取待美化人脸图像以及至少一个候选美化素材
后，映射模块302对待美化人脸图像与美化后区域进行映射，建立模块303基于待美化人脸图像与美化后区域之间的映射关系，建立待美化人脸与候选美化素材之间的关联关系，确定模块304响应于针对候选美化素材的素材选择操作，将选择的候选美化素材确定为目标美化素材，美化模块305基于关联关系以及目标美化素材对待美化图像进行美化，在本技术提供的人脸图像美化方案中，获取到待美化人脸图像以及候选美化素材后，基于待美化人脸与美化后区域之间的映射关系，建立待美化人脸与候选美化素材之间的关联关系，用户只需要选择美化素材，即可对待美化图像进行美化，因此，提高了提高图像美化的效率。
160.此外，本技术还提供一种电子设备，如图4所示，其示出了本技术所涉及的电子设备的结构示意图，具体来讲：该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
161.处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
162.存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
163.电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
164.该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
165.尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
166.获取待美化人脸图像以及至少一个候选美化素材，基于待美化人脸与参考美化人脸之间的人脸相似度，确定待美化人脸与美化后区域之间的映射关系，基于映射关系，建立
待美化人脸与候选美化素材之间的关联关系，响应于针对候选美化素材的素材选择操作，将选择的候选美化素材确定为目标美化素材，并基于关联关系以及目标美化素材对待美化图像进行美化。
167.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
168.本技术实施例在获取待美化人脸图像以及至少一个候选美化素材后，对待美化人脸图像与美化后区域进行映射，基于待美化人脸图像与美化后区域之间的映射关系，建立待美化人脸与候选美化素材之间的关联关系，响应于针对候选美化素材的素材选择操作，将选择的候选美化素材确定为目标美化素材，并基于关联关系以及目标美化素材对待美化图像进行美化，在本技术提供的人脸图像美化方案中，获取到待美化人脸图像以及候选美化素材后，基于待美化人脸与美化后区域之间的映射关系，建立待美化人脸与候选美化素材之间的关联关系，用户只需要选择美化素材，即可对待美化图像进行美化，因此，提高了提高图像美化的效率。
169.本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
170.为此，本技术提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本技术所提供的任一种人脸图像美化方法中的步骤。例如，该指令可以执行如下步骤：
171.获取待美化人脸图像以及至少一个候选美化素材，对待美化人脸图像与所述美化后区域进行映射，基于待美化人脸图像与美化后区域之间的映射关系，建立待美化人脸与候选美化素材之间的关联关系，响应于针对候选美化素材的素材选择操作，将选择的候选美化素材确定为目标美化素材，并基于关联关系以及目标美化素材对待美化图像进行美化。
172.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
173.其中，该存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。
174.由于该存储介质中所存储的指令，可以执行本技术所提供的任一种人脸图像美化方法中的步骤，因此，可以实现本技术所提供的任一种人脸图像美化方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
175.根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
176.以上对本技术所提供的一种人脸图像美化方法、装置、电子设备以及存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。