人脸图像处理方法、装置、电子设备及存储介质与流程

1.本发明涉及图像处理领域，具体而言，涉及一种人脸图像处理方法、装置、电子设备及存储介质。


背景技术：

2.随着人们对美的追求，现有单调的人脸皮肤渲染技术已经难以满足需求。现有的技术方案中，大部分是基于二维的平图像处理进行磨皮和美颜，没有考虑皮肤的物理效应，在细节上缺乏真实度，难以模拟皮肤的透光感。
3.除此之外，目前使用次表面散射技术可以增强人脸皮肤的真实度，但无法实现实时的基于次表面散射的人脸图像处理。


技术实现要素：

4.本发明的目的在于，针对上述现有技术中的不足，提供一种人脸图像处理方法、装置、电子设备及存储介质，以便实现基于次表面散射的人脸图像处理。
5.为实现上述目的，本技术实施例采用的技术方案如下：
6.第一方面，本技术实施例提供了一种人脸图像处理方法，包括：
7.对原始人脸图像进行三维重建，得到三维网格和三维姿态；
8.对所述原始人脸图像进行区域分割，得到脸部区域；
9.根据所述三维网格和所述三维姿态，生成漫反射信息；
10.采用预设的次表面散射算法，对所述漫反射信息进行计算，得到次表面散射结果；
11.根据所述脸部区域，将所述次表面散射结果，叠加至所述原始人脸图像，得到目标人脸图像。
12.可选的，所述根据所述三维网格和所述三维姿态，生成漫反射信息，包括：
13.根据所述三维网格和所述三维姿态，提取所述原始人脸图像的皮肤颜色；
14.在所述皮肤颜色上叠加预设虚拟细节，生成漫反射颜色；
15.根据所述三维网格，在光照空间中生成漫反射光照；所述漫反射信息包括：所述漫反射颜色和所述漫反射光照。
16.可选的，所述采用预设的次表面散射算法，对所述漫反射信息进行计算，得到次表面散射结果，包括：
17.根据多个颜色通道对应的高斯拟合算法，对所述漫反射光照进行计算，得到所述多个颜色通道的光照分布；
18.根据所述多个颜色通道的光照分布，对所述漫反射颜色进行计算，得到所述次表面散射结果。
19.可选的，所述根据多个颜色通道对应的高斯拟合算法，对所述漫反射光照进行计算，得到所述多个颜色通道的光照分布，包括：
20.采用所述漫反射光照，在每个偶极子扩散面对所述多个颜色通道对应的多个高斯
拟合算法进行拟合，得到所述每个偶极子扩散面在所述多个颜色通道的光照拟合曲线；每个颜色通道的光照拟合曲线用于表征所述每个颜色通道的光照分布。
21.可选的，所述根据所述多个颜色通道的光照分布，对所述漫反射颜色进行计算，得到所述次表面散射结果，包括：
22.根据所述多个偶极子扩散面在所述多个颜色通道的光照拟合曲线，分别计算所述多个颜色通道的皮肤剖面数据；
23.根据所述多个颜色通道的皮肤剖面数据，对所述漫反射颜色进行计算，得到所述次表面散射结果。
24.可选的，所述方法还包括：
25.根据所述三维网格，采用预设的法线贴图，计算脸部高光；
26.所述根据所述脸部区域，将所述次表面散射结果，叠加至所述原始人脸图像，得到目标人脸图像，包括：
27.根据所述脸部区域，将所述次表面散射结果和所述脸部高光，叠加至所述原始人脸图像，得到所述目标人脸图像。
28.可选的，所述根据所述三维网格，采用预设的法线贴图，计算脸部高光，包括：
29.根据所述三维网格，采用所述预设的法线贴图，基于多种不同的高光参数，分别计算多种高光结果；
30.对所述多种高光结果进行加权和运算，得到所述脸部高光。
31.第二方面，本技术实施例还提供了一种人脸皮肤渲染装置，包括：重建模块、分割模块、处理模块；
32.所述重建模块，用于对原始人脸图像进行三维重建，得到三维网格和三维姿态；
33.所述分割模块，用于对所述原始人脸图像进行区域分割，得到脸部区域；
34.所述处理模块，用于根据所述三维网格和所述三维姿态，生成漫反射信息；采用预设的次表面散射算法，对所述漫反射信息进行计算，得到次表面散射结果；根据所述脸部区域，将所述次表面散射结果，叠加至所述原始人脸图像，得到目标人脸图像。
35.第三方面，本技术实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行时执行如第一方面任一所述的人脸图像处理方法的步骤。
36.第四方面，本技术实施例还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面任一所述的人脸图像处理方法的步骤。
37.本技术的有益效果是：本技术实施例提供一种人脸图像处理方法，通过对原始人脸图像进行三维重建，得到三维网格和三维姿态；再对原始人脸图像进行区域分割，得到脸部区域；其后，根据三维网格和三维姿态，生成漫反射信息，并采用预设的次表面散射算法，对漫反射信息进行计算，得到次表面散射结果，最后根据脸部区域，将次表面散射结果，叠加至原始人脸图像，得到目标人脸图像。本技术的人脸图像处理基于三维技术实现，首先对原始人脸图像进行三维重建，在图像处理过程中考虑到了人脸图像的姿态，使得处理得到的目标人脸图像更加准确真实；其次，通过预设的次表面散射算法对原始人脸图像进行处
理，相比于传统平面美颜，本技术考虑了更复杂的物理效应，在细节上呈现更加丰富，渲染的皮肤效果更真实，更美观，整体而言，本技术的方法，能够实现基于次表面散射的实时人脸图像处理，渲染增强用户在拍照过程中人脸的皮肤效果，使面部皮肤在视觉上更加柔软和通透。
附图说明
38.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
39.图1为本技术一实施例提供的一种人脸图像处理方法的流程图；
40.图2为本技术又一实施例提供的一种人脸图像处理方法的流程图；
41.图3为本技术另一实施例提供的一种人脸图像处理方法的流程图；
42.图4为本技术再一实施例提供的一种人脸图像处理方法的流程图；
43.图5为本技术再二实施例提供的一种人脸图像处理方法的流程图；
44.图6为本技术再三实施例提供的一种人脸图像处理方法的流程图；
45.图7为本技术一实施例提供的一种人脸图像处理装置的示意图；
46.图8为本技术实施例提供的一种电子设备的示意图。
具体实施方式
47.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
48.在本技术中，除非另有明确的规定和限定，在本发明中的描述中，“多个”的含义是至少两个，例如两个、三个，除非另有明确具体的限定。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
49.近年来，次表面散射技术一直为渲染技术中较为热门的研究方向，在三维渲染中，为实现虚拟角色的真实度，通常采用相机阵列扫描人体获得三维数据及皮肤贴图，再将数据经过手工修复后，进行渲染，耗时长成本高，无法实现对人脸图像基于次表面散射的实时人脸图像处理。
50.目前市面上有不少的人像美容效果，大部分是基于二维的平图像处理进行磨皮和美颜，没有考虑皮肤的物理效应，在细节上缺乏真实度，难以模拟皮肤的透光感。基于上述问题，本技术提出了一种人脸图像处理方法。
51.需要说明的是，就本技术的应用场景而言，本技术的人脸图像处理方法可以嵌套与各种图像处理软件中，完成相应的功能。就其使用环境而言，本技术的人脸图像处理方法可以应用于电子设备，该电子设备例如可以是车载电脑、台式电脑、笔记本电脑、智能电视、
智能手机、服务器等能够运行本技术程序的计算机设备。
52.还需要说明的是，本技术提供的人脸图像处理方法的实施例，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，本技术对此不做限定。
53.图1为本技术一实施例提供的一种人脸图像处理方法的流程图，如图1 所示，该方法包括：
54.步骤101：对原始人脸图像进行三维重建，得到三维网格和三维姿态。
55.需要说明的是，本技术中，原始人脸图像人脸图像可以是利用摄像机、智能终端、电脑等能够采集到人脸图像的设备进行实时采集得到的人脸图像，例如使用智能终端设备在短视频或者直播中实时采集的人脸图像；采集到的人脸图像也可以是通过计算机设备获取的非实时的图像，例如使用计算机设备下载的人脸图像。本技术对该人脸图像的具体采集形式不做限定，能够实现本技术的人脸图像处理方法即可。此外，本技术的人脸图像，例如可以是图片、动态图片、短视频、视频等形式，本技术对人脸图像的具体类型不做限定。
56.还需要说明的是，通过原始人脸图像进行三维重建以得到原始人脸图像的三维网格、三维姿态，在具体实现中，可以使用立体匹配，运动结构恢复(structure from motion，sfm)，阴影恢复(shape from shading，sfs)，三维可变形人脸模型(3dmm)等方式实现进行三维重建，也可以利用深度学习等算法实现，本技术对此不做限定，只要能够实现基于初始人脸图像的三维建模即可。
57.在一种可能的实现方式中，可以基于深度学习算法生成三维重建网络，以实现对原始人脸图像的三维重建。三维重建网络可以通过如下方法实现：首先创建三维重建模型，该三维重建模型是基于深度学习算法创建的模型；通过每张原始样本图片对应的相机内参矩阵将原始样本图片的三维相机坐标转换为二维齐次坐标，将转换后的坐标信息作为训练集输入三维重建模型中，训练得到三维重建网络，通过三维网络，可以实现对原始人脸图像几何拓扑(即三维网格)和头部姿态信息(即三维姿态)的实时追踪获取。
58.步骤102：对原始人脸图像进行区域分割，得到脸部区域。
59.对原始人脸图像进行区域分割，分割掉原始人脸图像中的干扰物或者遮挡物，从而得到脸部区域。需要说明的是，本技术对原始人脸图像进行区域分割的具体方法不做限定，例如可以使用图像识别、深度学习等算法识别分割。
60.在一种可能的实现方式中，可以通过全脸分割深度学习算法，实现对原始人脸图像中干扰物或者遮挡物(例如手，口罩)的剔除，并对其他无干扰物脸部区域进行标记。上述仅为示例说明，在实际实现中，还可以有其他的脸部区域分割方式，本技术对此不做限定。
61.步骤103：根据三维网格和三维姿态，生成漫反射信息。
62.在一种可能的实现方式中，获取的三维网格和三维姿态后，可以根据三维网格和三维姿态，生成漫反射信息，其中，漫反射信息是后续次表面散射算法计算的基础要素，例如，漫反射信息可以包括皮肤颜色、光照等信息，本技术对漫反射信息中包含的具体信息类型不足限定，用户可以根据实际计算需要设定。
63.步骤104：采用预设的次表面散射算法，对漫反射信息进行计算，得到次表面散射结果。
64.需要说明的是，同一条入射光进入半透光性物质后，会在内部经过多次散射，最终在入射点附近散射出若干条光线，因此，可以通过预设的次表面散射算法，计算得到次表面散射结果。本技术对具体的预设次表面算法实现方式不做限定，用户可以根据需要选择能够获取次表面散射结果的次表面散射算法。
65.步骤105：根据脸部区域，将次表面散射结果，叠加至原始人脸图像，得到目标人脸图像。
66.对上述结果进行混合，根据区域分割得到的脸部区域，将得到的次表面散射结果，叠加至原始人脸图像，生成目标人脸图像。在一种可能的实现方式中，可以通过如下方式得到目标人脸图像：
67.目标人脸图像＝原始人脸图像 次表面散射结果*脸部区域。上述仅为示例说明，在实际实现中，还可以有其他的叠加方式，本技术对此不做限定。
68.综上，本技术实施例提供一种人脸图像处理方法，通过对原始人脸图像进行三维重建，得到三维网格和三维姿态；再对原始人脸图像进行区域分割，得到脸部区域；其后，根据三维网格和三维姿态，生成漫反射信息，并采用预设的次表面散射算法，对漫反射信息进行计算，得到次表面散射结果，最后根据脸部区域，将次表面散射结果，叠加至原始人脸图像，得到目标人脸图像。本技术的人脸图像处理基于三维技术实现，首先对原始人脸图像进行三维重建，在图像处理过程中考虑到了人脸图像的姿态，使得处理得到的目标人脸图像更加准确真实；其次，通过预设的次表面散射算法对原始人脸图像进行处理，相比于传统平面美颜，本技术考虑了更复杂的物理效应，在细节上呈现更加丰富，渲染的皮肤效果更真实，更美观，整体而言，本技术的方法，能够实现基于次表面散射的实时人脸图像处理，渲染增强用户在拍照过程中人脸的皮肤效果，使面部皮肤在视觉上更加柔软和通透。
69.可选的，在上述图1的基础上，本技术还提供一种人脸图像处理方法的可能实现方式，图2为本技术又一实施例提供的一种人脸图像处理方法的流程图；如图2所示，根据三维网格和三维姿态，生成漫反射信息，包括：
70.步骤201：根据三维网格和三维姿态，提取原始人脸图像的皮肤颜色。
71.在对原始人脸图像进行处理时，也需要考虑到此原始人脸图像本身的肤色等特征，也就是说，为了使得处理后的目标人脸图像更加真实，需要考虑原始人脸图像的皮肤颜色。需要说明的是，从三维网络中提取原始人脸图像的皮肤颜色可以由多种方式，本技术对具体的皮肤颜色提取方式不做限定，只要其能够实现皮肤颜色的提取即可。
72.在一种可能的实现方式中，可以将三维网格投影到二维空间中，并实时锚定的脸部像素区域，提取原始人脸图像的皮肤颜色。上述方法仅为示例说明，在实际实现中，还可以有其他方式，本技术对此不做限定。
73.步骤202：在皮肤颜色上叠加预设虚拟细节，生成漫反射颜色。
74.需要说明的是，皮肤表面油脂层主要贡献了皮肤光照的反射部分(约6％的光线被反射)，而油脂层下面的表皮层和真皮层则主要贡献了的次表面散射部分(约94％的光线被散射)。因此，进行次表面散射计算时，需要考虑到皮肤表层下的细节，即表皮层和真皮层细节，以更好地确定漫反射颜色。还需要说明的是，虚拟细节是皮肤除了皮肤颜色之外的细节信息，例如绒毛、油脂、真皮、毛囊、静脉、动脉、脂肪组织、皮肤表面的纹理、皱纹、毛孔、雀斑、痘痘、黑痣、疤痕、油脂粒等。预设虚拟细节即上述虚拟细节中的一种或多种，其中预设
虚拟细节包括的具体内容、以及细节的数目等，可以根据实际需要进行设定，本技术对此不做限定。
75.在皮肤颜色的基础上，叠加皮肤细节信息，将叠加后的颜色作为三维网格的漫反射颜色，以进行次表面散射计算。
76.步骤203：根据三维网格，在光照空间中生成漫反射光照；漫反射信息包括：漫反射颜色和漫反射光照。
77.根据三维网格，在光照空间中生成漫反射光照，其中漫反射光照为原始人脸图像本身皮肤的自然光照效果。由此，漫反射信息中包括了漫反射颜色和漫反射光照。
78.在一种可能的实现方式中，在光照空间中生成漫反射光照，包括如下方法：根据三维网格，在光照空间中，生成三维网格的深度图；并根据深度图中的深度值，计算面部各个区域的次表面效应的强弱，此处计算遵从光学传播效应，越靠近光源的区域，有更强烈的次表面效应。
79.基于上述方法的人脸图像处理，考虑皮肤质感和光线传播效应的人脸皮肤美化方案，可以做到增强用户肤质，改善皮肤瑕疵，重绘皮肤肌理。
80.可选的，在上述图2的基础上，本技术还提供一种人脸图像处理方法的可能实现方式，图3为本技术另一实施例提供的一种人脸图像处理方法的流程图；如图3所示，采用预设的次表面散射算法，对漫反射信息进行计算，得到次表面散射结果，包括：
81.步骤301：根据多个颜色通道对应的高斯拟合算法，对漫反射光照进行计算，得到多个颜色通道的光照分布。
82.需要说明的是，颜色通道是将构成整体图像的颜色信息整理并表现为单色图像的工具(例如可以包括红色通道(r)，绿色通道(g)，蓝色通道(b)，本技术对此不做限定)。由于不同颜色扩散能力的不同，在运用高斯拟合算法进行光照分布拟合时，需要对每个颜色通道的拟合算法，或者拟合算法的相关参数进行设定，从而利用多个颜色通道对应的高斯拟合算法，对漫反射光照进行计算，从而得到多个颜色通道的光照分布。
83.在一种可能的实现方式中，可以通过如下方式计算多个颜色通道的光照分布。由于皮肤的物理特性，单个高斯函数无法精确拟合出复杂的人类皮肤的光照分布(或者扩散剖面)，而多个高斯分布在一起可以提供极好的近似，模拟出精确的人脸皮肤次表面散射效应，此外，由于高斯函数是可分离的和径向对称的，并且它们可以相互卷积来产生新的高斯函数，因此可以通过互相卷积来产生新的高斯函数计算光照分布。
84.次表面计算公式由若干个高斯和函数进行拟合，单个的高斯函数为：
[0085][0086]
其中f
gaussian
为单个高斯函数；
[0087][0088]
其中b，c为常数，b为曲线在x轴的中心，c为钟形曲线的宽度。
[0089]
在一种具体的实现方式中，对于每个扩散分布r(r)，可以找到具有权重ω和方差v的k个高斯函数：
[0090]
[0091]
其中r(r)为扩散分布，ωi为每个高斯函数对应的权重，g(vi,r)是方差为vi的高斯函数，系数vi为方差。其中，ωi的设定可以人为通过经验值设定，也可以利用预设算法(例如深度学习算法)等计算后进行设定，本技术对此不做限定，在一种可能的实现方式中，可以通过多次实验，计算得到对皮肤的扩散剖面高斯和拟合后系数ωi。
[0092]
每个方差v可以由以下定义：
[0093][0094]
在一种具体的实现方式中，可以选择常数(-r/2v)v使得g(r,v)在用于径向2d模糊时不会使输入图像变暗或变亮(其具有单位脉冲响应(unitimpulse response))。
[0095]
通过对多个高斯函数进行拟合，即可得到该颜色通道的光照分布，以此类推，可以得到多个颜色通道的光照分布。需要说明的是，对多个高斯函数进行拟合可能有多种方式，本技术对此不做限定，只要使用的方法能够实现对光照分布的拟合即可。
[0096]
步骤302：根据多个颜色通道的光照分布，对漫反射颜色进行计算，得到次表面散射结果。
[0097]
根据上述步骤获取的多个颜色通道的光照分布，对漫反射颜色进行计算，得到原始人脸图像的人脸皮肤在叠加预设虚拟细节后的次表面散射结果。
[0098]
根据每个颜色通道的光照分布，对漫反射颜色进行计算，使得计算得到的次表面散射结果更加真实。
[0099]
可选的，在上述图3的基础上，本技术还提供一种人脸图像处理方法的可能实现方式，根据多个颜色通道对应的高斯拟合算法，对漫反射光照进行计算，得到多个颜色通道的光照分布，包括：
[0100]
采用漫反射光照，在每个偶极子扩散面对多个颜色通道对应的多个高斯拟合算法进行拟合，得到每个偶极子扩散面在多个颜色通道的光照拟合曲线；每个颜色通道的光照拟合曲线用于表征每个颜色通道的光照分布。
[0101]
在一种可能的实现方式中，根据漫反射光照，在每个偶极子扩散面 (dipole profile)对多个颜色通道对应的多个高斯拟合算法进行拟合，从而得到每个偶极子扩散面在多个颜色通道的光照拟合曲线。需要说明的是，偶极子扩散面的数量可以根据实际需要进行设定，本技术对偶极子扩散面的具体数量不做限定，一般而言，由于一个偶极子扩散面的拟合效果不佳，通常而言选用多个偶极子扩散面。
[0102]
通过上述方法可以得到多个颜色通道的光照拟合曲线；每个颜色通道的光照拟合曲线可以用于表征每个颜色通道的光照分布。
[0103]
可选的，在上述实施例的基础上，本技术还提供一种人脸图像处理方法的可能实现方式，图4为本技术再一实施例提供的一种人脸图像处理方法的流程图；如图4所示，根据多个颜色通道的光照分布，对漫反射颜色进行计算，得到次表面散射结果，包括：
[0104]
步骤401：根据多个偶极子扩散面在多个颜色通道的光照拟合曲线，分别计算多个颜色通道的皮肤剖面数据。
[0105]
步骤402：根据多个颜色通道的皮肤剖面数据，对漫反射颜色进行计算，得到次表面散射结果。
[0106]
需要说明的是，虽然对于大部分透明物体(牛奶、大理石等)用一个偶极子扩散面
(dipole profile)就能够实现拟合，但是由于人脸皮肤材质的特殊性，人脸皮肤是多层结果，且每层的材质不同，用一个偶极子扩散面不能达到理想的效果，因此可以通过多个偶极子(dipole)根据测量得到皮肤的剖面数据(profile数据)。本技术对每个颜色通道偶极子的数量不做限定，用户可以根据使用需要和成本等综合考虑，选择合适的偶极子数量进行拟合。
[0107]
在一种具体的实现方式中，通过3个偶极子可以测量得出的皮肤剖面数据，其中每个偶极子可以对应一个颜色通道，每个颜色通道的光照拟合曲线可通过6个高斯函数拟合得到，例如三个颜色通道为红色通道、绿色通道、蓝色通道时，对红色通道:
[0108]
r(r)＝0.233*g(0.0064,r) 0.1*g(0.0484,r) 0.118*g(0.187,r) 0.11 3*g(0.567,r) 0.358*g(1.99,r) 0.078*g(7.41,r)
[0109]
上述公式是红色通道r的拟合，绿通道g和蓝通道b的参数不一样，可以通过查表等方式获取其他通道的参数，本技术对获取参数的具体方式不做限定。需要说明的是，不同颜色通道(例如r、g、b通道)拟合出的光照拟合曲线有所不同，例如r通道的扩散范围最远，这也是皮肤显示出红色的原因。
[0110]
通过上述方法，可以获得多个偶极子扩散面在多个颜色通道的光照拟合曲线，根据每个颜色通道的光照拟合曲线，可以计算得到该颜色通道对应的皮肤剖面数据。在此基础上，通过对漫反射颜色进行计算，即可得到次表面散射结果。
[0111]
可选的，在上述图1的基础上，本技术还提供一种人脸图像处理方法的可能实现方式，图5为本技术再二实施例提供的一种人脸图像处理方法的流程图；如图5所示，该方法包括：
[0112]
步骤501：根据三维网格，采用预设的法线贴图，计算脸部高光。
[0113]
在一种可能的实现方式中，根据三维网络以及预设的法线贴图，可以生成脸部高光，本技术对脸部高光的具体计算方式不做限定。
[0114]
根据脸部区域，将次表面散射结果，叠加至原始人脸图像，得到目标人脸图像，包括：
[0115]
步骤502：根据脸部区域，将次表面散射结果和脸部高光，叠加至原始人脸图像，得到目标人脸图像。
[0116]
根据区域分割得到的脸部区域，对得到的次表面散射结果和脸部高光进行混合，叠加至原始人脸图像中，生成目标人脸图像。在一种可能的实现方式中，可以通过如下方式得到目标人脸图像：
[0117]
目标人脸图像＝原始人脸图像 (次表面散射结果 脸部高光)*脸部区域。上述仅为示例说明，在实际实现中，还可以有其他的叠加方式，本技术对此不做限定。
[0118]
在一种具体的实现方式中，可以根据脸部区域得到目标人脸图像时，根据脸部区域对渲染结果进行区域剔除，消除干扰物或者遮挡物。在之后叠加次表面散射结果和脸部高光时，无需对提出的区域进行计算，从而减少了计算量，加快人脸图像处理速度，节约了成本。
[0119]
可选的，在上述图5基础上，本技术还提供一种人脸图像处理方法的可能实现方式，图6为本技术再三实施例提供的一种人脸图像处理方法的流程图；如图6所示，根据三维网格，采用预设的法线贴图，计算脸部高光，包括：
[0120]
步骤601：根据三维网格，采用预设的法线贴图，基于多种不同的高光参数，分别计算多种高光结果。
[0121]
步骤602：对多种高光结果进行加权和运算，得到脸部高光。
[0122]
在一种可能的实现方式中，由于单一的高光对原始人脸图像的高光渲染程度有限，效果有限，为了实现更真实更美观的高光效果，可以根据三维网络以及预设的法线贴图，基于多种不同的高光参数，分别生成不同粗糙度和细节的高光效果，从而得到计算多种高光结果。再通过对多种高光结果进行加权和运算，得到脸部高光。
[0123]
在一种具体的实现方式中，可以采用双镜叶高光(dual lobe specular)，通过两个不同的高光参数进行混合。双镜叶高光(dual lobe specular)为两个独立的高光镜叶提供粗糙度值，二者组合后形成最终脸部高光结果。当二者组合后，会为皮肤提供非常出色的亚像素微频效果，呈现出一种自然面貌。其具体计算方式如下：
[0124][0125]
其中，v:视线方向；l:光照方向；n:法线方向；h:v和l的半角向量；d(normal distribution function，ndf)):描述法线分布概率函数；f(fresnel equation)：菲涅尔效应计算方程；g(geometry function)：几何分布概率函数。
[0126]
计算得到参数不同的两个脸部高光结果f1、f2之后，可以通过混合公式对两者进行混合，例如，可以通过最终脸部高光结果＝f1*0.8 f2*0.2计算。上述仅为示例说明，本技术对具体的混合方式不做限定，对混合中采用的参数不做限定。
[0127]
下述对用以执行本技术所提供的人脸图像处理装置、电子设备及存储介质等进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。
[0128]
本技术实施例提供一种人脸图像处理装置的可能实现示例，能够执行上述实施例提供的人脸图像处理方法。图7为本技术一实施例提供的一种人脸图像处理装置的示意图。如图7所示，上述人脸图像处理装置100，包括：重建模块71、分割模块73、处理模块75；
[0129]
重建模块71，用于对原始人脸图像进行三维重建，得到三维网格和三维姿态；
[0130]
分割模块73，用于对原始人脸图像进行区域分割，得到脸部区域；
[0131]
处理模块75，用于根据三维网格和三维姿态，生成漫反射信息；采用预设的次表面散射算法，对漫反射信息进行计算，得到次表面散射结果；根据脸部区域，将次表面散射结果，叠加至原始人脸图像，得到目标人脸图像。
[0132]
可选的，处理模块75，用于根据三维网格和三维姿态，提取原始人脸图像的皮肤颜色；在皮肤颜色上叠加预设虚拟细节，生成漫反射颜色；根据三维网格，在光照空间中生成漫反射光照；漫反射信息包括：漫反射颜色和漫反射光照。
[0133]
可选的，处理模块75，用于根据多个颜色通道对应的高斯拟合算法，对漫反射光照进行计算，得到多个颜色通道的光照分布；根据多个颜色通道的光照分布，对漫反射颜色进行计算，得到次表面散射结果。
[0134]
可选的，处理模块75，用于采用漫反射光照，在每个偶极子扩散面对多个颜色通道对应的多个高斯拟合算法进行拟合，得到每个偶极子扩散面在多个颜色通道的光照拟合曲线；每个颜色通道的光照拟合曲线用于表征每个颜色通道的光照分布。
[0135]
可选的，处理模块75，用于根据多个偶极子扩散面在多个颜色通道的光照拟合曲
线，分别计算多个颜色通道的皮肤剖面数据；根据多个颜色通道的皮肤剖面数据，对漫反射颜色进行计算，得到次表面散射结果。
[0136]
可选的，人脸图像处理装置100，还包括：高光模块；高光模块，用于根据三维网格，采用预设的法线贴图，计算脸部高光；
[0137]
处理模块75，用于根据脸部区域，将次表面散射结果和脸部高光，叠加至原始人脸图像，得到目标人脸图像。
[0138]
可选的，高光模块，用于根据三维网格，采用预设的法线贴图，基于多种不同的高光参数，分别计算多种高光结果；对多种高光结果进行加权和运算，得到脸部高光。
[0139]
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
[0140]
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integratedcircuit，简称asic)，或，一个或多个微处理器(digital singnal processor，简称dsp)，或，一个或者多个现场可编程门阵列(field programmable gatearray，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
[0141]
本技术实施例提供一种电子设备的可能实现示例，能够执行上述实施例提供的人脸图像处理方法。图8为本技术实施例提供的一种电子设备的示意图，该设备可以集成于终端设备或者终端设备的芯片，该终端可以是具备数据处理功能的计算设备。
[0142]
该电子设备包括：处理器801、存储介质802和总线，存储介质存储有处理器可执行的程序指令，当控制设备运行时，处理器与存储介质之间通过总线通信，处理器执行程序指令，以执行时执行上述人脸图像处理方法的步骤。具体实现方式和技术效果类似，这里不再赘述。
[0143]
本技术实施例提供一种计算机可读存储介质的可能实现示例，能够执行上述实施例提供的人脸图像处理方法，存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述人脸图像处理方法的步骤。
[0144]
存储在一个存储介质中的计算机程序，可以包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文：read-only memory，简称： rom)、随机存取存储器(英文：random access memory，简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0145]
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0146]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的
部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0147]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0148]
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文：read-onlymemory，简称：rom)、随机存取存储器(英文：random access memory，简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0149]
以上仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。