从照片生成3d数字人脸模型中的uv图的处理方法
技术领域
1.本发明涉及计算机人脸3d建模领域，具体涉及一种从照片生成3d数字人脸模型中的uv图的处理方法。
背景技术：
2.随着元宇宙概念的迅速兴起，每个用户拥有一个与自己高相似度的虚拟数字人形象成为每个用户强烈需求；通用的通过手工或者3d扫描方法制作的虚拟数字人成本高、效率低，因此通过根据人脸平面图片生成人脸3d模型成为一种简单、方便、高效的一种满足普通用户普遍需求的方法。当前市场上存在多种3d模型生成方法，但是这些方法多是基于人脸3d形变统计模型3dmm和生成式对抗网络gan生成人脸模型，实现过程中会生成人脸(是一个模型)。
3.人脸3d模型建立的一个关键步骤是从照片生成3d数字人脸模型中的uv图,即从人脸照片生成uv图。uv图指u、v纹理贴图坐标的简称(它和空间模型的x，y，z轴是类似的)。它定义了3d模型上每个顶点的颜色信息。uv就是将模型物体的表面每个顶点的颜色映射到二维空间的平面图片上，然后在点与点之间的间隙位置由软件进行图像光滑插值处理。而人脸对于立方体可以在x,y方向分别进行平面投影,但是人脸边缘接缝的融合或者采用无缝连续的纹理难以做到过渡自然，通常不能产生理想的效果。
技术实现要素：
4.本发明的目的在于针对现有技术的缺陷和不足，提供一种从照片生成3d数字人脸模型中的uv图的处理方法，它通过自身算法自动计算从平面照片生成uv图的过程，对于图片中的过渡处能实现无缝连续过渡，确保做到过渡自然，达到自然、真实的过渡效果。
5.为实现上述目的，本发明采用以下技术步骤：
6.1、生成初始uv图，扫描人脸平面照片，自动识别照片特征点，根据特征点生成初始uv图。
7.所述的特征点分别为眉毛、嘴巴、鼻子、眼睛、下巴、脸颊，通过多个特征点之间的比例关系、位置关系、形状大小得出刚性变换矩阵和形变的非刚性参数；
8.计算刚性变化矩阵是通过对特征点和其二维映射做线性解算如下：
9.c＝arg min[x]||a
·
x
–
b||
[0010]
其中：
[0011]
b是代表特征点的向量；
[0012]
a是这些点在三维空间对应的一个3d标准人脸模型模板上的位置；
[0013]
c是结算后的结果，即刚性变化矩阵；
[0014]
从矩阵c进而获得人脸在三维空间对应的相对位置、旋转和缩放比例。在获得了刚性变化矩阵的基础上，进而计算形变的非刚性参数，这个算法是通过对刚性变换后的特征点与三维空间人脸模型所对应位置，以及脸的三维形变做单值分解(svd)计算而获得。
[0015]
2、修补空洞区域，在步骤1中生成初始uv图时，从二维到三维的映射过程会产生空洞，对空洞进行修补。
[0016]
所述步骤2中的空洞为平面照片中三维折叠部分，即找不到直接映射位置的区域；例如鼻子与脸颊的过渡处，在平面照片中该过渡处为隐藏无法直接显示，而在三维uv图中该过渡处可以显示，而初始uv图变换时该部分为空洞显示。
[0017]
所述步骤2的映射过程，利用每个点的rgba(即红、绿、蓝和透明度)四个通道中的透明度通道做标记，将所有可以找到映射位置的点的阿尔法值设为非零，而找不到映射位置的点的透明通道设为零；然后对所有透明通道为零的点与周边的非零值的点进行卷积并完成填补，从而完成空洞填补；
[0018]
c[i]＝σ(a[i]*b[i])
[0019]
其中，
[0020]
a代表一个“空洞”点相邻的一个非“空洞”区域点，
[0021]
b代表卷积核，
[0022]
c代表卷积后的结果，
[0023]
i是当前点的位置，
[0024]
k是卷积核的当前位置。
[0025]
3、对初始uv图进行亮度和色彩调整，先将脸部区域分别设置为：额头b1、脸颊b2、下巴b3、鼻子b4、眼睛b5和嘴b6；然后对于每个区域进行色度和亮度分析，找出需要调整的地方进行调整。
[0026]
所述步骤3中色度和亮度分析，先将初始uv图由rgb色彩空间转换到cielab色彩空间，cielab的三个坐标分别表示颜色的亮度(l)、其在红色和绿色之间的位置(a)、及其在黄色和蓝色之间的位置(b)，首先计算uv图片在每个区域的平均lab值(a’)和标准差(a”)，然后逐点分析此区域的每个点的lab值，并与其相邻的点做均值计算；
[0027]
将均值后的lab值(a)用下面的计算方法重新赋值：
[0028]
c[l]＝p[l]-a[l] a’[l]
[0029]
c[a]＝sqr((p[a]-a[a]))/a”[a] a’[a]
[0030]
c[b]＝sqr((p[b]-a[b]))/a”[b] a’[b]
[0031]
其中，
[0032]
p是当前点的值，
[0033]
c是调整后的值。
[0034]
4、对与头部连接处，进行整体色度和亮度过渡的平滑处理，uv图设置有底色，底色与初始uv图底色有偏差，底色与uv图的过渡处色度和亮度的采用平滑过度，采用对过渡区域内点的rgb值泊松分布的解算而得到该点的最终rgb值，并对连接处进行赋值，达到平滑处理的目的。
[0035]
本发明它通过对平面图片到uv图片的变换，对变换中的空洞部分进行有效的填补，而该填补会使得整体uv图片看起来更加自然顺滑，且没有突兀感；对照片与头部的连接处进行色度和亮度的平滑处理，保证了照片与底色的平滑过渡，保证了uv图的自然、平滑，可以使得后期三维模型得到更好的显示效果、更加逼真的显示。
具体实施方式
[0036]
本具体实施方式采用的技术步骤为：1、生成初始uv图，扫描人脸平面照片，自动识别照片特征点，根据特征点生成初始uv图。
[0037]
所述的特征点分别为眉毛a1、嘴巴a2、鼻子a3、眼睛a4、下巴a5、脸颊a7，通过多个特征点之间的比例关系、位置关系、形状大小得出刚性变换矩阵和形变的非刚性参数；
[0038]
计算刚性变化矩阵是通过对特征点和其二维映射做线性解算如下：
[0039]
c＝arg min[x]||a
·
x
–
b||
[0040]
其中：
[0041]
b是代表特征点的向量，
[0042]
a是这些点在三维空间对应的模型位置，模型位置依靠眉毛a1、嘴巴a2、鼻子a3、眼睛a4、下巴a5、脸颊a6相互之间的位置获取，
[0043]
c是结算后的结果，即刚性变化矩阵；
[0044]
从矩阵c进而获得人脸在三维空间对应的相对位置、旋转和缩放比例。在获得了刚性变化矩阵的基础上，进而计算形变的非刚性参数，这个算法是通过对刚性变换后的特征点与三维空间人脸模型所对应位置，以及脸的三维形变做单值分解(svd)计算而获得。
[0045]
2、修补空洞区域，在步骤1中生成初始uv图时，从二维到三维的映射过程会产生空洞，对空洞进行修补。
[0046]
所述步骤2中的空洞为平面照片中三维折叠部分，即找不到直接映射位置的区域；例如鼻子与脸颊的过渡处，在平面照片中该过渡处为隐藏无法直接显示，而在三维uv图中该过渡处可以显示，而初始uv图变换时该部分为空洞显示。
[0047]
所述步骤2的映射过程，利用每个点的rgba(即红、绿、蓝和透明度)四个通道中的透明度通道做标记，将所有可以找到映射位置的点的阿尔法值设为非零，而找不到映射位置的点的透明通道设为零；然后对所有透明通道为零的点与周边的非零值的点进行卷积并完成填补，从而完成空洞填补；
[0048]
c[i]＝σ(a[i]*b[i])
[0049]
其中，
[0050]
a代表一个“空洞”点相邻的一个非“空洞”区域点，
[0051]
b代表卷积核，
[0052]
c代表卷积后的结果，
[0053]
i是当前点的位置，
[0054]
k是卷积核的当前位置。
[0055]
3、对初始uv图进行亮度和色彩调整，先将脸部区域分别设置为：额头b1、脸颊b2、下巴b3、鼻子b4、眼睛b5和嘴b6；然后对于每个区域进行色度和亮度分析，找出需要调整的地方进行调整。比如额头b1过暗、过亮或者色度值有偏差等，脸颊b2过暗均进行亮度、色度调整。
[0056]
所述步骤3中色度和亮度分析，先将初始uv图由rgb色彩空间转换到cielab色彩空间，cielab的三个坐标分别表示颜色的亮度(l)、其在红色和绿色之间的位置(a)、及其在黄色和蓝色之间的位置(b)，首先计算uv图片在每个区域的平均lab值(a’)和标准差(a”)，然后逐点分析此区域的每个点的lab值，并与其相邻的点做均值计算；
[0057]
将均值后的lab值(a)用下面的计算方法重新赋值：
[0058]
c[l]＝p[l]-a[l] a’[l]
[0059]
c[a]＝sqr((p[a]-a[a]))/a”[a] a’[a]
[0060]
c[b]＝sqr((p[b]-a[b]))/a”[b] a’[b]
[0061]
其中，
[0062]
p是当前点的值，
[0063]
c是调整后的值。
[0064]
4、对与头部连接处，进行整体色度和亮度过渡的平滑处理，uv图设置有底色，底色与初始uv图底色有偏差，底色与uv图的过渡处色度和亮度的采用平滑过度，采用对过渡区域内点的rgb值泊松分布的解算而得到该点的最终rgb值，并对连接处进行赋值，达到平滑处理的目的。
[0065]
本发明它通过对平面图片到uv图片的变换，对变换中的空洞部分进行有效的填补，而该填补会使得整体uv图片看起来更加自然顺滑，且没有突兀感；对照片与头部的连接处进行色度和亮度的平滑处理，保证了照片与底色的平滑过渡，保证了uv图的自然、平滑，可以使得后期三维模型得到更好的显示效果、更加逼真的显示。
[0066]
以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。
技术领域
1.本发明涉及计算机人脸3d建模领域，具体涉及一种从照片生成3d数字人脸模型中的uv图的处理方法。
背景技术：
2.随着元宇宙概念的迅速兴起，每个用户拥有一个与自己高相似度的虚拟数字人形象成为每个用户强烈需求；通用的通过手工或者3d扫描方法制作的虚拟数字人成本高、效率低，因此通过根据人脸平面图片生成人脸3d模型成为一种简单、方便、高效的一种满足普通用户普遍需求的方法。当前市场上存在多种3d模型生成方法，但是这些方法多是基于人脸3d形变统计模型3dmm和生成式对抗网络gan生成人脸模型，实现过程中会生成人脸(是一个模型)。
3.人脸3d模型建立的一个关键步骤是从照片生成3d数字人脸模型中的uv图,即从人脸照片生成uv图。uv图指u、v纹理贴图坐标的简称(它和空间模型的x，y，z轴是类似的)。它定义了3d模型上每个顶点的颜色信息。uv就是将模型物体的表面每个顶点的颜色映射到二维空间的平面图片上，然后在点与点之间的间隙位置由软件进行图像光滑插值处理。而人脸对于立方体可以在x,y方向分别进行平面投影,但是人脸边缘接缝的融合或者采用无缝连续的纹理难以做到过渡自然，通常不能产生理想的效果。
技术实现要素：
4.本发明的目的在于针对现有技术的缺陷和不足，提供一种从照片生成3d数字人脸模型中的uv图的处理方法，它通过自身算法自动计算从平面照片生成uv图的过程，对于图片中的过渡处能实现无缝连续过渡，确保做到过渡自然，达到自然、真实的过渡效果。
5.为实现上述目的，本发明采用以下技术步骤：
6.1、生成初始uv图，扫描人脸平面照片，自动识别照片特征点，根据特征点生成初始uv图。
7.所述的特征点分别为眉毛、嘴巴、鼻子、眼睛、下巴、脸颊，通过多个特征点之间的比例关系、位置关系、形状大小得出刚性变换矩阵和形变的非刚性参数；
8.计算刚性变化矩阵是通过对特征点和其二维映射做线性解算如下：
9.c＝arg min[x]||a
·
x
–
b||
[0010]
其中：
[0011]
b是代表特征点的向量；
[0012]
a是这些点在三维空间对应的一个3d标准人脸模型模板上的位置；
[0013]
c是结算后的结果，即刚性变化矩阵；
[0014]
从矩阵c进而获得人脸在三维空间对应的相对位置、旋转和缩放比例。在获得了刚性变化矩阵的基础上，进而计算形变的非刚性参数，这个算法是通过对刚性变换后的特征点与三维空间人脸模型所对应位置，以及脸的三维形变做单值分解(svd)计算而获得。
[0015]
2、修补空洞区域，在步骤1中生成初始uv图时，从二维到三维的映射过程会产生空洞，对空洞进行修补。
[0016]
所述步骤2中的空洞为平面照片中三维折叠部分，即找不到直接映射位置的区域；例如鼻子与脸颊的过渡处，在平面照片中该过渡处为隐藏无法直接显示，而在三维uv图中该过渡处可以显示，而初始uv图变换时该部分为空洞显示。
[0017]
所述步骤2的映射过程，利用每个点的rgba(即红、绿、蓝和透明度)四个通道中的透明度通道做标记，将所有可以找到映射位置的点的阿尔法值设为非零，而找不到映射位置的点的透明通道设为零；然后对所有透明通道为零的点与周边的非零值的点进行卷积并完成填补，从而完成空洞填补；
[0018]
c[i]＝σ(a[i]*b[i])
[0019]
其中，
[0020]
a代表一个“空洞”点相邻的一个非“空洞”区域点，
[0021]
b代表卷积核，
[0022]
c代表卷积后的结果，
[0023]
i是当前点的位置，
[0024]
k是卷积核的当前位置。
[0025]
3、对初始uv图进行亮度和色彩调整，先将脸部区域分别设置为：额头b1、脸颊b2、下巴b3、鼻子b4、眼睛b5和嘴b6；然后对于每个区域进行色度和亮度分析，找出需要调整的地方进行调整。
[0026]
所述步骤3中色度和亮度分析，先将初始uv图由rgb色彩空间转换到cielab色彩空间，cielab的三个坐标分别表示颜色的亮度(l)、其在红色和绿色之间的位置(a)、及其在黄色和蓝色之间的位置(b)，首先计算uv图片在每个区域的平均lab值(a’)和标准差(a”)，然后逐点分析此区域的每个点的lab值，并与其相邻的点做均值计算；
[0027]
将均值后的lab值(a)用下面的计算方法重新赋值：
[0028]
c[l]＝p[l]-a[l] a’[l]
[0029]
c[a]＝sqr((p[a]-a[a]))/a”[a] a’[a]
[0030]
c[b]＝sqr((p[b]-a[b]))/a”[b] a’[b]
[0031]
其中，
[0032]
p是当前点的值，
[0033]
c是调整后的值。
[0034]
4、对与头部连接处，进行整体色度和亮度过渡的平滑处理，uv图设置有底色，底色与初始uv图底色有偏差，底色与uv图的过渡处色度和亮度的采用平滑过度，采用对过渡区域内点的rgb值泊松分布的解算而得到该点的最终rgb值，并对连接处进行赋值，达到平滑处理的目的。
[0035]
本发明它通过对平面图片到uv图片的变换，对变换中的空洞部分进行有效的填补，而该填补会使得整体uv图片看起来更加自然顺滑，且没有突兀感；对照片与头部的连接处进行色度和亮度的平滑处理，保证了照片与底色的平滑过渡，保证了uv图的自然、平滑，可以使得后期三维模型得到更好的显示效果、更加逼真的显示。
具体实施方式
[0036]
本具体实施方式采用的技术步骤为：1、生成初始uv图，扫描人脸平面照片，自动识别照片特征点，根据特征点生成初始uv图。
[0037]
所述的特征点分别为眉毛a1、嘴巴a2、鼻子a3、眼睛a4、下巴a5、脸颊a7，通过多个特征点之间的比例关系、位置关系、形状大小得出刚性变换矩阵和形变的非刚性参数；
[0038]
计算刚性变化矩阵是通过对特征点和其二维映射做线性解算如下：
[0039]
c＝arg min[x]||a
·
x
–
b||
[0040]
其中：
[0041]
b是代表特征点的向量，
[0042]
a是这些点在三维空间对应的模型位置，模型位置依靠眉毛a1、嘴巴a2、鼻子a3、眼睛a4、下巴a5、脸颊a6相互之间的位置获取，
[0043]
c是结算后的结果，即刚性变化矩阵；
[0044]
从矩阵c进而获得人脸在三维空间对应的相对位置、旋转和缩放比例。在获得了刚性变化矩阵的基础上，进而计算形变的非刚性参数，这个算法是通过对刚性变换后的特征点与三维空间人脸模型所对应位置，以及脸的三维形变做单值分解(svd)计算而获得。
[0045]
2、修补空洞区域，在步骤1中生成初始uv图时，从二维到三维的映射过程会产生空洞，对空洞进行修补。
[0046]
所述步骤2中的空洞为平面照片中三维折叠部分，即找不到直接映射位置的区域；例如鼻子与脸颊的过渡处，在平面照片中该过渡处为隐藏无法直接显示，而在三维uv图中该过渡处可以显示，而初始uv图变换时该部分为空洞显示。
[0047]
所述步骤2的映射过程，利用每个点的rgba(即红、绿、蓝和透明度)四个通道中的透明度通道做标记，将所有可以找到映射位置的点的阿尔法值设为非零，而找不到映射位置的点的透明通道设为零；然后对所有透明通道为零的点与周边的非零值的点进行卷积并完成填补，从而完成空洞填补；
[0048]
c[i]＝σ(a[i]*b[i])
[0049]
其中，
[0050]
a代表一个“空洞”点相邻的一个非“空洞”区域点，
[0051]
b代表卷积核，
[0052]
c代表卷积后的结果，
[0053]
i是当前点的位置，
[0054]
k是卷积核的当前位置。
[0055]
3、对初始uv图进行亮度和色彩调整，先将脸部区域分别设置为：额头b1、脸颊b2、下巴b3、鼻子b4、眼睛b5和嘴b6；然后对于每个区域进行色度和亮度分析，找出需要调整的地方进行调整。比如额头b1过暗、过亮或者色度值有偏差等，脸颊b2过暗均进行亮度、色度调整。
[0056]
所述步骤3中色度和亮度分析，先将初始uv图由rgb色彩空间转换到cielab色彩空间，cielab的三个坐标分别表示颜色的亮度(l)、其在红色和绿色之间的位置(a)、及其在黄色和蓝色之间的位置(b)，首先计算uv图片在每个区域的平均lab值(a’)和标准差(a”)，然后逐点分析此区域的每个点的lab值，并与其相邻的点做均值计算；
[0057]
将均值后的lab值(a)用下面的计算方法重新赋值：
[0058]
c[l]＝p[l]-a[l] a’[l]
[0059]
c[a]＝sqr((p[a]-a[a]))/a”[a] a’[a]
[0060]
c[b]＝sqr((p[b]-a[b]))/a”[b] a’[b]
[0061]
其中，
[0062]
p是当前点的值，
[0063]
c是调整后的值。
[0064]
4、对与头部连接处，进行整体色度和亮度过渡的平滑处理，uv图设置有底色，底色与初始uv图底色有偏差，底色与uv图的过渡处色度和亮度的采用平滑过度，采用对过渡区域内点的rgb值泊松分布的解算而得到该点的最终rgb值，并对连接处进行赋值，达到平滑处理的目的。
[0065]
本发明它通过对平面图片到uv图片的变换，对变换中的空洞部分进行有效的填补，而该填补会使得整体uv图片看起来更加自然顺滑，且没有突兀感；对照片与头部的连接处进行色度和亮度的平滑处理，保证了照片与底色的平滑过渡，保证了uv图的自然、平滑，可以使得后期三维模型得到更好的显示效果、更加逼真的显示。
[0066]
以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。
