基于深度学习的真实感人脸渲染方法与装置与流程

1.本发明涉及图形学，人脸几何纹理重建，真实感人脸渲染等技术领域，尤其涉及一种基于深度学习的真实感人脸渲染方法。


背景技术：

2.深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
3.基于深度学习的真实感人脸渲染在人脸动画、游戏和影视领域中具有非常广泛的学术价值和应用前景。由于人脸的反射属性非常复杂，具有真实感的人脸渲染难度非常大，需要大量的人工处理；传统渲染方式耗时比较大，而基于深度学习的渲染方式相对来说比较快速，可以大大降低渲染成本。


技术实现要素：

4.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
5.为此，本发明的第一个目的在于提出一种基于深度学习的真实感人脸渲染方法，以实现利用训练得到的神经纹理和人脸混合模型对不同人脸进行操控，得到目标光照下的具有真实感的渲染结果。
6.本发明的第二个目的在于提出一种基于深度学习的真实感人脸渲染装置。
7.为达上述目的，本发明第一方面实施例提出了一种基于深度学习的真实感人脸渲染方法，包括：
8.预先采集人脸视频数据集，基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络；
9.根据所述人脸视频数据集建立人脸混和模型，并对所述人脸混和模型进行重建；
10.根据所述人脸神经纹理和重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果。
11.本发明实施例的基于深度学习的真实感人脸渲染方法通过预先采集人脸视频数据集，基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络，建立人脸混和模型并进行重建，对重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果，本发明基于深度学习的渲染方式给定训练得到的神经纹理的渲染网络的输入光照以及人脸运动，对人脸的神经纹理在相机空间的投影进行处理，得到逼真的渲染结果。
12.另外，根据本发明上述实施例的基于深度学习的真实感人脸渲染方法还可以具有以下附加的技术特征：
13.进一步地，在本发明的一个实施例中，所述根据所述人脸视频数据集建立人脸混和模型，包括：
14.根据所述人脸视频数据集中出现的方向光下的不同表情人脸数据融合得到所述人脸混和模型。
15.进一步地，在本发明的一个实施例中，所述根据所述人脸视频数据集建立人脸混和模型，并对所述人脸混和模型进行重建，包括：
16.对不同用户建立所述人脸混和模型，并对所述人脸视频数据集中的人脸运动进行重建，得到人脸相对中性表情在所述人脸混和模型中的相对运动。
17.进一步地，在本发明的一个实施例中，在所述神经纹理和所述人脸相对中性表情的运动经过所述神经渲染网络渲染之后，恢复所述预先采集的人脸视频数据集。
18.进一步地，在本发明的一个实施例中，所述人脸神经纹理存储在所述人脸混合模型的uv图之中，所述人脸相对运动，通过人脸混合模型线性插值，并投影到所述uv图中得到。
19.进一步地，在本发明的一个实施例中，所述根据所述人脸神经纹理和重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果，包括：
20.利用所述神经渲染网络，以及所述人脸神经纹理和所述重建后的人脸混合模型，对所述人脸神经纹理进行操控，并指定一个目标光照，得到人脸的在不同光照下具有真实感的人脸图片。
21.为达上述目的，本发明第二方面实施例提出了一种基于深度学习的真实感人脸渲染装置，包括：
22.采集模块，用于预先采集人脸视频数据集，基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络；
23.第一重建模块，用于根据所述人脸视频数据集建立人脸混和模型，并对所述人脸混和模型进行重建；
24.渲染模块，用于根据所述人脸神经纹理和重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果。
25.本发明实施例的基于深度学习的真实感人脸渲染装置，通过预先采集人脸视频数据集，基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络，建立人脸混和模型并进行重建，对重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果，本发明基于深度学习的渲染方式给定训练得到的神经纹理的渲染网络的输入光照以及人脸运动，对人脸的神经纹理在相机空间的投影进行处理，得到逼真的渲染结果。
26.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
27.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
28.图1为本发明实施例所提供的一种基于深度学习的真实感人脸渲染方法的流程图；
29.图2为本发明实施例所提供的一种基于深度学习的真实感人脸渲染装置的结构示
意图。
具体实施方式
30.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
31.下面参考附图描述本发明实施例的基于深度学习的真实感人脸渲染方法和装置。
32.图1为本发明实施例所提供的一种基于深度学习的真实感人脸渲染方法的流程示意图。
33.基于深度学习的真实感人脸渲染在人脸动画、游戏和影视领域中具有非常广泛的学术价值和应用前景。由于人脸的反射属性非常复杂，具有真实感的人脸渲染难度非常大，需要大量的人工处理；传统渲染方式耗时比较大，而基于深度学习的渲染方式相对来说比较快速，可以大大降低渲染成本。
34.针对这一问题，本发明实施例提供了基于深度学习的真实感人脸渲染方法，以实现基于深度学习的渲染方式给定训练得到的神经纹理的渲染网络一个的输入光照以及人脸运动，对人脸的神经纹理在相机空间的投影进行处理，得到逼真的渲染结果。
35.如图1所示，该基于深度学习的真实感人脸渲染方法方法包括以下步骤：
36.步骤101，预先采集人脸视频数据集，基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络。
37.具体的，本实施例中通过预先采集的方向光下的人脸视频数据集，训练得到与光照无关的人脸神经纹理和神经纹理的渲染网络。
38.可以理解的是，经纹理为与光照无关的神经纹理。
39.步骤102，根据人脸视频数据集建立人脸混和模型，并对人脸混和模型进行重建。
40.具体的，对不同用户建立人脸混和模型，对视频中的人脸运动进行重建，得到每一帧相对于中性表情人脸在模型中间的相对运动，运动参数使用人脸混合模型的混合系数表示。
41.可以理解的是，该人脸混和模型是由视频中出现的方向光下的不同表情人脸数据融合得到，具有用户个性化的几何特征。
42.可以理解的是，每个人脸初始化一个神经纹理，使用一个深度卷积神经网络，要求神经纹理和人脸相对中性表情的运动经过神经纹理渲染网络渲染之后，能够恢复预先采集的视频数据。神经纹理存储在人脸混合模型的uv展开图之中，人脸上每个顶点的相对运动，则是通过人脸混合模型线性插值，并投影到uv图中得到。这里直接采用一个可导渲染器用于神经纹理投影到人脸图片空间的过程，使用l1损失函数和perceptual损失函数，约束渲染结果和采集数据之间具有一致性。
43.步骤103，根据人脸神经纹理和重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果。
44.可以理解的是，利用训练好的网络，以及用户的神经纹理和具有个性化特征的人脸混合模型，指定一个目标光照，就可以得到人脸的在不同光照下具有真实感的人脸图片。
45.具体的，不同人的神经纹理共用一个神经纹理渲染网络，渲染不同人脸仅仅需要
不同的神经纹理，不需要其他额外参数，接受神经纹理投影到图片空间的投影图、人脸运动位移图和一个目标光照作为输入，输出对应目标光照下，该人脸的人脸信息。
46.根据本发明实施例提出的的基于深度学习的真实感人脸渲染方法通过预先采集人脸视频数据集，基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络，建立人脸混和模型并进行重建，对重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果，本发明基于深度学习的渲染方式给定训练得到的神经纹理的渲染网络的输入光照以及人脸运动，对人脸的神经纹理在相机空间的投影进行处理，得到逼真的渲染结果。
47.其次参照附图描述根据本发明实施例提出的基于深度学习的真实感人脸渲染装置。
48.图2是本发明一个实施例的基于深度学习的真实感人脸渲染装置的结构示意图。
49.如图2所示，该基于深度学习的真实感人脸渲染装置10包括：采集模块100、第一重建模块200、渲染模块300。
50.采集模块100，用于预先采集人脸视频数据集，基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络；
51.第一重建模块200，用于根据人脸视频数据集建立人脸混和模型，并对人脸混和模型进行重建；
52.渲染模块300，用于根据人脸神经纹理和重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果。
53.进一步，该装置还包括：融合模块，用于根据人脸视频数据集中出现的方向光下的不同表情人脸数据融合得到人脸混和模型。
54.进一步，该装置还包括：第二重建模块，用于对不同用户建立人脸混和模型，并对人脸视频数据集中的人脸运动进行重建，得到人脸相对中性表情在人脸混和模型中的相对运动。
55.进一步，该装置还包括：恢复模块，用于在神经纹理和人脸相对中性表情的运动经过神经渲染网络渲染之后，恢复预先采集的人脸视频数据集。
56.根据本发明实施例提出的基于深度学习的真实感人脸渲染装置，通过预先采集人脸视频数据集，基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络，建立人脸混和模型并进行重建，对重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果，本发明基于深度学习的渲染方式给定训练得到的神经纹理的渲染网络的输入光照以及人脸运动，对人脸的神经纹理在相机空间的投影进行处理，得到逼真的渲染结果。
57.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
58.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不
必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
59.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。