为单个人脸扫描数据生成带细节表情动画的方法和装置

1.本技术涉及计算机图形学技术领域，尤其涉及为单个人脸扫描数据生成带细节表情动画的方法和装置。


背景技术：

2.在影视、游戏的制作中，对用户进行三维人脸扫描是制作三维人脸动画的标准做法。三维人脸扫描方法从多视角的相机阵列拍摄演员的人脸运动场景，从相机输入中恢复出人脸的三维几何信息，生成高精度的三维人脸扫描数据。三维人脸扫描数据表达高精度网格的形式，含有大量(上百万个)顶点，可以表达出人脸上的皱纹运动信息。但网格顶点的数据和连接关系是不确定的，不能直接导入到动画引擎中进行驱动。同时，该演员别的表情下的人脸信息也是未知的，需要从广大人群中提取的数据先验里合成可信的其他表情下的人脸形状、运动，才能进行动画生成。随着扫描技术的发展，从多视角、经过校准的相机阵列中可以重建中高精度的三维扫描数据，上面带有皱纹、毛孔等高精度的人脸几何细节。然而，扫描采集的数据量大，速度慢，成本高昂，导致在许多情况下，对于一个用户只采集了一个表情下的扫描数据。
3.人脸参数化模型表达了人群中人脸大尺度的形状和运动，能够表达演员的人脸大尺度形状，并通过对线性人脸基进行插值合成该演员其他表情的三维人脸。但是现有的人脸参数化模型缺乏皱纹等细节几何，导致生成的人脸动画缺乏真实感。


技术实现要素：

4.本技术旨在至少在一定程度上解决相关技术中的技术问题之一。
5.为此，本技术的第一个目的在于提出一种为单个人脸扫描数据生成带细节表情动画的方法，只需要输入用户在任意表情下采集到的单一扫描数据，即可生成各种表情下的表情动画，可以降低动画制作的成本，对三维人脸动画进行加速和数据压缩。
6.本技术的第二个目的在于提出一种为单个人脸扫描数据生成带细节表情动画的装置。
7.为达上述目的，本技术第一方面实施例提出了一种为单个人脸扫描数据生成带细节表情动画的方法，包括：采集单个人脸扫描数据；对单个人脸扫描数据进行预处理，得到原始偏置贴图和人脸网格；使用一段含有人脸动作的视频提取人脸表情，生成一段表情系数序列；将原始偏置贴图和表情系数序列输入训练好的深度网络中，输出的图像作为新的偏移贴图；将人脸网格和新的偏移贴图导入至动画软件进行渲染，得到每一帧的动画结果，将所有的动画结果进行拼接，获得人脸动画视频。
8.本技术实施例的为单个人脸扫描数据生成带细节表情动画方法，通过在大尺度人脸参数化模型的基础上，建立了人脸细节的参数化模型，从而能够用细节模型重建出扫描数据中原有的人脸细节，并根据人群先验合成新表情下的人脸细节，合成具有动画细节的人脸动画。
9.本技术动画生成过程采用了偏移贴图技术和深度生成模型，
10.偏移贴图是一种常用、高效的人脸几何细节表示方法。人脸大尺度的形状表达在三角网格中，三角网格的顶点数量通常有限，不足以存储高精度的人脸细节。输入一个高精度的人脸扫描网格，可以使用几何参数化方法将三维表面投影到二维空间。再通过平滑算法得到去掉细节后的网格，二者相减，将人脸细节烘焙至二维空间，生成偏移贴图。偏移贴图是一个单通道的灰度图像，每个像素存储将平滑网格变换成高精网格时，每个顶点沿着法向运动的有向距离。通过结合低模人脸网格和高分辨率偏移贴图，可以实现高精人脸几何的高效表示。
11.深度生成模型基于可学习的卷积网格，可以输出偏移贴图，并利用另一个判别器深度网络构建约束，保证生成偏移贴图的真实感。
12.可选地，在本技术的一个实施例中，对单个人脸扫描数据进行预处理，包括：
13.用人脸参数化模型拟合单个人脸扫描数据，提取出大尺度形状信息表达在人脸网络中，形成人脸网格，并输出参数化模型中的表情系数；
14.对人脸网格进行烘培，提取出人脸细节，并表达在偏置贴图中，形成原始偏置贴图。
15.可选地，在本技术的一个实施例中，表情系数序列用于定义在人脸动画视频中人脸做出的一系列表情。
16.可选地，在本技术的一个实施例中，训练深度网络，包括：
17.采集多人的人脸扫描数据；
18.对采集到的多人的人脸扫描数据进行预处理，得到训练数据集，其中，训练数据集包括偏置贴图、人脸网格和表情系数；
19.使用训练数据集对深度网络进行训练，获得训练好的深度网络。
20.可选地，在本技术的一个实施例中，深度网络包括：卷积编码器、全连接编辑网络、卷积解码器、卷积判别器，使用训练数据集对深度网络进行训练，包括：
21.随机采样训练数据集中的同一个人的两个表情，分别为第一表情和第二表情的偏置贴图；
22.将第一表情的偏置贴图输入卷积编码器，得到编码的隐向量；
23.将隐向量和第二表情对应的表情系数进行拼接，之后输入全连接编辑网络，输出和隐向量同维度的向量，作为在隐空间的增量；
24.将隐向量逐位加上增量，输入卷积解码器，输出预测的此人第二表情下的偏置贴图；
25.使用重建误差和对抗误差进行训练，包括：
26.约束预测的第二表情下的偏置贴图和采集的第二表情的偏置贴图在1-范数度量空间上接近，使重建结果接近采集结果，将预测的偏置贴图和采集的偏置贴图分别输入到判别器网络中，使用对抗约束使重建结果接近采集的偏置贴图，使用随机梯度下降算法进行优化，直到训练误差收敛，训练完成后固定网络的参数。
27.为达上述目的，本发明第二方面实施例提出了一种为单个人脸扫描数据生成带细节表情动画的装置，包括：采集模块、处理模块、设计模块、网络输出模块、生成模块，其中，
28.采集模块，用于采集单个人脸扫描数据，其中，所述单个人脸扫描数据记录了人脸
做单个表情时的几何形状；
29.处理模块，用于对单个人脸扫描数据进行预处理，得到原始偏置贴图和人脸网格；
30.设计模块，用于使用一段含有人脸动作的视频提取人脸表情，生成一段表情系数序列；
31.网络输出模块，用于将原始偏置贴图和表情系数序列输入训练好的深度网络中，输出的图像作为新的偏移贴图；
32.生成模块，用于将人脸网格和新的偏移贴图导入至动画软件进行渲染，得到每一帧的动画结果，将所有的动画结果进行拼接，获得人脸动画视频。
33.可选地，在本技术的一个实施例中，处理模块，具体用于：
34.用人脸参数化模型拟合单个人脸扫描数据，提取出大尺度形状信息表达在人脸网络中，形成人脸网格，并输出参数化模型中的表情系数；
35.对人脸网格进行烘培，提取出人脸细节，并表达在偏置贴图中，形成原始偏置贴图。
36.可选地，在本技术的一个实施例中，网络输出模块，还用于训练深度网络，包括：
37.采集多人的人脸扫描数据；
38.对采集到的多人的人脸扫描数据进行预处理，得到训练数据集，其中，训练数据集包括偏置贴图、人脸网格和表情系数；使用训练数据集对深度网络进行训练，获得训练好的深度网络。
39.可选地，在本技术的一个实施例中，深度网络包括：卷积编码器、全连接编辑网络、卷积解码器、卷积判别器，使用训练数据集对深度网络进行训练，包括：
40.随机采样训练数据集中的同一个人的两个表情，分别为第一表情和第二表情的偏置贴图；
41.将第一表情的偏置贴图输入卷积编码器，得到编码的隐向量；
42.将隐向量和第二表情对应的表情系数进行拼接，之后输入全连接编辑网络，输出和隐向量同维度的向量，作为在隐空间的增量；
43.将隐向量逐位加上增量，输入卷积解码器，输出预测的此人第二表情下的偏置贴图；
44.使用重建误差和对抗误差进行训练，包括：
45.约束预测的第二表情下的偏置贴图和采集的第二表情的偏置贴图在1-范数度量空间上接近，使重建结果接近采集结果，将预测的偏置贴图和采集的偏置贴图分别输入到判别器网络中，使用对抗约束使重建结果接近采集的偏置贴图，使用随机梯度下降算法进行优化，直到训练误差收敛，训练完成后固定网络的参数。
46.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
47.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
48.图1为本技术实施例一所提供的一种为单个人脸扫描数据生成带细节表情动画的
方法的流程示意图；
49.图2为本技术实施例提供的一种为单个人脸扫描数据生成带细节表情动画的装置的结构示意图。
具体实施方式
50.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
51.下面参考附图描述本技术实施例的为单个人脸扫描数据生成带细节表情动画的方法和装置。
52.图1为本技术实施例一所提供的一种为单个人脸扫描数据生成带细节表情动画的方法的流程示意图。
53.如图1所示，该为单个人脸扫描数据生成带细节表情动画的方法包括以下步骤：
54.步骤101，采集单个人脸扫描数据；
55.步骤102，对单个人脸扫描数据进行预处理，得到原始偏置贴图和人脸网格；
56.步骤103，使用一段含有人脸动作的视频提取人脸表情，生成一段表情系数序列；
57.步骤104，将原始偏置贴图和表情系数序列输入训练好的深度网络中，输出的图像作为新的偏移贴图；
58.步骤105，将人脸网格和新的偏移贴图导入至动画软件进行渲染，得到每一帧的动画结果，将所有的动画结果进行拼接，获得人脸动画视频。
59.本技术实施例的为单个人脸扫描数据生成带细节表情动画的方法，相比传统的人脸动画生成方法，会保留扫描数据上的静态人脸细节，并根据运动表情生成合理的动画人脸细节，如收缩产生的人脸皱纹。本技术基于从预先采集的多人、多表情人脸扫描数据集进行训练，提取不同人在不同表情下人脸细节的数据先验。训练完成后，只需要输入新用户任意表情下的一个人脸扫描数据，即可生成带动画细节的高精人脸动画。
60.进一步地，在本技术实施例中，在实际使用中，需要用户的一个人脸扫描数据作为输入。对于测试的人脸扫描数据，需要用参数模型拟合的方式提取大尺度形状信息，并用细节烘焙方法生成原始的偏置贴图。
61.具体地，在本技术实施例中，上述用来生成一段表情系数序列的视频中的人脸可以来自扫描数据以外的人，用人脸跟踪或者动画师设计的方法得到一段表情系数的序列，用于定义在人脸动画中，我们希望人脸做出怎样的表情，
62.之后，对于设计的每一帧的表情系数，首先使用参数表情的插值方法得到当前帧的大尺度几何网格。将上述生成的原始的偏移贴图和当前帧的表情系数输入给训练好的网络，取输出的图像作为当前帧的偏移贴图。将人脸网格和偏移贴图导入至动画软件，进行渲染，得到当前帧的动画结果。对动画的每一帧进行上述处理，最终将生成帧拼接形成高精度、有皱纹运动等动态细节的人脸动画视频。
63.进一步地，在本技术实施例中，需要在预先采集的多人、多表情的人脸扫描数据集上进行训练，提取人群中人脸细节(如皱纹)随表情进行运动的数据先验，训练深度网络的过程包括：
64.首先，本发明用如下的方法构建数据集。采集多人、每个人多个表情的高精人脸扫描数据；用人脸参数化模型拟合扫描数据，提取中三维扫描中的大尺度人脸信息，并输出参数化模型中的表情系数。对高精数据和拟合得到的人脸网格进行烘焙，提取出人脸细节，并表达在偏置贴图中。
65.接着，使用训练数据集对深度网络进行训练，获得训练好的深度网络。
66.具体地，在本技术实施例中，使用预训练数据集进行深度网络的训练。深度网络由一个卷积编码器、一个全连接编辑网络，一个卷积解码器和一个卷积判别器组成。随机采样同一个人两个表情，分别为甲表情和乙表情的偏移贴图。将偏移贴图甲输入卷积编码器，得到编码的隐向量。将隐向量和乙表情对应的表情系数进行拼接，之后输入给全连接编辑网络，输出和隐向量同维度的向量，作为在隐空间的增量。将隐向量逐位加上该增量，输入给卷积解码器，得到该人乙表情下预测的偏移贴图。使用重建误差和对抗误差进行训练：约束乙表情下预测的偏移贴图和采集的乙表情贴图在l1空间上接近，使重建结果接近采集结果；将预测的偏移贴图和真实的偏移贴图分别输入到判别器网络中，使用对抗约束使重建结果有真实感。使用随机梯度下降算法进行优化，直到训练误差收敛。训练完成后固定网络的参数，用于测试时的细节生成步骤。
67.为了实现上述实施例，本技术还提出一种为单个人脸扫描数据生成带细节表情动画的装置，
68.图2为本技术实施例提供的一种为单个人脸扫描数据生成带细节表情动画的装置的结构示意图。
69.如图2所示，该为单个人脸扫描数据生成带细节表情动画的装置包括采集模块、处理模块、设计模块、网络输出模块、生成模块，其中，
70.采集模块，用于采集单个人脸扫描数据，其中，所述单个人脸扫描数据记录了人脸做单个表情时的几何形状；
71.处理模块，用于对单个人脸扫描数据进行预处理，得到原始偏置贴图和人脸网格；
72.设计模块，用于使用一段含有人脸动作的视频提取人脸表情，生成一段表情系数序列；
73.网络输出模块，用于将原始偏置贴图和表情系数序列输入训练好的深度网络中，输出的图像作为新的偏移贴图；
74.生成模块，用于将人脸网格和新的偏移贴图导入至动画软件进行渲染，得到每一帧的动画结果，将所有的动画结果进行拼接，获得人脸动画视频。
75.进一步地，在本技术实施例中，处理模块，具体用于：
76.用人脸参数化模型拟合单个人脸扫描数据，提取出大尺度形状信息表达在人脸网络中，形成人脸网格，并输出参数化模型中的表情系数；
77.对人脸网格进行烘培，提取出人脸细节，并表达在偏置贴图中，形成原始偏置贴图。
78.可选地，在本技术的一个实施例中，网络输出模块，还用于训练深度网络，包括：
79.采集多人的人脸扫描数据；
80.对采集到的多人的人脸扫描数据进行预处理，得到训练数据集，其中，训练数据集包括偏置贴图、人脸网格和表情系数；使用训练数据集对深度网络进行训练，获得训练好的
深度网络。
81.可选地，在本技术的一个实施例中，深度网络包括：卷积编码器、全连接编辑网络、卷积解码器、卷积判别器，使用训练数据集对深度网络进行训练，包括：
82.随机采样训练数据集中的同一个人的两个表情，分别为第一表情和第二表情的偏置贴图；
83.将第一表情的偏置贴图输入卷积编码器，得到编码的隐向量；
84.将隐向量和第二表情对应的表情系数进行拼接，之后输入全连接编辑网络，输出和隐向量同维度的向量，作为在隐空间的增量；
85.将隐向量逐位加上增量，输入卷积解码器，输出预测的此人第二表情下的偏置贴图；
86.使用重建误差和对抗误差进行训练，包括：
87.约束预测的第二表情下的偏置贴图和采集的第二表情的偏置贴图在1-范数度量空间上接近，使重建结果接近采集结果，将预测的偏置贴图和真实的偏置贴图分别输入到判别器网络中，使用对抗约束使重建结果接近采集的偏置贴图，使用随机梯度下降算法进行优化，直到训练误差收敛，训练完成后固定网络的参数。
88.需要说明的是，前述对为单个人脸扫描数据生成带细节表情动画的方法实施例的解释说明也适用于该实施例的为单个人脸扫描数据生成带细节表情动画的装置，此处不再赘述。
89.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
90.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
91.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
92.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传
输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
93.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
94.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
95.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
96.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。