具有详细褶皱的面部网格变形的制作方法

具有详细褶皱的面部网格变形
1.说明书
技术领域
2.本发明整体涉及计算机图形，并且更具体地讲，涉及用于提供具有详细褶皱的面部网格变形的方法和装置。


背景技术：

3.在计算机图形和计算机动画的领域内，迅速发展的感兴趣领域是创建逼真的、栩栩如生的数字角色、数字演员和真实人类的数字表示(在下文中统称为“数字角色”或“数字人类”)。此类角色在电影和视频游戏行业等中是高需求的。近年来，这种兴趣有所增加，因为技术已经允许以更少的时间、精力和处理成本在更大的范围内产生此类数字角色。
4.虽然此类经验已经建立多年并且对于消费者是可能的，但在将这些成本降低到可通过来自雕刻艺术家的最小量的手动努力来大规模产生数字角色方面仍存在挑战。典型方法是对人进行数百次扫描，并且然后可根据那些扫描得到具有针对每次扫描的面部网格的网格拓扑。每个面部网格通常要求艺术家团队雕刻网格以校正面部网格上的错放、不存在或不必要的控制点所导致的许多错误和不准确性。然后，面部网格可在根据需要添加纹理和特征(例如，皮肤、嘴唇、毛发)之后适于在游戏和电影中使用。
5.然而，这种方法的问题在于它非常耗时。即使扫描部分相对便宜，但通常需要若干数字艺术家清理扫描数据，因为它通常填充有遗留到所产生的网格的不准确性和伪影。此外，不断增加的需求是，不将仅一个数字人类作为最终结果，而是潜在地做出针对数十或数百个潜在数字人类的模板。使用现有方法，难以跨不同角色保持类似的质量、表情和手势。
6.用于将不同角色标准化的常用方式是面部动作编码系统(facs)，其允许固定面部表情和面部的基本移动。然而，关于facs，在跨所有角色将表情和面部标准化时创建了可能很大的管理任务。人类面部的变化量导致难以区分下层骨结构中的解剖特征。关于facs，目标是仅描述人的生理移动而不是独特的骨和组织结构(即，独特面部标识)，以便使得独特面部能够全部具有相同表情。然而，对于面部的每个面部表情，不仅存在肌肉收缩，还有面部肌肉在面部的下层骨结构上方滑动的特定方式。基于facs标准化的不准确性形式所处于的一个主要领域是基于改变的面部表情来捕获褶皱和皮肤皱褶在面部上出现的方式。因此，要求数字艺术家使这些生理移动适应移动基于骨结构所表现的独特方式，从而包括不同面部跨标准化面部表情的详细褶皱和皮肤皱褶。
7.因此，在计算机图形领域中需要创建用于提供具有详细褶皱和皮肤皱褶的逼真变形面部网格的新的且有用的系统和方法。如本发明人所发现的问题的来源是缺乏用于以详细方式捕获面部表情的变形的准确自动化方法。


技术实现要素：

8.一个实施方案涉及提供具有详细褶皱的面部网格变形。系统接收基于面部扫描的
中性网格以及中性网格上的初始控制点位置。系统还接收对应于非中性面部表情的多个用户定义的控制点位置。系统首先基于初始控制点位置和用户定义的控制点位置的径向基函数(rbf)内插来生成rbf变形网格。然后，系统基于rbf变形网格和用户定义的控制点来生成预测褶皱变形数据，其中预测褶皱变形数据由一个或多个级联回归量网络生成。最后，系统提供具有基于预测褶皱变形数据的褶皱的最终变形网格以用于在客户端设备上显示在用户界面内。
9.另一个实施方案涉及计算表示初始控制点位置与中性网格中的所有其他顶点之间的测地距离的高斯核的扩散流，并且然后基于所计算的扩散流来确定初始控制点位置和用户定义的控制点位置的rbf内插。
10.另一个实施方案涉及将多个示例性rbf变形网格中的每一者分割成多个独特面部区域，并且然后对于示例性rbf变形网格的每个独特面部区域训练级联回归量网络。然后使用这些经训练的回归量网络以基于rbf变形网格和用户定义的控制点来生成预测褶皱变形数据。
11.另一个实施方案涉及使用位移回归量作为一个或多个级联回归量网络中的每一者的一部分来预测初始顶点位移数据。然后，系统提供具有基于所预测的初始顶点位移数据的褶皱的预览变形网格以用于在客户端设备上显示在用户界面内。然后，系统使用变形梯度回归量作为一个或多个级联回归量网络中的每一者的一部分来预测变形梯度张量。
12.这些实施方案的特征和部件将在以下描述中进一步详细地描述。附加的特征和优点也将在以下描述中阐述，并且部分将从描述中隐含，或者可通过实施方案的实践来学习。
附图说明
13.图1a是示出一些实施方案可在其中操作的示例性环境的图。
14.图1b是示出可执行指令以执行本文的方法中的一些方法的示例性计算机系统的图。
15.图2a是示出可在一些实施方案中执行的示例性方法的流程图。
16.图2b是示出可根据一些实施方案执行的附加步骤的流程图。
17.图2c是示出可根据一些实施方案执行的附加步骤的流程图。
18.图2d是示出可根据一些实施方案执行的附加步骤的流程图。
19.图3a是示出根据本文的系统和方法中的一些系统和方法的用于训练级联回归量网络的过程的一个示例性实施方案的图。
20.图3b是示出根据本文的系统和方法中的一些系统和方法的用于提供具有详细褶皱的面部变形的过程的一个示例性实施方案的图。
21.图3c是示出根据本文的系统和方法中的一些系统和方法的用于为网格雕刻艺术家提供视觉反馈引导的过程的一个示例性实施方案的图。
22.图4a是示出根据本文的系统和方法中的一些系统和方法的具有初始控制点位置的中性网格的一个示例的图像。
23.图4b是示出根据本文的系统和方法中的一些系统和方法的具有半径指示标志的中性网格的一个示例的图像。
24.图4c是示出根据本文的系统和方法中的一些系统和方法的用于基于径向基函数
(rbf)内插来生成rbf变形网格的过程的一个示例的图像。
25.图4d是示出根据本文的系统和方法中的一些系统和方法的用于基于rbf内插来生成rbf变形网格的过程的附加示例的图像。
26.图4e是示出根据本文的系统和方法中的一些系统和方法的计算的扩散流的一个示例的图像。
27.图4f是示出根据本文的系统和方法中的一些系统和方法的用于提供样条内插的过程的一个示例的图像。
28.图4g是示出根据本文的系统和方法中的一些系统和方法的用于提供样条内插的过程的附加示例的图像。
29.图4h是示出根据本文的系统和方法中的一些系统和方法的用于提供视觉反馈引导的过程的一个示例的图像。
30.图4i是示出根据本文的系统和方法中的一些系统和方法的用于提供分割掩模的过程的一个示例的图像。
31.图4j是示出根据本文的系统和方法中的一些系统和方法的用于提供分割掩模的过程的附加示例的图像。
32.图5是示出可在一些实施方案中执行处理的示例性计算机的图。
具体实施方式
33.在本说明书中，详细地参考本发明的具体实施方案。在附图中示出了实施方案中的一些实施方案或其方面。
34.为了清楚说明，已经参考具体实施方案描述了本发明，然而应理解，本发明不限于所描述的实施方案。相反，本发明涵盖可包括在由任何专利权利要求定义的其范围内的另选方案、修改和等效物。阐述了本发明的以下实施方案，而不会有所要求保护的发明的一般性的任何丧失，并且不对所要求保护的发明施加限制。在以下描述中，阐述了具体细节以便提供对本发明的透彻理解。可在没有这些具体细节中的一些或全部的情况下实践本发明。此外，可能没有详细描述众所周知的特征以避免不必要地模糊本发明。
35.此外，应当理解，本示例性专利中阐述的示例性方法的步骤可以与本说明书中呈现的顺序不同的顺序执行。此外，示例性方法的一些步骤可并行执行而不是顺序执行。而且，示例性方法的步骤可在网络环境中执行，其中一些步骤由联网环境中的不同计算机执行。
36.一些实施方案涉及提供具有详细褶皱的面部网格变形。如本文所使用，“面部网格”应被理解为设想与数字角色有关的各种计算机图形和计算机动画网格，包括例如与面部、头部、身体、身体部位、物体、解剖结构、纹理、纹理覆盖物和任何其他合适的网格部件或元件相关的网格。如本文所使用，“变形”应被理解为设想对网格的各种变形和改变，包括由于面部表情、手势、移动、某种外力或身体的影响、解剖变化或对网格的任何其他合适的变形或改变而引起的变形。如本文所使用，“详细褶皱”和“褶皱”应被理解为设想各种褶皱、皮肤皱褶、折痕、脊、纹路、凹痕和以其他方式平滑或半平滑的表面的其他中断。典型示例包括褶皱或皮肤皱褶(来自例如老化)，以及凹坑、眼部皱纹、通常由以各种方式拉伸或以其他方式移动皮肤的面部表情引起的面部皮肤中的褶皱、由暴露于水引起的皮肤上的褶皱和“笑
纹”，即通常由微笑或大笑引起的围绕嘴部和眼部的外角的纹路或褶皱。可设想许多其他此类可能方案。
37.i.示例性环境
38.图1a是示出一些实施方案可在其中操作的示例性环境的图。在示例性环境100中，客户端设备120和任选的扫描设备110连接到变形引擎102。变形引擎102和任选的扫描设备110任选地连接到一个或多个任选的数据库，包括扫描数据库130、网格数据库132、控制点数据库134和/或示例性数据库136。数据库中的一者或多者可组合或分成多个数据库。此环境中的扫描设备和客户端设备可以是计算机。
39.为了简单起见，示例性环境100被示为具有仅一个扫描设备、客户端设备和变形引擎，但实际上可能存在更多或更少的扫描设备、客户端设备和/或变形引擎。在一些实施方案中，扫描设备和客户端设备可彼此通信以及与变形引擎通信。在一些实施方案中，扫描设备、客户端设备和变形引擎中的一者或多者可以是相同计算机或设备的一部分。
40.在一个实施方案中，变形引擎102可执行方法200或本文的其他方法，并且因此提供具有详细褶皱的网格变形。在一些实施方案中，这可经由通过客户端设备120或其他设备与应用程序服务器或某个其他网络服务器之间的网络的与客户端设备或其他设备的通信来实现。在一些实施方案中，变形引擎102是托管在计算机或类似设备上的应用程序，或者其本身是被配置为托管应用程序以执行本文的方法和实施方案中的一些方法和实施方案的计算机或类似设备。
41.扫描设备110是用于从演员或其他人捕获扫描图像数据的设备。在一些实施方案中，扫描设备可以是相机、计算机、智能电话、扫描仪或类似设备。在一些实施方案中，扫描设备托管被配置为执行或促进生成人类对象的三维(下文中称为“3d”)扫描的性能的应用程序，并且/或者可与托管此类应用程序的设备通信。在一些实施方案中，过程可包括3d成像、扫描、重建、建模以及用于生成扫描的任何其他合适或必要的技术。扫描设备用于捕获人类的3d图像，包括3d面部扫描。在一些实施方案中，扫描设备110将扫描图像和相关联的扫描数据发送到任选的扫描数据库130。扫描设备110还将扫描图像和相关联的扫描数据发送到变形引擎102以用于处理和分析。在一些实施方案中，扫描设备可使用各种技术，包括摄影测量法、断层摄影术、光检测和测距(lidar)、红外或结构光、或任何其他合适的技术。在一些实施方案中，扫描设备包括以下项或可与以下项通信：多个传感器、相机、加速度计、陀螺仪、惯性测量单元(imu)和/或执行扫描过程所必需的其他部件或设备。在一些实施方案中，另外生成与扫描相关联的元数据，诸如3d坐标数据、六个轴数据、点云数据和/或任何其他合适的数据。
42.客户端设备120是向变形引擎102发送和接收信息的设备。在一些实施方案中，客户端设备120是能够托管和执行为数字艺术家(诸如计算机图形和计算机动画背景内的雕刻艺术家)提供用户界面的应用程序的计算设备。在一些实施方案中，客户端设备120可以是台式计算机或膝上型计算机、移动电话、虚拟现实或增强现实设备、可穿戴设备或能够发送和接收信息的任何其他合适设备。在一些实施方案中，变形引擎102可被全部或部分地托管作为客户端设备120上执行的应用程序。
43.任选数据库(包括扫描数据库130、网格数据库132、控制点数据库134和示例性数据库136中的一者或多者)分别用于存储和/或维持扫描图像和扫描元数据；网格和网格元
数据；控制点和控制点元数据(包括控制点位置数据)；以及示例性数据和元数据(包括例如示例性网格、分割掩模和/或变形示例)。任选数据库还可存储和/或维持用于使变形引擎102执行本文的方法和系统的元件的任何其他合适信息。在一些实施方案中，可由系统100的一个或多个部件(例如，由变形引擎102)查询任选数据库，并且可检索数据库中存储的特定数据。
44.图1b是示出具有可执行本文所述的功能中的一些功能的软件模块的示例性计算机系统150的图。
45.控制点模块152用于接收中性网格和初始控制点位置，以及接收用户定义的控制点位置。在一些实施方案中，控制点模块152从一个或多个数据库(例如，任选的控制点数据库134和/或网格数据库132)检索上述内容。在一些实施方案中，控制点模块152可附加地将控制点信息(诸如更新的控制点位置)存储在一个或多个数据库(诸如控制点数据库134)中。
46.内插模块154用于基于初始控制点位置和用户定义的控制点位置的径向基函数内插来生成径向基函数变形网格。在一些实施方案中，内插基于内插模块154计算初始控制点位置与用户定义的控制点位置之间的一个或多个距离。在一些实施方案中，距离被表示为初始控制点位置与中性网格中的所有其他顶点之间的测地距离的高斯核。
47.任选的扩散流模块156用于计算表示初始控制点位置与中性网格中的所有其他顶点之间的测地距离的高斯核的扩散流。
48.任选的训练模块158用于训练一个或多个级联回归量网络。在一些实施方案中，训练模块158接收以例如示例性网格、径向基函数变形网格和分割掩模的形式的训练数据，并且使用训练数据作为一个或多个回归量的输入以训练回归量执行各种任务(包括输出预测数据)。
49.预测模块160用于生成预测数据以从一个或多个级联回归量网络输出。在一些实施方案中，预测模块160可输出预测褶皱数据、预测初始顶点位移、预测变形梯度张量或系统内的任何其他合适的预测或预览数据中的一者或多者。
50.任选的变形模块162用于在系统中生成变形网格。在一些实施方案中，变形模块162生成最终变形网格，该最终变形网格将在用户界面中显示以使用户(例如，雕刻艺术家)适应各种用途。在一些实施方案中，变形模块162生成预览变形网格，该预览变形网格将在用户界面中显示以使用户具有变形网格的预览版本，该预览版本可在生成最终变形网格之前快速(诸如实时或基本上实时地)生成。
51.显示模块164用于在客户端设备的用户界面内显示一个或多个输出元件。在一些实施方案中，显示模块164可在用户界面内显示最终变形网格。在一些实施方案中，显示模块165可在用户界面内显示预览变形网格。在一些实施方案中，显示模块164可基于本文的系统和方法在适当或需要的情况下在用户界面内显示一个或多个附加数据片或交互元素。
52.以上模块和其功能将关于以下示例性方法进一步详细地描述。
53.ii.示例性方法
54.图2a是示出可在一些实施方案中执行的示例性方法的流程图。
55.在步骤202处，系统接收基于面部扫描的中性网格以及中性网格上的初始控制点位置。在一些实施方案中，扫描设备110可生成演员或其他扫描对象的面部的扫描图像，然
后将所生成的扫描图像发送到系统的一个或多个其他元件(诸如变形引擎102或扫描数据库130)。在一些实施方案中，扫描存储在客户端设备120上，并且中性网格基于扫描图像由用户手动、自动或半自动地生成。中性网格是具有中性面部表情的演员面部的扫描图像的三维网格，用于在计算机图形和计算机动画工具中使用以构建和/或动画化三维物体。在一些实施方案中，生成初始控制点位置作为生成中性网格的过程的一部分。初始控制点位置是三维空间中的位于面部网格表面上的选定位置。初始控制点位置共同指定相对于控制、变形或以其他方式修改面部和面部表情的面部上的区分或重要感兴趣点。然后将该中性网格和初始控制点位置发送到系统的一个或多个元件，诸如变形引擎102、控制点数据库134或网格数据库132。
56.在步骤204处，系统还接收对应于非中性面部表情的多个用户定义的控制点位置。在一些实施方案中，用户定义的控制点位置通过用户选择或批准客户端设备处的一个或多个控制点位置来生成。在一些实施方案中，用户定义的控制点位置通过用户移动或调整初始控制点位置中的一者或多者以形成非中性面部表情(例如，快乐表情、伤心表情或除中性网格的基础中性表情以外的任何其他表情)来生成。在一些实施方案中，控制点位置基于面部的非中性面部表情的扫描图像，中性网格基于相同的面部。用户定义的控制点位置表示非中性面部表情的重要或区分特征。在一些实施方案中，用户定义的控制点中的一者或多者自动生成并由用户批准。在一些实施方案中，用户定义的控制点中的一者或多者由用户在用户界面处创建。在一些实施方案中，用户定义的控制点中的一者或多者在用户界面处自动生成并且然后由用户在用户界面处调整。用户定义的控制点然后被发送到系统的一个或多个元件，诸如变形引擎102和/或控制点数据库134。
57.在步骤206处，系统基于初始控制点位置和用户定义的控制点位置的径向基函数(下文称为“rbf”)内插来生成rbf变形网格。如本文所使用，rbf内插是指通过使用径向基函数网络来构建新的网格变形。在一个示例性实施方案中，给定如上的初始控制点的集合，用户或艺术家根据期望移动(或批准移动)这些初始控制点中的一者或多者以产生用户定义的控制点的集合。然后将网格的所得变形内插到网格的其余部分。
58.图4a是示出根据本文的系统和方法中的一些系统和方法的具有初始控制点位置的中性网格的一个示例的图像。图像示出了从演员扫描的具有中性表情的3d面部网格。已经生成了若干初始控制点位置并且将其覆盖在面部网格的表面上。已经手动地、自动地或以两者的某种组合生成初始控制点位置。
59.图4b是示出根据本文的系统和方法中的一些系统和方法的具有半径指示标志的中性网格的一个示例的图像。在一些实施方案中，半径指示标志可覆盖在图4a所示的网格的控制点位置的顶部上。半径指示标志为每个控制点位置提供小半径，其可以是用于艺术家雕刻和调整网格上的控制点的有用视觉引导。
60.图4c是示出根据本文的系统和方法中的一些系统和方法的用于基于径向基函数(rbf)内插来生成rbf变形网格的过程的一个示例的图像。在图像中，左侧的面部网格是目标面部的扫描图像。右侧的面部网格是rbf变形面部网格，其中控制标记通过将其移动到由扫描目标面部表示的位置来进行调整。使用rbf变形器来内插和预测网格顶点的其余部分。左侧的网格比右侧的网格包含更多的褶皱，因为rbf变形器在控制标记之间的区域中创建平滑内插，因此导致没有褶皱的内插。
61.图4d是示出根据本文的系统和方法中的一些系统和方法的用于基于径向基函数(rbf)内插来生成rbf变形网格的过程的附加示例的图像。该图像类似于图4c，但具有不同表情。rbf变形器在控制标记之间的区域中创建平滑内插以便校正嘴唇的一些方面。
62.在一些实施方案中，rbf内插涉及使用距离函数。在一些实施方案中，与采用更传统的欧几里得距离度量相比，所采用的距离函数等同于如果被约束为在网格上移动时行进所需的相对距离。基于从待内插的点到控制点中的每一者的相对距离，然后基于这些相对距离来创建加权内插。在一些实施方案中，采用测地距离作为rbf内插的距离函数，其中对所得距离应用rbf核(或高斯核)。如本文所使用，测地距离是指从被约束为处于表面上的路径上的一个点到另一个点的最短距离。例如，球体(例如，地球)上的两个点之间的测地距离将是大圆弧的一部分。可采用测地算法来计算测地距离。
63.在一些实施方案中，rbf内插不通过直接计算测地距离来执行，而是通过计算网格表面上的控制点位置之间的扩散流来执行。如果控制点被设置为扩散源，并且允许扩散过程(例如，热量)在表面上方扩散有限时间量，则表面上的所得温度图将是基于测地距离的高斯核的直接表示。因此，在一些实施方案中，在没有计算测地距离的情况下直接计算热流，从而导致比上述更传统的rbf内插方法更快且数值更稳定的内插过程。
64.在一些实施方案中，计算的扩散流基于扩散流方程。在一些实施方案中，扩散流方程包括：标准热扩散，其涉及设置网格的热源并且基于热源来确定热扩散；以及将热扩散转换成梯度的拉普拉斯源，该梯度然后可用于找到测地源。在其他实施方案中，改变扩散流方程以移除计算拉普拉斯源，并且仅使用扩散源来采用测地算法和执行内插。在一些实施方案中，针对rbf内插添加非线性基以用于更快的内插。
65.图4e是示出根据本文的系统和方法中的一些系统和方法的计算的扩散流的一个示例的图像。温度图覆盖在rbf变形面部网格的顶部上。温度被示为具有用户定义的控制点之间的计算的扩散流的梯度。
66.在执行rbf内插之后，使用控制点的加权内插来生成rbf变形网格。rbf变形网格是由中性网格的特征产生的网格，该中性网格基于如由用户定义的控制点位置修改的经调整控制点而变形。
67.在一些实施方案中，rbf变形网格进一步基于执行初始控制点位置和用户定义的控制点位置的样条内插的系统，其中样条内插在rbf内插之前执行。基于测地距离的高斯核的表示的内插的一个常见特征是内插是全局的，从而导致表示平滑轮廓的局部控制点未准确地捕获在内插中。最终结果通常是其中定位有轮廓的区域中存在伪影。用于校正这一点的一种方式是采用样条内插来对网格内的一维曲线进行内插。可使用样条(例如，围绕眼睑、嘴部和面部的其他区域的轮廓)来描述网格的某些特定部分。样条内插对这些轮廓进行内插以确保它们是平滑的和逼真的。在一些实施方案中，样条内插通过系统使用样条函数对网格的一个或多个部分进行预内插来执行。这涉及例如通过用样条内插对部分进行预内插以生成平滑轮廓来校正径向基的伪影。沿着确定轮廓的区域的边缘定义样条，其中样条的控制点对应于驻留在这些边缘上的控制点位置。对构成这些样条的顶点(即，非控制点)的位移进行内插，并且然后将这些顶点添加到用于跨整个面部执行rbf内插的控制点位置的完整集合。在一些实施方案中，出于样条内插的目的，系统和/或用户可另外定义关键面部皱褶以确保这些皱褶被内插。因此，所得rbf变形网格包括在网格中准确表示的平滑轮
廓。
68.图4f是示出根据本文的系统和方法中的一些系统和方法的用于提供样条内插的过程的一个示例的图像。在图像中，由于样条内插，围绕眼部的轮廓(包括眼部皱褶)以逼真方式进行平滑。定义围绕眼部区域的关键面部皱褶以便确保针对那些特定皱褶的准确平滑轮廓。
69.图4g是示出根据本文的系统和方法中的一些系统和方法的用于提供样条内插的过程的附加示例的图像。左侧的面部网格示出了在样条内插之前的rbf变形网格。围绕眼部的面部皱褶包含表现为不自然且不逼真的明显伪影。关于围绕眼部区域定义的面部皱褶执行样条内插以提供围绕眼部的面部皱褶的平滑轮廓。
70.在步骤208处，系统基于rbf变形网格和用户定义的控制点来生成预测褶皱变形数据，其中预测褶皱变形数据由一个或多个级联回归量网络生成，共同组成“褶皱变形器”过程。级联回归量网络表示级联在一起的两个或更多个回归量。回归量可采用线性回归，该线性回归是具有连续的预测输出的监督机器学习算法(即，值在连续范围内被预测而不是被分类成类别)，并且其具有恒定斜率。在一些实施方案中，褶皱变形器允许变形由对于演示面部皮肤如何局部拉伸、压缩和剪切的示例进行训练的监督机器学习模型预测。
71.在一些实施方案中，级联回归量网络的第一回归量是被配置为预测网格顶点的初始位移并且基于预测来生成预测数据的位移回归量。在一些实施方案中，采用多层线性回归算法。根据用户定义的控制点从初始控制点的移动，系统通过线性回归量对用户定义的控制点之间的所有顶点位移进行内插。在一些实施方案中，位移回归量使用用户定义的控制点和rbf变形网格以预测每个网格顶点上的平滑的基于示例的位移场。在一些实施方案中，针对最佳速度使用正则化线性回归量来训练位移回归量，但可设想其他回归量。
72.在一些实施方案中，训练位移回归量以基于面部的不同部分上的局部编码来生成预测数据。在一些实施方案中，系统接收用作训练数据的训练示例中的每一者的分割掩模。该分割掩模通过将示例性rbf变形网格分割成多个独特面部区域来生成。在一些实施方案中，基于所检测或标记的控制点区域来自动地执行分割，使用用户定义的分割掩模来手动地执行分割，或使用两者的某种组合来半自动地执行分割。在一些实施方案中，基于面部的解剖特征来执行分割。例如，“脂肪垫”可在面部上形成，其中韧带充当皮肤的附接点并且形成单独的脂肪隔室。脂肪垫可用作用于将面部区域分割成分割掩模的解剖基。
73.图4i是示出根据本文的系统和方法中的一些系统和方法的用于提供分割掩模的过程的一个示例的图像。在图像中，示出了分割掩模，其中特定分割围绕面部的一个眉毛区域。
74.图4j是示出根据本文的系统和方法中的一些系统和方法的用于提供分割掩模的过程的附加示例的图像。在图像中，示出了分割掩模，其中特定分割围绕上嘴唇和鼻部之间的面部区域。
75.在一些实施方案中，对于面部的已经被分割的独特面部区域中的每一者，系统训练基于位移的回归量。在一些实施方案中，对于面部的实际扫描图像与rbf变形示例之间的差异训练已分割的位移回归量。虽然实际扫描捕获了面部的细小详细褶皱，但rbf变形示例将表示从中性网格的平滑rbf内插。对于扫描与rbf变形示例之间的差异进行训练的回归量将被训练以预测平滑内插和详细褶皱之间的差异。
76.在一些实施方案中，在用户界面内提供视觉反馈引导。对用户定义的控制点的用户调整或创建、对级联回归量网络的训练或该方法的其他步骤，用户或艺术家可能会使控制点位置移动太远继而超过训练空间或控制点旨在被约束至的某个其他区域。例如，如果训练数据中的表情不包括“快乐”表情，如果用户调整控制点以向上移动嘴部，则用户可仍然能够使用过程的数据操纵来产生平滑几何形状，但可能不会产生有意义的褶皱，因为尚未对于“快乐”表情的信息训练回归量。在一些实施方案中，视觉反馈引导生成虚拟标记，该虚拟标记被设计成在视觉上向用户显示特定调整在训练空间或可接受调整的空间内或外以便产生有意义的褶皱数据。当用户将控制点移动太远时，视觉标记类似于覆盖在网格上的控制点的辅助集合。此视觉反馈引导允许最佳褶皱估计。
77.在一些实施方案中，在回归量的训练期间，初始控制点位置被映射到根据训练示例的全部或子集定义的超空间上，包括许多先前rbf变形网格。计算映射的初始控制点位置与用户定义的控制点位置之间的距离。然后在用户界面内提供距离连同视觉标记以便提供如上所述的视觉反馈引导。在一些实施方案中，基于所计算的距离来生成视觉标记。
78.图4h是示出根据本文的系统和方法中的一些系统和方法的用于提供视觉反馈引导的过程的一个示例的图像。在图像中，面部网格的一部分被示为具有围绕嘴部区域的视觉标记。视觉标记可出现以允许雕刻网格的用户或艺术家避免移动视觉标记外的控制点。以这种方式，确保了更准确的褶皱数据。
79.在一些实施方案中，在位移回归量生成网格顶点的位移的预测数据之后，系统可根据可从预测初始顶点位移数据获得的几何数据生成预览变形网格。在一些实施方案中，可提供预览变形网格以用于在客户端设备的用户界面上显示，作为具有褶皱数据的变形网格的粗略预览。虽然不像最终变形网格那样准确，但预览变形网格快速生成并且可在短时间内为艺术家提供有用数据。在一些实施方案中，在用户生成要发送到系统的用户定义的控制点后，可实时地或基本上实时地生成预览变形数据。
80.在一些实施方案中，级联回归量网络附加地或另选地包括位移回归量、变形梯度回归量。在一些实施方案中，位移回归量与位移回归量“级联”(即，链接在一起)，其中变形梯度回归量采取位移回归量的原始预测数据和/或预览变形网格作为输入并且细化它们。在一些实施方案中，变形梯度回归量使用预览变形网格来评估局部变形梯度张量作为其生成预测数据的过程的一部分。
81.在一些实施方案中，变形梯度回归量被配置为接收和/或确定围绕用户定义的控制点的局部变形梯度张量，并且预测rbf变形网格的每个网格单元上的变形梯度张量。面部的每个部分通常可依据拉伸张量、旋转张量和剪切张量来描述。如本文所使用，变形梯度张量是所有三个张量的组合，没有平移分量，其表示面部皮肤的局部片的变形。在一些实施方案中，一旦预测，变形梯度张量被求解并转换为顶点位移。
82.在一些实施方案中，使用偏最小二乘回归量(plsr)来训练此变形梯度回归以用于其数值质量和稳定性，但可设想许多其他回归量。
83.在一些实施方案中，变形梯度张量被转换为变形李群，即矩阵空间中的变形变换的集合。李群用作几何空间的可微分(即，局部平滑)多维流形，其中群的元件被连续地且平滑地组织，使得群操作跨几何空间中的任意小局部化区域与平滑结构兼容。在一些实施方案中，将变形梯度张量转换成变形李群涉及获取变形张量的矩阵指数。这提供了线性和均
匀性，使得操作的顺序在使矩阵跨变换相乘时(例如，在跨矩阵应用两个矩阵旋转时)不再有重大影响。例如，如果从面部的脸颊区域上的“快乐”表情获取局部变形，并且然后从“生气”表情获取变形张量，则需要通过使矩阵相乘来组合两个变形张量，这需要了解正确的操作顺序。然而，如果获取两个张量的矩阵指数，则顺序由于性质的均匀性而不会有重大影响。可获取矩阵指数，将其相加在一起，然后通过获取张量的对数大小将结果转换为原始梯度几何形状以便恢复原始矩阵，其为两个原始矩阵的组合矩阵。所得张量是两个张量的平均值。在这种意义上，在一些实施方案中，系统将乘法运算转换成线性加法运算以便创建多个张量的简单加权总和，其为一定表情以使得变形具有每个单独表情的一些分量并且其中的每一者被同样地加权。因此，在缩放方面实现了线性解释。
84.在步骤210处，系统提供具有基于预测褶皱变形数据的褶皱的最终变形网格以用于在客户端设备上显示在用户界面内。在一些实施方案中，最终变形网格被提供为用于使艺术家和其他用户进行雕刻以在各种上下文和应用中适应的工具集合的一部分。在一些实施方案中，一个应用是用于在不损害目标模型的解剖结构的情况下使褶皱从源模型传递到目标模型上。这允许例如进行皮肤交换，使得褶皱在几何形状和纹理两者上对准。在一些实施方案中，可提供多个可交换的面部纹理以用于在客户端设备上显示在用户界面内。可交换的面部纹理包括与褶皱变形数据、最终变形网格或两者对准的褶皱。可快速交换面部纹理以使得不同面部可显示为具有与每个面部对准的相同褶皱和皮肤皱褶。在一些实施方案中，可实现面部动作编码系统(facs)归一化，其允许所有目标模型以一致且可预测的方式表现，但不会损失对于每个角色而言独特的特征和褶皱。在一些实施方案中，可实现从小形状集合到大得多的形状集合的扩充性，其中在不需要由艺术家进行手动雕刻的情况下产生准确变形，从而允许形状网络复杂性的自动增加。可设想许多其他应用。
85.在一些实施方案中，用户界面由托管在客户端设备上的软件应用程序提供。软件应用程序可与例如以下项相关或促进以下项：3d建模、3d物体雕刻、3d网格的变形或本文的方法和实施方案可与其结合使用的任何其他合适的计算机图形或计算机动画技术或过程。
86.图2b是示出可根据一些实施方案执行的附加步骤的流程图。步骤与图2a的步骤类似或相同，具有附加的任选步骤212，其中系统计算表示初始控制点位置与中性网格中的所有其他顶点之间的测地距离的高斯核的扩散流，以及任选步骤214，其中系统基于所计算的扩散流来确定初始控制点位置和用户定义的控制点位置的rbf内插，如上文详细描述。
87.图2c是示出可根据一些实施方案执行的附加步骤的流程图。步骤与图2a的步骤类似或相同，具有附加的任选步骤216，其中系统将多个示例性rbf变形网格中的每一者分割成多个独特面部区域，以及任选步骤218，其中系统对于示例性rbf变形网格的每个独特面部区域训练级联回归量网络，如上文详细描述。
88.图2d是示出可根据一些实施方案执行的附加步骤的流程图。步骤与图2a的步骤类似或相同，具有附加的任选步骤。在任选步骤220中，系统使用位移回归量作为一个或多个级联回归量网络中的每一者的一部分来预测初始顶点位移数据。在任选步骤222中，系统提供具有基于预测初始顶点位移数据的褶皱的预览变形网格以用于在客户端设备上显示在用户界面内。在任选步骤224中，该步骤使用变形梯度回归量作为一个或多个级联回归量网络中的每一者的一部分来预测变形梯度张量。以上进一步详细描述了这些步骤。
89.iii.示例性用户界面
90.图3a是示出根据本文的系统和方法中的一些系统和方法的用于训练级联回归量网络的过程的一个示例性实施方案300的图。在304处，接收多个示例性网格303，并且基于所接收的用户定义的控制点位置302针对每个示例性网格确定标记位置(即，控制点位置)。在306处，使用中性网格308和初始控制点位置309，使用rbf变形器来通过初始控制点位置对用户定义的控制点进行内插。
91.在310处，以如下方式(框312至324)训练级联回归量网络：系统接收rbf变形示例312和分割掩模313，然后在314处，基于rbf变形示例和分割掩模来训练位移回归量。在316处，预测每个rbf变形示例的初始顶点位移。在318处，针对rbf变形示例计算局部变形梯度张量，并且同时在320处，根据示例性网格计算变形梯度张量。在322处，根据所计算的rbf变形示例的局部变形梯度张量和示例性网格的变形梯度张量来训练变形梯度回归量。最后，在326处，使用经训练的级联回归量网络来执行本文描述的方法和实施方案中的一些方法和实施方案。
92.图3b是示出根据本文的系统和方法中的一些系统和方法的用于提供具有详细褶皱的面部变形的过程的一个示例性实施方案330的图。在306处，接收并使用用户定义的控制点位置302、中性网格308和初始控制点位置309，其中使用rbf变形器对初始控制点位置和用户定义的控制点位置执行内插。
93.在332处，以如下方式(框334至344)使用级联回归量网络来生成预测褶皱变形数据：接收rbf变形网格334，并且将其与用户定义的控制点位置302一起使用以使用位移回归量336来预测初始顶点位移。在338处，围绕控制点计算局部变形梯度张量并且将其转换为李张量。在340处，使用分割的变形梯度回归量来预测变形梯度张量。在342处，将变形梯度张量映射到先前rbf变形网格的全部或子集的超空间上，并且然后在344处，将变形梯度张量转换回原始顶点坐标。
94.图3c是示出根据本文的系统和方法中的一些系统和方法的用于为网格雕刻艺术家提供视觉反馈引导的过程的一个示例性实施方案的图。在302处，接收用户定义的控制点位置。在352处，将用户定义的控制点位置映射到先前示例性网格的全部或子集的超空间上。在354处，计算映射的控制点位置与用户定义的位置之间的距离。在356处，将该距离以及映射的控制点位置移位以在用户界面中为用户或艺术家提供视觉反馈引导，如上所述。
95.图5是示出可在一些实施方案中执行处理的示例性计算机的图。示例性计算机500可执行与一些实施方案一致的操作。计算机500的架构是示例性的。计算机可以各种其他方式实现。根据本文的实施方案，可使用各种各样的计算机。
96.处理器501可执行计算功能，诸如运行计算机程序。易失性存储器502可为处理器501提供临时数据存储。ram是一种类型的易失性存储器。易失性存储器通常需要电力来维持其存储的信息。存储装置503为数据、指令和/或任意信息提供计算机存储。非易失性存储器(其即使在未供电时也可保存数据并且包括盘和闪存存储器)是存储装置的示例。存储装置503可被组织为文件系统、数据库或以其他方式组织。数据、指令和信息可从存储装置503加载到易失性存储器502中以供处理器501处理。
97.计算机500可包括外围设备505。外围设备505可包括输入外围设备，诸如键盘、鼠标、轨迹球、摄像机、麦克风和其他输入设备。外围设备505还可包括输出设备，诸如显示器。外围设备505可包括可移除介质设备，诸如cd-r和dvd-r记录器/播放器。通信设备506可将
计算机100连接到外部介质。例如，通信设备506可采取向网络提供通信的网络适配器的形式。计算机500还可包括各种其他设备504。计算机500的各种部件可通过连接介质510(诸如总线、交叉开关或网络)连接。
98.虽然已经参考本发明的具体实施方案特别示出和描述了本发明，但应当理解，在不脱离本发明的范围的情况下，可进行所公开的实施方案的形式和细节的改变。尽管本文已经参考各种实施方案讨论了本发明的各种优点、方面和目的，但应当理解，本发明的范围不应受到对此类优点、方面和目的的参考的限制。相反，应参考专利权利要求来确定本发明的范围。