人脸模型生成方法、装置、存储介质与电子设备与流程

1.本公开涉及计算机技术领域，尤其涉及一种人脸模型生成方法、人脸模型生成装置、计算机可读存储介质与电子设备。


背景技术：

2.人脸模型常常应用于影视、游戏、动画等领域，通过对人脸模型的控制，可以呈现拟真的人脸动作或表情。
3.相关技术中，通常需要工作人员基于经验，手工制作出特定角色在不同表情下的人脸模型。显然，该方法需要耗费较高的人力成本和时间成本，效率低下。


技术实现要素：

4.本公开提供了一种人脸模型生成方法、人脸模型生成装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善人脸模型生成效率低的问题。
5.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
6.根据本公开的第一方面，提供一种人脸模型生成方法，包括：获取参考人脸的基准表情模型与目标人脸的样本表情模型，建立关于所述目标人脸的基准表情模型的变量以及关于权重的变量；通过调整所述权重，使所述参考人脸的加权表情模型与所述样本表情模型的表情匹配成功，以得到所述权重的初始值；所述参考人脸的加权表情模型是通过所述权重对所述参考人脸的基准表情模型进行加权所得到的模型；基于所述目标人脸的加权表情模型与所述样本表情模型的差别，建立至少一个能量函数；所述目标人脸的加权表情模型是通过所述权重对所述目标人脸的基准表情模型进行加权所得到的模型；交替执行以下两种优化：在固定所述权重的情况下利用所述能量函数优化所述目标人脸的基准表情模型，以及在固定所述目标人脸的基准表情模型的情况下利用所述能量函数优化所述权重；输出优化后的所述目标人脸的基准表情模型。
7.根据本公开的第二方面，提供一种人脸模型生成装置，包括：数据获取模块，被配置为获取参考人脸的基准表情模型与目标人脸的样本表情模型，建立关于所述目标人脸的基准表情模型的变量以及关于权重的变量；初始值确定模块，被配置通过调整所述权重，使所述参考人脸的加权表情模型与所述样本表情模型的表情匹配成功，以得到所述权重的初始值；所述参考人脸的加权表情模型是通过所述权重对所述参考人脸的基准表情模型进行加权所得到的模型；能量函数建立模块，被配置为基于所述目标人脸的加权表情模型与所述样本表情模型的差别，建立至少一个能量函数；所述目标人脸的加权表情模型是通过所述权重对所述目标人脸的基准表情模型进行加权所得到的模型；数据优化模块，被配置为交替执行以下两种优化：在固定所述权重的情况下利用所述能量函数优化所述目标人脸的基准表情模型，以及在固定所述目标人脸的基准表情模型的情况下利用所述能量函数优化所述权重。
8.根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的人脸模型生成方法及其可能的实现方式。
9.根据本公开的第四方面，提供一种电子设备，包括：处理器；存储器，用于存储所述处理器的可执行指令。其中，所述处理器配置为经由执行所述可执行指令，来执行上述第一方面的人脸模型生成方法及其可能的实现方式。
10.本公开的技术方案具有以下有益效果：
11.一方面，实现了自动化生成目标人脸的基准表情模型，相比于手工制作人脸模型的方式，大大提高了效率，并且避免了手工制作人脸模型产生的人为偏差，提高了模型的精准度。另一方面，本方案能够结合参考人脸的基准表情模型的表情特征与目标人脸的样本表情模型的容貌特征，生成具有目标人脸的容貌以及参考人脸的表情的基准表情模型，能够呈现出脸部的细节信息，提升模型的真实感，改善模型质量，并且，可以通过对不同的参考人脸的基准表情模型与目标人脸的样本表情模型的组合，实现对不同表情与容貌的组合，从而提高所生成模型的多样性与灵活性。再一方面，本方案设置目标人脸的基准表情模型与权重两个变量，采用交替优化的方式进行迭代处理，有利于加速优化处理的过程，进一步提高效率。
12.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
13.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1示出本示例性实施方式中一种人脸模型生成方法的流程图；
15.图2示出本示例性实施方式中参考人脸的基准表情模型的示意图；
16.图3示出本示例性实施方式中目标人脸的样本表情模型的示意图；
17.图4示出本示例性实施方式中一种人脸模型生成方法的子流程图；
18.图5示出本示例性实施方式中三角面片对应的局部空间的示意图；
19.图6示出本示例性实施方式中对局部面片特征进行加权的示意图；
20.图7示出本示例性实施方式中目标人脸的基准表情模型的示意图；
21.图8示出本示例性实施方式中一种人脸模型生成装置的结构示意图；
22.图9示出本示例性实施方式中一种电子的结构示意图。
具体实施方式
23.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许
多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
24.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
25.相关技术中，工作人员通常采用“捏脸”等手工方式，制作出特定角色。如果期望实现具有真实感的面部表情重定位，并复现出角色脸部的褶皱、皱纹等细节，则需要大量的时间，效率低下。而且，由此得到的人脸模型，其多样性与灵活性通常较差。
26.鉴于上述一个或多个问题，本公开示例性实施方式首先提供一种人脸模型生成方法。本示例性实施方式中，人脸为广义上的概念，除了人的脸部以外，还可以包括拟人化的动物、卡通形象等的脸部。人脸模型是可参数化、可操纵的脸部模型，可用于创建逼真的数字人面部动画。
27.下面结合图1对人脸模型生成方法进行说明。图1示出了人脸模型生成方法的示例性流程，包括以下步骤s110至s150：
28.步骤s110，获取参考人脸的基准表情模型与目标人脸的样本表情模型，建立关于目标人脸的基准表情模型的变量以及关于权重的变量；
29.步骤s120，通过调整权重，使参考人脸的加权表情模型与样本表情模型的表情匹配成功，以得到权重的初始值；参考人脸的加权表情模型是通过权重对参考人脸的基准表情模型进行加权所得到的模型；
30.步骤s130，基于目标人脸的加权表情模型与样本表情模型的差别，建立至少一个能量函数；目标人脸的加权表情模型是通过权重对目标人脸的基准表情模型进行加权所得到的模型；
31.步骤s140，交替执行以下两种优化：在固定权重的情况下利用能量函数优化目标人脸的基准表情模型，以及在固定目标人脸的基准表情模型的情况下利用能量函数优化权重；
32.步骤s150，输出优化后的目标人脸的基准表情模型。
33.基于上述方法，一方面，实现了自动化生成目标人脸的基准表情模型，相比于手工制作人脸模型的方式，大大提高了效率，并且避免了手工制作人脸模型产生的人为偏差，提高了模型的精准度。另一方面，本方案能够结合参考人脸的基准表情模型的表情特征与目标人脸的样本表情模型的容貌特征，生成具有目标人脸的容貌以及参考人脸的表情的基准表情模型，能够呈现出脸部的细节信息，提升模型的真实感，改善模型质量，并且，可以通过对不同的参考人脸的基准表情模型与目标人脸的样本表情模型的组合，实现对不同表情与容貌的组合，从而提高所生成模型的多样性与灵活性。再一方面，本方案设置目标人脸的基准表情模型与权重两个变量，采用交替优化的方式进行迭代处理，有利于加速优化处理的过程，进一步提高效率。
34.下面对图1中的每个步骤进行具体说明。
35.参考图1，在步骤s110中，获取参考人脸的基准表情模型与目标人脸的样本表情模型，建立关于目标人脸的基准表情模型的变量以及关于权重的变量。
36.其中，目标人脸是期望对其生成基准表情模型的人脸，参考人脸是已生成基准表情模型、用于提供参考信息的人脸。参考人脸与目标人脸可以是不同形象的人脸。本公开对于参考人脸的选取不做限定，其可以是任意形象的人脸，例如可以是技术人员预先创建的固定形象的人脸，或者从人脸模型数据库中随机选取的人脸。在一种实施方式中，参考人脸与目标人脸可以是相同类型的人脸，如两者均为男性(或女性)的人脸，两者均为同一年龄段的人脸，两者均为同一风格的动画形象的人脸等，使得参考人脸能够提供更加适合于目标人脸的参考信息，有利于生成高质量的目标人脸的基准表情模型。
37.基准表情模型可以是一组具有代表性的表情模型。本示例性实施方式中，可以将参考人脸的基准表情模型表示为集合a＝{a0，a1，
…
，an}，共n 1个基准表情模型，n为正整数。图2示出了参考人脸的基准表情模型的示意图，包括参考人脸的5个基准表情模型，分别记为a0～a4。其中，a0为中性表情模型，a1～a4为其他具有代表性的表情模型。
38.在一种实施方式中，参考人脸的基准表情模型也可以包括一个基础表情模型与一个或多个偏移量。基础表情模型可以作为生成其他基准表情模型的基础，如可以是最初生成的基准表情模型。通常可以将中性表情模型作为基础表情模型。偏移量是指基础表情模型与其他基准表情模型之间的偏移量。示例性的，可以将参考人脸的基准表情模型表示为集合a'＝{a0，a1，
…
，an}，其中a1＝a
1-a0，表示基准表情模型a0与a1之间的偏移量，包括a0与a1之间人脸关键点的偏移量、人脸的局部面片的偏移量、人脸关键部位的偏移量等。由此可见，每个偏移量能够对应到一个具体的基准表情模型，即偏移量与基准表情模型等效，集合a与集合a'等效。
39.一般的，通过将同一张人脸的不同基准表情模型进行融合，可以生成其他任意表情模型。例如，以tj表示参考人脸的任意表情模型，可以参考以下公式：
[0040][0041][0042]
公式(1)表示对不同的基准表情模型进行加权，可以得到任意表情模型，ai表示参考人脸的任一基准表情模型，α
ij
是对基准表情模型进行加权的权重。公式(2)表示对基础表情模型与偏移量进行加权，可以得到任意表情模型，ai表示任一偏移量，β
ij
是对偏移量进行加权的权重。公式(2)实质上也是对不同的基准表情模型进行加权，因此权重β
ij
与α
ij
所表达的含义实质相同，β
ij
用于对偏移量进行加权，实质上等效于对基准表情模型进行加权。公式(2)通过将公式(1)中的基准表情模型加权转化为偏移量加权的计算方式，能够减少权重的数量(即β
ij
的维度小于α
ij
)，有利于简化计算。因此，下文的说明将以公式(2)为基础，下文中的权重可以采用β
ij
。
[0043]
目标人脸的样本表情模型用于为生成目标人脸的基准表情模型提供样本，是目标人脸现有的一个或多个表情模型，可以是通过手工制作或其他方式得到的目标人脸的任意表情模型。样本表情模型与基准表情模型的表情可以相同，也可以不同。
[0044]
在一种实施方式中，样本表情模型可以是基础性表情、面部元素变化较少的表情、
随机的一个或多个表情下的人脸模型，以便于技术人员制作。示例性的，可以将目标人脸的样本表情模型表示为集合s＝{s1，s2，
…
，sm}，m为正整数，sj可用于表示其中的任一样本表情模型。图3示出了目标人脸的样本表情模型的示意图，其中样本表情模型s1为睁眼、闭嘴的表情，样本表情模型s2为闭眼、闭嘴的表情，样本表情模型s3为睁眼、张嘴的表情。
[0045]
本公开对于目标人脸的样本表情模型的数量不做限定。在样本表情模型的数量较少甚至只有1个的情况下，本示例性实施方式也可以基于参考人脸的基准表情模型与目标人脸的样本表情模型生成目标人脸的基准表情模型，即生成目标人脸的与参考人脸的基准表情模型具有相同(或相似)表情的人脸模型。进而，还可以基于目标人脸的基准表情模型生成目标人脸的任意表情模型，从而由目标人脸的少量的样本表情模型得到大量的其他表情模型。
[0046]
本示例性实施方式中，可以建立关于目标人脸的基准表情模型的变量以及关于权重的变量，从而将人脸模型生成的问题转换为变量优化的问题。在一种实施方式中，可以构建第一变量与第二变量。其中，第一变量用于表示目标人脸的基准表情模型，第二变量用于表示上述权重。通过优化第一变量与第二变量，使得目标人脸的基准表情模型与参考人脸的基准表情模型具有相同(或相似)的表情，并且利用权重对目标人脸的基准表情模型进行加权融合能够得到样本表情模型。
[0047]
示例性的，以集合b＝{b0，b1，
…
，bn}或b'＝{b0，b1，
…
，bn}表示目标人脸的基准表情模型(即第一变量)，其中b0～bn为目标人脸的每个基准表情模型，b0为基础表情模型，b1～bn为基准表情模型b1～bn为对应的偏移量。以β
ij
(或α
ij
)表示权重(即第二变量)，可以满足以下条件：
[0048][0049][0050]
其中，公式(3)表示ai与bi具有表情匹配关系，即两者为相同(或相似)的表情或语义，如a4与b4都是张嘴的表情。uj表示目标人脸的加权表情模型，其是对目标人脸的基准表情模型进行加权所得到，可以是目标人脸的任意表情模型，与上述参考人脸的加权表情模型tj具有类似的含义。应当理解，也可以采用公式(1)的方法(即不采用偏移量而直接采用目标人脸的基准表情模型)计算得到uj。公式(4)表示通过合适的权重对目标人脸的基准表情模型进行加权，所得到的目标人脸的加权表情模型与目标人脸的样本表情模型相同或相似，因此目标人脸的基准表情模型、权重、样本表情模型之间可以满足线性关系。
[0051]
由此，可以将为目标人脸生成基准表情模型的问题表达为如下的数学问题：在公式(3)、(4)的约束下，优化第一变量与第二变量，最终得到优化后的第一变量，即目标人脸的基准表情模型。
[0052]
继续参考图1，在步骤s120中，通过调整权重，使参考人脸的加权表情模型与样本表情模型的表情匹配成功，以得到权重的初始值；参考人脸的加权表情模型是通过权重对参考人脸的基准表情模型进行加权所得到的模型。
[0053]
其中，参考人脸的加权表情模型tj可以是通过公式(1)或公式(2)计算得到。可见，通过调整权重值，可以调整参考人脸的加权表情模型。本示例性实施方式中，期望通过调整权重值，使得参考人脸的加权表情模型与样本表情模型的表情匹配成功，将调整后的权重值作为后续处理中权重的初始值，其将在后续步骤中得到进一步优化。
[0054]
参考人脸的加权表情模型与样本表情模型的表情匹配成功，或称参考人脸的加权表情模型与样本表情模型具有表情匹配关系，是指参考人脸的加权表情模型的表情与样本表情模型的表情相同(或相似)，具体可以是表情的语义相同(或相似)。例如，样本表情模型s2是闭眼、闭嘴的表情，通过合适的权重值对参考人脸的基准表情模型a0～a4进行加权得到参考人脸的加权表情模型，如果该加权表情模型也是闭眼、闭嘴的表情，则其与样本表情模型s2的表情能够匹配成功。
[0055]
结合公式(2)～(4)，可以得到以下关系：
[0056][0057]
也就是说，通过将权重调整到合适的数值，可以使得参考人脸的加权表情模型与样本表情模型实现表情匹配成功。
[0058]
在一种实施方式中，对于两个表情模型，可以计算两者的表情相似度，由此确定两个表情模型的表情是否匹配成功。例如，当参考人脸的加权表情模型与样本表情模型的表情相似度达到预设的表情相似度阈值时，确定该加权表情模型与该样本表情模型的表情匹配成功，将此时的权重值作为权重的初始值。或者，通过迭代调整权重值，使得参考人脸的加权表情模型与样本表情模型的表情相似度达到最大值，即两个表情模型实现表情的最优匹配，将此时的权重值作为权重的初始值。
[0059]
本公开对于如何计算表情相似度不做限定。示例性的，可以将参考人脸的加权表情模型(或该加权表情模型的一张或多张二维图像)与样本表情模型(或该样本表情模型的一张或多张二维图像)分别输入预先训练的表情分类模型中，以得到该加权表情模型对应的表情分类结果与该样本表情模型对应的表情分类结果，表情分类结果如可以是向量的形式，包括对应于各标准表情的概率值；然后计算加权表情模型对应的表情分类结果与样本表情模型对应的表情分类结果之间的相似度，即得到两个表情模型的表情相似度。由此，表情相似度能够不受容貌差异的影响表征表情方面的相似程度，即使两个模型对应的人脸容貌不同，也可以计算出较为客观、准确的表情相似度。
[0060]
本示例性实施方式中，可以在公式(5)的约束下，调整第二变量，将调整后的权重作为后续处理中权重的初始值，从而为后续处理提供良好的基础。
[0061]
以上说明了如何得到权重的初始值。本公开对于如何得到目标人脸的基准表情模型的初始值不做限定，下面进行示例性说明。
[0062]
在一种实施方式中，可以对目标人脸的样本表情模型中的数值进行调整，如可以随机调整，以得到的表情模型作为目标人脸的基准表情模型的初始值。
[0063]
在一种实施方式中，可以将目标人脸的不同样本表情模型进行融合，如可以通过随机或预设的权重值对多个样本表情模型进行加权融合，以得到的表情模型作为目标人脸的基准表情模型的初始值。
[0064]
在一种实施方式中，可以采用通用的人脸模型作为目标人脸的基准表情模型的初始值。
[0065]
除了为变量确定合适的初始值以外，还可以为变量建立能量函数。继续参考图1，在步骤s130中，基于目标人脸的加权表情模型与样本表情模型的差别，建立至少一个能量函数；目标人脸的加权表情模型是通过权重对目标人脸的基准表情模型进行加权所得到的模型。
[0066]
其中，目标人脸的加权表情模型uj可以通过公式(4)计算得到。优化变量的目标是满足公式(3)和公式(4)的约束。理想情况下，在公式(4)中，可以得到目标人脸的加权表情模型uj与样本表情模型sj相等的结果。因此，可以基于目标人脸的加权表情模型与样本表情模型的差别，建立能量函数，能量函数可用于优化第一变量与第二变量。
[0067]
能量函数可以采用任意类型的范数。本示例性实施方式中将以f范数为例进行说明，但本公开对此不做限定。比如，能量函数用于表示向量之间的差值时，也可以采用该向量差值的l1范数、l2范数等建立该能量函数。采用f范数的能量函数可以如下所示：
[0068][0069]
其中，样本表情模型sj与目标人脸的加权表情模型uj均可以是矩阵的形式，两个矩阵的维度相同，将两个矩阵相减，并计算其中每个元素的平方和，再计算平方根，得到能量函数值。可见，sj与uj的差别越大，能量函数值越大。
[0070]
继续参考图1，在步骤s140中，交替执行以下两种优化：在固定权重的情况下利用能量函数优化目标人脸的基准表情模型，以及在固定目标人脸的基准表情模型的情况下利用能量函数优化权重。
[0071]
其中，通过优化目标人脸的基准表情模型(第一变量)与权重(第二变量)，使得能量函数值尽可能小，从而尽可能接近于满足公式(4)的约束。如果同时对第一变量与第二变量进行优化，则可能难以收敛。因此，本示例性实施方式交替地固定第一变量与第二变量中的一个并优化另一个，能够实现快速收敛，提高优化效率。
[0072]
应当理解，本公开可以对第一变量与第二变量进行任意轮数的迭代交替优化，优化结束的条件可以包括但不限于：第一变量或第二变量收敛；第一变量与第二变量均收敛；能量函数收敛；达到设定的迭代轮数；对第一变量与第二变量验证成功，如可以采用公式(4)、(5)对第一变量与第二变量进行验证；等等。
[0073]
在一种实施方式中，步骤s130中所建立的至少一个能量函数可以包括第一能量函数与第二能量函数。参考图4所示，上述基于目标人脸的加权表情模型与样本表情模型的差别，建立至少一个能量函数，可以包括以下步骤s410和s420：
[0074]
步骤s410，基于目标人脸的加权表情模型的第一类特征与样本表情模型的第一类特征之间的差别，建立第一能量函数；
[0075]
步骤s420，基于目标人脸的加权表情模型的第二类特征与样本表情模型的第二类特征之间的差别，建立第二能量函数；
[0076]
上述在固定权重的情况下利用能量函数优化目标人脸的基准表情模型，以及在固定目标人脸的基准表情模型的情况下利用能量函数优化权重，可以包括以下步骤s430：
[0077]
步骤s430，在固定权重的情况下利用第一能量函数优化目标人脸的基准表情模型，以及在固定目标人脸的基准表情模型的情况下利用第二能量函数优化权重。
[0078]
应当理解，步骤s430包括对目标人脸的基准表情模型进行优化，以及对权重进行优化这两种优化，可以交替执行这两种优化。
[0079]
一般的，目标人脸的加权表情模型与样本表情模型中包含的信息较多，可以选取其中的一部分信息来计算能量函数，能够简化能量函数的计算，提高效率。第一类特征、第二类特征均用于表示目标人脸的加权表情模型或样本表情模型中的一部分信息。本示例性
实施方式中，优化变量的目标是使目标人脸的加权表情模型等于样本表情模型，这意味着目标人脸的加权表情模型的第一类特征与样本表情模型的第一类特征相同，以及目标人脸的加权表情模型的第二类特征与样本表情模型的第二类特征相同。因此，可以基于目标人脸的加权表情模型与样本表情模型在第一类特征上的差别、以及第二类特征上的差别，分别建立能量函数，对应得到第一能量函数与第二能量函数。
[0080]
第一类特征与第二类特征可以是不同的信息，使得第一能量函数与第二能量函数为不同的能量函数，进而，在利用第一能量函数优化目标人脸的基准表情模型，以及利用第二能量函数优化权重时，实际上利用了目标人脸的加权表情模型与样本表情模型中的不同信息，避免了对相同信息的重复使用，有利于加速优化处理的过程。
[0081]
在一种实施方式中，第一类特征与第二类特征均可以是以下任意一种或多种特征：点特征，线特征，面特征。下面对这几种特征分别进行说明。
[0082]
点特征
[0083]
点特征可以是目标人脸的加权表情模型(或样本表情模型，下文提到的目标人脸的加权表情模型上的任意特征，均适用于样本表情模型，因而对于样本表情模型不再赘述)上的任意点的特征。通常可以在目标人脸的加权表情模型中选取关键点，获取关键点的特征，以作为该加权表情模型的点特征。本公开对于如何选取关键点、以及关键点的数量、类型等不做限定。
[0084]
在一种实施方式中，上述关键点可以是目标人脸的加权表情模型中的人脸关键点，如眼睛、嘴、鼻、耳、脸部轮廓等部位的关键点。
[0085]
在一种实施方式中，上述关键点也可以是目标人脸的加权表情模型的局部面片中的关键点。局部面片是指形成人脸模型(如本示例性实施方式中的基准表情模型、样本表情模型、加权表情模型)的二维平面单元，如可以是三角面片，当然本公开对于局部面片的形状、大小等不做限定。局部面片的关键点可以包括局部面片的顶点、中心点等。示例性的，目标人脸的加权表情模型由三角面片组成，可以将三角面片的顶点作为关键点，获取关键点的特征。
[0086]
选取关键点后，可以获取关键点的任意类型的特征，包括纹理、图像、模型结构等不同层面的特征。例如，可以采用fast(features from accelerated segment test，基于加速分割检测的特征)、brief(binary robust independent elementary features，二进制鲁棒独立基本特征)、orb(oriented fast and rotated brief，面向fast和旋转brief)、sift(scale-invariant feature transform，尺度不变特征变换)、surf(speeded up robust features，加速鲁棒特征)等算法描述关键点特征。此外，上述算法也可用于从目标人脸的加权表情模型中提取关键点。
[0087]
在一种实施方式中，也可以将关键点位置作为点特征，关键点位置可以是关键点在目标人脸的加权表情模型所处的三维空间中的位置坐标，其能够反映加权表情模型的结构信息，并且关键点位置是易于获取的信息，有利于简化处理过程。示例性的，在目标人脸的加权表情模型的三角面片的顶点中选取一定数量的关键点，将这些关键点的三维位置坐标形成矩阵，以作为目标人脸的加权表情模型的点特征。
[0088]
线特征
[0089]
线特征可以是目标人脸的加权表情模型上的任意线的特征。所选取的线可以是局
部面片的边、对角线、人脸的褶皱线、人脸关键部位的线等。
[0090]
本公开可以采用任意的描述方式描述线特征。在一种实施方式中，可以将线的位姿作为线特征。例如，可以用3个维度的数据描述线的方向，1个维度的数据描述原点到线的距离，因此线特征可以表示为4个维度的数据；或者，可以以线的两个端点的位置坐标来表示线特征，为6个维度的数据，等等。
[0091]
面特征
[0092]
面特征可以是目标人脸的加权表情模型上的任意面的特征。所选取的面可以是目标人脸的加权表情模型中局部的平面或曲面，本公开对此不做限定。
[0093]
在一种实施方式中，面特征可以包括局部面片特征。例如，目标人脸的加权表情模型由三角面片组成，局部面片可以是三角面片，局部面片特征可以是三角面片特征。局部面片是目标人脸的加权表情模型的基本组成单元，因此局部面片特征是易于获取的信息，有利于简化处理过程。局部面片特征可以包括局部面片的位姿、纹理特征、图像特征等。如果目标人脸的加权表情模型是未经渲染的模型，则可以基于局部面片的位姿得到局部面片特征，其能够反映加权表情模型的结构信息。
[0094]
在一种实施方式中，可以基于局部面片对应的局部空间来表示局部面片特征。局部空间可以是局部面片与局部面片的法向量所形成的空间。以图5为例进行说明，在样本表情模型s1中，局部面片可以是三角面片，对于其中顶点为v1、v2、v3的三角面片，在图5中进行放大展示。该三角面片对应的局部空间m由该三角面片所在的平面与该三角面片的法向量形成，可以表示为3*3矩阵m＝[v
3-v1，v
2-v1，z]，其中v
3-v1、v
2-v1为三角面片的两条边向量，z＝(v
3-v1)
×
(v
2-v1)，为三角面片的法向量。m可以作为该三角面片的特征，即局部面片特征。此外，还可以在上述3*3矩阵中增加至少一个顶点的位置，如增加v1的位置坐标，形成3*4矩阵，该矩阵能够更加准确地体现三角面片的位姿，可以作为局部面片特征。
[0095]
以上说明了三种特征。第一类特征与第二类特征均可以是上述任意一种特征，或任意多种特征的组合。第一类特征与第二类特征可以是相同种类、不同对象的特征，例如第一类特征与第二类特征均为点特征，但两者所选取的点可以不同，如第一类特征是局部面片顶点的特征，第二类特征是人脸关键点的特征。第一类特征与第二类特征也可以是不同种类的特征，例如第一类特征是面特征，第二类特征是点特征，等等。
[0096]
下面对第一能量函数做进一步说明。
[0097]
在一种实施方式中，第一类特征可以包括局部面片特征，如可以是三角面片对应的局部空间。上述基于目标人脸的加权表情模型的第一类特征与样本表情模型的第一类特征之间的差别，建立第一能量函数，可以包括以下步骤：
[0098]
获取目标人脸的加权表情模型的局部面片特征，并获取样本表情模型的局部面片特征；
[0099]
基于目标人脸的加权表情模型的局部面片特征与样本表情模型的局部面片特征之间的差别，建立第一能量函数。
[0100]
示例性的，以表示目标人脸的加权表情模型uj的局部面片特征，以表示目标人脸的样本表情模型sj的局部面片特征，可以建立第一能量函数如下：
[0101]
[0102]
应当理解，在计算两个模型的局部面片特征的差值时，可以计算两个模型中具有对应关系的局部面片特征的差值，例如，可以对每个局部面片生成索引(或标识)，然后对目标人脸的加权表情模型与样本表情模型中相同索引的局部面片特征计算差值，以得到第一能量函数值。为便于表述，在公式(7)中忽略了局部面片的索引。
[0103]
第一能量函数ea体现了目标人脸的加权表情模型的局部面片特征与样本表情模型的局部面片特征之间的差别。局部面片特征相比于整个模型来说，信息量有所减少，有利于降低后续处理的计算量。局部面片特征能够较为全面地体现目标人脸的加权表情模型或样本表情模型的结构信息，局部面片特征的差别能够较为准确地体现目标人脸的加权表情模型与样本表情模型的结构差别，结构差别实质上是面部容貌、表情的差别。在后续处理中，通过优化第一变量与第二变量，使得第一能量函数值尽可能小，以保证目标人脸的加权表情模型的局部面片特征与样本表情模型的局部面片特征尽可能接近，基本上等同于使目标人脸的加权表情模型与样本表情模型尽可能接近，从而在降低计算量的同时保证了优化效果。
[0104]
在一种实施方式中，上述获取目标人脸的加权表情模型的局部面片特征，可以包括以下步骤：
[0105]
通过权重(第二变量)对目标人脸的基准表情模型的局部面片特征进行加权，得到目标人脸的加权表情模型的局部面片特征。
[0106]
也就是说，目标人脸的基准表情模型的局部面片特征与目标人脸的加权表情模型的局部面片特征之间可以满足线性关系，该线性关系可以等同于目标人脸的基准表情模型与目标人脸的加权表情模型之间的线性关系。举例来说，参考公式(6)，目标人脸的基准表情模型{b0，b1，
…
，bn}与目标人脸的加权表情模型uj之间，可以满足以下线性关系：
[0107][0108]
那么，基准表情模型{b0，b1，
…
，bn}的局部面片特征与加权表情模型uj的局部面片特征之间，可以满足以下线性关系：
[0109][0110]
其中，表示目标人脸的中性表情模型b0的局部面片特征，表示目标人脸的偏移量bi的局部面片特征(偏移量bi可视为一个基准表情模型，因此可以具有局部面片特征)。
[0111]
结合图6做进一步说明。参考图6所示，假设目标人脸的加权表情模型u2可以由目标人脸的基准表情模型b0、b1、b2加权得到，如可以参考公式(8)。分别从基准表情模型b0、b1、b2中提取相同索引的局部面片特征以及从加权表情模型u2中提取相同索引的局部面片特征则可以由加权得到，且权重与基准表情模型b0、b1、b2加权得到加权表情模型u2的权重相同。由此，可以在不计算加权表情模型u2的情况下，通过基准表情模型的局部面片特征之间的加权计算得到加权表情模型u2中的局部面片特征。
[0112]
应当理解，不限于局部面片特征，由于基准表情模型与加权表情模型存在线性关系，基准表情模型与加权表情模型中的任意类型的特征也可以满足该线性关系，可以采用
与公式(9)类似的方式进行计算。
[0113]
基于公式(9)，可以将第一能量函数ea表示如下：
[0114][0115]
因此，在计算第一能量函数值并进行优化时，无需通过目标人脸的基准表情模型计算其加权表情模型，而通过目标人脸的基准表情模型的局部面片特征直接计算加权表情模型的局部面片特征即可，从而进一步简化了计算过程，提高了效率。
[0116]
由上可知，第一能量函数用于表示目标人脸的加权表情模型与样本表情模型之间的差别，该差别可以体现为完整模型之间的差别，也可以体现为模型的第一类特征(如局部面片特征)之间的差别。在固定权重的情况下，可以利用第一能量函数迭代调整目标人脸的基准表情模型，使得第一能量函数尽可能小并趋向于0，从而得到能够满足上述约束的目标人脸的基准表情模型。
[0117]
在一种实施方式中，上述在固定权重的情况下利用第一能量函数优化目标人脸的基准表情模型，可以包括以下步骤：
[0118]
在固定权重的情况下利用第一能量函数优化目标人脸的基准表情模型的局部面片特征；
[0119]
根据优化后的目标人脸的基准表情模型的局部面片特征，重建出优化后的目标人脸的基准表情模型。
[0120]
也就是说，在优化目标人脸的基准表情模型时，可以直接优化目标人脸的基准表情模型的局部面片特征。特别是，采用以局部面片特征建立的第一能量函数，如公式(10)，进行优化时，通常直接调整局部面片特征与然后再以优化后的与重建出优化后的目标人脸的基准表情模型{b0，b1，
…
，bn}。这样在优化过程中，对于局部面片特征的调整为模型局部调整，相比于对目标人脸的基准表情模型进行全局调整，可以提高调整的准确度与效率，加速收敛。
[0121]
在一种实施方式中，可以通过最小二乘法实现对目标人脸的基准表情模型的重建，参考如下公式：
[0122][0123]
其中，x表示待求解的目标人脸的基准表情模型中的顶点位置(如所有三角面片的顶点位置)，包括h表示模型中的顶点数量。是优化后的局部面片特征(公式为简化表示，省略了)。p是用于关联x与的稀疏系数矩阵。令公式(11)中的函数梯度为零，可以得到正规方程如下：
[0124][0125]
从而求解得到优化后的目标人脸的基准表情模型。
[0126]
在一种实施方式中，也可以利用稀疏系数矩阵的cholesky分解，进行目标人脸的基准表情模型的重建，其能够加速重建的处理过程，可以将单个基准表情模型的处理时间从400s降至0.22s，从而大大提高效率。
[0127]
在一种实施方式中，上述至少一个能量函数可以包括第一能量函数。上述基于目
标人脸的加权表情模型与样本表情模型的差别，建立至少一个能量函数，可以包括以下步骤：
[0128]
基于目标人脸的加权表情模型与样本表情模型的差别，以及参考人脸的表情梯度与目标人脸的表情梯度之间的差别，建立第一能量函数；参考人脸的表情梯度为参考人脸的两个基准表情模型之间的梯度，目标人脸的表情梯度为目标人脸的两个基准表情模型之间的梯度。
[0129]
应当理解，该第一能量函数与公式(7)或(10)中的第一能量函数相比，增加了参考人脸的表情梯度与目标人脸的表情梯度之间的差别。也就是说，该第一能量函数可以包括两部分：一部分是目标人脸的加权表情模型与样本表情模型之间的差别，可称为第一数据项，该第一数据项例如可以是公式(6)中的e0或公式(7)、(10)中的ea，为便于区分，将第一数据项记为e
fit1
；另一部分是参考人脸的表情梯度与目标人脸的表情梯度之间的差别，可称为第一正则项。两部分合并后形成该第一能量函数，如可以通过加权的方式进行合并。
[0130]
在第一能量函数中增加第一正则项后，利用第一能量函数优化目标人脸的基准表情模型，能够使目标人脸的表情梯度等于或接近于参考人脸的表情梯度，由此，使得目标人脸的基准表情模型能够学习到参考人脸的基准表情模型中的信息，有利于实现目标人脸的基准表情模型具有与参考人脸的基准表情模型相同的表情。
[0131]
参考人脸的表情梯度为参考人脸的两个基准表情模型之间的梯度，例如参考人脸的表情梯度可以记为g(ai→aj
)，表示任意两个基准表情模型ai与aj之间的梯度；目标人脸的表情梯度为目标人脸的两个基准表情模型之间的梯度，例如参考人脸的表情梯度可以记为g(bi→bj
)，表示任意两个基准表情模型bi与bj之间的梯度。
[0132]
在一种实施方式中，表情梯度可以等同于上述偏移量。
[0133]
在一种实施方式中，参考人脸的表情梯度可以包括参考人脸的两个基准表情模型之间第一类特征的变化量，目标人脸的表情梯度可以包括目标人脸的两个基准表情模型之间第一类特征的变化量。示例性的，第一类特征可以包括局部面片特征，如可以是三角面片对应的局部空间。从参考人脸的基准表情模型ai到基准表情模型aj，源域(即ai)的三角面片s映射为目标域(即aj)的三角面片t，局部面片特征的变化量可以表示为：
[0134][0135]
其中，ms、m
t
分别是三角面片s和t的局部面片特征。
[0136]
可以假定，在理想情况下，参考人脸的表情梯度与目标人脸的表情梯度相同或非常接近，即满足g(ai→aj
)≈g(bi→bj
)，其中i、j可以是0～n的任意正整数。在一种实施方式中，在计算两个基准表情模型之间的表情梯度时，可以将其中一个基准表情模型固定为中性表情模型，另一个基准表情模型表示为中性表情模型与偏移量之和的形式，则有g(a0→
a0 ai)≈g(b0→
b0 bi)，其中i是1～n的任意正整数。以局部面片特征的变化量表示表情梯度，则参考人脸的局部面片特征的变化量与目标人脸的局部面片特征的变化量相同或非常接近，可以得到以下关系：
[0137][0138][0139]
[0140][0141]
其中，表示参考人脸的中性表情模型a0的局部面片特征，表示参考人脸的偏移量ai的局部面片特征；表示目标人脸的中性表情模型b0的局部面片特征，表示目标人脸的偏移量bi的局部面片特征。基于公式(14)中“≈”两侧的差别，可以建立第一正则项如下：
[0142][0143][0144]
其中，ωi表示偏移权重，用于控制不同偏移量对应的局部面片特征变化量的差值在第一正则项中所占的比重大小，可以通过如下公式计算：
[0145][0146]
其中，κ为大于0的分母调节参数，用于避免公式(16)中的分母项为0；θ为指数参数，用于调节公式(16)的非线性程度。两者的值可以根据经验或实际情况确定。示例性的，κ＝0.1，θ＝2。一般的，参考人脸的偏移量越大，表示对应的基准表情模型与中性表情模型之间的偏移越大，对应的偏移权重越小。因此，第一正则项倾向于在偏移量较小的情况下使参考人脸的表情梯度与目标人脸的表情梯度相同或非常接近。
[0147]
在一种实施方式中，上述基于目标人脸的加权表情模型与样本表情模型的差别，以及参考人脸的表情梯度与目标人脸的表情梯度之间的差别，建立第一能量函数，可以包括以下步骤：
[0148]
基于目标人脸的加权表情模型的第一类特征与样本表情模型的第一类特征之间的差别，以及参考人脸的表情梯度与目标人脸的表情梯度之间的差别，建立第一能量函数。
[0149]
也就是说，第一能量函数中的第一数据项，可以采用目标人脸的加权表情模型的第一类特征与样本表情模型的第一类特征之间的差别。例如，该第一数据项e
fit1
可以是公式(7)或(10)中的ea。与第一数据项采用完整模型的差别相比，本示例性实施方式能够简化第一数据项的信息量与计算过程，提高效率。
[0150]
在一种实施方式中，可以将第一数据项与第一正则项加权合并，得到第一能量函数，如下所示：
[0151]
ea＝e
fit1
γe
reg1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)
[0152]
其中，γ是第一正则项的权重，用于调节第一正则项在第一能量函数中所占的比重大小，以平衡第一数据项与第一正则项。可以根据经验或实际情况设定其数值，本公开对此不做限定。
[0153]
示例性的，第一能量函数可以如下所示：
[0154][0155]
利用上述第一能量函数，可以优化目标人脸的基准表情模型的局部面片特征，进而基于优化后的局部面片特征重建出优化后的目标人脸的基准表情模型，例如可以采用公式(11)、(12)的算法、或稀疏系数矩阵的cholesky分解算法进行重建。
[0156]
以上说明了第一能量函数。下面对第二能量函数做进一步说明。
[0157]
在一种实施方式中，第二类特征包括关键点特征，关键点如可以是局部面片的顶点，关键点特征如可以是顶点位置；上述基于目标人脸的加权表情模型的第二类特征与样本表情模型的第二类特征之间的差别，建立第二能量函数，可以包括以下步骤：
[0158]
获取目标人脸的加权表情模型的关键点特征，并获取样本表情模型的关键点特征；
[0159]
基于目标人脸的加权表情模型的关键点特征与样本表情模型的关键点特征之间的差别，建立第二能量函数。
[0160]
示例性的，以表示目标人脸的加权表情模型uj的关键点特征，以表示目标人脸的样本表情模型sj的关键点特征，可以建立第二能量函数如下：
[0161][0162]
应当理解，在计算两个模型的关键点特征的差值时，可以计算两个模型中具有对应关系的关键点的差值，例如，可以对每个关键点生成索引(或标识)，然后对目标人脸的加权表情模型与样本表情模型中相同索引的关键点特征计算差值，以得到第二能量函数值。为便于表述，在公式(19)中忽略了关键点的索引。
[0163]
第二能量函数eb体现了目标人脸的加权表情模型的关键点特征与样本表情模型的关键点特征之间的差别。关键点特征相比于整个模型来说，信息量有所减少，有利于降低后续处理的计算量。关键点特征能够较为全面地体现目标人脸的加权表情模型或样本表情模型的结构信息，关键点特征的差别能够较为准确地体现目标人脸的加权表情模型与样本表情模型的结构差别，结构差别实质上是面部容貌、表情的差别。在后续处理中，通过优化第一变量与第二变量，使得第二能量函数值尽可能小，以保证目标人脸的加权表情模型的关键点特征与样本表情模型的关键点特征尽可能接近，基本上等同于使目标人脸的加权表情模型与样本表情模型尽可能接近，从而在降低计算量的同时保证了优化效果。
[0164]
在一种实施方式中，上述获取目标人脸的加权表情模型的关键点特征，可以包括以下步骤：
[0165]
通过权重(第二变量)对目标人脸的基准表情模型的关键点特征进行加权，得到目标人脸的加权表情模型的关键点特征。
[0166]
由上述公式(8)、(9)及其相关的说明内容可知，目标人脸的基准表情模型与目标人脸的加权表情模型中的任意类型的特征，都可以满足模型之间的线性关系，这意味着目标人脸的基准表情模型的关键点特征与目标人脸的加权表情模型的关键点特征之间，也满足目标人脸的基准表情模型与目标人脸的加权表情模型之间的线性关系。举例来说，参考公式(8)中目标人脸的基准表情模型{b0，b1，
…
，bn}与目标人脸的加权表情模型uj之间的线性关系，基准表情模型{b0，b1，
…
，bn}的关键点特征与加权表情模型uj的关键点特征之间，可以满足以下线性关系：
[0167][0168]
其中，表示目标人脸的中性表情模型b0的关键点特征，表示目标人脸的偏移
量bi的关键点特征(偏移量bi可视为一个基准表情模型，因此可以具有关键点特征)。
[0169]
基于公式(20)，可以将第二能量函数eb表示如下：
[0170][0171]
因此，在计算第二能量函数值并进行优化时，无需通过目标人脸的基准表情模型计算其加权表情模型，而通过目标人脸的基准表情模型的关键点特征直接计算加权表情模型的关键点特征即可，从而进一步简化了计算过程，提高了效率。
[0172]
由上可知，第二能量函数用于表示目标人脸的加权表情模型与样本表情模型之间的差别，该差别可以体现为完整模型之间的差别，也可以体现为模型的第二类特征(如关键点特征)之间的差别。在固定目标人脸的基准表情模型的情况下，可以利用第二能量函数迭代调整权重，使得第二能量函数尽可能小并趋向于0，从而得到能够满足上述约束的权重。
[0173]
在一种实施方式中，上述在固定目标人脸的基准表情模型的情况下利用第二能量函数优化权重，可以包括以下步骤：
[0174]
在固定目标人脸的基准表情模型的关键点特征的情况下利用第二能量函数优化权重。
[0175]
固定目标人脸的基准表情模型，意味着固定目标人脸的基准表情模型的关键点特征。在此情况下，利用第二能量函数优化权重，有利于提高优化效率。
[0176]
在一种实施方式中，上述至少一个能量函数可以包括第二能量函数。上述基于目标人脸的加权表情模型与样本表情模型的差别，建立至少一个能量函数，可以包括以下步骤：
[0177]
基于目标人脸的加权表情模型与样本表情模型的差别，以及权重的当前值与权重的初始值之间的差别，建立第二能量函数。
[0178]
应当理解，该第二能量函数与公式(19)或(21)中的第二能量函数相比，增加了权重的当前值与权重的初始值之间的差别。也就是说，该第二能量函数可以包括两部分：一部分是目标人脸的加权表情模型与样本表情模型之间的差别，可称为第二数据项，该第二数据项例如可以是公式(6)中的e0或公式(19)、(21)中的eb，为便于区分，将第二数据项记为e
fit2
；另一部分是权重的当前值与权重的初始值之间的差别，可称为第二正则项。两部分合并后形成该第二能量函数，如可以通过加权的方式进行合并。
[0179]
示例性的，第二正则项可以如下所示：
[0180][0181]
其中，β
ij
表示权重的当前值，表示权重的初始值。
[0182]
在第二能量函数中增加第二正则项后，利用第二能量函数优化权重，能够使权重倾向于在其初始值附近进行调整，即不会偏离初始值太多，从而较好地满足公式(3)的约束，有利于提高权重的准确性，进而在后续对目标人脸的基准表情模型的优化中，实现目标人脸的基准表情模型具有与参考人脸的基准表情模型相同的表情。
[0183]
在一种实施方式中，上述基于目标人脸的加权表情模型与样本表情模型的差别，以及权重的当前值与权重的初始值之间的差别，建立第二能量函数，可以包括以下步骤：
[0184]
基于目标人脸的加权表情模型的第二类特征与样本表情模型的第二类特征之间的差别，以及权重的当前值与权重的初始值之间的差别，建立第二能量函数。
[0185]
也就是说，第二能量函数中的第二数据项，可以采用目标人脸的加权表情模型的第二类特征与样本表情模型的第二类特征之间的差别。例如，该第二数据项e
fit2
可以是公式(19)或(21)中的eb。与第二数据项采用完整模型的差别相比，本示例性实施方式能够简化第二数据项的信息量与计算过程，提高效率。
[0186]
在一种实施方式中，可以将第二数据项与第二正则项加权合并，得到第二能量函数，如下所示：
[0187]
eb＝e
fit2
δe
reg2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(23)
[0188]
其中，δ是第二正则项的权重，用于调节第二正则项在第二能量函数中所占的比重大小，以平衡第二数据项与第二正则项。可以根据经验或实际情况设定其数值，本公开对此不做限定。
[0189]
示例性的，第二能量函数可以如下所示：
[0190][0191]
其中，k表示样本表情模型中顶点(如三角面片顶点)的索引，在目标人脸的基准表情模型中，顶点具有相同的索引；h为样本表情模型中的顶点数量，在目标人脸的基准表情模型中，顶点数量也是h。表示样本表情模型sj中顶点k的位置，表示目标人脸的中性表情模型b0中顶点k的位置，表示目标人脸的偏移量bi中顶点k的位置(偏移量bi可视为一个基准表情模型，因此可以具有顶点)。顶点的位置可以作为关键点特征或第二类特征。
[0192]
在一种实施方式中，由于权重通常被约束在0～1范围内，因此可以采用二次规划法来求解与优化权重。
[0193]
在一种实施方式中，上述在固定目标人脸的基准表情模型的情况下利用能量函数优化权重，可以包括以下步骤：
[0194]
在固定目标人脸的基准表情模型的情况下，利用能量函数以及目标人脸的基准表情模型之间的互斥关系优化权重。
[0195]
其中，目标人脸的基准表情模型之间的互斥关系是指：在利用目标人脸的基准表情模型融合生成其他表情模型时，某些具有互斥关系的基准表情模型不会同时对某个特定的表情做出贡献。例如，下颚偏左和下颚偏右的表情不会同时出现，那么在融合生成其他任意表情模型时，下颚偏左的基准表情模型的权重与下颚偏右的基准表情模型的权重中至少一者为0，可以表示为β
pj
β
qj
＝0的非线性约束关系，p、q分别是下颚偏左的基准表情模型、下颚偏右的基准表情模型的索引，j表示任意表情模型的索引。互斥关系可以由技术人员根据生活经验设置。由此，互斥关系相当于对权重增加了额外的约束，可以在其约束下利用能量函数(如第二能量函数)优化权重，能够进一步有利于加速优化处理的过程，提高效率，并避免出现不真实的基准表情模型或加权表情模型。
[0196]
继续参考图1，在步骤s150中，输出优化后的目标人脸的基准表情模型。
[0197]
通过优化，可以使目标人脸的基准表情模型具备样本表情模型的容貌特征以及参考人脸的基准表情模型的表情特征。换而言之，目标人脸的基准表情模型与样本表情模型的容貌相同或相近，目标人脸的基准表情模型与参考人脸的基准表情模型的表情相同或相近。
[0198]
参考图7所示，基于图2所示的参考人脸的基准表情模型a0～a4与图3所示的目标人脸的样本表情模型s1～s3，经过上述步骤s120至s150的处理，输出目标人脸的5个基准表情模型b0～b4，可以看出，基准表情模型b0～b4的表情与基准表情模型a0～a4的表情一一匹配，并且基准表情模型b0～b4与样本表情模型s1～s3容貌相同。
[0199]
实际应用中，可以以任意人脸作为参考人脸，获取任意数量的参考人脸的基准表情模型，从而能够基于目标人脸少量的样本表情模型生成较多的基准表情模型，并使得目标人脸的基准表情模型具有较高的多样性与灵活性。
[0200]
本公开的示例性实施方式还提供一种人脸模型生成装置。如图8所示，该人脸模型生成装置800可以包括：
[0201]
数据获取模块810，被配置为获取参考人脸的基准表情模型与目标人脸的样本表情模型，建立关于目标人脸的基准表情模型的变量以及关于权重的变量；
[0202]
初始值确定模块820，通过调整权重，使参考人脸的加权表情模型与样本表情模型的表情匹配成功，以得到权重的初始值；参考人脸的加权表情模型是通过权重对参考人脸的基准表情模型进行加权所得到的模型；
[0203]
能量函数建立模块830，被配置为基于目标人脸的加权表情模型与样本表情模型的差别，建立至少一个能量函数；目标人脸的加权表情模型是通过权重对目标人脸的基准表情模型进行加权所得到的模型；
[0204]
数据优化模块840，被配置为交替执行以下两种优化：在固定权重的情况下利用能量函数优化目标人脸的基准表情模型，以及在固定目标人脸的基准表情模型的情况下利用能量函数优化权重；
[0205]
模型输出模块850，被配置为输出优化后的目标人脸的基准表情模型。
[0206]
在一种实施方式中，上述至少一个能量函数包括第一能量函数与第二能量函数；上述基于目标人脸的加权表情模型与样本表情模型的差别，建立至少一个能量函数，包括：
[0207]
基于目标人脸的加权表情模型的第一类特征与样本表情模型的第一类特征之间的差别，建立第一能量函数；
[0208]
基于目标人脸的加权表情模型的第二类特征与样本表情模型的第二类特征之间的差别，建立第二能量函数；
[0209]
上述在固定权重的情况下利用能量函数优化目标人脸的基准表情模型，以及在固定目标人脸的基准表情模型的情况下利用能量函数优化权重，包括：
[0210]
在固定权重的情况下利用第一能量函数优化目标人脸的基准表情模型，以及在固定目标人脸的基准表情模型的情况下利用第二能量函数优化权重。
[0211]
在一种实施方式中，第一类特征包括：局部面片特征；上述基于目标人脸的加权表情模型的第一类特征与样本表情模型的第一类特征之间的差别，建立第一能量函数，包括：
[0212]
获取目标人脸的加权表情模型的局部面片特征，并获取样本表情模型的局部面片特征；
[0213]
基于目标人脸的加权表情模型的局部面片特征与样本表情模型的局部面片特征之间的差别，建立第一能量函数。
[0214]
在一种实施方式中，上述获取目标人脸的加权表情模型的局部面片特征，包括：
[0215]
通过权重对目标人脸的基准表情模型的局部面片特征进行加权，得到目标人脸的
加权表情模型的局部面片特征。
[0216]
在一种实施方式中，上述在固定权重的情况下利用第一能量函数优化目标人脸的基准表情模型，包括：
[0217]
在固定权重的情况下利用第一能量函数优化目标人脸的基准表情模型的局部面片特征；
[0218]
根据优化后的目标人脸的基准表情模型的局部面片特征，重建出优化后的目标人脸的基准表情模型。
[0219]
在一种实施方式中，第二类特征包括：关键点特征；上述基于目标人脸的加权表情模型的第二类特征与样本表情模型的第二类特征之间的差别，建立第二能量函数，包括：
[0220]
获取目标人脸的加权表情模型的关键点特征，并获取样本表情模型的关键点特征；
[0221]
基于目标人脸的加权表情模型的关键点特征与样本表情模型的关键点特征之间的差别，建立第二能量函数。
[0222]
在一种实施方式中，上述获取目标人脸的加权表情模型的关键点特征，包括：
[0223]
通过权重对目标人脸的基准表情模型的关键点特征进行加权，得到目标人脸的加权表情模型的关键点特征。
[0224]
在一种实施方式中，上述在固定目标人脸的基准表情模型的情况下利用第二能量函数优化权重，包括：
[0225]
在固定目标人脸的基准表情模型的关键点特征的情况下利用第二能量函数优化权重。
[0226]
在一种实施方式中，上述至少一个能量函数包括第一能量函数；上述基于目标人脸的加权表情模型与样本表情模型的差别，建立至少一个能量函数，包括：
[0227]
基于目标人脸的加权表情模型与样本表情模型的差别，以及参考人脸的表情梯度与目标人脸的表情梯度之间的差别，建立第一能量函数；参考人脸的表情梯度为参考人脸的两个基准表情模型之间的梯度，目标人脸的表情梯度为目标人脸的两个基准表情模型之间的梯度。
[0228]
在一种实施方式中，上述基于目标人脸的加权表情模型与样本表情模型的差别，以及参考人脸的表情梯度与目标人脸的表情梯度之间的差别，建立第一能量函数，包括：
[0229]
基于目标人脸的加权表情模型的第一类特征与样本表情模型的第一类特征之间的差别，以及参考人脸的表情梯度与目标人脸的表情梯度之间的差别，建立第一能量函数。
[0230]
在一种实施方式中，上述至少一个能量函数包括第二能量函数；上述基于目标人脸的加权表情模型与样本表情模型的差别，建立至少一个能量函数，包括：
[0231]
基于目标人脸的加权表情模型与样本表情模型的差别，以及权重的当前值与权重的初始值之间的差别，建立第二能量函数。
[0232]
在一种实施方式中，上述基于目标人脸的加权表情模型与样本表情模型的差别，以及权重的当前值与权重的初始值之间的差别，建立第二能量函数，包括：
[0233]
基于目标人脸的加权表情模型的第二类特征与样本表情模型的第二类特征之间的差别，以及权重的当前值与权重的初始值之间的差别，建立第二能量函数。
[0234]
在一种实施方式中，上述在固定目标人脸的基准表情模型的情况下利用能量函数
优化权重，包括：
[0235]
在固定目标人脸的基准表情模型的情况下，利用能量函数以及目标人脸的基准表情模型之间的互斥关系优化权重。
[0236]
上述装置中各部分的具体细节在方法部分实施方式中已经详细说明，因而不再赘述。
[0237]
本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。在一种可选的实施方式中，该程序产品可以实现为便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0238]
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0239]
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0240]
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0241]
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0242]
本公开的示例性实施方式还提供一种电子设备。该电子设备可以包括处理器与存储器。存储器存储有处理器的可执行指令，如可以是程序代码。处理器通过执行该可执行指令来执行本示例性实施方式中的方法。
[0243]
下面参考图9，以通用计算设备的形式对电子设备进行示例性说明。应当理解，图9显示的电子设备900仅仅是一个示例，不应对本公开实施方式的功能和使用范围带来限制。
[0244]
如图9所示，电子设备900可以包括：处理器910、存储器920、总线930、i/o(输入/输
出)接口940、网络适配器950。
[0245]
存储器920可以包括易失性存储器，例如ram 921、缓存单元922，还可以包括非易失性存储器，例如rom 923。存储器920还可以包括一个或多个程序模块924，这样的程序模块924包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。例如，程序模块924可以包括上述装置800中的各模块。
[0246]
总线930用于实现电子设备900的不同组件之间的连接，可以包括数据总线、地址总线和控制总线。
[0247]
电子设备900可以通过i/o接口940与一个或多个外部设备1000(例如键盘、鼠标、外置控制器等)进行通信。
[0248]
电子设备900可以通过网络适配器950与一个或者多个网络通信，例如网络适配器950可以提供如3g/4g/5g等移动通信解决方案，或者提供如无线局域网、蓝牙、近场通信等无线通信解决方案。网络适配器950可以通过总线930与电子设备900的其它模块通信。
[0249]
尽管图9中未示出，还可以在电子设备900中设置其它硬件和/或软件模块，包括但不限于：显示器、微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0250]
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0251]
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
[0252]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。