音频驱动的面部动画生成方法和装置与流程

本说明书一个或多个实施例涉及机器学习领域，尤其涉及音频驱动的面部动画生成方法和装置。

背景技术：

1、近年来，音频驱动面部动画(如3d面部动画)生成得到极大的关注。在广告、虚拟现实、游戏和远程通信等领域，对能够根据音频实时生成逼真且同步的3d面部表情动画的需求也日益增长。面对日益增长的面部动画生成需求，如何提升面部动画的生成效果，是目前亟需解决的一个问题。

2、因此，期望能有一种性能较好的音频驱动面部动画生成的方案。

技术实现思路

1、本说明书一个或多个实施例描述了一种音频驱动的面部动画生成方案，通过自回归方式动态整合历史面部数据，实时生成与音频输入同步的面部动画，使得在生成任意长度的面部动画时均具有较好的性能表现。

2、根据第一方面，提供了一种音频驱动的面部动画生成方法，包括：将音频片段编码为多个时间帧的音频特征构成的音频特征序列；依次针对所述多个时间帧的任意目标时间帧，执行第一预测操作，其中包括：利用自编码系统中的编码器，对目标时间帧之前的h帧面部数据进行编码，得到第一特征；利用条件预测器基于所述音频特征序列、表征说话人身份的身份特征以及所述第一特征，生成第一条件数据，利用扩散模型基于所述第一条件数据，从噪声中恢复得到潜在表示；利用所述自编码系统中的解码器对所述潜在表示进行解码，得到所述目标时间帧的面部数据。

3、根据一个实施例，当所述目标时间帧属于所述多个时间帧中的前h个时间帧，所述目标时间帧之前的h帧面部数据为，通过初始化得到的面部数据。

4、根据一个实施例，所述自编码系统具有代码本，其中记录有n个面部基元的基元向量；对目标时间帧之前的h帧面部数据进行编码，得到第一特征，包括：利用所述编码器，将所述h帧面部数据编码为h个特征向量构成的特征矩阵；将所述特征矩阵重塑为多个面部组件的编码单元；将每个所述编码单元映射到所述代码本中最接近的基元向量，得到所述第一特征。

5、在一个实施例中，利用条件预测器基于所述音频特征序列、表征说话人身份的身份特征以及所述第一特征，生成第一条件数据，包括：将所述第一特征和所述身份特征进行聚合，将聚合得到的第一输入序列输入第一注意力模块进行自注意力处理，得到第一输出序列；将所述第一输出序列和所述音频特征序列共同输入第二注意力模块进行跨模态交叉注意力处理，得到第二输出序列；将所述第二输出序列输入前馈神经网络进行处理，得到所述第一条件数据。

6、在一个进一步的实施例中，所述自注意力处理包括：针对所述第一输入序列中各位置，仅就该位置与其之前位置的元素进行注意力分数的计算，得到因果注意力矩阵；基于因果注意力矩阵，计算第一输出序列。

7、在一个实施例中，利用扩散模型基于所述第一条件数据，从噪声中恢复得到潜在表示，包括：执行多轮去噪，每轮去噪包括：将当前噪声、所述第一条件数据以及表征当前去噪轮次的轮次特征共同输入扩散头进行处理，得到当前轮次的潜在表示；对当前轮次的潜在表示进行至少一次扩散处理，扩散处理后的潜在表示用于作为下一轮去噪中的当前噪声。

8、在一个进一步的实施例中，所述扩散头为多层感知器。

9、根据一个实施例，利用所述自编码系统中的解码器对所述潜在表示进行解码，得到所述目标时间帧的面部数据，包括：将所述潜在表示中的各特征向量映射到所述代码本中最接近的基元向量，得到量化潜在特征；将所述量化潜在特征输入所述解码器进行处理，得到所述目标时间帧的面部数据。

10、根据一个实施例，所述方法还包括：基于所述多个时间帧的面部数据，生成与所述音频片段对应的面部动画。

11、在一个实施例中，所述面部数据包括，面部网格模板中v个顶点的位置信息。

12、在一个进一步的实施例中，所述音频片段取自训练样本，所述训练样本还包括所述音频片段对应的真实面部数据；所述方法还包括：在训练损失减小的方向，更新所述条件预测器和所述扩散模型，所述训练损失包括潜在损失和顶点损失，所述潜在损失用于表征所述潜在表示与所述真实面部数据对应的真实潜在表示之间的差异，所述顶点损失用于表征，生成的面部数据中的预测顶点状态与所述真实面部数据中的真实顶点状态的差异。

13、在一个更进一步的实施例中，所述顶点损失包括顶点位置损失和顶点速度损失，所述顶点位置损失表征生成顶点位置与真实顶点位置之间的距离，所述生成顶点位置表征基于生成的面部数据确定的顶点位置，所述真实顶点位置表征基于真实面部数据确定的顶点位置，所述顶点速度损失表征生成顶点速度与真实顶点速度之间的差异，所述生成顶点速度表征生成的相邻两帧面部数据的顶点之间的距离，所述真实顶点速度表征相邻两帧真实面部数据的顶点之间的距离。

14、根据第二方面，提供了一种音频驱动的面部动画生成装置，包括：编码单元，配置为将音频片段编码为多个时间帧的音频特征构成的音频特征序列；执行单元，配置为依次针对所述多个时间帧的任意目标时间帧，执行第一预测操作，其中包括：利用自编码系统中的编码器，对目标时间帧之前的h帧面部数据进行编码，得到第一特征；利用条件预测器基于所述音频特征序列、表征说话人身份的身份特征以及所述第一特征，生成第一条件数据，利用扩散模型基于所述第一条件数据，从噪声中恢复得到潜在表示；利用所述自编码系统中的解码器对所述潜在表示进行解码，得到所述目标时间帧的面部数据。

15、根据第三方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现第一方面所述方法的步骤。

16、根据第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面所述的方法。

17、根据第五方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。

18、在本说明书的实施例中，对于给定的音频片段，选择有限数量的过去帧作为历史面部上下文，并将其与音频输入结合创建条件，引导扩散过程实时生成面部序列，克服了现有方法在生成任意长度面部序列时的性能瓶颈。

1.一种音频驱动的面部动画生成方法，包括：

2.根据权利要求1所述的方法，其中，当所述目标时间帧属于所述多个时间帧中的前h个时间帧，所述目标时间帧之前的h帧面部数据为，通过初始化得到的面部数据。

3.根据权利要求1所述的方法，其中，所述自编码系统具有代码本，其中记录有n个面部基元的基元向量；对目标时间帧之前的h帧面部数据进行编码，得到第一特征，包括：

4.根据权利要求1所述的方法，其中，利用条件预测器基于所述音频特征序列、表征说话人身份的身份特征以及所述第一特征，生成第一条件数据，包括：

5.根据权利要求4所述的方法，其中，所述自注意力处理包括：

6.根据权利要求1所述的方法，其中，利用扩散模型基于所述第一条件数据，从噪声中恢复得到潜在表示，包括：执行多轮去噪，每轮去噪包括：

7.根据权利要求6所述的方法，其中，所述扩散头为多层感知器。

8.根据权利要求3所述的方法，其中，利用所述自编码系统中的解码器对所述潜在表示进行解码，得到所述目标时间帧的面部数据，包括：

9.根据权利要求1所述的方法，其中，所述方法还包括：基于所述多个时间帧的面部数据，生成与所述音频片段对应的面部动画。

10.根据权利要求1所述的方法，其中，所述面部数据包括，面部网格模板中v个顶点的位置信息。

11.根据权利要求10所述的方法，其中，所述音频片段取自训练样本，所述训练样本还包括所述音频片段对应的真实面部数据；所述方法还包括：

12.根据权利要求11所述的方法，其中，所述顶点损失包括顶点位置损失和顶点速度损失，所述顶点位置损失表征生成的面部数据中的顶点位置与真实面部数据的顶点位置之间的距离，所述顶点速度损失表征生成顶点速度与真实顶点速度之间的差异，所述生成顶点速度表征生成的相邻两帧面部数据的顶点之间的距离，所述真实顶点速度表征相邻两帧真实面部数据的顶点之间的距离。

13.一种音频驱动的面部动画生成装置，包括：

14.一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1-12任一项所述方法的步骤。

15.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-12中任一项所述的方法。