动作生成方法、电子设备、存储介质及计算机程序产品与流程

本申请涉及计算机，尤其涉及一种动作生成方法、电子设备、存储介质及计算机程序产品。

背景技术：

1、随着近年人工智能以及实时渲染技术的突破，数字人动作逐渐从被动驱动、根据规则播放预先制作的动画等向智能化生成转变。元宇宙、具身智能等新兴的领域对数字人动作的质量和智能化要求越来越高，用户与数字人、数字人与场景交互时，要求数字人能呈现准确合理且更多样化、拟人化的动作。为了生成数字人的动作，可以采用将文本输入到相关的模型中，以生产数字人的动作，但是这种方式的技术路径单一，导致生成的数字人动作的多样性不足。

技术实现思路

1、为解决相关技术问题，本申请实施例提供一种动作生成方法、电子设备、存储介质及计算机程序产品。

2、本申请实施例的技术方案是这样实现的：

3、本申请实施例提供了一种动作生成方法，该方法包括：

4、接收第一描述信息，所述第一描述信息用于描述数字人的第一动作序列；

5、基于所述第一描述信息，通过第一模型生成所述数字人的第一动作；

6、在第一动作库中检索与所述第一动作匹配的动作和/或与所述第一描述信息匹配的动作，得到所述数字人的第二动作；

7、基于所述第一动作以及所述第二动作得到所述数字人的第二动作序列。

8、上述方案中，所述第一动作序列包括多个第一帧，所述多个第一帧中的每一个第一帧包括与所述数字人的姿态相关的参数，所述接收第一描述信息之后，所述方法还包括：

9、将所述第一描述信息转换为一项或多项第二描述信息，所述一项或多项第二描述信息中的每一项第二描述信息分别用于描述所述多个第一帧中的一个第一帧；

10、所述基于所述第一描述信息，通过第一模型生成所述数字人的第一动作，包括：

11、通过所述第一模型对所述第一描述信息和所述一项或多项第二描述信息进行处理，以生成所述第一动作。

12、上述方案中，所述第一模型为扩散模型，所述第一模型包括第一注意力层，第二注意力层，第三注意力层以及输出层，所述通过所述第一模型对所述第一描述信息和所述一项或多项第二描述信息进行处理，包括：

13、通过所述第一注意力层对所述第一动作序列进行自注意力运算，得到第一运算结果；

14、通过所述第二注意力层对所述第一描述信息的编码结果和所述第一运算结果进行交叉注意力运算，得到第二运算结果；

15、通过所述第三注意力层对所述一项或多项第二描述信息的编码结果和所述第二运算结果进行交叉注意力运算，得到第三运算结果；

16、通过所述输出层对所述第三运算结果进行转换，得到所述第一动作。

17、上述方案中，所述第一运算结果与第一相似性矩阵正相关，所述第一相似性矩阵表征所述第一动作序列中的不同帧的之间的关联度；和/或，

18、所述第二运算结果与第二相似性矩阵正相关，所述第二相似性矩阵表征所述第一描述信息中的每一个词元与所述第一动作序列中的每一个帧的关联度；和/或，

19、所述第三运算结果与第三相似性矩阵正相关，所述第三相似性矩阵表征所述第二描述信息中的每一个词元与不同的第一部位的关联度，所述第一部位为所述第一动作序列中所述数字人的部位。

20、上述方案中，所述在第一动作库中检索与所述第一动作匹配的动作和/或与所述第一描述信息匹配的动作，得到所述数字人的第二动作，包括：

21、通过第二模型在第一数据库中对所述第一动作以及所述第一描述信息的检索，得到与所述第一动作匹配的第一动作集合以及与所述第一描述信息匹配的第二动作集合，所述第二模型用于将所述第一动作和所述第一描述信息编码到同一个隐向量空间；

22、基于所述第一动作集合和所述第二动作集合得到所述第二动作。

23、上述方案中，所述基于所述第一动作集合和所述第二动作集合得到所述第二动作，包括：

24、确定所述第一动作集合与所述第二动作集合是否存在动作交集；

25、在存在动作交集的情况下，将所述动作交集中的目标动作作为所述第二动作，所述目标动作表征为与所述第一描述信息以及所述第一动作的相似度满足对应的条件的动作；在不存在动作交集的情况下，将以下一项或多项作为所述第二动作：所述第一动作集合中与所述第一动作匹配度最高的动作；所述第二动作集合中与所述第一描述信息匹配度最高的动作。

26、上述方案中，所述基于所述第一动作以及所述第二动作得到所述数字人的第二动作序列之后，所述方法还包括：

27、发送所述第二动作序列；

28、在接收到第一指令的情况下，根据所述第一指令对所述第二注意力层中第一词元对应的第一权重进行调整，其中，所述第一指令用于指示所述第二动作序列与所述第一描述信息中的第一词元不匹配；

29、基于调整后的所述第一权重重新生成所述数字人的动作序列。

30、本申请实施例还提供了一种动作生成装置，包括：

31、第一接收单元，用于接收第一描述信息，所述第一描述信息用于描述数字人的第一动作序列；

32、第一生成单元，用于基于所述第一描述信息，通过第一模型生成所述数字人的第一动作；

33、第一检索单元，用于在第一动作库中检索与所述第一动作匹配的动作和/或与所述第一描述信息匹配的动作，得到所述数字人的第二动作；

34、第一处理单元， 基于所述第一动作以及所述第二动作得到所述数字人的第二动作序列。

35、本申请实施例还提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，

36、其中，该处理器用于运行该计算机程序时，执行上述任一技术方案的步骤。

37、本申请还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一方法的步骤。

38、本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方法的步骤。

39、本申请实施例中，接收第一描述信息，所述第一描述信息用于描述数字人的第一动作序列；基于所述第一描述信息，通过第一模型生成所述数字人的第一动作；在第一动作库中检索与所述第一动作匹配的动作和/或与所述第一描述信息匹配的动作，得到所述数字人的第二动作；基于所述第一动作以及所述第二动作得到所述数字人的第二动作序列。可见，本申请实施例结合了两种获得数字人动作的方式，一种是通过模型生成，另外一种是通过检索得到，相比单一的技术路径，本申请实施例融合了检索和模型生成两种技术路径，提高了数字人动作生产的技术路径的多样性，从而提高生成的数字人动作的多样性，此外，本申请实施例在检索阶段除描述信息到动作的检索以外还提供了动作到动作的检索，提高检索方式的多样性，从而提高最终生成的数字人动作的多样性。

1.一种动作生成方法，其特征在于，所述动作生成方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一动作序列包括多个第一帧，所述多个第一帧中的每一个第一帧包括与所述数字人的姿态相关的参数，所述接收第一描述信息之后，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述第一模型为扩散模型，所述第一模型包括第一注意力层，第二注意力层，第三注意力层以及输出层，所述通过所述第一模型对所述第一描述信息和所述一项或多项第二描述信息进行处理，包括：

4.根据权利要求3所述的方法，其特征在于，所述第一运算结果与第一相似性矩阵正相关，所述第一相似性矩阵表征所述第一动作序列中的不同帧的之间的关联度；和/或，

5.根据权利要求1所述的方法，其特征在于，所述在第一动作库中检索与所述第一动作匹配的动作和/或与所述第一描述信息匹配的动作，得到所述数字人的第二动作，包括：

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一动作集合和所述第二动作集合得到所述第二动作，包括：

7.根据权利要求3所述的方法，其特征在于，所述基于所述第一动作以及所述第二动作得到所述数字人的第二动作序列之后，所述方法还包括：

8.一种电子设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。