一种驱动数字人的方法、装置及电子设备与流程

1.本发明涉及软件技术领域，特别涉及一种驱动数字人的方法、装置及电子设备。


背景技术：

2.数字人类(digital human)简称数字人，是利用计算机模拟真实人类的一种综合性的渲染技术，也被称为虚拟人类、超写实人类、照片级人类。由于人对真人太熟悉了，导致了著名的恐怖谷现象，所以实现数字人的写实程度的难度不是线性增长的，而是指数型增长的，有可能3d静态模型很真，但是一说话一眨眼立马就变得不真实。如何使数字人的动作变动更为细腻、真实，成了当前数字人发展亟待解决的技术问题。


技术实现要素：

3.本发明实施例提供一种驱动数字人的方法、装置及电子设备，用于解决现有技术中数字人动作变动突兀的技术问题，提高数字人动作变动的细腻度。
4.本发明实施例提供一种驱动数字人的方法，所述方法包括：
5.获取目标文本对应的目标动作；
6.获得基于所述目标文本驱动数字人输出语音时，所述数字人在执行所述目标动作之前所要执行的参考动作；
7.根据所述参考动作的参考动作参数修改所述目标动作的目标动作参数；
8.在基于所述目标文本驱动数字人输出语音的过程中，根据修改后的目标动作参数驱动所述数字人执行所述目标动作。
9.可选的，在获取目标文本对应的目标动作之前，所述方法还包括：
10.获取待处理文本对应的目标动作；
11.通过语音合成标记语言将所述待处理文本转换为所述目标文本，并将所述目标动作的标签插入所述目标文本中。
12.可选的，所述获取待处理文本对应的目标动作，包括：
13.获取所述待处理文本中的预设关键词；
14.获取所述预设关键词对应的预定动作作为所述目标动作。
15.可选的，所述获取待处理文本对应的目标动作，包括：
16.对所述待处理文本进行语义识别，获得所述待处理文本中包含的动作意图；
17.获取所述动作意图对应的预定动作作为所述目标动作。
18.可选的，所述根据所述参考动作的参考动作参数调整所述目标动作的目标动作参数，包括：
19.从预设动作库中获取至少一个所述目标动作以及每个所述目标动作的动作参数，所述动作参数包含起始动作参数和终止动作参数；
20.根据所述每个目标动作的动作参数，获取与所述参考动作参数中的终止动作参数差值最小的起始动作参数对应的动作参数作为所述目标动作参数；
21.根据所述参考动作参数修改所述目标动作参数，使得修改后的目标动作参数与所述参考动作参数对应的基本动作参数之间的差值减小。
22.可选的，所述动作参数为骨骼位置参数或肌肉运动参数。
23.可选的，所述目标动作为面部表情或躯体动作。
24.本发明实施例还提供一种驱动数字人的装置，所述装置包括：
25.获取单元，用于获取目标文本对应的目标动作；获得基于所述目标文本驱动数字人输出语音时，所述数字人在执行所述目标动作之前所要执行的参考动作；
26.调整单元，用于根据所述参考动作的参考动作参数修改所述目标动作的目标动作参数；
27.驱动单元，用于在基于所述目标文本驱动数字人输出语音的过程中，根据修改后的目标动作参数驱动所述数字人执行所述目标动作。
28.可选的，所述装置还包括：
29.识别单元，用于在获取目标文本对应的目标动作之前，获取待处理文本对应的目标动作；
30.插入单元，用于通过语音合成标记语言将所述待处理文本转换为所述目标文本，并将所述目标动作的标签插入所述目标文本中。
31.可选的，所述识别单元用于：
32.获取所述待处理文本中的预设关键词；
33.获取所述预设关键词对应的预定动作作为所述目标动作。
34.可选的，所述识别单元还用于：
35.对所述待处理文本进行语义识别，获得所述待处理文本中包含的动作意图；
36.获取所述动作意图对应的预定动作作为所述目标动作。
37.可选的，所述调整单元用于：
38.从预设动作库中获取至少一个所述目标动作以及每个所述目标动作的动作参数，所述动作参数包含起始动作参数和终止动作参数；
39.根据所述每个目标动作的动作参数，获取与所述参考动作参数中的终止动作参数差值最小的起始动作参数对应的动作参数作为所述目标动作参数；
40.根据所述参考动作参数修改所述目标动作参数，使得修改后的目标动作参数与所述参考动作参数对应的基本动作参数之间的差值减小。
41.可选的，所述动作参数为骨骼位置参数或肌肉运动参数。
42.可选的，所述目标动作为面部表情或躯体动作。
43.本技术实施例中的上述一个或多个技术方案，至少具有如下技术效果：
44.本技术实施例提供一种驱动数字人的方法，获取目标文本对应的目标动作；获得基于目标文本驱动数字人输出语音时，数字人在执行目标动作之前所执行的参考动作；根据该参考动作的参考动作参数修改目标动作的目标动作参数，使得目标动作与参考动作尽可能的接近；在基于目标文本驱动数字人的过程中，驱动数字人执行在参考动作之后执行修改动作参数后的目标动作，使得数字人以当前所处的动作状态为参考无缝切换到目标动作，动作变动过程自然、细腻，解决了现有技术中数字人动作变动突兀的技术问题，提高数字人动作变动的细腻度。
附图说明
45.图1为本技术实施例提供的一种数字人驱动文本的生成方法的流程示意图；
46.图2为本技术实施例提供的一种驱动数字人的方法的流程示意图；
47.图3为本技术实施例提供的一种驱动数字人的装置的方框图；
48.图4为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
49.在本技术实施例提供的技术方案中，提供一种驱动数字人的方法，通过基于数字人的参考动作对插入动作进行调整，使得参考动作与插入动作之间的动作变动过程自然、细腻，从而解决现有技术中数字人动作变动突兀的技术问题。
50.下面结合附图对本技术实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。
51.实施例
52.请参考图1，本技术实施例提供一种数字人驱动文本的生成方法，该方法包括：
53.s10、获取待处理文本对应的目标动作；
54.s12、通过语音合成标记语言将所述待处理文本转换为所述目标文本，并将所述目标动作的标签所述目标文本中。
55.其中，待处理文本的文本内容需要进行语音转换输出的。在输出语音的过程中可能还需对应输出与文本内容对应的动作，例如，假设待处理文本为“请像我这样挥挥手，给远方的朋友打个招呼”，该文本在转换为语音输出时，需要在输出语音“挥挥手”的时候，输出动作“挥挥手”。s10获取待处理文本对应的目标动作，该目标动作可能是一个、也可能是多个，本实施例并不限制目标动作的具体数量。
56.具体的，s10可以通过如下任意一种或多种方式来获取待处理文本对应的目标动作：
57.方式一、获取待处理文本中的预设关键词。该预设关键词可以是躯体动作关键词、面部表情关键词，例如：“挥手”、“摇头”、“微笑”、“难过”等。获取预设关键词对应的预定动作作为目标动作，目标动作可以是面部表情也可以是驱动动作。预先创建动作库，存储各个关键词与各动作之间的对应关系，以及每个动作的动作参数如骨骼位置参数、肌肉运动参数。其中，动作库中的动作可以通过数据采集设备如摄像头、三维扫描仪等采集真人动作获得，也可以从已有的视频中提取。
58.方式二、对待处理文本进行语义识别，获得待处理文本中包含的动作意图；获取动作意图对应的预定动作作为目标动作。通过语义识别更为准确、全面的获得待处理文本的意图，而不仅限于动作文本，例如：对于文本“今日阳关明媚空气清新，让人神清气爽”，虽然整个文本中并没有提到任何动作，但根据整个文本的意思表达，“阳关明媚”可能对应有一抬头的动作意图、“空气清新”可能对应有一呼吸的动作意图，根据这些动作意图获取对应的预定动作。同样的，可以预先建立动作库，存储各个动作意图与各个动作之间的对应关系，以及各个动作的动作参数，这样可以从动作库中快速的获得动作意图对应的预定动作。
59.方式三、由人工对待处理文本进行标注，插入动作标识，不同的动作标识对应不同的目标动作。获取目标动作时通过对待处理文本中的动作标识进行查找，根据查找获得的
动作标识获取对应的目标动作即可。
60.在获取到目标动作之后，继续执行s12进行文本转换和动作插入，使得转换获得的目标文本能够被语音合成服务识别，从而提供相应的服务。语音合成标记语言(speech synthesis markup language，ssml)是一种基于xml的标记语言，与纯文本的合成相比，使用ssml可以充实合成的内容，为最终合成效果带来更多变化。本实施例通过ssml标记语言转换为目标文本，将需要转换的文本放入在<speak></speak>标签之内，每个语音合成任务包含一个<speak></speak>标签。在转换获得目标文本的过程中，本实施例还通过ssml标记语言将目标动作的标签插入目标文本中，使得目标文本不仅能够控制语音合成读什么，还可以控制读语音时输出相应的动作。
61.需要说明的是，目标动作的标签可以是动作名称，后续驱动数字人时根据动作名称去获取相应的动作参数，也可以直接将其目标动作参数作为标签插入目标文本中，驱动数字人时可以直接获取该目标动作参数。
62.请参考图2，本技术实施例提供一种驱动数字人的方法，该方法包括：
63.s20、获取目标文本对应的目标动作；
64.s22、获得基于目标文本驱动数字人输出语音时，数字人在执行目标动作之前所要执行的参考动作；
65.s24、根据参考动作的参考动作参数修改目标动作的目标动作参数；
66.s26、在基于目标文本驱动数字人输出语音的过程中，根据修改后的目标动作参数驱动数字人执行目标动作。
67.文本驱动数字人输出语音的过程中，数字人通常情况下可能处于一个常用状态即基准状态，如对于一个新闻播报的数字人，其基准状态可能正面站立或正面坐于桌前无表情播报，也可能是根据新闻播报人的习惯，习惯性的做了一些动作，为此，在播报过程中插入动作时，可能会出现前后两个动作差异较大，动作变化突兀的技术问题。本实施例通过预先获得目标文本中的目标动作以及数字人执行该目标动作之前所处的参考动作，基于参考动作来对目标动作进行修改，使得目标动作与参考动作尽可能的接近，从而解决因动作差异较大导致的动作变化突兀的技术问题。
68.具体实施过程中，s20可以直接从目标文本中查找获得目标动作的动作标签，根据该动作标签获得相应的目标动作。其中，目标文本中可能包含一个或多个目标动作的标签，s20执行时可以根据标签一次获取一个动作，也可以一次获得目标文本中对应的多个目标动作，形成目标动作序列，针对每一个目标动作执行步骤s22～s26。
69.s22获得数字人在执行目标动作前的参考动作。具体的，可以先获得目标动作在目标文本中的位置特征，如在关键词x1与x2之间，以及获得目标文本的时长特征，该时长特征根据目标文本对应的音素特征生成；根据目标文本的时长特征和目标动作的位置特征，获得目标动作执行时的第一时间点，即目标动作在这个语音播报的总时长的哪个时间点执行；进而根据该第一时间点取获取数字人在第一时间点之前的相邻时间点的参考动作。例如：假设目标动作的执行时间点为00：50：45，那么获取数字人在00:50:44所执行的参考动作。该参考动作可能是数字人常处的基准状态对应的基本动作，也可以能是语音输入过程中采用的习惯性动作，还可能是目标文本中的其它目标动作。
70.在获得参考动作之后，继续执行s24修改动作参数，根据参考动作参数修改目标动
作参数，使得修改后的目标动作参数与参考动作参数对应的基本动作参数之间的差值减小。一个动作通常包含基本动作和特征动作，分别对应基本动作参数和特征动作参数，基本动作可以适场景改变，特征动作一般不随场景改变，例如：一般的，“再见”的特征动作为小臂带动手掌挥动、基本动作则包括大臂、头、脚等动作。修改目标动作参数时，可以根据参考动作参数中的基本动作参数修改目标动作参数中的基本动作参数。动作参数之间的差值是指，将动作参数中对应参数相减然后累加得到的总差值。假设：基本动作参数v＝[x
11
～x
1n
、y
11
～y
1m
、z
11
～z
1k
]，基本动作参数w＝[x
21
～x
2n
、y
21
～y
2m
、z
21
～z
2k
]，两个基本动作参数之间的差值＝∑(x
1n-x
2n
) ∑(y
1m-y
2m
) ∑(z
1k-z
2k
)。
[0071]
其中，本实施例所指的动作参数可以是数字人的骨骼位置参数或肌肉运动参数，其中，肌肉运动参数包括肌肉收缩参数和肌肉舒张参数。具体获取哪一种参数依据数字人的驱动模型确定，若数字人的驱动模型是肌肉绑定模型，那么采用肌肉运动参数；若数字人的驱动模型是骨骼动画，那么采用骨骼位置参数。下面以骨骼位置参数为例对目标动作的目标动作参数的修改进行详细说明：
[0072]
第一步，获取目标动作的动作参数。动作库中一类动作可能会对应多种不同形态，例如：动作“再见”可能包含在胸前的挥手“再见”、在身体一侧的挥手“再见”、举过头顶的挥手“再见”，一种形态对应一组动作参数(统称为动作参数)，每组动作参数按时序不同划分为起始动作参数、中间动作参数、终止时间参数，每组动作参数对应一个完整的动作。为了使数字人的动作变化自然、细腻，本实施例从预设动作库中获取至少一个目标动作即至少一种形态的目标动作，以及每个目标动作的动作参数；根据每个目标动作的起始动作参数，获取与参考动作的起始动作参数差值最小的起始动作参数对应的动作参数作为目标动作参数，即从多个形态的动作中获取一个与参考动作差异最小的目标动作。例如：对于参考动作是“双手交叉位于胸前”，那么选择“再见”这个目标动作时，选择在胸前的挥手“再见”更为合适，这两个动作的手手臂骨骼位置参数的差值最小，动作变换自然而真实。
[0073]
第二步，修改目标动作参数。在确定了目标动作的目标动作参数之后，进一步根据参考动作参数修改目标动作参数，使得修改后的目标动作参数与参考动作参数对应的基本动作参数之间的差值减小，从而使修改后的目标动作与参动作之间的差异尽可能小，基本动作尽可能重合。作为一种可选的实施方式，修改目标动作参数时，可以将目标动作参数中的基本动作参数修改为参考动作参数中的基本动作参数，修改后的目标动作参数与参考动作参数之间的差值最小，参考动作与修改参数后的目标动作的基本动作重合。例如，对于参考动作“双手交叉位于胸前”、目标动作胸前的挥手“再见”，可以将目标动作中大臂动作对应的动作参数修改为参考动作中大臂动作对应的动作参数，或者减小目标动作中大臂动作对应的动作参数与参考动作中大臂动作对应的动作参数之间的差值。
[0074]
在s24之后，进一步执行s26根据修改后的目标动作参数驱动数字人。具体的，基于目标文本驱动数字人时，可以根据目标文本获得时长特征；根据时长特征，获得目标文本对应的目标语音序列；根据时长特征和目标文本中包含的所有目标动作的修改参数，获得目标文本的目标动作序列；将所述目标语音序列和所述目标动作序列输入数字人的驱动模型，驱动数字人输出相应的语音和动作。本实施例还可以在执行完目标动作之后，进一步驱动数字人执行参考动作，即从目标动作回到参考动作。具体实现时，在生成动作序列时在目标动作参数后加入参考动作的参考动作参数即可。
[0075]
在上述技术方案中，通过对文本的语义和/或关键词的识别，获取文本表达里携带的目标动作，并将该目标动作的标签插入文本中，促使在通过文本驱动数字人时，通过插入的动作标签驱动数字人执行相应的动作，实现了文本对数字人的动作驱动。进一步的，针对文本对应的目标动作，获取目标动作执行前的参考动作，依据参考动作的动作参数修改目标动作的动作参数，较小目标动作与参考动作之间的差异，使得数字人在执行参考动作到目标动作的转换时，转换过程自然、协调，解决了现有技术中数字人动作转换突兀的技术问题，增加了数字人动作转换的细腻性。
[0076]
针对上述实施例提供一种驱动数字人的方法，本技术实施例还对应提供一种驱动数字人的装置，请参考图3，该装置包括：
[0077]
获取单元31，用于获取目标文本对应的目标动作；获得基于所述目标文本驱动数字人输出语音时，所述数字人在执行所述目标动作之前所要执行的参考动作；
[0078]
调整单元32，用于根据所述参考动作的参考动作参数修改所述目标动作的目标动作参数；
[0079]
驱动单元33，用于在基于所述目标文本驱动数字人输出语音的过程中，根据修改后的目标动作参数驱动所述数字人执行所述目标动作。
[0080]
其中，所述目标动作为面部表情或躯体动作。所述动作参数为骨骼位置参数或肌肉运动参数。
[0081]
作为一种可选的实施方式，所述装置还包括：识别单元34和插入单元35。其中，识别单元34，用于在获取目标文本对应的目标动作之前，获取待处理文本对应的目标动作；插入单元35，用于通过语音合成标记语言将所述待处理文本转换为所述目标文本，并将所述目标动作的标签插入所述目标文本中。
[0082]
具体实施过程中，识别单元34可以采用以下任一方式识别获取目标动作：
[0083]
方式一、获取所述待处理文本中的预设关键词；获取所述预设关键词对应的预定动作作为所述目标动作。
[0084]
方式二、对所述待处理文本进行语义识别，获得所述待处理文本中包含的动作意图；获取所述动作意图对应的预定动作作为所述目标动作。
[0085]
作为一种可选的实施方式，所述调整单元32在修改动作参数时，可以从预设动作库中获取至少一个所述目标动作以及每个所述目标动作的动作参数，所述动作参数包含起始动作参数和终止动作参数；根据所述每个目标动作的动作参数，获取与所述参考动作参数中的终止动作参数差值最小的起始动作参数对应的动作参数作为所述目标动作参数；根据所述参考动作参数修改所述目标动作参数，使得修改后的目标动作参数与所述参考动作参数对应的基本动作参数之间的差值减小。
[0086]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0087]
图4是根据一示例性实施例示出的一种用于实现驱动数字人的方法的电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
[0088]
参照图4，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/展现(i/o)的接口812，传感器组件814，
以及通信组件816。
[0089]
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
[0090]
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0091]
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
[0092]
多媒体组件808包括在所述电子设备800和用户之间的提供一个展现接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0093]
音频组件810被配置为展现和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于展现音频信号。
[0094]
i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0095]
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0096]
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示
例性实施例中，通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0097]
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0098]
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0099]
一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种驱动数字人的方法，所述方法包括：
[0100]
获取目标文本对应的目标动作；
[0101]
获得基于所述目标文本驱动数字人输出语音时，所述数字人在执行所述目标动作之前所要执行的参考动作；
[0102]
根据所述参考动作的参考动作参数修改所述目标动作的目标动作参数；
[0103]
在基于所述目标文本驱动数字人输出语音的过程中，根据修改后的目标动作参数驱动所述数字人执行所述目标动作。
[0104]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本技术旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
[0105]
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制
[0106]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。