一种数据处理方法、装置、设备、介质、产品与流程

本技术涉及互联网，尤其涉及一种数据处理方法、装置、设备、介质、产品。

背景技术：

1、对于一些场景来说，这些场景存在以下需求：针对用户提出的问题进行答复，以期解决用户的疑惑。

2、另外，为了实现上述需求，可以由相关人员与用户进行互动，以答复该用户提出的问题。其中，因在这种方案下需要由用户提前学习大量内容，以使这种方案的答复成本比较高。

技术实现思路

1、本技术提供了一种数据处理方法、装置、设备、介质、产品，有利于降低答复成本。

2、为了实现上述目的，本技术提供的技术方案如下：

3、本技术提供一种数据处理方法，所述方法应用于客户端，所述方法包括：接收第一语音，对所述第一语音进行语音识别处理得到第一文本，以及将所述第一文本发送给服务端；接收由所述服务端发送的第二语音、表情序列和动作序列，所述第二语音指示虚拟人在回应所述第一语音时的发言内容，所述表情序列指示所述虚拟人在回应所述第一语音时的表情变化，所述动作序列指示所述虚拟人在回应所述第一语音时的动作变化；依据所述表情序列和所述动作序列生成图像序列，所述图像序列描述所述虚拟人在至少一个维度上的变化，所述至少一个维度包括表情和/或动作；播放所述第二语音以及展示所述图像序列。

4、在一种可能的实施方式下，所述客户端为全息舱。

5、在一种可能的实施方式下，所述方法还包括：接收由所述服务端发送的情绪信息，所述情绪信息指示所述虚拟人在回应所述第一语音时所处的情绪状态；所述依据所述表情序列和所述动作序列生成图像序列，包括：依据所述情绪信息、所述表情序列和所述动作序列生成图像序列。

6、在一种可能的实施方式下，所述表情序列指示口型变化；所述依据所述情绪信息、所述表情序列和所述动作序列生成图像序列，包括：依据所述情绪信息生成脸部表情，所述脸部表情指示所述虚拟人在回应所述第一语音时除了口型以外的其他脸部状态；依据所述脸部表情、所述表情序列以及所述动作序列，生成所述图像序列。

7、在一种可能的实施方式下，所述情绪信息包括至少一个候选情绪的预测概率；所述依据所述情绪信息生成脸部表情，包括：依据所述至少一个候选情绪的预测概率，从所述至少一个候选情绪中确定目标情绪，所述目标情绪的预测概率不小于所述至少一个候选情绪中除了所述目标情绪以外的其他情绪的预测概率；依据所述目标情绪的预测概率，对所述目标情绪对应的表情模板和默认情绪对应的表情模板进行加权融合，得到所述脸部表情，所述目标情绪的预测概率指示所述目标情绪对应的表情模板在所述加权融合中对应的权重，所述目标情绪对应的表情模板指示所述目标情绪下的脸部状态，所述默认情绪对应的表情模板指示所述默认情绪下的脸部状态。

8、在一种可能的实施方式下，所述客户端包括状态机，所述状态机指示所述虚拟人在不同状态之间的切换关系；所述接收由所述服务端发送的第二语音、表情序列和动作序列之后，所述方法还包括：依据所述状态机更新所述虚拟人的状态信息，更新后的状态信息指示所述虚拟人切换至说话状态。

9、在一种可能的实施方式下，所述图像序列还依据所述更新后的状态信息对应的至少一个身体特征所生成，所述至少一个身体特征包括眨眼频率、头部朝向、眼睛朝向、以及身体朝向中部分或者全部。

10、在一种可能的实施方式下，所述对所述第一语音进行语音识别处理得到第一文本，包括：响应于检测到所述第一语音不具有预设特征，对所述第一语音进行语音识别处理得到所述第一文本，所述预设特征指示由所述虚拟人通过播报方式回应的语音所具有的特征；所述接收由所述服务端发送的第二语音、表情序列和动作序列之前，所述方法还包括：响应于检测到所述第一语音具有所述预设特征，将所述预设特征对应的文本发送给服务端。

11、在一种可能的实施方式下，所述客户端包括第一数据库；所述将所述第一文本发送给服务端，包括：响应于所述第一文本不满足所述第一数据库的检索条件，将所述第一文本发送给所述服务端；所述接收由所述服务端发送的第二语音、表情序列和动作序列之前，所述方法还包括：响应于所述第一文本满足所述第一数据库的检索条件，将所述第一文本在所述第一数据库中的检索结果发送给所述服务端。

12、在一种可能的实施方式下，所述方法还包括：接收所述服务端发送的第二文本；

13、所述动作序列包括依据所述第二语音预测的动作预测结果以及依据所述第二文本从动作库中匹配的动作，所述第二文本包括该匹配的动作的插入时刻，所述插入时刻指示所述虚拟人呈现该匹配的动作的时刻；

14、所述图像序列包括所述动作预测结果中各帧动作对应的图像以及该匹配的动作对应的图像；

15、所述方法还包括：在所述图像序列的展示期间，所述客户端响应于播放至该匹配的动作对应的图像，则判断该匹配的动作的插入时刻在所述第二文本中指示的位置是否为句尾，若是，则跳过该匹配的动作对应的图像；若否，则将该匹配的动作对应的图像与该匹配的动作对应的图像在该图像序列中的相邻图像进行平滑处理，得到该匹配的动作对应的图像的平滑结果以及所述相邻图像的平滑结果，所述相邻图像包括前一帧图像和/或后一帧图像，依次播放该匹配的动作对应的图像的平滑结果以及所述后一帧图像的平滑结果进行依次播放，所述后一帧图像在所述图像序列中的排列位置比该匹配的动作对应的图像在所述图像序列中的排列位置靠后，所述前一帧图像在所述图像序列中的排列位置比该匹配的动作对应的图像在所述图像序列中的排列位置靠前。

16、本技术提供了一种数据处理方法，所述方法应用于服务端，所述方法包括：接收客户端发送的第一文本，依据所述第一文本确定第二文本，以及依据所述第二文本生成第二语音；依据所述第二语音和所述第二文本确定动作序列，以及依据所述第二语音预测表情序列；将所述第二语音、所述表情序列和所述动作序列发送给所述客户端。

17、在一种可能的实施方式下，所述依据所述第二语音和所述第二文本确定动作序列，包括：对于所述第二文本中任一词汇，从预先构建的动作库中查找与所述词汇匹配的动作，以得到所述词汇的匹配结果，以及响应于所述匹配结果指示所述动作库中存在与所述词汇匹配的动作，从所述第二语音中确定所述词汇对应的音频段的起止时刻；按照所述起止时刻，将所述匹配的动作和依据所述第二语音生成的动作预测结果进行融合得到所述动作序列。

18、在一种可能的实施方式下，所述按照所述起止时刻，将所述匹配的动作和依据所述第二语音生成的动作预测结果进行融合得到所述动作序列，包括：依据所述起止时刻，确定所述匹配的动作的插入时刻；响应于所述插入时刻在所述第二文本中指示的位置不是句尾，按照所述插入时刻，将所述匹配的动作与所述动作预测结果进行拼接得到拼接结果，以及对所述拼接结果进行平滑处理得到所述动作序列。

19、在一种可能的实施方式下，所述方法还包括：依据所述第二语音和所述第二文本预测情绪信息；所述依据所述第二语音预测表情序列，包括：依据所述情绪信息和所述第二语音预测表情序列；和/或，所述将所述第二语音、所述表情序列和所述动作序列发送给所述客户端，包括：将所述情绪信息、所述第二语音、所述表情序列和所述动作序列发送给所述客户端。

20、在一种可能的实施方式下，所述服务端包括第二数据库；所述依据所述第一文本确定第二文本，包括：响应于所述第一文本满足所述第二数据库的检索条件，在所述第二数据库中对所述第一文件进行检索得到所述第二文本；响应于所述第一文本不满足所述第二数据库的检索条件，将所述第一文本输入预先构建的答复模型，以得到所述答复模型输出的所述第二文本。

21、在一种可能的实施方式下，所述第一文本指示第一语音携带的语义内容；所述方法还包括：接收所述客户端发送的情绪识别结果，所述情绪识别结果指示所述第一语音携带的情绪信息；所述依据所述第一文本确定第二文本，包括：将所述第一文本和所述情绪识别结果输入预先构建的答复模型，以得到所述答复模型输出的所述第二文本。

22、本技术提供了一种数据处理装置，包括：第一单元，用于接收第一语音，对所述第一语音进行语音识别处理得到第一文本，以及将所述第一文本发送给服务端；接收单元，用于接收由所述服务端发送的第二语音、表情序列和动作序列，所述第二语音指示虚拟人在回应所述第一语音时的发言内容，所述表情序列指示所述虚拟人在回应所述第一语音时的表情变化，所述动作序列指示所述虚拟人在回应所述第一语音时的动作变化；生成单元，用于依据所述表情序列和所述动作序列生成图像序列，所述图像序列描述所述虚拟人在至少一个维度上的变化，所述至少一个维度包括表情和/或动作；播放单元，用于播放所述第二语音以及展示所述图像序列。

23、本技术提供了一种数据处理装置，包括：第二单元，用于接收客户端发送的第一文本，依据所述第一文本确定第二文本，以及依据所述第二文本生成第二语音；处理单元，用于依据所述第二语音和所述第二文本确定动作序列，以及依据所述第二语音预测表情序列；发送单元，用于将所述第二语音、所述表情序列和所述动作序列发送给所述客户端。

24、本技术提供了一种电子设备，所述设备包括：处理器和存储器；所述存储器，用于存储指令或计算机程序；所述处理器，用于执行所述存储器中的所述指令或计算机程序，以使得所述电子设备执行本技术提供的数据处理方法。

25、本技术提供了一种计算机可读介质，所述计算机可读介质中存储有指令或计算机程序，当所述指令或计算机程序在设备上运行时，使得所述设备执行本技术提供的数据处理方法。

26、本技术提供了一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行本技术提供的数据处理方法的程序代码。

27、与相关技术相比，本技术至少具有以下优点：

28、在本技术提供的技术方案中，对于能够与用户进行交互的客户端来说，在该客户端接收到由该用户输入的第一语音(如描述用户问题的语音)之后，先由该客户端对该第一语音进行语音识别处理得到第一文本(如描述用户问题的文本)，以及将该第一文本发送给服务端，以使该服务端能够针对该第一文本进行处理以及反馈，以便在该客户端接收到由该服务端发送的第二语音、表情序列和动作序列之后，由该客户端依据该表情序列和该动作序列生成图像序列，以及由该客户端播放该第二语音以及展示该图像序列，如此能够实现由该客户端自动地答复用户问题，以降低答复成本。其中，因该表情序列能够指示出虚拟人在回应第一语音时的表情变化、以及该动作序列能够指示出该虚拟人在回应第一语音时的动作变化，以使基于该表情序列和该动作序列所生成的图像序列能够描述出该虚拟人在至少一个维度(如表情和/或动作)上的变化，从而使得该图像序列能够表示出该虚拟人在回应第一语音时所呈现的变化(如表情变化、动作变化等)；还因该第二语音能够指示出该虚拟人在回应第一语音时的发言内容，以使本技术通过播放该第二语音以及展示该图像序列的方式呈现出由该虚拟人声情并茂地回应用户，以提高用户体验。