数据处理方法、装置、设备及存储介质与流程

本申请涉及互联网，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术：

1、交互行为动作(即非语言行为)在人类交流中具有关键作用，能够在多个尺度上传递情绪、态度和社交关系等微妙信号。例如，在双人对话中，互动双方通常通过特定的空间距离、视线接触、动作模仿(如变色龙效应)以及随言语伴随的身体手势来增强交流效果。

2、目前主要通过简单行为克隆的方式，来生成各个会话对象的交互行为动作，由于会话场景的复杂多变，导致这种动作生成方式所生成交互行为动作的准确度比较低。

技术实现思路

1、本申请实施例提供一种数据处理方法、装置、设备及存储介质，提高交互行为动作的生成准确度。

2、本申请实施例一方面提供一种数据处理方法，包括：

3、获取第一会话场景中的m个会话对象的会话音频数据；m为正整数；

4、对上述会话音频数据进行解析，得到上述第一会话场景的第一场景特征信息；

5、根据上述第一场景特征信息，确定上述m个会话对象在上述第一会话场景中的初始空间布局信息；

6、根据上述第一场景特征信息、上述会话音频数据和上述初始空间布局信息，生成上述m个会话对象在上述第一会话场景中分别对应的交互行为动作。

7、本申请实施例一方面提供一种数据处理装置，包括：

8、获取模块，用于获取第一会话场景中的m个会话对象的会话音频数据；m为正整数；

9、解析模块，用于对上述会话音频数据进行解析，得到上述第一会话场景的第一场景特征信息；

10、确定模块，用于根据上述第一场景特征信息，确定上述m个会话对象在上述第一会话场景中的初始空间布局信息；

11、生成模块，用于根据上述第一场景特征信息、上述会话音频数据和上述初始空间布局信息，生成上述m个会话对象在上述第一会话场景中分别对应的交互行为动作。

12、本申请实施例一方面提供了一种计算机设备，包括存储器和处理器，上述存储器存储有计算机程序，上述处理器执行上述计算机程序时实现上述的方法的步骤。

13、本申请实施例一方面提供了一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现上述的方法的步骤。

14、本申请实施例一方面提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。

15、本申请中，通过对第一会话场景(多人会话场景或单人会话场景)中的会话音频数据进行解析，得到第一会话场景的第一场景特征信息，根据第一场景特征，确定各个会话对象在第一会话场景中的初始空间布局信息。该第一场景特征信息能够用于反映各个会话对象之间的互动意图、会话情绪和社交关系等，该初始空间布局信息能够反映各个会话对象之间的空间布局关系，即基于第一场景特征信息和初始空间布局信息能够反映会话场景中的复杂情况。因此，基于第一场景特征信息、初始空间布局信息和会话音频数据，来生成各个会话对象的交互行为动作，能够提高会话场景下的交互行为动作的生成准确度，提高会话对象的交互行为动作的自然性和响应性，响应性是指会话对象通过交互行为动作来回应其他会话对象的会话音频数据。

1.一种数据处理方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述根据所述第一场景特征信息、所述会话音频数据和所述初始空间布局信息，生成所述m个会话对象在所述第一会话场景中分别对应的交互行为动作，包括：

3.如权利要求2所述的方法，其特征在于，所述对所述第一场景特征信息、所述初始空间布局信息和所述n个会话音频片段进行n轮识别，得到所述m个会话对象在所述n轮识别下分别对应的交互行为动作，包括：

4.如权利要求3所述的方法，其特征在于，所述根据第i个会话音频片段、所述第i-1个动作描述信息和所述第一场景特征信息，生成所述第i轮识别对应的动作约束信息，包括：

5.如权利要求4所述的方法，其特征在于，所述通过同步预测器，根据所述第i个会话文本内容、所述第i-1个动作描述信息和所述第一场景特征信息，预测所述m个会话对象在第i轮识别下的同步调整信息，包括：

6.如权利要求4所述的方法，其特征在于，所述根据所述m个会话对象在第i轮识别下的空间调整信息、同步调整信息和视线调整信息，确定所述第i轮识别对应的动作约束信息，包括：

7.如权利要求6所述的方法，其特征在于，所述第i轮识别对应的动作约束信息包括动作相似约束信息和关节轨迹约束信息中的至少一种；

8.如权利要求7所述的方法，其特征在于，所述根据所述目标调整信息，生成关节轨迹约束信息，包括：

9.如权利要求3所述的方法，其特征在于，所述第i轮识别对应的动作约束信息包括p次关节调整分别对应的关节轨迹约束信息，p为大于1的正整数；

10.如权利要求3所述的方法，其特征在于，所述对所述第i轮识别对应的动作约束信息、所述第i-1个动作描述信息和所述初始空间布局信息、所述第i个会话音频片段进行识别，得到所述m个会话对象在所述第i轮识别下分别对应的交互行为动作，包括：

11.如权利要求1所述的方法，其特征在于，所述根据所述第一场景特征信息，确定所述m个会话对象在所述第一会话场景的初始空间布局信息，包括：

12.如权利要求1所述的方法，其特征在于，所述对所述会话音频数据进行解析，得到所述第一会话场景的第一场景特征信息，包括：

13.如权利要求1所述的方法，其特征在于，所述方法还包括：

14.如权利要求13所述的方法，其特征在于，所述根据所述样本音频数据、所述标注交互行为动作、所述第二场景特征信息和所述候选空间布局信息，对初始动作生成模型进行训练，得到动作生成模型，包括：

15.如权利要求14所述的方法，其特征在于，所述通过初始动作生成模型，根据所述第a个样本音频片段对应的动作约束信息、所述候选空间布局信息、所述第a个样本音频片段、所述第a-1个样本音频片段对应的动作描述信息，对所述加噪交互行为动作进行噪声预测，得到预测噪声数据，包括：

16.一种数据处理装置，其特征在于，所述装置包括：

17.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至15中任一项所述的方法的步骤。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法的步骤。

19.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法的步骤。