一种动态对话数据集的构建方法、装置和系统

摘要: 本发明涉及人工智能,尤其涉及一种动态对话数据集的构建方法、装置和系统。背景技术:1、目前,为了实现对车载大语言模型进行有效的功能评估,通常需要与车载大语言模型进...
一种动态对话数据集的构建方法、装置和系统

本发明涉及人工智能,尤其涉及一种动态对话数据集的构建方法、装置和系统。

背景技术:

1、目前,为了实现对车载大语言模型进行有效的功能评估,通常需要与车载大语言模型进行多轮对话,以基于多轮对话得到的对话数据进行评估。由于对话需要由用户侧发起,车载大语言模型只是基于用户侧发起的问题进行响应,因此在测试过程中需要预先由人工编写测试用例或者基于模板生成测试数据来构建训练数据,并基于训练数据向车载大语言模型发起对话并进行交互。

2、但是,这种数据集的构建方式一方面不能覆盖全部的真实使用场景,得到的数据集相对数量有限,且无法模拟复杂的交互场景,另一方面基于人工编写或者基于模板生成的测试数据与真实用户实际的表达往往存在差异,难以模拟用户真实的对话过程。因此,亟需一种能够模拟真实对话过程的动态对话数据集的构建方法。

技术实现思路

1、本发明提供一种动态对话数据集的构建方法、装置和系统,用以解决现有技术中数据集数量有限、无法满足训练需求的问题。

2、本发明提供一种动态对话数据集的构建方法,包括如下步骤:获取与目标测试任务对应的第一模拟对话数据;其中,所述第一模拟对话数据是基于目标对话智能体与目标车载大语言模型之间的交互过程得到的;对所述第一模拟对话数据进行分析,根据分析结果从预设对话策略中确定出目标对话策略;根据所述目标对话策略以及所述第一模拟对话数据,生成第二模拟对话数据;根据所述第一模拟对话数据以及所述第二模拟对话数据,生成所述目标测试任务对应的对话数据集。

3、可选地,所述第一模拟对话数据包括目标对话智能体生成的模拟对话指令以及目标车载大语言模型生成的模型回答;所述获取与目标测试任务对应的第一模拟对话数据,包括:确定与目标测试任务对应的目标用户类型;从多个预训练的对话智能体中确定出与所述目标用户类型相匹配的目标对话智能体;其中,所述对话智能体是基于真实对话数据训练得到的;利用所述目标对话智能体生成所述模拟对话指令,并将所述模拟对话指令发送至目标车载大语言模型,以获取所述目标车载大语言模型基于所述模拟对话指令反馈的模型回答。

4、可选地,所述对话智能体通过下述步骤训练得到:获取多种不同用户类型分别对应的真实对话数据;针对每种用户类型分别对应的真实对话数据:按照所述用户类型对应的表述方式对所述真实对话数据进行扩充,构建与所述用户类型对应的训练数据集; 利用各个所述用户类型分别对应的所述训练数据集分别对多个初始智能体进行参数微调,得到与各个所述用户类型分别对应的对话智能体。

5、可选地,在得到与各个所述用户类型分别对应的对话智能体之后,该方法还包括:针对各个所述对话智能体:向各个所述对话智能体发送测试指令,根据各个所述对话智能体生成的测试问题对各个所述对话智能体分别进行类型评估,得到评估结果;确定评估结果与所述对话智能体所对应的用户类型是否匹配;如果否,重新对所述对话智能体进行训练。

6、可选地,所述确定评估结果与所述对话智能体所对应的用户类型是否匹配,包括以下至少一种方式:在所述评估结果指示了用户类型评分的情况下,根据所述用户类型评分是否大于预设评分,确定所述评估结果与所述对话智能体所对应的用户类型是否匹配;在所述评估结果指示了评估用户类型的情况下,根据所述评估用户类型与所述对话智能体对应的用户类型之间的相似度,确定所述评估结果与所述对话智能体所对应的用户类型是否匹配。

7、可选地,该方法还包括:获取环境信息;

8、所述对所述第一模拟对话数据进行分析,根据分析结果从预设对话策略中确定出目标对话策略,包括:对所述第一模拟对话数据进行分析,生成分析结果;根据所述环境信息以及所述分析结果从预设对话策略中确定出目标对话策略。

9、可选地,所述根据所述第一模拟对话数据以及所述第二模拟对话数据,生成所述目标测试任务对应的对话数据集,包括:确定所述第二模拟对话数据是否满足预设停止条件;如果是,根据所述第一模拟对话数据以及所述第二模拟对话数据,生成所述目标测试任务对应的对话数据集;如果否,以所述第二模拟对话数据作为新的第一模拟对话数据,重复执行生成第二模拟对话数据的步骤,直至新的第二模拟对话数据满足所述预设停止条件:根据所述第一模拟对话数据以及重复执行所生成的多个第二模拟对话数据,生成所述目标测试任务对应的对话数据集。

10、可选地,所述预设对话策略包括以下至少一种:继续追问、补充对话约束、对话确认、修改对话条件、增加情绪描述。

11、可选地,所述扩充包括以下至少一种方式:同义扩充、不完整扩充、口语化扩充、情绪化扩充、追问或改口以及意图扩充。

12、本发明还提供一种动态对话数据集的构建装置,包括如下模块:

13、获取模块,用于获取与目标测试任务对应的第一模拟对话数据;其中,所述第一模拟对话数据是基于目标对话智能体与目标车载大语言模型之间的交互过程得到的;

14、分析模块,用于对所述第一模拟对话数据进行分析,根据分析结果从预设对话策略中确定出目标对话策略;

15、模拟对话生成模块,用于根据所述目标对话策略以及所述第一模拟对话数据,生成第二模拟对话数据;

16、数据集生成模块,用于根据所述第一模拟对话数据以及所述第二模拟对话数据,生成所述目标测试任务对应的对话数据集。

17、本发明还提供一种动态对话数据集的构建系统,包括:上述任一所述的动态对话数据集的构建装置、目标对话智能体以及目标车载大语言模型;其中,

18、所述目标对话智能体和所述目标车载大语言模型用于生成与目标测试任务对应的第一模拟对话数据;

19、所述动态对话数据集的构建装置用于,获取与目标测试任务对应的第一模拟对话数据;对所述第一模拟对话数据进行分析,根据分析结果从预设对话策略中确定出目标对话策略,并将所述目标对话策略发送至目标对话智能体;

20、所述目标对话智能体和所述目标车载大语言模型还用于,根据所述目标对话策略以及所述第一模拟对话数据,生成第二模拟对话数据;

21、所述动态对话数据集的构建装置还用于,根据所述第一模拟对话数据以及所述第二模拟对话数据,生成所述目标测试任务对应的对话数据集。

22、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述的动态对话数据集的构建方法。

23、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述的动态对话数据集的构建方法。

24、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述的动态对话数据集的构建方法。

25、本发明提供的一种动态对话数据集的构建方法、装置和系统,利用目标对话智能体与目标车载大语言模型之间的交互过程,在得到了第一模拟对话数据的基础上,通过对第一模拟对话数据进行分析得到对应的目标对话策略,并进一步基于目标对话策略生成第二模拟对话数据,能够在交互对话过程中对对话数据进行动态调整,以模拟真实场景下的交互过程,由此得到更加符合真实场景的对话数据集。