意图标注及识别方法、装置、设备、存储介质及程序产品与流程

本技术涉及人工智能，尤其涉及一种意图标注及识别方法、装置、设备、存储介质及程序产品。

背景技术：

1、对话系统（dialogue system）是一种与人机自动交互的系统，广泛应用于各类业务系统或应用中，在整个流程中，系统需要理解用户意图并生成相应的回复。意图识别在整个对话系统中至关重要，直接决定了系统的性能，高质量的意图识别能力是对话系统一个重要的优化方向。意图识别主要通过机器学习实现，用于模型训练的数据质量和数量直接影响意图识别质量。

2、目前，构造特定行业意图识别数据大部分都需要人工实现，具体地，首先需要标注人员对样本数据进行标注，然后由审核人员对标注好的数据进行审核，审核不合格的数据需要重新标注，最后由验收人员对审核通过的标注数据进行验收。人工标注的方式容易受到标注人员的主观影响，对标注质量的控制也是一个挑战，需要持续性的监督审核以确保一致性，该过程往往需要耗费大量人力、物力和时间成本。

技术实现思路

1、本技术提供一种意图标注及识别方法、装置、设备、存储介质及程序产品，用以解决现有技术中人工标注的方式需要耗费大量人力、物力和时间成本，且标注质量难以保证的缺陷。

2、本技术提供一种意图标注方法，包括：

3、获取待标注的样本对话数据集；

4、在第k次迭代标注过程中，将所述样本对话数据集输入至意图输出模型，得到所述意图输出模型输出的意图标签数据；所述意图标签数据包括所述样本对话数据集中各轮次的样本对话数据的意图标签，所述意图输出模型是基于大模型构建的；k是大于1的正整数；

5、将所述样本对话数据集和所述意图标签数据输入至意图纠正模型，得到所述意图纠正模型输出的意图纠正数据；所述意图纠正数据包括各所述样本对话数据的意图标签，所述意图纠正模型用于纠正所述意图标签数据中的错误意图标签；

6、基于第k次迭代标注过程中得到的意图纠正数据与历史标签数据的一致性，确定所述样本对话数据集的进化率；所述历史标签数据是在第k-1次迭代标注过程中得到的意图纠正数据；

7、在基于所述进化率确定所述意图纠正数据仍需要纠正的情况下，对所述意图输出模型和所述意图纠正模型进行微调，将所述意图纠正数据确定为所述历史标签数据，并返回所述将所述样本对话数据集输入至意图输出模型，得到所述意图输出模型输出的意图标签数据的步骤；

8、在基于所述进化率确定所述意图纠正数据不需要纠正的情况下，将所述意图纠正数据确定为所述样本对话数据集的标注数据。

9、在一个实施例中，所述意图纠正模型包括纠正建议子模型和纠正执行子模型；所述将所述样本对话数据集和所述意图标签数据输入至意图纠正模型，得到所述意图纠正模型输出的意图纠正数据，包括：

10、将所述样本对话数据集和所述意图标签数据输入至所述纠正建议子模型，得到所述纠正建议子模型输出的对所述意图标签数据中的错误意图标签的纠正建议数据集；所述纠正建议数据集中包含有所述错误意图标签对应的纠正意图标签；

11、将所述样本对话数据集、所述意图标签数据和所述纠正建议数据集输入至所述纠正执行子模型，得到所述纠正执行子模型输出的意图纠正数据。

12、在一个实施例中，在所述将所述样本对话数据集和所述意图标签数据输入至意图纠正模型，得到所述意图纠正模型输出的意图纠正数据之后，还包括：

13、将所述样本对话数据集、所述意图标签数据和所述意图纠正数据输入至意图评测模型中，得到所述意图评测模型输出的评分数据；所述意图评测模型用于对所述意图标签数据和所述意图纠正数据进行意图评分。

14、在一个实施例中，所述对所述意图输出模型和所述意图纠正模型进行微调，包括：

15、根据所述意图纠正数据将所述样本对话数据集划分为第一数据集和第二数据集；所述第一数据集由所述错误标签对应的第一样本对话数据构成，所述第二数据集由所述样本对话数据集中除所述第一样本对话数据之外的第二样本对话数据构成；

16、基于所述意图标签数据和所述第二数据集，构建第一样本数据集；

17、根据所述评分数据，从所述第一数据集中筛选第三数据集；所述第三数据集由意图纠正后的意图评分高于意图纠正前的意图评分的样本对话数据构成；

18、基于所述纠正建议数据集、所述意图标签数据和所述第三数据集，构建第二样本数据集；

19、基于所述纠正建议数据集、所述意图纠正数据和所述第三数据集，构建第三样本数据集；

20、利用所述第一样本数据集、所述第二样本数据集、所述第三样本数据集和所述评分数据，对所述意图输出模型、所述意图纠正模型和所述意图评测模型进行联合训练，以对所述意图输出模型和所述意图纠正模型进行微调。

21、在一个实施例中，在所述利用所述样本数据集对所述意图识别模型进行训练之后，还包括：

22、根据所述评分数据和所述意图纠正数据，从所述样本对话数据集中筛选目标对话数据；所述目标对话数据包括高评分意图数据和低评分意图数据，所述高评分意图数据的评分高于预设的第一评分阈值，所述低评分意图数据的评分低于预设的第二评分阈值，所述第一评分阈值高于所述第二评分阈值；

23、基于所述目标对话数据构建偏好样本数据集，并利用所述偏好样本数据集对所述意图输出模型进行偏好优化训练。

24、本技术还提供一种意图识别方法，包括：

25、将用户提问的对话数据输入至意图识别模型中，得到所述意图识别模型输出的所述对话数据对应的用户意图；

26、其中，所述意图识别模型是基于样本数据集进行预训练得到的，所述样本数据集是采用如上述任一种所述的意图标注方法，对样本对话数据集进行意图标注构建的。

27、本技术还提供一种意图标注装置，包括如下模块：

28、数据获取模块，用于获取待标注的样本对话数据集；

29、意图标注模块，用于在第k次迭代标注过程中，将所述样本对话数据集输入至意图输出模型，得到所述意图输出模型输出的意图标签数据；所述意图标签数据包括所述样本对话数据集中各轮次的样本对话数据的意图标签，所述意图输出模型是基于大模型构建的；k是大于1的正整数；

30、意图纠正模块，用于将所述样本对话数据集和所述意图标签数据输入至意图纠正模型，得到所述意图纠正模型输出的意图纠正数据；所述意图纠正数据包括各所述样本对话数据的意图标签，所述意图纠正模型用于纠正所述意图标签数据中的错误意图标签；

31、进化率计算模块，用于基于第k次迭代标注过程中得到的意图纠正数据与历史标签数据的一致性，确定所述样本对话数据集的进化率；所述历史标签数据是在第k-1次迭代标注过程中得到的意图纠正数据；

32、标注迭代模块，用于在基于所述进化率确定所述意图纠正数据仍需要纠正的情况下，对所述意图输出模型和所述意图纠正模型进行微调，将所述意图纠正数据确定为所述历史标签数据，并返回所述将所述样本对话数据集输入至意图输出模型，得到所述意图输出模型输出的意图标签数据的步骤；

33、标注确定模块，用于在基于所述进化率确定所述意图纠正数据不需要纠正的情况下，将所述意图纠正数据确定为所述样本对话数据集的标注数据。

34、本技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述的意图标注方法，或者如上述任一种所述的意图识别方法。

35、本技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的意图标注方法，或者如上述任一种所述的意图识别方法。

36、本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的意图标注方法，或者如上述任一种所述的意图识别方法。

37、本技术提供的意图标注及识别方法、装置、设备、存储介质及程序产品，通过意图输出模型对样本对话数据集进行意图预识别，以及意图纠正模型对预识别的错误意图标签的纠正，基于相邻两次迭代标注过程中，后一迭代轮次得到的意图纠正数据与下一迭代轮次得到的意图纠正数据的意图标签的一致性，确定样本对话数据集的进化率，作为是否继续进行意图纠正的判定依据，实现基于大模型对样本对话数据集的意图标签的自动标注，提高了意图标注的效率，节省了人力物力成本。