意图识别模型的训练方法、搜索召回方法、装置及设备与流程

摘要: 本技术涉及计算机,特别是涉及一种意图识别模型的训练方法、搜索召回方法、装置及设备。背景技术:1、在本地生活服务领域中,通过部署意图识别模型对用户输入的搜索词进行...
意图识别模型的训练方法、搜索召回方法、装置及设备与流程

本技术涉及计算机,特别是涉及一种意图识别模型的训练方法、搜索召回方法、装置及设备。

背景技术:

1、在本地生活服务领域中,通过部署意图识别模型对用户输入的搜索词进行识别以确定用户的具体意图,并据此决定是否触发本地生活商户或商品的召回。

2、相关技术中,通常采用人工标注与基于规则的挖掘方式为意图识别模型获取训练样本。然而,人工标注方式需要由标注人员逐条判定搜索词的意图类别,不同标注人员对语义边界模糊的搜索词的判定一致性难以保证,随机采样策略也难以充分覆盖低频、长尾搜索词;基于关键词匹配或历史点击行为的规则挖掘方式,则对依赖深层语义理解和上下文信息的搜索词覆盖率有限。基于上述方式获取的训练样本对意图识别模型进行训练,难以有效提高意图识别模型的覆盖能力。

技术实现思路

1、有鉴于此,本技术提供了一种意图识别模型的训练方法、搜索召回方法、装置及设备,能够提高意图识别模型的覆盖能力。

2、本技术提供了如下方案:

3、根据第一方面,提供了一种意图识别模型的训练方法,所述方法包括:

4、获取第一差分集合和第二差分集合,所述第一差分集合包括第一意图识别模型识别为有意图、第二意图识别模型识别为无意图的搜索词,所述第二差分集合包括所述第一意图识别模型识别为无意图、所述第二意图识别模型识别为有意图的搜索词,所述第二意图识别模型基于所述第一意图识别模型进一步训练得到;

5、获取针对所述第一差分集合和所述第二差分集合中的搜索词在线上搜索服务的转化指标信息;

6、将所述第一差分集合中所述转化指标信息满足第一转化条件的搜索词标注为正样本,以及将所述第二差分集合中所述转化指标信息满足第二转化条件的搜索词标注为负样本,得到第一样本集,所述第一转化条件对转化指标的要求高于所述第二转化条件;

7、基于所述第一样本集进一步训练所述第二意图识别模型,得到第三意图识别模型,所述第三意图识别模型用于基于输入的搜索词生成意图识别结果。

8、可选地,所述获取第一差分集合和第二差分集合,包括:

9、将第一意图识别模型和第二意图识别模型应用于线上搜索服务,并将所述线上搜索服务获取的搜索词划分为使用所述第一意图识别模型的对照组和使用所述第二意图识别模型的实验组;

10、将在所述对照组中被识别为有意图、在所述实验组中被识别为无意图的搜索词归入第一差分集合;

11、将在所述对照组中被识别为无意图、在所述实验组中被识别为有意图的搜索词归入第二差分集合。

12、可选地,所述获取针对所述第一差分集合和所述第二差分集合中的搜索词在线上搜索服务的转化指标信息,包括:

13、获取所述第一差分集合中的搜索词在所述对照组中通过所述线上搜索服务触发搜索会话的第一会话次数以及在搜索会话中发生用户转化行为的第一转化次数;

14、获取所述第二差分集合中的搜索词在所述实验组中通过所述线上搜索服务触发搜索会话的第二会话次数以及在搜索会话中发生用户转化行为的第二转化次数;

15、根据所述第一会话次数和所述第一转化次数得到所述第一差分集合中的搜索词在所述对照组中的第一转化率;

16、根据所述第二会话次数和所述第二转化次数得到所述第二差分集合中的搜索词在所述实验组中的第二转化率。

17、可选地,所述将所述第一差分集合中所述转化指标信息满足第一转化条件的搜索词标注为正样本,包括:

18、将所述第一差分集合中所述第一转化率大于第一转化率阈值的搜索词标注为正样本;

19、所述将所述第二差分集合中所述转化指标信息满足第二转化条件的搜索词标注为负样本,包括:

20、将所述第二差分集合中所述第二转化率小于第二转化率阈值的搜索词标注为负样本;

21、其中,所述第一转化率阈值大于所述第二转化率阈值。

22、可选地,在所述获取第一差分集合和第二差分集合之后,所述方法还包括:

23、获取所述第一差分集合中的搜索词在所述对照组中通过所述线上搜索服务触发搜索会话的第一会话次数,剔除所述第一差分集合中所述第一会话次数小于会话次数阈值的搜索词;

24、获取所述第二差分集合中的搜索词在所述实验组中通过所述线上搜索服务触发搜索会话的第二会话次数,剔除所述第二差分集合中所述第二会话次数小于会话次数阈值的搜索词。

25、可选地,在所述获取第一差分集合和第二差分集合之后,所述方法还包括:

26、获取所述第一差分集合中的搜索词在所述对照组中的第一转化率和在所述实验组中的第三转化率;

27、获取所述第二差分集合中的搜索词在所述实验组中的第二转化率和在所述对照组中的第四转化率;

28、根据所述第一转化率和所述第三转化率确定所述第一差分集合中的搜索词对应的第一转化率差异信息,剔除所述第一差分集合中所述第一转化率差异信息不满足差异显著性条件的搜索词;

29、根据所述第二转化率和所述第四转化率确定所述第二差分集合中的搜索词对应的第二转化率差异信息,剔除所述第二差分集合中所述第二转化率差异信息不满足差异显著性条件的搜索词。

30、可选地,在所述基于所述第一样本集进一步训练所述第二意图识别模型,得到第三意图识别模型之前,所述方法还包括:

31、获取搜索词集合;

32、利用大语言模型对所述搜索词集合中的搜索词进行标注,得到第二样本集;

33、所述基于所述第一样本集进一步训练所述第二意图识别模型,得到第三意图识别模型,包括:

34、将所述第一样本集和所述第二样本集合并入训练样本集,基于合并后的训练样本集进一步训练所述第二意图识别模型,得到第三意图识别模型。

35、可选地,所述利用大语言模型对所述搜索词集合中的搜索词进行标注,得到第二样本集,包括:

36、利用大语言模型对所述搜索词集合中的搜索词进行标注,得到标注结果,所述标注结果包括所述搜索词集合中搜索词的意图标签及其对应的置信度值;

37、将所述搜索词集合中所述置信度值小于置信度阈值的搜索词加入人工复核队列;

38、将所述搜索词集合中所述置信度值大于或等于所述置信度阈值的搜索词加入第二样本集。

39、可选地,在训练所述第二意图识别模型的过程中,来自所述第一样本集的样本所对应的损失函数权重系数大于来自所述第二样本集的样本所对应的损失函数权重系数。

40、可选地,所述利用大语言模型对所述搜索词集合中的搜索词进行标注,得到第二样本集,包括:

41、为所述搜索词集合中的搜索词构造目标提示词,其中,所述目标提示词包括标签定义信息,所述标签定义信息包括一级意图标签和二级意图标签的语义边界信息,所述一级意图标签包括强意图、弱意图和非意图,所述二级意图标签包括在所述强意图和所述弱意图下进一步划分的意图类型;

42、将所述目标提示词和所述搜索词集合中的搜索词输入大语言模型,以使所述大语言模型依据所述标签定义信息对所述搜索词进行标注,得到第二样本集。

43、可选地,所述搜索词集合包含所述第一差分集合和所述第二差分集合中的搜索词,所述将所述第一样本集和所述第二样本集合并入训练样本集,包括:

44、对于仅存在于所述第一样本集中的搜索词,仅以所述正样本或所述负样本对应的正负样本标签作为主标签生成训练样本;

45、对于仅存在于所述第二样本集中的搜索词,仅以所述一级意图标签和所述二级意图标签作为辅助标签生成训练样本;

46、对于同时存在于所述第一样本集和所述第二样本集中的搜索词,以所述正样本或所述负样本对应的正负样本标签作为主标签,以所述一级意图标签和所述二级意图标签作为辅助标签,生成携带复合标签的训练样本。

47、可选地,所述基于合并后的训练样本集进一步训练所述第二意图识别模型,得到第三意图识别模型,包括:

48、基于携带有所述主标签的训练样本对所述第二意图识别模型进行主任务训练,所述主任务训练用于学习判断输入的搜索词是否具有意图;

49、基于携带有所述辅助标签的训练样本对所述第二意图识别模型进行辅助任务训练,所述辅助任务训练用于学习识别输入的搜索词的意图强度和意图对象类型;

50、将所述主任务训练的损失函数值和所述辅助任务训练的损失函数值加权求和得到总损失函数,并基于所述总损失函数对所述第二意图识别模型的参数进行优化。

51、可选地,所述目标提示词还包括标注边界示例和/或经过脱敏处理的上下文信息,所述标注边界示例包括弱意图与非意图之间的边界示例和/或搜索词歧义示例,所述上下文信息包括当前定位信息、历史点击摘要和当前搜索会话的前置搜索词中的至少一项。

52、根据第二方面,提供了一种搜索召回方法,所述方法包括:

53、获取搜索词;

54、将所述搜索词输入至第三意图识别模型中,得到意图识别结果;

55、基于所述意图识别结果确定是否触发目标对象的召回,并输出对应的搜索结果,其中,所述第三意图识别模型通过第一方面中任一项所述的方法训练得到。

56、根据第三方面,提供了一种意图识别模型的训练装置,所述装置包括:

57、第一获取单元,被配置为获取第一差分集合和第二差分集合,所述第一差分集合包括第一意图识别模型识别为有意图、第二意图识别模型识别为无意图的搜索词,所述第二差分集合包括所述第一意图识别模型识别为无意图、所述第二意图识别模型识别为有意图的搜索词,所述第二意图识别模型基于所述第一意图识别模型进一步训练得到;

58、第二获取单元,被配置为获取针对所述第一差分集合和所述第二差分集合中的搜索词在线上搜索服务的转化指标信息;

59、第一标注单元,被配置为将所述第一差分集合中所述转化指标信息满足第一转化条件的搜索词标注为正样本,以及将所述第二差分集合中所述转化指标信息满足第二转化条件的搜索词标注为负样本,得到第一样本集,所述第一转化条件对转化指标的要求高于所述第二转化条件;

60、模型训练单元,被配置为基于所述第一样本集进一步训练所述第二意图识别模型,得到第三意图识别模型,所述第三意图识别模型用于基于输入的搜索词生成意图识别结果。

61、根据第四方面,提供了一种搜索召回装置,所述装置包括:

62、获取单元,被配置为获取搜索词;

63、输入单元,被配置为将所述搜索词输入至第三意图识别模型中,得到意图识别结果;

64、召回单元,被配置为基于所述意图识别结果确定是否触发目标对象的召回,并输出对应的搜索结果,其中,所述第三意图识别模型通过第一方面中任一项所述的方法训练得到。

65、根据第五方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一方面或第二方面中任一项所述的方法的步骤。

66、根据第六方面,提供了一种电子设备,包括:

67、一个或多个处理器;以及

68、与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行上述第一方面或第二方面中任一项所述的方法的步骤。

69、根据第七方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面或第二方面中任一项所述方法的步骤。

70、根据本技术提供的具体实施例,本技术公开了以下技术效果:

71、本技术将第一意图识别模型和第二意图识别模型之间的意图识别差异与线上搜索服务中真实发生的用户转化行为相结合,并利用不同转化条件分别筛选正样本和负样本。由此,将第二意图识别模型相对于第一意图识别模型可能出现的漏判搜索词和误召回搜索词转化为训练样本,使第一样本集能够集中覆盖模型迭代过程中暴露出的边界搜索词和长尾搜索词,基于第一样本集进一步训练得到第三意图识别模型,可以增强模型对边界搜索词和长尾搜索词的覆盖能力,并使后续线上搜索服务中的召回决策更加稳定。

72、当然,实施本技术的任一产品并不一定需要同时达到以上所述的所有优点。