零样本冷启动意图识别方法、装置、设备、存储介质和计算机程序产品与流程
本技术涉及自然语言处理与人工智能,特别是涉及一种零样本冷启动意图识别方法、装置、设备、存储介质和计算机程序产品。
背景技术:
1、随着智能客服系统、社交平台及企业级通信工具的广泛应用,实时、精准地识别用户输入的语义意图,已成为提升服务效率与用户体验的关键能力。特别是在即时通讯场景中,对话具有高频交互、语义多样、意图动态演进等特点,要求意图识别系统具备多种核心能力,满足多样化的综合需求。
2、传统技术中,针对即时通讯场景意图识别的传统处理方式主要分为三类:一是基于监督学习的transformer架构模型方案,通过收集并标注大量业务数据训练模型,依靠模型轻量化特性保障高并发处理需求;二是基于表征学习的语义匹配方案,利用在公开语料上预训练的语义匹配模型计算语义相似度,以此降低对专属标注数据的依赖;三是基于大语言模型的零样本识别方案,通过设计包含业务意图定义的提示工程文本,引导大语言模型直接对用户输入进行意图判断,理论上无需模型微调即可接入新意图。
3、然而,这些传统方式在冷启动效率、系统性能与运营成本之间难以兼顾,难以满足多样化的综合需求。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够同时兼顾冷启动效率、系统性能和运营成本的零样本冷启动意图识别方法、装置、设备、存储介质和计算机程序产品。
2、第一方面,本技术提供了一种零样本冷启动意图识别方法,所述方法包括:
3、接收业务请求,通过动态语义扩增算法根据所述业务请求生成样本并通过大语言模型标注,构成冷启动数据集;
4、基于所述冷启动数据集构建可插拔多分类头模型,对所述可插拔多分类头模型中目标意图对应的分类头进行独立训练,形成初始学生模型;
5、通过所述初始学生模型对未标注样本池执行全量推理和不确定性样本筛选,得到待标注样本集;
6、通过教师模型对所述待标注样本集进行标注生成伪标签,抽样审核所述伪标签并优化所述教师模型的标注逻辑,基于优化后标注的样本对所述可插拔多分类头模型中对应意图的分类头进行增量更新,直至满足收敛条件;
7、将收敛后的所述可插拔多分类头模型和所述教师模型部署上线。
8、在所述方法的一些实施例中,所述通过动态语义扩增算法根据所述业务请求生成样本并通过大语言模型标注,构成冷启动数据集,包括:
9、根据所述业务请求通过大语言模型生成语义相关关键词;
10、穷举所述大语言模型提供的语义相关关键词中任意第一数量个的关键词组合,并将各关键词组合代入句子模板生成语义变体句子,作为候选句子;
11、通过预训练表征模型计算所述候选句子与未标注样本池的语义相似度,筛选高相似度样本,并通过大语言模型标注伪标签,构成冷启动数据集。
12、在所述方法的一些实施例中,所述可插拔多分类头模型包括共享预训练编码器、与意图类别对应的可学习向量和独立多层感知器分类头;
13、所述共享预训练编码器用于提取文本语义特征,所述可学习向量通过注意力机制聚合语义特征,所述独立多层感知器分类头用于输出对应意图的识别结果,每个意图类别分别对应一个所述可学习向量和一个独立多层感知器分类头。
14、在所述方法的一些实施例中,所述通过所述初始学生模型对未标注样本池执行全量推理和不确定性样本筛选,得到待标注样本集,包括:
15、通过所述初始学生模型对未标注样本池中的所有样本进行推理,输出每个样本的预测置信度分数;
16、根据所述预测置信度分数和预设动态阈值策略,筛选出预测置信度分数处于预设阈值区间内的样本,得到待标注样本集;
17、所述预设动态阈值策略根据迭代阶段自适应调整,所述迭代阶段包括正样本扩增阶段和负样本挖掘阶段中的至少一种。
18、在所述方法的一些实施例中,所述教师模型为大语言模型,所述优化所述教师模型的标注逻辑,包括:
19、基于抽样审核发现的伪标签标注错误类型,优化所述大语言模型的提示工程。
20、在所述方法的一些实施例中,所述冷启动数据集包括训练集和验证集,所述收敛条件包括:连续两次迭代中,可插拔多分类头模型在所述验证集上的意图识别准确率波动小于预设阈值,且教师模型标注的伪标签与审核结果的一致性大于预设比例。
21、根据本公开实施例的第二方面,提供一种零样本冷启动意图识别装置,所述装置包括:
22、动态语义扩增模块,用于接收业务请求,通过动态语义扩增算法根据所述业务请求生成样本并通过大语言模型标注,构成冷启动数据集;
23、可插拔多分类头构建模块,用于基于所述冷启动数据集构建可插拔多分类头模型,对所述可插拔多分类头模型中目标意图对应的分类头进行独立训练,形成初始学生模型;
24、学生模型训练模块,用于通过所述初始学生模型对未标注样本池执行全量推理和不确定性样本筛选,得到待标注样本集;
25、教师模型更新模块,用于通过教师模型对所述待标注样本集进行标注生成伪标签,抽样审核所述伪标签并优化所述教师模型的标注逻辑,基于优化后标注的样本对所述可插拔多分类头模型中对应意图的分类头进行增量更新,直至满足收敛条件;
26、模型部署模块,用于将收敛后的所述可插拔多分类头模型和所述教师模型部署上线。
27、根据本公开实施例的第三方面,提供一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
28、接收业务请求,通过动态语义扩增算法根据所述业务请求生成样本并通过大语言模型标注,构成冷启动数据集;
29、基于所述冷启动数据集构建可插拔多分类头模型,对所述可插拔多分类头模型中目标意图对应的分类头进行独立训练,形成初始学生模型;
30、通过所述初始学生模型对未标注样本池执行全量推理和不确定性样本筛选,得到待标注样本集;
31、通过教师模型对所述待标注样本集进行标注生成伪标签,抽样审核所述伪标签并优化所述教师模型的标注逻辑,基于优化后标注的样本对所述可插拔多分类头模型中对应意图的分类头进行增量更新,直至满足收敛条件;
32、将收敛后的所述可插拔多分类头模型和所述教师模型部署上线。
33、根据本公开实施例的第四方面,提供一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
34、接收业务请求,通过动态语义扩增算法根据所述业务请求生成样本并通过大语言模型标注,构成冷启动数据集;
35、基于所述冷启动数据集构建可插拔多分类头模型,对所述可插拔多分类头模型中目标意图对应的分类头进行独立训练,形成初始学生模型;
36、通过所述初始学生模型对未标注样本池执行全量推理和不确定性样本筛选,得到待标注样本集;
37、通过教师模型对所述待标注样本集进行标注生成伪标签,抽样审核所述伪标签并优化所述教师模型的标注逻辑,基于优化后标注的样本对所述可插拔多分类头模型中对应意图的分类头进行增量更新,直至满足收敛条件;
38、将收敛后的所述可插拔多分类头模型和所述教师模型部署上线。
39、根据本公开实施例的第五方面,提供一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
40、接收业务请求,通过动态语义扩增算法根据所述业务请求生成样本并通过大语言模型标注,构成冷启动数据集;
41、基于所述冷启动数据集构建可插拔多分类头模型,对所述可插拔多分类头模型中目标意图对应的分类头进行独立训练,形成初始学生模型;
42、通过所述初始学生模型对未标注样本池执行全量推理和不确定性样本筛选,得到待标注样本集;
43、通过教师模型对所述待标注样本集进行标注生成伪标签,抽样审核所述伪标签并优化所述教师模型的标注逻辑,基于优化后标注的样本对所述可插拔多分类头模型中对应意图的分类头进行增量更新,直至满足收敛条件;
44、将收敛后的所述可插拔多分类头模型和所述教师模型部署上线。
45、本技术实施例提供的零样本冷启动意图识别方案,通过动态语义扩增算法结合大语言模型标注生成冷启动数据集,无需依赖人工标注数据即可完成初始数据准备,解决了新意图上线时无标注样本可用的零样本冷启动痛点,大幅缩短了从业务需求提出到模型具备初步识别能力的周期,且生成的样本与业务场景语义高度适配,为后续模型训练奠定可靠的数据基础;可插拔多分类头模型通过独立训练目标意图对应的分类头形成初始学生模型,实现了意图识别任务的参数解耦。新增或修改意图时无需对整个模型重训,仅需更新对应分类头,显著提升了意图动态扩展的效率,同时避免了传统模型整体重训导致的已稳定意图性能波动,保障了模型训练的稳定性;教师模型标注待标注样本并通过抽样审核优化标注逻辑,结合新样本对分类头增量更新至收敛,形成学生模型筛选、教师模型标注优化、学生模型迭代的闭环,该过程持续提升模型对复杂语义的识别精度,同时通过教师模型与学生模型的协同,在保证识别性能的前提下大幅降低了对大语言模型的依赖成本,既发挥了学生模型低延迟、高并发的推理优势,又通过教师模型对低可信样本的二次判定保障了识别可靠性,完全适配即时通讯场景对响应速度和识别精度的双重需求,可快速响应业务新增意图或场景变化。
46、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com