一种基于意图识别的线上用户需求分析与分类方法与流程

摘要: 本发明涉及智能对话,尤其涉及一种基于意图识别的线上用户需求分析与分类方法。背景技术:1、随着互联网技术的快速发展和线上交互场景的日益丰富,用户与系统之间的沟通方...
一种基于意图识别的线上用户需求分析与分类方法与流程

本发明涉及智能对话,尤其涉及一种基于意图识别的线上用户需求分析与分类方法。

背景技术:

1、随着互联网技术的快速发展和线上交互场景的日益丰富,用户与系统之间的沟通方式呈现出多元化与复杂化的趋势。在这一背景下,意图识别作为自然语言处理领域的关键技术之一,承担着解析用户真实需求并将其映射至相应服务类别的核心任务。意图识别技术本质上是对用户输入的文本、语音或其他形式的信息进行语义理解,进而判断用户潜在意图类别的过程。该技术已广泛应用于智能客服、推荐系统、语音助手以及各类在线平台的搜索与导航功能之中,成为支撑智能化服务体验的基础能力。

2、目前,基于机器学习的线上用户需求分析与分类方法是当前工业界和学术界重点研究的技术方向。该方法通常采用深度学习模型,如循环神经网络(rnn)、长短期记忆网络(lstm)、transformer架构及其变体等,对用户输入进行特征提取与表示学习,并结合分类器实现意图类别的判定。具体而言,技术人员会预先定义一组覆盖常见业务场景的意图类别集合,利用标注数据对模型进行有监督训练,使模型学习到不同意图类别在语义空间中的分布特征与决策边界。训练完成后,模型被部署至线上环境,对实时用户输入进行分类预测。

3、具体而言,当用户提出的需求属于全新类别,即所谓冷启动意图时,由于该意图在特征空间中缺乏对应的类别原型和决策区域,模型无法将其识别为未知类别。在此情况下,模型会基于其封闭集分类逻辑,强行将该输入映射至特征空间中距离最近的已知类别,从而产生错误的分类结果。这种强行归类的机制并非模型偶然出现的个体误差,而是封闭集训练范式本身固有的结构性缺陷。

4、错误的意图分类将直接引发下游服务响应的错误匹配,例如将用户的投诉意图误判为普通咨询意图而未能触发紧急处理流程,或将用户对新产品的功能咨询误判为无关类别而推送错误信息,严重偏离用户的实际需求,导致用户体验显著下降。且在商业应用场景中,错误分类可能导致服务响应失当,造成用户流失和业务损失。更为关键的是,现有模型缺乏对未知意图的感知与自适应能力,无法在运行时动态地发现、记录并学习新的意图类别,导致系统难以适应用户需求随时间演变而持续增长的客观现实。

5、针对上述问题,现有技术中已存在一些改进方案,例如通过设置分类置信度阈值来拒识低置信度样本,或采用主动学习策略筛选不确定性较高的样本进行人工标注。然而,这些方案仍存在明显不足:基于置信度阈值的方法仅能识别模型不确定的样本,而无法区分该不确定性源于样本噪声还是真正的新意图类别,且阈值设定缺乏理论依据,容易产生大量误报或漏报;主动学习方法虽能降低标注成本,但仍依赖人工介入且无法实现新意图的自动发现和模型的自主演进。

技术实现思路

1、有鉴于此,本发明实施例提供了一种基于意图识别的线上用户需求分析与分类方法,用以解决现有技术中都是基于封闭的、预先定义好的意图类别进行训练;当用户出现全新的、从未在训练集中出现的意图时,模型会强行将其分到已有的错误类别中,导致准确率大幅下降的问题。

2、本发明实施例提供一种基于意图识别的线上用户需求分析与分类方法,包括:

3、s1:获取线上用户输入的文本数据,对所述文本数据进行预处理后,利用预训练语言模型提取所述文本数据的语义向量表示;

4、s2:将所述语义向量输入至基于封闭集假设预训练的意图分类模型,计算所述用户输入归属于各已知意图类别的匹配度分数,选取匹配度分数最高的意图类别作为初步分类结果,并记录所述匹配度分数;

5、s3:基于所述匹配度分数和所述语义向量,执行分布外检测流程,判断所述用户输入是否属于已知意图类别;当判定为不属于任何已知意图类别时,将所述用户输入标记为未知意图样本;

6、s4:将标记为未知意图的样本记录至日志数据库,定期对积累的未知意图样本进行聚类分析,并基于时空一致性校验从聚类结果中筛选出候选新意图集群;

7、s5:对所述候选新意图集群进行审核确认,将确认后的新意图类别通过小样本学习或增量学习方式更新至所述意图分类模型,使所述意图分类模型获得对新意图类别的识别能力。

8、本发明提供的一种基于意图识别的线上用户需求分析与分类方法具有以下有益效果:

9、在本发明中,通过获取用户输入并提取语义向量后由封闭集分类模型输出初步分类结果及置信度,继而执行包含基于子类中心多粒度决策边界检测、基于类别原型向量距离检测和基于大语言模型辅助判断的三级分布外检测流程,将判定为不属于已知类别的输入标记为未知意图样本并记录至日志数据库,再定期对积累的未知意图样本进行聚类分析并基于空间一致性与时间一致性的双重校验筛选候选新意图集群,经审核确认后通过小样本学习或增量学习方式将新意图类别更新至分类模型,由此实现了从新意图的精准感知、自动发现到模型动态演进的全链路闭环,从根本上突破了封闭集假设对意图识别能力的固有局限,使模型在保持对已知意图高精度分类的同时具备对未知意图的主动发现与持续学习能力,显著降低了冷启动意图的误分类率,并确保系统能够随用户需求的动态演变自适应扩展意图类别体系,从而为智能问答、精准推荐等下游任务提供更为准确和全面的意图标签支撑,有效保障了线上业务的服务质量和用户体验。

1.一种基于意图识别的线上用户需求分析与分类方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于意图识别的线上用户需求分析与分类方法,其特征在于,所述s3中所述分布外检测流程包括以下步骤:

3.根据权利要求2所述的一种基于意图识别的线上用户需求分析与分类方法,其特征在于,所述s31包括以下步骤:

4.根据权利要求2所述的一种基于意图识别的线上用户需求分析与分类方法,其特征在于,所述s32包括以下步骤:

5.根据权利要求2所述的一种基于意图识别的线上用户需求分析与分类方法,其特征在于,所述s33包括以下步骤:

6.根据权利要求1所述的一种基于意图识别的线上用户需求分析与分类方法,其特征在于,所述基于时空一致性校验从聚类结果中筛选出候选新意图集群包括以下步骤:

7.根据权利要求1所述的一种基于意图识别的线上用户需求分析与分类方法,其特征在于,所述将确认后的新意图类别通过小样本学习方式更新至所述意图分类模型包括以下步骤:

8.根据权利要求1所述的一种基于意图识别的线上用户需求分析与分类方法,其特征在于,所述将确认后的新意图类别通过增量学习方式更新至所述意图分类模型包括以下步骤:

9.根据权利要求1所述的一种基于意图识别的线上用户需求分析与分类方法,其特征在于,所述s5还包括意图类别版本管理步骤:

10.根据权利要求1所述的一种基于意图识别的线上用户需求分析与分类方法,其特征在于,所述s4还包括线上监控步骤: