一种图神经网络驱动的零样本对话状态跟踪方法及系统与流程
本公开涉及自然语言处理,具体涉及图神经网络驱动的零样本对话状态跟踪方法及系统。
背景技术:
1、本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
2、随着深度神经网络的普及、自然语言处理的快速发展以及人们对人工智能日益增长的需求,对话系统领域引起了越来越多研究人员的兴趣。面向任务的对话系统支持用户完成各种任务,例如火车预订、酒店预订和景点推荐,并取得了重大突破。所以,如何提高对话状态跟踪的性能成为了当前迫切需要解决的任务。
3、在计算机科学领域,自然语言处理被视为一个核心领域。这是一个融合了语言学、计算机科学和数学的交叉领域,其主要研究焦点是如何处理和理解自然语言,这是人类在日常生活中经常使用的语言。自然语言处理技术的主要应用领域涵盖了舆情分析、自动摘要生成、文本分类、机器翻译、语音识别以及对话系统等多个方向。
4、对话系统作为自然语言处理中最受欢迎的技术之一,涉及多个自然语言处理的其他技术,允许计算机与人类进行交流。同时,其应用范围广泛,涵盖了客户服务、信息高效检索以及个性化助理等多个关键领域。其中,任务型对话系统作为其中一类,专注于通过一系列精心设计的对话回合,精准高效地辅助用户完成特定任务,诸如餐厅预订、天气查询等,极大地提升了用户体验与效率。
5、作为任务型对话系统的重要组成部分,对话状态跟踪理所当然地成为许多研究者研究的热点。对话状态跟踪作为任务型对话系统的对话管理组件之一,其功能包括对自然语言理解中来自对话话语的数据进行填充与修正。实质上是产生当前回合对话状态然后传送至对话管理中的策略学习模块。精确的对话状态跟踪,使得系统可以更深入地了解用户意图,给出适当的反应与建议。
6、为了达到这个目的,任务型对话系统需要展现出卓越的意图识别和对话状态管理能力。该系统必须能够精确地解读用户话语背后的实际需求和意图,并在对话过程中动态地追踪和更新上下文信息,以确保每一步的交互都是围绕用户的实际需求进行的,从而提供个性化且连贯的响应,实现任务的高效完成。这个过程不仅展示了技术的深度和广度,而且也标志着人工智能技术在服务人类生活方面取得的另一个重要的里程碑。
7、早期的对话状态跟踪(dialog state tracking,dst)方法主要依赖于基于规则和统计的技术。这些方法在处理简单的对话场景时表现出了有效性,但在面对复杂对话时却表现出局限性。由于对话的多样性和复杂性,传统方法往往难以捕捉丰富的信息,并且严重依赖特定领域的知识。基于规则的dst技术虽然广泛应用于实际对话系统,但也面临着对新领域的适应性差和泛化能力有限等挑战。统计技术面临着处理歧义性和管理噪声干扰等挑战。
8、尽管近年来零样本对话状态跟踪(zsdst)领域取得了诸多进展,提出了多样化的创新方法,但当前模型在应对复杂对话场景时仍面临严峻挑战。具体而言,复杂对话的特性在于其多回合的交互过程中,槽值信息往往以隐晦且分散的方式跨越不同回合,这种隐含关系的捕捉对模型提出了更高要求。遗憾的是,现有模型在解析这类复杂对话结构、精准提取并整合分散的信息方面尚显不足,难以全面理解并跟踪对话的深层状态变化。
9、此外,当这些模型尝试跨越不同领域进行迁移应用时,其表现往往大打折扣。这暴露出模型在泛化能力与迁移性能上的明显短板,即无法灵活适应新的领域环境,难以在缺乏任何领域特定标注数据的条件下维持高效且准确的对话状态跟踪。
10、因此,如何增强zsdst模型的隐含关系捕捉能力、提升其跨领域适应性与泛化性能,仍是当前研究亟待解决的关键问题。
技术实现思路
1、为了解决现有技术的不足,本公开提出了一种图神经网络驱动的零样本对话状态跟踪方法及系统,引入图神经网络,利用其在处理图结构数据方面具备独特优势,通过显式建模对话回合和槽值对的关系网络,能够深入挖掘多轮对话中的复杂关联。
2、为了实现上述目的,本公开采用如下技术方案:
3、本公开第一方面提供了一种零样本对话状态跟踪方法,包括以下步骤:
4、s101:编码对话内容和状态;
5、s102:建模对话回合和槽值节点间的关系;
6、s103:提取跨领域上下文信息;
7、s104:整合各组件输出,进而预测槽位状态。
8、本公开第二方面提供了一种零样本对话状态跟踪系统,包括以下步骤:
9、编码模块,其被配置为:编码对话内容和状态;
10、建模模块,其被配置为:建模对话回合和槽值节点间的关系;
11、提取模块,其被配置为:提取跨领域上下文信息;
12、预测模块,其被配置为:整合各组件输出,进而预测槽位状态。
13、本公开第三方面提供了一种介质,其上存储有程序,该程序被处理器执行时实现本公开第一方面所述的一种图神经网络驱动的零样本对话状态跟踪方法中的步骤。
14、本公开第四方面提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现图神经网络驱动的零样本对话状态跟踪方法中的步骤。
15、与现有技术相比,本公开的有益效果是:
16、(1)本公开增强了跨领域适应性和处理复杂对话场景的能力。通过引入图神经网络和自适应注意力机制,有效捕捉对话中的隐含关系,提升模型在不同领域的迁移能力,减少对领域特定标注数据的依赖。此外,还能更好地处理多回合、信息分散的对话,精准建模对话回合和槽值节点之间的关系,从而有效地追踪跨回合信息,更好地应对复杂的对话场景。
17、(2)本公开具有更强的泛化能力且无需领域标注数据。与传统基于规则和统计的技术相比,在不同对话任务和领域中表现出更高的精度和效率,具备更好的泛化能力和鲁棒性,支持零样本对话状态跟踪,无需领域特定标注数据,提供了更强的灵活性和适应性。
18、本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
1.一种图神经网络驱动的零样本对话状态跟踪方法,其特征是,包括:
2.如权利要求1所述的零样本对话状态跟踪方法,其特征是,所述零样本对话状态跟踪模型,包括:依次连接的预训练语言模型t5-small、gcn和自注意力机制。
3.如权利要求1所述的零样本对话状态跟踪方法,其特征是,所述训练后的零样本对话状态跟踪模型,训练步骤包括:
4.如权利要求1所述的零样本对话状态跟踪方法,其特征是,所述所有回合的对话内容和先前回合的对话状态,所有回合的对话内容表示当前回合及其先前所有回合的对话过程,先前回合的对话状态表示当前预测的回合之前的所有对话状态,但是不包括当前回合的对话状态。
5.如权利要求1所述的零样本对话状态跟踪方法,其特征是,所述基于训练集,通过预训练语言模型t5-small将对话内容和状态编码为向量表示。
6.如权利要求1所述的零样本对话状态跟踪方法,其特征是,所述基于对话内容和状态编码为向量表示,构建gcn,具体包括:
7.如权利要求1所述的零样本对话状态跟踪方法,其特征是,再将gcn的输出,输入到自注意力机制模型中,精准捕捉当前对话上下文的动态重要性分布,具体包括:
8.零样本对话状态跟踪方法系统,其特征是,包括:
9.一种电子设备,其特征是,包括:
10.一种存储介质,其特征是,非暂时性地存储计算机可读指令,其中,当所述非暂时性计算机可读指令由计算机执行时,执行权利要求1-7任一项所述方法的指令。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com