模型对话方法、装置、设备及存储介质与流程
本技术涉及自然语言处理,尤其涉及一种模型对话方法、装置、设备及存储介质。
背景技术:
1、对话模型需要在多轮交互中维护对用户历史的记忆。但在现有方案中,记忆的保留窗口与召回窗口相互绑定,往往保留多少轮历史对话就需要一次性加载对应轮次内容,若想要扩大可访问的历史记忆覆盖范围,则必须同步增加输入至模型的历史内容,造成词元开销急剧上升,若控制词元开销限制加载的历史轮次,又会丢失较早的对话历史,难以兼顾历史记忆覆盖广度与模型推理的运行效率。
技术实现思路
1、本技术的主要目的在于提供一种模型对话方法、装置、设备及存储介质,旨在解决现有对话模型的记忆召回方式难以兼顾历史记忆覆盖广度与模型推理的运行效率的技术问题。
2、第一方面,本技术提出一种模型对话方法,所述的方法包括:
3、获取第一记忆信息以及用户输入的目标问题,所述第一记忆信息是用户与目标模型之间的历史对话记录;
4、判断所述目标问题是否存在记忆召回需求;
5、在所述目标问题存在记忆召回需求的情况下,获取第二记忆信息,并根据摘要文件确定第三记忆信息,所述第二记忆信息是所述历史对话记录中位于所述第一记忆信息之前的对话记录,所述摘要文件由第二记忆信息之前的历史对话记录压缩生成;
6、根据所述目标问题、所述第一记忆信息、所述第二记忆信息和所述第三记忆信息生成第一输入序列;以及
7、将所述第一输入序列输入所述目标模型中,得到所述目标问题的第一回复结果。
8、在上述实现过程中,通过分别获取最近轮次的第一记忆信息、更早历史的第二记忆信息以及从摘要文件检索得到的第三记忆信息,在存在记忆召回需求时,将三类记忆信息和目标问题同时输入模型中,实现记忆保留窗口与召回加载窗口的解耦,既能够拓展可访问的历史记忆覆盖范围,又不必在每次交互中无差别加载全部历史对话,从而在保障历史记忆覆盖广度的同时兼顾模型推理的运行效率。
9、在第一方面的一些可能的实现方式中,所述根据摘要文件确定第三记忆信息的步骤,包括:
10、将所述摘要文件的关键词与所述目标问题进行匹配,并根据匹配结果将所述摘要文件中匹配度大于第一预设阈值的文件,作为第一摘要文件;
11、将所述目标问题和所述第一摘要文件的摘要字段组合为筛选提示;
12、将所述筛选提示输入预设第一模型中,输出判断结果;以及
13、根据所述判断结果,从所述第一摘要文件中确定第二摘要文件,作为所述目标问题的所述第三记忆信息。
14、在上述实现过程中,通过对摘要文件采用先关键词粗筛、后模型精筛的两级检索策略,可以在第一阶段通过轻量级的关键词匹配快速过滤掉大量不相关的摘要文件,仅将匹配度达到阈值的少数候选摘要文件送入第二阶段的模型精筛,降低精筛阶段需要处理的数据量,减少模型调用次数和计算资源消耗,满足车载场景下的实时响应要求。
15、在第一方面的一些可能的实现方式中,所述将所述摘要文件的关键词与所述目标问题进行匹配的步骤,还包括:
16、若所述摘要文件中不存在匹配度大于所述第一预设阈值的文件,则获取各所述摘要文件的实体字段;
17、将所述实体字段与所述目标问题进行匹配;以及
18、将所述摘要文件中匹配度大于第二预设阈值的文件,作为第一摘要文件。
19、在上述实现过程中,在关键词匹配无法命中任何候选摘要文件时,自动切换至基于实体字段的备用检索路径,利用对话历史中预抽取的结构化实体信息与目标问题进行实体级匹配,以实体匹配分数重新选取候选摘要文件,提升指代表达场景下的召回率。
20、在第一方面的一些可能的实现方式中,所述根据所述目标问题、所述第一记忆信息、所述第二记忆信息和所述第三记忆信息生成第一输入序列的步骤,包括:
21、根据第三记忆信息和预设资料确定系统角色消息段;
22、将所述第一记忆信息和所述第二记忆信息按照轮次拆分为消息对,并根据所述消息对确定对话角色消息段;以及
23、将所述系统角色消息段、所述对话角色消息段和所述目标问题进行拼接,生成第一输入序列。
24、在上述实现过程中,将不同层级来源的记忆信息按照消息角色进行差异化注入,系统角色中的内容是系统提供的背景参考资料,对话角色中的内容是历史对话中真实发生过的交互。使目标模型能够根据消息角色区分信息来源,降低了模型将参考资料误认为自身历史输出而生成幻觉内容的风险。
25、在第一方面的一些可能的实现方式中,所述判断所述目标问题是否存在记忆召回需求的步骤之后,还包括:
26、在所述目标问题不存在记忆召回需求的情况下,根据所述目标问题和所述第一记忆信息生成第二输入序列;以及
27、将所述第二输入序列输入所述目标模型中,得到所述目标问题的第二回复结果。
28、在上述实现过程中,在判断目标问题不存在记忆召回需求时,直接跳过第二记忆信息和第三记忆信息的获取流程,仅基于目标问题和第一记忆信息生成精简的第二输入序列并输入目标模型得到回复。使系统在无需历史记忆的对话场景中避免了不必要的全量召回和检索开销,以最小的token消耗和最低的决策延迟完成响应。
29、在第一方面的一些可能的实现方式中,所述将所述第一输入序列输入所述目标模型中,得到所述目标问题的第一回复结果的步骤之后,还包括:
30、将所述目标问题和第一回复结果输入预设第二模型中,输出本轮对话记录的轮次摘要和实体索引;以及
31、根据所述轮次摘要和所述实体索引将所述本轮对话记录写入历史对话记录。
32、在上述实现过程中,在每轮对话写入时即调用轻量模型生成轮次摘要和实体索引两项元数据,使得实体抽取和摘要生成的计算开销被分摊到每一轮对话的写入阶段,当后续触发在线压缩时,可直接读取各轮对话的轮次摘要聚合出目标提示词、读取各轮对话的实体索引聚合出目标实体字段,而无需在压缩阶段重新调用模型抽取实体或生成摘要,既降低了压缩阶段的延迟和资源消耗。
33、在第一方面的一些可能的实现方式中,所述根据所述轮次摘要和所述实体索引将所述本轮对话记录写入历史对话记录的步骤之后,还包括:
34、在所述历史对话记录中的对话轮次大于预设压缩阈值,或所述历史对话记录的词元数量超过预设数量阈值的情况下,获取所述历史对话记录中的待压缩对话记录;
35、对所述待压缩对话记录进行压缩,生成目标摘要字段;
36、根据各所述待压缩对话记录的轮次摘要确定目标提示词,并根据各所述待压缩对话记录的实体索引确定目标实体字段;以及
37、根据所述目标摘要字段、所述目标提示词和所述目标实体字段生成目标摘要文件。
38、在上述实现过程中,在历史对话记录中的对话轮次或词元数量达到预设阈值时触发在线压缩,完成近期历史对话向长期归档摘要的转换,缩减在线缓存的历史对话数据量,同时完整保留主题、实体两类检索元数据,保证后续长期记忆检索功能可以正常执行。
39、第二方面,本技术还提出一种模型对话装置,所述模型对话装置包括:
40、获取模块,用于获取第一记忆信息以及用户输入的目标问题,所述第一记忆信息是用户与目标模型之间的历史对话记录;
41、判断模块,用于判断所述目标问题是否存在记忆召回需求;
42、确定模块,用于在所述目标问题存在记忆召回需求的情况下,获取第二记忆信息,并根据摘要文件确定第三记忆信息,所述第二记忆信息是所述历史对话记录中位于所述第一记忆信息之前的对话记录,所述摘要文件由第二记忆信息之前的历史对话记录压缩生成;
43、生成模块,用于根据所述目标问题、所述第一记忆信息、所述第二记忆信息和所述第三记忆信息生成第一输入序列;以及
44、输入模块,用于将所述第一输入序列输入所述目标模型中,得到所述目标问题的第一回复结果。
45、第三方面,本技术还提出一种模型对话设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的模型对话方法的步骤。
46、第四方面,本技术还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的模型对话方法的步骤。
47、关于上述第二方面、第三方面和第四方面中任一技术方案的有益效果,可参照第一方面中的对应技术方案的有益效果,重复之处此处不再列举。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com