一种多轮对话上下文捕获压缩方法及系统与流程
本发明涉及多轮对话上下文管理,具体涉及一种多轮对话上下文捕获压缩方法及系统。
背景技术:
1、随着大语言模型及智能体技术在后端业务系统中的应用增加,java后端应用与人工智能服务之间的交互日益频繁。在智能客服、企业知识问答、流程智能体、检索增强问答和工具调用型智能体等场景中,系统需要持续维护用户输入、模型回复、工具调用参数、工具执行结果、异常事件和会话状态等多轮对话上下文。
2、现有上下文管理方式多依赖上层业务代码主动调用摘要、截断或记忆管理接口。该类方式通常要求业务系统显式引入特定人工智能框架,并在智能体主流程中手动编写历史截断、令牌计算和摘要生成逻辑,使业务逻辑与人工智能治理逻辑高度耦合。对于已经上线的业务系统、第三方闭源模型接口或者多框架混合系统,该类方式难以在不修改业务源代码的情况下进行统一治理。
3、在java高并发应用中,智能体经常通过线程池、异步回调或并行工具调用方式访问外部工具。传统线程局部上下文只能在当前线程内保存状态,当任务跨线程执行时,会话标识、链路标识和历史对话队列等信息容易丢失,导致多轮对话状态断裂;当线程池复用线程且线程局部上下文未被及时清理时,还可能造成不同会话之间的上下文串线。
4、同时,随着对话轮次和工具调用次数增加,若每次请求均将全部历史上下文发送给大语言模型,会导致令牌消耗升高、网络传输延迟增加、模型推理时间延长,并可能因超过模型最大上下文窗口而导致调用失败。因此,本发明提出一种多轮对话上下文捕获压缩方法及系统。
技术实现思路
1、本发明的目的在于提供一种多轮对话上下文捕获压缩方法及系统,以解决现有多轮对话上下文治理依赖业务代码显式接入、异步线程上下文易丢失以及历史上下文过长的问题。
2、为实现上述目的,本发明提供了如下技术方案:
3、一种多轮对话上下文捕获压缩方法,包括:
4、在java应用类加载阶段,由java代理程序拦截待加载类字节码,根据预设类名匹配规则和预设方法签名匹配规则,在待加载类字节码中确定目标交互方法及异步提交方法,目标交互方法包括大语言模型调用方法和智能体工具执行方法;
5、在目标交互方法的入口位置、正常返回位置和异常返回位置植入上下文捕获指令,在异步提交方法中植入上下文快照指令,得到增强交互方法和增强异步提交方法;
6、当增强交互方法被调用时,根据上下文捕获指令采集入参、返回值、异常信息及当前线程上下文对象,根据当前线程上下文对象中的会话标识生成结构化上下文记录,并写入对应会话的线程安全历史队列;
7、根据所述结构化上下文记录的内容长度和消息类型计算令牌估算值,并汇总得到所述线程安全历史队列的总令牌估算值;
8、当总令牌估算值达到压缩阈值时,对所述线程安全历史队列执行早期记录截断、历史摘要替换和强制保留压缩,得到压缩上下文队列;
9、当增强异步提交方法被调用时,复制当前线程上下文对象形成上下文快照,在异步任务执行前还原至子线程,并在异步任务结束后清理子线程上下文,在后续大语言模型调用前,根据总令牌估算值是否达到压缩阈值,选择压缩上下文队列或未压缩上下文队列作为上下文输入。
10、进一步地,在预先获取的待加载类字节码中确定目标交互方法及异步提交方法,包括:解析待加载类字节码,提取待加载类的类标识和方法描述信息;当类标识满足预设类名匹配规则时,将方法描述信息与预设方法签名匹配规则进行匹配;将满足大语言模型调用方法或智能体工具执行方法的待加载方法确定为目标交互方法,将满足异步任务提交规则的待加载方法确定为异步提交方法;根据目标交互方法的入口位置、正常返回位置和异常处理范围,以及异步提交方法的任务接收位置,生成增强目标信息。
11、进一步地,根据当前线程上下文对象中的会话标识生成结构化上下文记录,并写入对应会话的线程安全历史队列,包括:根据入口处采集的入参生成待完成上下文记录,为所述待完成上下文记录写入会话标识、调用序号、消息类型和记录状态;当正常返回位置采集到返回值时,将返回值内容写入所述待完成上下文记录或生成与所述待完成上下文记录关联的结果记录;当异常返回位置采集到异常信息时,将异常类型和异常摘要写入所述待完成上下文记录或生成与所述待完成上下文记录关联的错误事件记录;将生成或更新后的待完成上下文记录、结果记录或者错误事件记录作为结构化上下文记录,按照调用序号写入对应会话的线程安全历史队列。
12、进一步地,当所述入参为智能体工具执行方法的工具名称和工具参数时,根据入口处采集的入参生成待完成上下文记录,包括:根据工具名称和工具参数生成工具调用占位记录,写入工具调用标识和等待结果状态;在采集到工具执行结果时,按工具调用标识查找工具调用占位记录,将记录更新为已完成状态并生成关联结果记录;在采集到工具执行异常时,将记录更新为异常状态并生成关联错误事件记录。
13、进一步地,根据上下文捕获指令采集返回值,包括:当正常返回位置采集到的返回值为流式响应对象时,对所述流式响应对象设置片段接收处理和结束触发处理;在流式片段到达时,将片段内容、片段顺序、到达时间和会话标识写入临时片段缓存;在结束触发处理被执行时,按照片段顺序拼接临时片段缓存中的片段内容,生成模型回复记录并写入线程安全历史队列;在流式响应被取消或发生异常时,将已接收片段内容和取消原因或异常信息生成未完成回复记录,并写入线程安全历史队列。
14、进一步地,根据所述结构化上下文记录的内容长度和消息类型计算令牌估算值,包括:统计结构化上下文记录中的中文字符数量和外文词数量,得到基础令牌估算值;根据结构化上下文记录的消息类型确定消息类型修正值;利用消息类型修正值对基础令牌估算值进行修正,得到结构化上下文记录的令牌估算值;将同一会话的线程安全历史队列中各结构化上下文记录的令牌估算值进行累加,得到总令牌估算值;根据目标大语言模型的最大上下文窗口和预设触发比例确定压缩阈值。
15、进一步地,对所述线程安全历史队列执行早期记录截断、历史摘要替换和强制保留压缩,得到压缩上下文队列,包括:根据结构化上下文记录的消息类型、产生顺序、内容长度和记录状态确定压缩顺序;按照压缩顺序,从线程安全历史队列中选取早期非关键记录和过长工具返回记录执行早期记录截断;若早期记录截断后总令牌估算值仍达到压缩阈值,则对早于最近对话窗口的历史记录执行历史摘要替换;若历史摘要替换后总令牌估算值仍达到压缩阈值,则保留系统提示、最近预设轮数对话和关键工具结果,并对其余记录执行强制保留压缩;将经早期记录截断、历史摘要替换或强制保留压缩后的记录按照原调用顺序组合,得到压缩上下文队列。
16、进一步地,对早于最近对话窗口的历史记录执行历史摘要替换,包括:从线程安全历史队列中选取早于最近对话窗口且未被强制保留的连续历史记录;从所述连续历史记录中提取用户意图、模型结论、工具执行结果、未完成事项和错误修正信息,生成摘要输入内容;根据摘要输入内容生成历史摘要记录;当历史摘要记录生成成功且校验通过时,以历史摘要记录替换所述连续历史记录;当历史摘要记录生成失败、等待超时或校验不通过时,保留所述连续历史记录,并继续执行早期记录截断作为兜底压缩。
17、进一步地,复制当前线程上下文对象形成上下文快照,在异步任务执行前还原至子线程,并在异步任务结束后清理子线程上下文,包括:当增强异步提交方法被调用时,从当前线程上下文对象中读取会话标识、链路标识、线程安全历史队列和压缩版本;对会话标识和链路标识进行引用复制,并对线程安全历史队列和压缩版本进行隔离复制,得到上下文快照;将上下文快照与待提交的异步任务组合为可恢复任务;在可恢复任务于子线程执行前,将上下文快照写入子线程的线程局部变量;在可恢复任务正常结束、异常结束或被取消时,删除子线程的线程局部变量或恢复子线程原有线程局部变量。
18、一种多轮对话上下文捕获压缩系统,包括:
19、目标方法确定模块,用于在java应用类加载阶段,由java代理程序拦截待加载类字节码,根据预设类名匹配规则和预设方法签名匹配规则,在待加载类字节码中确定目标交互方法及异步提交方法,目标交互方法包括大语言模型调用方法和智能体工具执行方法;
20、目标方法增强模块,用于在目标交互方法的入口、正常返回位置和异常返回位置植入上下文捕获指令,在异步提交方法中植入上下文快照指令,得到增强交互方法和增强异步提交方法;
21、记录写入模块,用于当增强交互方法被调用时,根据上下文捕获指令采集入参、返回值、异常信息及当前线程上下文对象,根据当前线程上下文对象中的会话标识生成结构化上下文记录,并写入对应会话的线程安全历史队列;
22、令牌估算模块,用于根据所述结构化上下文记录的内容长度和消息类型计算令牌估算值,并汇总得到所述线程安全历史队列的总令牌估算值;
23、上下文压缩模块,用于当总令牌估算值达到压缩阈值时,对所述线程安全历史队列执行早期记录截断、历史摘要替换和强制保留压缩,得到压缩上下文队列;
24、异步上下文透传模块,用于当增强异步提交方法被调用时,复制当前线程上下文对象形成上下文快照,在异步任务执行前还原至子线程,并在异步任务结束后清理子线程上下文,在后续大语言模型调用前,根据总令牌估算值是否达到压缩阈值,选择压缩上下文队列或未压缩上下文队列作为上下文输入。
25、本发明具有以下有益效果:
26、1、本发明在java应用类加载阶段通过java代理程序对目标交互方法和异步提交方法进行字节码增强,在不修改业务源代码的情况下捕获大语言模型调用、智能体工具执行和异步任务提交过程中的上下文数据;
27、2、本发明通过结构化上下文记录和线程安全历史队列,使多轮对话上下文能够统一追加、更新、估算和压缩,根据结构化上下文记录的内容长度和消息类型进行令牌估算,并在达到压缩阈值时执行早期记录截断、历史摘要替换和强制保留压缩,在保留系统提示、最近对话和关键工具结果的基础上减少后续大语言模型调用的上下文输入长度;
28、3、本发明在异步提交方法中植入上下文快照指令,在任务提交时复制当前线程上下文对象,在子线程执行前还原,并在任务结束后清理子线程上下文,从而降低跨线程上下文丢失、线程池复用串线和线程局部变量残留风险。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com