代码生成中的上下文管理方法和系统与流程
本技术属于人工智能与软件工程交叉,尤其涉及一种代码生成中的上下文管理方法和系统。
背景技术:
1、随着大语言模型(large language model,llm)在代码生成、编程辅助等任务中的广泛应用,利用人工智能代理(artificial intelligence agent,agent)自主进行多轮代码交互和修改已成为一种开发模式。在嵌入式系统等软件开发场景中,agent需要在多轮交互中持续理解项目结构、编辑代码文件、调用编译和测试工具,以完成开发任务。
2、在上下文空间受限时,现有上下文管理技术对上下文中的代码元素和对话内容采用统一的截断或压缩方式,造成代码生成所需的声明、定义或配置信息缺失,agent生成的代码出现编译错误。
3、在上下文空间受限时,现有上下文管理技术对上下文中的代码元素和对话内容采用相同的压缩处理方式,造成代码生成所需的代码依赖关系和配置约束信息不完整,agent生成的代码出现逻辑错误。
技术实现思路
1、本技术实施例提供了一种代码生成中的上下文管理方法和系统,旨在解决现有技术中,因上下文管理机制的缺陷而导致代码生成质量低、任务成功率不高的技术问题。
2、第一方面,本技术实施例提供了一种代码生成中的上下文管理方法,所述方法包括:
3、对包含c语言源代码和对话历史的上下文进行结构化解析,识别并分类所述上下文中的结构性元素和非结构性元素;
4、当满足压缩触发条件时,根据当前活跃轮次与历史结构性元素之间的依赖引用关系,对所述结构性元素进行优先级保护,使被所述当前活跃轮次引用的结构性元素完整保留;
5、对未被优先级保护的结构性元素和非结构性元素进行差异化压缩;
6、将经过优先级保护的结构性元素、经过差异化压缩的结构性元素、以及经过差异化压缩的非结构性元素进行重组,生成供大语言模型使用的优化上下文。
7、在第一方面的一种可能的实现方式中,所述结构性元素包括头文件依赖链、编译期符号定义、寄存器映射、静态配置表和函数调用拓扑;对所述函数调用拓扑进行压缩时,至少保留所述当前活跃轮次修改点涉及的直接调用者和直接被调用者两层邻接调用关系;
8、所述非结构性元素包括自然语言描述、agent推理过程、工具执行结果和编译报错输出。
9、在第一方面的一种可能的实现方式中,所述根据当前活跃轮次与历史结构性元素之间的依赖引用关系,对所述结构性元素进行优先级保护,使被所述当前活跃轮次引用的结构性元素完整保留,包括:
10、当所述当前活跃轮次显式或隐式引用历史轮次中的头文件或函数定义时,通过依赖传递锁定机制禁止对所述头文件或所述函数定义进行压缩或降级;
11、所述编译期符号定义保留完整键值对或完整声明关系,并根据所述编译期符号定义在历史命令中的使用频率进行排序,以保留使用频率达到预设频率阈值的编译期符号定义,舍弃使用频率未达到所述预设频率阈值的编译期符号定义。
12、在第一方面的一种可能的实现方式中,所述对未被优先级保护的结构性元素和非结构性元素进行差异化压缩,包括:
13、对所述上下文中的源代码生成保留c语言声明级信息的摘要,以及对所述结构性元素中的静态配置表执行差分压缩。
14、在第一方面的一种可能的实现方式中,所述c语言声明级信息包括函数签名、类型定义和宏展开后的常量值;
15、所述摘要按照粒度分为l1级摘要、l2级摘要和l3级摘要;
16、所述l1级摘要为文件级概览,保留文件名和文件功能描述;
17、所述l2级摘要为模块级信息,保留函数列表和全局变量列表;
18、所述l3级摘要为语句级信息,保留条件判断语句、赋值语句和函数调用语句。
19、在第一方面的一种可能的实现方式中,所述对所述结构性元素中的静态配置表执行差分压缩,包括:
20、将所述静态配置表的基线版本以折叠摘要形式存储,所述折叠摘要保留表头、总行数、索引起始值和索引结束值;
21、将所述静态配置表被修改的差异行以完整形式保留,并附带原值注释。
22、在第一方面的一种可能的实现方式中,所述方法还包括:
23、当单个所述静态配置表在所述上下文中的令牌占用超过预设比例阈值时,触发所述差分压缩。
24、在第一方面的一种可能的实现方式中,所述方法还包括:
25、在执行所述差异化压缩前,计算所述结构性元素的完整性基线sbaseline和当前即时结构性分数scurrent;
26、计算所述完整性基线sbaseline与所述当前即时结构性分数scurrent的差值,并计算所述差值与所述完整性基线sbaseline的比值;
27、若所述比值大于预设损失阈值,则放弃对所述结构性元素的压缩,仅释放所述非结构性元素,并触发外部向量检索或磁盘缓存置换,以置换历史轮次记录。
28、在第一方面的一种可能的实现方式中,所述压缩触发条件包括所述上下文的令牌使用率达到预设使用率阈值;
29、所述差异化压缩根据所述令牌使用率执行三级压缩策略:
30、当所述令牌使用率达到预设第一使用率阈值且未达到预设第二使用率阈值时,执行l1轻度压缩,按时间顺序从最早的对话轮次开始截断所述非结构性元素;
31、当所述令牌使用率达到预设第二使用率阈值且未超过预设第三使用率阈值时,执行l2中度压缩,对历史轮次生成l2级摘要;
32、当所述令牌使用率超过预设第三使用率阈值时,执行l3深度压缩,对历史轮次的结构性元素执行降级保留,对非结构性元素生成l1级摘要;
33、所述当前活跃轮次对应的完整交互及其前一轮对应的完整交互不受所述差异化压缩影响;所述完整交互包括用户提问、agent回复和工具执行结果。
34、第二方面,本技术实施例提供了一种代码生成中的上下文管理系统,包括:
35、上下文解析模块,用于对包含c语言源代码和对话历史的上下文进行结构化解析,识别并分类所述上下文中的结构性元素和非结构性元素;
36、优先级保护模块,用于当满足压缩触发条件时,根据当前活跃轮次与历史结构性元素之间的依赖引用关系,对所述结构性元素进行优先级保护,使被所述当前活跃轮次引用的结构性元素完整保留;
37、差异化压缩模块,用于对未被优先级保护的结构性元素和非结构性元素进行差异化压缩;
38、上下文重组模块,用于将经过优先级保护的结构性元素、经过差异化压缩的结构性元素、以及经过差异化压缩的非结构性元素进行重组,生成供大语言模型使用的优化上下文。
39、第三方面,本技术实施例提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的代码生成中的上下文管理方法。
40、第四方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中任一项所述的代码生成中的上下文管理方法。
41、第五方面,本技术实施例提供了一种计算机程序产品,当计算机程序产品在计算机设备上运行时,使得计算机设备执行上述第一方面中任一项所述的代码生成中的上下文管理方法。
42、本技术实施例,通过对包含c语言源代码和对话历史的上下文进行结构化解析,识别并分类结构性元素和非结构性元素,使得在上下文空间受限时能够区分不同类型的元素,避免因统一截断或压缩造成代码生成所需的声明、定义或配置信息缺失,从而降低agent生成的代码出现编译错误的可能。当满足压缩触发条件时,根据当前活跃轮次与历史结构性元素之间的依赖引用关系,对结构性元素进行优先级保护,使被当前活跃轮次引用的结构性元素完整保留,有利于保持代码依赖关系和配置约束信息的完整性,减少agent生成的代码出现逻辑错误。对未被优先级保护的结构性元素和非结构性元素进行差异化压缩,并将经过优先级保护的结构性元素、经过差异化压缩的结构性元素以及经过差异化压缩的非结构性元素进行重组,生成供大语言模型使用的优化上下文,提高了上下文空间的利用效率,使有限的上下文窗口能够容纳更多轮次的交互信息,从而提升代码生成的成功率。
43、可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com