智能计算云平台通过算力实现长上下文推理的Token级压缩方法及装置与流程
本发明涉及智能计算中心、智算中心、算力基础设施和智算云,具体涉及一种智能计算云平台通过算力实现长上下文推理的token级压缩方法及装置。
背景技术:
1、随着人工智能技术的快速发展,“智能计算中心”和“智算中心”应运而生。
2、“智能计算中心”是指通过使用大规模异构算力资源,包括通用算力和智能算力,主要为人工智能应用(如人工智能深度学习模型开发、模型训练和模型推理等场景)提供所需算力、数据和算法的设施。智能计算中心涵盖设施、硬件、软件,并可提供从底层算力到顶层应用使能的全栈能力。
3、“智能计算中心”包括但不限于“智算中心”。
4、“智算中心”即人工智能计算中心,是基于人工智能理论,采用人工智能计算架构,提供人工智能应用所需算力服务、数据服务和算法服务的一类算力基础设施。
5、“算力”是“智能计算中心”和“智算中心”的核心,是计算机设备或计算/数据中心处理参数的能力,是计算机硬件和软件配合共同执行某种计算需求的能力,是通过对参数数据进行处理,实现目标结果输出的计算能力,是集参数计算力、网络运载力、数据存储力于一体的新型生产力,主要通过算力基础设施向社会提供服务。
6、在智能计算云平台应用场景中,大语言模型的上下文窗口正在不断扩大,但能够输入更多token并不必然代表模型能够更准确地完成推理。输入token越多,预填充阶段的计算量、kv cache占用的显存、跨设备传输开销、批处理等待时间和token计费成本通常越高。对于以算力为主营业务的智能计算云平台而言,低价值token会占用大量算力,却不能稳定提升回答质量。这是因为长上下文中普遍存在重复页眉页脚、目录、格式符号、寒暄语、模板说明、无关背景、重复段落、空表格字段、重复代码、旧版本说明以及已经完成的历史对话等低价值内容。与此相对,真正影响模型结论的往往是少量关键内容,例如任务目标、用户最新指令、合同金额和期限、审计异常凭证、代码函数签名和错误堆栈、表格字段以及检索证据。
7、现有技术中在对大模型的输入上下文进行处理时,通常采用直接输入长上下文、文档切块检索或摘要压缩等方法。但是,直接输入会让无关token继续消耗算力;基于块的检索粒度较粗,可能把大量无关句子连同证据一起输入;普通摘要具有生成性和不可逆性,容易遗漏否定词、例外条款、数字精度或代码边界条件,并且回答后难以追溯到原文证据。
8、可见,自智能计算中心出现以来,一直缺乏有效的长上下文压缩方案,导致压缩过程中难以实现算力降本与语义保真的动态平衡,这一问题是本领域亟待解决的难题。
技术实现思路
1、本发明提供一种智能计算云平台通过算力实现长上下文推理的token级压缩方法及装置,以解决现有技术中缺乏有效的长上下文压缩方案,导致压缩过程中难以实现算力降本与语义保真的动态平衡的问题。
2、为解决上述问题,本发明是这样实现的:
3、第一方面,本发明提供一种智能计算云平台通过算力实现长上下文推理的token级压缩方法,包括:
4、步骤s1、对智能计算云平台中大模型将要处理的原始上下文进行结构化解析得到token片段序列,并确定所述原始上下文对应推理任务的任务属性,以及所述token片段序列中各token片段的token属性;
5、步骤s2、根据所述token属性和所述任务属性,确定对应所述token片段的算力价值;
6、步骤s3、根据各所述token片段的所述算力价值,确定并执行对应的压缩策略;
7、步骤s4、根据所述任务属性和所述大模型的上下文位置敏感度,对压缩后的所述token片段进行重排,以得到目标上下文。
8、在一个实施例中,所述步骤s1包括:
9、步骤s1.1、获取用户输入内容以及与所述输入内容对应的基础控制信息作为所述原始上下文,其中,所述用户输入内容包括文档、多轮对话、检索片段、代码文件、表格以及视频转写文本中的至少一种,所述基础控制信息包括租户信息、权限信息、模型信息和预算信息中的至少一种;
10、步骤s1.2、将所述原始上下文解析为所述token片段,并获取所述token片段在所述原始上下文中的来源位置信息,其中,所述token片段中至少包括一个token;
11、步骤s1.3、将所述token片段与所述来源位置信息进行映射对齐,得到携带所述来源位置信息的所述token片段序列,其中,所述来源位置信息包括页码、段落、表格单元格、代码行号、对话轮次以及时间戳中的至少一种。
12、在一个实施例中,所述步骤s2包括:
13、步骤s2.1、根据所述token属性和所述任务属性,确定所述token片段的任务相关度、约束强度、规则强度、证据价值、关键数据强度、冲突强度以及风险强度中的至少一项作为正向评价指标;
14、步骤s2.2、根据所述token属性和所述任务属性,确定所述token片段的重复冗余程度、格式噪声程度以及任务无关程度中的至少一项作为负向评价指标;
15、步骤s2.3、基于预设权重参数对所述正向评价指标和所述负向评价指标进行加权计算,得到对应所述token片段的所述算力价值。
16、在一个实施例中,所述步骤s2.3包括:
17、步骤s2.3.1、基于预设权重参数对所述正向评价指标和所述负向评价指标进行加权计算,得到对应所述token片段的初始算力价值;
18、步骤s2.3.2、根据所述token属性,确定对应所述token片段与预设token特征集合的匹配结果,其中,所述预设token特征集合包括:至少一项高价值token特征,以及至少一项低价值token特征;
19、步骤s2.3.3、根据所述匹配结果对所述初始算力价值进行调整,以得到所述token片段的所述算力价值。
20、在一个实施例中,所述步骤s3包括:
21、步骤s3.1、实时获取所述智能计算云平台的运行环境参数和业务配置参数,其中,所述运行环境参数包括队列负载、显存余量和时延要求中的至少一项,所述业务配置参数包括租户等级、token预算、模型价格和成本模式中的至少一项;
22、步骤s3.2、基于所述运行环境参数和所述业务配置参数,确定初始压缩比例;
23、步骤s3.3、根据所述运行环境参数、所述业务配置参数以及所述任务属性,对初始压缩比例进行调整以得到目标压缩比例;
24、步骤s3.4、根据所述目标压缩比例和各所述token片段的所述算力价值,确定对应的所述压缩策略。
25、在一个实施例中,所述步骤s3还包括:
26、步骤s3.5、根据所述压缩策略识别确定高价值token片段和低价值token片段,并对所述高价值token片段进行保留处理,对所述低价值token片段执行差异化压缩处理。
27、在一个实施例中,所述步骤s3.5包括以下至少一项:
28、步骤s3.5.1、对于属于重复段落的所述低价值token片段,保留首次出现的完整片段,并在后续重复出现位置记录重复占位信息;
29、步骤s3.5.2、对于属于表格空字段的所述低价值token片段,删除所述表格空字段中的空值,并保留对应的行列结构关系;
30、步骤s3.5.3、对于属于代码重复片段的所述低价值token片段,保留所述代码重复片段中的函数签名、入口参数、返回值和变更行;
31、步骤s3.5.4、对于属于多轮对话的所述低价值token片段,保留最新指令、未完成事项和稳定偏好。
32、在一个实施例中,所述步骤s3还包括以下至少一项:
33、步骤s3.6、根据所述token属性从所述token片段序列中识别确定冲突token片段集合,对所述冲突token片段集合中的所述token片段进行保留处理并添加冲突标记,其中,所述冲突token片段集合中任意两个token片段之间存在语义冲突和/或风险等级冲突;
34、步骤s3.7、根据所述token属性中的任务类型从所述token片段序列中识别确定高价值token片段,并对所述高价值token片段进行保留处理。
35、在一个实施例中,所述步骤s4包括:
36、步骤s4.1、确定多个上下文逻辑分区;
37、步骤s4.2、根据所述token属性、所述任务属性以及所述大模型的上下文位置敏感度,将压缩后的所述token片段分别放置到对应的所述上下文逻辑分区中以得到所述目标上下文。
38、在一个实施例中,所述步骤s4还包括:
39、步骤s4.3、识别所述原始上下文中间隔距离超过设定距离阈值且具有逻辑关联关系的多个跨距离相关片段;
40、步骤s4.4、建立各所述跨距离相关片段之间的关联映射关系;
41、步骤s4.5、在重排生成所述目标上下文时,根据所述关联映射关系将具有所述逻辑关联关系的多个所述跨距离相关片段在所述目标上下文中关联放置。
42、在一个实施例中,所述方法还包括:
43、步骤s5、对压缩后的各个所述token片段建立对应的映射记录,并基于所述映射记录生成映射表,其中,所述映射表用于建立所述目标上下文中的各个所述token片段与所述原始上下文中对应位置的映射关系。
44、在一个实施例中,所述映射记录包括标识信息、来源位置信息、操作属性信息和安全校验信息中的至少一项,其中,
45、所述标识信息包括压缩后片段编号和原始文档编号;
46、所述来源位置信息包括页码、段落号、句子号、表格行列、代码文件路径、代码行号、对话轮次、视频时间戳和原始token范围中的至少一项;
47、所述操作属性信息包括所述token片段对应的压缩操作类型、保留原因和风险等级;
48、所述安全校验信息包括校验哈希值。
49、在一个实施例中,所述方法还包括:
50、步骤s6、获取基于所述目标上下文生成的回答结果,并对所述回答结果进行校验;
51、步骤s7、当检测到所述回答结果存在缺陷时,基于所述映射表查找与所述缺陷对应的目标token片段,并确定所述目标token片段在压缩与重排过程中的历史操作记录,其中,所述缺陷包括引用失败、证据缺失、信息遗漏和逻辑错误中的至少一项;
52、步骤s8、如果所述历史操作记录指示所述目标token片段未被保留处理,则提高与所述目标token片段具有相同token属性的token片段在后续推理任务中的保留优先级权重。
53、在一个实施例中,所述方法还包括:
54、步骤s9、基于预设周期统计各类所述token属性对应所述token片段在历史推理任务中的所述算力价值;
55、步骤s10、在识别到目标类别的token属性的所述算力价值持续低于预设算力价值阈值时,降低所述目标类别的token属性对应所述token片段在后续推理任务中的初始保留优先级。
56、第二方面,本发明还提供一种智能计算云平台通过算力实现长上下文推理的token级压缩装置,包括:
57、解析模块,用于对智能计算云平台中大模型将要处理的原始上下文进行结构化解析得到token片段序列,并确定所述原始上下文对应推理任务的任务属性,以及所述token片段序列中各token片段的token属性;
58、第一确定模块,用于根据所述token属性和所述任务属性,确定对应所述token片段的算力价值;
59、第二确定模块,用于根据各所述token片段的所述算力价值,确定并执行对应的压缩策略;
60、上下文重排模块,用于根据所述任务属性和所述大模型的上下文位置敏感度,对压缩后的所述token片段进行重排,以得到目标上下文。
61、第三方面,本发明还提供一种电子设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上述第一方面所述的智能计算云平台通过算力实现长上下文推理的token级压缩方法中的步骤。
62、第四方面,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的智能计算云平台通过算力实现长上下文推理的token级压缩方法中的步骤。
63、第五方面,本发明还提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现如上述第一方面所述的智能计算云平台通过算力实现长上下文推理的token级压缩方法中的步骤。
64、在本发明中,步骤s1、对智能计算云平台中大模型将要处理的原始上下文进行结构化解析得到token片段序列,并确定原始上下文对应推理任务的任务属性,以及token片段序列中各token片段的token属性;步骤s2、根据token属性和任务属性,确定对应token片段的算力价值;步骤s3、根据各token片段的算力价值,确定并执行对应的压缩策略;步骤s4、根据任务属性和大模型的上下文位置敏感度,对压缩后的token片段进行重排,以得到目标上下文。这样,通过算力价值评估动态调整压缩策略,对低价值token片段进行压缩处理以降低大模型的推理算力成本并提升响应时延,对高价值token片段进行锁定和重排处理以保护关键业务语义的完整性,实现了长上下文处理中算力降本与语义保真的动态平衡。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com