一种面向大语言模型智能体的大载荷字段识别与占位方法与流程
本技术涉及人工智能与大语言模型智能体,特别涉及一种面向大语言模型智能体的大载荷字段识别与占位方法。
背景技术:
1、大语言模型智能体在多轮工具调用中常面临一个核心工程挑战:工具返回结果中的大载荷字段(如base64编码图像、长文本、二进制数据等)若直接拼入大语言模型(largelanguage model,llm)消息历史,会迅速耗尽上下文窗口、大幅抬升推理成本、并稀释有效语义。为解决此问题,学界与工业界提出的主流思路是:将大载荷字段以某种紧凑表示替换后交付llm,真实数据存入辅助存储,后续按需还原,现有技术主要存在以下三类方案:
2、第一类为手工工具级裁剪方案,即要求工具开发者在各自的工具函数内部自行裁剪大字段,该方案要求开发者了解上下文机制,且每个工具需重复实现裁剪逻辑,跨工具不可复用,维护成本高。
3、第二类为语义推理式识别与编码方案,其通过语义模型对前序工具执行结果进行语义分析,并对目标工具描述进行多维度语义识别,再计算数据段与工具的相关度以选出待编码的目标数据,最后将目标数据编码为占位符变量并关联存储。然而,该方案存在显著局限:需要额外调用语义模型,单次识别耗时达数百毫秒甚至数秒,在多轮工具调用场景下累积延迟严重且产生额外经济成本;语义模型输出存在概率性扰动,导致占位策略不可复现、调试困难,难以满足合规与审计要求;该方案偏重数据与下一工具的相关度决策维度,而对数据本身是否属于需要卸载的大载荷格式缺乏直接抓手,容易漏识别体积巨大的数据或误识别体积很小的数据;此外,该方案生成的占位符通常仅含单一标识符,缺乏类型、规模、预览、位置等元信息,大语言模型在后续推理中难以有效利用占位符本身作为提示。
4、第三类为参数差分方案,其将当前轮次工具调用的原始参数与上一轮次参数做差分以降低重复传递,但该方案解决的是参数跨轮次重复传递问题,与工具返回结果中的大载荷字段处理属于不同技术维度,不构成替代方案。
5、此外,业界还存在若干与本技术技术路径不同的相关方案:密码学敏感信息占位符方案面向用户输入数据中的敏感片段,通过加密散列生成不含类型语义的密码学占位符以保护隐私安全,其保护目的、处理对象、占位符结构及处理阶段均与本技术存在本质区别;llm输出端最小化格式方案通过系统提示指示大语言模型以最小化格式输出以降低输出令牌数,其作用于大语言模型输出侧,与本技术优化输入上下文侧的技术方向完全相反。
6、综上所述,现有技术在大载荷字段的识别效率、识别确定性、大载荷召回率以及占位符结构化程度等方面仍存在不足。
技术实现思路
1、基于此,本技术实施例提供了一种面向大语言模型智能体的大载荷字段识别与占位方法,针对现有"语义推理式"载荷识别方法存在推理成本高、不可预测、额外延迟大等固有缺陷,提供一种“纯确定性规则的高效识别”与“六维结构化占位”方案,适用于外观设计专利侵权判定、图像理解智能体、多模态智能问答等需处理大体积中间数据的智能体技术方案。
2、第一方面,提供了一种面向大语言模型智能体的大载荷字段识别与占位方法,方法应用于智能体的工具调用过程,所述方法包括:
3、s1、接收工具执行完成后返回的原始结果,对原始结果执行深度优先递归扫描,对原始结果中每一叶节点的字段进行卸载判定;其中,所述字段包括字段名和字段值;
4、s2、根据调用方是否显式传入长度阈值参数在启发式模式与显式模式之间自动切换判定策略;其中,调用方未传入时进入启发式模式,调用方显式传入时进入显式模式;
5、s3、在启发式模式下,基于字段名启发式规则、base64特征检测规则及长度阈值规则的三重确定性规则组合判定所述字段是否需要卸载,任一规则命中即标记该字段需要卸载;在显式模式下,仅基于调用方传入的长度阈值判定所述字段是否需要卸载;
6、s4、对判定为需要卸载的字段生成会话内唯一的引用标识,将字段真实值与引用标识的映射关系存入会话级引用池;
7、s5、以包含引用标识、数据类型、原始字节长度、内容前导预览、数组下标及人类可读标签的六维结构化占位对象置换该字段值,得到占位后的紧凑结果;
8、s6、将所述紧凑结果交付给所述大语言模型作为后续多轮推理的上下文输入。
9、可选地,基于字段名启发式规则、base64特征检测规则及长度阈值规则中,具体包括:
10、字段名启发式规则判断字段名是否属于预设的大载荷关键字段名白名单且字段值长度不小于预设的启发式短阈值;其中,启发式短阈值取100字节;
11、base64特征检测规则判断字段值长度不小于100字节且其前n个字符与base64编码字符集正则完成全匹配且字段值长度不小于预设的默认长度阈值;其中,n为预设的特征采样长度取200,默认长度阈值取1024字节;
12、长度阈值规则判断字段值长度不小于预设的长文本阈值;其中,长文本阈值取8192字节;
13、另外,所述大载荷关键字段名白名单至少包括:image、images、data、content、base64、image_base64、b64、raw、bytes、file中的一项;所述显式模式下判定字段值长度是否不小于调用方显式传入的长度阈值。
14、可选地,所述三重确定性规则组合判定采用短路求值方式,按字段名启发式规则、base64特征检测规则、长度阈值规则的先后顺序执行,任一规则命中即返回需要卸载的判定结果并停止后续规则执行。
15、可选地,所述生成会话内唯一的引用标识包括:
16、依据字段名推断类型前缀;生成通用唯一标识符并取其哈希值的前8位十六进制字符;将所述类型前缀、下划线及所述前8位十六进制字符拼接为标识主体;将固定前缀ref:与所述标识主体拼接为完整引用标识字符串;将所述引用标识与字段真实值的映射关系写入以会话标识为命名空间隔离的会话级引用池;
17、其中,所述类型前缀推断规则为:当字段名命中大载荷关键字段名白名单中的某项时取当前项名称,当字段名未命中白名单但base64特征检测规则命中时取预设值payload,当仅长度阈值规则命中时取预设值text。
18、可选地,所述六维结构化占位对象中数据类型字段的取值依据三重规则的命中情况确定:
19、当base64特征检测规则命中时取值为base64,当长度阈值规则命中且base64特征检测规则未命中时取值为text;所述内容前导预览字段仅在数据类型字段取值为text时设置,且取值为字段值的前500个字符;所述数组下标字段及人类可读标签字段仅在对应字段位于数组结构中时设置,所述数组下标字段取值为字段在所属数组中的下标加1,所述人类可读标签字段取值为依据所述下标生成的人类可读标签字符串。
20、可选地,所述会话级引用池以会话标识为命名空间进行隔离,同一会话内多轮工具调用共享同一引用池,不同会话之间引用池完全隔离,且引用池的生命周期与会话的生命周期绑定,会话结束时引用池被整体释放;所述占位后的紧凑结果与所述原始结果保持结构同构,即嵌套层次、字段名、字段顺序均保持不变,仅需要卸载的叶节点字段的值被替换为六维结构化占位对象。
21、可选地,所述引用标识采用类型前缀与通用唯一标识符缩短哈希组合的结构化构造,所述类型前缀为后续引用标识容错解析提供可识别的语义锚点。
22、可选地,所述方法还包括:在所述大语言模型基于所述紧凑结果生成下一轮工具调用参数后,对所述工具调用参数进行深度优先递归扫描,对其中每一以固定前缀为开头的字符串值,从所述会话级引用池中查找对应的真实数据并进行还原,得到还原后的参数;将所述还原后的参数作为实际入参传入目标工具函数执行。
23、第二方面,提供了一种面向大语言模型智能体的大载荷字段识别与占位系统,该系统包括:
24、扫描模块,用于接收工具执行完成后返回的原始结果,对原始结果执行深度优先递归扫描,对原始结果中每一叶节点的字段进行卸载判定;其中,所述字段包括字段名和字段值;
25、模式切换模块,用于根据调用方是否显式传入长度阈值参数在启发式模式与显式模式之间自动切换判定策略;其中,调用方未传入时进入启发式模式,调用方显式传入时进入显式模式;
26、规则判定模块,用于在启发式模式下基于字段名启发式规则、base64特征检测规则及长度阈值规则的三重确定性规则组合判定所述字段是否需要卸载,以及在显式模式下仅基于调用方传入的长度阈值判定所述字段是否需要卸载;
27、引用生成模块,用于对判定为需要卸载的字段生成会话内唯一的引用标识,将字段真实值与引用标识的映射关系存入会话级引用池;
28、占位置换模块,用于以包含引用标识、数据类型、原始字节长度、内容前导预览、数组下标及人类可读标签的六维结构化占位对象置换该字段值,得到占位后的紧凑结果;
29、上下文交付模块,用于将所述紧凑结果交付给所述大语言模型作为后续多轮推理的上下文输入。
30、第三方面,提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述面向大语言模型智能体的大载荷字段识别与占位方法的步骤。
31、本技术实施例提供的技术方案带来的有益效果至少包括:
32、(1)采用纯确定性规则替代语义推理模型进行大载荷字段识别,通过字段名哈希查找、编码特征采样及长度比较等本地计算完成卸载判定,无需调用外部语义分析或推理模型。由此,单次识别耗时从依赖语义模型的高耗时推理大幅压缩为本地轻量级计算,在多轮工具调用的典型场景下显著降低累积延迟;同时完全消除了额外模型调用的经济成本,在长期运行的商用场景中可有效控制运营开销。
33、(2)所有卸载判定均由确定性规则驱动,相同输入必然产生相同输出,识别结果具备完全可复现性;每一识别决策均可精确回溯至具体命中的判定规则,形成可追溯的审计链条。此外,通过根据调用方是否显式传入长度阈值参数在启发式模式与显式模式之间自动切换,既能在通用场景下通过多重规则组合最大化大载荷召回率,又能在合规场景下以严格可预测的长度阈值判定满足审计与测试需求,提升了方法在不同业务场景下的适用性与灵活性。
34、(3)通过字段名启发式规则、编码特征检测规则与长度兜底规则的逻辑或组合判定,从字段命名规范、数据编码特征及内容长度三个独立维度对大载荷字段进行识别。即使字段名未按规范命名但实际携带大体积编码数据,或既非标准命名也非特定编码但确属超长文本,均能被有效捕获,从而显著提升大载荷字段的识别召回率,减少漏识别风险。同时,针对编码数据仅采集前段有限字符进行特征匹配,将检测时间复杂度从随字段长度线性增长压缩为常数级别,即使面对大体积编码字符串,检测耗时仍可维持在本地轻量级计算水平,显著提升了大规模数据处理场景下的识别效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com