一种提示词缓存优化方法、装置、设备及存储介质与流程

本技术涉及人工智能智能体平台，具体而言，涉及一种提示词缓存优化方法、装置、设备及存储介质。

背景技术：

1、现有ai智能体平台在技能包管理与提示词组装过程中，通常采用全量加载策略，即在每次智能体会话启动时将当前工作空间订阅的全部技能包的完整技能文件（含工具参数定义、调用示例、错误处理规范等）一次性加载至提示词上下文中；全量加载策略会导致提示词长度持续膨胀，在大规模多技能场景下可达数万令牌；与此同时，由于完整技能文件中包含动态变化的内容，如时间戳、随机示例值、版本迭代产生的描述变更等，提示词前缀内容会频繁变动，难以与底层大语言模型服务的缓存机制形成有效匹配，缓存命中率普遍偏低。此外，全量加载方式将技能包的内部实现细节，例如mcp（model context protocol，模型上下文协议）服务配置、本地设备控制协议、凭证引用方式等，全部暴露于模型上下文之中，扩大了信息泄露面。当技能包版本更新时，由于完整文件整体变更，所有订阅该技能包的工作空间的缓存条目同步失效，引发连锁性缓存击穿。

2、因此，现有技术中存在提示词上下文冗余导致令牌消耗和响应延迟偏高、提示词前缀动态变化导致缓存命中率低下、技能内部细节过度披露导致安全风险扩大、版本迭代引发缓存大规模失效的技术问题。

技术实现思路

1、本技术的主要目的在于提供一种提示词缓存优化方法、装置、设备及存储介质，以解决现有技术中因全量加载技能文件导致提示词上下文冗余膨胀、缓存命中率低下、技能内部细节过度披露扩大信息泄露面、以及技能包版本迭代引发缓存大规模连锁失效的技术问题，实现了在保证智能体功能完整性的前提下，通过技能索引与完整技能文件的分离式加载方法，将稳定不变的技能概要信息作为缓存哈希的计算基础，按需加载动态完整的技能文件，有效提升缓存命中率、降低令牌消耗与响应延迟、缩小信息泄露面、并实现版本迭代与缓存稳定性的解耦的技术效果。

2、为了实现上述目的，本技术的第一方面，提出了一种提示词缓存优化方法，应用于服务器，包括：

3、响应于用户端的会话请求，获取当前工作空间关联的技能订阅数据；所述技能订阅数据包含技能包的索引信息，所述索引信息为技能包的概要描述信息，用于表征所述技能包的标识及可用功能边界；

4、根据所述各技能包的索引信息构建提示词的稳定前缀，并对所述稳定前缀进行哈希计算，得到稳定前缀哈希值；

5、将所述稳定前缀哈希值与预先存储的本地哈希值进行匹配；

6、若匹配成功，则获取所述稳定前缀哈希值关联的引用标识并发送至大语言模型，以指示所述大语言模型复用对应的已缓存的上下文表示；

7、若匹配失败，则将所述稳定前缀发送至所述大语言模型，以使所述大语言模型对所述各技能包的索引信息进行计算得到上下文表示并缓存；

8、根据所述上下文表示和所述会话请求生成响应文本并返回所述用户端。

9、在一个或多个可能的实施例中，所述将所述稳定前缀发送至所述大语言模型，以使所述大语言模型对所述各技能包的索引信息进行计算得到上下文表示并缓存之后，还包括：

10、接收所述大语言模型根据所述上下文表示生成的引用标识；

11、将所述引用标识与所述稳定前缀哈希值关联后存储至本地。

12、在一个或多个可能的实施例中，所述索引信息包括技能标识、技能名称、技能描述、适用场景、允许的模型上下文协议mcp方法标识列表、允许的本地工具标识列表、数据触达等级要求以及风险等级上限中至少一种。

13、在一个或多个可能的实施例中，还包括：

14、对所述会话请求进行意图识别，确定与所述会话请求对应的目标技能；

15、获取所述目标技能对应的技能文件，并将所述会话请求和所述技能文件发送至所述大语言模型；其中，所述技能文件包括目标技能的元数据、所述目标技能包含的至少一个工具的定义信息、所述目标技能关联的mcp配置信息、所述目标技能关联的本地工具配置信息以及所述目标技能的安全策略信息。

16、在一个或多个可能的实施例中，所述根据所述上下文表示和所述会话请求生成响应文本并返回所述用户端，包括：

17、接收所述大语言模型返回的工具调用指令；其中所述工具调用指令包含目标工具标识和调用参数；

18、根据所述目标工具标识和所述调用参数，调用对应的业务接口执行数据查询或设备控制操作，获得操作结果；

19、将所述操作结果发送至所述大语言模型，接收所述大语言模型根据所述操作结果生成的响应文本并返回至所述用户端。

20、在一个或多个可能的实施例中，还包括：

21、获取本次会话的哈希值匹配状态、所述本次会话消耗的总令牌数、以及所述大语言模型返回响应文本的首字节延迟时长；

22、确定预设时间窗口内所述哈希值匹配状态的未命中次数占比超过预设比例时，生成缓存优化提示；

23、确定所述总令牌数超过预设令牌阈值时，生成告警；

24、确定所述首字节延迟时长超过预设延迟阈值时，生成告警。

25、在一个或多个可能的实施例中，还包括：

26、获取所述当前工作空间关联的版本引用列表，所述版本引用列表中的每个版本引用包含技能包标识和对应的版本标识；

27、响应于技能包新版本的发布指令，将所述新版本的技能包内容写入对象存储的不可变存储区域，并生成所述新版本对应的新版本标识；

28、接收所述当前工作空间对应的版本升级指令，将所述当前工作空间的版本引用从旧版本标识切换为新版本标识，并更新所述当前工作空间对应的所述技能订阅数据。

29、第二方面，本技术提供一种提示词缓存优化装置，包括：

30、请求接收模块，用于响应于用户端的会话请求，获取当前工作空间关联的技能订阅数据；所述技能订阅数据包含技能包的索引信息，所述索引信息为技能包的概要描述信息，用于表征所述技能包的标识及可用功能边界；

31、哈希计算模块，用于根据所述各技能包的索引信息构建提示词的稳定前缀，并对所述稳定前缀进行哈希计算，得到稳定前缀哈希值；

32、缓存匹配模块，用于将所述稳定前缀哈希值与预先存储的本地哈希值进行匹配；

33、命中处理模块，若匹配成功，则获取所述稳定前缀哈希值关联的引用标识并发送至大语言模型，以指示所述大语言模型复用对应的已缓存的上下文表示；

34、未命中处理模块，若匹配失败，则将所述稳定前缀发送至所述大语言模型，以使所述大语言模型对所述各技能包的索引信息进行计算得到上下文表示并缓存；

35、响应生成模块，根据所述上下文表示和所述会话请求生成响应文本并返回所述用户端。

36、第三方面，本技术提供一种电子设备，所述设备包括：

37、至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面中任何一项所述的方法。

38、第四方面，本技术提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序用于使计算机执行如第一方面中任何一项所述的方法。

39、本技术的实施例提供的技术方案可以包括以下有益效果：

40、在本技术中，通过将技能包拆分为索引信息与完整技能文件两层结构，以索引信息作为稳定前缀进行哈希计算并用于缓存匹配，并按需加载对应的完整技能文件，同时以版本引用替代内容复制实现技能包的版本不可变治理，构建了技能索引渐进披露、稳定前缀缓存哈希复用、性能指标监控闭环与版本不可变治理的提示词缓存优化方法，实现了在大语言模型智能体平台中缓存命中率的大幅提升、令牌消耗与响应延迟的显著降低、技能内部细节信息泄露面的有效缩小，以及技能包版本迭代与缓存稳定性的完全解耦，从而兼顾了性能优化与安全管控的双重目标。