数据交互系统、智能体和智能体记忆处理方法与流程

本申请涉及电子设备，尤其涉及数据交互系统、智能体和智能体记忆处理方法。

背景技术：

1、在大语言模型推理过程中，系统通过键值缓存（key-value cache，简称为kvcache）存储注意力机制中的键和值矩阵，以避免对历史输入的重复计算。

2、然而，现有技术架构中，键值缓存主要集中存储于智能体的显存或高速内存，其生命周期通常仅限于单次会话或短周期临时存储，随会话结束即被释放，不会作为可长期复用的经验资产进行持久化管理。同时，相关技术将用户经验、领域知识仅以自然语言明文形式存储，每次任务执行时均需将明文追加至用户查询前，通过大模型重新编码生成键值缓存，同类任务的重复计算造成巨大算力浪费。

技术实现思路

1、本申请提供了一种数据交互系统、智能体和智能体记忆处理方法，以至少解决相关技术中由于键值缓存随会话结束即被释放、且已有经验仅以明文形式存储，导致同类任务重复计算、算力浪费的问题。

2、本申请提供了一种数据交互系统，包括智能体和客户端，所述智能体包括推理引擎和第一隐式记忆库，所述第一隐式记忆库中的一个隐式记忆包含对一条历史经验对应的键值缓存进行压缩得到的压缩键值缓存，所述第一隐式记忆库中的一个隐式记忆与一个经验标识关联；其中，所述客户端，用于在第一会话的过程中，响应于接收到输入查询语句，检索与所述输入查询语句匹配的历史经验标识；响应于检索到第一经验标识，发送携带有所述第一经验标识的对话请求给智能体，其中，所述对话请求用于请求复用所述第一经验标识所标识的历史经验对应的键值缓存执行第一推理任务；所述推理引擎，用于响应于接收到所述对话请求，从所述第一隐式记忆库中检索与所述第一经验标识关联的隐式记忆；响应于检索到第一隐式记忆，将所述第一隐式记忆中的压缩键值缓存解压缩为第一键值缓存，并基于所述第一键值缓存，执行所述第一推理任务。

3、本申请还提供了一种智能体，包括：推理引擎和第一隐式记忆库，所述第一隐式记忆库中的一个隐式记忆包含对一条历史经验对应的键值缓存进行压缩得到的压缩键值缓存，所述第一隐式记忆库中的一个隐式记忆与一个经验标识关联；所述推理引擎，用于响应于接收到对话请求，从所述第一隐式记忆库中检索与所述对话请求中携带的第一经验标识关联的隐式记忆；所述对话请求用于请求复用所述第一经验标识所标识的历史经验对应的键值缓存执行第一推理任务；响应于检索到第一隐式记忆，将所述第一隐式记忆中的压缩键值缓存解压缩为第一键值缓存，并基于所述第一键值缓存，执行所述第一推理任务。

4、本申请还提供了一种客户端，所述客户端，用于在第一会话的过程中，响应于接收到输入查询语句，检索与所述输入查询语句匹配的历史经验标识；响应于检索到第一经验标识，发送携带有所述第一经验标识的对话请求给智能体，其中，所述对话请求用于请求复用与所述第一经验标识所标识的历史经验对应的键值缓存执行第一推理任务。

5、本申请还提供了一种智能体记忆处理方法，包括：响应于接收到携带有所述第一经验标识的对话请求，从第一隐式记忆库中检索与所述对话请求中携带的第一经验标识关联的隐式记忆，其中，所述第一隐式记忆库中的一个隐式记忆包含对一条历史经验对应的键值缓存进行压缩得到的压缩键值缓存，所述第一隐式记忆库中的一个隐式记忆与一个经验标识关联；所述对话请求用于请求复用与所述第一经验标识所标识的历史经验对应的键值缓存执行第一推理任务；响应于检索到第一隐式记忆，将所述第一隐式记忆中的压缩键值缓存解压缩为第一键值缓存，并基于所述第一键值缓存，执行所述第一推理任务。

6、本申请还提供了一种智能体记忆处理方法，包括：在第一会话的过程中，响应于接收到输入查询语句，检索与所述输入查询语句匹配的历史经验标识；

7、响应于检索到第一经验标识，发送携带有所述第一经验标识的对话请求给智能体，其中，所述对话请求用于请求复用所述第一经验标识所标识的历史经验对应的键值缓存执行第一推理任务。

8、本申请还提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序时实现上述任一种智能体记忆处理方法的步骤。

9、本申请还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，计算机程序被处理器执行时实现上述任一种智能体记忆处理方法的步骤。

10、本申请还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一种智能体记忆处理方法的步骤。

11、通过本申请，接收携带第一经验标识的对话请求，从对话请求中提取第一经验标识，再依据该第一经验标识从第一隐式记忆库中检索关联的第一隐式记忆，进而将第一隐式记忆中的压缩键值缓存解压缩为第一键值缓存，并基于第一键值缓存直接执行第一推理任务，从而将原本需要重新执行的完整前向计算，替换为对已预生成键值缓存的直接加载复用，解决了由于键值缓存随会话结束即被释放、且已有经验仅以明文形式存储，导致同类任务重复计算、算力浪费的技术问题，提高了任务执行精度，达到了降低算力消耗的技术效果。

1.一种数据交互系统，其特征在于，包括：智能体和客户端，所述智能体包括推理引擎和第一隐式记忆库，所述第一隐式记忆库中的一个隐式记忆包含对一条历史经验对应的键值缓存进行压缩得到的压缩键值缓存，所述第一隐式记忆库中的一个隐式记忆与一个经验标识关联；其中，

2.根据权利要求1所述的系统，其特征在于，所述客户端上设置有本地语义指纹库，所述本地语义指纹库中的一个语义指纹是对一个历史经验进行编码得到的特征向量，所述本地语义指纹库中的一个语义指纹与一个经验标识关联；

3.根据权利要求1所述的系统，其特征在于，所述客户端，还用于在第二会话的过程中，响应于第二推理任务的任务中断时间超过指定时间阈值，保存所述第二会话的工作状态信息至本地中断状态文件，其中，所述工作状态信息包括所述第二会话的第二会话标识和所述第二推理任务使用的第二经验标识；

4.根据权利要求1所述的系统，其特征在于，所述对话请求中携带有当前会话交互数据；所述智能体还包括共性记忆库；所述共性记忆库部署于共性记忆存储池；所述共性记忆库中的一个共性记忆包含与一个共性上下文内容对应的共性键值缓存，所述共性记忆库的共性记忆的访问权限被设置为只读权限；

5.根据权利要求4所述的系统，其特征在于，所述推理引擎，还用于在所述当前会话交互数据中存在未检索到匹配的共性记忆的剩余会话交互数据的情况下，对所述剩余会话交互数据进行前向计算，得到所述剩余会话交互数据对应的第二键值缓存，其中，所述第一推理任务还基于所述第二键值缓存执行。

6.根据权利要求5所述的系统，其特征在于，所述对话请求中携带有第一会话标识，所述第一会话标识用于标识第一会话；所述对话请求是第一对象发送的，所述第一隐式记忆库是所述第一对象的隐式记忆库；所述智能体还包括个性记忆存储池；所述个性记忆存储池包括隐式记忆子层和时效记忆子层；所述隐式记忆子层用于存储所述第一隐式记忆库；所述时效记忆子层用于存储所述第一对象的时效记忆库；所述时效记忆库中的一个时效记忆包含对一次历史会话交互数据对应的键值缓存进行压缩得到的压缩键值缓存；

7.根据权利要求6所述的系统，其特征在于，所述推理引擎，还用于对所述时效记忆库中的时效记忆的访问频率进行扫描；基于所述时效记忆库中的时效记忆的访问频率，对所述时效记忆库中的时效记忆的保留周期进行调整；响应于所述时效记忆库中存在超过保留周期的已过期时效记忆，对所述已过期时效记忆进行清理。

8.根据权利要求7所述的系统，其特征在于，所述推理引擎，还用于执行以下之一：

9.根据权利要求7所述的系统，其特征在于，所述推理引擎，还用于响应于接收到的模式配置指令，按照所述模式配置指令所指示的保留模式，配置所述时效记忆库中的时效记忆初始的保留周期，其中，所述模式配置指令所指示的保留模式为多个保留模式中的一种，所述多个保留模式中的一个保留模式对应于一个保留周期，所述多个保留模式中的不同保留模式对应的保留周期互不相同。

10.根据权利要求1所述的系统，其特征在于，所述智能体还包括个性记忆存储池；所述个性记忆存储池包括隐式记忆子层；所述隐式记忆子层用于存储隐式记忆库集合；所述隐式记忆库集合中的一个隐式记忆库与一个对象对应；

11.根据权利要求10所述的系统，其特征在于，所述推理引擎，还用于对所述第一键值缓存执行以下的结构化量化压缩，得到所述第一键值缓存对应的中间表征向量：按照第一量化精度，对所述第一键值缓存中的第一层级进行压缩，并按照第二量化精度，对所述第一键值缓存中的第二层级进行压缩；所述第一层级的层级数小于所述第二层级的层级数，所述第一量化精度低于所述第二量化精度；将所述中间表征向量输入至预训练的神经网络模型，以通过所述神经网络模型对所述中间表征向量进行语义压缩，得到所述压缩表征向量。

12.根据权利要求1所述的系统，其特征在于，所述对话请求是第一对象发送的，所述第一隐式记忆库是所述第一对象的隐式记忆库，所述第一隐式记忆库中的一个隐式记忆还包含一条历史经验对应的语义指纹；

13.根据权利要求1所述的系统，其特征在于，所述对话请求是第一对象发送的，所述第一隐式记忆库是所述第一对象的隐式记忆库，所述第一隐式记忆库中的一个隐式记忆还包含一条历史经验对应的语义指纹；所述智能体还包括个性记忆存储池；所述个性记忆存储池包括隐式记忆子层；所述隐式记忆子层用于存储所述第一隐式记忆库；所述隐式记忆子层包括对象明文经验层和键值缓存经验层；所述键值缓存经验层用于存储所述第一隐式记忆库；所述对象明文经验层用于存储所述第一对象对应的对象明文经验库；所述对象明文经验库用于通过明文形式存储所述第一对象的历史经验，所述对象明文经验库中的明文经验与所述第一隐式记忆库中的隐式记忆通过经验标识关联；

14.根据权利要求1所述的系统，其特征在于，所述推理引擎，还用于对所述第一键值缓存进行加密，得到加密的所述第一键值缓存。

15.根据权利要求1所述的系统，其特征在于，所述推理引擎，还用于响应于接收到任务续接请求，从所述任务续接请求提取出第二经验标识、第二会话标识和当前上下文信息，其中，所述第二会话标识用于标识第二会话，所述任务续接请求用于请求复用与所述第二经验标识关联的键值缓存，对中断的所述第二会话的第二推理任务进行续接，所述当前上下文信息是从所述第二推理任务的中断发生时刻到所述任务续接请求的请求发起时刻之间所产生的上下文信息；从第二隐式记忆库中检索与所述第二经验标识关联的隐式记忆，其中，所述第二隐式记忆库中的一个隐式记忆包含对一条历史经验对应的键值缓存进行压缩得到的压缩键值缓存，所述第二隐式记忆库中的一个隐式记忆与一个经验标识关联；

16.根据权利要求1至15中任一项所述的系统，其特征在于，

17.根据权利要求16所述的系统，其特征在于，所述推理引擎，还用于响应于接收到第三对象的经验发布请求，从所述经验发布请求中提取出第四经验标识，其中，所述经验发布请求用于请求发布与所述第四经验标识关联的隐式记忆，与所述第四经验标识关联的隐式记忆为所述第三对象的隐式记忆；获取与所述第四经验标识关联的隐式记忆对应的经验元数据，得到待发布经验元数据；基于所述第四经验标识和所述待发布经验元数据，生成经验发布信息，并将所述经验发布信息发布到经验流转平台中。

18.一种智能体，其特征在于，包括：推理引擎和第一隐式记忆库，所述第一隐式记忆库中的一个隐式记忆包含对一条历史经验对应的键值缓存进行压缩得到的压缩键值缓存，所述第一隐式记忆库中的一个隐式记忆与一个经验标识关联；

19.根据权利要求18所述的智能体，其特征在于，所述对话请求中携带有当前会话交互数据；所述智能体还包括共性记忆库；所述共性记忆库部署于共性记忆存储池；所述共性记忆库中的一个共性记忆包含与一个共性上下文内容对应的共性键值缓存，所述共性记忆库的共性记忆的访问权限被设置为只读权限；

20.根据权利要求19所述的智能体，其特征在于，所述推理引擎，还用于在所述当前会话交互数据中存在未检索到匹配的共性记忆的剩余会话交互数据的情况下，对所述剩余会话交互数据进行前向计算，得到所述剩余会话交互数据对应的第二键值缓存，其中，所述第一推理任务还基于所述第二键值缓存执行。

21.根据权利要求20所述的智能体，其特征在于，所述对话请求中携带有第一会话标识，所述第一会话标识用于标识第一会话；所述对话请求是第一对象发送的，所述第一隐式记忆库是所述第一对象的隐式记忆库；所述智能体还包括个性记忆存储池；所述个性记忆存储池包括隐式记忆子层和时效记忆子层；所述隐式记忆子层用于存储所述第一隐式记忆库；所述时效记忆子层用于存储所述第一对象的时效记忆库；所述时效记忆库中的一个时效记忆包含对一次历史会话交互数据对应的键值缓存进行压缩得到的压缩键值缓存；

22.根据权利要求21所述的智能体，其特征在于，所述推理引擎，还用于对所述时效记忆库中的时效记忆的访问频率进行扫描；基于所述时效记忆库中的时效记忆的访问频率，对所述时效记忆库中的时效记忆的保留周期进行调整；响应于所述时效记忆库中存在超过保留周期的已过期时效记忆，对所述已过期时效记忆进行清理。

23.根据权利要求22所述的智能体，其特征在于，所述推理引擎，还用于将所述时效记忆库中访问频率大于或者等于指定频率阈值的时效记忆的保留周期，延长为指定保留周期；基于所述时效记忆库中的时效记忆的访问频率，按照频率周期对应关系，对所述时效记忆库中的时效记忆的保留周期进行调整，其中，所述频率周期对应关系为访问频率与保留周期之间的对应关系。

24.根据权利要求22所述的智能体，其特征在于，所述推理引擎，还用于响应于接收到的模式配置指令，按照所述模式配置指令所指示的保留模式，配置所述时效记忆库中的时效记忆初始的保留周期，其中，所述模式配置指令所指示的保留模式为多个保留模式中的一种，所述多个保留模式中的一个保留模式对应于一个保留周期，所述多个保留模式中的不同保留模式对应的保留周期互不相同。

25.根据权利要求18所述的智能体，其特征在于，所述智能体还包括个性记忆存储池；所述个性记忆存储池包括隐式记忆子层；所述隐式记忆子层用于存储隐式记忆库集合；所述隐式记忆库集合中的一个隐式记忆库与一个对象对应；

26.根据权利要求25所述的智能体，其特征在于，所述推理引擎，还用于对所述第一键值缓存执行以下的结构化量化压缩，得到所述第一键值缓存对应的中间表征向量：按照第一量化精度，对所述第一键值缓存中的第一层级进行压缩，并按照第二量化精度，对所述第一键值缓存中的第二层级进行压缩；所述第一层级的层级数小于所述第二层级的层级数，所述第一量化精度低于所述第二量化精度；将所述中间表征向量输入至预训练的神经网络模型，以通过所述神经网络模型对所述中间表征向量进行语义压缩，得到所述压缩表征向量。

27.根据权利要求18所述的智能体，其特征在于，所述对话请求是第一对象发送的，所述第一隐式记忆库是所述第一对象的隐式记忆库，所述第一隐式记忆库中的一个隐式记忆还包含一条历史经验对应的语义指纹；

28.根据权利要求18所述的智能体，其特征在于，所述对话请求是第一对象发送的，所述第一隐式记忆库是所述第一对象的隐式记忆库，所述第一隐式记忆库中的一个隐式记忆还包含一条历史经验对应的语义指纹；所述智能体还包括个性记忆存储池；所述个性记忆存储池包括隐式记忆子层；所述隐式记忆子层用于存储所述第一隐式记忆库；所述隐式记忆子层包括对象明文经验层和键值缓存经验层；所述键值缓存经验层用于存储所述第一隐式记忆库；所述对象明文经验层用于存储所述第一对象对应的对象明文经验库；所述对象明文经验库用于通过明文形式存储所述第一对象的历史经验，所述对象明文经验库中的明文经验与所述第一隐式记忆库中的隐式记忆通过经验标识关联；

29.根据权利要求18所述的智能体，其特征在于，所述推理引擎，还用于对所述第一键值缓存进行加密，得到加密的所述第一键值缓存。

30.根据权利要求18所述的智能体，其特征在于，所述推理引擎，还用于响应于接收到任务续接请求，从所述任务续接请求提取出第二经验标识、第二会话标识和当前上下文信息，其中，所述第二会话标识用于标识第二会话，所述任务续接请求用于请求复用与所述第二经验标识关联的键值缓存，对中断的所述第二会话的第二推理任务进行续接，所述当前上下文信息是从所述第二推理任务的中断发生时刻到所述任务续接请求的请求发起时刻之间所产生的上下文信息；从第二隐式记忆库中检索与所述第二经验标识关联的隐式记忆，其中，所述第二隐式记忆库中的一个隐式记忆包含对一条历史经验对应的键值缓存进行压缩得到的压缩键值缓存，所述第二隐式记忆库中的一个隐式记忆与一个经验标识关联；

31.根据权利要求18至30中任一项所述的智能体，其特征在于，

32.根据权利要求31所述的智能体，其特征在于，所述推理引擎，还用于响应于接收到第三对象的经验发布请求，从所述经验发布请求中提取出第四经验标识，其中，所述经验发布请求用于请求发布与所述第四经验标识关联的隐式记忆，与所述第四经验标识关联的隐式记忆为所述第三对象的隐式记忆；获取与所述第四经验标识关联的隐式记忆对应的经验元数据，得到待发布经验元数据；基于所述第四经验标识和所述待发布经验元数据，生成经验发布信息，并将所述经验发布信息发布到经验流转平台中。

33.一种客户端，其特征在于：

34.根据权利要求33所述的客户端，其特征在于，所述客户端上设置有本地语义指纹库，所述本地语义指纹库中的一个语义指纹是对一个历史经验进行编码得到的特征向量，所述本地语义指纹库中的一个语义指纹与一个经验标识关联；

35.根据权利要求33所述的客户端，其特征在于，所述客户端，还用于在第二会话的过程中，响应于第二推理任务的任务中断时间超过指定时间阈值，保存所述第二会话的工作状态信息至本地中断状态文件，其中，所述工作状态信息包括所述第二会话的第二会话标识和所述第二推理任务使用的第二经验标识；

36.一种智能体记忆处理方法，其特征在于，包括：

37.根据权利要求36所述的方法，其特征在于，所述对话请求中携带有当前会话交互数据；

38.根据权利要求37所述的方法，其特征在于，在所述基于所述第一键值缓存，执行所述第一推理任务之前，所述方法还包括：

39.根据权利要求38所述的方法，其特征在于，所述对话请求中携带有第一会话标识，所述第一会话标识用于标识第一会话；

40.根据权利要求39所述的方法，其特征在于，所述方法还包括：

41.根据权利要求40所述的方法，其特征在于，所述基于所述时效记忆库中的时效记忆的访问频率，对所述时效记忆库中的时效记忆的保留周期进行调整，包括以下之一：

42.根据权利要求40所述的方法，其特征在于，所述方法还包括：

43.根据权利要求36所述的方法，其特征在于，所述方法还包括：

44.根据权利要求43所述的方法，其特征在于，所述对所述第一键值缓存执行至少一次压缩，得到所述第一键值缓存对应的压缩表征向量，包括：

45.根据权利要求36所述的方法，其特征在于，所述对话请求是第一对象发送的，所述第一隐式记忆库是所述第一对象的隐式记忆库，所述第一隐式记忆库中的一个隐式记忆还包含一条历史经验对应的语义指纹；

46.根据权利要求36所述的方法，其特征在于，所述对话请求是第一对象发送的，所述第一隐式记忆库是所述第一对象的隐式记忆库，所述第一隐式记忆库中的一个隐式记忆还包含一条历史经验对应的语义指纹；

47.根据权利要求36所述的方法，其特征在于，在所述基于所述第一键值缓存，执行所述第一推理任务之前，所述方法还包括：

48.根据权利要求36所述的方法，其特征在于，所述方法还包括：

49.根据权利要求36至48中任一项所述的方法，其特征在于，所述方法还包括：

50.根据权利要求49所述的方法，其特征在于，所述方法还包括：

51.一种智能体记忆处理方法，其特征在于，包括：

52.根据权利要求51所述的方法，其特征在于，所述检索与所述输入查询语句匹配的历史经验标识，包括：

53.根据权利要求51所述的方法，其特征在于，所述方法还包括：