智能体上下文处理方法和装置、电子设备以及计算机介质与流程

本公开属于人工智能，具体涉及教育技术、大型语言模型等，尤其是一种智能体上下文处理方法和装置、电子设备以及计算机可读存储介质。

背景技术：

1、随着大语言模型（large language model，简称llm）的普及，基于llm构建的多轮对话智能体（ai agent）已广泛应用于复杂任务处理，如行程规划、法律咨询、代码生成等。

2、在多轮对话的计算机系统实现中，系统必须维持一个单一维度的时序消息数组，并在用户每一次发起请求时，将整个时序消息数组序列化后完整传输给大语言模型的推理接口，以此来维持对话的“上下文（context）”。

3、在实际的工业级长程对话场景中，这种依赖“全量消息数组透传”的常规机制存在以下固有的底层技术缺陷：

4、有些大模型均存在绝对的输入上下文窗口限制，随着交互轮次增加，消息历史数组呈线性增长，最终必然导致请求体积超出模型物理限制，引发系统内存溢出或api（application programming interface，应用程序编程接口）拒绝服务。此外，云端llm接口通常按输入词元数量计费，冗余历史数据的重复传输会导致推理延迟显著变慢，且运行成本呈几何级数膨胀。

5、llm在处理超长上下文时，其注意力机制存在u型性能曲线（即对文本开头和结尾的召回率高，对中间部分显著下降）。在复杂的规划任务中，用户早期设定的核心硬约束条件（如预算上限、特定需求）往往随着对话推进被推挤至上下文的中间位置，导致智能体极易出现“失忆”并引发严重的事实幻觉。

6、为缓解上述问题，现有技术通常采用滑动窗口截断法（直接丢弃n轮前的数据）或全局递归摘要法（将旧对话压缩为摘要），前者会导致智能体完全遗忘早期确认的事实；后者由于是一种有损压缩，会抹除自然语言中最近发生的上下文语境，当用户在最新一轮输入中包含代词（如“就按你刚才说的第二套方案办”）时，大模型将失去“指代消解”能力，引发逻辑断裂。

7、综上，现有的智能体架构在处理长序列任务时，陷入了“保留全量导致溢出与失忆”与“粗暴压缩导致指代消解失败”的技术瓶颈，亟需一种全新的上下文处理架构来打破这一底层限制。

技术实现思路

1、本公开提供了一种智能体上下文处理方法和装置、电子设备以及计算机可读存储介质。

2、根据第一方面，提供了一种智能体上下文处理方法，该方法包括：响应于接收到用户输入消息，将用户输入消息以及大语言模型在上一轮生成的回复信息作为新节点追加至历史消息数组；在主对话流程外创建异步处理任务，通过异步处理任务提取用户输入消息中的约束实体，并将约束实体更新至长期实体记忆字典，长期实体记忆字典独立于历史消息数组；检测历史消息数组是否满足预设的阈值条件，阈值条件包括消息数量阈值和分词单元负载阈值的双维度监控条件；响应于检测到历史消息数组满足阈值条件时，将历史消息数组分割为旧消息片段和近期消息片段，将旧消息片段通过调用摘要提取算法或摘要生成模型转化为摘要节点，并将摘要节点和近期消息片段重组为目标消息数组；将长期实体记忆字典序列化为结构化文本，将结构化文本与静态系统指令封装为顶层消息节点，将顶层消息节点与目标消息数组按照预设优先级顺序进行线性拼接，生成并向大语言模型发送当前轮的请求体数组，以使大语言模型生成当前轮的回复信息。

3、根据第二方面，提供了一种智能体上下文处理装置，该装置包括：追加单元，被配置成响应于接收到用户输入消息，将用户输入消息以及大语言模型在上一轮生成的回复信息作为新节点追加至历史消息数组；提取单元，被配置成在主对话流程外创建异步处理任务，通过异步处理任务提取用户输入消息中的约束实体，并将约束实体更新至长期实体记忆字典，长期实体记忆字典独立于历史消息数组；检测单元，被配置成检测历史消息数组是否满足预设的阈值条件，阈值条件包括消息数量阈值和分词单元负载阈值的双维度监控条件；切割单元，被配置成响应于检测到历史消息数组满足阈值条件时，将历史消息数组分割为旧消息片段和近期消息片段，将旧消息片段通过调用摘要提取算法或摘要生成模型转化为摘要节点，并将摘要节点和近期消息片段重组为目标消息数组；发送单元，被配置成将长期实体记忆字典序列化为结构化文本，将结构化文本与静态系统指令封装为顶层消息节点，将顶层消息节点与目标消息数组按照预设优先级顺序进行线性拼接，生成并向大语言模型发送当前轮的请求体数组，以使所述大语言模型生成当前轮的回复信息。

4、根据第三方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面任一实现方式描述的方法。

5、根据第四方面，提供了一种计算机可读存储介质，其上存储有计算机指令，计算机指令用于使计算机执行如第一方面任一实现方式描述的方法。

6、本公开的实施例提供的智能体上下文处理方法和装置，首先，响应于接收到用户输入消息，将用户输入消息以及大语言模型在上一轮生成的回复信息作为新节点追加至历史消息数组；其次，在主对话流程外创建异步处理任务，通过异步处理任务提取用户输入消息中的约束实体，并将约束实体更新至长期实体记忆字典，长期实体记忆字典独立于历史消息数组；再次，检测历史消息数组是否满足预设的阈值条件，阈值条件包括消息数量阈值和分词单元负载阈值的双维度监控条件；然后，响应于检测到历史消息数组满足阈值条件时，将历史消息数组分割为旧消息片段和近期消息片段，将旧消息片段通过调用摘要提取算法或摘要生成模型转化为摘要节点，并将摘要节点和近期消息片段重组为目标消息数组；最后，将长期实体记忆字典序列化为结构化文本，将结构化文本与静态系统指令封装为顶层消息节点，将顶层消息节点与目标消息数组按照预设优先级顺序进行线性拼接，生成并向大语言模型发送当前轮的请求体数组，以使大语言模型生成当前轮的回复信息。由此，通过在主对话流程外创建异步处理任务，保证了用户早起确定的强制约束条件永远存在于大模型注意力计算的最顶端，免疫了长文本注意力稀释效应，确保了业务执行的绝对准确性；引入基于消息数量与分词单元负载的双维度阈值检测，并在超限时执行硬切片与降维转换。该机制将传入大语言模型的输入数据量从随轮次线性增长强行收敛为常数级区间波动，在完全解除内存溢出风险的同时，可节省大量词元接口调用费用并大幅降低首字输出延迟；在执行消息降维压缩时，保留了近期消息片段，确保了大模型能够接收到未经任何损耗的近期原生对话文本，从而准确解析用户输入中诸如“上一个选项”、“第二家”等强依赖近期语境的相对指代指令，避免了传统无差别压缩带来的逻辑断裂；实体采用非阻断的异步处理任务机制，且分词单元负载的监控采用预计算与寄存器累加模式，避免了传统方案中在发送请求前对超大字符串进行全量分词所带来的主线程cpu（central processingunit，中央处理器）阻塞，极大提升了网关层的响应速度和并发处理能力。

7、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。