面向流式交互的统一语义增量通信和持久化方法及系统与流程

本申请涉及信息，具体涉及一种面向流式交互的统一语义增量通信和持久化方法及系统。

背景技术：

1、大语言模型（large language model, llm）应用通常需要同时处理三类数据流：模型服务端返回的流式响应（包括文本片段、推理内容、工具调用参数等）、前端用户界面的实时展示流（如通过websocket或sse传输的增量更新）以及长期会话存储的持久化数据流（用于历史回放、会话恢复和模型上下文重建）。现有系统中，这三类数据流往往分别设计和实现：provider 侧使用各厂商专有的原生schema（如openai的 delta.content、anthropic的content_block等）；前端侧依赖ui消息对象、组件事件或富文本片段；存储侧则保存最终的自然语言文本或数据库记录。分层设计导致数据格式在多级转换中发生信息丢失、边界语义不一致、工具调用生命周期难以统一等问题。

2、尤其在多模型服务端接入时，现有网关方案通常聚焦于请求路由、鉴权和脱敏，并未规范不同厂商返回的语义单元（如工具调用、工具结果、多模态附件）的统一表达。当需要切换或增加模型服务端时，前端ui渲染逻辑和历史存储格式往往需要同步改造，扩展成本高。另外，流式响应的持久化通常采用会话结束后批量写入的方式，一旦流式传输异常中断，已生成的部分数据无法恢复。

3、因此，需要研究能够合理处理推理内容，并支持高效、可恢复的持久化与历史回放的技术。

技术实现思路

1、本说明书多个实施例描述了一种面向流式交互的统一语义增量通信和持久化方法及系统。

2、第一方面，本说明书实施例提供了一种面向流式交互的统一语义增量通信和持久化方法，包括步骤：

3、建立统一语义增量对象，所述统一语义增量对象作为大语言模型流式响应、前端实时通信和长期持久化存储的对象；

4、接收多个大语言模型提供的流式响应，并转换为所述统一语义增量对象的增量流；

5、将所述统一语义增量对象的增量流通过消息总线分发至前端，前端根据所述增量流的对象类型进行实时渲染；

6、在工具调用过程中，通过所述增量流携带的完整性标识区分工具调用的中间状态与完成状态；

7、当满足预设持久化条件时，将会话中的所述统一语义增量对象序列持久化存储，在下次大语言模型调用时进行反序列化恢复，并转换为大语言模型请求的格式，触发历史回放或模型上下文重建。

8、第二方面，本说明书实施例提供了一种面向流式交互的统一语义增量通信和持久化系统，包括：

9、定义模块，建立统一语义增量对象，所述统一语义增量对象作为大语言模型流式响应、前端实时通信和长期持久化存储的对象；

10、接收模块，接收多个大语言模型提供的流式响应，并转换为所述统一语义增量对象的增量流；

11、分发模块，将所述统一语义增量对象的增量流通过消息总线分发至前端，前端根据所述增量流的对象类型进行实时渲染；

12、判断模块，在工具调用过程中，通过所述增量流携带的完整性标识区分工具调用的中间状态与完成状态；

13、持久化模块，当满足预设持久化条件时，将会话中的所述统一语义增量对象序列持久化存储，在下次大语言模型调用时进行反序列化恢复，并转换为大语言模型请求的格式，触发历史回放或模型上下文重建。

14、第三方面，本说明书实施例提供了电子设备，包括处理器以及存储器；

15、所述处理器与所述存储器相连；

16、所述存储器，用于存储可执行程序代码；

17、所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行上述任一方面所述的方法。

18、第四方面，本说明书实施例提供了计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方面所述的方法。

19、本说明书一些实施例提供的技术方案带来的有益效果至少包括：

20、在本说明书多个实施例中，提供的面向流式交互的统一语义增量通信和持久化方法及系统，通过建立统一的语义增量对象作为大语言模型流式响应、前端实时通信和长期持久化存储的共同数据模型，使模型层、交互层和存储层共享同一语义基础。相比现有方案中模型服务端原生格式、前端ui对象和存储记录各自独立设计导致的多次转换和信息丢失，本发明显著降低了系统内部的格式适配开销，增强了流式增量在不同环节之间的一致性传递。

21、通过将模型推理内容和正文输出区分为不同类型的增量对象，在反序列化恢复并构造下一轮模型请求时，明确排除推理增量流，使其仅用于前端展示和历史存储，而不会重新发送给模型作为上下文。既满足了用户对思考过程的可视化、审计和回放需求，又避免了推理内容对后续模型调用造成上下文污染。

22、设置缓冲区对相邻且类型相同的推理或正文增量进行合并，减少前端事件处理频率和持久化写入次数。通过缓冲区操作临时日志和同步区的异步非阻塞同步机制，在出现异常或触发阈值时能够快速复制缓冲区数据到持久化存储区，既保证了增量数据的可靠落盘，又避免频繁的i/o操作对实时流式响应的延迟影响。

23、本说明书多个实施例的其他特点和优点将会在下面的具体实施方式、附图中进一步揭示。

1.面向流式交互的统一语义增量通信和持久化方法，其特征在于，包括步骤：

2.根据权利要求1所述的面向流式交互的统一语义增量通信和持久化方法，其特征在于，

3.根据权利要求1所述的面向流式交互的统一语义增量通信和持久化方法，其特征在于，

4.根据权利要求1或2所述的面向流式交互的统一语义增量通信和持久化方法，其特征在于，

5.根据权利要求4所述的面向流式交互的统一语义增量通信和持久化方法，其特征在于，

6.根据权利要求4所述的面向流式交互的统一语义增量通信和持久化方法，其特征在于，

7.根据权利要求4所述的面向流式交互的统一语义增量通信和持久化方法，其特征在于，

8.面向流式交互的统一语义增量通信和持久化系统，其特征在于，包括：

9.一种电子设备，其特征在于，包括处理器以及存储器；

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。