面向办公插件的知识增强流式响应协议适配方法及装置
本技术实施例涉及大语言模型,特别涉及一种面向办公插件的知识增强流式响应协议适配方法及装置。
背景技术:
1、随着大语言模型在办公自动化领域的应用,办公插件可以通过调用云端模型服务、本地私有化模型或企业知识库增强生成服务,实现文档写作、改写、仿写、润色、校对、摘要和问答等智能处理。为适配办公文档中的持续写入场景,模型服务通常采用流式响应方式将生成内容分批返回,办公插件在接收内容后将其写入当前文档或富文本编辑区域。
2、在知识库增强生成场景中,一次智能处理响应可能同时包括模型生成正文、知识库检索得到的引用片段、来源信息、相关性得分、模型调试字段、调用标识、用量统计、结束事件、错误事件以及其他内部元数据。不同上游模型服务或网关对流式响应的表达方式并不一致,有的返回纯文本增量,有的返回包含message、content、text、answer、output_text、delta.content、choices[0].delta.content或token等字段的数据对象,有的还会在同一流式通道中输出知识引用事件或控制事件。
3、富文本办公组件内部通常维护文档对象模型、光标位置、段落结构、格式状态和撤销栈。若插件端直接消费上游模型服务的原始流式数据,需要分别适配多种模型协议;当知识来源、相关性得分、json包装字段、控制事件或调试字段与正文增量混合返回时,也可能被写入富文本文档正文。
4、另外,流式数据在传输过程中可能出现分段返回、事件边界不完整或多个事件合并返回的情况。插件端在接收数据的同时还需要完成引用资料展示、正文增量写入、结束或错误状态感知以及文档级历史保存。若历史保存直接记录上游原始事件流、原始json、知识元数据或内部调试字段,后续多轮文档处理所使用的历史上下文可能与文档中实际可见正文不一致。
5、因此,在宿主富文本办公组件与异构模型服务之间,需要一种协议适配方案,对知识元数据、正文增量和控制事件在同一流式通道内进行分层处理,将知识片段、可见正文、结束事件和错误事件转换为宿主富文本办公组件可处理的统一输出形式,并基于已输出的可见正文和必要元数据生成文档级历史记录。
技术实现思路
1、针对现有技术在知识增强办公写作场景中,如何对混合于同一流式通道中的知识元数据、正文增量、控制事件、错误事件、调试字段和json包装字段进行分层识别、正文净化写入和历史记录保存的技术问题,本技术提供了一种面向办公插件的知识增强流式响应协议适配方法及装置。技术方案如下:
2、一方面,提供了一种面向办公插件的知识增强流式响应协议适配方法,应用于部署在宿主富文本办公组件与异构模型服务之间的协议适配服务,所述方法包括:
3、接收宿主富文本办公组件发送的智能处理请求,所述智能处理请求包括动作类型、文档标识、用户输入、上下文信息、模型参数、知识库选择信息和插件端能力声明中的至少一种;
4、根据所述智能处理请求确定知识增强策略,在启用知识增强时获取知识片段并对所述知识片段进行规范化处理;
5、判断响应模式,在响应模式为流式响应模式时,生成包含规范化知识片段的knowledge知识事件帧,并在正文数据帧输出之前发送至宿主富文本办公组件;
6、接入异构模型服务输出的原始流式数据,通过滑动缓冲窗缓存尚未形成完整事件块的数据片段,并利用流式解复用状态机识别完整事件块;
7、对所述完整事件块执行事件类型判定,按照候选正文字段路径集合和正文写入条件抽取可见正文,并将满足正文写入条件的可见正文重编码为统一格式的纯文本正文数据帧;
8、将知识元数据、控制元数据、调试字段以及不满足正文写入条件的字段排除于正文写入链路之外,并将结束事件或错误事件映射为统一控制帧;
9、在流式响应完成后,基于已输出的可见正文数据帧和必要元数据生成与所述文档标识关联的文档级历史记录。
10、可选的,所述知识增强策略包括是否启用知识增强、知识库检索范围、知识片段排序规则、模型服务选择、响应模式和输出帧类型中的至少一种;
11、其中,候选知识片段的排序分值si满足:
12、si=α·sim(q,ki)+β·sim(c,ki)+γ·ri+δ·ti,且α+β+γ+δ=1,α、β、γ、δ≥0,其中,q表示用户输入,c表示文档上下文,ki表示第i个候选知识片段,ri表示来源可靠度,ti表示时效性或版本匹配度。
13、可选的,所述规范化处理包括将知识片段转换为包含片段内容、来源信息、相关性得分、片段标识和引用展示信息中的至少一种的稳定结构;
14、所述knowledge知识事件帧用于供宿主富文本办公组件执行引用资料展示或依据说明,且不参与正文光标插入、正文dom状态更新或富文本撤销栈更新。
15、可选的,所述滑动缓冲窗用于缓存尚未形成完整事件块的流式数据片段,并在识别到事件边界时输出完整事件块;
16、所述流式解复用状态机包括等待输入、缓冲、读取事件名、读取数据负载、事件块完成、事件类型判定、正文抽取、控制事件处理和异常事件处理中的至少一种状态。
17、可选的,所述事件类型判定包括将事件块判定为知识事件、正文事件、控制事件、异常事件或非正文元数据事件中的至少一种;
18、所述候选正文字段的抽取包括按照预设候选正文路径集合,从message、content、text、answer、output_text、delta.content、choices[0].delta.content或token中的至少一种路径抽取字段值,并按候选正文路径集合的优先级确定候选输出文本。
19、可选的,所述正文写入条件通过正文写入判定值wj表示;
20、wj=i(ej∈ebody)·i(pj∈pwhite)·i(mj=0)·i(vj=1),其中,i为指示函数,ej表示第j个事件块的事件类型,pj表示字段路径,mj表示非正文元数据标识,vj表示字段内容是否为可见文本;
21、当wj=1时,将对应候选输出文本写入正文数据帧。
22、可选的,所述非正文事件帧包括包含知识来源、相关性得分、片段列表、模型调试信息、调用标识、用量统计、链路追踪信息或控制状态的事件帧;
23、当解析到上游重复输出的knowledge知识事件帧、仅包含知识元数据的事件帧或调试事件帧时,将所述事件帧过滤、合并为元数据对象或转换为不进入正文写入链路的非正文元数据;
24、所述正文纯文本数据帧不包含上游模型服务的json包装字段、知识片段字段、来源字段、得分字段或调试字段。
25、可选的,所述结束事件和错误事件被映射为统一控制帧输出,供宿主富文本办公组件结束流式写入或执行异常状态处理;
26、在流式响应过程中,仅累积已经输出至纯文本正文数据帧的可见正文,并按下式生成文档级历史正文chist:
27、chist=concat(xj|wj=1,j=1,...,n),其中,xj表示第j个候选输出文本,n表示流式响应期间识别的候选输出数量。
28、可选的,所述文档级历史记录关联保存chist、用户输入、动作类型、文档标识、模型信息、知识元数据、响应状态和时间信息中的至少一种;
29、在非流式响应模式下,协议适配服务调用异构模型服务获得完整输出,并根据模型输出协议配置对完整输出进行解析,所述模型输出协议配置包括模型服务类型、返回数据格式、候选正文字段路径集合、知识元数据字段路径集合、控制状态字段路径集合、错误字段路径集合和字段优先级规则中的至少一种。
30、另一方面,提供了一种面向办公插件的知识增强流式响应协议适配装置,适用于上述的面向办公插件的知识增强流式响应协议适配方法,所述装置,包括:
31、请求接收模块,用于接收宿主富文本办公组件发送的智能处理请求,所述智能处理请求包括动作类型、文档标识、用户输入、上下文信息、模型参数、知识库选择信息和插件端能力声明中的至少一种;
32、知识增强处理模块,用于根据所述智能处理请求确定知识增强策略,在启用知识增强时获取知识片段并对所述知识片段进行规范化处理;
33、知识事件生成模块,用于判断响应模式,在响应模式为流式响应模式时,生成包含规范化知识片段的knowledge知识事件帧,并在正文数据帧输出之前发送至宿主富文本办公组件;
34、流式数据接入与解复用模块,用于接入异构模型服务输出的原始流式数据,通过滑动缓冲窗缓存尚未形成完整事件块的数据片段,并利用流式解复用状态机识别完整事件块;
35、正文抽取与重编码模块,用于对所述完整事件块执行事件类型判定,按照候选正文字段路径集合和正文写入条件抽取可见正文,并将满足正文写入条件的可见正文重编码为统一格式的纯文本正文数据帧;
36、非正文排除与控制帧处理模块,用于将知识元数据、控制元数据、调试字段以及不满足正文写入条件的字段排除于正文写入链路之外,并将结束事件或错误事件映射为统一控制帧;
37、历史记录生成模块,用于在流式响应完成后,基于已输出的可见正文数据帧和必要元数据生成与所述文档标识关联的文档级历史记录。
38、与现有技术相比,本发明具有以下显著有益效果。
39、本技术方法中,通过在宿主富文本办公组件与异构模型服务之间设置协议适配服务,对智能处理请求、知识片段、原始流式数据、可见正文、控制事件以及文档级历史记录进行统一处理,使知识增强处理、流式数据解析、正文抽取、控制事件处理和历史记录保存形成连续的信息处理链路;通过在正文数据帧输出之前发送knowledge知识事件帧,实现知识引用信息与正文写入链路的分离;通过滑动缓冲窗和流式解复用状态机识别完整事件块,实现对分段返回、事件边界不完整以及多事件合并返回等流式数据的解析;通过候选正文字段路径集合和正文写入条件对候选输出文本进行筛选,并将满足条件的可见正文重编码为统一格式的纯文本正文数据帧,实现不同异构模型服务输出协议的统一适配;通过将知识元数据、控制元数据、调试字段以及不满足正文写入条件的字段排除于正文写入链路之外,并对结束事件和错误事件进行统一控制帧映射,实现知识层、正文层和控制层的数据分层处理;通过基于已输出的可见正文数据帧生成文档级历史记录,使历史记录与实际写入文档的正文保持一致,从而降低插件端协议适配复杂度,并减少知识片段、来源信息、调试字段、控制事件以及json包装字段写入富文本文档正文和历史记录的情况。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com