一种对齐锚点的编排上下文滚动窗口及前缀缓存命中方法与流程

摘要: 本发明主要涉及人工智能对话编排与自然语言处理,具体涉及一种对齐锚点的编排上下文滚动窗口及前缀缓存命中方法,可应用于机器问答、智能客服编排等场景。背景技术:1、在...
一种对齐锚点的编排上下文滚动窗口及前缀缓存命中方法与流程

本发明主要涉及人工智能对话编排与自然语言处理,具体涉及一种对齐锚点的编排上下文滚动窗口及前缀缓存命中方法,可应用于机器问答、智能客服编排等场景。

背景技术:

1、在电商多智能体与人工坐席混编的会话系统中,编排器需要根据会话事件频繁判断下一步由哪个智能体发言或执行行动,以支撑机器问答、自然语言查询等交互任务。编排器通常采用较低成本的模型进行高频调用,且可不流式输出。若每次编排调用都将编排规则与全量历史消息或随意截断的历史消息整包发送给模型,请求前缀会不断变化,无法稳定命中云厂商提供的前缀缓存,导致编排成本与延迟随会话变长而持续恶化。

2、现有技术中,常见的上下文处理方式包括每次取最近n条消息作为上下文、采用摘要压缩替换历史消息、依赖云厂商自动缓存机制以及使用全量上下文等。取最近n条消息的方式中,窗口下界随最大消息序号每次减n而滑动,请求前缀几乎每轮都发生变化;摘要压缩方式会改变语义前缀,同样不利于字节级或token级的前缀缓存;依赖厂商自动缓存时,若不主动构造稳定前缀,缓存命中率不稳定;全量上下文方式则成本高且延迟大,不适合高频编排场景。这些处理方式在高频轻量编排调用场景下,难以在保留足够上下文信息的同时维持请求前缀的稳定性,导致前缀缓存命中率偏低且编排成本随会话增长而波动。

技术实现思路

1、1.发明要解决的技术问题:

2、本发明提供了一种对齐锚点的编排上下文滚动窗口及前缀缓存命中方法,通过步长对齐锚点使编排上下文在一个步长内保持稳定前缀不变、仅尾部追加新消息,从而提升前缀缓存命中率,降低机器问答与自然语言查询场景下的编排决策成本。

3、2.技术方案:

4、为达到上述目的,本发明提供的技术方案为:一种对齐锚点的编排上下文滚动窗口及前缀缓存命中方法,包括以下步骤:

5、获取会话的有序消息日志及当前最大消息序号maxseq;

6、设定窗口宽度w和步长s;

7、根据所述maxseq、窗口宽度w和步长s计算锚点起始序号anchorstart;

8、截取消息序号属于(anchorstart,maxseq]范围内的消息,构成编排上下文窗口;

9、将稳定头与所述编排上下文窗口拼装为编排请求并发送至编排模型;

10、在同一anchorstart存续期间,新到达的消息仅追加至所述编排上下文窗口的尾部,所述稳定头及所述编排上下文窗口中已存在的前部内容保持不变,以使所述编排请求的前缀命中前缀缓存;

11、当所述maxseq跨过步长边界时,所述anchorstart前跳至下一对齐位置,接受单次前缀缓存失效后进入新的稳定区间。

12、进一步的,所述锚点起始序号anchorstart的计算公式为:,其中表示向下取整运算。

13、进一步的,当所述maxseq小于或等于所述窗口宽度w时,所述anchorstart取值为0,所述编排上下文窗口包含从序号1至maxseq的全部消息。

14、进一步的,所述截取编排上下文窗口的步骤中,仅纳入满足编排可见性条件的消息,所述编排可见性条件包括公开对话消息和结构事件,排除私密通道消息。

15、进一步的,所述稳定头包括编排规则以及会话名册或技能组信息,所述稳定头在同一anchorstart存续期间保持固定不变。

16、进一步的,所述编排请求的拼装结构依次为:稳定头、编排上下文窗口的转录内容、短问询;所述短问询用于指示所述编排模型输出空闲状态或催办目标。

17、进一步的,所述截取编排上下文窗口的步骤中,未定稿的瞬态分片不纳入所述编排上下文窗口。

18、进一步的,所述方法应用于电商智能客服的多智能体编排场景,所述编排模型为非流式模型,所述窗口宽度w取值为200,所述步长s取值为50。

19、进一步的,当所述anchorstart前跳时,新编排上下文窗口为旧编排上下文窗口的尾部子集,新旧窗口的重叠区间内近期消息保持编排决策连续;所述anchorstart前跳仅在消息落库后触发,与消息落库原子化处理;前跳后首个编排请求前缀缓存失效,自第二个编排请求起进入新稳定区间。

20、本发明还提供了一种对齐锚点的编排上下文滚动窗口及前缀缓存命中系统,包括消息日志获取模块、锚点计算模块、窗口截取模块、请求拼装模块、编排模型和前缀缓存;

21、所述消息日志获取模块用于获取会话的有序消息日志及当前最大消息序号maxseq;

22、所述锚点计算模块用于根据maxseq、窗口宽度w和步长s计算锚点起始序号anchorstart;

23、所述窗口截取模块用于截取消息序号属于(anchorstart,maxseq]范围内的消息,构成编排上下文窗口;

24、所述请求拼装模块用于将稳定头与所述编排上下文窗口拼装为编排请求并发送至编排模型;

25、所述编排模型用于根据所述编排请求输出编排决策;

26、所述前缀缓存用于缓存所述编排请求中不变的前缀token;

27、在同一anchorstart存续期间,新到达的消息仅追加至所述编排上下文窗口的尾部,所述稳定头及所述编排上下文窗口中已存在的前部内容保持不变,以使所述编排请求的前缀命中所述前缀缓存;当所述maxseq跨过步长边界时,所述anchorstart前跳至下一对齐位置,接受单次前缀缓存失效后进入新的稳定区间。

28、3.有益效果:

29、采用本发明提供的技术方案,与现有技术相比,具有如下有益效果:

30、提升前缀缓存命中率:步长内锚点保持不变,请求前缀稳定,窗口仅在尾部追加新消息,稳定头与窗口中已出现过的前部文本共同构成可缓存前缀,使前缀缓存持续命中,命中率在步长内高于朴素滑动窗口,适用于语义处理、机器问答等高频调用场景;

31、平滑编排成本且失效可控:高频编排决策可长期使用低价模型,编排单次成本不随会话历史线性增长,仅在跨过步长边界时主动接受一次缓存失效,之后再次进入稳定命中期,失效行为可预期,保障自然语言查询等交互的响应效率;

32、与决策质量解耦并支持可选降噪:仍保留约w条近期上下文,避免只盯最后几条消息导致误调度,可选过滤私密消息和瞬态分片,减少无关token占用与错误决策信号,稳定头中可纳入知识图谱节点引用以辅助编排判断;

33、前跳过渡平滑可控。锚点前跳时新旧窗口存在重叠区间,编排决策依赖近期消息保持连续,不产生突变;前跳与消息落库原子化,避免中间状态;单次缓存失效可预期,且可通过后台预热进一步降低对实时响应的影响。

34、需要说明的是,本发明未介绍的结构由于不涉及本发明的设计要点及改进方向,均与现有技术相同或者可采用现有技术加以实现,在此不做赘述。

1.一种对齐锚点的编排上下文滚动窗口及前缀缓存命中方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的对齐锚点的编排上下文滚动窗口及前缀缓存命中方法,其特征在于:所述锚点起始序号anchorstart的计算公式为:,其中表示向下取整运算。

3.根据权利要求1所述的对齐锚点的编排上下文滚动窗口及前缀缓存命中方法,其特征在于:当所述maxseq小于或等于所述窗口宽度w时,所述anchorstart取值为0,所述编排上下文窗口包含从序号1至maxseq的全部消息。

4.根据权利要求1所述的对齐锚点的编排上下文滚动窗口及前缀缓存命中方法,其特征在于:所述截取编排上下文窗口的步骤中,仅纳入满足编排可见性条件的消息,所述编排可见性条件包括公开对话消息和结构事件,排除私密通道消息。

5.根据权利要求1所述的对齐锚点的编排上下文滚动窗口及前缀缓存命中方法,其特征在于:所述稳定头包括编排规则以及会话名册或技能组信息,所述稳定头在同一anchorstart存续期间保持固定不变。

6.根据权利要求1所述的对齐锚点的编排上下文滚动窗口及前缀缓存命中方法,其特征在于:所述编排请求的拼装结构依次为:稳定头、编排上下文窗口的转录内容、短问询;所述短问询用于指示所述编排模型输出空闲状态或催办目标。

7.根据权利要求1所述的对齐锚点的编排上下文滚动窗口及前缀缓存命中方法,其特征在于:所述截取编排上下文窗口的步骤中,未定稿的瞬态分片不纳入所述编排上下文窗口。

8.根据权利要求1所述的对齐锚点的编排上下文滚动窗口及前缀缓存命中方法,其特征在于:所述方法应用于电商智能客服的多智能体编排场景,所述编排模型为非流式模型,所述窗口宽度w取值为200,所述步长s取值为50。

9.根据权利要求1所述的对齐锚点的编排上下文滚动窗口及前缀缓存命中方法,其特征在于:当所述anchorstart前跳时,新编排上下文窗口为旧编排上下文窗口的尾部子集,新旧窗口的重叠区间内近期消息保持编排决策连续;所述anchorstart前跳仅在消息落库后触发,与消息落库原子化处理;前跳后首个编排请求前缀缓存失效,自第二个编排请求起进入新稳定区间。

10.一种对齐锚点的编排上下文滚动窗口及前缀缓存命中系统,其特征在于:包括消息日志获取模块、锚点计算模块、窗口截取模块、请求拼装模块、编排模型和前缀缓存;