模型流式解码纠偏方法及装置与流程

摘要: 本技术涉及人工智能,尤其涉及一种模型流式解码纠偏方法及装置。背景技术:1、随着人工智能技术的发展,模型常被部署于资源受限的家庭智能网关或边缘计算节点中,以实现基...
模型流式解码纠偏方法及装置与流程

本技术涉及人工智能,尤其涉及一种模型流式解码纠偏方法及装置。

背景技术:

1、随着人工智能技术的发展,模型常被部署于资源受限的家庭智能网关或边缘计算节点中,以实现基于自然语言的物联网设备控制。然而,受限于端侧算力,部署于此类场景的小型语言模型在缺乏充分事实基础时极易产生幻觉,容易输出与设备当前物理状态相悖的错误控制指令。目前的防御方案,例如事后文本正则校验法、检索增强生成注入法以及双模型交叉验证法普遍存在明显缺陷,事后拦截会造成不可逆的算力浪费与严重的交互延迟,小模型对提示词的注意力漂移会导致防幻觉机制失效,而双模型方案则直接违背了端侧资源受限的前提.

2、由此,如何在不增加额外推理算力和高延迟等待的前提下,实现对模型幻觉的及时,准确纠正,确保模型平滑输出符合物理现实的正确响应是亟需解决的问题。

技术实现思路

1、本技术提供一种模型流式解码纠偏方法、装置、电子设备、存储介质及程序产品,用以解决现有技术中端侧模型在缺乏充分事实基础时极易产生幻觉,容易输出与设备当前物理状态相悖的错误控制指令技术问题。

2、本技术提供一种模型流式解码纠偏方法,包括如下步骤:

3、获取端侧模型输出的第一词元,其中,所述第一词元是所述端侧模型在流式解码过程中输出的,且尚未形成完整设备动作指令的局部词元序列;

4、确定与所述第一词元相匹配的设备控制信息,及与所述设备控制信息关联的目标设备的当前状态信息;

5、在确定所述当前状态信息和所述设备控制信息之间条件互斥的情况下,修正所述端侧模型在当前解码步采样前的初始概率分布向量;

6、根据修正后的概率分布向量进行当前解码步的采样。

7、根据本技术提供的一种模型流式解码纠偏方法,所述初始概率分布向量包括多个候选词元,及与每个所述候选词元对应的初始输出概率;

8、其中,所述在确定所述当前状态信息和所述设备控制信息之间条件互斥的情况下,修正所述端侧模型在当前解码步采样前的初始概率分布向量,包括:

9、从所述候选词元中,确定与所述当前状态信息构成条件互斥的第二词元,及与所述当前状态信息条件兼容的第三词元;

10、降低所述第二词元对应的所述初始输出概率,和/或提升所述第三词元对应的所述初始输出概率。

11、根据本技术提供的一种模型流式解码纠偏方法,所述确定与所述第一词元相匹配的设备控制信息,包括:

12、对所述第一词元与预设控制信息集合进行匹配处理,以得到匹配结果;

13、在所述匹配结果指示所述预设控制信息集合中存在与所述第一词元相匹配的控制信息的情况下,将相匹配的控制信息确定为与所述第一词元相匹配的设备控制信息。

14、根据本技术提供的一种模型流式解码纠偏方法,在所述对所述第一词元与预设控制信息集合进行匹配处理,以得到匹配结果之后,所述方法还包括:

15、在所述匹配结果指示所述预设控制信息集合中不存在与所述第一词元相匹配的控制信息的情况下,根据所述初始概率分布向量进行当前解码步的采样。

16、根据本技术提供的一种模型流式解码纠偏方法,所述在确定所述当前状态信息和所述设备控制信息之间条件互斥的情况下,修正所述端侧模型在当前解码步采样前的初始概率分布向量,包括:

17、在确定所述当前状态信息和所述设备控制信息之间条件互斥的情况下,判断所述设备控制信息是否属于预设风险控制动作,以得到判断结果;

18、在所述判断结果指示所述设备控制信息不属于所述预设风险控制动作的情况下,修正所述端侧模型在当前解码步采样前的初始概率分布向量。

19、根据本技术提供的一种模型流式解码纠偏方法,在所述判断所述设备控制信息是否属于预设风险控制动作,以得到判断结果之后,所述方法还包括:

20、在所述判断结果指示所述设备控制信息属于所述预设风险控制动作的情况下,停止进行当前解码步的采样。

21、根据本技术提供的一种模型流式解码纠偏方法,所述确定所述当前状态信息和所述设备控制信息之间条件互斥,包括:

22、确定所述设备控制信息对应的预期状态信息;

23、在所述预期状态信息与所述当前状态信息一致的情况下,确定所述当前状态信息和所述设备控制信息之间条件互斥。

24、本技术提供一种模型流式解码纠偏装置,包括如下模块:

25、获取模块,用于获取端侧模型输出的第一词元,其中,所述第一词元是所述端侧模型在流式解码过程中输出的,且尚未形成完整设备动作指令的局部词元序列;

26、确定模块,用于确定与所述第一词元相匹配的设备控制信息,及与所述设备控制信息关联的目标设备的当前状态信息;

27、修正模块,用于在确定所述当前状态信息和所述设备控制信息之间条件互斥的情况下,修正所述端侧模型在当前解码步采样前的初始概率分布向量;

28、第一采样模块,用于根据修正后的概率分布向量进行当前解码步的采样。

29、根据本技术提供的一种模型流式解码纠偏装置,所述初始概率分布向量包括多个候选词元,及与每个所述候选词元对应的初始输出概率;

30、所述修正模块,具体用于:

31、从所述候选词元中,确定与所述当前状态信息构成条件互斥的第二词元,及与所述当前状态信息条件兼容的第三词元;

32、降低所述第二词元对应的所述初始输出概率,和/或提升所述第三词元对应的所述初始输出概率。

33、根据本技术提供的一种模型流式解码纠偏装置,所述确定模块,具体用于:

34、对所述第一词元与预设控制信息集合进行匹配处理,以得到匹配结果;

35、在所述匹配结果指示所述预设控制信息集合中存在与所述第一词元相匹配的控制信息的情况下,将相匹配的控制信息确定为与所述第一词元相匹配的设备控制信息。

36、根据本技术提供的一种模型流式解码纠偏装置,还包括:

37、第二采样模块,用于在所述对所述第一词元与预设控制信息集合进行匹配处理,以得到匹配结果之后,在所述匹配结果指示所述预设控制信息集合中不存在与所述第一词元相匹配的控制信息的情况下,根据所述初始概率分布向量进行当前解码步的采样。

38、根据本技术提供的一种模型流式解码纠偏装置,所述修正模块,具体用于:

39、在确定所述当前状态信息和所述设备控制信息之间条件互斥的情况下,判断所述设备控制信息是否属于预设风险控制动作,以得到判断结果;

40、在所述判断结果指示所述设备控制信息不属于所述预设风险控制动作的情况下,修正所述端侧模型在当前解码步采样前的初始概率分布向量。

41、根据本技术提供的一种模型流式解码纠偏装置,还包括:

42、第三采样模块,用于在所述判断所述设备控制信息是否属于预设风险控制动作,以得到判断结果之后,在所述判断结果指示所述设备控制信息属于所述预设风险控制动作的情况下,停止进行当前解码步的采样。

43、根据本技术提供的一种模型流式解码纠偏装置,所述修正模块,具体用于:

44、确定所述设备控制信息对应的预期状态信息;

45、在所述预期状态信息与所述当前状态信息一致的情况下,确定所述当前状态信息和所述设备控制信息之间条件互斥。

46、本技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述模型流式解码纠偏方法。

47、本技术还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述模型流式解码纠偏方法。

48、本技术还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述模型流式解码纠偏方法。

49、本技术提供的一种模型流式解码纠偏方法、装置、电子设备、存储介质及程序产品,通过将物联网物理状态的校验时机从事后的完整文本生成阶段前置至流式解码过程中每一第一词元生成的微观时间窗口内,并在判定物理状态与动作意图存在条件互斥时,直接对模型采样前的初始概率分布向量实施修正,从而实现了在幻觉指令尚未完整成形之前即从数学层面阻断其生成路径,避免了无效第一词元序列的矩阵运算所耗费的端侧算力与内存带宽,同时由于修正发生在概率分布层面而非文本生成之后,模型无需中断生成流程或向用户返回错误反馈,仅语义方向发生实时转向,从而在显著降低计算资源消耗的同时,消除了传统事后拦截机制所固有的高延迟与交互割裂缺陷,为用户提供了无感且流畅的自然交互体验。