一种基于大语言模型的连续问答方法与流程

摘要: 本发明涉及人工智能与自然语言处理,特别涉及一种基于大语言模型的连续问答方法。背景技术:1、大语言模型凭借强大的自然语言理解与生成能力,被广泛应用于智能客服、人机...
一种基于大语言模型的连续问答方法与流程

本发明涉及人工智能与自然语言处理,特别涉及一种基于大语言模型的连续问答方法。

背景技术:

1、大语言模型凭借强大的自然语言理解与生成能力,被广泛应用于智能客服、人机对话、智能问答、知识咨询等各类人机交互场景,连续问答是其核心应用模式。在多轮连续问答会话中,模型需要依托历史对话上下文理解用户当前提问意图,实现连贯、精准的回复生成,上下文记忆与动态认知能力直接决定连续问答的交互质量。

2、现有大语言模型连续问答方案主要采用上下文窗口拼接、滑动窗口截断、简单相似度筛选历史文本的方式实现对话记忆管理。窗口拼接多轮对话累积后易出现上下文溢出,易丢失关键历史信息;滑动窗口机制仅能保留最近固定轮次的对话内容,无法区分历史文本的有效价值与冗余信息;传统相似度筛选方式筛选精度低,极易保留无效、冲突的上下文信息,引发回复偏差、逻辑矛盾、问答偏离主题等问题。

3、现有技术缺乏对大语言模型动态认知状态的实时建模能力,无法量化模型在当前对话语境下对各历史文本片段的置信度,无法自适应区分有效记忆信息与污染信息。现有连续问答模型无专属的轻量化认知迭代机制,无法针对单用户会话进行在线自适应优化,不同用户、不同对话场景的个性化认知特征无法积累,全局模型泛化能力与个性化适配能力受限。

4、因此,亟需一种动态感知模型认知状态、智能筛选历史记忆锚点、并支持在线自适应更新的连续问答方法,解决上述难题。

技术实现思路

1、本发明的目的是提供一种基于大语言模型的连续问答方法,解决了现有技术中连续问答过程中上下文筛选精度低、语义污染严重、长会话认知漂移、无法量化模型认知状态、个性化适配能力弱、跨会话记忆无法复用的问题,实现大语言模型连续问答的动态认知建模、精准记忆筛选、上下文污染过滤与个性化迭代优化,提升长轮次连续问答的准确性、一致性与稳定性。

2、为了达到上述发明目的,本发明采用的技术方案为:

3、一种基于大语言模型的连续问答方法,包括以下步骤:

4、s1、在连续问答会话开始时,初始化一个与大语言模型共享部分网络结构的影子模型,所述影子模型的参数量小于所述大语言模型的参数量;

5、所述影子模型与大语言模型共享部分网络结构的具体方式为:

6、s11、所述影子模型复用所述大语言模型的词嵌入层和位置编码层,保证文本向量表征、位置编码规则与大语言模型完全一致,消除表征差异带来的认知偏差;

7、s12、所述影子模型的transformer层数小于所述大语言模型的transformer层数,且所述影子模型的隐藏层维度小于或等于所述大语言模型的隐藏层维度,实现影子模型的轻量化设计,降低在线更新与推理算力开销;

8、s13、所述影子模型还包括一个状态对齐层,所述状态对齐层用于将影子模型的输出维度映射至所述大语言模型的中间层隐藏状态的维度,实现轻量化模型输出特征与大模型深层认知特征的维度对齐。

9、s2、获取当前轮次的用户输入文本以及历史对话状态,所述历史对话状态包括历史用户输入序列和历史模型回复序列。

10、s3、将所述当前轮次的用户输入文本和所述历史对话状态输入所述大语言模型,获取所述大语言模型在生成当前轮次回复文本过程中产生的中间层隐藏状态和注意力权重分布。

11、s4、以所述大语言模型的中间层隐藏状态作为监督信号,对所述影子模型进行在线增量更新,使所述影子模型的输出状态逼近所述大语言模型的中间层隐藏状态;

12、所述对影子模型进行在线增量更新的具体过程包括:

13、s41、从所述大语言模型的中间层隐藏状态中选取预设数量的中间层作为监督层,优先选取大语言模型语义理解核心中间层,保障监督信号的有效性;

14、s42、将所述当前轮次的用户输入文本输入所述影子模型,获取所述影子模型在与所述监督层对应的层级上输出的影子隐藏状态;

15、s43、通过所述状态对齐层将所述影子隐藏状态映射至与所述监督层相同的维度空间,得到对齐后的影子隐藏状态;

16、s44、计算所述对齐后的影子隐藏状态与所述监督层的中间层隐藏状态之间的均方误差,并基于所述均方误差通过反向传播算法更新所述影子模型的参数;

17、均方误差计算公式如下

18、

19、其中,为均方误差,为文本序列token数量,为隐藏状态维度;为大语言模型监督层第i个token第j维的真实中间层隐藏状态,为对齐后影子模型第i个token第j维的影子隐藏状态;

20、s45、在更新过程中冻结所述大语言模型的参数,仅更新所述影子模型的参数,保证大语言模型基础能力稳定不变,仅通过轻量化影子模型拟合动态认知特征。

21、s5、利用更新后的影子模型对所述历史对话状态进行认知状态评估,生成认知状态分布图,所述认知状态分布图表征所述大语言模型在当前对话上下文下对各历史文本片段的置信度;

22、所述利用更新后的影子模型生成认知状态分布图的具体过程包括:

23、s51、将所述历史对话状态中的各文本片段分别输入更新后的影子模型,获取各文本片段对应的影子隐藏状态;

24、s52、将所述当前轮次的用户输入文本输入更新后的影子模型,获取当前输入对应的影子隐藏状态;

25、s53、计算各文本片段对应的影子隐藏状态与所述当前输入对应的影子隐藏状态之间的余弦相似度,表征历史文本与当前提问的语义关联度;

26、余弦相似度计算公式如下

27、

28、其中,为余弦相似度,取值范围[-1,1];为历史文本片段的影子隐藏状态向量;为当前用户输入文本的影子隐藏状态向量;为向量二范数;

29、s54、将所述余弦相似度进行归一化处理,得到各文本片段的认知置信度得分,并以各文本片段的认知置信度得分构建所述认知状态分布图;

30、归一化计算公式如下

31、

32、为初始认知置信度得分取值范围[0,1];为所有历史文本片段余弦相似度最小值;为所有历史文本片段余弦相似度最大值。

33、其中,所述生成认知状态分布图时还包括时间衰减加权处理:对各文本片段的认知置信度得分施加时间衰减权重,所述时间衰减权重与当前轮次和各文本片段产生时间之间的轮次差成反比;将施加时间衰减权重后的认知置信度得分作为最终的认知置信度得分;

34、时间衰减权重及最终得分计算公式如下

35、

36、

37、为时间衰减权重;为预设衰减系数,取值为0.1~0.5;为为当前轮次与历史文本片段生成轮次的轮次差;为最终认知置信度得分。

38、s6、根据所述认知状态分布图对所述历史对话状态中的文本片段进行筛选,生成记忆锚点序列;

39、所述生成记忆锚点序列的具体过程包括:

40、s61、设定认知置信度阈值和上下文token预算阈值,所述token预算阈值不超过大语言模型上下文窗口最大可用token数量;

41、s62、将所述认知状态分布图中认知置信度得分大于所述认知置信度阈值的文本片段作为候选记忆锚点;

42、s63、按照认知置信度得分从高到低的顺序,依次将候选记忆锚点对应的原始文本片段加入记忆锚点集合,直至所述记忆锚点集合的token总数达到所述上下文token预算阈值;

43、s64、对所述记忆锚点集合中的文本片段按照其在历史对话中的原始时间顺序进行排列,生成所述记忆锚点序列,保证上下文时序逻辑连贯。

44、s7、将所述当前轮次的用户输入文本和所述记忆锚点序列进行上下文重组,生成提示词序列,并将所述提示词序列输入所述大语言模型生成当前轮次的回复文本;

45、所述生成提示词序列时还包括上下文污染检测步骤:

46、s71、利用所述影子模型计算所述历史模型回复序列中各历史回复文本与所述当前轮次的用户输入文本之间的认知冲突度;

47、s72、当某历史回复文本的认知冲突度大于预设的冲突阈值时,将该历史回复文本标记为上下文污染源;

48、s73、在所述记忆锚点序列中剔除所述上下文污染源对应的文本片段,或在所述提示词序列中为所述上下文污染源添加负面约束标记,所述负面约束标记用于指示大语言模型忽略该文本片段的信息,避免矛盾信息干扰回复生成。

49、s8、基于所述当前轮次的回复文本更新所述影子模型,以用于下一轮次的连续问答;

50、所述基于当前轮次的回复文本更新影子模型的具体过程包括:

51、s81、将所述当前轮次的回复文本输入所述大语言模型,获取回复文本对应的中间层隐藏状态;

52、s82、将所述当前轮次的回复文本输入所述影子模型,获取回复文本对应的影子隐藏状态;

53、s83、计算两者之间的误差并通过反向传播算法更新所述影子模型的参数,实现每轮对话的认知迭代;

54、s84、将更新后的影子模型的状态参数保存至会话状态文件中,所述会话状态文件在下一轮次连续问答开始时加载以恢复影子模型状态,保证单会话认知迭代连续性。

55、作为改进,还包括跨会话影子模型迁移:当检测到新的会话建立时,判断当前用户是否存在历史会话对应的影子模型;

56、若存在历史会话对应的影子模型,则将所述历史会话对应的影子模型的参数作为当前会话影子模型的初始化参数;

57、若不存在历史会话对应的影子模型,则使用预训练的通用影子模型参数进行初始化;

58、所述历史会话对应的影子模型在会话结束时经过参数压缩后存储至用户画像数据库中,所述参数压缩包括对影子模型的参数进行低秩分解,降低存储开销,保证迁移效率。

59、作为改进,还包括影子模型参数聚合:在连续问答过程中,每隔预设轮次对影子模型的参数进行快照保存;

60、当会话结束时,将本次会话中所有快照的影子模型参数进行加权聚合,得到最终影子模型参数;

61、将所述最终影子模型参数上传至服务端进行多用户影子模型参数联邦聚合,得到全局优化后的影子模型初始化参数,并将所述全局优化后的影子模型初始化参数下发至各用户终端以更新预训练的通用影子模型参数,实现全局认知能力迭代优化。

62、本发明的有益效果为:

63、1、引入轻量化影子模型,通过共享大语言模型底层表征结构、在线增量拟合大模型中间层认知特征,实现了对大语言模型动态对话认知状态的精准建模。

64、2、通过认知状态分布图结合时间衰减加权机制,自适应区分历史对话中的有效关键信息、冗余信息、过时信息,精准筛选高置信度记忆锚点序列。

65、3、采用轻量化影子模型辅助认知建模与上下文筛选,大语言模型全程冻结参数、仅轻量化模型迭代更新,算力开销极低,适配各类主流大语言模型的连续问答场景。

66、4、通过记忆锚点重组提示词序列,实现了上下文的动态智能重构,相比传统固定窗口、随机截断方案,大幅提升了长轮次、复杂场景下连续问答的准确性、连贯性与稳定性,适用场景更广。