基于小模型检索增强生成的问答方法
本发明涉及知识问答,也涉及自然语言处理与人工智能,具体为一种基于小模型检索增强生成的问答方法。
背景技术:
1、传统的检索增强生成系统通常依赖大规模语言模型作为生成核心。近年来,随着大模型推理能力的显著提升,研究人员开始将推理能力引入检索增强生成框架,使模型在面对复杂问题时能够进行多步推理。例如,在多跳问答任务中,模型需要整合并推理来自不同文档的多个证据片段才能回答复杂问题。
2、尽管大模型在推理问答任务中表现出色,但其广泛应用面临严峻挑战:推理成本高昂,大规模语言模型的推理过程需要大量的计算资源,在实际系统中部署时面临极高的运行成本;可部署性受限,大模型的参数量巨大(通常达数十亿乃至数千亿级别),对硬件资源要求极高,在资源受限环境(如边缘设备、移动端)或安全敏感环境(如私有云、本地部署)中难以落地;延迟问题突出,在高并发工业检索系统中,大模型的完整前向传播会带来严重的计算冗余和响应延迟。
3、为应对上述问题,研究者开始探索使用小规模语言模型替代大模型来实现检索增强生成推理问答,但小规模语言模型的推理能力相对较弱时常出现推理幻觉或者回答幻觉问题,现有技术主要从以下几个方面进行改进:一是更智能的微调,通过新型微调方法不再仅仅依赖大量标准答案,而是让模型学习“问题解决指导”,这能帮助小模型更好地理解问题本质,提升泛化能力,且在数据较少时依然有效;二是强化学习,通过设定奖励机制,让模型在“尝试-反馈”的循环中自主学习最优的推理路径,实验证明,这能显著提升小模型的推理能力;三是解耦理解与推理,有研究提出将“理解问题”和“基于理解进行推理”这两个过程分离,通过一个映射器将复杂的自然语言问题转化为标准化的“问题空间”,让参数量有限的小模型能专注于核心的推理任务,从而提升性能。
4、然而,上述方法仍存在不足,导致答案质量差或不稳定,比如,小模型在微调后,其推理能力仍然有限,倾向于浅层的模式匹配而非真正的理解,同时,它们很容易过拟合训练数据,导致在未见过的场景中性能显著下降;又比如,小模型在强化学习中的探索能力十分有限,如果先使用大模型蒸馏的数据进行监督微调,再进行强化学习,提升效果会非常小;再比如,“解耦”本身是一项复杂的系统工程,例如,通过迭代训练解耦理解与推理框架需要一个三步骤的迭代算法来协同训练“映射器”和“推理器”,这种复杂性不仅增加了训练难度,还可能引入新的不稳定因素。
技术实现思路
1、针对上述问题,本发明的目的在于提出基于小模型检索增强生成的问答方法,本发明结合知识图谱层和向量层混合检索、马尔可夫因果迭代、马尔可夫毯再排序、子问题分解因果思维链,因果对抗验证并引用少量大模型辅助的综合技术方案,通过多维度信息融合与闭环优化机制,有效减少小型语言模型生成响应中的幻觉现象,提升生成内容的事实准确性与逻辑完备性。
2、为了实现上述目的,本发明提供如下技术方案:
3、一种基于小模型检索增强生成的问答方法,其特征在于,包括如下步骤:
4、s1、根据采集到的数据集确定检索文档和问题,将所述检索文档转化为向量层和知识图谱层;
5、s2、将所述问题在所述向量层进行初步检索,将检索得到的语句在所述知识图谱层中进行多跳扩散,得到第一候选语句池;
6、s3、基于所述第一候选语句构建概率矩阵,以表征第一候选语句池中每个语句指向另一个语句的概率,然后进行马尔可夫因果迭代,获得所述第一候选语句池中每个句子与所述问题之间的最终因果影响值,截取最终因果影响值排名前的句子构建第二候选语句池;
7、s4、将第二候选语句池中最终因果影响值高且含有问题中所含关键词的语句作为靶心语句,在基于第二候选语句池构建的有向无环图中确定各靶心语句的马尔可夫毯集合;将靶心语句及其马尔可夫毯集合中的语句作为第一类语句,其余作为第二类语句,对第二候选语句池中各语句分类计算其最终检索得分,然后根据最终检索得分进行重新排序,筛选排名前的语句并按得分高低排序,作为初始上下文;
8、s5、将问题拆分成具有前后时序逻辑与因果演进关系的多个子问题;
9、s6、小模型结合各个子问题和初始上下文生成因果思维链,再结合该因果思维链和问题生成初始答案;
10、s7、对初始答案进行对抗检验,如果通过检验,则以初始答案为最终答案,若未通过,则对所述初始上下文进行调整更新,然后返回步骤s6再次生成初始答案并检验,若仍未通过,则以各个子问题为问题,分别重复步骤s2-s4得到其对应的初始上下文,将各个子问题对应的初始上下文合并以更新初始上下文,然后返回步骤s6,重新生成初始答案后再进行对抗检验;如果检验仍未通过,则返回步骤s5重新生成若干个有因果关系子问题,继续迭代。
11、作为本发明的一种具体实施方式,步骤s1中,将检索文档转化为向量层和知识图谱层,具体包括如下步骤:
12、s11、将所述检索文档中的文本按语句进行分块得到语句文本块集合;
13、s12、利用预训练文本编码模型将所述语句文本块集合中每个语句映射为低维稠密向量,得到检索文档的向量层,从而形成“密空间”表达;
14、s13、对所述语句文本块集合中每个语句进行语义信息提取,构建三元组;对所述三元组中的实体关系进行因果关系评分,构建带权四元组;将所有带权四元组组成具有因果影响的知识图谱层,从而形成“疏空间”表达。
15、作为本发明的一种具体实施方式,步骤s2包括如下步骤:
16、s21、将所述问题转换为向量,并在所述向量层中查询与该向量的相似度大于某一预设值的语句作为初始语句集合;
17、s22、提取所述初始语句集合中所有句子的实体,并利用所述知识图谱层对这些实体进行相邻节点扩展,获取一批相邻实体;将这批相邻实体各自所在的原始语句提取出来,形成扩展语句集合;合并所述初始语句集合与所述扩展语句集合,得到第一候选语句池。
18、作为本发明的一种具体实施方式,步骤s3中,构建概率矩阵包括如下步骤:基于第一候选语句池构建双轨邻接矩阵,其中,轨一矩阵为动态上下文矩阵,用于表征第一候选语句池中不同语句在物理和语义层面的连续性;轨二矩阵为知识图谱矩阵,用于表征第一候选语句池中不同语句在知识图谱层的离散空间中的因果价值;将双轨邻接矩阵进行加权融合并归一化,得到概率矩阵。
19、作为本发明的一种具体实施方式,
20、所述轨一矩阵的表达式如下:
21、
22、
23、
24、
25、式中,表示轨一矩阵;为中的元素,表示语句和语句在物理位置层面和语义层面的连续性;表示第一候选语句池中语句的数量;是融合系数,取值范围为[0.4,0.6];表示语句和的语义相似度;表示语句和的余弦相似度;和分别为语句和的向量;表示预设阈值;表示取范数;表示语句和在检索文档的物理位置距离值;表示指数函数;表示位置衰减系数;表示语句在检索文档内部的物理位置序号,表示句子所属的文段序号;
26、所述轨二矩阵的表达式如下:
27、
28、
29、式中,表示轨二矩阵;为中的元素,代表的语句和语句在离散空间层面的因果价值;表示满足、和这三个关系的所有三元组的因果关系评分的平均值。
30、所述概率矩阵的表达式如下:
31、
32、
33、
34、式中,表示双轨融合因子;为概率矩阵中元素,表示当语句被确定为迭代起点后在马尔可夫因果迭代指向下一句转到语句的概率;和均为综合邻接矩阵中的元素,分别表示语句与语句之间的因果影响值、语句与语句之间的因果影响值。
35、作为本发明的一种具体实施方式,步骤s3中,马尔可夫因果迭代的计算式如下:
36、
37、式中,表示阻尼系数,是一个常量;和分别表示第轮和第迭代后的因果向量,为向量,因果向量中各个元素的值分别表示第一候选语句池中各个语句与问题的因果影响值;
38、其中,为因果向量的初始向量,其计算式如下:
39、
40、
41、式中,表示问题与第一候选语句池中某个语句的初始因果影响值;表示第一候选语句池,、、、和均为第一候选语句池中某个语句;表示问题的向量;表示温度系数。
42、作为本发明的一种具体实施方式,步骤s5中,所述最终检索得分的计算式如下:
43、
44、式中,表示语句的最终检索得分;表示经马尔可夫因果迭代后语句与问题之间的因果影响值;表语句与某一个靶心语句的余弦相似度;表示语句和各个靶心语句的余弦相似度的最大值;代表毯内亲和度权重;是毯外惩罚因子;表示靶心语句的集合;表示马尔可夫毯集合。
45、作为本发明的一种具体实施方式,步骤s6中,构建因果思维链时,小模型根据包括初始上下文的输入数据依次求解各个子问题,且从求解第二子问题开始,引入前一子问题的因果传导证据作为输入,子问题的因果传导证据是指小模型将该子问题及其对应的答案进行结合转化得到的能够陈述问题事实原因的陈述句,最终,将各个子问题对应的因果传导证据串联起来形成因果思维链。
46、作为本发明的一种具体实施方式,步骤s7中,对抗检验包括如下步骤:
47、s71、提取初始答案中的关键实体,将初始上下文中与该关键实体对应的内容随机替换为同词性且异语义的扰动实体,从而形成扰动上下文,小模型先结合各个子问题和扰动上下文生成因果思维链,再结合该因果思维链和问题生成对抗答案;
48、s72、提取初始答案与对抗答案的关键实体进行推理合理性验证,如果两者的关键实体随着扰动实体同步改变,则通过检验;否则,不能通过检验。
49、作为本发明的一种具体实施方式,步骤s7中,对所述初始上下文进行调整更新,包括如下步骤:选中对抗检验中进行实体扰动的语句,如果该语句不属于第一类语句则删除该语句,否则,则基于有向无环图找到该语句的靶心语句,将该靶心语句及其父节点语句、子节点语句以及配偶节点语句,纳入惩罚语句集合;对惩罚语句集合中语句的最终检索得分进行惩罚降分,然后根据最终检索得分高低对第二候选语句池中语句重新排序生成初始上下文;
50、惩罚降分的计算式如下:
51、
52、其中:代表惩罚语句集合中某一语句更新后的最终检索得分,是惩罚系数;是语句与原问题的相似度,是语句的靶心语句。
53、有益效果:
54、本发明构建了双轨邻接矩阵,将表达长距离符号因果依赖的稀疏知识图谱矩阵与捕获局部语义亲和及位置约束的密集上下文矩阵进行异构融合,实现了符号拓扑与稠密语义的表征对齐。该机制既打破了滑窗检索对跨文档常识的捕获瓶颈,又利用上下文平滑度弥补了图谱关系抽取的结构稀疏性缺陷,最终将异构关联逻辑齐次化为统一的马尔可夫转移概率矩阵。
55、本发明中,马尔可夫因果迭代与马尔可夫毯的协同作用实现了“全局动态扩散”与“局部因果收敛”的统一。在全局层面,系统驱动稳态能量在融合空间中跨文本传导,奠定了多跳隐式推理的拓扑学基础;在局部层面,机制引入马尔可夫毯边界,通过条件独立性剪枝剔除因拓扑中心度偏见产生的伪相关噪声,并同步富集靶心变量的直接因果邻居集合。该架构通过“先发散后收敛”的概率重构阻断了语义漂移,为因果思维链输送了高确定性的最小完备知识子集。
56、本发明中,对抗检验作为“扰动源”,通过语义扰动或反事实攻击,精准探测模型在极端边界下的认知漏洞,验证了因果推理架构对扰动噪声的抵御韧性,最终为构建免疫幻觉、逻辑严密的安全大模型提供了双向闭环的评估范式。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com