基于大模型的RAG处理优化系统及方法与流程
本发明涉及rag模型,具体是基于大模型的rag处理优化系统及方法。
背景技术:
1、检索增强生成技术作为当前大模型落地应用的核心支撑技术,能够通过外部知识库检索补强大模型原生知识滞后、事实性错误的缺陷,有效提升大模型问答的准确性与可靠性,被广泛应用于智能问答、业务咨询、知识库落地、智能客服等各类人工智能业务场景。
2、常规串行rag流水线普遍采用固定处理架构,依靠人工设定的固定参数与静态阈值完成链路筛选、相关性判定与输出校验,能够实现基础的检索问答交互功能。但在实际长期线上运行过程中,rag系统受业务数据迭代、用户查询样式多样化、知识库内容更新、链路多环节耦合干扰等多重因素影响,极易出现检索无效召回、大模型生成幻觉、全链路误差累积退化等各类异常问题,严重影响问答输出的事实一致性与用户体验。
3、并且主流rag优化多集中于知识库语义优化、prompt模板改良等链路侵入式优化手段,过度依赖人工经验与文本语义特征,缺少基于rag全链路时序运行数据、故障样本规律的系统化量化分析能力。目前行业普遍采用人工固定静态阈值完成异常判定,无法适配系统长期运行产生链路特性变化及故障模式迭代,易引发异常误判、漏判;无法精准拆解多环节联动下误差叠加、放大与衰减的复杂传播机理,存在故障溯源精度低、故障层级与源头定位模糊的问题。此外,现有方案缺少线上自适应迭代闭环机制,模型误差传播参数与异常判定阈值长期固化,无法随新增故障样本动态更新、适配系统动态工况,导致rag问答准确率波动、幻觉异常、链路退化等问题反复出现,难以从根源上根治系统异常,严重制约了大模型rag落地应用的稳定性与可靠性。
技术实现思路
1、本发明的目的在于提供基于大模型的rag处理优化系统及方法,以解决现有技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:基于大模型的rag处理优化方法,应用于包含文档切片、向量化索引、向量检索、重排序、prompt组装、大模型生成的串行rag流水线系统,方法包括以下步骤:
3、步骤s1:构建rag全链路统一埋点采集体系,对每次rag问答全生命周期进行时序化采集,采集数据包括用户查询特征数据、检索时序时数据、相关性分值、prompt结构数据、大模型生成耗时与输出忠实度数据、用户反馈故障标签及异常时序数据;
4、步骤s2:基于标准化历史时序数据集与历史故障样本数据集,构建rag误差传播因果逻辑模型;
5、步骤s3:基于误差传播因果逻辑模型对单次问答全链路反向回溯,量化计算文档切片、向量化索引、向量检索、重排序、prompt组装、大模型生成各环节的误差贡献权重及占比;
6、步骤s4:基于构建完成的误差传播因果逻辑模型及分层动态基准阈值体系,线上实时采集rag全链路运行指标,开展分层阈值超标判定,针对超标异常工况执行全链路反向误差溯源、故障环节分级判定,量化输出包含误差权重、故障点位与退化等级的分析报告;同时将新增有效故障样本用于模型增量迭代,动态更新各环节误差传导系数与分层基准阈值。
7、进一步的,步骤s1包括以下内容:
8、为每轮rag问答分配唯一任务id与时序戳,实现全链路数据关联;针对六大流水线环节分时序采集结构化数据;
9、用户查询特征数据包括查询文本长度、查询类型、查询时序频次;查询类型通过历史查询时序频次聚类得到,分为高频常规查询、中频业务查询、长尾模糊查询;
10、检索时序时数据包括单次召回片段总数、各片段向量相似度分值、检索耗时、无效召回片段数量;各片段向量相似度分值通过余弦相似度计算查询向量q与片段向量c的相似度分值,sim=(q·c)/||q||×||c||;设定相似度基线阈值,将低于阈值的片段判定为无效召回片段,统计无效片段数量,并按时序存储全部相似度分值,形成相似度时序序列;
11、相关性分值包括重排前、重排后相关性得分序列及重排过滤片段数量;重排前相关性得分由向量检索相似度输出得到,重排后相关性得分由重排模型打分直接输出,过滤片段数量由重排前后片段数量差值计算得到;
12、prompt结构数据包括包括prompt总字符长度、检索上下文占比、冗余文本占比;检索上下文占比=检索片段总字符数/prompt总字符数×100%,冗余文本占比=无效检索片段字符总数/prompt总字符数×100%;
13、大模型生成耗时与输出忠实度数据包括生成时长、忠实度评分、幻觉特征标识;忠实度评分结合生成文本与有效检索片段的匹配重合度得分、事实一致性得分加权得到,匹配重合度得分是指对生成文本与全部有效检索片段进行语义覆盖匹配统计,提取生成文本中的核心语义单元,计算有效检索片段对核心语义单元的覆盖占比作为匹配重合度得分,覆盖占比为能够被有效检索片段完整覆盖的核心语义单元数量与生成文本包含的全部核心语义单元总数量的商,事实一致性得分是指遍历生成文本中所有数值条件、限定规则、逻辑关系和约束语句,逐一与有效检索片段的原始事实内容进行正误校验,统计与有效检索片段完全一致、无篡改、无推导偏差的合规事实条目数量与生成文本中可校验的事实约束条目总数量的商作为事实一致性得分;
14、设置加权系数w1、w2,利用公式:sf=w1×sm+w2×sa,计算忠实度评分sf,其中sm表示匹配重合度得分,sa表示事实一致性得分;w1+w2=1,判定低于预设忠实度阈值则对当前单次问答任务对应的大模型生成文本标记存在幻觉特征;
15、用户反馈故障标签及异常时序数据包括用户正负反馈数据、历史故障标签数据以及各环节丢弃片段数量、异常告警时序数据;
16、对所有采集、计算数据进行清洗、时序对齐与去重,得到标准化历史时序数据集。
17、进一步的,步骤s2包括以下步骤:
18、步骤s21:历史故障样本数据集由历史问答任务中被用户正负反馈、系统异常告警、人工故障标注判定为回答错误、局部错误、链路异常的异常样本聚合构成,每条故障样本绑定对应轮次全链路时序指标与故障类型标签;
19、步骤s22:对步骤s1所得标准化历史时序数据集中的每一项独立时序指标,逐指标计算均值、方差、波动系数,其中波动系数是指独立时序指标标准差σ与对应时序指标均值μ的商,基于单指标时序统计结果确定各指标稳态区间,稳态区间为[μ-kσ,μ+kσ],k为预设稳态缩放系数;稳态区间表征rag环节正常无故障时的指标合理波动范围;
20、步骤s23:对历史故障样本数据集提取切片异常、检索异常、重排异常、prompt异常、模型生成异常、多环节耦合异常六类故障类型;针对每类故障,定量计算故障时刻对应的指标偏移量、指标突变幅度和多指标联动变化规律;
21、指标偏移量是指故障时刻单指标实时数值对应指标稳态区间中位值的绝对差值,指标突变幅度是指指标偏移量与对应指标稳态区间最大允许偏移量的比值;多指标联动变化规律是指同一故障时序窗口内,记录多个链路指标的同步偏移方向、偏移幅度比例和时序先后突变关系;
22、步骤s24:完成故障特征提取后,将单类故障对应的指标偏移量归一化数值、指标突变幅度数值、多指标联动时序特征编码值拼接为固定维度故障特征向量,同时将历史故障样本中已标注的误差叠加结果、误差放大倍数、多环节联动异常类型、误差累积速率量化为对应维度的故障表现标签向量;
23、逐一对待测故障特征向量与各历史样本的故障表现标签向量计算欧式相似度距离d,d(x,y)=[∑(xi-yi)2]1/2,i∈[1,m],m表示向量维度数,xi表示第i类故障特征向量维度值,yi表示第i类故障对应历史样本故障表现标签向量维度值;距离越小则特征与故障表现匹配度越高,选取最小距离对应的历史故障标签作为当前故障的关联误差表现,完成特征-故障表现的关联映射;
24、步骤s25:映射完成后输出每类故障对应的误差叠加规律以结构化量化数据形式体现,误差叠加规律包括单环节独立误差的基准放大倍数、上下游环节误差传导叠加阈值、多指标联动异常对应的误差累积速率、不同故障类型对应的最终问答误差等级;
25、步骤s26:固定上下游关联环节,以历史时序样本集中的上游环节指标偏离度为自变量x,以对应时序下的下游环节误差增量为因变量y,构建时序线性回归模型y=γx+b,其中γ为待拟合的原始传导系数,b为回归偏置常量;通过大批量时序样本拟合收敛得到稳定的原始传导系数γ,依据γ的数值区间差异化判定并输出误差正向传导、误差衰减、误差放大三类误差传导系数;完成所有相邻环节系数拟合后,基于六大rag流水线环节的两两双向误差传导系数,构建6×6维度的误差传播路径矩阵;矩阵行对应误差源环节、列对应受影响下游环节,矩阵内部元素为行环节指向列环节的标准化误差传导系数,无传导关系位置置0;
26、步骤s27:采用分层递进计算方式得到动态基准阈值体系,具体分层计算过程包括单环节稳态预警阈值、单环节故障判定阈值、全链路误差累积阈值三层阈值计算;第一层基于各指标稳态区间[μ−kσ,μ+kσ],计算单环节稳态预警阈值,预警阈值为稳态区间边界值;第二层基于各故障类型的最大指标突变幅度与误差传导放大倍率,对稳态区间边界进行倍率修正,得到单环节故障判定阈值tf,公式为:tf=tw×(1+ɑ×β);tw为稳态预警阈值,ɑ为对应故障类型的指标突变幅度,β为环节误差传导放大倍率;第三层基于误差传播路径矩阵中所有环节的累积误差传导系数,加权求和得到全链路误差累积基准值,结合历史故障样本的全局误差等级阈值,确定全链路误差累积阈值;完成rag误差传播因果逻辑模型的完整构建。
27、构建完成的误差传播因果逻辑模型最终固化得到各独立时序指标的稳态区间参数、六类故障对应的指标突变特征与专属误差叠加规律、六大流水线环节对应的误差传导系数与6×6误差传播路径矩阵、分层自适应动态基准阈值体系,为后续全链路误差量化溯源、异常判定与误差贡献度计算提供完整、可量化的数据模型支撑。
28、进一步的,步骤s3包括以下具体步骤:
29、步骤s31:实时获取当前单次rag问答任务的全链路实时运行指标,匹配误差传播因果逻辑模型中各环节对应的动态基准阈值、误差传导系数;
30、步骤s32:调取当前环节目标时序指标的稳态区间中位值v、稳态预警阈值tw,计算实时指标相对稳态中心的绝对偏差值δe,δe=|xr-v|,其中xr表示当前问答轮次的指标实时数值;再以稳态预警阈值的单边最大允许偏移量为分母做归一化处理,得到实时指标偏离度dr,dr=δe/|tw-v|;当dr<1时表示指标处于稳态正常波动区间,当dr≥1时表示指标突破稳态预警区间,出现实质性异常偏离;
31、步骤s33:基于各环节指标偏离度以及上下游对应的误差传导系数,加权拟合计算得到各环节独立误差值;
32、步骤s34:对所有rag流水线环节的独立误差值进行全局归一化处理,通过归一化公式计算得到每一个环节的误差贡献权重wj,误差贡献权重用于表征各环节对最终问答误差的影响占比;wj=(ej/∑ej)*100%,其中ej表示第j个环节的独立误差值,j∈[1,n],n表示rag流水线核心环节总数,n=6;
33、步骤s35:按照误差贡献权重数值从大至小排序,预先设置核心权重阈值w1和次要权重阈值w2,满足w1>w2,对排序后的各环节误差贡献权重进行区间判定,当环节误差贡献权重wj≥w1时,判定为核心故障环节,当环节误差贡献权重w2≤wj 34、进一步的,步骤s4包括以下具体过程: 35、线上推理时,实时采集全链路指标并输入因果逻辑模型,逐环节计算实时指标偏离度与全链路实时误差累积值,依托步骤s2构建的三层动态基准阈值体系,分三类场景判定异常超标状态,当环节实时指标偏离度dr≥1时,判定为单环节轻度超标;当环节实时指标数值超出对应环节故障判定阈值tf,判定单环节出现实质性故障误差;当实时全链路累积误差大于等于全链路误差累积阈值ts,判定多环节误差叠加累积超限,存在全局性rag问答故障; 36、满足上述任意一种超标条件或监测到多指标同步突变联动异常时,启动全链路反向溯源机制; 37、全链路反向溯源机制是指识别当前超标类型,超标类型包括单环节单点异常、多环节耦合异常和全链路累积异常,锁定异常时序窗口与超标指标集合;基于误差传播路径矩阵,从下游大模型生成环节、prompt组装环节逆向向上遍历重排序、向量检索、向量化索引、文档切片六大环节,逐一对矩阵中[上游→下游]的正向传导关系做反向映射解析;通过读取各环节间固化的误差正向传导系数、衰减系数、放大系数,结合当前故障时序窗口内各上游环节实时指标偏离状态,还原当前故障时序下的误差逐级传播路径、误差叠加层级、误差放大节点、误差衰减节点; 38、同时区分两类误差来源,一类为原生自异常来源,另一类为耦合传导异常来源; 39、获取当前环节耦合总误差、所有上游相邻环节的实时指标偏离度与对应传导系数,筛选出指标偏离度超过传导叠加阈值的有效上游传导链路;其次依据上游传导系数加权计算得到上游传导叠加误差分量,该分量为上游异常传递至当前环节的被动误差;最后通过耦合总误差减去全部上游传导叠加误差分量,得到当前环节剔除耦合干扰后的原生独立误差值;原生独立误差值的还原作用为彻底消除rag流水线串行耦合干扰,剥离被动传导误差,精准表征每个流水线环节自身的真实异常程度与原生故障贡献,避免将上游传导误差误判为本环节自主故障,为后续真实误差贡献权重计算、故障源头定位提供纯净、无干扰的量化数据基底; 40、基于还原后的各环节原生独立误差值、归一化误差贡献权重、实时指标偏离度、故障匹配误差等级四维参数,结合预设两级权重阈值w1、w2完成分级判定,当环节误差贡献权重wi≥w1、且原生独立误差值不为0、指标偏离度dr≥1时,判定为核心故障环节,为本轮问答退化的自主原生故障源头,对最终误差起主导决定性作用;当w2≤wi<w1、且原生独立误差值不为0,或权重低但存在上游传导叠加误差时,判定为次要影响环节,存在轻微原生异常或被动耦合异常,对整体误差存在小幅辅助叠加作用;当wi<w2、原生独立误差值小于误差阈值、指标处于稳态区间,且无接收上游有效传导误差时,判定为无影响环节;本环节无自主故障、无有效误差贡献,运行状态完全正常,最终完成全链路主动故障源与被动影响点的精准区分与量化溯源。 41、量化输出包含误差权重、故障点位与退化等级的分析报告包括按误差贡献权重从大至小排序六大流水线环节,固化各环节误差占比数值;并绑定对应环节的实时指标偏离度、异常超标类型、误差传导层级、故障匹配等级;再整合时序异常信息、故障危害等级、误差叠加成因,形成量化报告。 42、进一步的,步骤s4还包括以下具体过程: 43、将本轮异常问答的全链路时序指标、指标偏离特征、误差贡献分布、故障等级标签完整落库,新增为增量故障样本,形成「历史基线样本+新增增量样本」的滚动拟合数据集,剔除异常脏样本; 44、以原有已收敛的时序回归模型参数为基线,采用带基线约束的增量最小二乘拟合方式开展小幅修正,拟合损失函数同时约束新样本拟合偏差与历史基线参数偏移量,修正公式为:γnew=γold+θ*δγ,γnew为更新后传导系数,γold为历史基线固化系数,θ为小幅增量学习率,δγ为新增增量样本拟合得到的系数修正残差;依次更新六大环节两两之间的正向传导、衰减、放大系数与6×6误差传播路径矩阵元素; 45、基于新增同类故障样本,重新统计拟合单环节基准放大倍数、上下游误差传导叠加阈值、误差累积速率、问答误差等级映射关系,对各类故障专属量化参数做均值平滑更新; 46、结合更新后的传导系数与最新样本误差临界值,重新计算各指标稳态区间、单环节故障判定阈值、全链路误差累积阈值,完成分层动态基准阈值体系的自适应更新。 47、基于大模型的rag处理优化系统,系统包括数据时序采集模块、误差因果建模模块、误差权重量化模块和自适应闭环优化模块; 48、数据时序采集模块用于搭建rag全链路统一埋点采集体系,对rag问答全生命周期数据进行时序化采集、清洗与对齐,构建标准化历史时序数据集与历史故障样本数据集; 49、误差因果建模模块用于基于两类数据集挖掘各环节故障特征与误差传播规律,拟合得到多类误差传导系数、构建误差传播路径矩阵,并搭建包含单环节预警阈值、单环节故障阈值、全链路误差累积阈值的分层动态基准阈值体系,完成rag误差传播因果逻辑模型的固化构建; 50、误差权重量化模块用于线上实时计算各环节指标偏离度与原生独立误差值,量化求解六大流水线环节的误差贡献权重,分级判定核心故障环节、次要影响环节与无影响环节; 51、自适应闭环优化模块用于依托分层动态阈值体系完成分层超标判定,对异常工况执行全链路反向溯源、误差机理还原与故障精准定位,量化输出标准化故障分析报告,并基于新增故障样本实现模型参数小幅增量拟合更新与动态阈值迭代校准,完成rag系统全链路误差监控、溯源、优化的全自动闭环管控。 52、进一步的,误差因果建模模块与自适应闭环优化模块配合实现无侵入式量化误差拆解与自适应迭代优化功能; 53、误差因果建模模块用于通过历史故障样本聚类划分多类故障类型,量化生成故障特征向量与故障表现标签向量,依托欧式距离匹配实现故障特征与误差表现的关联映射,通过时序回归拟合得到上下游环节正向传导、误差衰减、误差放大三类量化系数,构建误差传播路径矩阵,量化拆解多环节误差叠加、放大、衰减的传播机理,通过多维度参数校准生成自适应分层动态阈值体系; 54、自适应闭环优化模块具体用于通过双层量化筛选锁定有效误差传播链路,逆向还原误差传播路径与叠加层级,剥离上下游耦合传导误差以还原各环节原生独立误差,结合多维度参数分级判定故障源头,同时采用带基线约束的小幅增量拟合机制迭代更新模型传导参数与阈值体系,搭配工况适配校验机制持续适配系统数据漂移与链路特性变化。 55、与现有技术相比,本发明的有益效果是: 56、1、本发明摒弃传统依赖知识库语义解析、侵入业务链路调优的优化方式,全程仅基于rag系统历史运行时序数据与故障样本数据完成建模、监控与优化,不改动原有切片、检索、重排、大模型生成的核心业务算法与参数,无需针对不同知识库、业务场景定制改造,能够通用适配各类串行架构rag流水线,无业务侵入性、落地难度低、适配性极强,有效解决现有优化方案场景适配性差、改造成本高、依赖语义解析的技术弊端。 57、2、本发明通过构建误差传播路径矩阵,精准拟合各环节正向传导、衰减、放大三类误差传导系数,通过双层量化筛选精准锁定有效误差传播链路,剥离上下游耦合传导误差,还原各环节原生独立误差值;同时通过四维参数联合判定机制,精准划分核心故障环节、次要影响环节与无影响环节,量化各环节误差贡献权重,解决现有技术无法拆分耦合误差、故障定位模糊、无法量化误差贡献、多环节联动故障难以溯源的核心痛点。 58、3、本发明摒弃传统人工固定静态阈值,搭建单环节预警、单环节故障、全链路累积三层动态阈值体系,同时设计增量小幅拟合修正机制,基于线上新增故障样本动态迭代更新误差传导系数、故障特征参数与分层阈值,搭配残差与溯源准确率双维度适配校验机制,保证模型参数持续适配链路特性微调等动态工况,实现异常监控、故障溯源、模型迭代、性能优化的全自动闭环,解决现有技术阈值僵化、模型无法自适应更新、故障退化反复出现的问题,持续保障rag系统问答输出的稳定性与准确性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com