用于招标采购的大语言模型幻觉修正与法条校对方法与流程
本发明属于自然语言处理,具体为一种用于招标采购的大语言模型幻觉修正与法条校对方法。
背景技术:
1、大语言模型(large language model, llm)在通用领域已展现强大文本生成能力,但在垂直专业领域存在严重的幻觉问题。研究表明,通用大模型在招标采购领域的法条引用准确率仅为58.7%,幻觉发生率高达18.5%。现有幻觉研究主要集中在通用领域的事实核查,针对招标采购等专业法律领域的幻觉检测与修正研究尚处于起步阶段。
2、现有幻觉检测方法分为三类:(1)基于外部知识库检索的事后验证方法,通过检索比对检测幻觉,但缺乏针对法规引用场景的特殊优化;(2)基于模型内部置信度的不确定性估计方法,利用模型输出概率分布判断幻觉,但在复杂推理场景下可靠性不足;(3)基于人工规则的关键词匹配方法,依赖人工编写的规则模板,覆盖范围有限且维护成本高。
3、现有法条校对主要依靠人工审核和简单的关键词匹配。部分法律科技平台引入rag(检索增强生成,retrieval-augmented generation)技术进行法规检索,但未建立系统化的多维度校验体系,也缺乏与幻觉检测的深度集成。在招标采购领域,尚未出现将幻觉检测与法条校对进行系统化融合的技术方案。
4、现有技术主要存在以下几个问题:
5、(1)缺乏行业定向的幻觉分类体系:通用幻觉检测方法未针对招标采购领域的特殊幻觉类型(法条幻觉、程序幻觉、时限幻觉、实体幻觉)进行定向设计,检测针对性不足;
6、(2)检测召回率不足:单一检测通道(仅规则或仅模型)的幻觉召回率最高仅为92.3%,存在检测盲区;规则通道对新颖幻觉模式覆盖不足,模型通道存在概率性误判;
7、(3)法条校验维度单一:现有方案仅进行条款存在性校验,忽略时效性(条款是否已被修订或废止)和适用范围(条款是否适用于当前查询场景的主体、地域和领域)校验;
8、(4)缺乏迭代修正机制:现有方案多为一次性检测,发现问题后未建立系统化的修正反馈闭环,无法通过多轮迭代逐步消除幻觉;
9、(5)未建立完整的幻觉案例库:缺乏针对招标采购领域的高质量幻觉标注数据集,模型无法从历史错误中持续学习;
10、(6)未形成检测-校对-修正的完整闭环:现有技术方案中幻觉检测、法条校对、内容修正三个环节相互独立,未实现有机融合和协同优化。
11、因此,针对以上问题,提供一种用于招标采购的大语言模型幻觉修正与法条校对方法。
技术实现思路
1、为解决现有技术中存在的上述问题,本发明提供了一种用于招标采购的大语言模型幻觉修正与法条校对方法,实现了对行业大模型生成的内容进行幻觉检测、法条校对和迭代修正生成。
2、实现上述目的的技术方案是:
3、用于招标采购的大语言模型幻觉修正与法条校对方法,包括:
4、步骤s1,采用经招标采购领域微调的大语言模型生成初始响应;
5、步骤s2,通过规则硬约束通道与模型软约束通道的双通道互补检测识别幻觉内容;
6、步骤s3,基于招标采购行业特征将幻觉分类为法条幻觉、程序幻觉、时限幻觉、实体幻觉四类,为针对性修正提供分类依据;
7、步骤s4,对响应中的法规引用进行存在性、时效性、适用范围三维度并行校验;
8、步骤s5,基于reflexion(基于大语言模型的自我反思迭代框架)自我反思框架进行第一轮迭代修正生成,将幻觉检测报告和法条校对报告作为反思输入,生成自我反思摘要并指导修正生成;
9、步骤s6,基于reflexion自我反思框架进行第二轮迭代修正生成,对第一轮修正后的残余幻觉进行深度反思和精细化修正;
10、步骤s7,基于reflexion自我反思框架进行第三轮迭代修正生成,对第二轮修正后的细微偏差进行精细化反思和最终修正,直至满足预设阈值或达到最大迭代轮次;
11、步骤s8,构建幻觉案例库并进行模型增量优化,将修正案例结构化存储并基于增量学习策略持续优化规则硬约束通道、模型软约束通道和微调的大语言模型;
12、步骤s9,输出经修正的可信响应,包含修正后的响应文本、幻觉检测报告、法条校对报告、引用溯源信息和置信度评分;
13、步骤s10,建立反馈闭环持续优化,将评估数据回流至幻觉案例库并触发模型增量微调和法规知识库更新。
14、优选的,所述步骤s1中,微调采用lora低秩自适应技术,训练数据包括六层级法规全文、历史招标采购案例和专家标注的法规问答对,为后续幻觉检测与法条校对提供待检测文本;
15、所述步骤s1具体包括:
16、训练数据准备包括:
17、第一部分六层级法规全文数据,涵盖法律、行政法规、部门规章、地方性法规、规范性文件和政策文件,并对其进行原始法规文本提取、结构化分段、清洗去噪、格式统一和质量校验;
18、第二部分历史招标采购案例,包括招标文件、评标报告和合同文本,覆盖工程、货物、服务三大类采购;
19、第三部分专家标注的法规问答对,邀请10位招标采购领域专家基于真实业务场景编写问答对;
20、领域微调:
21、采用lora低秩自适应微调技术,在原始预训练权重矩阵旁路添加低秩矩阵,冻结原始预训练权重矩阵,仅训练添加的低秩矩阵;
22、三阶段渐进式后训练:
23、第一阶段为领域知识注入,使用法规全文数据进行持续预训练,使模型掌握招标采购领域专业术语和知识体系;
24、第二阶段为任务指令微调,使用专家问答对数据进行指令微调,使模型学会理解法规咨询和流程询问任务指令;
25、第三阶段为偏好对齐,使用dpo直接偏好优化方法对模型输出进行偏好对齐,使生成内容符合采购人及招标人的实际使用习惯。
26、优选的,所述步骤s2中,规则硬约束通道包括关键词匹配、正则表达式模板库和知识图谱校验;模型软约束通道包括bert分类器、sentence-bert语义相似度计算和逻辑一致性检验;并采用并集融合策略输出融合检测结果,为幻觉分类提供检测基础;
27、其中,
28、关键词匹配收录招标采购领域高频幻觉关键词库,采用trie树数据结构进行多模式匹配,匹配规则包括精确匹配、前缀匹配和后缀匹配;
29、正则表达式模板库构建覆盖法条编号格式、金额阈值格式、时限格式、日期格式和主体资格格式的正则表达式模式,每个正则模板附带预期正确格式规则;
30、知识图谱校验基于招标采购法规知识图谱进行三元组匹配校验;
31、bert分类器采用经招标采购领域微调的bert-base加全连接分类头架构,训练数据为句子级幻觉样本,将每个句子输出一个幻觉概率值,当概率值大于0.5时标记为疑似幻觉;
32、sentence-bert语义相似度计算采用经招标采购领域微调的预训练模型,将模型输出中的法条引用段落与权威法规原文进行语义相似度计算,相似度阈值设置为0.75;
33、逻辑一致性检验对模型输出中的时间逻辑一致性、金额逻辑一致性和程序逻辑一致性进行检验;
34、并集融合策略:
35、将规则硬约束通道和模型软约束通道的检测结果进行融合,初始响应同时输入两个通道独立并行执行检测,规则硬约束通道输出规则检测结果集合,模型软约束通道输出模型检测结果集合,融合结果为两个集合的并集,对融合结果中的每个疑似幻觉进行置信度分级,包括高置信度幻觉、中置信度幻觉和低置信度幻觉。
36、优选的,所述步骤s3中,行业定向幻觉分类包括:
37、法条幻觉,包括虚构法规条款、编造条款编号、篡改法条内容;
38、程序幻觉,包括错误流程描述、遗漏法定环节、程序顺序颠倒;
39、时限幻觉,包括虚构时限要求、数值错误、过期条款引用;
40、实体幻觉,包括机构名称错误、金额标准编造、主体资格误判。
41、优选的,所述步骤s4中,存在性校验采用rag两阶段检索策略,时效性校验基于法规修订历史数据库,适用范围校验包括适用主体、地域范围和领域限制校验,为迭代修正提供校对依据;
42、所述步骤s4具体包括:
43、法条引用提取与解析:
44、采用基于正则表达式和bert(基于transformer架构的预训练语言模型)命名实体识别的混合提取方法,从模型输出文本中识别所有法规引用,提取要素包括法规名称、条款编号、款项编号和引用位置;
45、将提取的法规引用解析为结构化数据,包括法规层级、条款编号、发布年份、修订状态和引用完整度;
46、存在性校验的rag(检索增强生成技术)两阶段检索策略:
47、第一阶段为向量检索,使用双编码器架构将查询和法规库文档编码为稠密向量,在向量空间中检索top-10最相似文档;
48、第二阶段为语义重排序,将查询与第一阶段检索到的top-10文档逐一拼接后输入cross-encoder(交叉编码器,一种基于transformer架构的文本匹配模型)模型,计算精确相关度得分,重新排序后取top-3,将top-3检索结果中的条款编号与引用解析结果进行精确匹配确认条款是否存在;
49、时效性校验:
50、时效性校验的法规修订历史数据库记录每部法规的历次修订记录,包括修订日期、修订条款、修订内容摘要和废止状态;
51、将引用解析结果中的发布年份和修订状态与修订历史数据库进行比对,判断逻辑如下:
52、若引用的条款在法规最新有效版本中仍然存在且内容未变更,标记为时效性校验通过;
53、若引用的条款已被修订但修订后的条款内容实质未变,标记为时效性校验通过并附修订说明;
54、若引用的条款已被修订且内容实质变更,标记为时效性校验不通过并推荐最新版本;
55、若引用的条款已被废止,标记为时效性校验不通过并提示条款已废止;
56、若引用的法规整部已废止,标记为时效性校验不通过并提示法规已废止;
57、适用范围校验:
58、校验核实条款的适用主体是否与当前查询场景匹配;
59、校验核实条款的地域适用范围是否与当前查询场景匹配;
60、校验核实条款的领域适用范围是否与当前查询场景匹配;
61、引用内容与权威原文比对:
62、将模型引用的法条内容与通过rag检索获取的权威原文进行文本比对,比对维度包括文本相似度、关键要素一致性、语义等价性;
63、比对结果分为完全一致、部分偏差、严重不符和条款不存在四类,并针对后三类结果自动生成修正建议,包括正确条款替换、过时条款更新、适用范围补充、虚假引用删除四种修正操作。
64、优选的,所述步骤s5中,第一轮迭代修正生成包括:
65、输入准备:第一轮修正的输入包括初始响应文本、幻觉检测报告和法条校对报告,幻觉检测报告含幻觉位置标注、类型标记和置信度评分,法条校对报告含原始引用与权威原文对照、差异标注和修正建议;
66、自我反思摘要生成:基于检测报告和校对报告生成自我反思摘要,反思摘要包括幻觉产生原因分析、幻觉影响评估和修正策略制定,反思摘要以结构化自然语言形式输出,作为下一轮生成的上下文提示;
67、修正生成:基于原始查询、初始响应和反思摘要进行修正生成,修正生成采用指令引导方式,修正要求包括消除所有高置信度幻觉、用法条校对引擎推荐的正确条款替换错误引用、补充遗漏的法定环节、纠正错误的时限要求和修正实体信息错误,修正后输出修正响应文本;
68、质量评估:对第一轮修正响应进行幻觉检测和法条校对;
69、所述步骤s6中,第二轮迭代修正生成包括:
70、输入准备:第二轮修正的输入包括第一轮修正响应文本、第一轮修正后的幻觉检测报告和法条校对报告;
71、深度反思:基于第一轮修正后的检测结果进行深度反思,重点分析第一轮修正未完全消除的幻觉以及新引入的潜在偏差,深度反思包括残余幻觉根因分析、修正策略调整和边界情况识别;
72、精细化修正:基于深度反思进行第二轮修正生成,本轮修正重点关注第一轮遗漏的低置信度幻觉、法条引用的细微表述偏差、程序描述的完整性补充和时限要求的精确化,修正后输出第二轮修正响应文本;
73、质量评估:对第二轮修正响应进行幻觉检测和法条校对;
74、所述步骤s7中,第三轮迭代修正生成包括:
75、输入准备:第三轮修正的输入包括第二轮修正响应文本、第二轮修正后的幻觉检测报告和法条校对报告;
76、精细化反思:对第二轮修正结果进行精细化反思,重点处理前两轮未完全消除的低置信度幻觉和细微法条偏差,精细化反思采用细粒度分析,逐句检查响应文本的准确性;
77、最终修正:基于精细化反思进行第三轮修正生成,本轮修正重点关注细微法条表述偏差、程序环节的完整性、时限表述的精确性和实体信息的准确性,修正后输出第三轮修正响应文本;
78、质量评估:对第三轮修正响应进行幻觉检测和法条校对,直至满足输出阈值要求;
79、迭代终止条件判断:迭代修正的终止条件包括三个维度:质量阈值条件、最大迭代轮次条件和边际提升条件;
80、质量阈值条件:幻觉率低于3%且法条引用准确率高于96%,当同时满足这两个指标时,认为响应质量已达到可接受标准,终止迭代;
81、最大迭代轮次条件:迭代轮次达到预设的最大迭代轮次,当达到最大轮次时强制终止并输出当前最佳响应;
82、边际提升条件:连续两轮修正效果的综合提升低于0.5%,综合提升指标为幻觉率下降幅度与法条准确率提升幅度的加权平均值,当边际提升过低时,认为进一步迭代的收益有限,终止迭代。
83、优选的,所述步骤s8中,幻觉案例库构建的案例采集包括三个渠道:第一渠道为系统运行中自动采集的修正案例,第二渠道为专家主动标注案例,第三渠道为外部案例导入;
84、每条幻觉案例包含案例id、原始查询、初始响应、幻觉类型标注、幻觉位置标注、幻觉严重度、正确法条引用、修正后响应、修正轮次、领域标签和时间戳结构化字段;
85、模型持续优化机制采用增量学习策略,每月基于新增幻觉案例进行一次增量微调;
86、规则硬约束通道的关键词库和正则表达式模板库每月基于新增案例进行更新;
87、模型软约束通道的bert分类器每季度基于累计案例进行一次全量重训练,法规修订历史数据库每季度与国家法律法规数据库进行同步更新;
88、法规知识库更新:法规修订历史数据库每季度与国家法律法规数据库进行同步更新,同步内容包括新颁布法规、修订法规、废止法规的完整信息。
89、优选的,所述步骤s9中,输出的可信响应包含修正后的完整响应文本、幻觉检测报告、法条校对报告、引用溯源信息、整体置信度评分和人工复核建议;
90、幻觉检测报告包含幻觉位置标注、幻觉类型标记、幻觉置信度评分和幻觉修正状态;
91、法条校对报告包含每条法条引用的原始引用内容、权威原文对照、差异标注和修正建议;
92、引用溯源信息包含每条法条引用的法规层级、法规名称、条款编号、发布年份、修订版本和检索来源;
93、整体置信度评分:
94、基于幻觉消除率和法条校对准确率综合计算的整体置信度评分,范围0-100分,评分规则:
95、幻觉率每低于阈值1%加10分,法条准确率每高于阈值1%加5分,基础分60分;
96、得分≥90分为高可信度,70-89分为中等可信度,<70分为低可信度;
97、人工复核建议:针对低置信度检测结果标注建议人工复核的具体位置和复核要点。
98、优选的,所述步骤s10中,反馈闭环的评估数据回流包括用户对响应质量的评分、用户指出的错误、专家审核意见和系统自动评估指标;
99、经专家审核的修正案例正式入库,成为幻觉标注数据集的新增样本,入库前需通过质量校验包括:幻觉标注完整性检查、修正后响应准确性验证和案例与现有案例去重;
100、基于新增案例进行增量微调,根据法条校对过程中发现的法规变更信息更新法规知识库和修订历史数据库;
101、反馈闭环的运行周期为月度循环。
102、与现有技术相比,本发明的有益效果是:
103、多路径规划与对比分析:本发明能够依据国家招标采购法规体系生成多条可选采购路径,并从合规性、时效性、经济性和风险性四维度进行综合评估,帮助采购人做出更合理的采购决策;
104、智能化决策支持能力:本发明采用行业大模型结合rag知识增强技术,能够生成符合法规要求和项目实际的决策建议,解决了采购人专业能力不足、法规理解偏差导致的决策失误问题;
105、反馈闭环优化能力:本发明能够通过全流程数据反馈持续优化系统性能,动态适配法规政策变化和用户需求升级,解决了传统系统缺乏自我迭代、无法适应复杂多变采购环境的问题;
106、合规风险防控能力:本发明通过双通道幻觉检测和法条校对技术,确保大模型输出内容的准确性和合规性,解决了通用大模型在专业领域易产生幻觉、法条引用错误的问题;
107、流程效率提升能力:本发明实现了采购流程的自动化规划和监控,减少人工干预环节,将采购全流程周期平均缩短20%,解决了传统人工模式下流程繁琐、效率低下的问题;
108、数据驱动决策能力:本发明基于多源数据构建知识图谱,实现采购决策的量化分析和科学评估,解决了传统经验式决策缺乏数据支撑、主观性强的问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com