基于大语言模型语义解析与双重校验的信息智能匹配方法与流程

摘要: 本发明属于信息分析,具体涉及一种基于大语言模型语义解析与双重校验的信息智能匹配方法。背景技术:1、信息智能匹配,简单来说就是利用计算机技术,在海量数据中,自动找...
基于大语言模型语义解析与双重校验的信息智能匹配方法与流程

本发明属于信息分析,具体涉及一种基于大语言模型语义解析与双重校验的信息智能匹配方法。

背景技术:

1、信息智能匹配,简单来说就是利用计算机技术,在海量数据中,自动找到与你当前需求最相关、最精准的答案或者对象。例如,基层服务人员根据儿童实际情况办理适合的补贴或待遇时,可以构建相应的信息智能匹配系统或者应用,通过输入儿童信息数据匹配得到适合的政策信息,然后办理相应的补贴或者待遇,这样能够大幅提高基层服务人员的工作效率,为有需要的人员提供精准服务。

2、目前,在构建信息智能匹配系统或者应用时,主要问题是信息数据(如政策信息等)大都是以自然语言文本的形式发布,其适用条件、待遇标准和办理流程嵌套在条文的段落表述之中,缺乏结构化的机器可读表示。基层工作人员在匹配时,需要同时维护各种各样的条件模型,并与具体情况进行逐一比对,这一过程既缺乏系统化工具的支撑,也缺乏自动化的校验机制。现有解决方法主要包括两类,第一类是传统的规则引擎方案,由领域专家人工将政策条文编码为if-then形式的规则集合,通过规则推理引擎进行条件匹配,该方案的主要缺点是规则编码过程耗时耗力(一项中等复杂度的政策平均需要两至三名领域专家工作一周才能完成编码和验证),且当政策修订或新政策出台时,规则库的更新存在严重滞后,导致系统运行中频繁出现规则过期的问题。第二类是基于大语言模型的问答方案,将政策文本存入向量数据库,由用户提出自然语言问题,系统检索相关片段后由大语言模型生成回答,该方案的主要缺点是乏结构化的规则约束,模型输出存在错误风险,并且输出结果缺乏确定性,同一输入在不同调用中可能产生不同的输出,同时还缺乏系统性的输出验证机制,无法确保匹配结果的可靠性和一致性。

技术实现思路

1、针对上述不足,本发明公开了一种基于大语言模型语义解析与双重校验的信息智能匹配方法,利用大语言模型将政策文本解析为结构化的规则数据,构建可机器执行的策略规则库,并且在匹配阶段采用形式化规则校验和大语言模型语义复核的双重校验机制,兼顾匹配的精确性和对政策条文中模糊表述的处理能力,同时通过对大语言模型输出的置信度评估和形式化验证,确保最终匹配结果的可靠性。

2、本发明是采用如下技术方案实现的:

3、一种基于大语言模型语义解析与双重校验的信息智能匹配方法,其包括以下步骤:

4、s1、政策文本采集与预处理:采集政策文本并入数据库,之后先将政策文本进行文本格式统一化,将pdf或word文件转换为纯文本格式,并且保留段落结构,接着进行元数据标注,然后进行条款分段,按照政策的章节和条款结构,将全文切分为独立的条款文本段,每个段落保留其在原文件中的条款编号,如"第三条第二款",接着进行去重与版本关联,若检测到该政策为此前已入库政策的修订版本,自动关联历史版本,标记变更条款;

5、s2、利用大语言模型将步骤s1处理后得到的政策条款文本解析为结构化的政策结构化三元组(pst),所述大语言模型的构建包括以下步骤:

6、s21、领域微调数据准备:从数据库的政策文本中选取二十至三十项具有代表性的政策条款,由两名领域专家独立将其手动解析为结构化三元组,形成政策文本与结构化三元组的对照样本集;若对于两位专家解析结果不一致的条款,组织讨论达成一致后作为最终标注;

7、s22、大语言模型选型与部署:选择参数规模在7b至70b之间的中文基座大语言模型(如qwen系列、chatglm系列或baichuan系列),在配备至少一张gpu(显存不低于24gb,如nvidia a10或rtx 4090)的推理服务器上部署,然后使用步骤s21中得到的对照样本集进行领域适配微调,并且领域适配微调过程中仅训练占总参数的0.1%~1%的附加参数,不改变基座模型的原始参数,训练时间在单张gpu上为2~4小时,领域适配微调完成后的模型在预留的测试集上评估解析准确率,要求条款级解析准确率不低于90%,条件字段级解析准确率不低于百分之95%;

8、s23、提示模板配置:为政策结构化解析任务配置提示模板(prompt template),所述的提示模板包含以下要素:任务指令(明确要求模型将输入的政策条款解析为结构化三元组)、输出格式规范(以json schema定义输出结构,包括适用条件数组、待遇标准数组和办理流程数组,每个适用条件包含字段名、运算符、阈值和逻辑连接符)、处理模糊条件的指引(要求模型对模糊表述给出推荐的形式化编码方案,同时标注模糊标记以提示该条件需要人工审核)、3~5个解析示例(few-shot learning,从标注数据中选取不同类型的示例供模型参考);

9、s24、批量解析执行:将步骤s1处理后得到的政策条款文本逐条输入步骤s22中调整后的大语言模型,使用步骤s23中所述的提示模板,对每条政策条款输出一个json格式的结构化三元组,并且解析过程中记录每条结果的生成时间和模型的内部置信度信息;

10、s25、置信度评估与人工审核分流:对每条解析结果,基于模型输出的概率分布集中度、输出结构是否符合预定义的json schema、条件字段是否对应cpdo中已有的标准属性名以及模型对模糊条件的标记情况,计算综合置信度分数,置信度高于0.90的结果自动进入策略规则库,置信度介于0.60至0.90之间的结果进入人工审核队列,由领域专家在web审核界面上逐条确认或修正后入库;置信度低于0.60的结果标记为解析异常,触发告警通知运维人员检查该政策条款的文本质量或提示模板是否需要调整;在系统首次部署时,预计约百分之六十的解析结果可直接入库,百分之三十五进入审核队列,百分之五标记为异常,随着领域微调数据的积累和模型的持续优化,直接入库的比例将逐步提高;

11、s26、策略规则库版本化更新:经过步骤s25确认的结构化三元组写入策略规则库,策略规则库采用版本化管理,每次政策变更(如新增、修订或废止)都生成一个新的规则库版本号,记录变更时间戳、变更类型、涉及的政策条款和变更前后内容差异,当匹配引擎在运行时可指定使用特定版本的规则库(默认使用最新版本),确保匹配判断基于正确的政策版本,规则库更新后,匹配引擎自动热加载新版本的规则数据,无需重启服务;

12、s3、形式化规则匹配(双重校验第一阶段):当需要进行政策匹配时,执行形式化规则匹配,以待匹配人员的画像数据对象和策略规则库(prb)的最新版本作为输入,输出为形式化匹配结果集;

13、s4、大语言模型语义复核(双重校验第二阶段):利用大语言模型的语义理解能力对步骤s3中的输出进行二次审核和补充,其中以步骤s3的确认匹配集和确认排除集中的结果作为输入,由大语言模型进行语义层面的复核检查,同时以步骤s3的待定集中的结果,由大语言模型进行语义推理以做出最终判定;

14、本发明采用的核心匹配策略是由两个串联的校验阶段组成;第一阶段为形式化规则校验,是将画像数据对象中的属性值与策略规则库中全部政策规则的形式化适用条件进行逐条比对,筛选出满足全部硬性条件的政策项目集合,即为形式化匹配结果集;第二阶段为大语言模型语义复核,是将形式化匹配结果集连同人员的完整画像信息,以自然语言形式提交给经过领域微调的大语言模型,请求模型从语义层面进行二次审核,重点检查以下情况:是否存在因形式化表达局限而被规则引擎遗漏的政策项目(如政策条文中的模糊条件"家庭确有困难"在形式化时被保守地编码为严格的经济指标阈值,某些实际困难但指标不达标的儿童可能被错误排除);形式化匹配结果中是否存在不适用的"假阳性"项目(如某儿童虽然满足全部形式化条件,但存在政策条文中以自然语言描述的隐含排除条件),经过双重校验后输出的最终匹配结果,其可靠性显著优于单一校验方式;

15、s5、服务建议包生成与输出:将经过步骤s4处理后的最终匹配结果整合为服务建议包(srp),输出给基层服务人员。

16、所述的结构化三元组(policy structured triplet, pst)是指本发明对每一条福利政策条款进行结构化解析后的标准输出格式。每个三元组由适用条件集合、待遇标准集合和办理流程集合三个部分组成。其中适用条件集合包含该政策条款对申请对象的全部约束条件,每个条件以属性字段、比较运算符以及阈值的形式化表达式表示(如"年龄<18周岁""父母状态=双方失踪或服刑""残疾等级>=二级"等);待遇标准集合描述符合该政策条件的儿童可享受的具体待遇内容(如每月补贴金额、医疗费用报销比例、免费服务项目清单等);办理流程集合描述申领该政策待遇所需提交的材料、审批部门和办理时限。

17、所述的策略规则库(policy rule base, prb)是指本发明构建的存储全部福利政策结构化三元组的数据库,策略规则库以版本化管理的方式维护,每次政策新增或修订时自动更新,并保留完整的历史版本记录,支持按时间节点查询任意时刻生效的政策规则集合,策略规则库是匹配引擎进行自动化匹配的核心数据源。

18、进一步的,步骤s1中采用以下三种方式进行政策文本采集:方式一是定时定时爬取政府公报网站、政策数据库和政府部门的官方信息发布平台,检测新发布或修订的政策文件,然后自动下载并入数据库;方式二是布置web管理界面,允许管理人员手动上传pdf或word格式的政策文件;方式三是采用api对接渠道,与上级政务信息共享平台的政策发布接口对接,实时接收推送的政策变更信息。

19、进一步的,步骤s1中所述的元数据标注是由管理人员或自动识别工具为政策文件标注政策名称、发布机构、发布日期、生效日期、失效日期、政策层级(国家级/省级/市级)和适用区域。

20、进一步的,步骤s21中所述的对照样本集包括以下典型场景:条件明确的简单政策(如年龄限制、户籍要求)、条件复杂的嵌套政策(如多个条件之间存在"或""且"逻辑关系)、包含模糊表述的政策(如"家庭确有困难的""经认定需要帮扶的")和包含排除条件的政策(如"已享受同类补贴的不重复享受")。

21、进一步的,步骤s3中,当需要进行政策匹配时,执行形式化规则匹配,以待匹配人员的画像数据对象和策略规则库(prb)的最新版本作为输入,输出为形式化匹配结果集,其具体步骤如下:

22、s31、待匹配人员的画像数据对象提取:根据采集的待匹配人员的画像数据对象,提取全部属性字段及其当前值,对于画像数据对象中缺失的属性字段(如某儿童的心理健康评估数据尚未采集),标记为未知状态;

23、s32、规则逐条匹配:遍历策略规则库中的全部政策规则,对每条规则执行以下匹配逻辑:依次检查规则的适用条件集合中的每个条件,将条件中的属性字段名映射到画像数据对象中对应的属性字段,取出该属性的当前值,与条件中的阈值按照指定的比较运算符进行比较,若画像数据对象中对应属性值为未知,则该条件的判定结果为无法确定,全部条件之间按照规则中指定的逻辑连接符("且""或")进行组合判定,当全部条件的组合判定结果为满足时,该政策规则进入形式化匹配结果集,当判定结果为不满足时,该规则被排除,当判定结果包含无法确定的条件时,该规则进入待定集合,连同无法确定的条件信息一并传递给语义复核阶段进行处理;

24、s33、形式化匹配结果输出:输出三个集合,其包括确认匹配集(全部条件均满足的政策规则列表)、确认排除集(至少一个条件明确不满足的政策规则列表)和待定集(包含无法确定条件的政策规则列表),并且每个集合中的每项结果附带详细的匹配过程日志,记录了每个条件的属性名、画像数据对象中的实际值、规则要求的阈值、比较运算符和单项判定结果。

25、进一步的,步骤s3中所述的画像数据对象是为待匹配人员维护的标准化数据对象,汇聚该名待匹配人员在各部门系统中的全部关联信息,所述的画像数据对象包含以下维度的属性字段:基本信息维度(如姓名、身份证号、出生日期、性别、民族、户籍地址、现居住地址)、家庭信息维度(如家庭成员列表、各成员身份状态、家庭经济收入、住房类型)、健康信息维度(如疾病诊断记录、残疾等级、康复需求、疫苗接种状态)、教育信息维度(如就读学校、年级、出勤率、辍学状态)、服务信息维度(如已享受政策列表、服务记录、评估历史)和特殊标记维度(如是否留守儿童、是否少数民族、监护人状态等)。

26、进一步的,步骤s4中,利用大语言模型的语义理解能力对步骤s3中的输出进行二次审核和补充,其中以步骤s3的确认匹配集和确认排除集中的结果作为输入,由大语言模型进行语义层面的复核检查,同时以步骤s3的待定集中的结果,由大语言模型进行语义推理以做出最终判定,具体步骤如下:

27、s41、语义复核上下文构建:为每次匹配调用构建语义复核上下文(semanticreview context, src),所述的src包含以下信息:目标的完整画像描述(将cpdo的结构化属性值转换为自然语言描述,如"该儿童,男,12岁,壮族,户籍地址为a市b县c镇d村,父亲于2023年因交通事故去世,母亲失踪超过两年,目前由65岁的祖母监护,祖母患有高血压,家庭经济来源为低保金和祖母的农村养老金,该儿童就读于c镇中心小学六年级,本学期出勤率百分之九十二,2024年3月被评估为二级(橙色)风险等级")、步骤s3中输出的三个集合及其匹配过程日志、相关的政策条款原文(从政策文本库中检索对应的条款全文);

28、s42、提示构建与模型调用:将步骤s41构建的src和专用的语义复核提示模板组合后输入大语言模型,其中语义复核提示模板要求模型执行以下三项审核任务:

29、任务a是遗漏检查,即模型审查确认排除集中的政策项目,判断是否存在因形式化表达局限而被错误排除的项目;(如重点关注以下场景:政策条件中含有模糊表述,如家庭确有困难,形式化编码时使用了严格的数值阈值,而该儿童虽然数值不达标但综合情况确实困难;政策条件之间存在复杂的逻辑关系,如嵌套的"或""且"组合,形式化编码时可能简化了逻辑结构;政策适用于其他特殊情形等兜底条款,这些条款在形式化阶段通常被忽略,如果模型发现疑似遗漏的项目,输出该项目及其遗漏理由);

30、任务b是假阳性检查,即模型审查确认匹配集中的政策项目,判断是否存在形式上满足条件但实质上不应适用的项目;(如重点关注:政策条文中以自然语言描述的隐含排除条件未被形式化,如已享受同类性质补贴的不重复享受,该条件在cpdo中可能没有对应的标准字段;政策的精神意图与字面条件之间存在差异,如某政策旨在帮助因突发事件导致临时困难的家庭,该儿童家庭虽然当前经济指标达标但困难源于长期性结构问题而非突发事件,如果模型发现疑似假阳性的项目,输出该项目及其排除理由);

31、任务c是待定项裁决,即模型审查待定集中的政策项目,利用画像描述和政策条款原文进行语义推理,对每个待定项目做出匹配、不匹配或建议人工确认的判定,并附带推理过程说明;

32、s43、形式化验证:对大语言模型在步骤s42中输出的每一项判断结果,执行形式化验证:将模型声称的遗漏项(模型认为应该匹配但第一阶段排除了的项目)与该待匹配人员的cpdo中的实际属性值进行逐条比对,如果模型声称该人员满足某个条件,但cpdo中对应的属性值实际上不满足该条件的形式化要求,则该项被形式化验证驳回,不纳入最终结果;经过形式化验证后仍保留的遗漏项和假阳性项,连同待定项中模型判定为匹配的项目,一起标记为语义补充结果,本该形式化验证步骤是本发明确保大语言模型输出可靠性的关键机制,通过模型推理和事实验证的双重保障,消除模型的幻觉输出;

33、s44、置信度二次评估与分流:对语义补充结果中的每一项,基于模型的输出概率、推理过程的逻辑完整性、以及形式化验证的通过情况,计算综合置信度分数,置信度高于0.90的项目直接进入最终匹配结果,介于0.70至0.90之间的项目标记为建议人工复核,连同模型的推理说明一起推送给负责该人员的基层服务人员进行确认,低于0.70的项目标记为低置信度,仅以参考信息的形式呈现,不纳入正式匹配结果。

34、进一步的,步骤s5中,将经过步骤s4处理后的最终匹配结果整合为服务建议包(srp),输出给基层服务人员,具体步骤如下:

35、s51、政策待遇清单编制:汇总最终匹配结果中的全部确认匹配项目和经语义补充确认的匹配项目,按政策层级(如国家级、省级、市级)和待遇类型(如基本生活保障、医疗救助、教育资助、康复服务、心理关爱、住房帮扶、法律援助)两个维度进行分类排列,每项政策标注有政策名称及文号、适用条件摘要(如标注该儿童满足了哪些条件)、待遇标准(如具体的补贴金额或服务内容)、申领入口(如线上申报链接或线下受理窗口地址)和所需材料清单,对于建议人工复核的语义补充项目,在清单中单独标记,附带模型的推理说明供基层人员参考;

36、s52、服务资源推荐:根据该人员的需求标签(从cpdo和风险评估结果中提取,如"心理咨询需求""康复训练需求""教育帮扶需求"等)和所在区域信息,在服务资源数据库中进行匹配检索,所述的服务资源数据库收录有辖区内注册的社会服务机构、专业服务项目、服务能力、服务区域、联系方式和当前排队情况的信息,检索结果按匹配度和地理距离排序,取每个需求类别下的前三名推荐机构,标注机构名称、服务内容、地址、联系电话和预计等候时间;

37、s53、服务优先级排序:根据该人员的风险等级和各政策待遇的性质,自动计算服务优先级得分,其中排序规则为涉及人身安全的紧急干预服务优先于基本生活保障服务,基本生活保障服务优先于发展性服务(如教育、心理等),有时限要求的服务(如入学资助需在开学前完成申请)优先于无时限要求的服务,同时输出建议的服务实施先后顺序和每项服务的建议启动时间节点;

38、s54、srp格式化输出与推送:将步骤s51~s53中的输出整合为格式化的服务建议包文档,并且服务建议包文档支持pdf导出、系统内查看和移动端推送三种方式,srp同时写入该人员的电子个案档案,作为服务记录的基线数据,srp生成后自动触发流程引擎创建对应的服务流程实例,将srp中的各项任务分配给对应角色的待办队列。

39、进一步的,基于所述的基于大语言模型语义解析与双重校验的信息智能匹配方法配置应用系统,所述的应用系统包括以下功能模块:政策文本采集与预处理模块、大语言模型政策解析服务模块、策略规则库管理模块、儿童画像数据管理模块、形式化规则匹配引擎模块、大语言模型语义复核服务模块、形式化验证模块、置信度评估与人工审核分流模块、服务建议包生成模块、服务资源数据库模块和审计追溯日志模块。

40、进一步的,所述应用系统的整体采用微服务架构部署,各功能模块以独立的容器化服务(docker container)运行,通过api网关(如kong或nginx)统一暴露restful接口,服务间通信采用消息队列(apache kafka)实现异步解耦,确保政策解析、规则匹配和语义复核这些耗时任务不阻塞主业务流程,系统部署在市级政务云平台上,利用政务云提供的计算、存储和网络资源。

41、本技术方案与现有技术相比较具有以下有益效果:

42、1、本发明利用经过领域微调的大语言模型,自动将福利政策文本解析为结构化的规则数据,构建可机器执行的策略规则库;在匹配阶段采用形式化规则校验和大语言模型语义复核的双重校验机制,兼顾匹配的精确性和对政策条文中模糊表述的处理能力;同时通过对大语言模型输出的置信度评估和形式化验证,确保最终匹配结果的可靠性。该方法可在数小时内将新发布的政策自动纳入系统规则库,从根本上解决政策更新传导滞后的问题。

43、2、本发明通过大语言模型的自动语义解析,新政策从发布到纳入系统规则库的时间从传统人工编码方案的两至三周缩短至数小时(如大语言模型解析执行约一小时,加上人工审核确认约两至三小时),政策更新的传导时效提升了数十倍。

44、3、本发明采用的双重校验机制显著提升了匹配的准确率和覆盖率。其中,形式化规则校验确保了确定性条件下的精确匹配(即零假阳性),大语言模型语义复核捕捉了因形式化表达局限而遗漏的政策项目(降低假阴性),综合匹配值高于常规的纯规则引擎方案。此外,形式化验证机制有效消除了大语言模型的幻觉风险,通过在模型语义输出之后强制执行基于事实数据的形式化验证,将模型声称的匹配结论与实际属性值逐条比对,确保最终输出的每一项匹配结果都有可追溯的事实依据。

45、4、本发明采用的策略规则库的版本化管理和审计追溯机制满足了行政决策的合规性要求。每次匹配判断的完整过程(包括每个条件的比对结果、大语言模型的推理过程、形式化验证的结论和最终输出)均被记录在审计日志中,支持事后追溯和检查,为行政问责提供了完整的技术证据链。同时,服务建议包的自动生成将基层工作人员从繁琐的政策查询和匹配判断工作中解放出来,预计每人每天可节省一至两小时,释放出的时间可用于实际的儿童走访和服务工作。同时,标准化的匹配输出消除了不同工作人员之间的判断差异,保障了服务公平性。