基于知识图谱与大语言模型协同的煤矿智能问答方法
本发明属于人工智能、知识工程、煤矿安全信息处理及煤矿智能化,尤其涉及一种基于知识图谱与大语言模型协同的煤矿智能问答方法。
背景技术:
1、现有的动态三煤矿行业是能源生产和工业原材料供应的重要组成部分,其生产运行过程涉及安全管理、质量检查、地质勘探、事故分析、法规制度执行、设备运行维护及应急处置等多个专业环节。随着煤矿数字化和智能化建设不断推进,大量煤矿领域知识逐步沉淀为电子文档,包括安全管理制度、质量检查记录、地质勘探报告、事故案例分析报告、政策法规文件以及设备操作规程等。这些文档构成了煤矿知识的重要载体。
2、但是,现有煤矿知识大多以非结构化文本形式分散存在,文档来源复杂、格式不统一、表达方式不一致,导致知识难以被快速提取、统一组织和高效复用。尤其是在煤矿安全生产和应急决策场景中,存在大量低频但高专业性的长尾问题,例如多煤层开采条件下通风系统图绘制要求、井下人员遇险后的自救要求、事故信息上报流程、瓦斯灾害防治措施及设备操作规程等。这类问题通常需要综合法规制度、技术规范和历史案例进行判断,传统依靠人工翻阅文档或经验咨询的方式响应速度慢、准确率不稳定,难以满足煤矿现场和管理部门对快速、准确问答支持的需求。
3、近年来,大语言模型在自然语言理解、文本生成和复杂推理方面取得了显著进展,具备较强的上下文建模能力和语言表达能力,因此在开放问答和专业问答领域具有重要应用价值。然而,通用大语言模型直接应用于煤矿领域时仍存在明显不足:一方面,其预训练知识主要来源于通用语料,对煤矿专业术语、法规制度和操作规程覆盖不足;另一方面,在缺乏外部事实支撑时,大语言模型容易产生幻觉,即生成形式合理但事实上不准确的内容。
4、知识图谱能够通过实体、关系和事件的结构化组织方式,对煤矿领域中的法规制度、设备设施、灾害类型、岗位职责、应急措施和事故过程进行统一建模,从而为问答系统提供可解释、可追溯的知识支撑。相比仅依赖语言生成的方式,知识图谱在专业知识约束、逻辑链路表达和结构化推理方面具有明显优势。但是,单独依赖知识图谱也存在局限,例如自然语言表达不够自然、对复杂口语化问题的适应性有限、图谱构建和维护成本较高等。其他研究同样指出,独立知识图谱存在泛化能力差、维护成本高和依赖符号逻辑的不足。
5、因此,有必要提出一种同时结合煤矿知识图谱与领域大语言模型优势的煤矿智能问答方法、系统及设备,使其既能够利用领域大语言模型的语义理解和自然语言表达能力,又能够利用知识图谱的结构化知识约束和逻辑推理能力,并进一步通过总结与反思机制对两路候选答案进行融合、交叉校验和纠错,从而提高煤矿专业问答的准确性、完整性、可靠性及可解释性。
技术实现思路
1、本发明的目的在于针对现有煤矿智能问答技术中存在的知识来源分散、训练数据质量不足、问答结果准确率不高、通用模型幻觉明显、知识图谱表达不自然以及缺少结果交叉校验机制等问题,提供一种基于知识图谱与大语言模型协同的煤矿智能问答方法。
2、为了实现上述发明目的,本发明具体采用如下技术方案:
3、第一方面,本发明提供了一种基于知识图谱与大语言模型协同的煤矿智能问答方法,包括如下步骤:
4、s1.获取煤矿领域的多源原始文档并进行包含文档分类、文本抽取、版面清洗、文档切分的预处理过程,将多源原始文档切分为多个带有来源标识信息的文档块,进而构建煤矿知识库;
5、s2.基于煤矿知识库中的文档块生成面向煤矿领域的原始问答对,并对原始问答对执行层级质量过滤,得到煤矿问答训练数据集;基于煤矿问答训练数据集对经过预训练的大语言模型进行领域微调,将微调后的大语言模型作为煤矿领域大模型;
6、s3.从煤矿知识库的文档块中抽取实体和事件信息以及实体与实体之间、实体与事件之间、事件与事件之间的交互关系,构建煤矿知识图谱;
7、s4.对用户输入的煤矿领域问题执行语义解析和结构化表示后,分别输入煤矿领域大模型和煤矿知识图谱推理模块,对应生成第一候选答案和第二候选答案,构成双路候选答案;
8、s5.采用总结—反思双智能体协同机制对双路候选答案进行融合、校验和纠错,获得最终的煤矿智能问答结果。
9、在上述方案基础上,各步骤可以采用如下优选的具体方式实现。
10、作为上述第一方面的优选,s1中,构建煤矿知识库的具体过程如下:
11、s11.按文档主题对获取到的多源原始文档进行分类,将多源原始文档划分为安全管理文档、质量检查文档、地质勘探文档、事故案例分析报告、政策法规文档以及设备操作规程文档共六种文档类别;
12、s12.对多源原始文档进行文本抽取和版面清洗,删除无效页眉页脚、空白字符、乱码及非正文信息;
13、s13.依据文档标题、章节层级对多源原始文档的文本内容进行段落划分与块级切分,得到多个语义相对完整的文档块,并为每个文档块建立来源标识信息,将所有文档块的文本内容及来源标识信息统一组织,形成煤矿知识库。
14、作为上述第一方面的优选,s2中,执行的层级质量过滤包括:额外前缀清理、重复内容检测、提示泄露检测、语法格式修正以及语义相似性过滤。
15、作为上述第一方面的优选,s2中,煤矿问答训练数据集的构建过程如下:
16、s21.将预先构建好的面向煤矿领域的提示模板与文档块联合输入一个或多个大语言模型,引导大语言模型围绕该文档块的文本内容生成原始问答对,并对原始问答对进行结构化存储;
17、s22.对原始问答对执行层级质量过滤,包括:对原始问答对执行额外前缀清理,删除包含json包裹以及额外标记的非问答文本内容;对原始问答对执行重复内容检测,删除存在重复文本内容的原始问答对;对原始问答对执行提示泄露检测,删除或改写保留提示模板信息的原始问答对;对原始问答对执行语法格式修正,使各原始问答对满足统一结构要求;对原始问答对执行语义相似性过滤,对语义相似度大于预设相似度阈值的原始问答对进行删除、合并或重写;
18、s23.由s22的层级质量过滤后保留的原始问答对以及原始问答对对应的文档块的来源标识信息作为一条问答样本,构建由多个问答样本组成的煤矿问答训练数据集。
19、作为上述第一方面的优选,s2中,本发明的领域微调采用参数高效微调方式,进而得到煤矿领域大模型。
20、作为上述第一方面的优选,s3中,构建煤矿知识图谱的具体过程如下:
21、s31.先对文档块中的实体和事件进行识别,由大语言模型从文档块的文本内容中识别名词对象作为实体、识别动作或状态变化作为事件;识别出的实体包括法规制度实体、设备设施实体、岗位职责实体、灾害类型实体、应急措施实体和检测指标实体;识别出的事件包括事故发生事件、违规行为事件、检查流程事件和应急处置事件;
22、s32.再将所有文档块输入大语言模型,由大语言模型识别实体与实体之间、实体与事件之间、事件与事件之间的交互关系,识别出的交互关系包括规定关系、适用关系、导致关系、预防关系、检查关系、处置关系、属于关系和对应关系;
23、s34.基于识别出的实体、事件、交互关系构建三元组;三元组中的主语和宾语均为实体或事件;三元组中的关系为实体间的交互关系,或者事件间的交互关系,或者实体与事件间的交互关系;
24、s35.针对步骤s34抽取得到的三元组,执行抽象类型归纳,以将待归纳实体泛化为统一类型;在抽象类型归纳过程中,引入待归纳实体的邻居集合的上下文信息;
25、s36.由大语言模型依据待归纳实体的最优抽象类型,对同义实体、相近关系和同类事件进行统一映射,得到煤矿知识图谱;煤矿知识图谱中的节点为识别出的实体或者事件,煤矿知识图谱中的边表示节点间的交互关系。
26、作为上述第一方面的优选,s4中,双路候选答案生成过程的具体如下:
27、s41.获取用户输入的煤矿领域问题,并由大语言模型对煤矿领域问题进行分词、关键词识别、煤矿领域主题识别以及煤矿领域问题中的实体、事件、交互关系识别和问题类型识别,获得结构化后的问题;
28、s42.将结构化后的问题输入煤矿领域大模型,由煤矿领域大模型基于结构化后的问题进行自然语言生成,得到第一候选答案;
29、s43.将结构化后的问题输入煤矿知识图谱推理模块,由煤矿知识图谱推理模块基于实体匹配、关系检索、路径分析和规则约束生成第二候选答案。
30、作为上述第一方面的优选,s43中,第二候选答案的生成过程如下:
31、s431.将从结构化后的问题中读取的实体作为关键实体,通过语义相似度在煤矿知识图谱中检索匹配的实体节点或者事件节点,并将检索出的节点作为目标节点;
32、s432.通过大语言模型将结构化后的问题中的问题意图映射为煤矿知识图谱中的交互关系;
33、s433.完成实体匹配和关系检索后,优先在煤矿知识图谱中检索与目标节点直接连接的节点作为一跳事实;当一跳事实不足以完整回答用户输入的煤矿领域问题时,在预设最大路径长度内进行多跳路径扩展,得到由满足规则约束的候选证据路径组成的候选证据路径集合,每个候选证据路径均由多个三元组组成:
34、
35、其中,表示候选证据路径;表示实体匹配度;表示关系匹配度;为关键实体;为从结构化后的问题中读取的交互关系;和分别表示实体匹配阈值和关系匹配阈值;表示候选证据路径满足预设的规则约束;表示归一化后的候选证据路径的长度,由候选证据路径的实际长度除以最大路径长度得到;表示允许检索的最大路径长度;
36、s434.按照匹配得分对候选证据路径集合中的候选证据路径进行排序,选取匹配得分最高的前k条候选证据路径作为推理路径,并在推理路径中删除重复或与用户输入的煤矿领域问题无关的三元组,由大语言模型将每条推理路径中保留的三元组整理为包含主语、交互关系、宾语和来源标识信息的结构化证据记录,再根据煤矿领域问题的问题类型将结构化证据记录填入预设的答案模板中,得到第二候选答案,其中,k为推理路径数量。
37、作为上述第一方面的优选,s5中,所述总结—反思双智能体协同机制包含总结智能体与反思智能体,获得煤矿智能问答结果的具体过程如下:
38、s51.将第一候选答案和第二候选答案输入总结智能体,总结智能体负责融合两个候选答案,删除两类候选答案中的冗余上下文和重复表达,保留关键知识点,输出中间摘要答案;
39、s52.将中间摘要答案输入反思智能体,由反思智能体对中间摘要答案中存在的冲突事实、逻辑错误、重复内容、以及煤矿领域大模型引入的幻觉信息和煤矿知识图谱带来的过时信息进行校验和纠错,输出最终的煤矿智能问答结果。
40、第二方面,本发明提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时,能实现如上述第一方面任一项方案所述的基于知识图谱与大语言模型协同的煤矿智能问答方法。
41、第三方面,本发明提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如上述第一方面任一方案所述的基于知识图谱与大语言模型协同的煤矿智能问答方法。
42、第四方面,本发明提供了一种计算机电子设备,其包括存储器和处理器;
43、所述存储器,用于存储计算机程序;
44、所述处理器,用于当执行所述计算机程序时,实现如上述第一方面任一方案所述的基于知识图谱与大语言模型协同的煤矿智能问答方法。
45、本发明相对于现有技术而言,具有以下有益效果:
46、本发明通过对煤矿安全管理、质量检查、地质勘探、事故案例、政策法规和设备规程等多源原始文档进行统一整合,构建煤矿知识库,提高了煤矿专业知识的覆盖范围和组织效率。
47、本发明通过问答生成与层级质量过滤相结合的方式构建煤矿问答训练数据集,改善了领域训练数据不足、重复样本较多和格式不统一的问题。
48、本发明通过实体、关系和事件联合建模构建煤矿知识图谱,增强了煤矿专业知识的结构化表达和可解释能力。
49、本发明通过lora参数高效微调方式对预训练的大语言模型进行煤矿领域适配,提高了大语言模型对煤矿专业术语、规程制度和事故处置知识的理解与回答能力。
50、本发明通过总结智能体和反思智能体对两路候选答案进行融合和交叉校验,有效降低冗余表述与模型幻觉,提高煤矿智能问答结果的准确性和可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com