领域图谱检索增强生成方法及系统与流程
本发明涉及人工智能信息检索与知识图谱,具体涉及一种领域图谱检索增强生成方法及系统。
背景技术:
1、检索增强生成技术通过将信息检索模块与大语言模型相结合,从文档库中获取与用户问题相关的上下文,再将上下文与问题一并输入大语言模型生成答案,能够在一定程度上提升问答的准确性和事实一致性。随着垂直行业专利文献、学术论文、技术资讯和产业报告快速增长,知识资源呈现海量、异构和高度专业化特征,传统基于文本块相似度的检索方式难以稳定满足专业检索需求。
2、在先进材料与智能制造等领域,同一技术概念常存在多种表述,例如全称、简称、英文缩写和不同译名并存,传统向量匹配难以识别其语义等价性,容易造成检索遗漏或冗余。领域知识还具有强关联性和层级性,例如材料成分影响微观组织,微观组织影响宏观性能,宏观性能又关联工艺参数与器件可靠性,扁平化文本块难以表达上述结构化关系,在多跳推理问题中容易出现找偏路径。
3、已有方案尝试引入知识图谱或图神经网络增强推理能力,但通用知识图谱的实体和关系定义较为宽泛,难以精确刻画垂直行业特有的技术概念体系;图结构建立后更新扩展困难,且推理路径多依赖预定义规则,灵活性不足。另一方面,大语言模型在生成应答时仍可能产生幻觉,现有系统普遍缺乏有效的知识溯源、产业逻辑验证和专家审查机制,用户难以确认生成内容是否与原始数据一致。
4、因此,需要一种将领域本体库、知识图谱、向量索引、路径追踪、专家审查、事实约束生成和增量更新相结合的垂直检索增强生成方案,以提升专业问答的准确性、可解释性和可信度。
技术实现思路
1、本发明的目的在于提供一种领域图谱检索增强生成方法及系统,用以解决垂直行业检索增强生成中概念标准化不足、结构化知识关联理解不足、生成内容幻觉风险高、产业逻辑验证缺失、知识溯源薄弱以及知识更新能力不足的问题。
2、本发明提供一种领域图谱检索增强生成方法,包括以下步骤:
3、步骤s1、采集垂直领域的多源异构文档,经清洗、去重和语义分段后,利用大语言模型按领域抽取模板提取实体关系三元组,并由领域本体库对三元组中的实体进行同义归一和上下位泛化;
4、步骤s2、将标准化三元组写入图数据库构建领域知识图谱,在节点属性中保存来源、时间戳和专家审核状态,同时对标准化实体进行领域向量化编码并建立近似最近邻索引;
5、步骤s3、解析用户查询得到候选实体,经向量索引匹配到标准化实体后生成图谱查询语句,在领域知识图谱中执行多跳路径追踪,并依据领域规则库删除不符合产业逻辑的路径;
6、步骤s4、获取与保留路径关联的原始数据,按时效性、来源权威性、技术相关性和产业影响力重排序,再由经历史审查数据训练的专家审查模型识别材料工艺不匹配、参数异常和因果错误,输出可信数据集;
7、步骤s5、基于可信数据集、保留路径和用户查询构建事实约束提示词,控制大语言模型生成带来源标识的应答,并将应答与原始数据一致性比对后修正无依据内容。
8、优选地,步骤s1中所述多源异构文档包括专利文献、学术论文、技术资讯和产业报告;所述清洗包括去除噪声内容、统一编码和统一文本格式,所述去重采用simhash算法识别重复文档,所述语义分段按照段落或句子切分并保留上下文完整性;所述领域抽取模板限定实体类型和关系类型,实体类型至少包括材料实体、器件实体、工艺实体、设备实体、参数实体、机构实体和人物实体,关系类型至少包括材料-工艺关系、工艺-设备关系、设备-参数关系、机构-技术关系、技术-应用关系和人物-机构关系;抽取结果经置信度过滤后形成初始三元组集合。
9、优选地,所述领域本体库面向先进材料与智能制造领域构建,包括材料体系本体、器件结构本体、工艺技术本体、表征测试本体、设备仪器本体和产业应用本体六个子本体;步骤s1中还通过专家审查接口对初始三元组进行人工校验,修正实体歧义、关系标注错误和关键属性缺失;所述同义归一将同一技术概念的多种表述映射至标准实体,所述上下位泛化将具体技术概念扩展至其父级概念,以适配不同粒度的查询。
10、优选地,步骤s2中所述图数据库中的节点属性还包括实体标准名称、实体类型、同义词列表、原始数据出处和数据类型,边属性包括关系类型、关系置信度、数据来源、专家审核状态和出现频次;所述领域向量化编码采用经垂直领域语料继续预训练的语言模型,将标准化实体映射为语义向量;所述近似最近邻索引为基于hnsw算法构建的向量索引,用于对实体语义向量进行相似度检索。
11、优选地,步骤s3中解析用户查询时先抽取关键词形成候选实体,再将候选实体输入领域向量化模型并在近似最近邻索引中检索,得到标准化实体集;所述图谱查询语句由大语言模型根据标准化实体集和查询意图生成,并在图数据库中执行多跳路径查询;所述领域规则库至少包括材料工艺相容性规则、工艺参数合理范围规则和器件因果关联规则,用于判断路径中相邻实体关系是否符合垂直领域技术逻辑。
12、优选地,步骤s4中重排序采用的综合评分s满足:s=α·t+β·a+γ·r+δ·i,其中t为数据时效性评分,a为来源权威性评分,r为技术相关性评分,i为产业影响力评分,α、β、γ、δ为权重系数且α+β+γ+δ=1;技术相关性评分基于词频-逆文档频率和实体共现频率计算,产业影响力评分基于被引频次、专利家族规模和市场应用广度计算,权重系数根据查询类型动态调整。
13、优选地,所述专家审查模型基于历史专家审查记录训练,历史专家审查记录标注有材料工艺不匹配、参数范围异常和因果关系错误三类产业逻辑错误;s4中对重排序后的原始数据进行二次验证,将通过产业正确性验证且通过二次验证的数据标记为可信,将未通过验证的数据标记为异常并排除;专家审查模型输出的审查结果还用于更新领域规则库和专家审查接口的提示规则。
14、优选地,步骤s5中所述事实约束提示词至少限定:仅基于可信数据集和保留路径进行总结,不引入外部知识,对引用内容标注来源编号,并将图谱路径以实体-关系-实体形式写入提示词;所述一致性比对将应答中的事实性表述拆分为待校验单元,逐单元与可信数据集和保留路径进行匹配,对无对应来源的待校验单元执行删除或改写,并在最终应答中保留来源标识和推理路径标识。
15、优选地,还包括知识库增量更新步骤:持续监控新增专利、新增论文、新增技术资讯和新增产业报告,定期执行数据采集、三元组抽取、标准化处理和图谱索引更新;对新增实体与领域知识图谱中的现有实体进行实体对齐和消歧,当新增实体与现有实体的语义向量相似度和属性匹配度均满足预设条件时合并实体,否则新建实体节点;根据用户纠错反馈、满意度反馈和专家审查结果动态调整领域本体库、领域规则库和专家审查模型。
16、本发明的另一方面还提供一种领域图谱检索增强生成系统,所述领域图谱检索增强生成系统应用于领域图谱检索增强生成方法,所述领域图谱检索增强生成系统包括:
17、数据构建模块,用于采集垂直领域多源异构文档,进行清洗、去重、语义分段、三元组抽取以及基于领域本体库的同义归一和上下位泛化;
18、图谱索引模块,用于将标准化三元组写入图数据库形成领域知识图谱,保存来源、时间戳和专家审核状态,并对标准化实体进行领域向量化编码和索引构建;
19、查询检索模块,用于解析用户查询、匹配标准化实体、生成图谱查询语句并执行多跳路径追踪,依据领域规则库删除不符合产业逻辑的路径;
20、重排审查模块,用于对保留路径关联的原始数据按多维指标重排序,并由专家审查模型识别材料工艺不匹配、参数异常和因果错误以输出可信数据集;
21、生成校验模块,用于基于可信数据集、保留路径和用户查询构建事实约束提示词,控制大语言模型生成带来源标识的应答,并进行一致性比对和修正。
22、与现有技术相比,本发明实施方式的领域图谱检索增强生成方法,相比现有技术具有以下显著的进步:
23、本发明通过领域本体库和专家审查机制对实体关系进行标准化映射和语义泛化,能够识别同一技术概念的多种表述,缓解简称、全称、英文缩写和上下位概念混用导致的检索遗漏,提升垂直领域概念匹配准确性和召回能力。
24、本发明将领域知识图谱与向量索引结合,在检索时先定位标准化实体,再沿图谱执行多跳路径追踪,并利用领域规则库排除不符合产业逻辑的伪关联路径,能够表达材料、工艺、设备、参数、器件和应用之间的层级关联,增强复杂查询的结构化推理能力。
25、本发明在应答生成中引入事实约束提示词、来源标识和幻觉检测,将生成内容限制在可信数据集和保留路径范围内,并对无依据内容进行修正或删除,能够降低大语言模型幻觉风险,建立应答内容与原始数据、图谱路径之间的可追溯链路。
26、本发明通过专家审查接口、领域规则库和专家审查模型形成人工校验与模型校验协同的审查机制,可识别材料工艺不匹配、参数范围异常和因果关系错误,提高生成内容的专业性和可信度;同时支持新增知识持续接入、实体对齐消歧和本体库动态优化,适应快速演进的垂直行业知识服务需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com