基于多源异构数据融合的知识图谱自动构建方法
本发明涉及知识图谱,具体为基于多源异构数据融合的知识图谱自动构建方法。
背景技术:
1、随着多业态数字化业务持续落地,结构化数据库、纸质档案扫描件、音视频记录、物联网采集数据、图文资料等多形态数据同步产生,且各类业务数据覆盖全球不同语种,形成体量庞大、结构差异的跨语言异构数据资源。行业内普遍依靠知识图谱完成海量数据的结构化梳理与关联挖掘,以此支撑检索、智能分析、业务决策等上层应用。当前知识图谱构建工作需要同步处理标注完善的主流语种数据与无标注、无平行对照文本的低资源语种数据,数据采集环节需对接多类存储载体与实时采集端口,完整留存原始数据的语种标识、来源轨迹与原始格式特征,保障数据底层信息完整可追溯。跨语言知识抽取环节要求统一实体、关系的识别标准,消除不同语种文本语义表达差异带来的知识割裂问题,同时对多来源信息开展可信度分层管控,最大程度降低模型输出的虚假事实,满足政务、工业、跨境业务等多场景对精准、可审计知识体系的使用需求。
2、在传统跨语言知识图谱构建流程中,数据采信阶段对全部数据源采用统一权重标准,无法区分不同数据来源的信息可靠程度,重复冗余信息、发布资质薄弱渠道产出内容会同等参与知识融合,影响整体图谱可信度。低资源语种抽取模板依赖人工翻译改写,不仅消耗大量人力成本,人工转换过程易产生语义偏移、句式适配错位,且缺少零样本适配能力,无平行语料支撑的语种无法完成抽取任务。双语知识对齐仅依靠表层文本相似度匹配,未结合实体与关系双重语义维度开展校验,大量语义冲突、指代混乱的无效知识流入融合环节。多源知识融合时对冲突内容直接覆盖删除,丢失多源佐证信息,缺少完整溯源链路,知识条目无法反向定位原始数据。图谱校正仅依靠人工逐条核查,不存在自动化对抗校验逻辑,模型幻觉生成的错误知识难以批量识别修正,也无法对知识可信度分级归档,限制了其在高严谨度业务场景下的应用。
技术实现思路
1、本发明的目的就是为了弥补现有技术的不足,提供了基于多源异构数据融合的知识图谱自动构建方法,该方法通过量化指标计算异构数据源采信权重;基于枢轴语言标注数据与对抗生成,实现多语种抽取模板的零样本适配;采用交叉一致性链式推理完成双语三元组独立抽取与语义软对齐;绑定溯源锚定信息并依据权重执行多源归并;最后引入知识污染与洁净校验的对抗博弈机制,迭代修正冲突与幻觉,依据采信分值分级处置三元组入库。
2、本发明为解决上述技术问题,提供如下技术方案:基于多源异构数据融合的知识图谱自动构建方法,该方法的具体步骤为:
3、s100、异构数据赋权:归集结构化数据表、pdf扫描件ocr文本、音视频转录文本、iot时序测点数据、图片ocr图元数据五类跨语言原始数据,从归集所得数据中剥离并筛选出标注完备的语种文本作为枢轴语言标注数据,依托三项量化指标完成单类数据源采信权重计算,输出数据源权重数值;
4、s200、模板语种适配:以枢轴语言标注数据为基础,通过多语言大模型自主生成三元组抽取提示模板,经由代码语种标识切换与对抗样本生成完成模板向低资源语言的零样本适配,输出多语种抽取模板;
5、s300、双语三元抽取:将多语种抽取模板输入多语言大模型,对同一主题枢轴语言与低资源语言非平行文档执行交叉一致性链式推理,完成双语种三元组独立抽取与语义软对齐标记,输出对齐三元组集合;所述交叉一致性链式推理为多语言大模型专属跨语言推理逻辑,该推理逻辑为大模型独立分语种抽取三元组后,依托预训练跨语言语义表征体系完成实体、关系双向语义匹配校验的专属处理流程;
6、s400、三元溯源融合:将对齐三元组逐条绑定溯源锚定信息构建证据子图,引入数据源采信权重执行多源三元组归并,生成初始跨语言知识图谱;
7、s500、对弈图谱净化:搭建知识污染扰动与知识洁净校验两组对抗执行逻辑对初始跨语言知识图谱开展多轮迭代修正,依托数据源权重数值完成冲突分级处置,依据采信分值划定三元组入库状态,输出最终成品知识图谱。
8、进一步地,所述跨语言原始数据为覆盖多语种、多形态、多采集场景的全域异构数据源,具体包含结构化数据表、pdf扫描件ocr文本、音视频转录文本、iot时序测点数据、图片ocr图元数据五类核心数据类型,所述跨语言原始数据同时包含标注完善的主流语种文本与零标注储备的低资源语言文本,采用全域同步归集方式完成数据采集,按照统一数据接口规范批量拉取数据库结构化数据,批量导入离线pdf档案与图像文件完成ocr解析采集,批量解析音视频文件生成标准化转录文本,实时对接iot设备端口持续时序数据归集,归集过程完整保留原始语种标签、数据来源标识、采集时间戳与原始存储路径,不执行前置翻译、内容删减与格式统一处理,完整保留各类数据源原始异构特征与跨语言属性。
9、更进一步地,所述枢轴语言标注数据为从归集完成的跨语言原始数据中精准筛选剥离得到的高质量标准化标注数据集,对应的语种具备充足人工标注样本、规范统一的实体标注准则与完整的关系标注体系,区别于无标注、无平行语料的低资源语言数据;枢轴语言标注数据筛选留存实体标签完整、关系定义清晰、三元组标注格式统一、语义逻辑严谨、无缺失错乱的有效标注内容,剔除标注残缺、语义冲突、字段缺失、人工标注失误的无效数据;枢轴语言标注数据包含明确的实体类别界定、实体关联关系范式、事实描述标准结构,能够为后续大模型生成规范统一的三元组抽取提示模板提供标准训练与生成依据。
10、更进一步地,所述单类数据源采信权重通过公式计算得到,式中为第s类异构数据源最终采信权重,取值范围限定在闭区间[0,1],s为数据源编号索引,用于区分不同类型异构数据源;为数据源历史纠错合规率,由对应数据源历史抽取任务中已修正错误条目数量与总抽取条目数量比值确定;为数据源内部信息重复度,由数据源内部重复文本片段数量与总文本片段数量比值确定;为数据源发布主体资质量化分值,依据发布主体资质等级统一量化赋值,权威等级越高对应赋值越高;、、为三项指标加权系数,取值区间分别为∈[0.4,0.6]、∈[0.2,0.3]、∈[0.2,0.3],三者相加数值恒等于1;通过该计算方式实现重复度指标反向扣减、纠错率与资质指标正向增益的线性耦合,彻底摒弃全部数据源统一权重采信的粗放处理方式。
11、更进一步地,所述多语言大模型生成的三元组抽取提示模板包含完整的实体界定规范、关系约束范围、无效信息剔除规则与标准化三元组输出格式,所述实体界定规范具体为严格区分人物、场地、设备、事件、参数五类实体类型,明确各类实体的有效命名边界、指代约束与禁用指代形式,禁止抽取无实际业务语义的泛化实体、临时指代实体、模糊指代实体;所述关系约束范围限定合法关系集合、关系语义定义、关系双向映射规则与关系排他判定条件,明确不同实体类别之间允许匹配的合法关系类型,禁止跨类别错误关联、语义重叠关系、逻辑矛盾关系的生成输出;所述无效信息剔除规则明确过滤口语冗余语句、重复语义片段、无意义修饰词汇、缺失实体或缺失关系的残缺语句、主观描述内容、无效标点占位内容,仅保留具备客观事实性的有效文本片段用于三元组抽取;所述标准化三元组输出格式统一规定头实体、关系、尾实体的排列顺序、文本精简规范、输出字符规范、无冗余输出要求,固定所有语种三元组的结构化输出范式,模板内容针对知识抽取任务进行专属定制,限定实体类别、关系映射关系与输出文本范式;代码语种标识切换为在提示模板的底层执行指令中嵌入对应低资源语言专属标识字段,直接调用多语言大模型内置跨语言迁移能力,实现模板语种规则的自主切换,无需人工翻译改写模板文本;对抗样本生成通过大模型批量生成贴合低资源语言语法特征、句式结构的多样化同义样本,填充模板适配场景,弥补低资源语言样本缺失缺陷,实现抽取模板对零样本低资源语言的精准泛化适配。
12、更进一步地,所述多语种抽取模板具备统一抽取约束特性,适配完成后的模板可同步适配枢轴语言与各类低资源语言文本抽取任务,所有语种的三元组抽取均遵循同一套实体、关系、输出格式约束标准;适配过程全程脱离人工干预与双语平行语料支撑,仅依托枢轴语言标注数据与模型对抗生成能力完成自主迭代适配,规避人工翻译带来的语义偏差、句式适配错误等问题;适配后的多语种抽取模板可直接接入后续双语三元抽取流程,统一不同语种文本的知识抽取规则,保障跨语言三元组抽取的规范性与一致性,为后续语义软对齐提供标准化数据基础。
13、更进一步地,所述交叉一致性链式推理为多语言大模型专属跨语言推理逻辑,多语言大模型接收多语种抽取模板后,分别对同一业务主题对应的枢轴语言非平行文档、低资源语言非平行文档开展独立解析,分别完成两类语种文本的实体识别、关系判定与三元组抽取,生成两组相互独立的语种专属三元组集合;依托预训练跨语言语义表征体系,对两组不同语种三元组的事实语义、实体指代、关系逻辑进行全方位匹配校验,判定不同语种三元组是否对应同一客观事实,对语义一致的三元组标注软对齐标识,对语义冲突、实体指代混乱的无效三元组直接剔除。
14、更进一步地,所述对齐三元组集合内每一条三元组均同步留存对应的双语三元组软对齐相似度,双语三元组软对齐相似度由模型语义匹配计算得出,计算公式为,式中,为双语三元组跨语言软对齐相似度,取值区间锁定为[0,1],用于表征枢轴语言三元组与低资源语言三元组整体语义匹配程度;为实体语义相似度,代表枢轴语言三元组内部实体向量表征,代表低资源语言三元组内部实体向量表征,依托预训练多语言词向量空间余弦距离完成求解;为关系语义相似度,代表枢轴语言抽取得到的关系向量,代表低资源语言抽取得到的关系向量,同样通过向量空间距离完成量化;分母数值2实现实体维度与关系维度结果归一化,确保最终计算结果落入0至1闭区间,数值大小直接表征双语三元组的语义吻合程度;所有完成软对齐标记的三元组均保留原始语种来源、抽取时序、匹配特征信息,保证三元组数据可追溯、可校验。
15、更进一步地,所述绑定的溯源锚定信息包含三类固定内容,第一类为三元组对应原始文本片段经哈希运算生成的唯一特征值,用于保证原始内容不可篡改;第二类为原始数据文件存储路径、访问地址、文件命名构成的完整来源追溯路径,用于定位原始异构数据载体;第三类为多语言大模型抽取本条三元组时输出的抽取置信度数值,用于量化单条知识的抽取可靠程度;全部锚定信息与单条三元组一一绑定存储形成可反向审计的证据子图,证据子图与初始知识图谱数据双向关联绑定,实现每条结构化知识均可反向追溯原始数据源。
16、更进一步地,所述多源三元组归并执行分层优先级融合与冲突暂存处理机制,依托数据源采信权重作为优先级判定依据,首先对多类异构数据源输出的对齐三元组进行事实主题聚类,将指向同一客观事实、同一实体关联关系的不同来源三元组归集为同一融合数据集;按照数据源采信权重数值从高至低排序,确立主次采信层级,优先保留高权重数据源输出的三元组作为基准知识条目;针对同主题下不同数据源内容一致的三元组,执行冗余去重合并,保留单条标准三元组及全部溯源证据;针对同主题下不同数据源语义相悖、内容存在差异的冲突三元组,不执行强制覆盖与随意剔除,统一做临时挂起缓存处理,完整留存所有冲突三元组及对应溯源锚定信息,挂起的冲突三元组全部流转至s500步骤进行对抗博弈净化与分级消解,最终整合合规三元组构建结构规整、可信度分层的初始跨语言知识图谱。
17、更进一步地,所述知识污染扰动与知识洁净校验形成闭环对抗博弈机制,知识污染扰动定向对初始知识图谱内的合规三元组进行局部内容篡改,通过替换实体内容、修正关系语义、调整实体关联逻辑的方式植入可控错误知识;知识洁净校验依托五类原始异构数据源开展全域证据检索,逐一对扰动后的三元组进行事实校验,精准识别错误三元组并完成修正复原,两组逻辑持续多轮迭代博弈,不断修正大模型幻觉产生的事实错误,持续提升跨语言知识三元组的语义一致性与事实准确性,完成初始知识图谱的自主迭代净化优化。
18、更进一步地,所述采信分值通过公式计算得到,式中为三元组最终采信置信分值,用于判定三元组入库与悬浮标记状态;为双语三元组软对齐相似度;为数据源采信权重;e为自然对数的底数;k为迭代轮次放大系数,随自我对弈迭代次数增加正向递增;为单轮博弈中洁净器修正三元组数量与污染器植入错误三元组数量的差值,正值代表本轮净化有效;分式为对抗增益饱和函数,用于约束分值迭代增益区间,符合边际收益递减规律,设定≥0.7时三元组直接纳入图谱本体,小于该数值则标记为待复核悬浮节点。
19、更进一步地,所述分级冲突处置依托数据源权重数值执行,针对多源融合留存的冲突三元组,直接采信数据源权重数值更高的三元组作为标准知识内容,避免仅依赖单一语义相似度判定的粗放冲突消解方式;结合采信分值,对分值未达设定标准的三元组统一标记为待复核悬浮节点,单独归档存储并保留二次迭代融合接口,形成图谱构建、证据校验、节点标记、迭代重融的完整闭环机制,最终输出高精度、可溯源、跨语言一致性统一的成品知识图谱。
20、与现有技术相比,该基于多源异构数据融合的知识图谱自动构建方法具备如下有益效果:
21、一、本发明通过对多类跨语言异构数据源设置分层赋权计算逻辑,依托多维度数据质量指标量化不同数据源的采信优先级,同步筛选标准化枢轴语言标注数据作为基准支撑,基于大模型自主生成适配各类语种的抽取模板,无需依赖人工翻译与平行双语语料即可完成低资源语言零样本适配。整套流程完整留存各类原始数据异构特征与溯源信息,在双语文档抽取阶段完成跨语言三元组语义软对齐,依托统一约束标准规范多语种知识抽取逻辑,消除不同语种文本间语义偏差、句式适配错位问题,从数据源源头到知识抽取环节逐层保障跨语言知识提取的一致性,降低人工介入成本,同时依托完整溯源锚定信息实现每条知识反向追溯原始素材,提升知识内容可审计性与客观可信度。
22、二、本发明通过搭建分层融合与闭环对抗净化双重处理逻辑完成知识图谱优化,先基于数据源权重完成多源三元组主题聚类归并,区分冗余条目与冲突条目差异化处置,冲突内容暂存后流转至对抗校验环节,依托污染扰动与洁净校验双向迭代逻辑自主修正模型生成的事实偏差。融合跨语言对齐匹配度、数据源采信等级与迭代净化增益综合计算知识采信分值,按分值区间划分三元组入库状态,针对低置信内容单独归档预留二次迭代通道,依托权重分级机制消解多源知识冲突,不依靠单一语义指标判定事实真伪,持续收敛图谱内部语义矛盾,最终输出事实准确、跨语言统一、分层可信的成品知识图谱,提升图谱整体知识精度,形成可循环迭代优化的完整构建闭环。
23、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com