一种配电多源跨模态数据抽取方法及系统与流程
本发明涉及电数字数据处理,尤其涉及一种配电多源跨模态数据抽取方法及系统。
背景技术:
1、随着配电自动化建设的持续推进,电网运行管理过程中产生了大量来源多样、结构各异且模态复杂的数据资源。这些数据涵盖了scada系统(supervisory control anddata acquisition,数据采集与监视控制系统)中的遥测、遥信、遥控及告警点表数据,pms(power production management system,生产管理系统)中的设备台账与检修记录数据,生产运行中的工单文本、缺陷记录、抢修记录,以及规程手册、电气图纸、pdf设备资料等非结构化或半结构化数据。若能对这些多源异构数据进行统一的抽取、理解和组织,将为构建配电行业知识图谱、智能问答系统、智能运维分析系统以及行业大模型训练语料奠定坚实的基础。
2、目前,针对多源异构数据的融合处理已有一定研究基础。现有技术(申请公布号cn120493159b)公开了一种基于政务服务数据的多源异构语料融合方法及系统,其通过跨模态语义对齐、多模态语义编码与拓扑结构编码相结合的方式,实现了政务领域多源语料的标准化融合。然而,该方法主要面向政务服务场景,其语义标签体系与拓扑关联模型均基于政务数据特征设计,并未针对配电行业的业务特点进行定制。在配电场景下,数据源不仅包含结构化表格与非结构化文本,还广泛涉及电气图纸这一重要的跨模态数据,且不同系统间对于同一设备、同一故障事件的表述往往存在严重的同义异名、缩略词混用以及口语化描述与标准术语脱节等问题。现有技术缺乏统一的配电业务本体作为语义锚点,难以有效解决跨源实体对齐准确率低、知识抽取一致性差的困境。同时,现有技术对电气图纸与文本材料通常采取分离式处理,未能建立图纸中设备图元、连接关系、测点标注与文本中运行规程、故障判据、检修规则之间的有效映射关系,导致图文实体关联精度低、拓扑关系漏检率高。此外,现有技术在语料构建阶段多采用通用规则进行清洗,缺乏结合配电行业业务特征的可信度分级机制与基于本体约束的坏数据识别能力,致使部分来源不可靠、语义不规范、与行业标准不一致的数据混入训练集,造成语料噪声上升、重复样本偏多、模型收敛变慢,严重影响了专业模型输出的可信度。
3、因此,现有技术在配电领域多源异构数据融合处理场景下,存在模型输出可靠性不足的技术问题。
技术实现思路
1、本发明针对上述不足或缺点,提供了一种配电多源跨模态数据抽取方法及系统,能够解决现有技术在配电领域多源异构数据融合处理场景下,存在模型输出可靠性不足的技术问题。
2、本发明根据第一方面提供了一种配电多源跨模态数据抽取方法,包括:基于设备维度、业务维度、规则维度和数据维度,构建配电业务本体库。基于从配电系统中获取的多源异构数据,对电气图纸进行图元检测及拓扑恢复,得到图纸拓扑结构。基于配电业务本体库,通过交叉注意力机制将图纸拓扑结构与预处理后的文本语义进行跨模态对齐,预处理后的文本语义是由对原始文本执行以配电业务本体库为锚点的实体抽取、关系识别及语义归一化得到的。依据预设的知识抽取规则对跨模态对齐后的数据进行知识抽取,得到结构化知识单元,预设的知识抽取规则配置为从跨模态对齐后的数据中提取实体关系三元组,并将实体关联至配电业务本体库中对应的本体节点。依据预设的质量评价准则对结构化知识单元进行质量分级并分配权重,生成带权重的语料库,预设的质量评价准则指的是基于来源可信度、本体匹配度与信息熵的综合质量评分规则。
3、本发明根据第二方面提供了一种配电多源跨模态数据抽取系统,包括处理器及存储器,存储器存储有计算机程序。
4、采用本发明的技术方案,提供了一种配电多源跨模态数据抽取方法,该方法通过配电业务本体库构建、电气图纸图元检测与拓扑恢复、跨模态对齐、知识抽取以及语料质量分级与权重分配五个核心步骤协同实现。其中,基于设备维度、业务维度、规则维度和数据维度构建配电业务本体库,为多源异构数据提供了统一的语义锚点,从根本上解决了不同数据源之间因同义异名、缩略词混用及术语脱节导致的跨源实体对齐困难问题;通过对电气图纸执行图元检测与拓扑恢复得到图纸拓扑结构,独立获取了电气设备的空间布局与连接关系,弥补了现有技术对图纸与文本分离处理的缺陷;基于配电业务本体库,通过交叉注意力机制将图纸拓扑结构与预处理后的文本语义进行跨模态对齐,预处理后的文本语义由对原始文本执行以配电业务本体库为锚点的实体抽取、关系识别及语义归一化得到,实现了图纸中设备图元、连接关系与文本中运行规程、故障判据之间的有效映射,大幅提升了图文实体关联精度与拓扑关系检出率;依据预设的知识抽取规则对跨模态对齐后的数据进行知识抽取,预设的知识抽取规则配置为从跨模态对齐后的数据中提取实体关系三元组并将实体关联至配电业务本体库中对应的本体节点,确保了抽取结果的结构化与一致性;依据预设的质量评价准则对结构化知识单元进行质量分级并分配权重,预设的质量评价准则指的是基于来源可信度、本体匹配度与信息熵的综合质量评分规则,生成了带权重的语料库,有效剔除了来源不可靠、语义不规范、与行业标准不一致的噪声数据,降低了语料冗余并提升了训练集的纯净度。
5、在整个技术方案中,本发明针对背景技术中所述的因缺乏统一业务本体导致的跨源实体对齐准确率低、知识抽取一致性差的问题,通过构建覆盖设备、业务、规则、数据四个维度的配电业务本体库,为多源异构数据提供了统一的语义基准,使得不同系统中关于同一对象的表述能够自动归并至同一本体节点,从而解决了跨源实体对齐困难的根本缺陷;针对背景技术中所述的电气图纸与文本分离处理导致的图文实体关联精度低、拓扑关系漏检率高的问题,通过交叉注意力机制将图纸拓扑结构与以本体库为锚点归一化后的文本语义进行跨模态对齐,建立了图纸中设备图元、连接关系与文本中运行规程、故障判据之间的精确映射,从根本上克服了图文分离解析带来的信息割裂;针对背景技术中所述的语料构建缺乏行业质量分级机制导致的语料噪声上升、模型收敛变慢、输出可信度受损的问题,通过基于来源可信度、本体匹配度与信息熵的综合质量评分规则对结构化知识单元进行分级与权重分配,实现了对语料质量的科学管控,有效提升了训练语料的纯净度与可靠性。因此,本发明的技术方案解决了现有技术因缺乏统一业务本体、图文分离处理以及缺乏行业质量分级机制而导致的跨源实体对齐准确率低、图文实体关联精度差以及语料质量不可控的技术问题,提升了配电多源异构数据抽取的准确性、一致性与语料构建质量,为配电行业知识图谱、智能问答系统及行业大模型训练提供了高质量的数据基础。
1.一种配电多源跨模态数据抽取方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述依据预设的质量评价准则对所述结构化知识单元进行质量分级并分配权重,生成带权重的语料库,包括:
3.根据权利要求2所述的方法,其特征在于,所述通过计算每个结构化知识单元的来源可信度、本体匹配度以及信息熵的方式,生成综合质量评分,包括:
4.根据权利要求1所述的方法,其特征在于,所述基于所述配电业务本体库,通过交叉注意力机制将所述图纸拓扑结构与预处理后的文本语义进行跨模态对齐,包括:
5.根据权利要求1所述的方法,其特征在于,所述依据预设的知识抽取规则对跨模态对齐后的数据进行知识抽取,得到结构化知识单元,包括:
6.根据权利要求1所述的方法,其特征在于,所述构建配电业务本体库的步骤,包括:
7.根据权利要求1所述的方法,其特征在于,所述基于从配电系统中获取的多源异构数据,对电气图纸进行图元检测及拓扑恢复,得到图纸拓扑结构,包括:
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
9.根据权利要求1所述的方法,其特征在于,所述对原始文本执行以所述配电业务本体库为锚点的实体抽取、关系识别及语义归一化的步骤,包括:
10.一种配电多源跨模态数据抽取系统,其特征在于,包括处理器及存储器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,实现如权利要求1-9中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com