融合多模态信息与知识图谱的电路故障识别方法及系统与流程
本发明涉及电路故障识别,特别是涉及一种融合多模态信息与知识图谱的电路故障识别方法及系统。
背景技术:
1、在电路系统的运行和维护过程中,故障诊断是保障系统稳定可靠工作的关键环节。传统的电路故障诊断方法往往依赖人工经验,效率低下且准确性难以保证,尤其在面对复杂电路系统或复合型故障时,诊断难度极大。
2、随着人工智能技术的发展,部分基于模型或数据驱动的故障诊断方法应运而生,但这些方法仍存在诸多不足。例如,纯知识图谱的故障诊断方法虽然具备结构化推理能力,但灵活性不足,难以处理非结构化的图像、自然语言描述等信息;而单纯依赖大模型的诊断方法,在专业领域知识的准确性和推理的严谨性上存在欠缺,面对电路领域的专业术语和复杂故障规则时,容易出现推理偏差。此外,现有方法在处理复合型故障时,往往难以全面分析故障关联关系,无法给出精准的综合解决方案。
技术实现思路
1、本发明的目的是为克服现有技术的不足和缺陷,而提供一种融合多模态信息与知识图谱的电路故障识别方法及系统。
2、根据本申请的第一方面,提供一种融合多模态信息与知识图谱的电路故障识别方法,包括:
3、s1.将电路领域的实体与关系转化为头实体-关系-尾实体的三元组,根据所述三元组构建电路故障的知识图谱并向量化表示;所述知识图谱至少包含结构实体层、功能实体层与故障知识层;
4、s2.采用多模态大模型对用户输入的自然语言描述的故障现象文本和/或电路图像进行多模态解析,形成融合故障现象文本和电路图像的特征向量的联合特征表示;
5、s3.根据所述联合特征表示,从所述知识图谱中查找相关三元组;基于相关三元组进行子图匹配,确定目标子图;根据目标子图进行路径搜索和关联规则挖掘,生成候选故障假设和传播路径,得到候选故障集;
6、s4.对所述候选故障假设执行语义校验并计算综合置信度,根据综合置信度确定电路故障识别结果;根据电路故障识别结果,从所述知识图谱中检索故障相关知识;
7、s5.调用大语言模型根据所述电路故障识别结果及故障相关知识,形成结构化故障诊断报告后输出。
8、根据本申请的第二方面,提供一种融合多模态信息与知识图谱的电路故障识别系统,用于实现本申请第一方面所述融合多模态信息与知识图谱的电路故障识别方法,包括:
9、知识图谱模块,包括电路故障的知识图谱及其向量化表示,根据电路领域的实体与关系转化形成的头实体-关系-尾实体的三元组构建,所述知识图谱至少包含结构实体层、功能实体层与故障知识层;
10、联合特征生成模块,用于采用多模态大模型对用户输入的自然语言描述的故障现象文本和/或电路图像进行多模态解析,形成融合故障现象文本和电路图像的特征向量的联合特征表示;
11、故障识别推理模块,用于根据所述联合特征表示,从所述知识图谱中查找相关三元组;基于相关三元组进行子图匹配,确定目标子图;根据目标子图进行路径搜索和关联规则挖掘,生成候选故障假设和传播路径,得到候选故障集;
12、故障结果确定模块,用于对所述候选故障假设执行语义校验并计算综合置信度,根据综合置信度确定电路故障识别结果;根据电路故障识别结果,从所述知识图谱中检索故障相关知识;
13、故障诊断报告输出模块,用于调用大语言模型根据所述电路故障识别结果及故障相关知识,形成结构化故障诊断报告后输出。
14、本发明通过解析电路图像和/或故障现象文本,结合多模态大模型处理自然语言描述,能够全面处理电路故障相关的多模态非结构化信息,打破了传统方法仅能处理结构化数据的局限;本发明基于知识图谱提供了结构化的电路知识体系,保障了故障推理的严谨性和准确性。
1.融合多模态信息与知识图谱的电路故障识别方法,其特征在于,包括:
2.根据权利要求1所述融合多模态信息与知识图谱的电路故障识别方法,其特征在于,所述结构实体层表征电路的物理构成,包括结构实体以及结构实体间的关系;所述功能实体层表征电路的逻辑功能,包含功能实体以及功能实体间的关系;所述故障知识层表征故障的领域知识,包括故障实体以及故障实体间的关系。
3.根据权利要求1所述融合多模态信息与知识图谱的电路故障识别方法,其特征在于,所述电路图像包括故障设备电路图像与故障设备实物图像;所述故障设备电路图像包括故障设备的电路原理图、pcb布局图图像,所述故障设备实物图像包括故障设备实物的照片或视频。
4.根据权利要求1所述融合多模态信息与知识图谱的电路故障识别方法,其特征在于,所述联合特征表示通过对用户输入的故障现象文本和电路图像分别提取特征向量,并通过跨模态注意力机制进行融合后得到:
5.根据权利要求1所述融合多模态信息与知识图谱的电路故障识别方法,其特征在于,所述的知识图谱的向量化表示,包括:
6.根据权利要求1所述融合多模态信息与知识图谱的电路故障识别方法,其特征在于,所述根据目标子图进行路径搜索和关联规则挖掘,生成候选故障假设和传播路径,包括:
7.根据权利要求6所述融合多模态信息与知识图谱的电路故障识别方法,其特征在于,所述图神经网络对目标子图进行推理时,第层节点的特征表示更新方式如下:
8.根据权利要求6所述融合多模态信息与知识图谱的电路故障识别方法,其特征在于,所述的对所述候选故障假设执行语义校验并计算综合置信度,根据综合置信度确定电路故障识别结果,包括根据语义校验合格后的候选故障假设的不同证据强度以及图神经网络推理故障概率计算候选故障假设的综合置信度得分,根据所述综合置信度得分对候选故障假设排序,选取综合置信度得分最高的候选故障假设作为电路故障识别结果;所述结构化故障诊断报告包括故障假设、故障定位、故障根因链条分析、故障解决方案、故障预防性建议。
9.根据权利要求8所述融合多模态信息与知识图谱的电路故障识别方法,其特征在于,所述综合置信度得分采用下式计算:
10.融合多模态信息与知识图谱的电路故障识别系统,其特征在于,用于实现权利要求1-9任一项所述融合多模态信息与知识图谱的电路故障识别方法,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com