一种基于大模型的变电设备故障诊断方法及系统与流程

本发明涉及电数字数据处理，尤其涉及一种基于大模型的变电设备故障诊断方法及系统。

背景技术：

1、视觉-语言多模态大模型（vision-language multimodal large models）作为当前人工智能领域的前沿技术，能够联合理解图像与文本语义，为变电设备等关键电力设施的自动化巡检与故障诊断提供了新的技术途径。在传统的电网巡检范式中，故障诊断主要依赖于运维人员的现场巡视与经验判断，或基于边缘检测、模板匹配等传统图像处理技术提取设备表观特征。该方法严重依赖专家先验知识，故障识别的主观性强，且易受光照、遮挡等复杂现场环境干扰，在鲁棒性方面存在不足，难以对图像、巡检记录文本、传感器时序数据等多源信息进行深度融合与综合研判。

2、在多模态数据融合与故障诊断领域，现有技术已形成一定探索。现有技术（申请公布号cn121659183a）公开了一种基于多模态融合的换流站变压器故障预测方法及系统，其通过多尺度卷积神经网络、时空特征提取网络及语义编码模型分别提取仪表图像、传感器时序数据及故障文本数据的特征向量，并利用证据生成器以总体不确定性为权重进行动态加权融合，最终映射为故障概率分布。该方案通过融合多源数据提升了故障预测的准确性。然而，该方法的核心优化目标在于实现端到端的故障概率预测，其模型架构与训练策略专为单一的回归或分类任务设计。当面对实际变电站巡检场景中经常需要模型同步输出确定性的故障分类结果与自然语言描述的处置建议等多任务需求时，该类方案的适应性不足。因此，现有基于多模态融合的故障诊断技术在面对知识冲突与模态缺失场景时，存在模型推理鲁棒性不足的技术问题，难以在单一模型中协同兼顾确定性分类输出的稳定性与生成式描述的灵活性，以及对不完整输入数据的自适应能力。

技术实现思路

1、本发明针对上述不足或缺点，提供了一种基于大模型的变电设备故障诊断方法及系统，能够解决现有技术在面对知识冲突与模态缺失场景时，存在模型推理鲁棒性不足的技术问题。

2、本发明提供了一种基于大模型的变电设备故障诊断方法，包括：对多模态巡检数据执行特征提取处理，生成多模态特征表示。将多模态特征表示输入预设的混合专家多模态大模型，混合专家多模态大模型包含主干网络、动态路由门控网络以及多个低秩适配专家网络。通过主干网络对多模态特征表示进行前向计算，得到中间特征表示，并通过动态路由门控网络基于中间特征表示计算动态路由权重分布。依据动态路由权重分布，从多个低秩适配专家网络中激活对应的低秩适配专家网络，以对中间特征表示执行特征融合，生成融合特征表示。基于融合特征表示，同步生成故障分类结果与维修建议文本。

3、本发明根据第二方面提供了一种基于大模型的变电设备故障诊断系统，其特征在于，包括处理器及存储器，存储器存储有计算机程序。

4、本发明技术方案通过特征提取、混合专家模型计算、动态路由、特征融合与同步输出五个核心步骤协同实现。其中，对多模态巡检数据执行特征提取处理以生成多模态特征表示，为后续模型理解提供了结构化的输入数据基础；将多模态特征表示输入预设的包含主干网络、动态路由门控网络及多个低秩适配专家网络的混合专家多模态大模型，构建了实现动态自适应计算的核心架构；通过主干网络进行前向计算得到中间特征表示，并利用动态路由门控网络基于该中间特征表示计算动态路由权重分布，完成了对输入数据模式的评估与计算路径的预规划；依据动态路由权重分布，从多个低秩适配专家网络中激活对应的专家网络对中间特征表示执行特征融合，生成融合特征表示，实现了根据输入内容动态适配的、精细化的特征增强；最终基于该融合特征表示同步生成故障分类结果与维修建议文本，完成了诊断与决策的一体化输出。

5、在整个技术方案中，本发明针对背景技术中所述的多任务联合优化时存在的知识冲突问题，通过引入由动态路由门控网络控制的多个低秩适配专家网络架构，将故障分类任务所依赖的判别性特征学习与维修文本生成任务所依赖的细节语义特征学习，在模型内部通过动态路由机制进行差异化引导与处理。具体而言，动态路由权重分布能够根据中间特征表示的内容，自适应地将不同特征向量的计算分配至擅长不同任务的专家网络，从而在特征融合阶段实现对不同任务需求的特征空间的相对隔离与针对性增强，从原理上缓解了统一特征空间中多任务优化导致的知识干扰。

6、针对背景技术中所述的模态缺失场景下模型推理鲁棒性不足的问题，本技术方案通过动态路由门控网络与多个低秩适配专家网络的协同机制予以解决。当输入数据缺失某一模态（例如仅存文本或仅存图像）时，所生成的中间特征表示将主要反映现存模态的特性。动态路由门控网络基于此中间特征表示计算出的路由权重分布，会倾向于激活那些专精于处理当前现存模态模式的低秩适配专家网络，从而自动调整模型内部的计算路径，使其绕过预设的、依赖完整模态交互的固定流程，转而执行适配于当前输入条件的特征融合计算。这使得模型无需依赖强制性的跨模态对齐操作，即可在模态不完整的真实场景下维持稳定、可靠的推理性能，有效抑制了因噪声特征或特征缺失导致的输出错误或“幻觉”现象。因此，本发明的技术方案通过构建基于动态路由的混合专家多模态大模型架构，解决了现有技术在面对知识冲突与模态缺失场景时，存在模型推理鲁棒性不足的技术问题。该方案能够根据输入数据动态分配计算资源，缓解多任务间的知识冲突，并自适应处理不完整的模态输入，从而在复杂多变的真实电网巡检场景下，协同提升故障分类的准确性、维修建议生成的可靠性以及模型对不完整数据输入的适应能力。

1.一种基于大模型的变电设备故障诊断方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述通过所述主干网络对所述多模态特征表示进行前向计算，得到中间特征表示的步骤，包括：

3.根据权利要求2所述的方法，其特征在于，所述通过所述动态路由门控网络基于所述中间特征表示计算动态路由权重分布，包括：

4.根据权利要求3所述的方法，其特征在于，所述依据所述动态路由权重分布，从所述多个低秩适配专家网络中激活对应的低秩适配专家网络，以对所述中间特征表示执行特征融合，生成融合特征表示，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述融合特征表示，同步生成故障分类结果与维修建议文本，包括：

6.根据权利要求2所述的方法，其特征在于，所述通过注意力机制执行跨模态特征交互与上下文编码，输出编码后序列的步骤，包括：

7.根据权利要求4所述的方法，其特征在于，所述通过所述专家网络子集中的各低秩适配专家网络，对所述中间特征表示并行执行低秩线性变换，得到多个特征变换输出，包括：

8.根据权利要求7所述的方法，其特征在于，所述依据与所述专家网络子集对应的动态路由权重，对所述多个特征变换输出执行加权融合计算，生成特征融合结果，包括：

9.根据权利要求1所述的方法，其特征在于，所述对多模态巡检数据执行特征提取处理，生成多模态特征表示，包括：

10.一种基于大模型的变电设备故障诊断系统，其特征在于，包括处理器及存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-9中任一项所述的方法。