基于大模型生成的电力设备缺陷检测数据增强方法、系统、设备及存储介质与流程

本发明属于计算机视觉与深度学习数据增强领域，具体涉及一种基于大模型生成的电力设备缺陷检测数据增强方法、系统、设备及存储介质。

背景技术：

1、电力系统中绝缘子等关键设备长期暴露于野外复杂环境，受光照强弱变化、四季背景地貌差异、拍摄视角多变、雨雪雾恶劣天气等因素影响，易出现烧蚀、破损、老化等缺陷，是电力巡检重点监测对象。基于深度学习的目标检测技术已成为电力设备缺陷智能识别的主流方案，而模型训练高度依赖大规模、高质量、精准标注的缺陷样本数据。但实际工程场景中，电力设备正常样本极易获取，真实缺陷样本数量稀缺且呈现严重长尾分布，标注成本高、高危故障样本难以人为采集，极大制约了缺陷检测模型的训练效果与实际泛化能力，数据短缺问题成为电力智能巡检落地的核心瓶颈。

2、为解决缺陷样本不足问题，行业普遍采用传统数据增强与生成式大模型数据增强两类技术方案。其中，传统数据增强多依靠旋转、裁剪、仿射变换、缺陷复制粘贴等简单几何变换方式扩充数据集，仅能实现基础样本扩增，在电力复杂自然光照场景下，缺陷与背景拼接边界易产生明显伪影，缺陷区域光照、色调与目标背景无法自然匹配，检测器易学习到拼接边缘等无效特征，而非缺陷本身纹理特征，模型真实场景适配性差。

3、现有生成式数据增强技术多基于生成对抗网络 gan、普通扩散模型 ddpm、潜在扩散模型及图像修复类算法合成缺陷图像，虽能生成全新样本，但仍存在诸多固有缺陷：其一，通用生成模型缺乏电力设备几何结构、材质特性及故障分布的物理先验约束，生成缺陷位置随机无序，易在非受力区域、空气背景等不合理位置生成破损、烧蚀缺陷，产生违背物理规律的 “幻觉” 样本，不仅无法提升模型性能，还会污染训练数据集；其二，现有生成模型多以 fid 等视觉保真度指标为单一优化目标，仅追求人眼视觉效果逼真，未结合下游缺陷检测任务特性，生成样本在检测器深层特征空间与真实缺陷特征差异较大，存在 “视觉逼真但机器识别无效” 的问题，任务导向性缺失，难以有效优化下游检测器判别边界；其三，电力巡检存在显著跨域域漂移问题，不同地域、季节、光照、天气下场景风格差异巨大，现有生成模型完成预训练后整体参数固化，无法适配多变巡检环境，若实现跨域适配需重新开展对抗训练与全量参数微调，计算成本高昂、部署周期长，无法满足无人机在线巡检快速适配、实时运维的工程需求。

4、同时，现有潜在扩散类图像生成方法虽逐步应用于工业缺陷生成，但难以精准控制缺陷形态、生成位置与边缘纹理，无法贴合电力设备真实故障的分布规律与形貌特征，且缺乏轻量化在线适配机制，面对复杂多变的野外巡检场景鲁棒性不足。综上，现有电力设备缺陷检测数据增强技术存在传统增强伪影严重、生成样本缺乏物理合理性、无下游任务导向、跨域环境适配能力弱等技术短板，亟需提出一种兼顾物理约束、任务感知、跨域自适应的大模型数据增强方法，以满足智能电网电力设备缺陷高精度检测的实际应用需求。

技术实现思路

1、本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于大模型生成的电力设备缺陷检测数据增强方法、系统、设备及存储介质，以解决现有技术中生成内容缺乏物理规律约束、任务导向性差以及跨域适应性不足的问题。

2、为了达到上述目的，本发明采用以下技术方案：

3、第一方面，本发明提供了一种基于大模型生成的电力设备缺陷检测数据增强方法，包括下述步骤：

4、获取电力设备的正常巡检图像，并提取前景对象区域掩码和背景区域掩码；

5、基于所述前景对象区域掩码确定物理受损热点区域，并结合分形噪声算法生成缺陷区域掩码，将所述缺陷区域掩码、前景对象区域掩码和背景区域掩码组合构建三元图；

6、将真实图像的潜在变量与所述三元图输入至混合潜在扩散模型中，在反向去噪过程的每一步中，基于所述三元图对缺陷区域进行生成，同时保留前景和背景区域的真实潜在变量，进行显式的三元混合更新；

7、在混合潜在扩散模型的训练阶段，引入预训练且冻结参数的下游检测器作为特征提取器，计算生成的缺陷图像与真实参考缺陷图像在特征空间的距离，构建任务感知损失，并结合噪声预测损失构建总优化目标损失对模型进行联合训练，得到训练好的混合潜在扩散模型；

8、在推理阶段，将训练好的混合潜在扩散模型输出的潜在变量输入解码器，在解码器中内嵌 lora 适配层；利用目标域少量背景图像对解码器 lora 适配层进行快速在线微调，将适配后的解码器输出的图像作为增强数据。

9、作为优选的技术方案，所述获取电力设备的正常巡检图像，并提取前景对象区域掩码和背景区域掩码，具体为：

10、利用无人机搭载的高分辨率相机获取电力设备的正常巡检图像；所述正常巡检图像涵盖不同的自然背景、光照条件以及拍摄视角；

11、利用预训练的利用目标检测与语义分割算法，从所述正常巡检图像中提取前景对象区域掩码和背景区域掩码。

12、作为优选的技术方案，所述基于所述前景对象区域掩码确定物理受损热点区域，具体为：

13、利用显著性检测定位电力设备的连接处，并计算连接处之间的中间区域作为所述物理受损热点区域；

14、引入分形柏林噪声算法生成边缘粗糙的缺陷掩码，并将所述缺陷掩码严格限定在所述物理受损热点区域内，以模拟真实放电引起的边缘模糊性。

15、作为优选的技术方案，所述三元混合更新的公式为：

16、；

17、其中，表示第 步混合后的潜在变量；、、 分别表示缺陷区域掩码、前景对象区域掩码和背景区域掩码； 表示 u-net 预测的去噪特征表达；和  分别表示对应真实前景和真实背景的加噪潜在变量； 表示逐元素哈马达乘积操作。

18、作为优选的技术方案，所述构建任务感知损失，具体为：

19、；

20、其中， 表示任务感知损失； 表示多尺度特征图的特定层级集合； 表示预训练检测器在第  层的特征映射提取函数；表示大模型生成的缺陷图像；表示真实的参考缺陷图像；表示 l2 范数的平方，用于计算特征空间中的均方误差。

21、作为优选的技术方案，所述总优化目标损失，具体为：

22、；

23、其中，表示总损失函数； 表示期望算子；为潜在变量， 为扩散时间步，为条件向量； 表示采样的高斯噪声； 表示第  步的加噪潜在变量； 表示参数为 的 u-net 噪声预测网络； 表示任务感知损失的权重超参数；在训练过程中，仅微调注入到 u-net 中的低秩适配层参数。

24、作为优选的技术方案，在线微调优化的目标函数为：

25、

26、其中， 表示解码器中注入的低秩适配层参数；表示针对该参数进行最小化优化； 表示图像重建损失； 表示目标域环境中的真实参考图像； 表示目标域环境对应的潜在变量； 表示将潜在变量映射回像素空间的解码器网络； 表示风格一致性损失，用于促使生成图像匹配目标域的光影与色调。

27、第二方面，本发明提供了一种基于大模型生成的电力设备缺陷检测数据增强系统，应用于所述的基于大模型生成的电力设备缺陷检测数据增强方法，包括掩码提取模块、物理约束生成模块、混合注入模块、联合训练模块以及在线适配模块；

28、所述掩码提取模块，用于获取电力设备的正常巡检图像，并提取前景对象区域掩码和背景区域掩码；

29、所述物理约束生成模块，用于基于所述前景对象区域掩码确定物理受损热点区域，并结合分形噪声算法生成缺陷区域掩码，将所述缺陷区域掩码、前景对象区域掩码和背景区域掩码组合构建三元图；

30、所述混合注入模块，用于将真实图像的潜在变量与所述三元图输入至混合潜在扩散模型中，在反向去噪过程的每一步中，基于所述三元图对缺陷区域进行生成，同时保留前景和背景区域的真实潜在变量，进行显式的三元混合更新；

31、所述联合训练模块，用于在混合潜在扩散模型的训练阶段，引入预训练且冻结参数的下游检测器作为特征提取器，计算生成的缺陷图像与真实参考缺陷图像在特征空间的距离，构建任务感知损失，并结合噪声预测损失构建总优化目标损失对模型进行联合训练，得到训练好的混合潜在扩散模型；

32、所述在线适配模块，用于在推理阶段，将训练好的混合潜在扩散模型输出的潜在变量输入解码器，在解码器中内嵌 lora 适配层；利用目标域少量背景图像对解码器 lora适配层进行快速在线微调，将适配后的解码器输出的图像作为增强数据。

33、第三方面，本发明提供了一种电子设备，所述电子设备包括：

34、至少一个处理器；以及，

35、与所述至少一个处理器通信连接的存储器；其中，

36、所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于大模型生成的电力设备缺陷检测数据增强方法。

37、第四方面，本发明提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于大模型生成的电力设备缺陷检测数据增强方法。

38、本发明与现有技术相比，具有如下优点和有益效果：

39、1. 本发明通过设计物理约束生成器并构建包含物理先验的三元图（trimap），有效解决了传统生成模型在缺陷生成过程中存在的空间位置随机性大及违背物理规律的问题。通过明确限定绝缘子烧蚀等缺陷的物理受损热点区域，并结合分形噪声算法模拟真实缺陷的边缘特征，确保了生成的缺陷样本严格遵循电力设备的实际故障机理，从源头上消除了生成式人工智能常见的“幻觉”现象，大幅提高了合成数据的可信度。

40、2. 本发明利用混合潜在扩散模型（bldm），在高维潜在空间内对生成的缺陷特征与保留的真实背景特征进行显式混合更新。相较于传统的像素级“剪切-粘贴”数据增强方法，该方法有效克服了生成缺陷边缘生硬、光影不一致及存在明显拼贴痕迹的缺陷。通过保持前景、背景与缺陷区域在潜在空间的一致性，使得生成的图像在纹理过渡、光照条件及色调分布上与真实巡检场景高度契合，增强了检测模型对鲁棒特征的学习能力。

41、3. 本发明在模型训练阶段引入了预训练的下游检测器作为特征提取器，构建了基于深层特征空间距离的任务感知损失函数。该机制改变了传统生成模型仅以人眼视觉保真度为优化目标的局限，强制生成的缺陷样本在机器视觉的高维特征空间中与真实缺陷样本保持分布对齐。这种面向任务的生成策略，确保了合成数据能够直接服务于检测模型的训练，有效提升了下游目标检测器的特征提取能力与检测精度。

42、4. 本发明在推理阶段通过在解码器端注入轻量级的低秩适配（lora）模块，实现了模型对多变巡检环境的快速响应。该方法无需对基础大模型进行全量重新训练，仅需利用目标域的少量背景图像进行快速在线微调，即可使生成的缺陷样本自适应匹配新场景的光照、色温及风格特征。这种“随遇随调”的机制有效解决了传统模型在跨地域、跨天气等复杂巡检场景下泛化能力差的问题，极大地满足了电网一线对于智能化巡检系统快速部署与迭代的实际需求。