基于电力语义条件扩散模型的图像生成方法与流程

摘要: 本技术属于电力图像生成的,更具体地说,是涉及基于电力语义条件扩散模型的图像生成方法。背景技术:1、智能电网的设备运维高度依赖视觉检测模型来识别绝缘子破损、线缆断...
基于电力语义条件扩散模型的图像生成方法与流程

本技术属于电力图像生成的,更具体地说,是涉及基于电力语义条件扩散模型的图像生成方法。

背景技术:

1、智能电网的设备运维高度依赖视觉检测模型来识别绝缘子破损、线缆断股与变压器渗漏等物理缺陷,而训练此类模型必须输入巨量的设备缺陷图像样本。客观运行工况下,真实的电力设备缺陷发生频次极低,且同一类物理缺陷在不同环境光照与天气条件下呈现剧烈的视觉形态差异,真实缺陷图像的采集困难直接导致检测模型训练数据集面临严重的样本稀缺与类别不平衡。为了处理上述应用场景中的图像数据匮乏与缺陷形态分布失衡工况,行业内通常会将拟定的缺陷文本指令导入现有的条件扩散生成系统中进行合成与扩充。

2、授权公告号为cn119130853b的发明专利公开了一种电力设备缺陷图像扩散生成方法及系统。该方案将正常原始图像划分为多个子区域图像并计算位置编码,利用自动编码器对正常原始图像和拟定缺陷文本提示分别执行降维映射,生成低维空间的原始特征图与文本特征嵌入。在原始特征图叠加高斯噪声后,该方案利用包含不同膨胀率的膨胀卷积提取噪声特征图的多尺度语义信息形成第一特征图,利用空间注意力模块计算空间重要性形成第二特征图,随后通过交叉注意力模块对第一特征图、第二特征图与文本特征嵌入执行融合。在生成阶段,噪声评估模型基于正常原始图像的子区域位置编码信息引导融合特征图去除缺陷噪声,生成映射特征图,并在达到预设终止条件后经解码器还原为三维缺陷图像。

3、该现有技术采用单一通道处理文本提示,并在去噪环节直接调用正常原始图像的位置编码作为引导基准。若试图在输出端叠加常规的滤波后处理,或采用静态阈值比较来强行校准缺陷形态,由于此类通用手段仅能作用于生成后的浅层像素,无法干预扩散模型反向迭代过程中的深层特征矩阵映射,不仅会破坏图像纹理的连贯性,也无法精准对齐空间坐标,在特征高度耦合的生成工况下难以奏效。受限于这种单通道文本嵌入与强绑定正常位置映射的去噪架构,当目标工况要求生成部件断裂、外壳破损等改变设备原始物理轮廓的异常状态时,固化的正常位置编码会强制约束新缺陷区域的像素生成,引发明显的空间结构干涉。由于去噪网络在连续的反向迭代周期内,并未针对量化的离散结构参数建立独立的条件注入通道,且整个循环过程缺乏针对设备拓扑连通逻辑的中间检验机制,系统无法实现全局文本语义与特定缺陷坐标的分离约束。这种架构缺陷使得单一的文本特征与固化的正常位置特征在降噪重构时相互干预,导致底层特征分布映射错位,最终必然引发输出图像中像素矩阵的拓扑关系错乱与缺陷坐标偏移。

技术实现思路

1、本技术的目的在于提供基于电力语义条件扩散模型的图像生成方法,解决图像结构错乱问题,实现缺陷准确生成。

2、本技术实施例的第一方面,提供了基于电力语义条件扩散模型的图像生成方法,包括:

3、获取原始电力设备缺陷图像的文本描述和结构参数;

4、提取文本描述的全局文本特征和关键语义特征,将全局文本特征与关键语义特征相融合,生成文本条件;

5、对结构参数执行分类映射编码与跨模态融合,生成结构条件;

6、调用预先训练的去噪网络执行反向去噪迭代,在反向去噪迭代期间,获取与去噪网络的网络层级相对应的层级融合权重,基于层级融合权重将文本条件与结构条件注入去噪网络的各网络层级的层级特征中进行噪声预测,基于预测出的预测噪声与传入去噪网络的输入噪声特征执行去噪调度计算,获得当前去噪特征;

7、当未达到预设的步数间隔时,将当前去噪特征作为更新去噪特征;

8、当达到预设的步数间隔时,基于当前去噪特征估计出中间预测图像,对中间预测图像分别执行设备结构、缺陷语义及环境条件的合理性检验,计算综合约束损失并根据综合约束损失求解修正梯度,将修正梯度累加至当前去噪特征以获得更新去噪特征;

9、基于更新去噪特征执行后续的反向去噪迭代,并将更新去噪特征作为下一次反向去噪迭代的输入噪声特征;

10、在遍历全部反向去噪迭代后,对最终输出的更新去噪特征进行特征解码,生成目标电力设备缺陷图像。

11、在一种可能的实现方式中,提取文本描述的全局文本特征和关键语义特征,将全局文本特征与关键语义特征相融合,生成文本条件,包括:

12、对文本描述执行全局编码,输出全局文本特征;

13、抽取文本描述中的场景、缺陷及环境片段,分别执行序列编码后拼接,生成关键语义特征;

14、拼接全局文本特征与关键语义特征生成联合特征,基于预设的门控参数对联合特征执行非线性映射,分别求解出第一权重与第二权重;

15、基于第一权重与第二权重,分别对全局文本特征与关键语义特征执行逐元素相乘,并将相乘后的关键语义特征累加至相乘后的全局文本特征,生成文本条件。

16、在另一种可能的实现方式中,对结构参数执行分类映射编码与跨模态融合,生成结构条件,包括:

17、识别结构参数包含的类别参数、数值参数及空间参数,对应执行向量映射、非线性变换与位置编码,生成第一特征、第二特征及第三特征并聚合为特征集;

18、抽取特征集内的各个单项特征作为第一查询量,并将特征集内的其余特征拼接为键特征与值特征;

19、计算第一查询量与键特征的内积获得关联权重,基于关联权重对值特征加权累加,获得相应的关联特征;

20、拼接特征集内各个单项特征对应的关联特征,经线性投影输出结构条件。

21、在另一种可能的实现方式中,获取与去噪网络的网络层级相对应的层级融合权重,基于层级融合权重将文本条件与结构条件注入去噪网络的各网络层级的层级特征中进行噪声预测,包括:

22、针对去噪网络的各网络层级中的当前网络层级,以文本条件为键值参量、当前网络层级的层级特征为第二查询量,计算生成第一融合项;

23、基于结构条件映射出的缩放因数与偏移因数,对层级特征执行归一化调制,生成第二融合项;

24、提取当前网络层级,当当前网络层级小于预设的第一层级阈值时,判定层级融合权重中针对第二融合项的第二层级权重大于针对第一融合项的第一层级权重;

25、当当前网络层级大于预设的第二层级阈值时,判定第一层级权重大于第二层级权重;

26、当当前网络层级不小于预设的第一层级阈值且不大于预设的第二层级阈值时,判定第一层级权重等于第二层级权重;

27、将按第一层级权重加权的第一融合项,与按第二层级权重加权的第二融合项,共同累加至层级特征中。

28、在另一种可能的实现方式中,对中间预测图像分别执行设备结构、缺陷语义及环境条件的合理性检验,计算综合约束损失,包括:

29、提取与结构参数匹配的预设的标准件集及预设的邻接矩阵,并提取中间预测图像的实际件集与实际位置;

30、计算实际件集相对预设的标准件集的漏检率与误检率以生成完整损失,并计算实际位置相对由预设的邻接矩阵限定的空间分布的散度以生成空间损失;

31、提取中间预测图像的缺陷分布与环境特征,分别计算缺陷分布与由结构参数限定的目标缺陷间的交叉熵以生成缺陷损失,以及环境特征与由结构参数限定的目标环境间的对数差以生成环境损失;

32、将完整损失、空间损失、缺陷损失及环境损失按预设的比例执行加权累加,输出综合约束损失。

33、在另一种可能的实现方式中,在生成目标电力设备缺陷图像之后,包括:

34、计算目标电力设备缺陷图像的保真度分值、正确性分值、合理性分值与真实性分值;

35、对保真度分值、正确性分值、合理性分值与真实性分值执行归一化并按预设的权重加权求和,生成综合得分;

36、当正确性分值小于预设的第一阈值,或合理性分值小于预设的第二阈值,或综合得分小于预设的第三阈值时,剔除目标电力设备缺陷图像;

37、当正确性分值不小于预设的第一阈值、合理性分值不小于预设的第二阈值,且综合得分不小于预设的第三阈值时,将目标电力设备缺陷图像输出为训练样本。

38、在另一种可能的实现方式中,计算正确性分值,包括:

39、计算目标电力设备缺陷图像与文本描述间的相似度,基于预设的边界对相似度执行归一化,输出文本得分;

40、校验目标电力设备缺陷图像的场景特征及缺陷特征与结构参数指定的场景类别及缺陷类型的一致性,分别输出场景匹配值及缺陷匹配值;

41、基于预设的第一判定权重对场景匹配值及缺陷匹配值执行乘法加权,并基于预设的第二判定权重对文本得分执行乘法加权,其中预设的第一判定权重大于预设的第二判定权重;

42、将加权后的场景匹配值、缺陷匹配值及文本得分进行累加,得到正确性分值。

43、本技术实施例的第二方面,提供了基于电力语义条件扩散模型的图像生成装置,包括:

44、条件获取模块,用于获取原始电力设备缺陷图像的文本描述和结构参数;

45、文本编码模块,用于提取文本描述的全局文本特征和关键语义特征,将全局文本特征与关键语义特征相融合,生成文本条件;

46、结构编码模块,用于对结构参数执行分类映射编码与跨模态融合,生成结构条件;

47、去噪生成模块,用于调用预先训练的去噪网络执行反向去噪迭代,在反向去噪迭代期间,获取与去噪网络的网络层级相对应的层级融合权重,基于层级融合权重将文本条件与结构条件注入去噪网络的各网络层级的层级特征中进行噪声预测,基于预测出的预测噪声与传入去噪网络的输入噪声特征执行去噪调度计算,获得当前去噪特征;当未达到预设的步数间隔时,将当前去噪特征作为更新去噪特征;当达到预设的步数间隔时,基于当前去噪特征估计出中间预测图像,对中间预测图像分别执行设备结构、缺陷语义及环境条件的合理性检验,计算综合约束损失并根据综合约束损失求解修正梯度,将修正梯度累加至当前去噪特征以获得更新去噪特征;基于更新去噪特征执行后续的反向去噪迭代,并将更新去噪特征作为下一次反向去噪迭代的输入噪声特征;在遍历全部反向去噪迭代后,对最终输出的更新去噪特征进行特征解码,生成目标电力设备缺陷图像。

48、本技术实施例的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在存储器中并在处理器上运行的计算机程序,处理器执行计算机程序时实现上述的基于电力语义条件扩散模型的图像生成方法的步骤。

49、本技术实施例的第四方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述的基于电力语义条件扩散模型的图像生成方法的步骤。

50、本技术实施例提供的基于电力语义条件扩散模型的图像生成方法的有益效果在于:

51、1.独立构建文本条件与结构条件两条编码通道,并按去噪网络层级融合权重注入,使浅层特征优先受结构位置约束、深层特征优先受全局语义约束,避免单一文本嵌入与固定正常位置编码在重构时相互干预;同时在反向去噪迭代中周期估计中间预测图像,计算综合约束损失并求解修正梯度累加至当前去噪特征,使结构偏差在潜在空间深层特征映射阶段被校正,减少拓扑关系错乱与缺陷坐标偏移,实现缺陷准确生成。

52、2.文本条件生成时对全局文本特征与场景、缺陷及环境关键语义特征进行门控加权融合,结构条件生成时对类别参数、数值参数及空间参数执行分类映射编码与跨模态注意力融合,使缺陷严重等级、空间位置和设备拓扑关系在条件编码阶段建立关联,增强电力专业缺陷描述的区分度,降低缺陷类型混淆和位置偏移,提高生成图像与结构参数的语义一致性。

53、3.生成后计算目标电力设备缺陷图像的保真度、正确性、合理性及真实性分值,并在正确性分值中设定场景匹配值和缺陷匹配值的判定权重高于文本相似度得分,再依据预设阈值剔除不达标图像,使得样本筛选侧重场景类别与缺陷类型同结构参数的一致性,避免文本相似但物理特征错误的图像进入训练集,保障下游视觉检测模型训练样本的可靠性。