缺陷图像生成方法、装置、电子设备及存储介质与流程

本技术涉及机器视觉的，尤其涉及一种缺陷图像生成方法、装置、电子设备及存储介质。

背景技术：

1、在工业自动化领域中，基于机器视觉的表面缺陷检测技术依赖大量标注的缺陷样本。在生产线实际运行中自然采集缺陷图像时，由于实际生产中产生的部分缺陷样本稀缺且分布不均，导致训练数据集规模不足，难以满足模型训练需求。相关技术中提出利用缺陷图像生成技术进行训练数据集扩充，然而，由于硬件成本限制，缺陷图像生成技术通常适用于512×512以下的低分辨率图像，在涉及线扫相机采集的超高分辨率图像（例如8192×8192）结合微小缺陷等高精度工业检测场景下，难以适配工业检测的数据扩充需求。

技术实现思路

1、有鉴于此，本技术实施例提供一种缺陷图像生成方法、装置、电子设备及存储介质。可以适配高分辨率图像场景的训练数据扩充需求。

2、第一方面，本技术提供了一种缺陷图像生成方法，所述方法包括：获取原始目标图像，基于预设截取区域对所述原始目标图像进行图像截取，得到原始局部图像；基于预设掩码区域对所述原始局部图像进行掩码处理，得到掩码局部图像；将预设目标缺陷及所述掩码局部图像输入预设的缺陷生成模型，在所述掩码局部图像中的预设掩码区域生成所述预设目标缺陷，得到缺陷局部图像；基于所述预设截取区域融合所述缺陷局部图像及所述原始目标图像，得到目标缺陷图像。

3、本技术的上述实施例通过预设截取区域将原始目标图像裁剪为原始局部图像，避免直接在全尺寸的超高分辨率图像上执行缺陷合成，将处理范围从全局压缩至局部，降低显存占用与硬件成本。对原始局部图像进行掩码处理得到掩码局部图像，使得缺陷生成模型仅需在掩码区域所限定的像素空间进行预设目标缺陷的生成，从而得到缺陷局部图像。根据预设截取区域的对应位置，将生成的缺陷局部图像贴合至原始目标图像中，无缝替换局部区域形成目标缺陷图像，在保留原始目标图像高分辨率背景信息的前提下，实现与原始目标图像分辨率相同的目标缺陷图像输出，使得目标缺陷图像能够适配高分辨率图像场景的训练数据扩充需求。

4、在本技术的一些实施例中，所述将预设目标缺陷及所述掩码局部图像输入预设的缺陷生成模型之前，所述方法还包括：获取原始图像样本，从所述原始图像样本中截取缺陷图像样本；其中，所述缺陷图像样本为包括所述预设目标缺陷的图像样本；确定所述缺陷图像样本的缺陷区域，基于所述缺陷区域对所述缺陷图像样本进行掩码处理，生成掩码图像样本；基于所述预设目标缺陷、所述掩码图像样本及所述缺陷图像样本，对初始对抗模型进行迭代训练，当所述初始对抗模型满足预设迭代条件时，得到所述缺陷生成模型。

5、本技术的上述实施例通过对原始图像样本进行截取得到缺陷图像样本，对缺陷样本图像进行掩码处理，将输入至初始对抗模型的训练数据（掩码图像样本）的输入尺寸从原始图像样本全图缩小至局部区域，且通过掩码处理剥离了与缺陷生成区域无关的冗余像素信息。从而使得初始对抗模型在训练过程中聚焦于掩码图像样本对应的掩码区域进行特征提取与参数更新，避免了掩码区域外像素的无效计算，进而降低模型训练的显存占用，提升模型的训练效率。

6、在本技术的一些实施例中，所述初始对抗模型包括生成器与判别器；所述基于所述预设目标缺陷、所述掩码图像样本及所述缺陷图像样本，对初始对抗模型进行迭代训练，当所述初始对抗模型满足预设迭代条件时，得到所述缺陷生成模型，包括：若未满足所述预设迭代条件，进行第一模型更新，包括：将所述预设目标缺陷及所述掩码图像样本输入所述生成器，在所述掩码图像样本中的掩码区域生成所述预设目标缺陷，得到待验缺陷图像；将所述待验缺陷图像及所述缺陷图像样本输入所述判别器进行图像判别，生成第一判别结果，并根据所述第一判别结果计算所述生成器的模型损失；基于所述模型损失对所述生成器进行参数更新，重复执行所述第一模型更新的步骤直至满足所述预设迭代条件，将迭代更新后的生成器确定为所述缺陷生成模型。

7、本技术的上述实施例通过将预设目标缺陷及掩码图像样本输入至生成器，生成器在掩码图像样本的掩码区域生成预设目标缺陷，从而合成待验缺陷图像。将生成的待验缺陷图像与缺陷图像样本输入至判别器，判别器进行图像判别并输出第一判别结果，从而区分真实样本与生成器生成的样本，再根据第一判别结果计算模型损失，迫使生成器与判别器通过参数更新进行对抗，迭代优化生成器的缺陷生成品质与判别器的图像判别能力，直至满足预设迭代条件后，将迭代更新后的生成器作为缺陷生成模型。这种对抗训练机制使得最终得到的缺陷生成模型生成的图像在视觉上与真实缺陷难以区分，从而减轻了缺陷生成图像的拼接痕迹或不自然感。

8、在本技术的一些实施例中，所述根据所述第一判别结果计算所述生成器的模型损失，包括：基于所述第一判别结果计算对抗损失，并计算所述待验缺陷图像与所述缺陷图像样本之间的背景重建损失；利用所述对抗损失、所述背景重建损失及预设权重系数确定所述模型损失。

9、本技术的上述实施例基于第一判别结果计算对抗损失，通过对抗损失驱动生成器生成具有真实感的缺陷纹理。计算待验缺陷图像与缺陷图像样本之间的背景重建损失，基于背景重建损失驱使生成器在生成缺陷时保持掩码区域以外的背景像素不发生畸变或模糊。利用预设权重系数对背景重建损失进行加权后与对抗损失相加，从而确定模型损失，将模型损失用于生成器的参数更新，使得生成器在提高缺陷图像生成真实感的同时，保持原始图像背景，从而避免出现的背景模糊或边缘伪影等背景变化问题。

10、在本技术的一些实施例中，所述方法还包括：根据所述对抗损失对所述判别器进行参数更新，利用更新后的判别器进行下个轮次的第一模型更新。

11、本技术的上述实施例通过在更新生成器参数的同时更新判别器，优化判别器的图像判别能力，促使新的训练轮次中生成器将面临一个经过强化、判别能力更精准的判别器，从而被迫生成质量更高的图像，进而提高训练得到的缺陷生成模型的图像生成能力。

12、在本技术的一些实施例中，所述方法还包括：对所述目标缺陷图像进行质量判别，得到第二判别结果；若基于所述第二判别结果确定所述目标缺陷图像满足预设质量标准，将所述目标缺陷图像添加至机器学习样本集；若基于所述第二判别结果确定所述目标缺陷图像不满足所述预设质量标准，将所述目标缺陷图像识别为低质缺陷图像，并输出低质提示信息。

13、本技术的上述实施例通过对目标缺陷图像进行质量判别，若第二判别结果表明目标缺陷图像满足预设质量标准，确定目标缺陷图像具备高保真度与有效性，并将目标缺陷图像添加至机器学习样本集中作为训练数据。若第二判别结果表明目标缺陷图像不满足预设质量标准，将目标缺陷图像拦截并进行标识，从而在确保机器学习样本集的数据可靠性。

14、在本技术的一些实施例中，所述方法还包括：统计所述低质缺陷图像在所述目标缺陷图像中的数量占比，得到输出低质率；若所述输出低质率超出预设低质率阈值，触发对所述缺陷生成模型的第二模型更新。

15、本技术的上述实施例通过统计低质缺陷图像在目标缺陷图像中的数量占比计算出当前缺陷生成模型的输出低质率。若输出低质率未超出阈值，说明缺陷生成模型当前生成能力稳定，可以继续运行；若输出低质率超出预设低质率阈值，表明缺陷生成模型当前的生成能力出现衰退或不足以适配当前运行场景，通过引入新的训练数据、调整学习率或重新校准网络参数等方式，触发对缺陷生成模型的第二模型更新，纠正缺陷生成模型当前的生成偏差。

16、第二方面，本技术提供了一种缺陷图像生成装置，包括：图像截取模块，用于执行获取原始目标图像，基于预设截取区域对所述原始目标图像进行图像截取，得到原始局部图像；掩码生成模块，用于执行基于预设掩码区域对所述原始局部图像进行掩码处理，得到掩码局部图像；缺陷生成模块，用于执行将预设目标缺陷及所述掩码局部图像输入预设的缺陷生成模型，在所述掩码局部图像中的预设掩码区域生成所述预设目标缺陷，得到缺陷局部图像；缺陷融合模块，用于执行基于所述预设截取区域融合所述缺陷局部图像及所述原始目标图像，得到目标缺陷图像。

17、第三方面，本技术提供了一种电子设备，所述电子设备包括存储器、处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的缺陷图像生成方法。

18、第四方面，本技术提供一种计算机存储介质，所述计算机存储介质存储有程序指令，当所述程序指令在处理器上运行时，使得所述处理器执行上述的缺陷图像生成方法。