缺陷图像生成方法、装置、设备以及程序产品与流程

本技术一般涉及图像生成领域，尤其涉及一种缺陷图像生成方法、装置、设备以及程序产品。

背景技术：

1、在现有显示面板（例如，液晶显示器liquid crystal display，简称为lcd）、半导体晶圆等精密产品的生产过程中，通常会将基于深度学习的自动光学检测（automatedoptical inspection，简称为aoi）系统作为保障产品质量的核心。具体而言，系统所应用算法的性能普遍依赖于大规模、多样化且标注精确的训练数据集。

2、然而，在实际工业生产中，由于较高的生产良率，缺陷样本的获取难度较高、获取到的缺陷样本类别也不平衡，而训练样本的缺失则限制了检测模型的性能。

3、对此，传统的图像修复（inpainting）模型是对缺失区域进行无痕填充，并不能在正常区域引入异常纹理以生成缺陷样本；而其他图像生成模型（例如，控制网controlnet、图像提示适配器ip-adapter等条件生成模型）的控制精度不足，无法复现缺陷区域内的纹理特征。

4、因此，如何生成大量精确的缺陷样本成为丞需解决的问题。

技术实现思路

1、鉴于现有技术中的上述缺陷或不足，期望提供一种缺陷图像生成方法、装置、设备以及程序产品，在本技术提供的缺陷图像生成方法中，缺陷图像生成模型的输入是将真实图像、背景、参考图以及掩码进行拼接后提取的多维特征，这使得模型在统一的特征空间内能够同时获知目标区域状态、参考纹理信息以及精确的空间位置，以此实现对生成样本中缺陷种类、位置以及纹理的像素级控制，并对应生成大量精确的模拟缺陷样本，从而有效提升了缺陷检测模型的检测性能。

2、第一方面，本发明提供了一种缺陷图像生成方法，该方法包括：

3、获取真实图像样本、待生成缺陷样本的缺陷掩码图像、相应的背景图像以及缺陷参考图像；

4、基于真实图像样本、缺陷掩码图像、背景图像以及缺陷参考图像的拼接处理生成宽幅图像，获取宽幅图像的噪声特征、条件特征以及缺陷位置特征；条件特征用于表征宽幅图像中的背景以及缺陷种类；

5、对噪声特征、条件特征以及缺陷位置特征进行特征融合获得复合特征张量，将复合特征张量输入缺陷图像生成模型，获得去噪后的图像特征；

6、对图像特征进行解码处理，将图像特征还原为像素图像，获得模拟缺陷样本。

7、在一种可能的实现方式中，基于真实图像样本、缺陷掩码图像、背景图像以及缺陷参考图像的拼接处理生成宽幅图像，包括：

8、对真实图像样本与缺陷参考图像分别进行带噪处理，并将带噪处理后的真实图像样本与缺陷参考图像进行拼接，生成宽幅带噪图像；

9、对背景图像与缺陷参考图像进行拼接，生成宽幅清晰图像；

10、基于缺陷掩码图像获得全掩码图像，对缺陷掩码图像与全掩码图像进行拼接，生成宽幅掩码图像；其中，缺陷掩码图像划分有第一像素值与第二像素值，全掩码图像中的各像素值与第一像素值或第二像素值相同。

11、在一种可能的实现方式中，获取宽幅图像的噪声特征、条件特征以及缺陷位置特征，包括：

12、基于预设分辨率对宽幅带噪图像进行图像压缩处理，获得第一压缩数据，并对第一压缩数据进行特征变换，获得噪声特征；

13、基于预设分辨率对宽幅清晰图像进行图像压缩处理，获得第二压缩数据，并对第二压缩数据进行特征变换，获得条件特征；

14、基于预设分辨率对宽幅掩码图像进行图像压缩处理，获得缺陷位置特征。

15、在一种可能的实现方式中，噪声特征、条件特征以及缺陷位置特征均为1n的行向量，

16、对噪声特征、条件特征以及缺陷位置特征进行特征融合获得复合特征张量，包括：

17、将噪声特征、条件特征以及缺陷位置特征拼接为13n的行向量，将13n的行向量作为复合特征张量；其中，13n的行向量包含的元素在行方向上依次为噪声特征的元素、条件特征的元素以及缺陷位置特征的元素。

18、在一种可能的实现方式中，缺陷图像生成模型的训练过程包括：

19、获取真实缺陷样本、真实缺陷样本的缺陷掩码样本、相应的背景样本以及缺陷参考样本；

20、基于真实缺陷样本、缺陷掩码样本、背景样本以及缺陷参考样本，构建复合输入特征张量，并将复合输入特征张量输入初始模型，获得预测噪声输出；

21、基于预测噪声输出与真实缺陷样本计算噪声预测损失，并基于预测噪声输出、真实缺陷样本以及缺陷掩码样本计算缺陷区域损失；

22、根据噪声预测损失与缺陷区域损失确定训练损失，并基于训练损失迭代训练初始模型，直至获得缺陷图像生成模型。

23、在一种可能的实现方式中，将复合输入特征张量输入初始模型，获得预测噪声输出，包括：

24、通过初始模型中的卷积层对复合输入特征张量的局部窗口扫描，以及初始模型中的残差块层对复合输入特征张量的深层变换，提取复合输入特征张量对应的有序局部特征；

25、利用初始模型中的自注意力层，基于有序局部特征表征的关联关系，获得每一像素位置处的全局增强特征；

26、对全局增强特征进行解码处理，将全局增强特征对应的通道数映射至复合输入特征张量的通道数，输出预测噪声。

27、在一种可能的实现方式中，基于训练损失迭代训练初始模型，包括：

28、基于训练损失确定自注意力层的梯度，根据梯度调整自注意力层的权重矩阵，并保持卷积层以及残差块层的卷积核参数固定。

29、在一种可能的实现方式中，缺陷图像生成模型基于多个样本集依次训练，多个样本集包括真实数据样本集、泛化数据样本集以及合成数据样本集；

30、其中，真实数据样本集对应的背景样本与缺陷参考样本来源相同，泛化数据样本集对应的缺陷掩码样本、背景样本以及缺陷参考样本来源不同，合成数据样本集对应的缺陷掩码样本程序化生成。

31、第二方面，提供了一种缺陷图像生成装置，该装置包括：

32、获取模块，用于获取真实图像样本、待生成缺陷样本的缺陷掩码图像、相应的背景图像以及缺陷参考图像；

33、第一处理模块，用于基于真实图像样本、缺陷掩码图像、背景图像以及缺陷参考图像的拼接处理生成宽幅图像，获取宽幅图像的噪声特征、条件特征以及缺陷位置特征；条件特征用于表征宽幅图像中的背景以及缺陷种类；

34、第二处理模块，用于对噪声特征、条件特征以及缺陷位置特征进行特征融合获得复合特征张量，将复合特征张量输入缺陷图像生成模型，获得去噪后的图像特征；

35、输出模块，用于对图像特征进行解码处理，将图像特征还原为像素图像，获得模拟缺陷样本。

36、第三方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述第一方面中任一项的方法。

37、第四方面，提供了一种计算机程序产品，计算机程序产品中包含指令，当指令被运行时，上述第一方面中任一项的方法被执行。

38、本技术实施例提供的缺陷图像生成方法、装置、设备以及程序产品，通过将真实图像、背景、参考图以及掩码进行拼接后，提取其多维特征作为模型输入，使得模型在统一的特征空间内能够同时获知目标区域状态（对应“模拟缺陷样本的背景是什么”）、参考纹理信息（对应“模拟缺陷样本生成什么缺陷”）以及精确的空间位置（对应“模拟缺陷样本在哪里生成缺陷”），以此实现对后续生成样本中缺陷位置、缺陷纹理以及缺陷形状的显式像素级控制，从而精确复现缺陷参考图像中的微观缺陷纹理，并对应生成大量精确的模拟缺陷样本；而基于上述对缺陷纹理的高保真复现以及相关缺陷信息的像素级精确控制，提升了小样本情况下工业缺陷检测模型的检测性能。

39、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。