缺陷图像生成方法、装置及设备与流程

本技术涉及计算机视觉，特别是涉及一种缺陷图像生成方法、装置及设备。

背景技术：

1、在计算机视觉技术领域，通常会涉及到需要大量缺陷图像的场景。例如，在缺陷自动检测场景中，为了实现较好的缺陷自动检测效果，一般需要使用大量的缺陷图像进行深度学习，以训练出缺陷检测模型。更为具体地，在半导体测试技术领域，针对晶圆表面的抛光碎屑、有机残留（如光刻胶、溶剂）、机械研磨过程中的划痕、断裂以及气泡等缺陷的识别至关重要，通常需要大量的晶圆缺陷图像来训练晶圆缺陷检测模型。

2、如果仅依赖人工收集或拍摄缺陷图像，则存在成本高效率低的问题，因此，如何自动生成合理、准确的缺陷图像至关重要。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种缺陷图像生成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，提供了一种缺陷图像生成方法，该方法包括：

3、加载训练完毕的目标模型；目标模型包括缺陷图像生成模型；缺陷图像生成模型包括条件控制网络和扩散模型；

4、将目标工艺参数、不含缺陷的目标对象的基础对象图以及预设的缺陷描述文本输入至扩散模型的特征提取网络进行特征编码，得到目标特征；

5、将预设的缺陷掩码图输入条件控制网络，得到缺陷控制特征；

6、通过扩散模型的解码器，基于目标特征和缺陷控制特征进行解码处理，生成目标对象的缺陷图像。

7、上述方法中，预先训练了一种特有的目标模型，该目标模型中的缺陷图像生成模型能结合工艺参数的特征、图像特征以及缺陷控制特征，生成与工艺参数相符合的缺陷图像。如此，生成的缺陷图像不仅在形态上满足需求，且更加的接近真实生产环境下的缺陷状态，因而能够快速且准确地获取缺陷图像。

8、在其中一个实施例中，目标模型还包括工艺参数预测模型；目标工艺参数是输入的工艺参数；方法还包括：通过工艺参数预测模型，预测第一目标图像对应的工艺参数；第一目标图像包括基础对象图或缺陷图像；在针对第一目标图像预测的工艺参数和目标工艺参数之间的差异超出预设偏差范围的情况下，生成提示信息。

9、上述方案中，可利用工艺参数预测模型自动监控设备的状态，即，将工艺参数预测模型预测的工艺参数与实际输入的工艺参数进行差异比对，在差异过大的情况下，可自动输出提示信息进行报警。

10、在其中一个实施例中，目标模型的训练过程包括用于训练工艺参数预测模型的第一训练阶段、以及用于训练缺陷图像生成模型的第二训练阶段。目标模型的训练步骤包括：

11、在第一训练阶段中，使用携带工艺参数标签且不携带噪声的第一缺陷样本图仅训练工艺参数预测模型；

12、使用训练完毕的工艺参数预测模型针对输入的缺失工艺参数且不携带噪声的第二缺陷样本图预测对应的第一工艺参数，将第一工艺参数作为第二缺陷样本图的工艺参数标签；基于第一缺陷样本图和第二缺陷样本图形成携带噪声的第一样本集；

13、在第二训练阶段中，锁定预先训练的扩散模型不做训练，并使用第一样本集中的缺陷样本图及对应的第一缺陷标注信息，训练条件控制网络，得到训练完毕的缺陷图像生成模型；第一缺陷标注信息包括缺陷样本图对应的工艺参数标签、缺陷文本标注以及缺陷像素级标注。

14、上述方案中，对目标模型进行分阶段训练。即，先使用少量的携带工艺参数标签且不携带噪声的缺陷样本图训练工艺参数预测模型。进而，使用训练的工艺参数预测模型对缺失工艺参数标签的缺陷样本图自动、准确地预测补全符合产品外观的工艺参数，基于预测的工艺参数作为工艺参数标签实现缺陷样本图的有效扩充，提高了扩充效率，降低了样本成本。然后，使用扩充补全后的大量的携带工艺参数标签的缺陷样本图，再训练缺陷图像生成模型，从而有效地提高缺陷图像生成模型的精度。

15、在其中一个实施例中，目标模型的训练步骤包括：

16、获取包含携带第二缺陷标注信息及噪声的第三缺陷样本图的第二样本集；第二缺陷标注信息包括所第三述缺陷样本图对应的工艺参数标签、缺陷文本标注以及缺陷像素级标注；

17、在每轮模型训练中，基于本轮待训练的缺陷图像生成模型，生成与各个第三缺陷样本图分别对应的第一缺陷图像；

18、基于本轮待训练的工艺参数预测模型，预测各个第三缺陷样本图分别对应的第二工艺参数；

19、基于每个第三缺陷样本图分别对应的噪声损失和参数损失，得到对应的目标损失；噪声损失表征生成第一缺陷图像时预测的噪声与第三缺陷样本图携带的噪声的差异，参数损失表征第三缺陷样本图对应的第二工艺参数与工艺参数标签的差异；

20、基于各个第三缺陷样本图分别对应的目标损失，计算总损失；

21、基于总损失对本轮待训练的工艺参数预测模型及缺陷图像生成模型中的条件控制网络进行参数调整，并进入下一轮模型训练，直至训练完毕得到目标模型。

22、上述方案中，工艺参数预测模型在为生成任务服务的过程中被隐式地训练，而缺陷图像生成模型也因更合理预测的工艺参数而获得更好的条件输入，两者协同进化，实现更好效果地端到端的训练，从而可提高缺陷图像生成模型和工艺参数预测模型的精度，后续可更准确地生成缺陷图像。

23、在其中一个实施例中，在每轮模型训练中，方法还包括：

24、将第二工艺参数作为新的工艺参数标签，使用缺陷图像生成模型，基于更新的工艺参数标签重新生成各个第三缺陷样本图对应的第二缺陷图像；

25、根据每个第三缺陷样本图对应的第二缺陷图像和第一缺陷图像之间的特征差异，得到重建特征损失；

26、基于每个第三缺陷样本图分别对应的噪声损失和参数损失，得到对应的目标损失包括：

27、基于每个第三缺陷样本图分别对应的噪声损失、参数损失以及重建特征损失，得到对应的目标损失。

28、上述方案中，针对第三缺陷样本图这类有工艺参数标签的样本数据，重建特征损失可间接起到约束预测的第二工艺参数逼近真实的工艺参数标签的效果。因此，将噪声损失、参数损失及重建特征损失结合起来，能确定更准确的目标损失，进而更有效、更快速地训练模型。

29、在其中一个实施例中，第二样本集还包括携带第三缺陷标注信息及噪声的第四缺陷样本图；第三缺陷标注信息包括缺陷文本标注及缺陷像素级标注，但不包括工艺参数标签；在每轮模型训练中，针对第四缺陷样本图同样生成对应的第一缺陷图像、第二缺陷图像、以及第二工艺参数。该方法还包括：

30、在每轮模型训练中，基于本轮待训练的工艺参数预测模型，针对第四缺陷样本图对应的第二缺陷图像，预测第三工艺参数；

31、根据每个第四缺陷样本图对应的第三工艺参数与第二工艺参数之间的差异，确定预测稳定性表征损失；

32、根据每个第四缺陷样本图对应的噪声损失和预测稳定性表征损失，得到对应的目标损失；

33、基于各个第三缺陷样本图分别对应的目标损失，计算总损失，包括：

34、根据各个第三缺陷样本图和各个第四缺陷样本图分别对应的目标损失，计算总损失。

35、上述方案中，针对第四缺陷样本图这类无工艺参数标签的样本数据，预测稳定性表征损失可以表示工艺参数预测模型的预测稳定性，将噪声损失和该预测稳定性表征损失结合起来确定目标损失进行模型训练，能提升工艺参数预测模型在无工艺参数标签的情况下的稳定性和合理性，进而，也因更合理预测的工艺参数使得缺陷图像生成模型得到更好的训练，有效地提升缺陷图像生成模型的精度。

36、在其中一个实施例中，目标模型还包括工艺参数预测模型；工艺参数预测模型包括与扩散模型共用的特征提取网络及参数预测模块；

37、在将目标工艺参数、不含缺陷的目标对象的基础对象图以及预设的缺陷描述文本输入至扩散模型的特征提取网络进行特征编码，得到目标特征之前，方法还包括：

38、将第二目标图像输入至工艺参数预测模型中的特征提取网络，得到图像特征；第二目标图像包括基础对象图或缺陷参考图像；

39、通过参数预测模块，基于图像特征预测第二目标图像对应的工艺参数；

40、将针对第二目标图像预测的工艺参数作为目标工艺参数。

41、上述方案中，不需要用户手动输入，而是直接基于工艺参数预测模型预测得到指导生成缺陷图像的目标工艺参数，节省了人工操作成本。此外，将参数预测和图像生成相结合，大大提高了效率。

42、第二方面，本技术还提供了一种缺陷图像生成装置，该装置包括：

43、模型确定单元，用于加载训练完毕的目标模型；目标模型包括缺陷图像生成模型；缺陷图像生成模型包括条件控制网络和扩散模型；

44、特征提取单元，用于将目标工艺参数、不含缺陷的目标对象的基础对象图以及预设的缺陷描述文本输入至扩散模型的特征提取网络进行特征编码，得到目标特征；

45、条件控制单元，用于将预设的缺陷掩码图输入条件控制网络，得到缺陷控制特征；

46、图像重建单元，用于通过扩散模型的解码器，基于目标特征和缺陷控制特征进行解码处理，生成目标对象的缺陷图像。

47、第三方面，本技术还提供了一种计算机设备。该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面所涉及方法中的步骤。

48、第四方面，本技术还提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面所涉及方法中的步骤。

49、第五方面，本技术还提供了一种计算机程序产品。计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面所涉及方法中的步骤。