一种任意尺度工业缺陷生成方法和装置

本发明涉及计算机视觉及图像生成，特别是涉及一种任意尺度工业缺陷生成方法和装置。

背景技术：

1、在现代制造业中，工业缺陷检测对于产品质量控制发挥着至关重要的作用。然而，在真实的工业场景中，缺陷样本往往具有极高的稀缺性和收集成本，这严重限制了可靠视觉检测系统的开发。为了缓解缺陷样本不足的问题，现有的方法主要借助扩散模型来合成伪缺陷图像。然而，尽管这些生成方法取得了一定进展，但它们在处理小尺度缺陷（如极小分辨率的划痕、微小污点等）时仍然面临严重的失效问题。主要原因在于：主流的扩散模型在架构设计上需要进行极度的下采样（例如通过vae编码器将图像压缩至原始尺寸的1/8），且模型内部控制语义生成的交叉注意力机制通常在极低分辨率下才最为有效，这种极致的压缩机制导致小尺度缺陷的特征信息在潜空间中被严重丢失，使得扩散模型难以学习和重建这些微小缺陷的高频细节，无法满足工业级微小缺陷数据生成的需求。

2、为了弥补标准扩散模型在小目标学习能力上的短板，现有的微调策略正逐渐转向基于局部裁剪的微调策略，即提取包含小缺陷的局部图像块进行训练。然而，单纯基于局部裁剪的微调策略会将小目标与原图的全局背景割裂开来，破坏缺陷特征与工业产品特定位置之间的上下文约束关系，导致生成的缺陷无法与背景无缝融合。为了保留上下文位置约束，现有做法尝试将放大的局部裁剪块与原始全图结合进行联合训练，但在这种多尺度迁移场景中，对微小缺陷进行直接放大不可避免地会引入显著的插值误差和跨尺度特征不一致性，导致跨尺度信息融合困难。更严重的是，在推理生成阶段，现有的文本引导图像生成方法，通常在一个去噪阶段内同时完成缺陷生成与背景融合。然而，由于交叉注意力图的分辨率较低，单阶段去噪过程极易被大尺度的背景纹理和结构所主导，使得本就微弱的小尺度缺陷细节被背景信息淹没，甚至被直接忽略，最终导致缺陷生成失败。

3、综上所述，尽管扩散模型和基于局部裁剪的微调策略为工业缺陷图像的生成提供了初步思路，但现有技术在处理微小缺陷时，依然无法有效解决细粒度纹理获取、插值失真与全局背景无缝融合之间的矛盾。

4、鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。

技术实现思路

1、本发明要解决的技术问题是在处理微小的工业缺陷时，依然无法有效解决细粒度纹理获取、插值失真与全局背景无缝融合之间的矛盾。

2、本发明实施例采用如下技术方案：

3、第一方面，本发明提供了一种任意尺度工业缺陷生成方法，具体为：在扩散模型训练阶段，对原始工业缺陷图像进行多尺度裁剪操作，以构建完整多尺度图像及掩码集合，并通过联合尺度损失与跨尺度感知损失进行训练，从而使得共享的可学习文本嵌入e能够捕获具备位置感知的丰富缺陷表征；

4、在扩散模型推理生成阶段，对正常无缺陷图像执行先生成后融合去噪策略，以将任意尺度工业缺陷的高保真构造过程与全局背景的无缝融合过程解耦，得到工业缺陷图像。

5、优选地，所述方法还包括：

6、对原始工业缺陷图像进行裁剪和缩放，得到包含从局部微观纹理到全局全图的完整多尺度图像及掩码集合；

7、将完整多尺度图像及掩码集合聚合为训练集，将训练集输入至扩散模型，以使扩散模型基于加噪阶段生成的加噪潜变量和可学习文本嵌入e预测噪声，并计算预测噪声与随机目标噪声之间的差异，得到联合尺度损失；

8、基于完整多尺度图像中的相邻尺度图像计算跨尺度感知损失；

9、结合所述联合尺度损失与跨尺度感知损失，构建总训练损失函数，并根据总训练损失函数对可学习文本嵌入进行更新优化，完成扩散模型的训练。

10、优选地，所述联合尺度损失通过联合尺度损失函数得到，所述联合尺度损失函数如下：

11、；

12、其中，表示联合尺度损失，表示第个尺度图像在时间步下对应的加噪潜变量，表示引入的随机目标噪声，为模型的噪声预测器，表示第个尺度图像对应的掩码，表示哈达玛积，n为尺度总数，e表示可学习文本嵌入e。

13、优选地，所述方法还包括：

14、将原始工业缺陷图像调整为指定的生成分辨率×，获得最大尺度裁剪图像和缺陷掩码；

15、提取缺陷掩码连通域的最小边界框，基于最小边界框的长边，将最小边界框扩展为正方形，截取正方形对应的区域并缩放至生成分辨率×，获得最小尺度裁剪图像和对应的缺陷掩码；

16、以所述最小边界框的几何中心为中心，按照设定的裁剪扩展因子α在几何级数上逐步扩大裁剪边长；将每次扩大视野后裁剪出的中间尺度裁剪区域统一调整至生成分辨率，获得一系列中间尺度输入序列，最终组合得到完整多尺度图像及掩码集合。

17、优选地，所述基于完整多尺度图像中的相邻尺度图像计算跨尺度感知损失，包括：

18、利用预测的噪声对各尺度的潜变量去噪得到干净潜变量，并由解码器输出预测的去噪图像；

19、将高分辨率尺度预测图中的缺陷区域按照相应的映射边长进行二次裁剪并调整至生成分辨率，得到对齐后的高分辨率预测块；

20、利用预设的特征提取器计算去噪图像和高分辨率预测块在掩码对应区域的感知特征相似度，将所述感知特征相似度作为跨尺度感知损失。

21、优选地，所述跨尺度感知损失由跨尺度感知损失函数得到，所述跨尺度感知损失函数如下：

22、；

23、其中，表示跨尺度感知损失，为第个尺度图像对应的掩码，为去噪图像，为高分辨率预测块表示预设的特征提取器，n为尺度总数。

24、优选地，所述方法还包括：

25、基于柏林噪声，为正常无缺陷图像随机生成缺陷掩码；

26、利用与训练过程中完全相同的多尺度裁剪操作，将正常无缺陷图像构建为多尺度的正常图像裁剪块及掩码集合；

27、在最小尺度下，以最小正常裁剪图像、最小正常裁剪图像对应的掩码以及训练好的文本嵌入作为输入，利用预设的去噪步数进行混合扩散，在掩码区域内生成具备高保真细粒度纹理的最小尺度初始缺陷；

28、对于后续的每一个大尺度级别，将前一尺度生成的缺陷图像、前一尺度掩码、当前尺度的正常裁剪图像与当前尺度掩码作为输入，输出当前尺度的缺陷图像和当前尺度掩码；

29、循环交替执行上述过程直到最大尺度，输出与全局背景无缝融合的工业缺陷图像。

30、优选地，所述方法还包括：

31、将前一尺度的缺陷图像和前一尺度掩码按照下采样因子进行分辨率缩减，得到下采样缺陷图和下采样掩码；

32、利用下采样掩码从下采样缺陷图中提取出有效的缺陷像素，将缺陷像素直接粘贴覆盖至当前尺度的正常图像中由当前尺度掩码指定的精准位置上，实现像素级替换，得到拼接图像；

33、对所述拼接图像执行扩散前向加噪，并在当前尺度掩码的空间约束下，利用预设的去噪步数进行局部去噪重构，输出当前尺度的缺陷图像。

34、第二方面，本发明提供了一种任意尺度工业缺陷生成装置，所述装置包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，用于执行第一方面中的任意尺度工业缺陷生成方法。

35、第三方面，本发明还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成第一方面所述的任意尺度工业缺陷生成方法。

36、与现有技术相比，本发明的有益效果在于：在扩散模型训练阶段，基于原始工业缺陷图像，构建完整多尺度图像及掩码集合，并通过联合尺度损失与跨尺度感知损失，引导可学习文本嵌入e的更新方向，促使共享的可学习文本嵌入e能够捕获具备位置感知的丰富缺陷表征。另外，在扩散模型推理生成阶段，通过对正常工业图像执行先生成后融合去噪，能够避免大尺度的背景信息淹没小尺度的缺陷特征，基于本发明提供的训练过程和推理过程的配合使用，能够生成与全局背景无缝融合的工业缺陷图像，将生成的工业缺陷图像作为训练样本，用于扩充工业缺陷检测模型的训练数据集，以缓解缺陷样本不足的问题，进而提升工业缺陷检测模型的识别精度。