一种工业表面缺陷图像仿真生成方法、装置、设备及介质与流程

本发明涉及图像处理，尤其涉及一种工业表面缺陷图像仿真生成方法、装置、设备及介质。

背景技术：

1、工业表面缺陷检测是保证产品质量的关键环节。基于深度学习的视觉检测模型需要大量标注样本进行训练，然而在真实工业生产环境中，缺陷样本具有极低的出现频率，训练样本稀缺制约了视觉检测模型的泛化能力与召回率。

2、在现有技术中，可以通过对现有样本中的真实缺陷进行几何变换或色彩抖动等传统图像处理方式，也可以基于生成对抗网络或扩散模型，在工业产品图像中添加缺陷，以生成工业缺陷图像。

3、然而，传统图像处理方式本质上是对现有缺陷的变形，无法生成新的缺陷结构，无法根本解决缺陷类型覆盖不全的问题，且采用此类缺陷图像训练的视觉检测模型泛化能力弱，易产生缺陷漏检；基于生成对抗网络方式生成的缺陷纹理随机性过强，缺乏工业缺陷特有的物理形态约束，且难以精细控制缺陷的局部结构；而扩散模型随机去噪过程对生成结果的局部结构细节缺乏精细控制，生成缺陷的内部结构不符合真实缺陷的梯度演化规律，易导致视觉检测模型在训练时学习到虚假特征。

技术实现思路

1、本发明提供了一种工业表面缺陷图像仿真生成方法、装置、设备及介质，能够在真实缺陷图像中提取具有物理意义的连续梯度片段并注入扩散模型的生成过程，从而生成结构逼真、梯度连续且可控性强的工业缺陷图像。

2、根据本发明的一方面，提供了一种工业表面缺陷图像仿真生成方法，包括：

3、在原始缺陷图像中确定缺陷区域，并针对缺陷区域内的各像素位置分别提取连续梯度片段，构建连续梯度片段库；

4、在产品图像中确定待插入缺陷的目标区域，并在所述连续梯度片段库中获取多个目标连续梯度片段，将各目标连续梯度片段沿对应梯度方向迁移至所述目标区域，获取目标区域的梯度控制矩阵；

5、将所述产品图像作为扩散模型的初始图像状态，根据所述梯度控制矩阵，在扩散模型的多轮次前向加噪过程中对各像素位置的噪声幅值进行空间差异化调制，生成加噪图像；

6、对所述加噪图像进行反向去噪处理，生成工业缺陷图像。

7、根据本发明的另一方面，提供了一种工业表面缺陷图像仿真生成装置，包括：

8、连续梯度片段库构建模块，用于在原始缺陷图像中确定缺陷区域，并针对缺陷区域内的各像素位置分别提取连续梯度片段，构建连续梯度片段库；

9、梯度控制矩阵生成模块，用于在产品图像中确定待插入缺陷的目标区域，并在所述连续梯度片段库中获取多个目标连续梯度片段，将各目标连续梯度片段沿对应梯度方向迁移至所述目标区域，获取目标区域的梯度控制矩阵；

10、图像加噪模块，用于将所述产品图像作为扩散模型的初始图像状态，根据所述梯度控制矩阵，在扩散模型的多轮次前向加噪过程中对各像素位置的噪声幅值进行空间差异化调制，生成加噪图像；

11、图像去噪模块，用于对所述加噪图像进行反向去噪处理，生成工业缺陷图像。

12、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

13、至少一个处理器；以及

14、与所述至少一个处理器通信连接的存储器；其中，

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的工业表面缺陷图像仿真生成方法。

16、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的工业表面缺陷图像仿真生成方法。

17、本发明实施例的技术方案，通过在原始缺陷图像中确定缺陷区域，并针对缺陷区域内的各像素位置分别提取连续梯度片段，构建连续梯度片段库；在产品图像中确定待插入缺陷的目标区域，并在连续梯度片段库中获取多个目标连续梯度片段，将各目标连续梯度片段沿对应梯度方向迁移至目标区域，获取目标区域的梯度控制矩阵；将产品图像作为扩散模型的初始图像状态，根据梯度控制矩阵，在扩散模型的多轮次前向加噪过程中对各像素位置的噪声幅值进行空间差异化调制，生成加噪图像；对加噪图像进行反向去噪处理，生成工业缺陷图像的方式，能够从真实缺陷图像中提取连续梯度片段作为物理先验，在不改变扩散网络的基本拓扑的条件下，对噪声进行空间差异化调制，解决了随机生成缺陷导致的纹理随机性过强、纹理频率失真和边缘虚化问题，生成的缺陷图像能够有效缓解缺陷样本稀缺导致的样本不平衡问题，提升检测模型对缺陷结构的识别能力和召回能力。

18、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种工业表面缺陷图像仿真生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在原始缺陷图像中确定缺陷区域，并针对缺陷区域内的各像素位置分别提取连续梯度片段，构建连续梯度片段库，包括：

3.根据权利要求2所述的方法，其特征在于，根据预设的窗口大小为各像素位置划分局部邻域窗口，并根据各局部邻域窗口内的有效像素位置的平方梯度强度，计算各像素位置的局部梯度方差，包括：

4.根据权利要求2所述的方法，其特征在于，根据各像素位置的局部梯度方差，确定各像素位置对应的片段长度，包括：

5.根据权利要求2所述的方法，其特征在于，根据当前采样起点的梯度方向以及片段长度，连续采样多个梯度强度值，包括：

6.根据权利要求1所述的方法，其特征在于，将各目标连续梯度片段沿对应梯度方向迁移至所述目标区域，获取目标区域的梯度控制矩阵，包括：

7.根据权利要求1所述的方法，其特征在于，将所述产品图像作为扩散模型的初始图像状态，根据所述梯度控制矩阵，在扩散模型的多轮次前向加噪过程中对各像素位置的噪声幅值进行空间差异化调制，生成加噪图像，包括：

8.一种工业表面缺陷图像仿真生成装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的工业表面缺陷图像仿真生成方法。