适用于低样本工业表面缺陷检测的潜空间单图像增强方法及系统

摘要: 本发明涉及工业表面缺陷检测,具体的说是一种适用于低样本工业表面缺陷检测的潜空间单图像增强方法及系统。背景技术:1、工业表面缺陷检测是智能制造质量控制的关键组成部...
适用于低样本工业表面缺陷检测的潜空间单图像增强方法及系统

本发明涉及工业表面缺陷检测,具体的说是一种适用于低样本工业表面缺陷检测的潜空间单图像增强方法及系统。

背景技术:

1、工业表面缺陷检测是智能制造质量控制的关键组成部分,但其始终受到目标缺陷样本稀缺的制约。在高产量生产中,异常样本稀少,新缺陷的复现成本高昂,且标注通常需要专家确认;因此,从极少量的真实缺陷样本中构建有效的检测器训练数据仍然是一个长期挑战;

2、几何变换、颜色扰动、裁剪和缺陷复制粘贴等传统方法主要围绕现有样本或缺陷区域产生变体。它们增加了样本数量,但在创造新的缺陷边界、局部结构或材料-背景耦合方面能力较弱。对于小样本工业检测,生成式增强能够比手工设计变换合成更多样化的样本。然而,大多数生成模型仍然需要数据集级或类别级的训练数据来学习可靠的缺陷分布。当可用数据缩减到仅有几个甚至一个目标缺陷样本时,此类模型通常会变得不可靠,因为类内分布和长尾缺陷形态无法被充分观察到;

3、单图像生成为这种情况提供了更直接的切入点,因为它从单张图像的内部块统计信息中学习生成规律,而不是从大规模的类别分布中学习。这种机制与小样本工业部署相匹配:它可以在无需等待重复产线停运、过程扰动或大型缺陷库的情况下扩展新观察到的缺陷,并且当仅有少量目标样本可用时,支持更快的数据循环更新;

4、然而,工业单图像增强不仅仅是生成更多图像的任务。生成的样本必须保留缺陷语义、边界形态、材料纹理以及缺陷与背景表面之间的耦合;还必须避免直接复制源图像,并提供能够转化为下游检测增益的变体。因此,关键难点在于获得既足够接近目标缺陷以保持真实性,又足够不同以丰富检测器监督的样本,真实性与多样性的平衡因此成为该问题的核心;

5、现有的单图像生成研究包括基于gan和基于扩散的路径。singan建立了多级金字塔和局部块学习,后续的singan变体扩展了这一范式。近来,sinfusion和sindiffusion引入了具有受限感受野或局部信息访问的扩散模型。这些方法表明,控制可访问信息至关重要:模型必须记住局部内部统计信息,而不能重现整个输入。

6、然而这种限制为工业增强带来了生成矛盾:增加上下文有助于边界和纹理的连续性,但会增加源布局的复制;而减少上下文则抑制复制,但会削弱特定样本特征的获取。现有的金字塔、块尺度和受限感受野通常将局部记忆和上下文感知耦合在一起,对这两种效应的控制不足。

技术实现思路

1、针对现有技术的不足,本发明的目的是提供一种适用于低样本工业表面缺陷检测的潜空间单图像增强方法及系统。

2、本发明解决其技术问题所采用的技术方案是:

3、一种适用于低样本工业表面缺陷检测的潜空间单图像增强方法,包括以下步骤:

4、s1、获取单张包含目标缺陷的源图像及对应的检测标签,并利用变分自编码器对源图像进行编码,得到源潜在特征图;

5、s2、基于源潜在特征图,通过随机裁剪采样,构建包含多个局部训练块的单图像训练集;并对局部训练块按照扩散模型的前向过程叠加随机噪声,获得带噪潜在特征块;

6、s3、构建采用transformer架构作为去噪主干网络的扩散变换生成器,扩散变换生成器包括级联的多个扩散变换模块;

7、s4、将带噪潜在特征块经分块嵌入后形成令牌序列,输入扩散变换生成器,令牌序列依次级联地经过多个扩散变换模块,在每个扩散变换模块中,通过局部窗口约束的注意力机制和前馈网络对令牌序列进行逐级变换,最后一个扩散变换模块的输出经最终映射层和去块化处理后得到预测噪声,并以前向过程中所加入的随机噪声为监督信号、以最小化预测噪声与随机噪声之间的差异为目标进行训练,更新扩散变换生成器的参数;

8、s5、在训练完成后,从标准高斯分布中采样初始噪声张量;

9、s6、以初始噪声张量作为起点,利用训练好的扩散变换生成器,按照设定时间步逐步迭代去噪,迭代去噪过程中每步将当前时间步的噪声张量输入扩散变换生成器得到预测噪声,并根据得到的预测噪声对当前时间步的噪声张量降噪处理,输出下一时间步的、噪声更少的噪声张量,直至设定时间步执行完成后得到潜在特征块;

10、s7、重复s5-s6的过程,直至使用不同的初始噪声张量生成多个不同的潜在特征块,之后将生成的多个不同的潜在特征块按照各自对应的空间位置排列,其中,多个不同的潜在特征块共同覆盖完整的生成潜在特征图的空间范围、且相邻潜在特征块之间存在重叠区域;

11、s8、对排列后的多个不同的潜在特征块执行基于重叠累加的重建操作和轻量卷积细化,从而得到生成潜在特征图;

12、s9、利用变分自编码器的解码器,将生成潜在特征图解码为增强缺陷样本图像,并依据源图像的检测标签为增强缺陷样本图像生成对应的监督标签;

13、s10、重复s5-s9的过程直至得到所需数量的增强缺陷样本图像及对应的监督标签。

14、本发明还公开了一种适用于低样本工业表面缺陷检测的潜空间单图像增强系统,应用上述适用于低样本工业表面缺陷检测的潜空间单图像增强方法实现,包括:

15、图像获取与编码模块,用于获取单张包含目标缺陷的源图像及对应的检测标签,并利用变分自编码器对源图像进行编码,得到源潜在特征图;

16、训练集构建与加噪模块,用于基于源潜在特征图通过随机裁剪采样构建包含多个局部训练块的单图像训练集,并对局部训练块按照扩散模型的前向过程叠加随机噪声,获得带噪潜在特征块;

17、生成器构建与训练模块,用于构建采用transformer架构作为去噪主干网络的扩散变换生成器,扩散变换生成器包括级联的多个扩散变换模块;将带噪潜在特征块经分块嵌入后形成令牌序列输入扩散变换生成器,令牌序列依次级联地经过多个扩散变换模块,在每个扩散变换模块中通过局部窗口约束的注意力机制和前馈网络对令牌序列进行逐级变换,最后一个扩散变换模块的输出经最终映射层和去块化处理后得到预测噪声,并以前向过程中所加入的随机噪声为监督信号、以最小化预测噪声与随机噪声之间的差异为目标进行训练,更新扩散变换生成器的参数;

18、采样与迭代去噪模块,用于在训练完成后从标准高斯分布中采样初始噪声张量,并以初始噪声张量作为起点利用训练好的扩散变换生成器按照设定时间步逐步迭代去噪,迭代去噪过程中每步将当前时间步的噪声张量输入扩散变换生成器得到预测噪声,并根据预测噪声对当前时间步的噪声张量降噪处理,输出下一时间步的、噪声更少的噪声张量,直至设定时间步执行完成后得到潜在特征块;重复执行采样与迭代去噪操作直至使用不同的初始噪声张量生成多个不同的潜在特征块;

19、排列与重建模块,用于将生成的多个不同的潜在特征块按照各自对应的空间位置排列,其中多个不同的潜在特征块共同覆盖完整的生成潜在特征图的空间范围、且相邻潜在特征块之间存在重叠区域;并对排列后的多个不同的潜在特征块执行基于重叠累加的重建操作和轻量卷积细化,从而得到生成潜在特征图;

20、解码与标签生成模块,用于利用变分自编码器的解码器将生成潜在特征图解码为增强缺陷样本图像,并依据源图像的检测标签为增强缺陷样本图像生成对应的监督标签。

21、采用上述技术方案的本发明,与现有技术相比,其突出的特点是:

22、通过局部窗口约束的注意力机制,将transformer的注意力交互范围限制在局部邻域内,有效阻断了对整张源图像全局布局的直接记忆通路,显著降低了单图像训练时生成结果复现输入图像的风险;同时通过重叠块重建(fold重叠累加)和轻量卷积细化,在局部范围内返还了邻域上下文,保持了缺陷边界、材料纹理和背景过渡的连续性;

23、不以单纯增加图像数量为目标,而是在生成机制中同时维持缺陷语义、边界形态、材料纹理和适度形态变化,使得生成的增强样本能够直接参与下游目标检测器的训练并提供有效监督;

24、提供了常规目标域自举和预训练快速适配两条路径,用户可根据实际工业场景的资源条件进行选择或切换。常规目标域自举路径不依赖任何外部预训练权重,适合目标域贴合优先、外部同类数据不可得或需降低外部分布偏置的场景,保证了生成质量的上限;预训练快速适配路径通过复用与dit对齐的预训练主干和sd-vae潜空间,缩短启动时间,适合快速上线和规则纹理场景。两条路径共享同一套核心架构,使同一系统能够覆盖“追求最优生成质量”和“追求最短部署时间”两类工业约束;

25、不依赖大规模缺陷数据集,仅需单张目标缺陷roi即可启动样本生成和检测器训练,解决了高良率产线中缺陷样本极度稀缺、新缺陷导入时无法快速积累训练数据、以及长尾缺陷类别样本不足等工业痛点。生成样本可直接继承源缺陷的类别标签、检测框或分割标注,无需人工筛选即可投入下游检测器训练,降低了人工标注成本,缩短了数据准备周期,具有良好的工程适用性和产业化前景。