一种基于空间约束扩散的软掩膜引导伪异常合成方法

摘要: 本发明处于无监督工业视觉异常检测领域,旨在解决实际生产环境中缺陷样本稀缺且现有伪异常生成方法容易破坏正常背景微观纹理并产生边缘拼接伪影的问题,特别是提出了一种基...
一种基于空间约束扩散的软掩膜引导伪异常合成方法

本发明处于无监督工业视觉异常检测领域,旨在解决实际生产环境中缺陷样本稀缺且现有伪异常生成方法容易破坏正常背景微观纹理并产生边缘拼接伪影的问题,特别是提出了一种基于空间约束扩散的软掩膜引导伪异常合成方法。

背景技术:

1、随着全球高端制造业向自动化与智能化转型,基于计算机视觉的表面缺陷检测已成为保障生产质量的核心环节。然而,在实际的工业生产线中(如半导体晶圆检测、新能源电池极片检测等),模型部署正面临着严峻的“数据分布不对称”困境:正常的无缺陷样本可以大规模获取,而真实的缺陷(如微小划痕、表面氧化、断纱等)样本稀缺,且其形态、尺度具有高度的不可预见性。传统依赖海量正负样本的全监督深度学习模型在这种长尾分布下难以建立稳健的决策边界。因此,仅依赖正常样本的无监督或自监督异常检测技术成为当前工业视觉检测的主流方向。

2、为了缓解异常数据稀缺的问题,伪异常合成技术被广泛引入,通过人工制造缺陷来为检测网络提供代理监督信号。早期的启发式合成策略(如cutpaste等)主要通过人工设计的“剪切-粘贴”操作,将局部图像块或外部自然纹理(如木纹、水波纹)强行拼接到工业正常图像中。然而,这种硬性拼接由于脱离了目标物体的本底物理常识,且缺乏光学对齐,会在异常与背景的交界处产生剧烈的像素阶跃与高频伪影。这导致下游的缺陷检测网络极易陷入“捷径学习”陷阱——即模型仅依靠识别生硬的拼接缝就能判断异常,而未能真正学到物理缺陷的底层结构语义。此外,生成对抗网络(gans)也被用于缺陷合成,但其固有的模式崩溃问题使得生成的缺陷形态较为单一,难以覆盖真实产线中复杂多变的异常表现。

3、近年来,去噪扩散概率模型(ddpm)凭借其卓越的数据分布精确拟合能力,在缺陷合成领域展现出巨大潜力。然而,将标准扩散模型直接应用于工业场景时,仍存在一些物理缺陷。真实的工业产品(如精密电路板、高密编织物)表面通常布满高频且规律的微观纹理。标准扩散机制在执行全局马尔可夫去噪过程时,所有像素都参与了随机演化,这不可避免地会平滑甚至破坏未发生异常的正常背景区域,引入非预期的特征分布漂移与大量的重构本底噪声。同时,如果单纯依靠简单的二值掩膜对生成的异常源进行局部替换,依然无法解决缺陷与背景在光照透射率上的物理割裂感。

4、综上所述,如何打破现有图像处理与生成模型在“背景绝对保真”与“异常物理逼真”之间难以兼顾的技术矛盾,在无需真实异常样本的条件下,生成既符合物体自身材质物理演化规律,又能确保背景像素绝对一致、且消除边缘高频拼接伪影的高质量伪异常数据,是当前无监督工业异常检测领域有待解决的技术问题。

技术实现思路

1、为解决了传统无监督视觉异常检测中,启发式拼接合成方法容易产生高频边缘伪影引发下游网络“捷径学习”,以及现有基于标准扩散模型的生成方案由于全局马尔可夫去噪机制不可避免会破坏正常背景微观纹理、引入非预期特征分布漂移的技术问题。本发明提供了一种基于空间约束扩散的软掩膜引导伪异常合成方法,引入了空间约束下的逆向扩散受控偏离机制与基于透明度调控的软掩膜图像融合机制。该方法能够在零真实异常样本的受限条件下,通过前背景解耦演化与物理级光学叠加,在特征空间内生成具备高度物理真实感与结构变异的伪异常源,同时在像素空间中实现异常与背景的无缝同化,为无监督条件下的异常数据扩充提供了一种高保真、强对齐的高质量数据合成方案。

2、为实现上述目的,本发明采用如下技术方案:

3、第一方面,本技术实施例提供一种基于空间约束扩散的软掩膜引导伪异常合成方法,包括以下步骤:

4、步骤1:利用噪声构建基础频率场并对正常图像进行自适应阈值提取,生成具有不规则拓扑形态的初始二值掩膜。

5、步骤2:构建标准的扩散模型,基于初始二值掩膜对标准扩散模型的局部条件概率分布进行空间约束重构,同时在前景区域内注入受控的方差扰动。

6、步骤3:依据重构后的局部条件概率分布执行双路演化采样:在隐空间中推导背景区域的无损含噪状态以实施像素级状态锁定,并利用重标定方差采样出具备物理结构变异的前景演化状态。随后通过初始二值掩膜完成双路演化的空间拼接得到异常源图像。

7、步骤4:采用二维各向同性高斯核对初始二值掩膜执行空域低通滤波,消除离散突变以生成具备连续平滑过渡带的软掩膜。

8、步骤5:通过动态采样确立透明度调控系数,定义缺陷介质与底层表面的光学混合比重。

9、步骤6:协同软掩膜与透明度调控系数,将异常源图像与正常图像进行物理级光学渲染叠加,输出自然融合的伪异常图像。

10、在一种可能的实施方式中,所述步骤1具体实现过程如下:

11、通过引入perlin噪声构建基础频率场,并结合自适应二值化阈值,提取出正常图像的形态连续的初始二值掩膜。

12、在一种可能的实施方式中,所述步骤2具体实现过程如下:

13、构建标准的扩散模型,其中包括前向扩散过程、反向扩散过程、神经预测网络(去噪u-net)、时间步等结构。在初始二值掩膜覆盖的前景区域内,通过增大反向扩散过程中采样公式的随机噪声项,实现显式放大采样方差;同时通过流形偏离强度参数诱导隐空间采样轨迹发生流形偏离的方差扰动,在背景区域严格执行标准去噪还原,实现对标准扩散模型的局部条件概率分布进行空间约束重构。

14、在一种可能的实施方式中,所述步骤2具体操作如下:

15、构建标准的扩散模型表示:假设初始的真实正常图像数据服从一种未知的高维复杂分布,来产生一系列服从高斯分布的噪声样本,扩散模型的前向扩散过程通过预设的个离散时间步,逐步向初始的正常图像中添加小尺度的各向同性高斯噪声。对于任意给定的时间步,在已知前一时刻噪声样本的条件下,当前时刻噪声样本的状态转移概率被定义为:

16、

17、t为总的扩散步骤的离散时间步数量,噪声的增长水平方差为服从高斯分布的超参数,是预先设定的方差调度参数;代表与输入样本具有相同维数的单位矩阵,代表生成的均值和协方差的正态分布。

18、在第t次迭代时,将已知前一时刻噪声样本代入状态转移概率公式中得到当前时刻噪声样本,通过加入方差参数s,构建空间感知的方差调制矩阵,使当前时刻噪声样本在前景区域内正常样本的低概率密度区域发生偏离。方差调制矩阵具体计算公式为:

19、

20、其中,扩散模型中神经预测网络的协方差矩阵,⊙为逐元素相乘操作。

21、在方差调制矩阵的干预下,对标准扩散模型去噪的反向扩散过程的局部条件概率分布进行空间约束重构,得到重构后的逆扩散条件概率分布公式:

22、

23、其中,代表逆向扩散条件概率分布,共有t-1个图像在反向扩散过程中生成,分别为, ,……。

24、对于掩膜以外的正常背景区域,乘子项,空间感知的方差调制矩阵退化为原始网络预测的协方差。对于掩膜覆盖的异常前景区域,乘子项变为,该区域的采样方差被显式放大了倍。

25、在一种可能的实施方式中,所述步骤3具体实现过程如下:

26、在扩散模型的隐空间中,利用初始二值掩膜推导出正常图像的背景区域,实现像素级锁定;对于非背景区域,利用重标定方差采样出具备物理结构变异的演化状态。最后利用初始二值掩膜对双路演化状态进行空间拼接,输出具备结构畸变的异常源图像。

27、在一种可能的实施方式中,所述步骤3具体操作如下:

28、将单个时间步内的演化拆解为“前景变异采样”与“背景无损推导”两条并行的张量推演路径,并在每次迭代末尾实施强制性的空间拼接。具体实施细节如下:

29、首先,在第t步去噪时,隐空间中动态的数据张量,经过空间方差调制矩阵后,得到仅针对前景掩膜区域生成的、具有特定物理变异的中间潜空间表征,即采样出包含物理变异的前景演化状态,具体公式为:

30、其次,执行背景锁定,利用扩散模型前向扩散过程的闭式解,推导无损原始正常图像在任意中间时间步的理想含噪状态,实现背景区域的状态锁定。具体公式为:

31、

32、最后,利用掩膜对前景区域与背景区域进行空间拼接,得到进入下一时间步的融合潜变量。具体拼接公式为:

33、

34、在经历了完整的步迭代后,最终输出异常源,以最终的为异常源图像。

35、在一种可能的实施方式中,所述步骤4具体实现过程如下:

36、引入具有自适应尺度参数的二维各向同性高斯核,对二值掩膜执行离散二维卷积操作,滤除边缘高频分量,构建出具备梯度渐变过渡带的软掩膜。

37、在一种可能的实施方式中,所述步骤5具体实现过程如下:

38、设定用于模拟物理缺陷介质透光率的透明度调控系数的采样区间,其中;从均匀分布中动态采样获取透明度调控系数,即。

39、在一种可能的实施方式中,所述步骤6具体实现过程如下:

40、将软掩膜与透明度调控系数进行数乘,构建自适应混合权重矩阵;以此权重矩阵控制底层正常纹理的透光保留比例与表层异常特征的显现比例,将异常源图像与正常背景图像进行加权融合。

41、第二方面,本技术实施例提供一种基于空间约束扩散的软掩膜引导伪异常合成装置,包括以下模块:

42、掩膜生成模块:利用噪声构建基础频率场并对正常图像进行自适应阈值提取,生成具有不规则拓扑形态的初始二值掩膜。

43、重构模块:构建标准的扩散模型,基于初始二值掩膜对标准扩散模型的局部条件概率分布进行空间约束重构,同时在前景区域内注入受控的方差扰动。

44、双路演化采样模块:依据重构后的局部条件概率分布执行双路演化采样:在隐空间中推导背景区域的无损含噪状态以实施像素级状态锁定,并利用重标定方差采样出具备物理结构变异的前景演化状态。随后通过初始二值掩膜完成双路演化的空间拼接得到异常源图像。

45、滤波模块:采用二维各向同性高斯核对初始二值掩膜执行空域低通滤波,消除离散突变以生成具备连续平滑过渡带的软掩膜。

46、系数确定模块:通过动态采样确立透明度调控系数,定义缺陷介质与底层表面的光学混合比重。

47、伪异常合成模块:协同软掩膜与透明度调控系数,将异常源图像与正常图像进行物理级光学渲染叠加,输出自然融合的伪异常图像。

48、第三方面,本技术实施例提供一种电子设备,包括处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的方法。

49、第四方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时实现如第一方面所述的方法。

50、第五方面,本技术实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如第一方面所述的方法。

51、本发明有益效果如下:

52、(1)本发明突破了全局去噪对正常背景纹理的破坏:本发明通过在隐空间中构建双路并行演化机制,利用前向扩散过程闭式解实施背景像素的确定性状态锁定。解决了标准扩散模型全局马尔可夫链所引发的语义漂移与微观纹理平滑化问题,实现了未发生异常区域与原图的特征对齐。(2)本发明实现了符合物体底层几何拓扑的受控畸变:本发明通过在局部条件概率分布中注入过饱和方差,诱导网络基于模型自身习得的纹理分布进行流形偏离。能够生成高度逼真的底层刚性形变与结构断裂,解决了跨域特征拼接导致的决策边界偏移问题。(3)本发明消除了合成边界的高频伪影陷阱:本发明结合空域二维高斯滤波与alpha透明度光学渲染,将缺陷视为覆盖于物体表面的半透明物理介质。打破了二值掩膜的离散像素突变,消除了边缘异常频域噪声,解决了下游深度卷积网络利用识别拼接缝来进行“捷径学习”的缺陷。(4)本发明构筑了全频谱信噪比的高价值数据分布:本发明的核心参数——流形偏离强度与透明度调控系数支持联合动态采样。通过调节二维参数空间,能够连续模拟从难以察觉的高透光浅表隐性缺陷,到具备显著几何破坏的低透光显性缺陷。为下游异常度量网络提供了涵盖各种难度梯度的代理监督信号,提升了模型在复杂动态工业背景下的鲁棒性。