基于双空间一致性锚定矩阵的工业器件弱监督缺陷检测方法及系统

摘要: 本发明属于工业视觉检测,涉及一种基于双空间一致性锚定矩阵的工业器件弱监督缺陷检测方法及系统。背景技术:1、随着智能制造与工业互联网的深入发展,制造业正加速向数字...
基于双空间一致性锚定矩阵的工业器件弱监督缺陷检测方法及系统

本发明属于工业视觉检测,涉及一种基于双空间一致性锚定矩阵的工业器件弱监督缺陷检测方法及系统。

背景技术:

1、随着智能制造与工业互联网的深入发展,制造业正加速向数字化、网络化与智能化方向转型升级。人工智能、深度学习、云计算等新兴技术的融合应用,推动工业生产中的质量控制方式由传统人工检测向智能视觉检测转变。工业器件作为维系设备与结构完整性的核心部件,其缺陷检测直接关系到产品可靠性与生产安全。因此,研究高效、准确的工业缺陷检测方法具有重要的工程应用价值。

2、在真实工业场景中,异常样本数量通常远少于正常样本,且缺陷形态复杂多样,既可能表现为微观纹理变化,也可能呈现为宏观结构偏差。加之像素级标注成本高昂,传统强监督学习方法在实际部署中受到严重制约。现有基于无监督或弱监督学习的异常检测方法虽然能够利用大量正常样本建模,但在复杂背景与多尺度异常条件下仍然存在以下不足:

3、其一,表征空间单一,现有方法仅依赖局部特征分布或全局语义特征的单一侧面,难以全面刻画缺陷的多粒度特性,对同时涉及纹理变异与结构失真的复合缺陷判别力不足;

4、其二,缺乏对跨空间结构一致性的显式建模,当局部特征响应与全局语义响应产生矛盾时,缺少有效的联合推断机制,导致对模糊异常或结构混淆类缺陷的判别鲁棒性显著下降;

5、其三,记忆库特征匹配类方法在公开数据集上虽取得一定效果,但在实际部署中面临特征冗余严重、计算开销大以及对低密度正常模式保护不足等问题,难以兼顾检测精度与实时性要求。

6、综上所述,如何在降低标注成本的同时提升异常检测精度,并兼顾推理效率与工程实用性,仍是当前工业异常检测领域亟需解决的关键问题。

7、针对上述问题,本方案提出一种。尽管异常样本稀缺问题无法完全解决,但本方案能够在异常样本稀缺的前提下,依旧能够构建一个有效、稳定的工业产品图片异常检测系统。并为智能制造环境下的质量追溯、预测性维护及工业数据上云提供可靠技术支撑。

技术实现思路

1、有鉴于此,本发明的目的在于提供一种基于双空间一致性锚定矩阵的工业器件弱监督缺陷检测方法及系统,实现在降低标注成本的同时提升异常检测精度,并兼顾推理效率与工程实用性。

2、本发明采用弱监督学习范式,以大量正常样本为基础、少量异常样本为辅,且异常样本仅需图像级标签(仅对整幅图像赋予正常/异常类别信息,不涉及像素级标注),从而显著降低数据标注成本。本发明主要在于:首先设计结构感知特征编码器,提取兼具几何适应性与多尺度上下文关联的结构化特征;随后将特征映射至紧凑嵌入空间并解耦为局部分布特征与全局语义特征,在双空间视角下构建层级化稀疏记忆库优化机制与可学习原型对比学习机制,通过引入可学习的跨空间一致性锚定矩阵,实现记忆库条目的语义-几何联合稀疏化与自净化,并建立原型向量到记忆库子集的倒排关联索引以提高检索效率;在推理阶段,融合双分支输出并量化认知不确定性,最终输出统一异常评分与精细化缺陷定位结果。

3、为达到上述目的,本发明一方面提供了一种基于双空间一致性锚定矩阵的工业器件弱监督缺陷检测方法,其包括训练阶段和推理阶段。

4、其中,训练阶段包括:

5、先构建工业器件图像数据集,图像记为:,和分别表示图像的高度与宽度,3表示rgb通道数。数据集为正常样本的图片,仅提供图像级标签(正常/异常)。

6、然后基于构建的数据集执行:

7、1、从输入图像中提取具有几何适应性和多尺度上下文的结构感知特征图。

8、(1)基础特征提取

9、对于输入图像,首先通过一个由3个连续3×3卷积层(步长为2前两层步长为2,第三层步长为1,用于下采样)和relu激活函数组成的基础特征提取网络,获得初始特征图:

10、(1)

11、式中,为初始特征图,基础卷积网络,为基础卷积网络的输出通道数。

12、(2)空间采样偏移预测

13、将初始特征图送入一个可变形卷积模块,预测空间采样偏移量图:

14、(2)

15、式中,是一个轻量卷积层,为每个卷积核的采样点总数。空间采样偏移量图的通道数为,分别对应个采样点的x、y方向空间采样偏移量。

16、(3)基于偏移量驱动的跨尺度注意力权重

17、将空间采样偏移量图作为条件信号,发送给偏移量驱动的注意力权重生成器(即一个由全局平均池化(gap)和全局最大池化(gmp)和两层由mlp+sigmoid组成的小型网络)生成跨尺度注意力权重。

18、首先,对空间采样偏移量图的每个通道独立执行全局平均池化gap)和全局最大池化(gmp)操作,分别提取不同维度的形变特征:

19、(3)

20、式中,为空间采样偏移量图,为全局平均池化,为全局最大池化,全局平均池化后的偏移量特征向量,为全局最大池化后的偏移量特征向量。

21、进行全局平均池化后的偏移量特征向量和全局最大池化后的偏移量特征向量的特征拼接后,通过一个两层的全连接网络(mlp)和sigmoid激活函数,生成跨尺度注意力权重向量:

22、(4)

23、式中,为特征拼接操作,为两层全连接神经网络,为sigmoid激活函数。

24、该机制使网络能根据缺陷的形变程度,动态调节不同尺度特征的响应权重。

25、(4)多尺度特征提取与注意力加权融合

26、将初始特征图输入到多分支空洞卷积模块。该模块包含个并行的空洞卷积分支,空洞率分别设,用于捕获不同尺度的上下文信息。各分支输出特征图为:

27、(5)

28、其中,为第i个空洞卷积分支输出的单尺度特征图,为空洞率为的3×3空洞卷积层。

29、最后,利用注意力权重向量对各分支特征进行动态加权融合,得到最终的结构感知特征图:

30、(6)

31、式中,为结构感知特征图。

32、2、通过解耦机制将结构感知特征图拆分为局部分布特征与全局语义特征。

33、结构感知特征图包含了丰富的空间信息。为同时支持局部分布建模和全局语义建模,将结构感知特征图映射到一个统一的紧凑嵌入空间,并通过解耦机制将其拆分为两种互补的特征表示:局部分布特征与全局语义特征。

34、局部分布特征:对进行瓶颈投影,将每个空间位置的特征向量投影到低维嵌入空间,形成保留精细空间位置信息的局部嵌入图z。局部分布特征用于后续锚定引导的层级化稀疏记忆库模块,计算局部分布距离得分。

35、全局语义特征:对在空间维度上执行全局平均池化,得到聚合的全局特征向量,再通过另一个独立的瓶颈投影层映射到相同的低维嵌入空间,形成压缩全局语义信息的全局嵌入向量。全局语义特征用于后续可学习原型对比学习模块,计算全局语义相似度得分。

36、具体的拆分过程如下:

37、(1)瓶颈投影

38、通过一个两层全连接网络(瓶颈投影器)将每个空间位置的特征向量投影到低维嵌入空间:

39、(7)

40、式中:为瓶颈投影器,为结构感知特征图的通道数,为低维嵌入空间的维度,为未归一化的嵌入特征图,为结构感知特征图的高度,为结构感知特征图电的宽度。

41、(2)解耦为局部分布特征

42、直接保留空间维度,得到局部嵌入图:

43、(8)

44、式中,为局部嵌入图。

45、对局部嵌入图的每个空间位置,定义局部嵌入向量。随后进行l2归一化:

46、(9)

47、所有正常样本的归一化局部嵌入向量构成全集,即局部分布特征,其大小为。式中,为空间位置处的原始局部嵌入向量,为l2 范数。为极小常数,防止分母为0。

48、(3)解耦为全局语义特征

49、对在空间维度上进行全局平均池化,然后通过另一个瓶颈投影器得到全局嵌入向量:

50、(10)

51、式中,全局瓶颈投影器,结构与局部瓶颈投影器完全相同但参数独立,第一层将维映射到128维并接relu,第二层将128维映射到=64维。为结构感知特征图在空间位置处的完整通道特征向量。为未归一化的全局嵌入向量。

52、对向量进行l2归一化:。所有正常样本的归一化全局嵌入向量构成集合,即全局语义特征。为第j个正常样本的归一化全局嵌入向量。为训练集中正常样本的总数。

53、3、构建原型对比损失,并基于全局语义特征,通过对比学习生成归一化的原型向量集合。

54、从全局语义特征中学习一组判别性的原型向量集合。原型向量能够高度概括正常工业器件的典型语义模式,在推理阶段作为全局语义异常判别的参考基准。可学习原型对比学习模块需要使用正常样本和少量带图像级标签的异常样本进行训练,其中异常样本作为负例帮助原型形成区分性边界。这里的异常的工业器件图像采用的是图像级标注。

55、(1)输入数据

56、接收所有正常样本的归一化全局嵌入向量集合。对于每个训练样本(包括正常样本和异常样本),其全局嵌入向量记为,且已完成l2归一化,即,其中,正常样本的全局嵌入向量用于构建原型的聚类中心,异常样本用于推开与正常原型的距离。

57、(2)原型初始化

58、设定原型向量数量。随机初始化所有原型向量,每个原型向量维度为维,并对每个原型向量进行l2归一化,使模长为1:

59、(11)

60、式中,为第个原型向量。

61、这些原型向量作为可训练参数,参与后续的梯度更新。初始时,原型向量随机分布于单位超球面上,随着训练逐渐收敛至能够代表不同正常语义模式的原型中心。

62、(3)对比学习目标

63、对比学习的核心目标是:使正常样本的全局嵌入向量靠近其最匹配的原型向量,同时使异常样本远离所有原型向量,并促使原型向量之间相互分离。为此,损失函数由吸引项和排斥项两部分组成。

64、1)吸引项:对于每个归一化全局嵌入向量,计算其与所有原型向量之间的余弦相似度:

65、(12)

66、由于归一化全局嵌入向量和第个原型向量均已归一化,余弦相似度等价于内积,取值范围[-1,1]。式中,为余弦相似度。

67、采用基于温度缩放的交叉熵损失作为吸引项。对于正常样本,该损失鼓励其被分配到一个特定的原型向量(即与其最相似的原型向量),同时抑制与其他原型向量的相似度。吸引项的定义为:

68、(13)

69、式中,为吸引项,为第个样本的全局嵌入向量,为获胜原型索引,为温度参数(可取0.1),为训练样本总数,为与最匹配的原型向量。

70、2)排斥项:为防止多个原型向量指向同一语义中心而导致冗余,引入原型分离正则项损失。其中,同一语义中心是指:在高维全局语义特征空间中,多个原型向量在训练后收敛到了同一个正常模式的特征聚类中心位置,彼此表征的语义内涵高度重叠,都对应同一种正常器件的语义模式。

71、原型分离正则项损失惩罚任意两个原型向量之间的余弦相似度超过预设上界的情况:

72、(14)

73、式中,为排斥项。表示第个原型向量,,通过设置排除与相同的原型向量(即不计算原型向量与其自身的相似度)。

74、该正则项惩罚任意两个原型向量之间余弦相似度超过预设上界的情况,促使原型向量相互正交,覆盖不同的正常模式子空间。

75、总的原型对比损失为吸引项与排斥项加权之和,原型对比损失迫使正常样本的全局语义特征在原型空间中形成紧致、分离的簇结构。

76、3)将吸引项与排斥项加权求和,得到原型对比损失:

77、(15)

78、其中,为排斥项的权重系数,用于平衡聚类紧致性与原型分离性。

79、4) 在可学习原型对比学习模块中,使用正常的和异常的工业器件图像进行训练,训练过程使用原型对比损失。其中,异常样本作为负例帮助原型向量形成区分性边界。

80、训练完成后,模块输出归一化的判别性原型向量集合。

81、4、将局部分布特征作为初始候选记忆库;生成跨空间一致性锚定矩阵;根据余弦相似度将初始化候选记忆库划分为锚定核心层和分布填充层;对分布填充层进行一致性残差反馈剔除;基于跨空间一致性锚定矩阵生成原型向量与对应记忆库子集之间的倒排关联索引。

82、(1)初始化候选记忆库

83、将归一化局部嵌入向量构成全集中的所有向量作为初始候选记忆库。初始候选记忆库内存在大量样本,需进行稀疏化。

84、(2)跨空间一致性锚定矩阵的生成与迭代更新

85、跨空间一致性锚定矩阵是实现双空间协同建模的核心枢纽,它作为可学习的动态结构性先验,建立了局部分布特征与全局语义原型之间的显式统计关联。该矩阵同时承担“记忆库模块内部计算依据”和“双空间联合优化输入参数”的双重身份,在训练过程中通过前向生成-反向更新的闭环机制不断迭代优化,最终实现局部几何信息与全局语义信息的深度对齐。

86、跨空间一致性锚定矩阵是一个可学习的动态参数矩阵,其生成与更新过程如下:

87、初始生成(首次前向传播),在训练的第1轮前向传播中,锚定矩阵由锚定引导的层级化稀疏记忆库模块内部首次生成,其中锚定矩阵的输入为两个外部模块的输出:

88、1)归一化局部嵌入向量集合,为第i个训练样本的归一化局部嵌入向量;

89、2)原型向量集合,为第k个归一化原型向量。

90、令为初始候选记忆库总条目数,为局部嵌入图的高度和宽度,为训练集正常样本数量。由于和均已l2归一化,锚定矩阵元素通过余弦相似度计算得到:,为余弦相似度,其值越大表示第i个局部特征与第k个原型向量的语义关联越强。将作为跨空间一致性锚定矩阵中第i行第k列的元素,形成跨空间一致性锚定矩阵。初始生成的锚定矩阵作为模块内部参数,直接用于后续的记忆库层级化划分操作。

91、从第2轮训练开始,锚定矩阵同时具备内部输入和外部输出双重属性,形成完整的迭代闭环:锚定矩阵既作为内部输入,参与余弦相似度层级化分层、一致性残差过滤和倒排关联索引构建,又作为外部输出,当前轮次计算得到的锚定矩阵作为记忆库模块的核心输出,用于后续计算一致性约束损失。

92、(3)层级化分层

93、根据余弦相似度将记忆库条目分为两层:

94、1)锚定核心层:对每个原型向量,选择与其余弦相似度最高的前个局部特征(可取=50)。这些特征强制保留,划分到锚定核心层,用于维持跨空间基本一致性。

95、2)分布填充层:剩余特征划分到分布填充层,需要进行稀疏化与净化。其中为候选记忆库集合。

96、3)分布填充层的自适应稀疏化

97、对分布填充层中的每个特征,首先计算其局部密度(核密度估计):

98、(16)

99、式中,表示与欧氏距离最近的个邻居,可取。为高斯核带宽,设为所有特征对之间距离的中位数。的目标特征的核密度估计值,表征归一化局部嵌入向量在正常特征空间中的局部稠密程度;数值越大代表该特征属于常见正常模式,数值越小代表属于稀有正常模式,为目标归一化局部嵌入向量,为的一个k近邻特征,对的所有k近邻特征求和。

100、然后构建空间梯度累积曲线:

101、(17)

102、即密度小于等于密度阈值的特征数量。通过寻找曲线的拐点(二阶导数最大处)确定自适应采样率,最终在分布填充层中随机采样个特征,且采样概率与成正比(优先保留稀有模式)。式中,为空间梯度累积值,为密度阈值,越大表示该特征处于高密度区域(常见正常模式),越小表示稀有,为满足条件的特征计数。为局部特征的核密度估计值。

103、(4)一致性残差反馈剔除

104、对分布填充层中采样保留的每个特征,计算其与对应最大关联原型向量的不一致性残差:

105、(18)

106、式中,为第i个局部特征的跨空间一致性残差。当分布填充层中某个特征的跨空间一致性残差大于预设阈值,则剔除该特征,其中,可取。

107、该步骤实现语义-几何联合自净化。

108、(5)最终记忆库与倒排关联索引

109、经过上述筛选后,最终记忆库为:,其中,为筛选剔除特征后的分布填充层。

110、为加速推理检索,基于跨空间一致性锚定矩阵建立倒排关联索引:对第k个原型向量,定义其对应的记忆库子集为:

111、(19)

112、对每个局部特征,找到余弦相似度最高的原型向量;若该原型向量编号为k,则将划入子集。每个局部特征有且仅属于一个原型子集。本质是建立“原型→对应局部特征集合” 的倒排关联索引:将记忆库中每一个局部嵌入向量,按照余弦相似度分配给与其关联度最高的那个原型向量,最终每个原型向量都会对应一个专属的局部特征子集。其中,为第k个原型向量对应的记忆库子集,为第i个归一化局部嵌入向量,为锚定矩阵a第i行第k'列的数值,代表第i个局部特征与第k'个原型向量之间的余弦相似度,数值越大关联越强。为全局原型向量总数量,为对第i个局部特征,遍历全部p个原型向量后,返回的与其余弦相似度最高的原型向量的编号。

113、每个记忆库子集归属于使其余弦相似度最大的原型向量。保存倒排关联索引。

114、5、根据局部分布特征计算kl散度分布对齐损失,基于局部分布特征和全局语义特征构建全局平均特征对齐损失;结合kl散度分布对齐损失、全局平均特征对齐损失和原型对比损失进行局部和全局空间的联合优化,并生成一致性先验基准。

115、利用跨空间一致性锚定矩阵以及原型向量集合,通过两个统计一致性约束(kl散度分布对齐与全局平均特征对齐)迫使局部分布特征空间与全局语义特征空间保持结构对齐,并最终输出一致性先验基准,供推理阶段的跨空间约束修正使用。

116、(1)输入数据包括跨空间一致性锚定矩阵

a、原型向量集合、第j个训练图像对应的局部嵌入图、第j个训练图像对应的归一化全局嵌入向量以及原型对比损失。

117、(2)kl散度分布对齐损失

118、kl散度分布对齐损失使每个局部嵌入向量在概率分布意义上与其最相关的原型向量保持一致,从而将全局语义信息逆向传递到局部特征的学习。

119、1)对每个局部嵌入向量,根据跨空间一致性锚定矩阵找到与其最相关的原型向量索引:

120、(20)

121、式中,为锚定矩阵元素,标量,范围为。为与局部嵌入向量最匹配的原型向量索引,整数。

122、2)引入两个可学习的线性映射矩阵和,其中为概率空间维度。将局部嵌入向量和对应的原型向量映射到维空间,并通过softmax转换为概率分布:

123、(21)

124、其中softmax运算定义为:

125、(22)

126、3)计算两个概率分布之间的kl散度:

127、(23)

128、其中

129、(24)

130、(3)全局平均特征对齐损失

131、为了确保双空间在全局统计特性上不产生系统性偏差,即整个局部嵌入图的平均特征应与全局嵌入向量数值接近。

132、1)对于第j个训练图像,计算其局部嵌入图的空间平均特征:

133、(25)

134、式中,为空间位置处的局部嵌入向量。

135、2)计算该平均特征与同一图像的全局嵌入向量之间的欧氏距离平方,并对所有训练图像取平均:

136、(26)

137、式中,为训练集总样本数。

138、(4)总体损失与训练策略

139、将上述两个一致性损失与原型对比损失加权求和,形成整个训练阶段的总损失函数:

140、(27)

141、式中,权重系数根据经验设置为,。

142、训练过程中,总损失通过反向传播同时更新以下参数:

143、结构感知特征编码器的卷积层参数,特征解耦采用的瓶颈投影器的参数,可学习的线性映射矩阵和,可学习原型向量集合(通过的梯度)。其中,跨空间一致性锚定矩阵本身不直接优化,而是通过和的更新间接改变。

144、(5)一致性先验基准的生成

145、在训练完成后(所有参数收敛且固定),使用全部正常样本(不包含任何异常)统计双空间响应差异的正常范围。一致性先验基准用于推理阶段的跨空间约束修正。

146、一致性先验基准的计算步骤如下:

147、1)对每个正常图像j,计算其局部分布距离:

148、(28)

149、式中,为正常图像j对应的语义相关激活记忆库子集,其生成逻辑与推理阶段完全一致(即原型向量前三匹配+倒排索引取对应子集并集)。为正常图像j的局部分布异常得分(未归一化),将线性归一化至[0,1]。为记忆库子集中的单个局部嵌入向量,为两个向量的余弦相似度,为正常图像j在空间位置处的归一化局部嵌入向量。

150、2)计算全局语义相似度”

151、(29)

152、式中,为正常图像j的全局语义相似度得分,为第k个归一化判别性原型向量,为训练完成后的判别性原型向量集合,为正常图像j的归一化全局嵌入向量。

153、3)定义不一致性度量:

154、(30)

155、式中,为正常图像j的跨空间不一致性度量值。当双空间一致时,局部分布距离小(接近0)且全局相似度大(接近1),此时接近0,故接近0;若出现矛盾(如局部距离大但全局相似度仍大),则显著大于0。

156、4)对所有正常样本计算的均值和标准差:

157、(31)

158、式中,为所有正常样本不一致性度量的均值,为所有正常样本不一致性度量的标准差,为训练集中纯正常样本的总数。

159、将作为一致性先验基准保存,供推理阶段使用。

160、推理阶段是本发明方法的实际应用阶段,其核心目标是利用训练阶段得到的固定模型参数,快速、准确地完成工业器件图像的缺陷检测与定位。与训练阶段不同,推理阶段不更新任何网络参数,所有模块(结构感知编码器、双空间解耦单元、层级化稀疏记忆库、判别性原型集合、跨空间一致性锚定矩阵及原型-记忆库倒排关联索引)均为训练收敛后的固定状态。推理阶段采用“双分支独立检测+证据学习动态融合+跨空间一致性约束修正”的技术路线。

161、推理阶段包括:

162、6、基于待测图像提取结构感知特征图,然后拆分为局部嵌入图和全局嵌入向量。

163、将待测图像输入结构感知特征编码器,得到结构感知特征图,随后拆分结构感知特征图,分别输出:

164、(1)局部嵌入图,其维度为,保留精细的空间位置信息。局部嵌入图每个空间位置上的归一化局部嵌入向量记为,局部嵌入向量用于刻画待测图像的局部分布特征,侧重表征缺陷的几何形态、边缘纹理与空间分布信息。

165、(2)全局嵌入向量,维度为,为压缩全局信息的单一向量,进行l2归一化得到,该向量用于刻画待测图像的全局语义特征,侧重表征缺陷的类别属性与整体上下文语义信息。

166、7、选取与归一化全局嵌入向量相似的多个原型向量,并利用训练阶段生成的倒排关联索引取出与原型向量对应的记忆库子集;计算局部嵌入图上每个空间位置的归一化局部嵌入向量与记忆库子集中每个记忆库条目向量之间的余弦距离,得到局部分布异常得分;计算归一化全局嵌入向量与所有原型向量之间的余弦相似度,得到全局语义异常得分。

167、传统记忆库检索方法需要遍历全部记忆库条目计算相似度,时间复杂度为(为记忆库总条目数)难以满足工业实时检测需求。本发明利用训练阶段建立的原型-记忆库倒排关联索引,实现局部分布特征的快速匹配。

168、(1)快速激活语义相关记忆库子集

169、将归一化全局嵌入向量与训练阶段获得的所有原型向量匹配,找到相似度最高的3个原型,通过倒排索引取出对应单原型记忆库子集,并合并为集合。

170、(2)计算分布距离得分

171、仅在激活的记忆库子集内,计算待测局部嵌入图上每个空间位置的归一化局部嵌入向量与激活记忆库子集中每个记忆库条目向量之间(记忆库条目向量是指训练阶段构建完成的稀疏记忆库中,每一个独立存储的、归一化的局部嵌入向量)的余弦距离,取最大值作为局部分布分支的异常得分:

172、(32)

173、(33)

174、式中,为局部嵌入图中空间位置处的像素级异常得分,为待测图像的图像级局部分布异常得分,为当前待测图像对应的语义相关激活记忆库子集,为激活记忆库子集中的单个归一化局部嵌入向量(激活子集中的记忆库条目向量(局部嵌入向量)均为训练阶段构建并保存的向量。),为两个归一化向量的余弦相似度函数取值范围为[-1,1];为待测图像的局部嵌入图中空间位置处的归一化局部嵌入向量,分别为局部嵌入图的高度和宽度。

175、(3)将归一化全局嵌入向量与所有判别性原型向量计算余弦相似度,取最大值作为正常模式匹配度,进而转换为全局语义异常得分::

176、(34)

177、式中,为图像级全局语义异常得分,范围[0,2],值越大表示语义偏离正常模式越严重,为训练完成的判别性原型向量集合,为第个归一化原型向量,为待测图像的归一化全局嵌入向量。

178、8、基于证据学习理论量化全局和局部分支的认知不确定性,根据不确定性自适应加权融合局部分布异常得分和全局语义异常得分。

179、不同类型的缺陷对全局、局部分支的依赖程度不同:对于形态特征明显的缺陷(如裂纹、划痕),局部分布分支更可靠;对于语义特征明显的缺陷(如变色、锈蚀),全局语义分支更可靠。固定权重的融合方式无法适应这种差异,本发明引入证据学习理论量化两个分支输出的认知不确定性,根据不确定性自适应生成动态融合权重,实现可靠分支主导的加权融合。

180、(1)证据转换与不确定性量化

181、将两个分支的异常得分转换为证据质量函数,并计算各自的认知不确定性:

182、(35)

183、(36)

184、(37)

185、(38)

186、式中,和分别为局部分布分支和全局语义分支的证据值,和分别为局部分布分支和全局语义分支的认知不确定性,不确定性越低表示该分支的结果越可靠。为局部分布分支的证据置信度,反映局部分支对当前检测结论的支持程度。为局部分布分支的认知不确定度,表征局部分支输出结果的不可靠程度,数值越小表示局部分支的检测结果可信度越高。为全局语义分支的证据置信度,反映全局语义分支对当前检测结论的支持程度。为全局语义分支的认知不确定度。表征全局语义分支输出结果的不可靠程度,数值越小表示全局语义分支的检测结果可信度越高。

187、(2)生成动态融合权重

188、根据两个分支的不确定性,自适应计算融合权重:

189、(39)

190、(40)

191、不确定性越低(证据值越高)的分支,获得的融合权重越高。和为动态融合权重。

192、(3)初步加权融合

193、利用动态融合权重对两个分支的异常得分进行融合,得到初步融合得分:

194、(41)

195、式中,为初步融合异常得分。

196、9、利用跨空间一致性锚定矩阵计算一致性残差,根据一致性残差对加权融合得分进行修正。

197、即使两个分支都给出了较高的异常得分,也可能是光照变化、灰尘等噪声干扰导致的误检。真实缺陷的形态特征与语义特征必然符合训练阶段学习到的跨空间一致性先验,而噪声通常会导致双空间特征不一致。因此,通过计算一致性残差对初步融合得分进行约束修正。

198、(1)计算一致性残差

199、调用训练阶段优化的跨空间一致性锚定矩阵,计算当前待测图像的一致性残差:

200、(42)

201、(43)

202、式中,为跨空间一致性锚定矩阵。为待测图像所有局部位置的分布匹配度向量,通过计算局部嵌入图上每个空间位置的局部嵌入向量与所有原型向量的余弦相似度,并汇总得到。为预测的理论语义匹配度向量,为一致性残差,残差越大表示双空间特征的匹配度越低,越可能为噪声。为实际观测的全局语义匹配度向量。为p维列向量,其第k个元素为待测全局嵌入向量与第k个原型向量的余弦相似度(因向量已归一化,等价于向量内积):

203、(44)

204、其中k=1,2,…p,将所有原型对应的相似度值按顺序组合,即得到实际观测的全局语义匹配度向量,如下式所示。

205、(45)

206、向量中每个元素的取值范围为[-1,1],数值越大表示全局语义与对应原型的匹配程度越高。

207、(2)跨空间约束修正

208、设计指数型修正函数对初步融合得分进行修正:

209、(46)

210、式中,为修正强度超参数,为最终统一异常评分。

211、修正效果:当残差时,修正系数趋近于1,真实缺陷的得分基本保留;当残差增大时,修正系数快速减小,噪声样本的得分被显著抑制。

212、10、基于局部嵌入图中空间位置处的像素级异常得分,通过双线性插值上采样将异常得分图还原至输入待测图像尺寸;随后,对于上采样至输入待测图像尺寸的异常得分图中每个像素点的上采样得分进行修正。

213、(1)计算局部嵌入图上每个像素点的局部异常得分

214、基于局部嵌入图上的每一个空间位置计算的像素级异常得分,将其直接表征为该局部区域属于缺陷的概率:

215、(45)

216、(2)双线性插值上采样

217、由于局部嵌入图的尺寸为原始图像的1/4,需要通过双线性插值将低分辨率的像素级异常得分图还原至原始图像尺寸:

218、(46)

219、式中,为局部嵌入图中空间位置处的像素级异常得分;为双线性插值上采样函数;为上采样至原始图像尺寸的异常得分图。

220、随后对每个像素点的上采样得分进行修正:

221、(47)

222、(48)

223、(49)

224、其中,为跨空间一致性锚定矩阵,为空间位置处的理论语义匹配度向量,为空间位置处的局部分布匹配度向量,为修正后空间位置处的最终异常得分,为修正强度超参数,为空间位置处的像素级跨空间一致性残差。为原始图像分辨率下,空间位置处,经双线性插值上采样后的像素级局部分布异常得分。

225、本发明第二方面提供了一种用于实现第一方面所述方法的工业器件弱监督缺陷检测系统,该系统包括结构感知特征编码器模块、特征解耦模块、锚定引导的层级化稀疏记忆库模块、可学习原型对比学习模块、双空间联合优化模块、全局分支原型匹配模块、局部分支加速匹配模块、证据学习动态融合模块、跨空间一致性约束修正模块、缺陷感知区域映射模块。

226、ⅰ、结构感知特征编码器模块

227、用于从输入图像中提取具有几何适应性和多尺度上下文的结构感知特征图。该模块利用可变形卷积预测每个采样点的空间偏移量,使感受野能够灵活匹配缺陷的不规则形变;随后,将这些偏移量作为条件信号输入注意力权重生成器,动态调节不同扩张率的空洞卷积分支的响应权重,从而引导网络自动聚焦于缺陷区域并扩展有效感受野。最终输出的特征表示既保留了局部细节的几何结构,又融合了周围环境的多尺度信息。

228、ⅱ、特征解耦模块

229、该模块将结构感知特征图映射到一个紧凑的嵌入空间,并通过解耦机制将其拆分为两个互补的表示:局部分布特征与全局语义特征。局部分布特征侧重于刻画图像中局部纹理、边缘以及细粒度结构的变化规律,适用于异常区域的精细对比;全局语义特征则关注整体对象的类别信息和全局上下文,用于判别当前样本是否偏离正常的语义模式。

230、ⅲ、锚定引导的层级化稀疏记忆库模块

231、锚定引导的层级化稀疏记忆库模块设置在局部分支,用于在训练阶段构建和维护一个高质量、低冗余的记忆库。该模块借助跨空间一致性锚定矩阵作为结构性先验,将记忆库条目按照与原型向量的关联强度划分为强制保留的“锚定核心层”和待稀疏化的“分布填充层”。对于分布填充层条目,采用核密度估计对空间梯度累积曲线进行建模,自适应确定最优采样率,并结合一致性残差反馈机制剔除跨空间不一致的高残差样本。最终实现记忆库的语义-几何联合稀疏化与自净化,同时建立从原型向量到记忆库子集的倒排关联索引,大幅提升推理阶段的检索效率。

232、其中,结构感知特征编码器模块、特征解耦模块、锚定引导的层级化稀疏记忆库模块均使用正常样本来训练。

233、ⅳ、可学习原型对比学习模块

234、该模块设置在全局分支,用于在训练阶段生成一组具有强判别能力的原型向量集合。该模块接收全局语义特征作为输入,通过类别级的对比学习策略,拉近同一类别(或同种正常模式)样本特征与对应原型的距离,同时推远不同类别或异常样本的特征。原型向量经过端到端优化后,能够高度概括正常器件的典型语义模式,从而在推理时作为可靠的参考基准,用于计算输入样本的语义相似度得分。

235、ⅴ、双空间联合优化模块

236、双空间联合优化模块是训练阶段实现双空间一致性的核心。该模块接收局部分支的锚定矩阵与全局分支的原型向量集合,以两者对应特征分布的kl散度最小化为直接优化目标。在训练过程中,该模块不仅促使局部分布特征与全局语义特征保持统计上的对齐,而且将一致性先验反向传播到记忆库更新和原型学习过程中,使两个分支在各自独立优化的同时,始终受到对方空间信息的引导与约束。这种联合优化有效避免了双空间表示的语义漂移,为推理阶段的跨空间修正提供了稳定可靠的锚定矩阵。

237、其中,可学习原型对比学习模块、双空间联合优化模块需要正常样本和异常样本(仅图像级标签)来训练。

238、ⅵ、全局分支原型匹配模块

239、全局分支原型匹配模块利用训练阶段学习得到的判别性原型向量集合(每个原型代表一类正常器件的典型全局语义模式),对输入图像的全局语义特征进行匹配。该模块首先计算全局嵌入向量与所有原型向量的余弦相似度,取最大相似度作为全局语义异常得分。该得分反映了图像在语义层面偏离正常模式的程度——当图像包含全局性的异常时,全局匹配相似度低,异常得分高;反之则得分低。该模块为后续融合提供了从整体语义视角的异常判断依据。

240、ⅶ、局部分支加速匹配模块

241、局部分支加速匹配模块负责在局部分布特征空间中高效计算待测图像的局部异常得分。该模块利用训练阶段预先构建的原型-记忆库倒排关联索引:首先将待测图像的全局语义特征与原型向量快速匹配,激活最相关的少数几个原型向量,然后通过倒排索引直接定位到这些原型向量对应的记忆库子集,从而避免对整个记忆库的线性扫描。在激活子集内,计算每个局部嵌入向量与子集中所有条目的余弦距离,取最大距离作为局部嵌入向量对应位置的局部异常得分,最终汇总得到图像级局部分布异常得分。该模块在保证检测精度的同时大幅降低了检索时间复杂度,满足工业实时性要求。

242、ⅷ、证据学习动态融合模块

243、证据学习动态融合模块基于证据学习理论,对全局分支和局部分支输出的异常得分进行自适应加权融合。该模块首先将两个分支的异常得分转换为证据质量参数,并据此量化各分支输出的认知不确定性——不确定性越低表示该分支当前结果越可信。然后动态计算两个分支的融合权重,使可信度高的分支获得更大的权重。最终通过加权求和得到初步融合得分。这种动态融合机制能够应对不同类型缺陷对不同特征空间的依赖差异(例如形态缺陷依赖局部分支、语义缺陷依赖全局分支),显著提升融合结果的鲁棒性和适应性。

244、ⅸ、跨空间一致性约束修正模块

245、该模块对上述加权融合得到的异常评分进行精细化修正,其直接调用训练阶段优化的跨空间一致性锚定矩阵,计算当前待测图像局部分布特征与全局语义特征之间的一致性残差。如果残差较大,说明双空间存在冲突,需要抑制可能由噪声或混淆区域引起的虚假响应;反之则强化真实缺陷响应。通过这种基于统计先验的约束修正,模块显著降低了误报并提升了缺陷区域的响应对比度,输出更加纯净、准确的统一异常评分。

246、ⅹ、缺陷感知区域映射模块

247、缺陷感知区域映射模块将修正后的统一异常评分转化为直观的缺陷定位结果。该模块首先将评分图通过双线性插值上采样至原始输入图像的分辨率,并利用训练阶段优化的跨空间一致性锚定矩阵,对每个像素点的异常响应进行逐像素的一致性残差修正与置信度校准。最终生成像素级的异常热力图或二值掩膜,清晰标出每个缺陷的位置、形状与置信度,实现了从图像级异常检测到像素级缺陷定位的完整输出。

248、本发明的有益效果在于:

249、(1)本发明采用弱监督学习范式,训练阶段仅需少量图像级异常标签(无需像素级精细标注),以大量正常样本为基础,大幅减少了人工标注工作量与时间成本,使发明能够较好的适配于标注资源受限的工业现场。

250、(2)本发明通过构建结构感知特征编码器,引入可变形卷积自适应预测空间采样偏移,使感受野能够灵活匹配缺陷的几何形变;同时利用偏移量驱动的跨尺度注意力门控机制,融合多分支空洞卷积输出的不同感受野特征,使编码器能够同时捕获微观纹理异常与宏观结构偏差,增强了对复合型缺陷的判别力。

251、(3)本发明引入可学习的跨空间一致性锚定矩阵,将局部分布特征与全局原型向量之间的统计关联显式建模,并以kl散度最小化为约束进行联合优化,使两个特征空间在训练过程中保持结构一致,形成训练阶段的一致性先验基准。推理时利用该先验基准对异常评分进行约束修正,有效抑制了因光照变化、灰尘等噪声引起的虚假响应,同时强化了真实缺陷区域的响应对比度,降低误报率与漏报率。

252、(4)本发明借助锚定矩阵将记忆库条目分层为强制保留的“锚定核心层”与可稀疏化的“分布填充层”,通过核密度估计自适应确定最优采样率,并结合一致性残差反馈剔除跨空间不一致的冗余条目,实现记忆库的语义几何联合稀疏化与自净化;同时建立原型向量到记忆库子集的倒排关联索引,推理时仅激活相关子集进行检索,将时间复杂度从线性扫描降至常数级,满足工业产线实时检测需求。

253、(5)本发明基于证据理论量化局部分支与全局分支的认知不确定性,并根据不确定性自适应生成融合权重,使可信度高的分支主导最终判定。该机制能够灵活应对形态依赖型缺陷与语义依赖型缺陷的差异,避免了固定权重融合带来的性能瓶颈,增强了方法在复杂工业场景下的适应性与稳定性。

254、(6)本发明通过将修正后的异常得分图上采样还原至原始图像分辨率,生成清晰的热力图或二值掩膜,可标定缺陷的位置、形状与置信度,为后续工艺改进或设备维护提供可靠的技术支撑。

255、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。