基于机器视觉检测模型的产品检测方法、装置及设备与流程

摘要: 本发明涉及产品检测,具体涉及一种基于机器视觉检测模型的产品检测方法、装置及设备。背景技术:1、在工业自动化与智能制造浪潮的推动下,机器视觉技术已深度融入现代工业...
基于机器视觉检测模型的产品检测方法、装置及设备与流程

本发明涉及产品检测,具体涉及一种基于机器视觉检测模型的产品检测方法、装置及设备。

背景技术:

1、在工业自动化与智能制造浪潮的推动下,机器视觉技术已深度融入现代工业生产的各个环节,成为保障产品质量、提升生产效率的核心手段。特别是在表面缺陷检测领域,机器视觉系统旨在替代传统的人工肉眼检查,实现对产品表面划痕、脏污、凹陷、异色等微观缺陷的自动化识别与定位。然而,随着制造业向高精度、高复杂度方向发展,缺陷检测任务面临着前所未有的挑战。传统的基于数字图像处理的机器视觉算法,如阈值分割、边缘检测、差分及模板匹配等,虽然在特定场景下表现稳定,但其高度依赖于工程师针对特定缺陷手工设计的特征(hand-crafted features)。这些算法泛化能力较弱,当产品纹理复杂、背景多变或缺陷形态未知时,往往难以建立鲁棒的检测模型。

技术实现思路

1、本发明提供了一种基于机器视觉检测模型的产品检测方法、装置及设备, 可以在仅依赖正常样本训练,实现能精确、高效、鲁棒地分割未知缺陷区域。

2、第一方面,提供了一种基于机器视觉检测模型的产品检测方法,所述机器视觉检测模型包括:依次连接的特征编码器、动态记忆增强模块、特征解码器以及异常图生成器,其中,所述动态记忆增强模块包括由机器学习得到的记忆矩阵;所述方法包括:通过所述特征编码器,在待检产品的原始图像中提取包含高维语义特征的基础特征图;其中,所述基础特征图的分辨率小于所述原始图像的分辨率;在所述动态记忆增强模块,根据所述动态记忆增强模块对所述基础特征图进行重构,得到重构特征图;通过所述特征解码器,将所述重构特征图转换为密集对比特征图,其中,所述密集对比特征图的空间尺寸等于所述原始图像的空间尺寸,且所述密集对比特征图包括所述高维语义特征;在所述异常图生成器,计算所述密集对比特征图中的每个像素位置的特征与原型特征之间的距离,并计算结果生成异常概率图,所述原型特征是通过训练得到的;其中,所述异常概率图用于识别所述待检产品的表面缺陷。

3、在一些实施例中,所述原始图像表示为i∈rh×w×3,其中,h为高,w为宽,3为rgb通道;所述通过所述特征编码器,在待检产品的原始图像中提取包含高维语义特征的基础特征图,包括:对所述原始图像i∈rh×w×3进行下采样,得到由f∈rh×w×c表示的所述基础特征图,其中,h=h/2d, w=w/2d,d为下采样倍数,c为特征通道数。

4、在一些实施例中,所述基础特征图表示为f∈rh×w×c,所述记忆矩阵表示为m∈rk×c,k为大于1的正整数;在所述动态记忆增强模块,根据所述动态记忆增强模块对所述基础特征图进行重构,得到重构特征图,包括:计算所述基础特征图f∈rh×w×c中的特征向量fi和所述记忆矩阵中的各个m∈rk×c中的每个记忆槽mk之间的相似度;其中,所述特征向量fi是所述基础特征图f∈rh×w×c中的任意特征向量;通过softmax函数对所述特征向量fi和所述记忆矩阵中的各个m∈rk×c中的每个记忆槽mk之间的相似度进行计算,得到所述特征向量fi的寻址权重向量wi∈rk;将所述特征向量fi的寻址权重向量wi∈rk和所述特征向量fi对应的记忆槽进行加权组合,得到所述特征向量fi对应的重构特征向量f'i;所述特征向量fi对应的记忆槽是所述记忆矩阵与所述特征向量fi的相似度最大的至少一个记忆槽;其中,所述基础特征图f∈rh×w×c中的各个特征向量对应重构特征向量组成了所述重构特征图。

5、在该实施例的一个示例中,所述softmax函数包括温度参数τ,其中,通过控制所述参数τ的取值,使得的softmax函数的输出近于one-hot向量,以实现硬注意力机制。

6、在一些实施例中,所述方法还包括:在所述机器视觉检测模型的训练过程中,计算多个正常产品的图像在所述特征解码器输出的特征图上的全局平均池化,得到所述原型特征。

7、在一些实施例中,所述特征编码器为一系列由卷积层、批归一化层和非线性激活函数构成的堆叠模块;所述特征解码器的结构与所述特征编码器的结构对称。

8、第二方面,提供了一种基于机器视觉检测模型的产品检测装置,所述机器视觉检测模型包括:依次连接的特征编码器、动态记忆增强模块、特征解码器以及异常图生成器,其中,所述动态记忆增强模块包括由机器学习得到的记忆矩阵;所述装置包括:提取单元,用于通过所述特征编码器,在待检产品的原始图像中提取包含高维语义特征的基础特征图;其中,所述基础特征图的分辨率小于所述原始图像的分辨率;重构单元,用于在所述动态记忆增强模块,根据所述动态记忆增强模块对所述基础特征图进行重构,得到重构特征图;转换单元,用于通过所述特征解码器,将所述重构特征图转换为密集对比特征图,其中,所述密集对比特征图的空间尺寸等于所述原始图像的空间尺寸,且所述密集对比特征图包括所述高维语义特征;生成单元,用于在所述异常图生成器,计算所述密集对比特征图中的每个像素位置的特征与原型特征之间的距离,并计算结果生成异常概率图,所述原型特征是通过训练得到的;其中,所述异常概率图用于识别所述待检产品的表面缺陷。

9、第三方面,提供了一种计算设备,包括存储器和处理器;所述存储器存储有计算指令;所述处理器执行所述计算指令,使得所述计算设备执行第一方面提供的方法。

10、第四方面,提供了一种计算机可读存储介质,包括计算机程序指令,当所述计算机程序指令由计算设备执行时,所述计算设备执行第一方面提供的方法。

11、第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现第一方面提供的方法。

12、本发明提供方案不仅消除了对外部存储和检索的依赖,提高了推理效率,同时通过端到端的训练,让特征提取网络与记忆模块协同优化,使特征表达更加贴合当前特定的纹理数据,彻底解决了域偏差问题。进一步地,通过在潜在特征空间而非像素空间施加约束,本发明避免了重建图像的模糊化问题,使得缺陷定位更清晰、更精准。

1.一种基于机器视觉检测模型的产品检测方法,其特征在于,所述机器视觉检测模型包括:依次连接的特征编码器、动态记忆增强模块、特征解码器以及异常图生成器,其中,所述动态记忆增强模块包括由机器学习得到的记忆矩阵;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,

3.根据权利要求1或2所述的方法,其特征在于,所述基础特征图表示为f∈rh×w×c,所述记忆矩阵表示为m∈rk×c,k为大于1的正整数;在所述动态记忆增强模块,根据所述动态记忆增强模块对所述基础特征图进行重构,得到重构特征图,包括:

4.根据权利要求3所述的方法,其特征在于,所述softmax函数包括温度参数τ,其中,通过控制所述参数τ的取值,使得的softmax函数的输出近于one-hot向量,以实现硬注意力机制。

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:在所述机器视觉检测模型的训练过程中,计算多个正常产品的图像在所述特征解码器输出的特征图上的全局平均池化,得到所述原型特征。

6.根据权利要求1所述的方法,其特征在于,所述特征编码器为一系列由卷积层、批归一化层和非线性激活函数构成的堆叠模块;所述特征解码器的结构与所述特征编码器的结构对称。

7.一种基于机器视觉检测模型的产品检测装置,其特征在于,所述机器视觉检测模型包括:依次连接的特征编码器、动态记忆增强模块、特征解码器以及异常图生成器,其中,所述动态记忆增强模块包括由机器学习得到的记忆矩阵;所述装置包括:

8.一种计算设备,其特征在于,包括存储器和处理器;

9.一种计算机可读存储介质,其特征在于,包括计算机程序指令,当所述计算机程序指令由计算设备执行时,所述计算设备执行权利要求1-6中任一项所述的方法。

10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。