基于图像增强的机械零部件特征提取处理方法与流程

摘要: 本发明涉及图像处理与零部件特征提取,具体为基于图像增强的机械零部件特征提取处理方法。背景技术:1、机械零部件多为金属材质,其表面在可见光谱段具有较高的反射率,物...
基于图像增强的机械零部件特征提取处理方法与流程

本发明涉及图像处理与零部件特征提取,具体为基于图像增强的机械零部件特征提取处理方法。

背景技术:

1、机械零部件多为金属材质,其表面在可见光谱段具有较高的反射率,物体表面反射光可分解为漫反射分量与镜面反射分量:漫反射分量源于表面微观粗糙结构对入射光的多次散射,其强度分布与物体微观几何形貌直接相关,是真实特征信息的载体;

2、镜面反射分量则源于表面局部区域相对光源和相机形成的镜面反射角条件,在图像上表现为强度饱和、边界锐利的高光斑块,属于纯干扰信息,在工业在线视觉检测中,机加工零部件表面还普遍存在周期性刀纹背景,该背景与真实的微小缺陷特征在空间频率上高度重叠;

3、与本发明最接近的现有技术方案为图像预处理模块与深度学习特征提取网络级联的处理方案,其典型实现步骤为:通过普通工业相机采集零部件表面图像;

4、采用限制对比度自适应直方图均衡或类似算法对图像进行灰度域增强,抑制高光区域的饱和亮度;

5、采用快速傅里叶变换或形态学滤波方法对增强后的图像进行频域或结构域滤波,抑制周期性刀纹背景的干扰;

6、将处理后的图像输入预先训练好的卷积神经网络,输出零部件表面缺陷或特征的位置、类别及尺寸信息,上述方案表现为灰度域软件滤波前处理层与通用深度学习后处理层的简单拼接,各处理环节之间未建立基于物理成像机理的定量关联模型,未从光学偏振物理特性与图像高维拓扑几何结构层面对干扰信息与真实特征进行严格的数学解耦,因此存在难以兼顾光斑抑制与特征保真、频域滤波产生振铃效应、深度学习网络产生特征幻觉等问题。

技术实现思路

1、本发明要解决的技术问题是:在高反光复杂曲面金属机械零部件的工业在线视觉检测中,如何在同一图像处理流程中,既彻底剥离强镜面反射光斑对真实微观特征的覆盖干扰,又避免机加工周期性刀纹与微小缺陷在频域上的相互耦合导致的特征模糊或位置偏移,同时抑制深度学习网络在信息缺失区域产生的特征幻觉现象,从而实现对零部件真实物理特征的亚像素级、高保真提取。

2、现有技术存在以下缺陷:

3、其一,镜面反射光斑与真实微小特征在普通灰度图像中均表现为局部高频突变信号,现有灰度域增强方法未引入能够区分光反射类型的额外物理信息维度,在抑制光斑时必然同时削弱甚至抹除被光斑覆盖区域下方的真实特征信息;

4、其二,机加工刀纹与微裂纹、细小边缘特征在空间频率分布上高度重叠,传统频域滤波仅能在频率维度上进行区分,无论采用低通滤除刀纹还是高通提取特征,均会因频率重叠而产生振铃效应,导致真实特征的边缘发生模糊、位移;

5、其三,现有深度学习网络的训练目标仅为像素级或区域级的分类与回归损失,未对网络输出特征与原始物理成像信息之间的几何拓扑一致性施加约束,在信息严重缺失的区域会依赖训练数据中的统计先验凭空生成特征结构,产生不可控的幻觉性误判。

6、针对上述缺陷,本发明提供一种基于图像增强的机械零部件特征提取处理方法,包括:控制微偏振阵列工业相机对被测机械零部件表面同步曝光,获取0度、45度、90度、135度四个偏振方向的光强图像;

7、根据所述四个偏振方向的光强图像计算每个像素点的斯托克斯参数s0、s1和s2;

8、根据所述斯托克斯参数计算每个像素点的线偏振度和偏振角;

9、根据参考偏振度分布图与所述线偏振度的比值估计每个像素点的镜面反射系数,并根据所述镜面反射系数将总光强分离为镜面反射分量图和漫反射分量图;

10、对所述漫反射分量图中的每个像素点进行偏振角局部梯度一致性校验,根据校验结果修正所述镜面反射系数并重新计算漫反射分量图,得到修正后的漫反射图像;

11、将所述修正后的漫反射图像划分为若干局部图像块,提取每个图像块的灰度均值、灰度方差以及局部梯度方向直方图,构成每个图像块对应的特征向量;

12、根据所述特征向量集合构建k近邻图,并在所述k近邻图上计算任意两个图像块之间的测地距离;

13、针对每个图像块,根据其与相邻图像块测地距离的局部方差计算周期性权重,将所述周期性权重插值恢复至原图分辨率,得到像素级周期性权重图;

14、根据所述像素级周期性权重图构建各向异性偏微分方程并进行迭代求解,对所述修正后的漫反射图像进行差异化平滑与锐化处理,得到增强图像;

15、将所述增强图像输入预先训练完成的轻量化卷积骨干网络,通过骨干网络级联的特征输出头输出机械零部件表面特征的坐标热力图和类别置信度图;

16、对所述坐标热力图进行亚像素级峰值定位,得到机械零部件表面特征的坐标、类别和尺寸信息。

17、采用上述技术方案,与现有技术相比,本发明的有益效果在于:

18、1.本发明通过斯托克斯参数解算与参考偏振度分布图相结合,从光学物理成像机理层面直接区分镜面反射与漫反射两类反射光成分,并借助偏振角局部梯度一致性校验修正误判像素,实现光斑干扰层与真实特征层的无损物理分离,避免因抑制光斑而误伤真实特征;

19、2.本发明通过图像块高维特征向量的流形嵌入与测地距离局部方差计算,在高维拓扑结构层面而非单一频率维度上区分周期性刀纹与非周期性微缺陷,并据此构建正向扩散与反向扩散相结合的各向异性偏微分方程,在抑制刀纹背景的同时对微缺陷进行梯度定向放大,避免频域滤波产生的振铃效应导致边缘位置偏移;

20、3.本发明通过在网络训练阶段引入基于强边缘掩码约束的梯度场方向一致性拓扑损失项,约束网络输出特征的拓扑结构不发生畸变,从根本上抑制深度学习网络在信息缺失区域的特征幻觉现象,使提取的特征坐标具备亚像素级的物理保真度;

21、4.本发明由于前置的偏振解耦与流形增强处理基于光学物理规律与数学流形特性而非统计学习获得,因此本方法对不同光照条件、不同金属材质及深孔、内螺纹等非均匀光照场景具备较强的泛化能力,无需依赖大规模标注数据即可实现高精度特征提取。

1.一种基于图像增强的机械零部件特征提取处理方法,其特征在于,包括:控制微偏振阵列工业相机对被测机械零部件表面同步曝光,获取0度、45度、90度、135度四个偏振方向的光强图像;

2.根据权利要求1所述的方法,其特征在于,所述对所述漫反射分量图中的每个像素点进行偏振角局部梯度一致性校验,根据校验结果修正所述镜面反射系数并重新计算漫反射分量图的步骤包括:计算所述偏振角在预设邻域内的方向一致性指标;

3.根据权利要求1所述的方法,其特征在于,所述参考偏振度分布图通过标定实验预先获取:针对被测机械零部件的材质和曲面几何条件,在不同入射角条件下测量纯镜面反射对应的理论线偏振度数值,构建并存储所述参考偏振度分布图。

4.根据权利要求1所述的方法,其特征在于,所述各向异性偏微分方程包括依据图像梯度幅值确定的边缘停止函数和大于1的梯度放大增益系数;

5.根据权利要求1所述的方法,其特征在于,所述轻量化卷积骨干网络由若干层深度可分离卷积单元与批归一化单元、激活单元级联构成;

6.根据权利要求1所述的方法,其特征在于,还包括对所述轻量化卷积骨干网络进行训练的步骤:分别计算所述增强图像与所述坐标热力图在对应像素位置的梯度场;

7.根据权利要求6所述的方法,其特征在于,所述拓扑一致性约束损失通过下述公式计算:

8.一种基于图像增强的机械零部件特征提取处理系统,其特征在于,包括:硬件采集层,包括微偏振阵列工业相机,用于对被测机械零部件表面同步采集0度、45度、90度、135度四个方向的偏振光强图像;

9.根据权利要求8所述的系统,其特征在于,所述偏振物理层解耦模块包括斯托克斯参数解算单元、线偏振度和偏振角计算单元、参考偏振度标定单元、镜面反射系数估计单元、镜面反射分量剥离单元和偏振角一致性校验单元;

10.根据权利要求8所述的系统,其特征在于,所述各向异性流形解耦增强模块包括图像块划分单元、高维特征向量构建单元、k近邻图构建单元、测地距离计算单元、周期性指标计算单元和各向异性偏微分方程迭代求解单元;