基于图像处理的机械零件表面缺陷检测方法与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于图像处理的机械零件表面缺陷检测方法。


背景技术：

2.在机械零件生产加工的过程中，由于生产设备故障、原材料混入杂物以及作业人员操作不当等原因均会在机械零件的表面产生缺陷。缺陷对机械零件的安全使用有很大的影响，为了保障机械零件自动化生产的产品质量以及使用时安全和寿命，对机械零件的表面进行缺陷检测是不可缺少的关键环节。
3.传统的自动化检测方法多基于机器视觉的技术，采集零件表面图像，进行相应图像处理进行表面缺陷提取。但缺陷情况往往受到光照等环境影响，仅仅通过图像信息很难全面分析表面缺陷，甚至有时根本采集不到缺陷信息，误报率和漏检率比较高。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种基于图像处理的机械零件表面缺陷检测方法，所采用的技术方案具体如下：本发明实施例提供一种基于图像处理的机械零件表面缺陷检测方法，该方法包括以下步骤：采集竖直照射的标准光源下机械零件的表面图像，通过对所述表面图像进行语义分割得到以每个像素点属于缺陷的置信度作为像素值的分割图像，获取初步的缺陷检测结果；根据所述置信度的大小筛选出所述分割图像中所述缺陷检测结果不准确的待检测区域，对所述待检测区域进行连通域提取并对提取的连通域进行聚类，得到多个待检测区域集合；对于每个所述待检测区域集合，移动所述光源，采集第二表面图像，获取所述待检测区域集合在所述第二表面图像中的的特征信息；根据所述特征信息得到缺陷显著性最大时对应的最佳光源；所述特征信息包括亮度特征的变化、图像综合特征的变化以及复杂度；获取每个所述待检测区域集合在对应的所述最佳光源下的最佳图像，将所有所述最佳图像对应像素值相加组成融合图像，对所述融合图像进行所述语义分割，得到第二分割图像，取所述分割图像和所述第二分割图像对应像素点的最大值组成检测结果图像，得到检测结果。
5.优选的，所述语义分割还包括以下步骤：获取所述表面图像中每个像素点邻域内的灰度共生矩阵，计算所述灰度共生矩阵的信息熵，根据所述信息熵构建语义分割网络的损失函数。
6.优选的，所述置信度的获取方法为：通过语义分割网络对所述表面图像中每个像素点进行二分类，得到每个像素点属
于缺陷的置信度。
7.优选的，其特征在于，所述待检测区域的筛选方法为：当所述置信度大于最小阈值且小于最大阈值时，所述置信度对应的像素点的检测结果不准确，将其像素值置为1，其余置为0，得到所述待检测区域。
8.优选的，所述待检测区域集合的获取步骤包括：获取每个所述连通域的最小外接矩形，由所述最小外接矩形的方向和中心点坐标组成对应的连通域的特征向量；根据所述特征向量对所有所述连通域进行距离聚类，得到聚类结果，每一类对应一个待检测区域集合。
9.优选的，所述亮度特征的变化的获取方法为：将所述表面图像和所述第二表面图像分别转换至带有亮度的颜色空间，根据亮度通道得到光源变化前后的亮度特征图像，将其对应像素点的像素值相减，得到每个位置的亮度特征的变化。
10.优选的，所述图像综合特征的变化的获取步骤包括：根据所述灰度共生矩阵获取每个位置的对比度；获取所述第二表面图像中每个像素点邻域内的的第二灰度共生矩阵，并获取每个位置的第二对比度；将所述第二对比度与所述对比度相减，获得每个位置的所述图像综合特征的变化。
11.优选的，所述复杂度的获取方法为：计算所述第二灰度共生矩阵每个像素点的第二信息熵，以所述第二信息熵作为所述复杂度。
12.优选的，所述亮度特征图像的获取方法为：通过不同位置参数的光源下的理想亮度特征训练神经网络，利用训练完成的神经网络根据当前光源的位置参数获取所述亮度特征图像。
13.本发明实施例至少具有如下有益效果：通过对检测结果不准确的待检测区域调节光源，得到缺陷最显著时的最佳光源，在处于最佳光源时对其进行二次检测，得到检测结果。本发明实施例能够根据不同的缺陷缺陷自适应的调节光源参数，增强缺陷特征，降低像素点邻域内的信息熵，以得到准确的缺陷检测结果。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
15.图1为本发明一个实施例提供的一种基于图像处理的机械零件表面缺陷检测方法的步骤流程图。
具体实施方式
16.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图像处理的机械零件表面缺陷检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
17.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
18.下面结合附图具体的说明本发明所提供的一种基于图像处理的机械零件表面缺陷检测方法的具体方案。
19.请参阅图1，其示出了本发明一个实施例提供的一种基于图像处理的机械零件表面缺陷检测方法的步骤流程图，该方法包括以下步骤：步骤s001，采集竖直照射的标准光源下机械零件的表面图像，通过对表面图像进行语义分割得到以每个像素点属于缺陷的置信度作为像素值的分割图像，获取初步的缺陷检测结果。
20.需要说明的是本发明实施例所使用的光源为光强恒定、位姿可随意变化的可移动光源；光源的位姿用在空间中的偏航角、俯仰角以及翻滚角表示，即光源的位置参数为，当该光源竖直向下照射机械零件时为标准光源；机械零件可以是齿轮、轴承等等。
21.具体的步骤包括：1.获取表面图像中每个像素点邻域内的灰度共生矩阵，计算灰度共生矩阵的信息熵，根据信息熵构建语义分割网络的损失函数。
22.采集标准光源下机械零件表面的rgb图像，考虑到机械零件表面以及外界环境的复杂性会影响机械零件表面缺陷检测的准确性，对rgb图像中每一个像素点邻域范围内的复杂度进行量化，用于语义分割网络损失函数的构建。
23.本发明实施例用邻域范围内的信息熵反映复杂度：设置每一个像素点的邻域范围为的窗口，利用灰度共生矩阵获得每个像素点邻域范围内的熵值，记像素点邻域范围内的熵值为，由每一个像素点的信息熵，组成信息熵图像。
24.作为一个示例，在本发明实施例中取值为5。
25.需要说明的是，信息熵图像与原始rgb图像大小相同。
26.每个像素点的熵值反映了图像灰度分布的复杂程度，熵值越大，图像越复杂，对于表面缺陷检测而言得到准确的分割结果就越困难。
27.本发明实施例中语义分割网络的训练集为采集到的机械零件表面图像；标签数据集为人为对训练图像进行标注获得的，标注过程为：将缺陷区域的像素值置为1，其他区域的像素值置为0。根据信息熵设计的损失函数如下：
其中，为图像的尺寸信息，为rgb图像对应的信息熵图像中位置的熵值，信息熵越大表示越复杂，对该像素点匹配的权重越大；为标签数据中rgb图像上像素点属于缺陷区域的置信度，该值为0或1；为网络输出的rgb图像上像素点属于缺陷区域的置信度。
28.利用梯度下降法不断更新网络参数，当损失函数不再降低时完成训练。
29.2.通过语义分割网络对表面图像中每个像素点进行二分类，得到每个像素点属于缺陷的置信度。
30.完成训练的语义分割网络为encoder
‑
decoder结构，输入为相机采集到的rgb图像，输出为机械零件表面缺陷的分割图像。
31.具体的，通过语义分割网络对rgb图像中每一个像素点进行二分类，得到每个像素点属于缺陷的置信度，以置信度作为对应像素点的像素值得到该分割图像，作为初步的缺陷检测结果。
32.步骤s002，根据置信度的大小筛选出分割图像中缺陷检测结果不准确的待检测区域，对待检测区域进行连通域提取并对提取的连通域进行聚类，得到多个待检测区域集合。
33.具体的步骤包括：1.获取检测结果不准确的待检测区域。
34.当置信度大于最小阈值且小于最大阈值时，置信度对应的像素点的检测结果不准确，将其像素值置为1，其余置为0，得到待检测区域。
35.初步的缺陷检测结果中像素点的数值表示属于缺陷的置信度，取值范围为；越接近1表示当前像素点越有可能属于缺陷区域。设定置信度的最小阈值和最大阈值，当置信度或时，得到的缺陷检测结果为准确的；当置信度时表示未得到准确的结果，需要对其进行进一步的检测。将初步的缺陷检测结果中的像素点的数值置为1，其余区域的像素值置为0，得到二值图像，图中前景区域为待检测区域，即需要进一步检测的区域。
36.作为一个示例，本发明实施例中，最大阈值和最小阈值的经验取值为。
37.2.获取待检测区域集合。
38.2.1对二值图像进行连通域分析，获得其中所有连通域信息，获取每个连通域的
最小外接矩形，由最小外接矩形的方向和中心点坐标组成对应的连通域的特征向量。
39.以第z个连通域为例进行特征提取，首先获得该连通域的最小外接矩形，获得最小外接矩形的左上角和右下角的连线与像素坐标系水平方向的夹角，反映连通域的方向信息；获得该最小外接矩形的中心点坐标，反映连通域的位置信息；得到该连通域的特征向量。
40.2.2 根据特征向量对所有连通域进行距离聚类，得到聚类结果，每一类对应一个待检测区域集合。
41.利用距离聚类对所有的连通域进行聚类操作，定义连通域1与连通域2的距离公式为，当两连通域之间的距离不大于距离阈值时认为属于同一个簇；得到聚类结果。
42.作为一个示例，本发明实施例中距离阈值取值为1。
43.在聚类结果中属于同一个簇内的所有连通域对应一个待检测区域集合，其中所有连通域的方向信息和位置信息近似，对应的最佳光源参数相同。
44.获得初步的检测结果中置信度差的区域作为待检测区域，该区域需要进一步检测，根据区域特征进行聚类，属于同一个簇的缺陷对应的最佳光源参数相同只需要调节一次光源即可，提升表面缺陷检测的效率。
45.步骤s003，对于每个待检测区域集合，移动光源，采集第二表面图像，获取待检测区域集合的特征信息；根据特征信息得到缺陷显著性最大时对应的最佳光源；特征信息包括亮度特征的变化、图像综合特征的变化以及第二表面图像的复杂度。
46.需要说明的是，随着光源位置参数的变化，采集到的特征信息也在发生变化，将特征信息的变化分解为：图像亮度特征的变化以及图像纹理特征的变化。通过改变光源参数使得图像纹理特征的变化更明显，增强缺陷的特征。
47.具体的步骤包括：1.将表面图像和第二表面图像分别转换至带有亮度的颜色空间，根据亮度通道得到光源变化前后的亮度特征图像，将其对应像素点的像素值相减，得到每个位置的亮度特征的变化。
48.具体的，通过不同位置参数的光源下的理想亮度特征训练神经网络，利用训练完成的神经网络根据当前光源的位置参数获取亮度特征图像。
49.神经网络的结构为单结构，输入为光源参数向量，输出为与原始rgb图像大小相同的亮度特征图像，需要说明的是为亮度通道的灰度图，其中像素值代表对应位置的亮度。
50.神经网络的训练数据为不同光源位置参数，标签数据的获取方法如下：采集对应光源位置参数下的rgb图像，将rgb图像转换为hsi颜色空间中，需要说明的是hsi颜色空间中三个通道分别表示色相、饱和度以及亮度；将亮度通道作为当前光源参数对应的亮度特
征图像。
51.得到训练数据集以及对应的标签数据，设计损失函数为：其中，为亮度特征图像的尺寸信息；为网络输出的亮度图像中位置处的像素值，为标签亮度图像中位置处的像素值。
52.利用梯度下降法完成训练，在推理阶段，根据光源参数即可得到图像的亮度特征。
53.为了避免图像亮度特征的变化对图像纹理特征变化的影响，获得各位置的亮度特征变化。记变化之前的光源位置参数为，变化之后的光源位置参数为，则光源变化之后位置的亮度特征变化为。
54.2.获取图像综合特征的变化。
55.具体的，根据灰度共生矩阵获取每个位置的对比度；获取第二表面图像中每个像素点邻域内的的第二灰度共生矩阵，并获取每个位置的第二对比度；将第二对比度与对比度相减，获得每个位置的图像综合特征的变化。
56.本发明实施例利用灰度共生矩阵中的对比度量化图像综合特征的变化。对比度反映了图像中局部变化的多少，反映了图像的清晰度和纹理的沟纹深浅，对比度大，纹理的沟纹越深，反差越大，效果越清晰；反之，对比度小，则沟纹浅，效果模糊。
57.需要说明的是，由于光源发生变化，而相机位置固定，相机采集的不同图像中的亮度特征发生变化，纹理特征也发生变化，因此，图像综合特征的变化包括亮度特征的变化和纹理特征的变化。获得光源变化前后每个像素点的对比度变化，位置处的对比度变化为，对比度变大表示图像综合特征增强，相应的，图像综合特征的变化与亮度特征的变化和纹理特征的变化的关系为：。
58.其中表示光源更改之后的对比度，表示更改之前的对比度，表示纹理特征的变化。
59.3.获取第二表面图像的复杂度。
60.计算第二灰度共生矩阵每个像素点的第二信息熵，以第二信息熵作为复杂度。
61.4.获取最佳光源。
62.为了保障光源在位置参数改变后，增强图像纹理特征的同时，降低外界环境对图
像复杂度的影响，构建缺陷显著性的目标函数如下：其中，表示属于一个簇内的区域，即待检测区域集合。
63.第一部分保障了图像纹理特征的增强，第二部分确保降低了外界环境对图像复杂度的影响。
64.当光源的位置参数发生变化时，光源变化后采集的图像中的、和都会相应地发生变化，位置参数为唯一的自变量，利用遗传算法获得最优的，作为当前待检测区域集合对应的最佳光源位置参数。
65.按照同样的方法，获取每个待检测区域集合的最佳光源的位置参数。
66.针对每个待检测区域集合的特征获得最佳的光源位置参数，增强图像的纹理特征，同时降低外界环境对图像复杂度的影响，得到特征明显的图像。
67.步骤s004，获取每个待检测区域集合在对应的最佳光源下的最佳图像，将所有最佳图像对应像素值相加组成融合图像，对融合图像进行语义分割，得到第二分割图像，取分割图像和第二分割图像对应像素点的最大值组成检测结果图像，得到检测结果。
68.具体的步骤包括：步骤s003中已经获得每个待检测区域集合的最佳光源的位置参数，保留每个待检测区域集合在对应的最佳光源下的图像信息，以待检测区域集合为例，在其最佳光源下保留待检测区域集合内的图像信息，其他区域的像素值置为0，得到待检测区域集合的最佳图像。按照相同的方法得到每个待检测区域集合的最佳图像，将所有的最佳图像通过对应位置的像素值相加进行融合得到优化后的融合图像。
69.将缺陷特征明显的融合图像送入步骤s001中的语义分割网络，得到第二分割图像，第二分割图像为根据明显的缺陷特征得到的缺陷检测结果，对于每个位置上的像素点，取分割图像和第二分割图像中更大的像素值作为检测结果图像中该位置处的像素值，得到最终精确的检测结果。
70.综上所述，本发明实施例采集竖直照射的标准光源下机械零件的表面图像，通过对表面图像进行语义分割得到以每个像素点属于缺陷的置信度作为像素值的分割图像，获取初步的缺陷检测结果；根据置信度的大小筛选出分割图像中缺陷检测结果不准确的待检测区域，对待检测区域进行连通域提取并对提取的连通域进行聚类，得到多个待检测区域集合；对于每个待检测区域集合，移动光源，采集第二表面图像，获取待检测区域集合的特征信息；根据特征信息得到缺陷显著性最大时对应的最佳光源；特征信息包括亮度特征的
变化、图像综合特征的变化以及第二表面图像的复杂度；获取每个待检测区域集合在对应的最佳光源下的最佳图像，将所有最佳图像对应像素值相加组成融合图像，对融合图像进行语义分割，得到第二分割图像，取分割图像和第二分割图像对应像素点的最大值组成检测结果图像，得到检测结果。本发明实施例能够对不同的缺陷自适应调节光源位置参数，得到增强缺陷特征的最佳光源，进而得到准确的缺陷检测结果。
71.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
72.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。