一种类镜面工件表面的缺陷检测方法及装置与流程

1.本发明涉及表面检测技术领域，具体涉及一种类镜面工件表面的缺陷检测方法及装置。


背景技术：

2.类镜面工件指具有高反射性表面的工件，如汽车的漆面车身、车辆零部件、陶瓷产品等。
3.现有的工业质检中，对工件表面的缺陷检测通常采用以下方式进行：首先，在光源辅助下通过相机获取工件的表面图像；其次，将所述表面图像输入基于深度学习算法搭建的目标检测模型以获取所述表面图像上是否存在缺陷，及所述缺陷的类型、坐标信息。
4.但该方法在进行类镜面工件的表面缺陷检测时仍存在以下缺陷：首先，在表面图像获取阶段，仅采用单一光源进行辅助，而受类镜面工件的表面高反射性影响，不同类型的缺陷对不同类型光源的敏感度弹性极大，从而导致单一光源辅助下无法真实显示工件表面存在的各种缺陷，从而导致漏检误检的情况。其次，在缺陷识别阶段，基于深度学习框架下的目标检测模型进行，而为了得到可准确识别缺陷的目标检测模型，往往需要大量且类型完备的缺陷样本，特别是对于高反射性的类镜面工件而言，同一缺陷反应在不同张缺陷样本上的形态也不尽相同。但在实际生产中各类缺陷的出现频次往往差异较大，且同时还存在与同一缺陷相应的多张表面图像的差异性。这些也导致目标检测模型应用于类镜面工件的表面缺陷识别难度较大，从而在识别过程中可能存在漏检及误检的情况。


技术实现要素：

5.本发明目的在于提供一种类镜面工件表面的缺陷检测方法及装置，以改善现有的类镜面工件表面缺陷检测时存在的漏检误检率高的技术问题。
6.为达成上述目的，本发明提出如下技术方案：一种类镜面工件表面的缺陷检测方法，包括：基于可实现光切换的一程控光源分别按预设的出射角及光强采用白光、余弦条纹光及二值条纹光对同一位置进行辅助照射；通过与所述程控光源配合设置的相机按预设拍摄角度分别获取所述同一位置下与所述白光相应的第一图像，与所述余弦条纹光相应的第二图像，及与所述二值条纹光相应的第三图像；基于像素分析算法及轮廓提取算法获取所述第一图像中第一缺陷的位置及形状，基于相位偏折算法获取所述第二图像中第二缺陷的位置及形状，基于图像二值化解码获取所述第三图像中的第三缺陷的位置及形状；自所述第一图像中截取与所述第一缺陷相应的第一缺陷图；在所述第三图像中对应标注出所述第二缺陷，然后自第三图像中截取与所述第二缺陷相应的第二缺陷图，及与所述第三缺陷相应的第三缺陷图；
将所述第一缺陷图、所述第二缺陷图及所述第三缺陷图输入缺陷分类模型以获取各缺陷的类型；并基于相机标定及尺寸测量算法分别获得第一缺陷、第二缺陷及第三缺陷的尺寸；重复上述过程直至完成整个待检测类镜面工件的表面缺陷检测。
7.进一步的，所述在所述第三图像中对应标注出所述第二缺陷，然后自第三图像中截取与所述第二缺陷相应的第二缺陷图，包括：若所述第二缺陷与所述第三图像中第三缺陷部分重叠，则基于nms算法进行筛选以在第三图像中剔除得分较小的缺陷。
8.进一步的，所述基于可实现光切换的一程控光源分别按预设的出射角及光强采用白光、余弦条纹光及二值条纹光对同一位置进行辅助照射之前，包括：基于待检测类镜面工件的表面结构创建若干个检测点位，并顺序汇总各所述检测点位形成检测路径；基于待检测类镜面工件的表面结构设置与每一所述检测点位相应的相机拍摄角度；设置每一所述检测点位的光源切换顺序为：白光、余弦条纹光、二值条纹光，并结合所述相机的拍摄角度设置与每一所述检测点位中各类型光源相应的光出射角、光照强度。
9.进一步的，重复上述过程直至完成整个待检测类镜面工件的表面缺陷检测之后，还包括：创建所述类镜面工件的表面三维模型；其中，所述表面三维模型的坐标系与所述类镜面工件的坐标系相一致；基于坐标将各所述缺陷添加于所述表面三维模型的对应位置，并显示所述缺陷的类型及尺寸。
10.进一步的，所述基于可实现光切换的一程控光源分别按预设的出射角及光强采用白光、余弦条纹光及二值条纹光对同一位置进行辅助照射之前，包括：确定缺陷汇总规则，所述汇总规则包括：基于缺陷的来源划分缺陷类型，基于尺寸范围划分任一类缺陷的等级；基于所述缺陷汇总规则创建预警规则，所述预警规则包括：当任一等级下的任一类缺陷的数目超出预设阈值时则发送预警信息。
11.一种类镜面工件表面的缺陷检测装置，包括：辅助照射模块，用于基于可实现光切换的一程控光源分别按预设的出射角及光强采用白光、余弦条纹光及二值条纹光对同一位置进行辅助照射；图像获取模块，用于通过与所述程控光源配合设置的相机按预设拍摄角度分别获取所述同一位置下与所述白光相应的第一图像，与所述余弦条纹光相应的第二图像，及与所述二值条纹光相应的第三图像；第一检测模块，用于基于像素分析算法及轮廓提取算法获取所述第一图像中第一缺陷的位置及形状，基于相位偏折算法获取所述第二图像中第二缺陷的位置及形状，基于图像二值化解码获取所述第三图像中的第三缺陷的位置及形状；缺陷截取模块，用于自所述第一图像中截取与所述第一缺陷相应的第一缺陷图；
在所述第三图像中对应标注出所述第二缺陷，然后自第三图像中截取与所述第二缺陷相应的第二缺陷图，及与所述第三缺陷相应的第三缺陷图；第二检测模块，用于将所述第一缺陷图、所述第二缺陷图及所述第三缺陷图输入缺陷分类模型以获取各缺陷的类型；并基于相机标定及尺寸测量算法分别获得第一缺陷、第二缺陷及第三缺陷的尺寸；循环模块，用于重复调用上述模块直至完成整个待检测类镜面工件的表面缺陷检测。
12.进一步的，包括：预处理模块，用于在所述第二缺陷与所述第三图像中第三缺陷部分重叠时，基于nms算法进行筛选以在第三图像中剔除得分较小的缺陷。
13.进一步的，包括：路径设置模块，用于基于待检测类镜面工件的表面结构创建若干个检测点位，并顺序汇总各所述检测点位形成检测路径；相机设置模块，用于基于待检测类镜面工件的表面结构设置与每一所述检测点位相应的相机拍摄角度；光源设置模块，用于设置每一所述检测点位的光源切换顺序为：白光、余弦条纹光、二值条纹光，并结合所述相机的拍摄角度设置与每一所述检测点位中各类型光源相应的光出射角、光照强度。
14.进一步的，包括：第一创建模块，用于创建所述类镜面工件的表面三维模型；其中，所述表面三维模型的坐标系与所述类镜面工件的坐标系相一致；缺陷添加模块，用于基于坐标将各所述缺陷添加于所述表面三维模型的对应位置，并显示所述缺陷的类型及尺寸。
15.进一步的，包括：第二创建模块，用于确定缺陷汇总规则，所述汇总规则包括：基于缺陷的来源划分缺陷类型，基于尺寸范围划分任一类缺陷的等级；第三创建模块，用于基于所述缺陷汇总规则创建预警规则，所述预警规则包括：当任一等级下的任一类缺陷的数目超出预设阈值时则发送预警信息。
16.有益效果：由以上技术方案可知，本发明的技术方案提供了一种类镜面工件表面的检测方法，用于解决现有缺陷检测中存在的误检率高及漏检率高的技术问题。
17.所述检测方法包括：在图像获取阶段，基于类镜面工件表面中不同类型缺陷在不同光源设置下的可识别性不同，而当将缺陷分为非形变缺陷与形变缺陷两大类时，非形变缺陷在白光光源下的可识别性良好，形变缺陷在二值条纹光和余弦条纹光下的可识别性良好。同时考虑光强、出光角度及拍摄角度与光反射间的互相影响，设置对同一位置分别采用预设出光角度及光强的白光、余弦条纹光及二值条纹光进行辅助照射，同时按预设的拍摄角度分别采集了白光下的第一图像，余弦条纹光下的第二图像及二值条纹光下的第三图像。此时，采集的所有图像将覆盖工件表面实际存在的所有缺陷，避免漏检及误检。
18.在图像识别阶段，基于类镜面工件检测中相应的深度学习目标检测模型的训练难
度较大而易于造成漏检的情况，本技术方案采用图像识别算法与深度学习下网络布局简单的分类模型相结合的识别手段。首先，分别利用像素分析及轮廓提取获得了第一图像中第一缺陷的位置及形状信息；利用相位偏折算法获得了第二图像中第二缺陷的位置及形状信息；利用图像二值化及格雷码解码获取所述第三图像中第三缺陷的位置及形状信息。同时，利用相机标定及尺寸测量算法分别获得第一缺陷、第二缺陷及第三缺陷的尺寸。此时，只需要通过所述分类模型再获取相应的缺陷类型即可。同时，为了进一步提高所述分类模型的分类准确率，并减小计算量，还对应截取了各图像中的缺陷形成了相应的第一缺陷图、第二缺陷图及第三缺陷图。
19.由此可见本技术方案所述的类镜面工件的表面检测方法基于类镜面工件本身的高反射性，同时对现有表面检测方法中的图像获取阶段及图像识别阶段进行了针对性改进，从而使可获得真实反应类镜面工件表面状态的所有图像，又使所有图像中的所有缺陷均可被快速准确的检出，从而避免了在表面检测各阶段可能存在的漏检或误检情况，有效提高了缺陷检出率。
20.应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。
21.结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
22.附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：图1 为本实施例所述的类镜面工件表面的检测方法的流程图；图2 为进行图1所述的检测前相应参数设置的流程图；图3 为对图1中的第二缺陷进行处理的流程图；图4 为进行图1所述的检测前缺陷汇总规则及预警规则设置的流程图；图5 为对图1获得的检测结果进行处理的流程图。
具体实施方式
23.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。除非另作定义,此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
24.本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样, 除非上下文清楚地指明其它情况，否则单数形式的“一个”“一”或者“该”等类似词语也不表示数量限
制,而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的特征、整体、步骤、操作、元素和/或组件, 并不排除一个或多个其它特征、整体、步骤、 操作、元素、组件和/或其集合的存在或添加。“上”“下”“左”“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
25.现有的表面缺陷检测主要包括如下步骤：首先，在单一光源辅助下获取表面图像；其次基于深度学习框架下的目标检测模型对表面图像进行识别以得到对应的缺陷类型、位置、形状及尺寸等信息。但受类镜面工件表面的高反射性影响，单一光源辅助下往往无法对其表面的所有缺陷进行有效获取，从而导致漏检或误检情况；且同一缺陷在不同拍摄角度下的状态也差异较大，及实际生产中各类缺陷出现的频率差异较大从而导致难以获取完备的模型训练样本，进而导致目标检测模型不但本身训练难度较大，且在后续缺陷识别时也存在漏检的情况。基于此，本实施例旨在提供一种类镜面工件表面的缺陷检测方法及装置，以改善现有类镜面工件检测中存在的误检及漏检率高的技术缺陷。
26.下面结合附图所示，对本实施例公开的一种类镜面工件表面的缺陷检测方法作具体介绍。
27.如图1所示，所述方法包括如下步骤：步骤s102、基于可实现光切换的一程控光源分别按预设的出射角及光强采用白光、余弦条纹光及二值条纹光对同一位置进行辅助照射。
28.本实施例中所述程控光源具体为投射式光源。当将缺陷分为非形变缺陷及形变缺陷两大类时，所述白光用于辅助照射以使类镜面工件表面可能存在的非形变缺陷准确可识别，余弦条纹光和二值条纹光用于辅助照射以使类镜面工件表面可能存在的形变缺陷准确可识别。具体的，所述余弦条纹光用于使尺寸较小的点状形变缺陷准确可识别，所述二值条纹光用于使尺寸较大且较为平缓的形变缺陷准确可识别。
29.步骤s104、通过与所述程控光源配合设置的相机按预设拍摄角度分别获取所述同一位置下与所述白光相应的第一图像，与所述余弦条纹光相应的第二图像，及与所述二值条纹光相应的第三图像。
30.本实施例中所述程控光源可以是一完整的面光源，所述相机为若干个，排布于所述程控光源的一侧。作为一种可以选择的实施方式，所述程控光源也可为一完整的环形光源，或由多个子光源组成的类环形结构；而各所述相机则阵列排布于所述环形光源或所述类环形结构的内侧。
31.所述相机与所述程控光源组成了一整体结构，一机械臂与其配合以实现其沿类镜面工件的表面移动，进而完成整个类工件表面的辅助照射及拍摄。
32.具体的，所述相机的拍摄角度调整依靠与之配合的旋转电机进行，并且为了获得清晰的图像，所述相机的镜头为变焦镜头。
33.通过步骤s102~步骤s104即可获取类镜面工件表面存在的所有缺陷，为了使该缺陷获取过程更加有序，以进一步避免漏检或误检。结合图2所示，在步骤s102之前还包括：步骤s101.2、基于待检测类镜面工件的表面结构创建若干个检测点位，并顺序汇总各所述检测点位形成检测路径。
34.在具体实施时，若类镜面工件的表面为圆形，则可按表面的径向依照环形轨迹向
内检测。若类镜面工件的表面为矩形，则可按长边或短边依次向下检测。
35.由于各光源具有出光范围，因此所述检测点位依据所述出光范围设置从而使通过相应的检测点位实现整个表面的检测。
36.步骤s101.4、基于待检测类镜面工件的表面结构设置与每一所述检测点位相应的相机拍摄角度。
37.基于拍摄原理，设置相机的拍摄角度以避免获取的图像过曝或亮度偏低。
38.步骤s101.6、设置每一所述检测点位的光源切换顺序为：白光、余弦条纹光、二值条纹光，并结合所述相机的拍摄角度设置与每一所述检测点位中各类型光源相应的光出射角、光照强度。
39.通过步骤s101.2~步骤s101.6即完成了检测前的路径设置，及路径中每个检测点位的设置，及每个检测点位处每个光源下的相关光源参数设置及拍摄角度设置。此时在具体检测中，只需依照该预设执行即可。
40.具体的，由于各种类镜面工件的表面结构差异不尽相同，因此在具体实施时步骤s101.2~步骤s101.6中的各参数仅适应于对应型号或种类的类镜面工件。
41.步骤s106、基于像素分析算法及轮廓提取算法获取所述第一图像中第一缺陷的位置及形状，基于相位偏折算法获取所述第二图像中第二缺陷的位置及形状，基于图像二值化解码获取所述第三图像中的第三缺陷的位置及形状。
42.步骤s108、自所述第一图像中截取与所述第一缺陷相应的第一缺陷图；在所述第三图像中对应标注出所述第二缺陷，然后自第三图像中截取与所述第二缺陷相应的第二缺陷图，及与所述第三缺陷相应的第三缺陷图。
43.本步骤中，由于余弦条纹光对应的第二图像无法被深度学习框架下的缺陷分类模型获取，因此将其中的第二缺陷对应标注在第三图像中以获得第二缺陷图；进而使其可被缺陷分类模型分类。
44.由于所述第二图像及所述第三图像均反应了同一位置的形变类缺陷情况，因此同一缺陷可能在它们上均被检出。如对于一尺寸较大的形变缺陷，在第三图像中显示出了该缺陷全貌，而在第二图像中检出了该缺陷的局部区域。因此在第三图像中获得的第二缺陷图可能存在与其中原有的第三缺陷图重叠的情况。因此为了减少后续缺陷分类模型对类似情况的缺陷重复处理，结合图3所示，步骤s108之后，还包括：步骤s109、若所述第二缺陷与所述第三图像中第三缺陷部分重叠，则基于nms算法进行筛选以在第三图像中剔除得分较小的缺陷。
45.此时不但可降低所述缺陷分类模型的计算量，还有利于提高检测准确性。
46.步骤s110、将所述第一缺陷图、所述第二缺陷图及所述第三缺陷图输入缺陷分类模型以获取各缺陷的类型；并基于相机标定及尺寸测量算法分别获得第一缺陷、第二缺陷及第三缺陷的尺寸。
47.通过步骤s108~步骤s110即可获取该位置(即该检测点位处)所有缺陷的类型、位置、尺寸及形状信息。
48.步骤s112、重复上述过程直至完成整个待检测类镜面工件的表面缺陷检测。
49.本实施例中，形变缺陷类型包括凸起缺陷、凹下缺陷、点状缺陷等；非形变缺陷类型包括色不均缺陷、污渍缺陷等。
50.结合图4所示，为了对缺陷进行有效分类，并对超规缺陷进行报警以提醒及时处理，在步骤s102之前还包括：步骤s100.2、确定缺陷汇总规则，所述汇总规则包括：基于缺陷的来源划分缺陷类型，基于尺寸范围划分任一类缺陷的等级。
51.步骤s100.4、基于所述缺陷汇总规则创建预警规则，所述预警规则包括：当任一等级下的任一类缺陷的数目超出预设阈值时则发送预警信息。
52.为了更加快速准确的确认类镜面工件表面的整体缺陷分布情况，结合图5所示，在步骤s112之后还包括：步骤s114、创建所述类镜面工件的表面三维模型；其中，所述表面三维模型的坐标系与所述类镜面工件的坐标系相一致。
53.步骤s116、基于坐标将各所述缺陷添加于所述表面三维模型的对应位置，并显示所述缺陷的类型及尺寸。
54.此时可基于所述表面三维模型对工件表面的所有缺陷直观展示以快速获取缺陷分布情况。
55.作为一种可以选择的实施方式，还可在对不同类型的缺陷及不同等级的缺陷采用不同的色彩或形状标注。如使用绿色框标注形变缺陷，使用绿色框加“！”标注尺寸等级超规的形变缺陷；如使用橙色框标注非形变缺陷，使用橙色框加“！”标注尺寸等级超规的非形变缺陷。
56.若存在某一区域集中分布有某一类缺陷，还可对该区域使用相应的色彩或形状进行整体标注以便于异常理清。
57.上述程序可以运行在处理器中，或者也可以存储在存储器中（或称为计算机可读存储介质），计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (pram)、静态随机存取存储器 (sram)、动态随机存取存储器 (dram)、其他类型的随机存取存储器 (ram)、只读存储器 (rom)、电可擦除可编程只读存储器 (eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器 (cd-rom)、数字多功能光盘 (dvd) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体，如调制的数据信号和载波。
58.这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。
59.本实施例还提供了一种类镜面工件表面的缺陷检测装置。所述装置包括：辅助照射模块，用于基于可实现光切换的一程控光源分别按预设的出射角及光强采用白光、余弦条纹光及二值条纹光对同一位置进行辅助照射。
60.图像获取模块，用于通过与所述程控光源配合设置的相机按预设拍摄角度分别获取所述同一位置下与所述白光相应的第一图像，与所述余弦条纹光相应的第二图像，及与所述二值条纹光相应的第三图像。
61.第一检测模块，用于基于像素分析算法及轮廓提取算法获取所述第一图像中第一缺陷的位置及形状，基于相位偏折算法获取所述第二图像中第二缺陷的位置及形状，基于图像二值化解码获取所述第三图像中的第三缺陷的位置及形状。
62.缺陷截取模块，用于自所述第一图像中截取与所述第一缺陷相应的第一缺陷图；在所述第三图像中对应标注出所述第二缺陷，然后自第三图像中截取与所述第二缺陷相应的第二缺陷图，及与所述第三缺陷相应的第三缺陷图。
63.第二检测模块，用于将所述第一缺陷图、所述第二缺陷图及所述第三缺陷图输入缺陷分类模型以获取各缺陷的类型；并基于相机标定及尺寸测量算法分别获得第一缺陷、第二缺陷及第三缺陷的尺寸。
64.循环模块，用于重复调用上述模块直至完成整个待检测类镜面工件的表面缺陷检测。
65.该装置用于实现上述方法的步骤，因此已经进行说明的，在此不再赘述。
66.例如，所述装置还包括：预处理模块，用于在所述第二缺陷与所述第三图像中第三缺陷部分重叠时，基于nms算法进行筛选以在第三图像中剔除得分较小的缺陷。
67.例如，所述装置还包括：路径设置模块，用于基于待检测类镜面工件的表面结构创建若干个检测点位，并顺序汇总各所述检测点位形成检测路径。
68.相机设置模块，用于基于待检测类镜面工件的表面结构设置与每一所述检测点位相应的相机拍摄角度。
69.光源设置模块，用于设置每一所述检测点位的光源切换顺序为：白光、余弦条纹光、二值条纹光，并结合所述相机的拍摄角度设置与每一所述检测点位中各类型光源相应的光出射角、光照强度。
70.例如，所述装置还包括：第一创建模块，用于创建所述类镜面工件的表面三维模型；其中，所述表面三维模型的坐标系与所述类镜面工件的坐标系相一致。
71.缺陷添加模块，用于基于坐标将各所述缺陷添加于所述表面三维模型的对应位置，并显示所述缺陷的类型及尺寸。
72.例如，所述装置还包括：第二创建模块，用于确定缺陷汇总规则，所述汇总规则包括：基于缺陷的来源划分缺陷类型，基于尺寸范围划分任一类缺陷的等级。
73.第三创建模块，用于基于所述缺陷汇总规则创建预警规则，所述预警规则包括：当任一等级下的任一类缺陷的数目超出预设阈值时则发送预警信息。
74.虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。