产品外观检测方法、装置和存储介质与流程

1.本发明涉及一种产品外观检测方法、装置和存储介质，属于产品质量检测技术领域。


背景技术：

2.随着3c电子产品的技术不断迭代，加工及检测3c电子产品的设备智能化程度也在不断提升，同时日益增长的消费需求使得原本传统的加工及人工检测方法不能很好的满足产能及检测效率。尤其对于精密零部件的外观检测，在保证一定检测效率的同时还需要保证检测的准确率，而在高压工作环境下传统的人工检测方法很难保证稳定的查全率、查准率。
3.电子手表的密封胶圈质量直接影响了产品的防水性能，因此生产检测环节要严格把控胶圈的外观质量，传统的人工检测存在着低效率、低准确率等问题，一旦将功能性的缺陷产品流入到终端产品，将会面临客户投诉以及产品质量安全的隐患。


技术实现要素：

4.本发明的目的在于提供一种产品外观检测方法、装置和存储介质，用于解决现有技术中存在的问题。
5.为达到上述目的，本发明提供如下技术方案：
6.根据第一方面，本发明实施例提供了一种产品外观检测方法，所述方法包括：
7.获取目标产品的产品图片；
8.提取所述产品图片中所述目标产品的产品形状所在的主体区域；
9.在所述主体区域中提取感兴趣roi区域；
10.对所述roi区域进行识别，得到所述目标产品的产品缺陷。
11.可选的，所述获取目标产品的产品图片，包括：
12.通过光学装置采集所述目标产品的产品图片；
13.若采集的产品图片满足预设条件，则获取所述产品图片；所述预设条件包括所述产品图片中包括待检测项且所述待检测项的清晰度高于预设清晰度。
14.可选的，所述提取所述产品图片中所述目标产品的产品形状所在的主体区域，包括：
15.对所述产品图片进行blob分析，得到分析后的所述产品图片；
16.通过中值滤波算法对分析后的所述产品图片进行去噪，通过二值化方法初步分离得到所述主体区域；
17.通过形态学算法对初步分离得到的所述主体区域进行处理，得到提取后的所述主体区域。
18.可选的，所述在所述主体区域中提取感兴趣roi区域，包括：
19.通过边缘对比度增强算法对所述主体区域进行边缘对比度增强；
20.分离对比度增强后的所述主体区域中的各个主体部分，并提取得到所述roi区域。
21.可选的，所述对所述roi区域进行识别，得到所述目标产品的产品缺陷，包括：
22.获取所述roi区域的目标参数值，所述目标参数值包括灰度均值和灰度方差；
23.根据所述目标参数值确定所述目标产品的产品缺陷。
24.可选的，所述根据所述目标参数值确定所述目标产品的产品缺陷，包括：
25.若所述目标参数值满足第一条件，则确定所述目标产品的主体缺失，所述第一条件包括所述灰度均值小于第一阈值或者大于第二阈值；
26.若所述目标参数值满足第二条件，则确定所述目标产品的表面存在废料残余，所述第二条件包括所述灰度均值大于第三阈值且所述灰度方差大于第四阈值。
27.可选的，所述根据所述目标参数值确定所述目标产品的产品缺陷，包括：
28.若所述目标参数值不满足所述第一条件或者所述第二条件，对所述roi区域进行中值模糊处理和动态阈值分割，得到所述目标产品的候选缺损区域；
29.对所述候选缺损区域进行灰度值运算，得到所述目标产品的缺损区域。
30.可选的，所述对所述候选缺损区域进行灰度值运算，得到所述目标产品的缺损区域，包括：
31.将各个候选缺损区域映射到所述产品图片的预设通道；
32.获取每个候选缺损区域在所述预设通道的平均灰度值；
33.对于平均灰度值处于第五阈值和第六阈值之间的候选缺损区域，提取所述候选缺损区域的第一轮廓，并提取所述roi区域中所述目标产品的第二轮廓；
34.根据所述第一轮廓和所述第二轮廓确定所述候选缺损区域是否处于所述roi区域中；
35.若处于，则将所述候选缺损区域确定为所述目标产品的缺损区域。
36.第二方面，提供了一种产品外观检测装置，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现如第一方面所述的方法。
37.第三方面，提供了一种计算机存储介质，所述计算机存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如第一方面所述的方法。
38.通过获取目标产品的产品图片；提取所述产品图片中所述目标产品的产品形状所在的主体区域；在所述主体区域中提取感兴趣roi区域；对所述roi区域进行识别，得到所述目标产品的产品缺陷。解决了现有技术中人工检测的准确率和效率均比较低的问题，达到了可以根据获取到的产品图片自动检测，进而提高检测准确率和效率的效果。
39.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
40.图1为本发明一个实施例提供的产品外观检测方法的方法流程图；
41.图2为本发明一个实施例提供的光学系统的结构示意图；
42.图3为本发明一个实施例提供的识别得到的电子手表的胶圈主体的区域图；
43.图4为本发明一个实施例提供的识别得到的roi区域的示意图；
44.图5为本发明一个实施例提供的目标产品中存在废料残留的示意图；
45.图6为本发明一个实施例提供的候选缺损区域轮廓到胶圈边界轮廓之间的最小距离的计算示意图；
46.图7为本发明一个实施例提供的目标产品中存在局部缺损的示意图。
具体实施方式
47.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
49.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
50.此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
51.请参考图1，其示出了本技术一个实施例提供的产品外观检测方法的方法流程图，如图1所示，所述方法包括：
52.步骤101，获取目标产品的产品图片；
53.可选的，本步骤包括：
54.第一，通过光学装置采集所述目标产品的产品图片；
55.在一种可能的实施例中，光学装置可以为mv
‑
ce200
‑
10uc的2000万像素彩色面阵相机。另外，实际实现时，为了提高采集到的产品图片的图片质量，还可以使用诸如型号为dtcm111
‑
80h
‑
al的工业远心镜头以及与镜头相配套的光源，包括30
°
、75
°
、90
°
的环形光源。
56.比如，请参考图2，其示出了本技术使用的光学系统的一种可能的示意图。图2所示的光学系统稳定可靠，能够同时清晰地采集多种缺陷图像。图中：1为相机组件，2为镜头组件，3为30
°
环形光源，4为75
°
环形光源，5为90
°
环形光源。
57.第二，若采集的产品图片满足预设条件，则获取所述产品图片。
58.所述预设条件包括所述产品图片中包括待检测项且所述待检测项的清晰度高于预设清晰度。
59.实际实现时，若采集到的产品图片满足预设条件，则通过运动装置的io触发光学装置拍照，获得所需的产品图片。
60.步骤102，提取所述产品图片中所述目标产品的产品形状所在的主体区域；
61.本步骤包括：
62.第一，对所述产品图片进行blob分析，得到分析后的所述产品图片；
63.blob分析具体为首先对产品图片进行通道分离操作，分离出r、g、b三个通道图像，对通道图像的边缘线进行对比度线性增强，将其中两个通道图像进行加减操作，进而凸显边缘轮廓特征。
64.第二，通过中值滤波算法对分析后的所述产品图片进行去噪，通过二值化方法初步分离得到所述主体区域；
65.通过中值滤波算法去除blob分析后的产品图像中的椒盐噪声点并保留图像的边缘细节信息，之后，根据产品的高亮边缘线，将产品与背景载台分割开，设定二值化阈值低于高亮边缘线的灰度值(约200左右)，通过阈值分割即可过滤掉边缘线、并将产品主体与背景载台分离。
66.第三，通过形态学算法对初步分离得到的所述主体区域进行处理，得到提取后的所述主体区域。
67.在初步分离得到主体区域之后，通过形态学的开闭运算将对初步分离得到的主体区域进行处理，去除图片背景，进而得到完整的产品图。具体的，由于背景载台的宽高尺寸固定，图像效果呈现为包围产品的姿态，其宽、高值大于产品的宽、高值，因此可以根据宽、高条件进行筛选，即可将产品的主体形状选择出来。比如，以目标产品为电子手表来举例说明，请参考图3，其示出了提取得到的主体区域的一种可能的示意图。
68.步骤103，在所述主体区域中提取感兴趣roi(region of interest，感兴趣区域)区域；
69.第一，通过边缘对比度增强算法对所述主体区域进行边缘对比度增强；
70.第二，分离对比度增强后的所述主体区域中的各个主体部分，并提取得到所述roi区域。
71.在对比度增强之后，可以通过区域填充和形态学算法分离主体区域中的各个主体部分。具体的，通过区域填充将产品图像的小孔洞填充，以便后续以完整的区域进行图像形态学的开、闭运算。由于产品主体的各个局部区域之间也有高亮边缘线，并且各区域的灰度值各不相同，因此产品的各区域在图像上呈现鲜明的对比度，然后通过形态学的开、闭运算即可将各区域彻底分隔开，之后通过灰度值条件阈值提取得到roi区域。比如，请参考图4，其示出了基于图3所示的主体区域提取得到的一种可能的roi区域。
72.步骤104，对所述roi区域进行识别，得到所述目标产品的产品缺陷。
73.在一种可能的实施方式中，本步骤包括：
74.第一，获取所述roi区域的目标参数值，所述目标参数值包括灰度均值和灰度方差；
75.假设roi区域为p*q的图像，p*q标识像素总数，roi图像的灰度值为y
i
(i＝0,1,2,3,......,c
‑
1)，则在roi区域中灰度级y
k
出现的概率估计为：
[0076][0077]
其中p*q表示像素总数，n
k
表示灰度y
k
在图像中出现的次数。图像中所有灰度级出现的概率之和等于1，也即：
[0078][0079]
平均灰度值为：
[0080][0081]
灰度方差为：
[0082][0083]
第二，根据所述目标参数值确定所述目标产品的产品缺陷。
[0084]
若所述目标参数值满足第一条件，则确定所述目标产品的主体缺失，所述第一条件包括所述灰度均值小于第一阈值或者大于第二阈值；比如，在一种可能的实施例中，第一阈值可以为2，第二阈值为250，也即灰度均值小于2或者大于250即判定为主材缺失。
[0085]
若所述目标参数值满足第二条件，则确定所述目标产品的表面存在废料残余，所述第二条件包括所述灰度均值大于第三阈值且所述灰度方差大于第四阈值。比如，在一种可能的实施例中，第三阈值为30，第四阈值为30，也即，灰度值均值大于30且灰度值方差大于30即判定为有废料残留。请参考图5，其示出了产品主体中存在废料残留时的一种可能的示意图。
[0086]
其中，在上述实施例中，第一阈值、第二阈值、第三阈值和第四阈值的数值可以为根据经验值确定，也可以为根据当前获取的产品图片自动确定，本实施例对此并不做限定。
[0087]
而若目标参数值不满足第一条件或者第二条件，则需要继续判定是否为局部破损。具体判定步骤包括：
[0088]
第一，对所述roi区域进行中值模糊处理和动态阈值分割，得到所述目标产品的候选缺损区域；
[0089]
对roi区域进行二值化阈值分割，对分割后的roi区域进行中值模糊操作，可以将干扰噪声点过滤掉，避免噪声点与缺陷产生混淆，之后通过动态阈值分割将可能的高灰度值缺陷提取出来，即可得到候选缺损区域。通过采用动态阈值分割可以避免光源亮暗和产品颜色微小差异对阈值分割的影响，提高了分割精度。
[0090]
第二，对所述候选缺损区域进行灰度值运算，得到所述目标产品的缺损区域。
[0091]
(1)、将各个候选缺损区域映射到所述产品图片的预设通道，其中，预设通道为根据缺陷区域中各通道的分量高低确定的，比如，各通道中缺陷对比度较高的通道。比如，缺损缺陷在产品图像中呈现红色分量，故选择红色通道r，该通道下的缺陷特征对比度较高，方便精确提取缺陷；
[0092]
(2)、获取每个候选缺损区域在所述预设通道的平均灰度值；
[0093]
(3)、对于平均灰度值处于第五阈值和第六阈值之间的候选缺损区域，提取所述候选缺损区域的第一轮廓，并提取所述roi区域中所述目标产品的第二轮廓；
[0094]
h1,h2,h3,......,h
n
分别为每个候选缺损区域的平均灰度，以真实缺陷的平均灰
度值作为参考，设定第五阈值为thr
min
，第六阈值为值thr
max
，则落在如下区间内灰度值对应的局部缺损区域，则被初步认定为局部缺损：
[0095]
thr
min
≤(h1,h2,h3,......,h
n
)≤thr
max
。
[0096]
(4)、根据所述第一轮廓和所述第二轮廓确定所述候选缺损区域是否处于所述roi区域中；
[0097]
计算第一轮廓contour到第二轮廓contour1的最小距离，若最小距离在第七阈值和第八阈值之间，则确定候选缺损区域处于roi区域中，反之，则不处于roi区域中。假设第七阈值和第八阈值分别为d
min
和d
max
，则在最小距离istance_min(contour,contour1)满足
[0098]
d
min
≤distance_min(contour,contour1)≤d
max
[0099]
时，确定为候选缺损区域为真实缺损。
[0100]
比如，请参考图6，其示出了候选缺损区域轮廓到胶圈边界轮廓之间的最小距离示意图。
[0101]
(5)、若处于，则将所述候选缺损区域确定为所述目标产品的缺损区域。
[0102]
请参考图7，其示出了确定得到的局部缺损区域的一种可能示意图。
[0103]
至此，即可分析得到目标产品中的各种缺陷。并且实际实现时，在识别得到各个缺陷之后，可以根据产品图片继续识别缺陷的面积，进而输出包括缺陷类型、缺陷数量、缺陷面积的检测结果。可选的，可以将检测结果标注在产品图片中，进而输出标注后的产品图片，方便检测人员直观的查阅各种缺陷。
[0104]
综上所述，通过获取目标产品的产品图片；提取所述产品图片中所述目标产品的产品形状所在的主体区域；在所述主体区域中提取感兴趣roi区域；对所述roi区域进行识别，得到所述目标产品的产品缺陷。解决了现有技术中人工检测的准确率和效率均比较低的问题，达到了可以根据获取到的产品图片自动检测，进而提高检测准确率和效率的效果。
[0105]
本技术还提供了一种产品外观检测装置，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现如上所述的方法。
[0106]
本技术还提供了一种计算机存储介质，所述计算机存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如上所述的方法。
[0107]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0108]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。