指示灯面板缺陷检测方法、装置、电子设备及存储介质与流程
本技术涉及指示灯面板,尤其涉及一种指示灯面板缺陷检测方法、装置、电子设备及存储介质。
背景技术:
1、在工业生产和电气控制设备装配过程中,指示灯面板被广泛应用于设备状态显示、运行告警、故障提示等场景。随着产品型号不断增加,实际产线中可能同时存在成百上千种指示灯面板型号。每一种型号的面板均需要在装配完成后进行外观检测,以确认面板上的各个指示灯是否安装正确,是否存在灯型装错、颜色装错、位置装错或外观不一致等问题。
2、目前,检测指示灯面板缺陷的方式主要有以下两种:
3、一种是依赖操作人员将待测面板与标准样件或工艺图纸进行人工比对,然而,人工检测的方式容易出现漏检、误检和检测效率低的问题。
4、另一种是先对每一种面板型号进行注册,保存标准图像及各灯位区域信息;检测时定位待测面板上的灯位区域,再将待测灯位区域与注册标准图中对应灯位区域进行图像比对,从而判断灯位区域是否存在缺陷。然而,这种方式难以稳定识别如灯帽边缘形态、颜色深浅等的细粒度差异,容易对相似灯型产生误判,从而导致检测的准确性差。
技术实现思路
1、本技术的主要目的在于提供一种指示灯面板缺陷检测方法、装置、电子设备及存储介质,旨在高效且全面地实现对指示灯面板缺陷的准确检测。
2、本技术提供一种指示灯面板缺陷检测方法,所述方法包括:
3、获取待测指示灯面板中待测灯位区域的实际图像;
4、将所述实际图像输入预设的自监督视觉表征模型,以通过所述自监督视觉表征模型提取并融合所述实际图像的全局特征向量和各局部特征向量,得到位于预设特征空间的待测特征向量;
5、从所述自监督视觉表征模型所关联的标准特征库中,获取所述待测灯位区域对应的位于所述预设特征空间中的标准特征向量;
6、确定所述待测特征向量与所述标准特征向量之间的距离度量值,并比较所述距离度量值与所述待测灯位区域对应的缺陷判定阈值之间的大小,以确定所述待测灯位区域是否存在缺陷。
7、在一实施例中,所述自监督视觉表征模型的构建步骤,包括:
8、获取至少一个指示灯面板样本的标准面板图像集,所述标准面板图像集包括所述指示灯面板样本的至少两张标准面板图像;
9、确定出所述至少两张标准面板图像中的各灯位区域子图像;
10、根据确定出的所述至少两张标准面板图像中的各灯位区域子图像,选取并组合所述指示灯面板样本中各灯位区域所对应的锚样本、正样本和负样本,得到所述指示灯面板样本所对应的各三元组训练样本;其中,所述锚样本与所述正样本为同一指示灯面板样本、同一灯位区域下的不同灯位区域子图像,所述锚样本与所述负样本为不同灯位区域的灯位区域子图像;
11、依据各所述三元组训练样本,构建所述自监督视觉表征模型。
12、在一实施例中,所述依据各所述三元组训练样本,构建所述自监督视觉表征模型的步骤,包括:
13、确定各所述三元组训练样本中,锚样本对应的特征向量与负样本对应的特征向量之间的距离小于锚样本对应的特征向量与正样本对应的特征向量之间的距离的三元组训练样本,以及锚样本与负样本之间的相似度大于预设相似度阈值的三元组训练样本,作为各所述三元组训练样本中的难负样本,并将其余三元组训练样本作为非难负样本;
14、调整各所述三元组训练样本的采样优先级,以使得各所述三元组训练样本中的难负样本的采样优先级高于非难负样本的采样优先级;
15、依据采样优先级调整后的各所述三元组训练样本,构建所述自监督视觉表征模型。
16、在一实施例中,所述依据各所述三元组训练样本,构建所述自监督视觉表征模型的步骤,包括:
17、对于任一所述三元组训练样本,确定所述三元组训练样本中的锚样本与负样本之间的相似度;
18、根据所述相似度,确定所述三元组训练样本对应的目标间隔,所述目标间隔与所述相似度正相关;
19、将所述三元组训练样本输入待训练模型,得到所述三元组训练样本对应的锚样本特征向量、正样本特征向量和负样本特征向量;
20、确定所述锚样本特征向量与所述正样本特征向量之间的第一距离,以及所述锚样本特征向量与所述负样本特征向量之间的第二距离;
21、将所述第一距离、所述第二距离和所述目标间隔输入预设的三元组损失函数,得到所述三元组训练样本的三元组损失函数值;其中,所述三元组损失函数配置为:在所述第一距离与所述第二距离之差小于或等于所述目标间隔的相反数的情况下,将预设损失函数值作为所述三元组损失函数值,在所述第一距离与所述第二距离之差大于所述目标间隔的相反数的情况下,将所述第一距离与所述第二距离之差和所述目标间隔之间的和值作为所述三元组损失函数值;
22、根据各所述三元组训练样本的三元组损失函数值,更新所述待训练模型的参数,直至满足预设收敛条件,得到所述自监督视觉表征模型。
23、在一实施例中,所述依据各所述三元组训练样本,构建所述自监督视觉表征模型的步骤,还包括:
24、根据每个所述三元组训练样本对应的第一距离,确定每个所述三元组训练样本的同灯位一致性损失值;所述同灯位一致性损失值与所述第一距离正相关;
25、根据各所述三元组训练样本的三元组损失函数值和同灯位一致性损失值,更新所述待训练模型的参数,直至满足所述预设收敛条件,得到所述自监督视觉表征模型。
26、在一实施例中,所述依据各所述三元组训练样本,构建所述自监督视觉表征模型的步骤,还包括:
27、对每个所述三元组训练样本中的锚样本进行图像增强处理,得到每个所述三元组训练样本所对应的至少一个增强图像;
28、将每个所述三元组训练样本所对应的至少一个增强图像输入所述待训练模型,得到每个所述三元组训练样本所对应的至少一个增强特征向量;
29、确定每个所述三元组训练样本所对应的锚样本特征向量与增强特征向量之间的第三距离;
30、根据每个所述三元组训练样本对应的第三距离,确定每个所述三元组训练样本的增强一致性损失值,所述增强一致性损失值与所述第三距离正相关;
31、根据各所述三元组训练样本的三元组损失函数值和增强一致性损失值,更新所述待训练模型的参数,直至满足所述预设收敛条件,得到所述自监督视觉表征模型。
32、在一实施例中,所述依据各所述三元组训练样本,构建所述自监督视觉表征模型的步骤,还包括:
33、根据每个所述三元组训练样本对应的第一距离,确定每个所述三元组训练样本的同灯位一致性损失值;所述同灯位一致性损失值与所述第一距离正相关;
34、对每个所述三元组训练样本中的锚样本进行图像增强处理,得到每个所述三元组训练样本所对应的至少一个增强图像;
35、将每个所述三元组训练样本所对应的至少一个增强图像输入所述待训练模型,得到每个所述三元组训练样本所对应的至少一个增强特征向量;
36、确定每个所述三元组训练样本所对应的锚样本特征向量与增强特征向量之间的第三距离;
37、根据每个所述三元组训练样本对应的第三距离,确定每个所述三元组训练样本的增强一致性损失值,所述增强一致性损失值与所述第三距离正相关;
38、根据各所述三元组训练样本的三元组损失函数值、同灯位一致性损失值和增强一致性损失值,更新所述待训练模型的参数,直至满足所述预设收敛条件,得到所述自监督视觉表征模型。
39、在一实施例中,所述方法还包括:
40、监测到新增面板型号的注册指令的情况下,获取所述新增面板型号下的各灯位区域的至少两张标准灯位图像;
41、将所述新增面板型号下的各灯位区域的至少两张标准灯位图像,输入所述自监督视觉表征模型,得到所述新增面板型号下的各灯位区域所对应的至少两个候选特征向量;
42、根据所述新增面板型号下的各灯位区域所对应的至少两个候选特征向量,确定所述新增面板型号下的各灯位区域所对应的标准特征中心,作为所述新增面板型号下的各灯位区域所对应的标准特征向量;
43、将所述新增面板型号下的各灯位区域所对应的标准特征向量,与所述新增面板型号以及灯位编号关联存储至所述标准特征库。
44、在一实施例中,所述通过所述自监督视觉表征模型提取并融合所述实际图像的全局特征向量和各局部特征向量,得到位于预设特征空间的待测特征向量的步骤,包括:
45、通过所述自监督视觉表征模型提取所述实际图像的全局特征向量和各局部特征向量,并对各所述局部特征向量进行最大池化处理,得到聚合特征向量;
46、将所述全局特征向量与所述聚合特征向量进行拼接,得到融合特征向量;
47、将所述融合特征向量映射至所述预设特征空间,得到所述待测特征向量。
48、此外,为实现上述目的,本技术还提供一种指示灯面板缺陷检测装置,所述指示灯面板缺陷检测装置包括:
49、图像获取模块,用于获取待测指示灯面板中待测灯位区域的实际图像;
50、特征提取模块,用于将所述实际图像输入预设的自监督视觉表征模型,以通过所述自监督视觉表征模型提取并融合所述实际图像的全局特征和局部特征,得到位于预设特征空间的待测特征向量;
51、标准向量获取模块,用于从所述自监督视觉表征模型所关联的标准特征库中,获取所述待测灯位区域对应的位于所述预设特征空间中的标准特征向量;
52、检测模块,用于确定所述待测特征向量与所述标准特征向量之间的距离度量值,并比较所述距离度量值与所述待测灯位区域对应的缺陷判定阈值之间的大小,以确定所述待测灯位区域是否存在缺陷。
53、此外,为实现上述目的,本技术还提供一种电子设备,所述电子设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上所述的指示灯面板缺陷检测方法。
54、此外,为实现上述目的,本技术还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的指示灯面板缺陷检测方法。
55、本技术提供了一种指示灯面板缺陷检测方法,包括:获取待测指示灯面板中待测灯位区域的实际图像;将实际图像输入预设的自监督视觉表征模型,以通过自监督视觉表征模型提取并融合实际图像的全局特征向量和各局部特征向量,得到位于预设特征空间的待测特征向量;从自监督视觉表征模型所关联的标准特征库中,获取待测灯位区域对应的位于预设特征空间中的标准特征向量;确定待测特征向量与标准特征向量之间的距离度量值,并比较距离度量值与待测灯位区域对应的缺陷判定阈值之间的大小,以确定待测灯位区域是否存在缺陷。
56、因此,本技术提供的技术方案一方面通过将待测灯位区域的实际图像输入预设的自监督视觉表征模型进行特征提取,并基于待测特征向量与标准特征向量之间的距离度量值和缺陷判定阈值进行缺陷判定,实现了指示灯面板缺陷检测的全自动化处理,无需人工参与比对,避免了人工检测中因疲劳、经验差异等因素导致的漏检和误检问题,提高了检测效率和检测一致性。另一方面,通过自监督视觉表征模型同时提取并融合实际图像的全局特征向量和各局部特征向量,使得融合得到的待测特征向量既包含灯位图像的整体语义信息,又包含灯帽边缘形态、颜色深浅、纹理等局部细微结构信息,相比常规手段中直接进行图像的整体比对方式而言,能够更全面地表征灯位图像的细粒度视觉差异,从而在对相似灯型进行缺陷检测时具有更高的判别精度和检测准确性。同时,通过将待测特征向量和标准特征向量均映射至同一预设特征空间中进行距离度量,并借助标准特征库对标准特征向量进行统一存储和调用,避免了直接进行图像比对时因光照、角度、裁剪偏移等成像差异导致的比对误差,进一步提升了检测的准确性。
57、综上可知,本技术提供的技术方案能够高效且全面地实现对指示灯面板缺陷的准确检测。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com