一种基于双模态的连接器外观缺陷识别方法、装置及介质与流程
本发明涉及产品外观缺陷识别,具体涉及一种基于双模态的连接器外观缺陷识别方法、装置及介质。
背景技术:
1、type-c连接器作为消费电子核心插接元器件,出厂前需完成全尺寸、全外观缺陷自动化检测。对type-c连接器的外观缺陷检测,目前的主流方案是基于深度学习ccd检测软件实现,主要实现流程可参考图1,包括:
2、(1)通过ccd相机采集type-c连接器的外观图像作为样本图像,且该样本图像为不良样品图像,即存在外观缺陷的type-c连接器外观图片;
3、(2)对样本图像进行旋转、裁剪及亮度变化等预处理,以形成训练数据集;
4、(3)采用训练数据集完成不良品缺陷识别模型训练;
5、(4)通过ccd相机采集新图像,将其输入已完成训练的不良品缺陷识别模型进行推理与缺陷识别;
6、(5)输出本次测试产品合格或不合格的信号。
7、可以看出,现有技术仅依靠单一不良品缺陷识别模型(单模态)完成产品判定,存在如下技术缺陷:
8、(1)新型缺陷漏判风险高:模型仅学习已知不良样本特征,生产过程中出现未录入数据库的全新外观缺陷时,单缺陷模型无法识别,直接判定产品合格,造成不良品流出;
9、(2)缺陷覆盖依赖样本完备度:若产线新增缺胶、划痕、脏污、变形等新型不良,需停机采集、标注新样本并重新训练模型,中断生产;
10、(3)误判与漏判无法同步抑制:单纯提升缺陷判定置信阈值会加剧新型缺陷漏判,降低阈值则良品反光、纹理差异易引发大量误判,二者无法兼顾;
11、(4)无兜底校验机制:单模型判定逻辑单一,无全局良品基准校验,受相机打光、物料反光、环境亮度波动干扰大,检测稳定性差。
技术实现思路
1、针对背景技术中所提及的现有技术缺陷,本发明实施例的目的在于提供一种基于双模态的连接器外观缺陷识别方法、装置及介质,构建“局部缺陷识别模态+全局良品校验模态”双重过滤机制,以良品整体特征为判定基准兜底识别未知新型缺陷,实现产线type-c连接器外观检测零漏判、低误判,同时配套闭环数据回流迭代机制持续优化模型精度。
2、为实现上述目的,第一方面,本发明实施例提供了一种基于双模态的连接器外观缺陷识别方法,包括:
3、通过工业相机获取待检测type-c连接器的产品图像;所述工业相机设置于工业产线检测工位;
4、将所述产品图片输入预训练的第一检测模型进行缺陷识别,得到第一检测结果;所述第一检测模型基于不良品图像训练所得,用于识别不良品的局部缺陷;所述第一检测结果包括所述产品图像对应的待检测type-c连接器合格或不合格;
5、若所述第一检测结果为所述产品图像对应的待检测type-c连接器合格,则将所述产品图像输入预训练的第二检测模型进行良品检测,得到第二检测结果;所述第二检测模型基于良品图像训练所得,用于校验良品的整体形态;所述第二检测结果包括所述产品图像对应的待检测type-c连接器合格或不合格。
6、作为本技术的一种优选实现方式,通过工业相机获取待检测type-c连接器的产品图像之前,所述方法还包括:
7、通过工业相机获取type-c连接器的良品样本图像和不良品样本图像;
8、对所述良品样本图像和不良品样本图像进行数据增强处理,得到初始训练数据集;所述数据增强处理包括图像旋转、随机裁剪、亮度与对比度调整;
9、将所述初始训练数据集中的不良品样本图像导入标注软件,采用人工标注方式完成局部缺陷标注,得到第一数据集;
10、将所述初始训练集中的良品样本图像和不良品样本图像导入标注软件,采用人工标注方式完成整体形态全局标注,得到第二数据集;
11、采用所述第一数据集训练得到第一检测模型,采用第二数据集训练得到第二检测模型。
12、进一步地,作为本技术的一种优选实现方式,得到第一检测模型和第二检测模型之后,所述方法还包括:
13、收集所述第一检测模型和第二检测模型运行后的真实生产数据集;
14、结合所述初始训练集和真实生产数据集对所述第一检测模型、第二检测模型进行模型迭代与优化。
15、作为本技术的一种具体实现方式,所述第一检测模型基于yolo算法架构实现,激活函数采用mish或leakyrelu,损失函数采用焦点损失和泛化交并比损失;所述第二检测模型基于resnet-50架构实现,激活函数采用mish或leakyrelu,损失函数采用交叉熵损失。
16、作为本技术的一种具体实现方式,得到第一检测结果,具体为:
17、将所述产品图片输入预训练的第一检测模型进行特征提取,得到当前产品特征;所述当前产品特征包括边缘特征、纹理特征、颜色特征及形态特征;
18、将所述当前产品特征与缺陷特征库进行相似度计算;
19、若任一所述当前产品特征与缺陷特征数据库比对的相似度高于预设阈值,则判定所述产品图像对应的待检测type-c连接器不合格;
20、若所有所述当前产品特征与缺陷特征数据库比对的相似度均低于预设阈值,则判定所述产品图像对应的待检测type-c连接器合格。
21、作为本技术的一种具体实现方式,得到第二检测结果,具体为:
22、将所述产品图片输入预训练的第二检测模型进行特征提取,得到全局特征;
23、将所述全局特征与良品数据库进行相似度计算,得到良品全局相似度;
24、若所述良品全局相似度低于预设阈值,则判定所述产品图像对应的待检测type-c连接器不合格;反之,则判定所述产品图像对应的待检测type-c连接器合格。
25、进一步地,作为本技术的一种优选实现方式,所述方法还包括:
26、若所述第一检测模型或第二检测模型判定所述产品图像对应的待检测type-c连接器不合格,则输出ng信号;
27、若所述第一检测模型和第二检测模型均判定所述产品图像对应的待检测type-c连接器合格,则输出ok信号。
28、第二方面,本发明实施例提供了一种基于双模态的连接器外观缺陷识别装置,包括:
29、图像采集单元,被配置于通过工业相机获取待检测type-c连接器的产品图像;所述工业相机设置于工业产线检测工位;
30、缺陷识别单元,被配置于:
31、将所述产品图片输入预训练的第一检测模型进行缺陷识别,得到第一检测结果;所述第一检测模型基于不良品图像训练所得,用于识别不良品的局部缺陷;所述第一检测结果包括所述产品图像对应的待检测type-c连接器合格或不合格;
32、若所述第一检测结果为所述产品图像对应的待检测type-c连接器合格,则将所述产品图像输入预训练的第二检测模型进行良品检测,得到第二检测结果;所述第二检测模型基于良品图像训练所得,用于校验良品的整体形态;所述第二检测结果包括所述产品图像对应的待检测type-c连接器合格或不合格。
33、第三方面,本发明实施例还提供了另一种基于双模态的连接器外观缺陷识别装置,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述第一方面的方法。
34、第四方面,本发明实施例还提供了一种计算机可读存储介质,其内存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
35、实施本发明实施例,优点如下:
36、1、彻底解决新型缺陷漏判问题:新增良品全局校验第二模态,不以不良样本库为唯一判定依据,通过比对标准良品整体特征识别数据库未收录的未知缺陷,实现全缺陷覆盖、零漏判;
37、2、误判率大幅降低:配套闭环数据回流迭代机制,定向消除反光、亮度波动带来的误判特征,模型收敛后误判率稳定低于1%;
38、3、无需频繁停机更新缺陷样本:面对产线全新不良类型,无需停机采集标注缺陷样本,良品模型可直接识别异常,减少产线停工损失;
39、4、检测响应速度快:模型推理、信号输出总延迟<50ms,适配高速自动化组装产线;
40、5、鲁棒性强:双模型分工明确,缺陷模型精准定位微小瑕疵,良品模型全局兜底,不受光源、物料表面反光干扰,检测稳定性显著提升;
41、6、模型训练效率高:采用针对性损失函数解决工业场景缺陷样本少、正负样本不均衡问题,残差网络与yolo网络架构适配微小端子外观检测,收敛速度快。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com