一种镜片微小缺陷识别抓取系统及方法与流程

1.本发明属于利用光线手段检测透明材料技术领域，具体涉及一种镜片微小缺陷识别抓取系统及方法。


背景技术：

2.随着近视人群的日益增长和老龄化的加剧，眼镜需求量也在与日俱增，镜片生产过程中镜片的缺陷如变形、划痕、破边、裂边、水波纹等瑕疵不容易发现，严重影响了镜片生产的效率。
3.当前国内大多数镜片生产企业采用的人工抽样进行质量检测，这种方法质检过程效率低，质检的结果精度差，更有下列几个严重的缺陷：(1)容易出现漏检的情况，尤其是对于划痕类缺陷来说，往往都非常微小，对于经验丰富的质检员往往都需要花费1～2min的时间来完成一块镜片的检测，而且还不能保证完全避免漏检；(2)对于质检员而言，长时间的重复劳动，人眼极易疲劳，常导致废品漏检，给镜片使用者带来伤害，给镜片厂家的商誉带来不良影响；(3)无法保证统一的质量标准，人工检查时，合格与否是质检员根据感觉主观判断的，不同的人甚至同一人在不同的状态下的判断标准很难做到统一；(4)人工检测的数据记录存储非数字化，无法实现检测结果的数据实时共享；(5)镜片生产线如果要提高成产效率需要雇佣大量工人，加重了镜片生成企业的人力成本。
4.部分镜片生产企业也在尝试采用视觉识别的方式来进行缺陷的自动化识别：即通过对镜片进行拍照或者摄像，采集镜片的图像，然后利用训练后的卷积神经网络模型进行推理计算，从而识别出镜片上的缺陷。但这种方法中摄像机在采集镜片的图像时需要保证光照，而且现在的镜片由于需要防紫外线、过滤蓝光等，通常会在镜片上镀膜，镀膜后的镜片具有反光效果，尤其是墨镜表面反光尤其明显，摄像机在拍摄镜片照片时，图像上就会因为反光而产生干扰像，严重影响了这类反光镜片的缺陷识别准确度。


技术实现要素：

5.本发明意在提供一种镜片微小缺陷识别抓取系统及方法，以准确快速地检测识别透光镜片和反光镜片微小的形变或者划痕缺陷。
6.为了达到上述目的，本发明的方案为：一种镜片微小缺陷识别抓取系统，包括检测平台、抓取模块、形变检测模块、划痕检测模块、摄像模块和算法服务器，检测平台上设置有面光源，摄像模块位于面光源的上方，检测平台上设有面光源，面光源上设有若干个检测区，检测区相对于面光源呈环状分布，检测区相对于面光源转动连接，摄像模块、形变检测模块、划痕检测模块位于检测区上方，抓取模块用于抓取镜片，抓取模块、形变检测模块、划痕检测模块、摄像模块均和算法服务器连接。
7.本方案的工作原理及有益效果在于：利用面光源的均匀的光线穿过镜片发生折射，形变或划痕缺陷让光线穿过镜片后在存在缺陷的地方的折射会发生异常，从而让微小的形变或划痕缺陷更好地被显露出来，减少了漏检的几率。而多角度的摄像机拍摄，则可以
从多个角度同时观测镜片，只要其中一个摄像机检测到人和一种缺陷，即可认定为存在缺陷，进一步避免漏检，提升了检测的准确度。利用经过训练的算法模型推理计算相机拍摄的照片或者视频流，能够大幅提升划痕缺陷的识别准确度和效率。通过抓取模块取放待检测的镜片，然后根据检测结果将有缺陷和无缺陷的镜片分离，减少了人工，而且分别保证了检测前后的装卸料效率，提升了检测效率。
8.可选地，形变检测模块和划痕检测模块共用摄像模块和算法服务器，摄像模块包括三个摄像机，其中一个摄像头位于面光源的正上方，其余两个摄像头位于正上方摄像头的两侧且与检测平台呈30
°
～60
°
夹角。
9.三个摄像头多角度拍摄，能够更好地发现缺陷。
10.可选地，每个检测区均设置有坐标标签，坐标标签为数字编号、二维码、条形码、色块中的一种或者多种的组合。
11.本发明的目的还在于提供一种镜片微小缺陷识别抓取方法，包括形变检测和划痕检测：
12.(一)形变检测包括以下步骤：
13.s1：将镜片置于面光源上；
14.s2：通过摄像机从透镜上方的多角度拍摄多张镜片的照片；
15.s3：算法服务器通过算法将每张镜片的照片从镜片中心开始由内向外生成等分线；
16.s4：每条等分线上周向均布设置多个颜色拾取点，拾取每个拾取点上的rgb值；
17.s5：通过同比法或者环比法比较rgb值，当rgb值任一通道值的差值出现陡增或者陡降时，则可识别为镜片上存在缺陷，其中：
18.同比法为：两个相邻等分线之间的两个相邻拾取点的rgb值的三个通道值分别相减；
19.环比法为：单一等分线上两个相邻拾取点的rgb值的三个通道值分别相减；
20.s6：算法服务器输出检测结果；
21.(二)划痕检测包括以下步骤：
22.s7：将镜片置于面光源上；
23.s8：摄像机多角度拍摄镜片并输出rtsp视频流；
24.s9：算法服务器获取视频流，将视频流通过cpu解码，将解码后的视频流送到已加载算法模型的gpu开始推理计算，并输出检测结果；
25.s10：根据检测结果分别将有缺陷和无缺陷的镜片分类取放；
26.(三)同一镜片的形变检测和划痕检测任一检测结果为有缺陷时，立即停止该镜片的其余检测步骤，并统一判定检测结果为有缺陷；形变检测和划痕检测的结果均为无缺陷时，则判定检测结果为无缺陷；
27.(四)抓取模块用于在检测前将镜片置于面光源上，以及检测后根据检测结果分别将有缺陷和无缺陷的镜片分类取放。
28.可选地，抓取模块为三个机械臂，三个机械臂均通过串口连接至控制器，控制器连接至算法服务器，三个机械臂的协同工作方法为：
29.控制器获取各个检测区坐标，第一机械臂抓取待检测镜片放置到面光源上的检测
区；
30.控制器从算法服务器获取检测检测结果，第二机械臂获取检测结果为无缺陷的检测区的坐标后将该检测区内的镜片放回生产线，第三机械臂获取检测结果为有缺陷的检测区的坐标后，将该检测区内的镜片放置到回收区；
31.第一机械臂的抓取速度大于第二机械臂、第三机械臂的抓取速度。
32.可选地，控制器获取坐标的方法为：驱动电机驱动面光源旋转一圈，让检测区逐一通过摄像机，摄像机通过视觉识别坐标标签获取坐标。
33.可选地，s3中镜片的中心点的确认是利用canny边缘检测算法计算镜片的轮廓，然后求出镜片的中心点。
34.可选地，s3中等分线之间最宽处的距离不超过20像素，单一等分线上相邻两个拾取点之间的距离为1～20像素。
35.可选地，s9中的算法模型为yolov4。
36.可选地，摄像机的多角度拍摄为多个摄像机固定角度同时拍摄，每台摄像机同时拍摄至少两个镜片。
37.有些划痕或者形变只能在特定的倾斜角度观察才能发现，因此转动的面光源、倾斜的多个摄像机以及同时拍摄至少两个镜片的设置，能够在尽量少的摄像机情况下，与镜片之间形成超越了30
°
～60
°
这个角度范围的拍摄视角，避免了出现拍摄死角，避免了漏检，进一步提升了检测的准确度。
附图说明
38.图1为本发明实施例中一种镜片微小缺陷识别抓取系统及方法检测时的逻辑框图；
39.图2为本发明实施例中一种镜片微小缺陷识别抓取系统的结构示意图；
40.图3为本发明实施例中图像帧中镜片的等分线分切示意图。
具体实施方式
41.下面通过具体实施方式进一步详细说明：
42.说明书附图中的标记包括：镜片1、第一机械臂2、第二机械臂3、第三机械臂4、led平面光源板5、电动夹爪6、检测区7、摄像机8、坐标标签9、轮廓10、等分线11、拾取点12。
43.实施例
44.本实施例基本如图1、图2所示：一种镜片1微小缺陷识别抓取系统，包括检测平台、抓取模块、形变检测模块、划痕检测模块、摄像模块和算法服务器：
45.检测平台为框架式结构，检测平台顶面的中部固定有驱动电机，摄像机8均位于面光源上方。本实施例驱动电机采用大扭矩低速直流伺服电机，驱动电机的输出端连接减速器，面光源采用圆形的、白色的led平面光源板5，led平面光源板5整个同轴地固接在减速器的输出端上，led平面光源板5上设有十五个检测区7，检测区7在led平面光源板5上呈环状分布，每个检测区7均设置有坐标标签9，坐标标签9为色块，每个色块的颜色不同。
46.算法服务器为pc机，摄像模块为三个cmos摄像机8，摄像机8内置内存作为数据缓存，摄像均通过usb接口连接到pc机。其中一个摄像机8位于检测区7的正上方，其余两个摄
像机8位于正上方摄像机8的两侧，并与led平面光源板5呈45
°
夹角。
47.抓取模块为三个六轴机械臂，三个机械臂的自由端上加装有电动夹爪6，第一机械臂2的抓取速度大于第二机械臂3、第三机械臂4的抓取速度。第一机械臂2用于抓取待检测镜片1放置到检测区7，第二机械臂3用于将无缺陷的镜片1放回生产线，第三机械臂4用于将有缺陷的镜片1放置到回收区。
48.控制器为带无线通讯模块的plc，无线通讯模块的发送端设在算法服务器上，无线通讯模块的接收端设置在控制器上，本实施例中，无线通讯模块采用蓝牙模块，伺服电机、机械臂、电动夹爪6均与plc通过plc上的串口连接。
49.一种镜片1微小缺陷识别抓取方法(即具体实施过程)为：
50.在开始检测前，准备具有各种划痕缺陷的镜片1视频给yolov4算法模型进行机器学习。将学习完成的算法模型加载到pc机中。打开摄像机8，手动旋转led平面光源板5一圈，让检测区7逐一通过摄像机8，摄像机8通过视觉识别坐标标签9的颜色获取各个检测区7坐标。
51.检测时，打开led平面光源板5，伺服电机启动，带动led平面光源板5以10r/min的转速匀速转动，第一机械臂2将待检测的镜片1逐一地、凹面朝下地放入到led平面光源板5的检测区7中，算法服务器通过计算转速得出每个镜片1运动到摄像模组下方的时间，当镜片1进入到摄像机8的视野内时，pc机控制三个摄像机8同时拍摄镜片1并输出rtsp视频流，pc机将视频流通过cpu解码并提取图像帧，然后：
52.(1)将三个摄像机8提取出来的图像帧均通过canny边缘检测算法计算图像中的镜片1的轮廓10，求出镜片1的中心点，通过opencv从中心点由内向外地在每张照片上每隔十个像素设置一条等分线11，以镜片1的正俯视照片为例，设置m条等分线11，再通过opencv沿每条等分线11的周向地在该等分线11上设置相同数量n的拾取点12并读取该拾取点12的rgb值，并记为单一值，例如原本的rgb[185,185,185]则可记为rgb[185]，每条等分线11上的rgb值为记为一组并逐一编号：
[0053]
[0054][0055]
1)通过同比法比较rgb值：用rgb值组的后一对应值减去rgb值组的前一对应值(即两个相邻等分线11之间的两个相邻拾取点12的rgb值相减)，即：
[0056]
rgb
0201
[183]-rgb
0101
[185]＝183-185＝-2；rgb
0301
[180]-rgb
0201
[183]＝-3；以此类推，在此之前，差值均在0上下波动，直至运算至第七等分线11时，rgb
0701
[224]-rgb
0701
[182]＝42，差值出现了大陡增加，则可识别为该镜片1存在缺陷。此时可停止运算。
[0057]
2)通过环比法比较rgb值：用同一rgb值组的后一rgb值减去rgb值组的前一rgb值，即：
[0058]
rgb
0102
[183]-rgb
0101
[185]＝-2；rgb
0103
[179]-rgb
0102
[183]＝-4；以此类推，上一rgb值组运算完成后，继续进行下一rgb值组的运算，直至运算至第四rgb值组时，rgb
0404
[152]-rgb
0403
[185]＝-32，差值出现了陡降，则可识别为该镜片1存在缺陷。此时可停止运算，同时也停止视频流在划痕检测算法模型中的运算。输出检测结果为该镜片1有缺陷。
[0059]
若所有rgb值组均运算完仍不存在陡增或者陡降的情况，则输出检测结果为该镜片1无缺陷。
[0060]
(2)将解码后的视频流送到已加载yolov4算法模型的gpu开始推理计算，并输出检测结果。
[0061]
由于led平面光源板5是匀速转动，plc通过蓝牙模块与pc机同步时间，plc可准确计算出各个检测区7的实时位置。
[0062]
检测结果通过蓝牙模块传输到plc，plc获取各个检测区7坐标和检测结果，第一机械臂2抓取待检测镜片1放置到检测区7；第二机械臂3获取检测结果为无缺陷的检测区7的坐标后将该检测区7内的镜片1放回生产线，第三机械臂4获取检测结果为有缺陷的检测区7的坐标后，将该检测区7内的镜片1放置到回收区。由于第一机械臂2的抓取速度大于第二机械臂3、第三机械臂4的抓取速度，镜片1被流水式地、逐一地进行检测。
[0063]
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明构思和结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明
实施的效果和本发明的实用性。说明书中的具体实施方式等记载可以用于解释权利要求的内容。