一种基于双路径融合与反馈自学习的光学检测方法及系统

本发明涉及光学自动检测，具体涉及一种基于双路径融合与反馈自学习的光学检测方法及系统。

背景技术：

1、在电子制造、精密装配、屏幕模组、电池模组、中框及连接器等生产场景中，常使用光学自动检测方法来替代或辅助人工质检，以检测生产中的表面缺陷、纹理异常、结构异常、装配异常等异常缺陷，现有光学自动检测方法主要包括以下几类：

2、一是基于规则和传统机器视觉的方法，例如阈值分割、边缘检测、模板匹配、形态学分析等，该类方法对能较为有效地检测已知固定缺陷，但在遇到非固定缺陷时，往往需要人工重新设计规则，重新开发检测方法，对新缺陷、新纹理、新工位和光照变化适应性较弱；

3、二是基于深度学习的监督检测或分割方法，该类方法依赖大量带标注缺陷样本，而工业场景中的真实缺陷样本稀缺，且新缺陷出现时难以及时采集足够数据，难以直接应用于真实工业场景中；

4、三是基于无监督或一类学习的异常检测方法，例如通过正常样本学习正常分布，再将偏离正常分布的区域判定为异常缺陷区域，该类方法不依赖于缺陷样本的采集标注，但同时也造成了可用缺陷样本利用率不足，缺少反馈闭环，难以自主学习更新；

5、此外，一些光学自动检测方法引入了人工反馈系统，可收集人工标注检测结果反馈数据，但反馈数据仅作为离线再训练数据，缺少与光学自动检测方法实时联动的在线闭环机制。

6、因此，有必要提供一种基于双路径融合与反馈自学习的光学检测方法及系统，能够充分利用真实工业场景中仅有的少量缺陷样本，能够基于闭环反馈进行自主更新，具备对新缺陷、新工位、新纹理更强的适应能力，快速跟进新缺陷、新产品的质检需求。

技术实现思路

1、针对上述问题，本发明提供了一种基于双路径融合与反馈自学习的光学检测方法及系统，以解决上述背景技术提出的技术问题。

2、本发明解决其技术问题所采取的技术方案：

3、一种基于双路径融合与反馈自学习的光学检测方法，包括如下步骤：

4、s1：采集正常样本图像和缺陷样本图像，基于缺陷样本图像，训练轻量级实时主干推理模型，基于正常样本图像，构建正常图像块记忆库；

5、s2：采集图片或视频帧作为待检测图像，预处理后输入轻量级实时主干推理模型，输出对应的第一异常热力图和第一异常分数；

6、s3：基于第一异常分数，采用风险门控调度方法，判定待检测图像为低风险图像、中风险图像或高风险图像；对于低风险图像，将其作为正常图像输出；对于中风险图像，截取其中的可疑子区域作为待精检图像；对于高风险图像，保留其全图作为待精检图像；

7、s4：基于正常图像块记忆库，输出待精检图像对应的第二异常热力图和第二异常分数；

8、s5：引入视频帧稳定检测方法，结合第一异常分数和第二异常分数，输出正常图像或异常缺陷图像，融合第一异常热力图和第二异常热力图，输出可解释结果；

9、s6：基于可解释结果，人工提交在正常图像中发现的漏检图像，及在异常缺陷图像中发现的误报图像，漏检图像加入缺陷样本，更新轻量级实时主干推理模型，误报图像加入正常样本，更新正常图像块记忆库。

10、进一步的，所述s1中训练轻量级实时主干推理模型的具体方法为：

11、在新产品、新工位或新检测任务上线前，采集少量缺陷样本图像；

12、生成缺陷样本图像的对应缺陷掩码，将缺陷样本图像及其对应缺陷掩码加入缺陷样本集合；

13、构建轻量级实时主干推理模型，包括卷积编码器、特征融合层和预测头，以缺陷样本图像为训练时的输入图像，以缺陷样本图像的对应缺陷掩码为约束，采用像素分类损失和区域重叠损失构建损失函数，训练轻量级实时主干推理模型。

14、进一步的，所述s1中构建正常图像块记忆库的具体方法为：

15、在新产品、新工位或新检测任务上线前，采集少量正常样本图像加入正常样本集合；

16、对每张正常样本图像：采用预设的卷积神经网络提取其多层特征图，将多层特征图按照其空间位置划分为多个分块特征；对所有分块特征进行归一化和压缩处理得到正常分块特征，将正常分块特征保存至正常图像块记忆库。

17、进一步的，所述s2中第一异常热力图和第一异常分数的输出方法具体为：将待检测输入图像输入轻量级实时主干推理模型，生成待检测输入图像对应的异常响应图，将其作为第一异常热力图，选取第一异常热力图中异常响应值的最大值作为第一异常分数，也即，

18、其中，p表示第一异常热力图中的像素点位置，表示整个第一异常热力图区域。

19、进一步的，所述s3中判定低风险图像、中风险图像或高风险图像具的体方法为：

20、获取待检测图像的第一异常分数，设定低风险阈值和高风险阈值，；

21、若，则判定对应的待检测图像为低风险图像；

22、若，则判定对应的待检测图像为中风险图像；

23、若，则判定对应的待检测图像为高风险图像。

24、进一步的，所述s4的具体方法为：

25、从每张待精检图像中,提取得到多个待精检分块特征；

26、计算各待精检分块特征与正常图像块记忆库中的各正常分块特征之间的欧式距离，将最小欧式距离得到各待精检分块特征的记忆库异常分数，也即：

27、

28、其中，、分别为第i个待精检分块特征的记忆库异常分数、特征值，为第j个正常分块特征的特征值，i=1,2,3…，j=1,2,3…；

29、将各待精检分块特征的记忆库异常分数按其在待精检图像中的空间位置，生成第二异常热力图，；

30、从第二异常热力图中提取第二异常分数,

31、

32、其中，为第二异常热力图中的像素点位置，表示整个第二异常热力图的区域。

33、进一步的，所述s5中视频帧稳定检测方法具体为：

34、对于来源为第t个间隔帧的待检测图像，融合第一异常热力图和第二异常热力图，生成融合异常热力图，将融合异常热力图进行指数滑动平均处理，得到平滑异常热力图，也即，

35、

36、其中，t为正整数，为该待检测图像的平滑异常热力图，为该待检测图像上一间隔帧的平滑异常热力图，为平滑系数，其取值范围为(0,1)；

37、获取待检测图像及其相邻n个间隔帧的异常判定结果，进行短窗口投票，得到待检测图像的平滑投票分数，

38、

39、其中，n为取值范围为[3,5]正整数，为与待检测图像相邻k个间隔帧的异常判定结果；

40、选取平滑异常热力图中的最大响应值作为平滑异常分数，结合平滑投票分数得到视频帧稳定分数，。

41、进一步的，所述s5中输出正常图像或异常缺陷图像、可解释结果的具体方法为：

42、引入工艺规则分数、语义先验分数，结合第一异常分数、第二异常分数、视频帧稳定分数，计算最终异常分数，

43、

44、其中，、、、、分别为第一权重、第二权重、工艺规则权重、视频帧稳定权重、语义先验权重，其取值范围均为[0,1]，其权重之和为1，各权重的取值由检测模式及要求确定；

45、设定最终判定阈值，当时，判定待检测图像为正常图像并输出，当时，判定待检测图像为异常缺陷图像并输出，最终判定阈值的取值范围为(0,1)；

46、融合第一异常热力图、第二异常热力图、工艺规则图、平滑异常热力图，得到最终异常热力图，

47、

48、其中，、、、为热力图融合权重，分别为第一异常热力图、第二异常热力图、工艺规则图、平滑异常热力图的权重系数，其取值范围均为[0,1]，各权重系数之和为1，工艺规则图根据工艺规则对待检测图像进行约束处理得到；

49、从最终异常热力图中获取缺陷框，输出可解释结果，包括待检测图像的原图、最终异常热力图、原图与最终异常热力图的叠加图、缺陷框、最终异常分数、低风险阈值、高风险阈值、最终判定阈值、检测推理耗时，以及上述结果的结构化json。

50、一种基于双路径融合与反馈自学习的光学检测系统，应用于上述一种基于双路径融合与反馈自学习的光学检测方法，包括：

51、轻量级推理模块：用于利用缺陷样本图像训练轻量级实时主干推理模型，接收预处理后的待检测图像，输出第一异常热力图和第一异常分数；

52、风险门控调度模块：用于接收第一异常分数，判定待检测图像为低风险图像、中风险图像或高风险图像，输出正常图像、待精检图像；

53、精检推理模块：用于接收待精检图像，利用正常图像块记忆库，输出第二异常热力图和第二异常分数；

54、双路径融合模块：用于接收第一异常热力图、第一异常分数、第二异常热力图和第二异常分数，输出正常图像或异常缺陷图像，输出可解释结果；

55、光学自动检测平台：用于接收并显示正常图像、异常缺陷图像、可解释结果，反馈操作员所发现的漏检图像、误报图像，更新轻量级实时主干推理模型、正常图像块记忆库、各项阈值。

56、与现有技术相比，本发明的有益效果是：

57、1.本发明提供的一种基于双路径融合与反馈自学习的光学检测方法，将采用轻量级实时主干推理模型的快速推理路径，与采用正常图像块记忆库的精检推理路径进行双路径融合，先通过轻量级实时主干推理模型，在少样本条件下，对待检测图像进行快速检测，随后采用风险门控调度方法，判定出其中的中风险图像或高风险图像，通过正常图像块记忆库进行精检推理，融合两次检测推理的结果，从而生成最终的异常缺陷判定结果，既保证了检测效率，又增强了检测结果的精度。

58、2.本发明提供的一种基于双路径融合与反馈自学习的光学检测方法，在生成最终异常缺陷判定结果的过程中，引入视频帧稳定方法，既保持了单帧响应的灵敏性，又能够减少单帧待检测图像因抖动、反光和临时遮挡导致的检测错误。

59、3.本发明提供的一种基于双路径融合与反馈自学习的光学检测系统，操作员能够利用光学自动检测平台，及时反馈系统的漏检图像、误报图像，系统根据反馈进行自学习更新，实现了检测系统的自适应优化，提升了检测系统对新缺陷、新工位、新纹理的适应能力，更加便于在实际工业场景中应用。