一种用于检查样品上缺陷的系统以及一种用于检查样品上缺陷的方法

摘要: 本发明涉及缺陷检查系统和方法,更具体地说,涉及采用基于事件的视觉和计算神经形态成像的系统和方法,用于对各种样品(包括工业制造环境中的样品)进行超快和动态的缺陷检...
一种用于检查样品上缺陷的系统以及一种用于检查样品上缺陷的方法

本发明涉及缺陷检查系统和方法,更具体地说,涉及采用基于事件的视觉和计算神经形态成像的系统和方法,用于对各种样品(包括工业制造环境中的样品)进行超快和动态的缺陷检查。

背景技术:

1、检查表面缺陷是确保许多领域(特别是在先进制造业,如半导体制造和材料加工中)质量和可靠性的关键过程。常规的缺陷检查技术通常依赖于基于帧的成像系统,例如传统的工业相机。这些系统以固定的时间间隔捕获完整的图像数据帧。

2、然而,当应用于动态或具有挑战性的检查场景时,基于帧的系统可能面临若干限制。例如,由于需要获取、传输和处理整个图像帧,它们通常表现出固有的延迟。这种延迟可能成为高速生产线中的瓶颈。此外,传统相机通常具有有限的动态范围,这使得难以同时检查具有高反射和高吸收区域的样品,或在不均匀或极端照明条件下的样品。这可能导致图像部分曝光不足或过度曝光,从而可能掩盖缺陷。

技术实现思路

1、根据本发明的第一方面,提供一种用于检查对象物件的系统,所述系统包括:事件相机,其被定位以观察所述对象物件并被配置以生成事件流,其中所述事件流包括多个事件,每个事件表示像素位置处的亮度变化;以及处理器,其与所述事件相机通信地耦合,所述处理器被配置为:从所述事件相机接收所述事件流,并处理所述事件流以识别所述对象物件上的缺陷。

2、根据第一方面,所述处理器被配置为以比相应的基于帧的检查系统更低的延迟来识别所述缺陷。

3、根据第一方面,所述事件相机具有高动态范围,并且其中所述处理器被配置为在极端照明条件下识别所述对象物件上的所述缺陷。

4、根据第一方面,所述事件流至少部分地由所述事件相机与所述对象物件之间的相对运动生成,并且其中所述处理器被配置为在没有运动模糊的情况下识别所述快速移动的对象物件上的所述缺陷。

5、根据第一方面,所述事件流至少部分地由所述对象物件或所述事件相机的振动生成,并且其中所述处理器被配置为处理由所述振动生成的事件以增强所述已识别的缺陷的分辨率。

6、根据第一方面,所述处理器被配置为通过直接从多个事件中识别所述缺陷的边缘来处理所述事件流。

7、根据第一方面,所述处理器被配置为通过从多个事件中重建所述缺陷的图像来处理所述事件流。

8、根据第一方面,所述处理器被配置为通过解决线性逆问题来重建所述图像。

9、根据第一方面,所述线性逆问题使用深度正则化来解决。

10、根据第一方面,所述线性逆问题使用从所述事件流导出的光流信息来解决。

11、根据第一方面,所述对象物件是半导体制造过程中的部件。

12、根据第一方面,所述对象物件是焊接金属焊缝。

13、根据第一方面,所述处理器还被配置为通过仅处理多个事件而非完整图像帧来减少计算延迟。

14、根据第一方面,所述处理器被配置为区分由所述振动生成的事件与由所述对象物件的整体运动生成的事件。

15、根据第一方面,所述重建的图像是高对比度图像,其突出显示所述缺陷以区别于背景。

16、根据第一方面,所述事件相机具有微秒量级的时间分辨率。

17、根据第一方面,所述系统被配置为用于在线路面检查。

18、根据本发明的第二方面,提供一种用于检查对象物件的方法,包括以下步骤:使用事件相机,从所述对象物件获取事件流,所述事件流包括多个事件,每个事件表示像素位置处的亮度变化;以及使用处理器,处理所述事件流以识别所述对象物件上的缺陷。

19、根据第二方面,所述处理步骤被实时执行,以实现在高速生产线中对所述对象物件的检查。

20、根据第二方面,所述方法还包括引起所述对象物件或所述事件相机振动的步骤,以生成与所述缺陷的结构特征相对应的事件。

21、根据第二方面,所述处理步骤包括利用由所述振动生成的事件来增强所述已识别的缺陷的分辨率。

22、根据第二方面,所述处理步骤包括从所述事件流重建所述缺陷的图像。

23、根据第二方面,重建所述图像包括解决使用深度神经网络进行正则化的线性逆问题。

24、根据第二方面,所述处理步骤包括通过检测所述事件流中与所述缺陷相对应的锐利边缘来识别所述缺陷。

25、根据第二方面,所述对象物件是运行中的飞机涡轮机,并且在所述涡轮机运动时识别所述缺陷。

26、根据第二方面,所述方法在高动态范围照明条件的环境中执行。

27、根据第二方面,所述处理步骤基于所述事件流中事件的时间特征来识别所述缺陷。

28、根据第二方面,所述对象物件的移动速度会在常规的基于帧的相机系统中引起运动模糊。

29、根据第二方面,执行重建图像的步骤以为人类操作员提供视觉输出。

30、根据本发明的第三方面,提供一种非暂态计算机可读介质,其存储有指令,当由处理器执行时,所述指令使所述处理器执行第二方面的方法。

31、根据本发明的第四方面,提供一种用于检查样品上缺陷的方法,所述方法包括:a.使用事件相机,捕获表示所述样品上像素级亮度变化的异步事件数据流,其中每个事件指示所述亮度变化的位置、时间和极性;b. 使用计算方法处理所捕获的事件数据流以识别与缺陷相关的信息;以及c. 基于所处理的事件数据,生成指示所述样品上一个或多个缺陷的输出;其中,处理所述捕获的事件数据流包括利用与所述样品或所述事件相机相关的机械振动来生成增强所述一个或多个缺陷的结构细节的事件数据。

32、根据第四方面,处理所述捕获的事件数据流的步骤还包括直接从所述事件数据中可视化所述一个或多个缺陷的边缘。

33、根据第四方面,直接可视化边缘的步骤包括从原始或扭曲的事件数据生成边缘图。

34、根据第四方面,处理所述捕获的事件数据流的步骤还包括通过将重建公式化为基于所述事件数据的线性逆问题来重建所述一个或多个缺陷的图像。

35、根据第四方面,重建所述图像还包括应用深度正则化。

36、根据第四方面,所述深度正则化利用从所述事件数据导出的光流信息。

37、根据第四方面,所述事件相机以高时间分辨率操作以检查快速移动的样品。

38、根据第四方面,所述事件相机以高动态范围操作以检查在变化或极端照明条件下的样品。

39、根据第四方面,捕获异步事件数据流的步骤由与光学显微镜系统集成的事件相机执行。

40、根据第四方面,所述光学显微镜系统采用明场照明方案。

41、根据第四方面,所述明场照明方案是同轴前向照明方案。

42、根据第四方面,当像素位置处的对数亮度变化超过预定阈值时,生成事件。

43、根据第四方面,处理所捕获的事件数据流还包括应用对比度最大化算法来扭曲所述事件数据以进行运动补偿或边缘细化。

44、根据第四方面,所述机械振动是所述样品或所述事件相机的操作环境所固有的。

45、根据第四方面,所述机械振动是可控地引起的。

46、根据第四方面,所述方法应用于超快工业检查。

47、根据第四方面,指示一个或多个缺陷的输出用于制造过程中的实时质量控制。

48、根据本发明的第五方面,提供一种用于检查样品上缺陷的系统,包括:a. 事件相机,被配置为捕获表示所述样品上像素级亮度变化的异步事件数据流;以及b. 处理器,与所述事件相机通信地耦合,所述处理器被配置为执行指令以:i. 使用至少一种计算算法处理所捕获的事件数据流以识别与缺陷相关的信息,其中所述处理包括利用与所述样品或所述事件相机相关的机械振动来生成增强一个或多个缺陷的结构细节的事件数据;以及ii.基于所处理的事件数据,生成指示所述样品上一个或多个缺陷的输出。

49、根据第五方面,所述处理器还被配置为通过将重建公式化为线性逆问题并应用深度正则化来重建所述一个或多个缺陷的图像。

50、根据第五方面,所述系统还包括与所述事件相机集成的光学显微镜系统。

51、有利地,所述系统将事件相机与专门的计算算法相结合,以克服传统基于帧的检查的局限性,例如延迟和受限的动态范围。所述系统利用事件相机的高时间分辨率和高动态范围,能够从事件流数据中直接进行缺陷的边缘可视化。一个关键方面涉及利用机械振动来生成增强结构缺陷细节的事件数据。可以通过将线性逆问题与深度正则化相结合来重建缺陷图像。这种方法允许在各种工业应用中进行稳健、高速和高质量的缺陷检测,包括那些具有挑战性照明条件或快速移动样品的应用,从而提高制造效率和质量控制。