基于双摄像和多光源的缺陷检测方法及系统与流程

1.本发明涉及计算机技术领域，尤其涉及一种基于双摄像和多光源的缺陷检测方法及系统。


背景技术：

2.在一般的工业场景的基于视觉的缺陷检测场景下，通过在检测平台上方设置摄像头来采集需要进行检测的产品的图片来检测是否存在缺陷。但是，通过单个摄像头无法采集待检测产品上存在的全部的缺陷图片，导致待检测产品上的缺陷无法完全检测出来，导致漏检率过高，无法满足产品品质的高要求，无法取代人工对产品进行目检。


技术实现要素：

3.基于此，有必要针对上述问题，提出了一种基于双摄像和多光源的缺陷检测方法及系统。
4.在本发明的第一部分，提供了一种基于双摄像和多光源的缺陷检测方法，所述方法基于一包含双摄像装置的缺陷检测系统，所述缺陷检测系统包括用于放置待检测产品的检测平台以及设置于检测平台上方的第一摄像装置、设置于检测平台下方的第二摄像装置；所述检测平台上方和下方分别设置至少一个光源，用于在所述第一摄像装置和第二摄像装置采集待检测产品的待检测图像时提供光源；所述方法包括：分别控制所述至少一个光源按照预设的控制时序进行点亮；在至少一个光源点亮的情况下，通过所述第一摄像装置和第二摄像装置分别同时采集所述待检测产品的正面图像和反面图像作为待检测图像；按照预设的缺陷识别算法，根据所述至少一个光源下待检测图像识别所述待检测产品的缺陷检测结果。
5.可选的，所述待检测产品为玻璃产品。
6.可选的，所述分别控制所述至少一个光源按照预设的控制时序进行点亮的步骤，还包括：在一个时序周期内，控制至少一个光源按照预设的顺序分别进行点亮。
7.可选的，所述在至少一个光源点亮的情况下，通过所述第一摄像装置和第二摄像装置分别同时采集所述待检测产品的正面图像和反面图像作为待检测图像的步骤，还包括：对至少一个光源点亮下采集的正面图像和反面图像进行融合处理，将融合处理之后的图像作为所述待检测产品对应的待检测图像。
8.可选的，所述对至少一个光源点亮下采集的正面图像和反面图像进行融合处理，将融合处理之后的图像作为所述待检测产品对应的待检测图像的步骤，还包括：对每一个光源点亮下采集的正面图像和反面图像进行融合处理，获取每一个光源
点亮下的待检测图像；或，对每一个摄像装置在不同光源点亮下采集的图像进行融合处理，获取每一个摄像装置下的待检测图像。
9.可选的，所述缺陷检测系统还包括fpga图像采集模块，所述fpga图像采集模块用于执行所述在至少一个光源点亮的情况下，通过所述第一摄像装置和第二摄像装置分别同时采集所述待检测产品的正面图像和反面图像作为待检测图像的步骤。
10.在本发明的第二部分，提供了一种基于双摄像和多光源的缺陷检测系统，所述缺陷检测系统包括用于放置待检测产品的检测平台以及设置于检测平台上方的第一摄像装置、设置于检测平台下方的第二摄像装置；所述检测平台上方和下方分别设置至少一个光源，用于在所述第一摄像装置和第二摄像装置采集待检测产品的待检测图像时提供光源；所述第一摄像装置和第二摄像装置用于在光源点亮的情况下采集图像；所述缺陷检测系统还包括处理模块，所述处理模块用于：控制所述至少一个光源按照预设的控制时序分别进行点亮；在至少一个光源点亮的情况下，控制所述第一摄像装置和第二摄像装置分别同时采集所述待检测产品的正面图像和反面图像作为待检测图像；按照预设的缺陷识别算法，根据所述至少一个光源下待检测图像识别所述待检测产品的缺陷检测结果。
11.可选的，所述待检测产品为玻璃产品。
12.可选的，所述处理模块还用于：在一个时序周期内，控制至少一个光源按照预设的顺序分别进行点亮。
13.可选的，所述处理模块还用于：对至少一个光源点亮下采集的正面图像和反面图像进行融合处理，将融合处理之后的图像作为所述待检测产品对应的待检测图像。
14.可选的，所述处理模块还用于：对每一个光源点亮下采集的正面图像和反面图像进行融合处理，获取每一个光源点亮下的待检测图像。
15.可选的，所述处理模块还用于：对每一个摄像装置在不同光源点亮下采集的图像进行融合处理，获取每一个摄像装置下的待检测图像。
16.可选的，所述处理模块为fpga图像处理模块。
17.采用本发明实施例，具有如下有益效果：采用了上述基于双摄像和多光源的缺陷检测方法和系统之后，在放置待检测产品的检测平台上下两方分别设置一个摄像装置，并且设置多个光源，控制不同的光源点亮并且控制两个摄像装置在光源点亮的情况下采集待检测产品的缺陷图像，以获取上下两个摄像装置在不同光源点亮下从不同角度采集到的图像来进行缺陷识别，并获取待检测产品的缺陷检测结果，以提高缺陷检测的准确率，降低缺陷漏检率，提高产品的良品率。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
19.其中：图1为一个实施例中一种基于双摄像和多光源的缺陷检测系统的组成示意图；图2为一个实施例中摄像装置和光源的设置示意图；图3为一个实施例中一种基于双摄像和多光源的缺陷检测方法的流程示意图；图4为一个实施例中运行上述基于双摄像和多光源的缺陷检测方法的计算机设备的结构示意图。
具体实施方式
20.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
21.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
22.在本实施例中，提供了一种基于双摄像和多光源的缺陷检测方法，该方法的执行可以是在工业场景，例如在产品线，通过在产品线上设置摄像头来采集产品线上的产品的图像，然后基于图像识别来对相应的产品是否存在缺陷来完成对产品的缺陷检测和分类，以将良品与次品进行区分。
23.在本实施例中，上述基于双摄像和多光源的缺陷检测方法的实现可以是基于一缺陷检测系统，该缺陷检测系统是基于双摄像和多光源来进行检测系统的。进一步的，如图1所示，上述基于双摄像和多光源的缺陷检测系统10包括检测平台101、以及设置在检测平台101上方的第一摄像装置1021和设置在检测平台下方的第二摄像装置1022，并且，缺陷检测系统10还包括了设置在检测平台101上方和下方的多个光源103。
24.其中，检测平台101是用来放置待检测产品的，检测平台可以设置在产品生产线上的任意的一个生产位置，也可以设置在产品生产完毕之后专门的检测位置，在将待检测产品放置在检测平台101上时，通过上述缺陷检测系统10对待检测产品是否存在缺陷进行检测。
25.第一摄像装置1021和第二摄像装置102可以是任意的可以对待检测产品进行图像采集的摄像装置，例如，线扫描相机、高清摄像头等，在本实施例中不对此进行限定。第一摄像装置1021和第二摄像装置102可以在光源点亮或不点亮的情况下，采集待检测产品的图像，以用于后续基于图像识别来判断待检测产品是否存在缺陷。
26.在检测平台101上方和下方分别设置了多个光源103，这多个光源103可以从不同角度为第一摄像装置1021和第二摄像装置102的图像采集提供光源。其中，这多个光源103
可以是相同类型的光源，设置在检测平台101上方和下方相对于待检测产品的不同角度；或者，这多个光源103还可以是不同类型的光源，以使得在不同类型的光源点亮下，第一摄像装置1021和第二摄像装置102可以采集待检测产品不同角度和不同光源类型的多个图像。在一个具体的实施例中，上述多个光源103可以是高亮线光源。
27.需要说明的是，在本实施例中，在光源点亮的情况下，需要同时控制第一摄像装置1021和第二摄像装置1022同时采集待检测产品在不同视场下的图像；也就是说，在一次光源点亮的情况下，同时通过第一摄像装置1021和第二摄像装置1022进行图像的采集，可以对光源进行重复利用，可以节省光源设置的空间资源，节省了光源设置的数量，降低了缺陷检测的成本。
28.在一个实施例中，如图2所示，在检测平台101上方设置了第一摄像装置1021以及第二摄像装置1022，其摄像装置设置的位置相对于检测二平台101是对称的。在检测平台101上方设置了3个光源103，光源1、光源2、光源3，在检测平台101下方设置了3个光源103，光源4、光源5、光源6，并且光源1、光源2、光源3和光源4、光源5、光源6的设置位置，相对于检测平台101来讲是对称设置的。在一个光源点亮时，第一摄像装置1021和第二摄像装置102与点亮的光源的相对角度是不同的，获得的图像效果也不相同。
29.具体的，请参见图3，上述基于双摄像和多光源的缺陷检测方法包括了如图3所示的如下步骤s102
‑
s106：步骤s102：分别控制所述至少一个光源按照预设的控制时序进行点亮。
30.为了采集在不同光源下的缺陷图像，在本步骤中，需要控制上述至少一个光源103分别进行点亮，然后在光源点亮的情况下控制第一摄像装置1021和第二摄像装置102采集图像。具体实施中，在一次采集图像过程中点亮的光源可以是单个光源，也可以是多个光源。
31.例如，每次控制一个光源点亮。光源1到光源6点亮按照预设的顺序（例如，从光源1到光源6的顺序），同时控制第一摄像装置1021和第二摄像装置1022在对应光源点亮时采集图像。
32.再例如，每次控制至少一个光源点亮，按照预设的每次点亮的光源的设置分别点亮相应的光源。
33.在本实施例中，需要预先设置在一个周期内点亮光源的控制时序，该控制时序包含了每次点亮的光源，以及点亮相应的光源的时长。在每个周期内，每次点亮的光源不同。在本步骤中，在一个周期内，按照光源点亮的控制时序，分别控制光源进行点亮。
34.步骤s104：在至少一个光源点亮的情况下，通过所述第一摄像装置和第二摄像装置分别同时采集所述待检测产品的正面图像和反面图像作为待检测图像。
35.在每次光源点亮时，通过第一摄像装置1021和第二摄像装置1022分别采集检测平台上的待检测平台的正面图像和反面图像，其中，两个摄像装置图像的采集是同时的。
36.并且，因为两个摄像装置在一次光源点亮时，对待检测平台的图像的采集是同时的，其中，因为第一摄像装置1021和第二摄像装置1022设置在检测平台的上方和下方，在任意一个光源点亮的情况下，点亮的光源与第一摄像装置1021和第二摄像装置1022之间的相对角度不同，并且第一摄像装置1021和第二摄像装置1022在待检测产品的正面和反面，其采集到的图像的缺陷效果也不同。在一个具体的实施例中，如图2所示，例如光源1点亮时，
第一摄像装置1021采集的是反射明场图像，第二摄像装置1022采集的是透射明场图像。光源2点亮时，第一摄像装置1021采集的是反射暗场图像，第二摄像装置1022采集的是透射暗场图像。光源3点亮时，第一摄像装置1021采集的是反射暗场图像，第二摄像装置1022采集的是透射暗场图像。光源4点亮时，第一摄像装置1021采集的是透射明场图像，第二摄像装置1022采集的是反射明场图像。光源5点亮时，第一摄像装置1021采集的是透射暗场图像，第二摄像装置1022采集的是反射明场图像。光源6点亮时，第一摄像装置1021采集的是透射暗场图像，第二摄像装置1022采集的是反射明场图像。
37.在一个具体的实施例中，将每次光源点亮下，将第一摄像装置1021和第二摄像装置1022采集到的图像分别作为待检测图像，也即获取多张待检测图像。
38.在另一个具体的实施例中，将每次光源点亮下，第一摄像装置1021和第二摄像装置1022分别采集到的图像进行融合处理，以获取融合之后的图像，并且将双摄像、多光源下采集到的图像进行融合处理以获取待检测图像。
39.其中，可以是对每一个光源点亮下采集的正面图像和反面图像进行融合处理，获取每一个光源点亮下的待检测图像；以了解每一个光源点亮下的待检测产品的图像。
40.或者，对每一个摄像装置在不同光源点亮下采集的图像进行融合处理，获取每一个摄像装置下的融合处理作为待检测图像。
41.例如，第一摄像装置1021在光源2时拍摄的透射暗场图像和第一摄像装置1021在光源3时拍摄的透射暗场图像可以进行融合，以获取融合之后的待检测图像。在其他实施例中，图像之间的融合还可以是其他不同的图像组合之间的融合，在这里不进行限定。
42.在本实施例中，通过不同摄像装置和/或不同光源点亮下（即不同视场下）采集的图像之间的图像融合处理以获取待检测图像，可以提高图像中缺陷的显著性，从而提高后续基于图像识别的缺陷检测准确率。
43.步骤s106：按照预设的缺陷识别算法，根据所述至少一个光源下待检测图像识别所述待检测产品的缺陷检测结果。
44.在本实施例中，在获取到上述待检测产品在第一摄像装置1021和第二摄像装置1022下，且在不同光源的点亮下采集到的待检测图像之后，即可基于待检测图像进行缺陷识别。其中，可以根据任意的图像处理算法来对待检测图像中的缺陷进行识别，以获取对应的缺陷检测结果。例如，可以基于卷积神经网络来提取待检测图像中的缺陷特征，或者，基于其他特征提取算法来获取待检测图像中的缺陷特征，然后基于提取到的缺陷特征确定待检测产品的缺陷检测结果。
45.在一个具体的实施例中，上述待检测产品为玻璃，因为玻璃的特殊性，相较于其他产品，单个或单侧光源下的缺陷更不容易被检测到，因此，上述缺陷检测方法对于玻璃产品的缺陷检测有更好的效果提升，能更大程度上提升缺陷检测的准确率。
46.需要说明的是，在本实施例中，为了提高缺陷检测的准确性，还可以连续在多个周期内，分别控制第一摄像装置1021和第二摄像装置1022下在预设的控制时序下采集相应的图像，其中，多个周期可以是1个周期，也可以是2个周期、或者任意多个周期。在图像采集过程中，进行图像的融合处理以获取融合之后的图像，并且在图像采集结束之后，进行图像的拆分，以获取不同角度的不同光源下的待检测图像的输出，并将不同角度的不同光源下的待检测图像作为步骤s106中的输入，以获取待检测产品的缺陷检测结果，从而获取更准确
的缺陷检测结果。
47.在上述缺陷检测方法中，通过检测平台上下设置的两个摄像装置配合多个光源从不同的 角度对产品的缺陷进行图像采集，可以采集到不同角度下的多张图像，然后不同角度下的图像互相融合之后进行图像识别以识别待检测产品的缺陷，可以从各个角度更好的呈现出缺陷的形态，提高缺陷检出率，提高缺陷检测的准确性，降低缺陷的漏检率。
48.在另一个实施例中，上述基于双摄像和多光源的缺陷检测系统还包括了如图1所示的fpga图像采集模块104，其中，fpga（field programmable gate array，现场可编程逻辑门阵列）图像采集模块为与第一摄像装置1021、第二摄像装置1022以及多个光源103连接的计算机设备上设置的处理器模块，用于控制第一摄像装置1021、第二摄像装置1022进行图像的采集，以及控制多个光源103的点亮，还可以进行图像的融合处理。在一个具体的实施例中，基于待检测图像的缺陷识别过程可以是基于上述fpga图像采集模块104实现的，也可以是基于与fpga图像采集模块104连接的其他计算机设备实现的（例如，与fpga图像采集模块104连接的服务器设备）。
49.图4示出了一个实施例中实现上述基于双摄像和多光源的缺陷检测方法的计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图4所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述方法。本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
50.采用本发明实施例，具有如下有益效果：采用了上述基于双摄像和多光源的缺陷检测方法和系统之后，在放置待检测产品的检测平台上下两方分别设置一个摄像装置，并且设置多个光源，控制不同的光源点亮并且控制两个摄像装置在光源点亮的情况下采集待检测产品的缺陷图像，以获取上下两个摄像装置在不同光源点亮下从不同角度采集到的图像来进行缺陷识别，并获取待检测产品的缺陷检测结果，以提高缺陷检测的准确率，降低缺陷漏检率，提高产品的良品率。
51.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink) dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
52.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例
中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
53.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。请输入具体实施内容部分。