瑕疵检测方法、瑕疵分类方法及其系统与流程

1.本技术公开一种瑕疵检测方法，特别是一种从合格品学习出的影像特征进行瑕疵检测与瑕疵分类的方法与系统。


背景技术：

2.随着计算机与学习算法技术的发展，在工业制造产业中，除了通过人手或人眼判断物品瑕疵外，利用计算机学习影像并识别物品瑕疵的技术因应而生，利用软件方法能更有效率地执行瑕疵判断。然而，以目前技术来看，以影像识别技术来检测产品的瑕疵，除了需要收集大量的影像外，还有无法收集到完整的瑕疵图像而导致机器学习效果不彰的问题。
3.另外，在机器学习的技术中，利用深度学习算法可以从大量取得的样品影像中学习得出瑕疵判断的模型。然而，要得出能有效判断瑕疵的模型，需要收集各种种类的瑕疵影像，例如，学习过程中须标记每个瑕疵位置，再执行软件学习，操作繁杂且费时，仍需要投入大量的学习与时间成本。进一步地，使用深度学习算法，也有硬件成本高的问题，若学习结果不如预期，还需要重新学习。


技术实现要素：

4.本技术公开一种瑕疵检测方法、瑕疵分类方法及其系统，不同于一般针对瑕疵品学习瑕疵影像特征以判断瑕疵品的方式。根据一实施例：所提出的瑕疵检测系统包括一或多个影像捕获设备，用以取得多个合格品或待测物的影像；设有一计算装置，至少包括处理电路与接口电路，可通过接口电路接收一或多个影像捕获设备拍摄多个合格品或待测物所得出的影像，通过处理电路对这些一或多张影像执行一瑕疵检测方法。
5.在瑕疵检测方法中，对所取得的多个合格品的多张影像执行一机器学习法，以学习多个合格品中的影像特征，建立用以描述合格品影像特征的一合格品模型。应用此合格品模型套用在待测物影像上，以取得待测物影像中的瑕疵数据，之后根据检测参数，对照待测物影像中的瑕疵数据判断待测物是否为一瑕疵品。
6.进一步地，待测物的瑕疵数据根据待测物的属性可以包括一或多个瑕疵的位置、面积、颜色、亮度以及形状的其中的一个或任意组合。
7.如此，待测物的各项瑕疵数据对照检测参数中对于各项瑕疵数据设定的阈值，可以判断待测物是否为一瑕疵品，所判断的瑕疵类型至少包括脏污、缺漏、破损、颜色变化以面积变化。
8.在一实施例中，当系统取得合格品影像后，可切割为多个区块影像，再以机器学习法学习各区块影像中的合格品影像特征，形成描述合格品影像特征的合格品模型，成为各区块正常分布标准表示，各区块正常分布标准包括各像素的强度、面积与颜色的分布。
9.根据本技术所提出的瑕疵分类方法实施例，同样先取得多个合格品的多张影像，经执行机器学习法学习多个合格品中的影像特征，建立用以描述合格品影像特征的合格品
模型，之后拍摄多个待测物以取得多个待测物的多张影像，可应用合格品模型从这些待测物取得具有瑕疵数据的多张图文件，根据事先定义的瑕疵类别，经执行一深度学习法，可分类影像中的瑕疵，以产生瑕疵类别，建立各分类瑕疵项目。
10.进一步地，于拍摄待测物影像的步骤中，可以连续拍摄取得待测物多张影像，并能动态定位被测物的位置，精准定位多张影像中的同一个检测区块，以标示其中多个瑕疵位置与特征信息。并且，于定位检测区块时，还能选择固定或任意形状框选检测范围。
11.进一步地，当取得一或多个瑕疵位置后，可以裁切影像的方式得出多个瑕疵位置区块，使得在后续进行一深度学习法时，可以大幅提升深度学习效率。
12.之后，取得再一待测物的一或多张影像，应用合格品模型取得待测物的瑕疵数据后，可根据瑕疵类别来分类待测物的瑕疵。
附图说明
13.图1显示利用摄影机拍摄样品的系统示意图。
14.图2显示在瑕疵检测方法中学习合格品影像特征建立模型的实施例流程图。
15.图3显示瑕疵检测方法的实施例之一流程图。
16.图4显示瑕疵检测方法中建立瑕疵判断标准的实施例流程图。
17.图5显示瑕疵检测方法中某区块正常分布标准的示意图。
18.图6显示瑕疵检测方法中每张影像中多个区块正常分布标准的示意图。
19.图7显示瑕疵检测方法的实施例之二流程图。
20.图8显示瑕疵分类方法的实施例流程图；以及
21.图9a至9e显示几种瑕疵分类的范例示意图。
具体实施方式
22.以下是通过特定的具体实施例来说明本技术的实施方式，本领域技术人员可由本技术所公开的内容了解本技术的优点与效果。本技术可通过其他不同的具体实施例加以施行或应用，本技术中的各项细节也可基于不同观点与应用，在不悖离本技术的构思下进行各种修改与变更。另外，本技术的附图仅为简单示意说明，并非依实际尺寸的描绘，事先声明。以下的实施方式将进一步详细说明本技术的相关技术内容，但所公开的内容并非用以限制本技术的保护范围。
23.应当可以理解的是，虽然本文中可能会使用到“第一”、“第二”、“第三”等术语来描述各种组件或者信号，但这些组件或者信号不应受这些术语的限制。这些术语主要是用以区分一组件与另一组件，或者一信号与另一信号。另外，本文中所使用的术语“或”，应视实际情况可能包括相关联的列出项目中的任一个或者多个的组合。
24.本技术公开一种瑕疵检测方法、瑕疵分类方法以及系统，有别于一般通过学习瑕疵品影像特征建立检测瑕疵的模型的方式，本技术所提出的瑕疵检测方法系以合格品(non-defective unit)影像为基础，学习合格品的影像特征，作为瑕疵检验的依据。
25.相对于需要取得具有各种瑕疵样式的瑕疵品而言，取得合格品样品相对容易多了，根据瑕疵检测流程的技术概念，第一阶段关于质量检测，需要采样多个合格品，但合格品样品收集相对容易，之后利用机器学习法(machine-learning method)学习合格品的影
像特征，目的是找出定义合格品的影像特征与各种特征之间的关联性，这方面比学习瑕疵影像特征需要的硬件算力相对较低，且效率更好。通过机器学习法筛选出瑕疵影像，之后还可经过人工或机器判断其准确度，经过参数调整与多次训练后，可以精进所得出的模型。之后，根据事先定义的瑕疵类别，再进行第二阶段以深度学习法(deep-learning method)建立瑕疵分类，用于指出各种瑕疵的类别。其优点之一为，在第一阶段筛选出可疑瑕疵后，可大幅缩小需分类的瑕疵图像的范围，让深度学习分类可更快速运算。
26.实现瑕疵检测方法的系统实施例可参考图1所示利用摄影机拍摄样品的系统示意图。
27.瑕疵检测系统主要组件包括有一或多个以各种形式的光学设备实现的影像捕获设备，实现自动光学检测的目标。如图中显示有摄影机111,112,113，用以取得合格品或待测物的影像。如示意图显示在一光源14下拍摄样品12，当系统要建立合格品模型时，即以多个合格品替换作为样品12，以摄影机111,112,113从不同角度拍摄样品12，取得合格品的影像。瑕疵检测系统设有一计算装置10，其中主要组件包括处理电路101、储存装置103与接口电路105，通过接口电路105可接收一或多个摄影机111,112,113拍摄合格品或待测物所得出的一或多张影像，通过处理电路101针对所取得的一或多张影像执行瑕疵检测方法。储存装置103用以储存影像数据，以及经过分析得出的数据等。根据一实施例，瑕疵检测系统可设有控制电路107，控制电路107为计算装置10用以控制摄影机111,112,113运作的驱动电路，让用户可以通过控制电路107操作摄影机的运作与拍摄。
28.根据以上描述的瑕疵检测系统的实施例，即以计算装置10中的处理电路101执行瑕疵检测方法与瑕疵分类方法，特别是其中应用的机器学习法与深度学习法。常见机器学习的方法例如(但不限于此)线性回归(linear regression)、逻辑回归(logistic regression)、支持向量机(support vector machine)、分类和回归树(classification and regression tree)等。
29.上述机器学习法等相关学习算法可以从大量收集的影像数据中自动分析获得影像中特定目标(如合格品、瑕疵品)的影像特征，也包括学习到未知的特征，目标是能够得出各种数据的分布(主要针对合格品)，以及数据之间的关系。然而，为了确保机器学习得出符合需求的模型，还需要在学习训练数据的过程提供大量的样品(合格品、瑕疵品)影像数据，以本技术所揭示的方法为例，先取得生产在线合格品的影像数据，作为学习算法训练的数据。
30.根据实施例，其中机器学习法用以学习在生产在线特定产品的影像中的特征，其中主要是从生产在线得出合格品，从合格品的影像学习得到合格品的影像特征，例如面积的特征、颜色的特征、亮度的特征以及形状的特征等，将这些合格品影像特征建立一合格品模型，反过来用来检测出不符这些特征的瑕疵品。举例来说，可通过合格品模型检测的瑕疵类型如氧化、脏污、刮伤、印刷不良与破损等。
31.图2显示在瑕疵检测方法中学习合格品影像特征建立模型的实施例流程图。
32.首先，在所应用的生产在线取得多个合格品的多个影像(步骤s201)，接着以机器学习法学习合格品影像特征(步骤s203)，学习影像特征的过程中，根据一实施例，针对取得的灰阶或彩色影像进行影像分析，通过机器学习法得出特定产品(合格品)影像中可识别图像的位置、面积、颜色、亮度以及形状等描述合格品的特征，从影像特征中得出描述合格品
的信息，取得影像像素中涉及合格品的规则，建立合格品模型(步骤s205)。举例来说，合格品模型描述的是合格品的影像特性，可以特征向量、影像属性卷标与各像素值等方式表示。
33.为了能够根据合格品模型检测瑕疵，即决定检测参数，其中关于判断瑕疵品的各种阈值(步骤s207)。根据实施例的一个，进行瑕疵检测时，可先根据待测物的属性(如待测物为电子产品、电路板、印刷品、塑料商品、金属物品
…
等)决定瑕疵检测参数为基于其中一或多个瑕疵的位置、面积、颜色、亮度以及形状的其中的一个或任意组合，如此，在检测瑕疵时，可根据这些检测参数，对照待测物的一或多张影像中的瑕疵数据，判断待测物是否为一瑕疵品。
34.依据图2描述的流程建立的合格品模型，图3接着显示瑕疵检测方法的实施例之一流程图。
35.利用系统提供的摄影机拍摄一待测物(步骤s301)，取得待测物的一或多张影像(步骤s303)，接着应用合格品模型，根据待测物的属性取得待测物影像中不符合格品模型中描述的合格品影像特征的一或多张影像中的瑕疵数据(步骤s305)，取得疑似瑕疵的位置以及相关瑕疵数据，如面积、颜色、亮度以及形状的其中的一个或任意组合(步骤s307)，接着，可根据待测物的属性取得根据检测参数，即将判断为疑似瑕疵的影像比对检测参数(步骤s309)，其中会依据系统针对瑕疵设定的判断条件(强度、容许度，并可依据需求调整)筛选出确定瑕疵的部份，筛选时，可以待测物的各项瑕疵数据(面积、颜色、亮度以及形状的其中的一个或任意组合)对照检测参数中对于各项瑕疵数据设定的阈值，以判断待测物是否为一瑕疵品(步骤s311)。
36.在此一提的是，以上方法以合格品影像作为训练模型的材料，过程中并未判断与标注瑕疵的需求，因此可以省下大量的运算时间，建立合格品模型可以判断出待测物上的瑕疵，接着再套用瑕疵判断条件。
37.在判断是否有瑕疵的方法中，还可将影像分割为m x n区块，各区块根据学习结果得出合格品的影像特征，例如可以是各区块中各像素的强度、面积与颜色(影像特征)的分布，因此，描述合格品影像特征的合格品模型则可以是各区块正常分布标准，相关实施例可参考图4所示瑕疵检测方法中建立瑕疵判断标准的实施例流程图。
38.先取得一或多张合格品影像(步骤s401)，并将各影像切割为多个区块影像(步骤s403)，接着可参考以上实施例的描述，以机器学习法学习各区块影像中合格品影像特征(步骤s405)，如此可以建立各区块正常分布标准(步骤s407)。也就是说，利用机器学习法建立的合格品模型可以各区块正常分布标准表示，各区块正常分布标准包括各像素的强度、面积与颜色的分布。因此，之后可以此分布标准(合格品模型)取得待测物的一或多张影像中的瑕疵数据，配合依照待测物的属性设定的检测参数，以比对待测物影像中各区块的像素影像值，可判断各区是否具有瑕疵，再以整体来看，判断待测物是否属于瑕疵品。
39.根据一实施例，当完成学习合格品影像特征后，系统可产生多种(如3种)不同强度的筛检率数值，使得用户可在系统提供的用户接口中，根据系统建议参数值，通过照片呈现的不同强度的筛选效果，直观式挑选适合的数值。
40.以上实施例各区块影像特征的分布可参考图5所示瑕疵检测方法中某区块正常分布标准的示意图。
41.图中显示合格品或待测物的影像中某区块的影像特征分布，其中横轴为像素的强
度值，纵轴为某一检测参数，例如为合格品参数频率值，显示的曲线可以是各像素的强度、面积与颜色的分布，其中有两条垂直虚线，为决定是否属于正常范围的阈值一501与阈值二502，阈值一501与阈值二502即用于筛选瑕疵影像，并可依照实际需求调整。
42.针对合格品而言，经过机器学习法可以得出整张影像的正常分布标准，如图6所示。接着，后续比对的待测物也同样地将影像切割为多个区块，通过每个区块的分布判断是否为疑似瑕疵，作为初步筛选的方法，因此可以有效降低瑕疵判断的计算需求。
43.其中，利用合格品的各影像区块的正常分布标准建立的合格品模型，可执行瑕疵检测，如图7所示瑕疵检测方法的实施例之二流程图。
44.先拍摄取得待测物影像(步骤s701)，在将待测物影像切割为多个区块影像(步骤s703)，并取得各区块影像特征，如强度、其中图案面积与颜色的特征分布等(步骤s705)，同样可得到各区块的影像特征分布，这时，经比对各区块正常分布标准(步骤s707)，配合上述实施例描述的阈值范围，可以判断各区块是否属于瑕疵，并再判断整体是否符合瑕疵品的条件(步骤s709)。
45.值得一提的是，本技术所提出的瑕疵检测方法可以在连续拍摄取得多张待测物影像后，通过系统动态定位被测物的位置，且针对多个区块影像执行图像处理程序中，能高速变换不同的影像(图文件)，还可精准定位到同一个检测区块，通过并一次标示多个瑕疵位置与特征信息。根据上述图4描述的实施例，通过机器学习法学习合格品影像特征后，可定义出多重瑕疵，如此，只要检验一次，即可标示出待测物影像中由不同成因而造成的多个瑕疵。
46.再者，由于待测物型态多变，在定位检测区块时，可以任意形状框选检测范围，且能独立设置不检测区块，并可通过一次的框选固定或任意形状。若可框选任意形状，可增加用户操作软件方便度，此外，通过设置不检测区块的功能，可加速人员判断瑕疵范围并只聚焦于检测区块上。
47.举例来说，其中各区块影像特征(依照待测物属性与需求)包括由待测物各区块影像特征所计算得出的强度改变(亮度)、面积变化、颜色变化，比对由系统根据需求建立的判断瑕疵的条件，包括瑕疵涵盖范围(如阈值一501与阈值二502)。若判断其中的一个区块符合瑕疵条件，但仍可能不算为瑕疵，进一步设定的检测参数可以是符合瑕疵条件的区块数量或位置，因此仍需要全部或部份区块判断待测物是否为瑕疵品。
48.以上各实施例所描述的瑕疵检测方法在整个系统运作上为第一阶段，当第一阶段利用机器学习法建立合格品模型可筛选出待测物的可疑瑕疵后，对照事先定义的瑕疵类别，还可在第二阶段以深度学习法建立瑕疵分类，用于指出各种瑕疵的类别。且第一阶段的结果可大幅缩小需分类的瑕疵图像的范围，让深度学习分类可更快速运算。
49.值得一提的是，当通过深度学习得出瑕疵分类后，还可经过调整再次以深度学习法，通过多次训练改善瑕疵分类的判断。
50.图8显示瑕疵分类方法的实施例流程图，系统可先根据需求，包括先前收集得到的瑕疵图案，可以指定瑕疵的项目，作为瑕疵分类的依据。在流程中，先取得待测物影像(步骤s801)，较佳地，拍摄多个待测物以取得多个待测物的多张影像，再套用合格品模型(步骤s803)，应用根据待测物属性选择的合格品模型从多个待测物取得具有瑕疵数据的多张图文件。其中，可以对整张待测物影像得出具有瑕疵的位置与其形式，如面积、颜色、亮度以及
形状等，或是经过切割为多个影像区块后比对其中色彩或亮度等的正常分布标准，可取得瑕疵区块(步骤s805)。
51.在此一提的是，在瑕疵分类方法中，在进行分类之前，可于取得一或多个瑕疵位置后，以一裁切影像的方式得出多个瑕疵位置区块，使得方法在后续进行一深度学习法时，可以大幅提升深度学习效率。
52.接着即以深度学习法学习各种瑕疵特征，以分类瑕疵，其中采用的方法例如(但不限于此)逻辑回归模型(logistic regression model)与k-次交叉验证(k-fold cross validation)，将输入的瑕疵影像通过学习得到描述各种瑕疵类别的函数，建立各分类瑕疵项目，包括可建立瑕疵检测模型(步骤s807)。之后，根据这个瑕疵检测模型，可以针对生产在线的产品执行瑕疵检测与分类(步骤s809)，其中，同样输入待测物的影像，除判断是否有瑕疵外，还可针对瑕疵分类，以利后续修正系统参数。
53.图9a至9e显示几种瑕疵分类的范例示意图，但瑕疵分类并不以此例为限。图中显示的范例为以一印刷品上的字母为例，经拍摄此印刷品得到影像后，通过合格品模型判断出瑕疵的部份，再以瑕疵检测模型进行分类。举例来说，得出如图9a示意表示其中有脏污的瑕疵；如图9b有因为印刷不良造成的缺漏问题；如图9c因为印刷过程中被机械刮伤产生了破损；如图9d显示因为印刷颜料不良或是过程中的缺失产生了颜色变化的问题；以及图9e所示因为印刷问题形成了面积变化等。
54.综上所述，以现有技术而言，如今在制造业中，产品检验大多仍仰赖人工检测的方式，机器检测技术为辅助，人工检测为主。因此有耗费人力、缺乏效率，以及不容易执行更精密的检测，甚至容易发生疏失。因此，根据以上实施例所描述的瑕疵检测与分类方法，提出瑕疵检测系统，利用合格品影像执行机器学习法，学习合格品的影像特征后建立用以描述合格品影像特征的合格品模型。之后的应用仅需设定瑕疵强度与瑕疵大小容许度，即可依照实际需求调整检测严谨度，根据所设定的检测参数检测物品的瑕疵。还可利用深度学习分类瑕疵，强化检测精度，以此方法因应现行发生在生产在线的检测需求，实现强大却又简易的检测能力，还可大幅提升产品合格率。
55.以上所公开的内容仅为本技术的可选可行实施例，并非因此局限本技术的专利保护范围，所以凡是运用本技术及附图内容所做的等效技术变化，均包含于本技术的专利保护范围内。