外观检查系统的制作方法

1.本公开涉及一种基于图像的外观检查系统。


背景技术：

2.在制造工序中，会对各种对象物进行外观检查。外观检查过去是通过人的目视检查来进行的，但近年来自动化得到了发展。
3.在自动外观检查中，一般利用由精密的光学系统构成的摄像头拍摄对象物，通过计算机的图像处理自动地进行不合格判断。在这样的自动外观检查系统中，将所取得的图像的不合格程度置换为数值，通过将该数值与预先设定好的阈值进行比较来进行判断。在自动外观检查系统中，如果是表面伤痕、污垢、形状、姿势等能够将特征量图像化的项目，则能够作为检查的对象。
4.在自动外观检查系统中，为了防止不合格品出厂，需要提高检测精度。检测精度受到检查参数、例如检查时的照明方法等拍摄条件、对象物的颜色或形状的偏差等拍摄图像的质量的强烈影响。检测精度根据将不合格判断的截止点(阈值)设定在哪里而变化。
5.现有技术文献
6.专利文献
7.专利文献1：日本公开专利公报特开2006－098365号公报


技术实现要素：

8.－发明要解决的技术问题－
9.但是，如果在现有的自动外观检查系统中提高检测精度，则容易产生本来是合格品的产品被判断为不合格品的过度判断(过度检查)，过度判断量也增加。
10.像这样，在自动外观检查中，检测精度与过度判断量之间存在折衷(trade-off)的关系，但设定能够使过度判断量最小化并使检测精度最大化的检查参数或阈值在现实中非常困难。
11.因此，在批量生产时，尽管实际上真正的不合格数量极少，但仍允许一定量的过度判断品的产生，在检查的后段必须通过人的目视再次判断是否为过度判断品等，因此存在生产率降低的问题。
12.本公开的目的在于：能够抑制在外观检查中因过度判断品的产生而引起的生产率的降低。
13.－用以解决技术问题的技术方案－
14.本公开的第一方面是一种外观检查系统，其特征在于：所述外观检查系统包括一次检查部10和二次检查部20，所述一次检查部10基于拍摄对象物而得到的图像，不使用机器学习地进行不合格判断，所述二次检查部20基于由所述一次检查部10判断为不合格的对象物的图像，使用第一机器学习模型21，区分真正的不合格品和被过度判断成不合格品的过度判断品。
15.在第一方面中，二次检查部20基于由一次检查部10判断为不合格的对象物的图像，使用第一机器学习模型21对该对象物是否为过度判断品进行再判断。因此，由于能够抑制过度判断品的产生，所以能够削减在检查的最终阶段通过人力对是否为过度判断品进行再检查的工时，从而能够抑制生产率的降低。
16.本公开的第二方面在第一方面的外观检查系统的基础上，其特征在于：对所述第一机器学习模型21预先进行使用了合格品图像作为训练数据的机器学习，所述二次检查部20基于合格品图像与所述判断为不合格的对象物的图像之间的差分，区分真正的不合格品和过度判断品，所述合格品图像由所述第一机器学习模型21根据所述判断为不合格的对象物的图像生成。
17.在第二方面中，在被判断为不合格的对象物的图像与由第一机器学习模型21生成的合格品图像之间的差分超过规定值的情况下，能够判断为真正的不合格品。因此，不会对对象物的图像的微小变化(位置偏移等)过于敏感，从而能够高精度地进行不合格判断。
18.本公开的第三方面在第二方面的外观检查系统的基础上，其特征在于：所述二次检查部20针对所述判断为不合格的对象物的图像的整体和/或特定部分分别评价与由所述第一机器学习模型21生成的合格品图像之间的差分。
19.在第三方面中，例如，在以安装有部件的印制电路板为对象，一并检查呈各种形状的部件的情况下，能够在对部件安装位置等的检查中，针对包含部件的安装位置的图像的整体(宏观部)进行对与合格品图像之间的差分的评价，在对引线的焊料接合部等的检查中，针对引线的焊料接合部等的图像的特定部分(微观部)进行对与合格品图像之间的差分的评价。这样一来，对于容易埋没在宏观部中的微观部也能够一并进行检查，因此检测力得以提高。
20.本公开的第四方面是在第二或第三方面的外观检查系统的基础上，其特征在于：所述外观检查系统还包括学习数据生成部30，所述学习数据生成部30基于至少包含轮廓的线条画信息，使用第二机器学习模型31，生成多个用于所述第一机器学习模型21的学习的合格品图像。
21.在第四方面中，不需要为了第一机器学习模型21的学习而准备多个对象物的实际图像。因此，例如即使在试制前不存在实物的状态下也能够进行第一机器学习模型21的学习，因此能够提高试制品的检查质量并缩短试制期间。
22.本公开的第五方面在第二或第三方面的外观检查系统的基础上，其特征在于：所述外观检查系统还包括学习数据生成部30，所述学习数据生成部30基于至少一个实际图像，使用第二机器学习模型31，生成多个用于所述第一机器学习模型21的学习的合格品图像。
23.在第五方面中，不需要为了第一机器学习模型21的学习而准备多个对象物的实际图像。换言之，能够使用较少的实际图像来进行第一机器学习模型21的学习。
24.本公开的第六方面在第四方面的外观检查系统的基础上，其特征在于：对所述第二机器学习模型31预先进行机器学习，以便根据按所述线条画信息的部位而赋予的提示信息生成纹理，所述学习数据生成部30对由所述第二机器学习模型31生成的纹理附加噪声，生成多个用于学习的合格品图像。
25.在第六方面中，通过预先进行第二机器学习模型31的学习，以便按每个线条画信
息的部位即基本的部件生成纹理，从而能够针对多个新机型得到用于第一机器学习模型21的学习的合格品图像。因此，由于能够在系统的使用开始时刻已经进行过第一机器学习模型21的学习，所以对于系统利用者而言能够提高便利性以及即时响应性。
26.本公开的第七方面在第一到第六方面中任一方面的外观检查系统的基础上，其特征在于：所述第一机器学习模型21由根据检查项目进行了机器学习的多个学习模型构成，所述二次检查部20分层地组合使用所述多个学习模型。
27.在第七方面中，能够通过分层地组合使用根据检查项目进行了机器学习的多个学习模型，由此高精度且高效地进行对真正的不合格品和过度判断品的区分。
28.本公开的第八方面在第一到第七方面中任一方面的外观检查系统的基础上，其特征在于：按对象物的各个类别预先准备多个所述第一机器学习模型21，所述一次检查部10根据拍摄对象物而得到的图像来判断该对象物的类别，所述二次检查部20使用与由所述一次检查部10判断出的对象物的类别对应的所述第一机器学习模型21。
29.在第八方面中，在被检查的对象物具有各种形状的情况下，能够按将具有类似形状的对象物分组而成的各个类别来使第一机器学习模型21的学习最优化。因此，能够高精度地进行对真正的不合格品和过度判断品的区分。
附图说明
30.图1是实施方式所涉及的外观检查系统的整体构成图；
31.图2是示出安装在印制电路板上的电子部件引线的焊料接合部的合格品、不合格品的图；
32.图3是示出通过实施方式所涉及的外观检查系统分别评价对象物的图像的整体和特定部分与合格品图像之间的差分的情况的图；
33.图4是由实施方式所涉及的外观检查系统进行的外观检查的流程图；
34.图5是变形例1所涉及的外观检查系统的整体构成图；
35.图6是示出利用变形例1所涉及的外观检查系统的学习数据生成部，基于线条画信息生成多个合格品图像的情况的图；
36.图7是示出利用变形例1所涉及的外观检查系统的学习数据生成部，基于实际图像生成多个合格品图像的情况的图；
37.图8是由变形例1所涉及的外观检查系统的学习数据生成部生成合格品图像的流程图；
38.图9是变形例2所涉及的外观检查系统的整体构成图；
39.图10是变形例3所涉及的外观检查系统的整体构成图；
40.图11是示出在变形例3所涉及的外观检查系统中按各个类别进行学习模型的机器学习的情况的图。
具体实施方式
41.(实施方式的概要)
42.在以下说明的实施方式所涉及的外观检查系统中，使用了学习模型的二次检查部基于在现有的自动外观检查装置(一次检查部)中被判断为不合格的对象物的图像，实时地
进行区别真正的不合格品和被过度判断成不合格品的过度判断品的二次判断，其中，现有的自动外观检查装置在进行判断时不使用神经网络等学习模型。
43.这样一来，能够在利用对现有的自动外观检查装置擅长的检查项目的检测能力(高检测精度)的同时，高效地进行对过度判断品的判断和分离。
44.例如，也可以利用学习模型生成检查对象部位的假定的合格品图像，将该合格品图像与由一次检查部取得到的对象物的图像之间的差分数值化，由此进行对过度判断品的再判断。
45.也可以根据检查项目或对象物的类别使学习模型的机器学习最佳化，然后将这些学习模型分层地组合或选择性地使用。这样一来，即使在以呈各种形状的对象物为前提，对多个检查项目一并进行检查的情况下，也能够高精度地进行对过度判断品的再判断。
46.而且，在对象物的不合格模式有两种以上，各不合格模式的特征量分成作为图像的整体(或大部分)的宏观部和作为图像的一部分的微观部而出现的情况下，也可以将宏观部和微观部分离而分别进行判断。这样一来，能够避免微观部的特征量被宏观部的特征量埋没而无法检测的情况。
47.也可以使用与进行对过度判断品的再判断的学习模型不同的学习模型，根据对象物的线条画信息(例如设计图信息)或少数的实际图像，生成必要量的学习用图像。这样一来，即使在因导入新机种等而检查对象被改变的情况下，也能够事先准备相当量的学习用数据，因此能够尽早完成能应对新对象物的外观检查系统。在由不同材料制成的每个部位均存在特有的纹理(texture)的情况下，也可以根据按线条画信息的部位而赋予的提示(标签)信息，使用其他学习模型来生成纹理。这样一来，就能够生成接近实际图像的学习用图像。
48.(实施方式)
49.参考附图对实施方式进行说明。如图1所示，本实施方式所涉及的外观检查系统100包括一次检查部10和二次检查部20，所述一次检查部10基于拍摄对象物1而得到的图像，不使用机器学习地进行不合格判断，所述二次检查部20基于由一次检查部10判断为不合格的对象物的图像，使用第一机器学习模型21，区分真正的不合格品和过度判断品。
50.例如能够利用在进行不合格判断时不使用机器学习模型的一般的光学外观检查装置作为一次检查部10。一次检查部10具有例如摄像头等摄像部11。一次检查部10为了存储拍摄到的图像等数据，可以具有例如硬盘等存储部。需要说明的是，一次检查部10在进行不合格判断时不使用学习模型，但也可以在决定检查阈值或检查参数时利用机器学习。
51.一次检查部10和二次检查部20分别具有用于进行不合格判断的处理部。各处理部例如由处理器和存储器构成，所述存储器存储用于使处理器工作的程序和信息。一次检查部10和二次检查部20构成为能够相互进行图像等数据的收发。二次检查部20例如可以具有硬盘等存储部以存储从一次检查部10发送来的图像等数据。在外观检查系统100中，也可以将一次检查部10和二次检查部20的各存储部共用化。
52.在二次检查部20中使用的第一机器学习模型21例如可以是多层感知器那样的神经网络、支持向量机(support vector machines)或判别函数或者贝叶斯网络(bayesian network)等，但没有特别限定。
53.在第一机器学习模型21构成为神经网络的情况下，第一机器学习模型21例如具有
输入层、中间层以及输出层这三层。各层分别包含一个以上的神经元，输入层的各神经元分别与中间层的各神经元连接，中间层的各神经元分别与输出层的神经元连接。向输入层的各神经元输入由一次检查部10判断为不合格的对象物的图像。
54.在二次检查部20使用第一机器学习模型21实施对过度判断品的再判断之前，二次检查部20或其他信息处理装置进行第一机器学习模型21的机器学习、即模型数据的计算、例如进行表示神经网络的设定的模型数据的计算。模型数据例如包含神经网络中的层数、各层所包含的神经元(节点)数、以及神经元间的耦合系数(耦合负荷)。二次检查部20使用模型数据设定第一机器学习模型21，使用设定后的第一机器学习模型21(即学习完毕模型)实施对过度判断品的再判断。
55.在第一机器学习模型21构成为神经网络的情况下，在神经网络的机器学习中，首先，向输入层输入输入信息的训练数据(training data)，将数据从输入层传播到输出层，从输出层得到输出信息。接着，使用得到的输出信息和输出信息的训练数据，计算输入层与输出层之间的耦合系数、以及分配给中间层的神经元的偏差(bias)。例如，调节耦合系数和偏差，使得输出信息与训练数据之间的差分变小。
56.生成包含调节后的耦合系数和偏差的模型数据作为如上所述的机器学习的结果。模型数据例如包含神经网络中的层数、属于各层的神经元数、耦合系数以及偏差。所生成的模型数据例如存储在二次检查部20的存储部中。二次检查部20在进行对过度判断品的再判断之前，基于存储的模型数据设定神经网络。即，二次检查部20将构成第一机器学习模型21的神经网络中的层数、神经元数、耦合系数以及偏差设定为在模型数据中指定的值。像这样，二次检查部20利用使用了模型数据的第一机器学习模型21，进行对过度判断品的再判断。
57.在本实施方式中，也可以对第一机器学习模型21预先进行使用了合格品图像作为训练数据的机器学习，然后第一机器学习模型21基于由一次检查部10判断为不合格的对象物的图像，能够生成与该图像对应的合格品图像。在该情况下，例如，也可以使用生成式对抗网络(gan)作为第一机器学习模型21。在为真正的不合格品的情况下，二次检查部20能够测量该不合格品的实际图像与由第一机器学习模型21生成的合格品图像之间的差分量，利用该差分量设定任意的阈值，由此区分真正的不合格品和过度判断品。
58.下面，以将通过焊接等安装有多个电子部件的印制电路板作为对象物1，利用本实施方式的外观检查系统100进行不合格判断的情况为例进行说明。具体而言，对每块电路板要花费数十秒来检查大小为数百～数千μm且形状不同的多个(在每块电路板上有数百个以上)电子部件的安装状态。在此，检查精度和过度判断量之间存在折衷的关系，但能够通过如本实施方式那样使用学习模型进行对过度判断品的再判断(二次检查)，由此在维持检查精度的同时有效地减少过度判断量。
59.图2是示出安装在印制电路板上的电子部件的引线的焊料接合部的合格品、不合格品的图。如图2所示，在利用焊料5将印制电路板2上的电极3与电子部件的引线4接合起来的情况下，相对于合格品状态(a)、(b)，可能产生各种不合格品状态(c)～(l)。例如，在不合格品状态(g)下，在焊料5上产生针孔(气孔)6，在不合格品状态(h)下，在焊料5中混入异物7，在不合格品状态(k)下，在焊料5上接合有其他引线8，在不合格品状态(l)下，产生焊料球9。
60.相对于拍摄印制电路板而得到的图像的整体或大部分(以下有时也称为“宏观部”)，如图2所示的引线的焊料接合部只占据该图像中的特定部分(以下有时也称为“微观部”)。但是，像部件位置偏移那样的在“宏观部”中出现的特征量、和像引线的焊料接合不合格那样的在“微观部”中出现的特征量同时出现的情况下，微观部的特征量有可能被宏观部的特征量埋没而无法检测。
61.因此，在本实施方式中，如图3所示，针对由一次检查部10判断为不合格的对象物1的图像的宏观部和微观部分别评价与由第一机器学习模型21生成的合格品图像之间的差分(差分图像)。在图3中，还一并示出了分别针对宏观部和微观部，基于差分量(异常度)对多个对象物1进行的不合格(ng)判断的结果(频度)。像这样，将宏观部和微观部分开进行不合格判断，由此能够评价容易被宏观部的异常度埋没的微观部的异常度。
62.需要说明的是，在图3所示的例子中，针对由一次检查部10判断为不合格的对象物1的图像的宏观部和微观部这两者，评价了与合格品图像之间的差分，但也可以取而代之，针对宏观部或微观部中的一者，评价与合格品图像之间的差分。
63.也可以使另外准备好的机器学习模型进行对对象物1的图像中的各微观部的位置识别。这是因为，即使各个电子部件的尺寸精度良好，如果同一部件在电路板上的布置不同，则成为背景的电路图案或电路板表面的印刷文字等也不同，因此难以人为地设定成为检查范围的微观部。同时，用另外准备好的学习模型无法进行位置识别这件事本身就意味着检测出部件的位置偏移等异常。由此，如果使用第一机器学习模型21进行对微观部的自动识别，则能够提高检查精度。
64.图4是由本实施方式的外观检查系统100进行的外观检查的流程图。
65.首先，在步骤s1中，判断对对象物1的所有组件(成为检查对象的部件、部位)的不合格判断是否结束。在对全部组件的不合格判断结束的情况下，结束处理。
66.在存在不合格判断未结束的组件的情况下，在步骤s2中，对成为判断对象的组件进行由一次检查部10(例如光学外观检查装置)进行的不合格判断。如果该组件不存在不合格，则在步骤s9中进行合格品判断，然后返回步骤s1。在该组件存在不合格的情况下，在步骤s3中，二次检查部20从一次检查部10取得包含该组件的对象物1的图像。需要说明的是，在一次检查部10具有存储部的情况下，二次检查部20也可以从一次检查部10一并取得关于所有组件的图像，而不用按每个组件从一次检查部10取得图像。
67.取得了对象物1的图像的二次检查部20也可以在步骤s4中进行与该组件对应的第一机器学习模型21的选择(切换)。关于该第一机器学习模型21的选择，在后述的变形例3中详细叙述。
68.接着，二次检查部20在步骤s5中，使用第一机器学习模型21，基于与上述合格品图像之间的差分来评价对象物1的图像的宏观部中是否存在该组件的不合格(例如位置偏移)，如果存在不合格，则在步骤s8中进行不合格品判断，然后返回步骤s1。如果在步骤s5中不存在不合格，则二次检查部20在步骤s6中使用第一机器学习模型21，进行对对象物1的图像中的与该组件相关联的微观部(例如焊料接合部)的位置识别。
69.在步骤s6中无法进行对微观部的位置识别的情况下，就在步骤s8中进行不合格品判断，然后返回到步骤s1。在步骤s6中能进行对微观部的位置识别的情况下，二次检查部20在步骤s7中使用第一机器学习模型21，基于与上述合格品图像之间的差分来评价在该微观
部中是否存在该组件的不合格(例如焊料接合不合格)，如果存在不合格，则在步骤s8中进行不合格品判断，然后返回步骤s1。如果在步骤s7中不存在不合格，则二次检查部20在步骤s9中进行合格品判断，然后返回步骤s1。
70.在本实施方式中，对各组件反复进行以上说明的步骤s2～s9的处理，直到在步骤s1中判断为对全部组件的不合格判断结束为止。
71.－实施方式的效果－
72.根据本实施方式，二次检查部20基于由一次检查部10判断为不合格的对象物1的图像，使用第一机器学习模型21对该对象物1是否为过度判断品进行再判断。因此，由于能够抑制过度判断品的产生，所以能够削减在检查的最终阶段对是否为过度判断品进行再检查的工时，从而能够抑制由过度判断品的产生引起的生产率的降低，在过度判断的量多的情况下特别有效。
73.再检查多为基于目视的作业，但在本实施方式中，由于能够抑制承担这些作业的外观检查人员因单纯作业的反复而引起的疲劳、看漏或主观臆断，因此也能够不断地防止检测力的降低。
74.在本实施方式中，也可以对第一机器学习模型21预先进行使用了合格品图像作为训练数据的机器学习，由第一机器学习模型21根据由一次检查部10判断为不合格的对象物1的图像生成合格品图像，并基于该合格品图像与判断为不合格的对象物1的图像之间的差分，区分真正的不合格品和过度判断品。这样一来，在被判断为不合格的对象物1的图像与对应的合格品图像之间的差分超过规定值的情况下，就能够判断为真正的不合格品。因此，不会对对象物1的图像的微小变化(位置偏移等)过于敏感，从而能够高精度地进行不合格判断。
75.在本实施方式中，二次检查部20也可以针对被判断为不合格的对象物1的图像的宏观部(整体或大部分)和/或微观部(特定部分)分别评价与由第一机器学习模型21生成的合格品图像之间的差分。这样一来，例如，在以安装有部件的印制电路板为对象，一并检查呈各种形状的部件的情况下，能够在对部件的安装位置等的检查中，针对包含部件的安装位置的图像的宏观部进行对与合格品图像的差分之间的评价，在对引线的焊料接合部等的检查中，针对引线的焊料接合部等的图像的微观部进行对与合格品图像的差分之间的评价。这样一来，对于容易埋没在宏观部中的微观部也能够一并进行检查，因此检测力得以提高。
76.(变形例1)
77.参考附图对变形例1进行说明。如图5所示，本变形例所涉及的外观检查系统100与图1所示的上述实施方式的不同点在于：包括学习数据生成部30，该学习数据生成部30使用第二机器学习模型31生成多个用于第一机器学习模型21的学习的合格品图像。需要说明的是，在图5中，对与图1所示的上述实施方式相同的构成要素赋予相同的符号。
78.第二机器学习模型31可以例如如图6所示，基于至少包含轮廓的线条画信息(例如设计图信息)生成合格品图像，或者也可以例如如图7所示，基于至少一个实际图像生成合格品图像。
79.但是，由于电子部件是工业产品，因此电子部件的尺寸、形状或组装目的地的电路板表面的性质在相同的部件种类之间基本上是不变的，容易根据每个部位的材质来确定纹
理(色相、亮度、质感等)。因此，在本变形例中，在第二机器学习模型31基于线条画信息生成合格品图像的情况下，也可以对第二机器学习模型31预先进行机器学习，以便根据按线条画信息的部位而赋予的提示(标签)信息生成纹理。这样一来，通过对由第二机器学习模型31生成的纹理附加被调整为规定量的噪声，就能够生成多个接近实际图像的合格品图像。
80.图8是本变形例的外观检查系统100的由学习数据生成部30生成合格品图像的流程图之一例。需要说明的是，在图8中，与流程图的各步骤对应地示意性地示出了“线条画”、“标签”、“纹理”、“生成后图像”。
81.首先，在步骤s11中，学习数据生成部30取得至少包含轮廓的线条画信息(原图像)。
82.接着，在步骤s12中，对于学习数据生成部30，按线条画信息的部位赋予标签信息，第二机器学习模型31根据该标签信息按部位生成纹理。也可以预先进行纹理生成，将得到的纹理存储在数据库d1中。
83.接着，在步骤s13中，学习数据生成部30读出存储在数据库d1中的按部位区分的纹理，对所读出的纹理附加噪声。
84.接着，在步骤s14中，学习数据生成部30组合附加了噪声的各部位的纹理而生成多个合格品图像，在步骤s15中，输出所生成的合格品图像。输出的合格品图像例如存储在二次检查部20或其他信息处理装置的存储部中，这些合格品图像在上述实施方式中说明的第一机器学习模型21的机器学习中作为训练数据使用。
85.－变形例1的效果－
86.在以上说明的本变形例中，除了与上述实施方式相同的效果之外，还能够得到如下效果。
87.根据本变形例，在学习数据生成部30中，基于至少包含轮廓的线条画信息，使用第二机器学习模型31，生成多个用于第一机器学习模型21的学习的合格品图像。因此，不需要为了第一机器学习模型21的学习而准备多个对象物1的实际图像。因此，例如即使在试制前不存在实物的状态下也能够进行第一机器学习模型21的学习，因此例如能够提高实物数量少的试制品或批量生产初期阶段的检查质量，并能够缩短到学习完毕为止的期间。
88.根据本变形例，在学习数据生成部30中，基于至少一个实际图像，使用第二机器学习模型31，生成多个用于第一机器学习模型21的学习的合格品图像。因此，不需要为了第一机器学习模型21的学习而准备多个对象物的实际图像。换言之，能够使用较少的实际图像来进行第一机器学习模型21的学习。
89.根据本变形例，通过预先进行第二机器学习模型31的学习，使得第二机器学习模型31根据按线条画信息的部位(即基本的部件)而赋予的提示信息生成纹理，由此能够针对多个新机种得到用于第一机器学习模型21的学习的合格品图像。因此，由于能够在系统的使用开始时刻已经进行过第一机器学习模型21的学习，所以对于最终的系统利用者而言能够从使用前起就保证便利性以及适应性。
90.另一方面，如果不设置学习数据生成部30，则在检查对象物为新的情况下或不存在实物的情况下，就无法准备成为第一机器学习模型21的训练数据的图像，或者只能准备有限数量的学习用数据。其结果是，无法事先进行能够与在新机种等中新应用的部件对应的第一机器学习模型21的学习，或者该学习不充分，因此对过度判断品的再判断精度降低。
91.相对于此，如上所述，在本变形例中，能够根据尺寸、形状、规格等明确的电子部件的线条画信息或较少的实际图像来生成多个训练用图像，因此能够在获得相当量的实物之前开始第一机器学习模型21的学习作业。换言之，能够通过让第一机器学习模型21预先进行关于基本部件的学习，由此消除用户对准备时间的担心。
92.即使作为工业产品的各个电子部件的尺寸精度良好，也由于部件的微小的位置偏移，例如在作为熔融金属的焊料的形状中会出现各种各样的形态，在此情况下，对于这样的波动量，也能够利用进行了使用合格品图像的学习的本变形例的第一机器学习模型21，灵活地进行不合格判断。
93.(变形例2)
94.参考附图对变形例2进行说明。如图9所示，本变形例所涉及的外观检查系统100与图1所示的上述实施方式的不同点在于：第一机器学习模型21由根据检查项目(例如宏观部、微观部)进行了机器学习的多个学习模型构成，二次检查部20分层地组合使用多个学习模型。需要说明的是，在图9中，对与图1所示的上述实施方式相同的构成要素赋予相同的符号。
95.在本变形例的外观检查系统100中，如图9所示，二次检查部20在接收到由一次检查部10判断为不合格的对象物1的图像15时，按照检查项目1～n的顺序，使用针对各个项目最优化的学习模型依次进行不合格判断。仅在对于全部项目均不存在不合格的情况下才输出“合格品”的判断结果25。
96.－变形例2的效果－
97.在以上说明的本变形例中，除了与上述实施方式相同的效果之外，还能够得到如下效果。即，能够通过分层地组合使用根据检查项目进行了最优机器学习的多个学习模型，由此高精度且高效地进行对真正的不合格品和过度判断品的区分。在某个项目中存在不合格的情况下，能够确定“不合格(ng)”来高效地完成检查，而无需进行对下一个项目的不合格判断。反之，也能够编程为根据对象任意地选择一个或多个检查项目，并收集所希望的结果信息。
98.(变形例3)
99.参考附图对变形例3进行说明。如图10所示，本变形例所涉及的外观检查系统100与图1所示的上述实施方式的不同点如下。即，按将具有相似形状的对象分组而成的各个类别，预先准备多个第一机器学习模型21，一次检查部10根据拍摄对象物1而得到的图像来判断该对象物1的类别，二次检查部20使用与由一次检查部10判断出的对象物1的类别对应的第一机器学习模型21。需要说明的是，在图10中，对与图1所示的上述实施方式相同的构成要素标注相同的附图标记。
100.在本变形例的外观检查系统100中，如图10所示，二次检查部20如果接收到由一次检查部10判断为不合格的对象物1的图像15以及该对象物1的类别信息16，则通过选择部22进行与类别信息16对应的学习模型(判断模型)的选择，并使用所选择的判断模型进行不合格判断，输出判断结果25。
101.在本变形例中，如图10所示，针对组件组1～n的n个类别中的每一个类别准备判断模型1～n。如图11所示，分别通过使用按照各个类别准备的学习用数据(图像数据集)预先进行学习而生成判断模型1～n。
102.－变形例3的效果－
103.在以上说明的本变形例中，除了与上述实施方式相同的效果之外，还能够得到如下效果。即，在被检查的对象物1具有各种形状的情况下，能够按将具有类似形状的对象物分组而成的各个类别来使第一机器学习模型21的学习最优化。因此，能够高精度地进行对真正的不合格品和过度判断品的区分。
104.《其他实施方式》
105.上述实施方式(包含变形例，以下相同。)中，示例了将通过焊接等安装有多个电子部件的印制电路板作为对象物1的情况，当然对象物1没有特别限定。例如，也可以将上述实施方式的外观检查系统100用于将生鲜蔬菜作为对象物1的出厂检查中。在生鲜蔬菜的出厂检查中，有时想要检查表示新鲜度的叶子的色调等体现在蔬菜整体上的特征、和表示生长期间的根部切口的直径等体现在特定部位上的特征这两者。通过使用上述实施方式的外观检查系统100，能够将体现在蔬菜整体上的特征和体现在特定部位上的特征分别分为宏观部分和微观部，从而能够高精度且高效地进行检查。
106.以上说明了实施方式及变形例，但应理解在不脱离权利要求书的主旨及范围的情况下能够对方案及具体情况进行各种改变。只要不影响本公开的对象的功能，还可以对上述的实施方式和变形例适当地进行组合或替换。
107.－产业实用性－
108.综上所述，本公开对于外观检查系统是有用的。
109.－符号说明－
110.10
ꢀꢀꢀꢀꢀꢀ
一次检查部
111.20
ꢀꢀꢀꢀꢀꢀ
二次检查部
112.21
ꢀꢀꢀꢀꢀꢀ
第一机器学习模型
113.30
ꢀꢀꢀꢀꢀꢀ
学习数据生成部
114.31
ꢀꢀꢀꢀꢀꢀ
第二机器学习模型
115.100
ꢀꢀꢀꢀꢀ
外观检查系统