异常检查系统、异常检查方法以及程序与流程

1.本发明涉及异常检查系统、异常检查方法以及程序。


背景技术：

2.工业用部件需要进行检查，以防止在其生产工序中出厂低质量的部件。例如，在日本特开2020-149578中，记载了使用通过机器学习而学习到的学习模型来判定部件的规格分类的技术。


技术实现要素：

3.作为一例，对部件进行检查的检查装置能够通过拍摄部件并解析其拍摄数据来判定部件表面的异常。然而，对于液滴、刷子痕迹等实质上不能说是部件异常的部件表面的部位，检查装置也有可能误检测为异常。
4.本发明提供一种能够准确地检测部件的异常的异常检查系统、异常检查方法以及程序。
5.本发明的例示性的一个方式所涉及的异常检查系统具备：取得部，其以在连续的多个拍摄数据的各自不同的区域中包含部件的同一部位的方式，取得部件的拍摄数据；以及判定部，其检测连续的多个拍摄数据中有无异常，在全部的多个拍摄数据中都检测出异常的情况下，判定部件为异常。异常检查系统利用与部件的同一部位在不同的状态下被拍摄而得的多个拍摄数据相关的检测结果来判定部件的异常，因此相比于根据与1个拍摄数据相关的检测结果来判定的情况，能够准确地检测部件的异常。
6.另外，在上述异常检查系统中，也可以是，判定部通过将连续的多个拍摄数据输入到第一学习模型，来检测有无异常，所述第一学习模型是将部件的拍摄数据用作训练数据进行学习而得的模型。异常检查系统通过学习完毕的学习模型来检测异常，因此能够更高精度地判定有无异常。
7.另外，在上述异常检查系统中，也可以是，判定部将由取得部取得的1个拍摄数据输入到第一学习模型，在根据第一学习模型的输出结果判定为在1个拍摄数据中检测到异常时，将与1个拍摄数据连续地拍摄到的其他拍摄数据输入到第一学习模型，由此检测全部的多个拍摄数据中有无异常。异常检查系统在最初使用1个拍摄数据以第一学习模型执行判定的结果是没有异常的情况下，不对该拍摄数据执行进一步的处理，所以能够抑制不需要的处理，使检查更高效。
8.另外，在上述异常检查系统中，也可以是，第一学习模型是将部件的外观上的异常的类别作为输出结果的模型，判定部根据连续的多个拍摄数据在第一学习模型中的输出结果所表示的部件的外观上的异常的类别，判定部件有无异常。异常检查系统能够抑制将虽然有外观上的异常但实质性质量没有异常的部件误检测为异常的情况。也就是说，异常检查系统能够抑制过度检测。
9.另外，在上述异常检查系统中，也可以是，判定部通过将由取得部取得的拍摄数据
输入到第二学习模型，来判定有无异常的嫌疑，通过将包含被判定为有异常的嫌疑的拍摄数据的、连续的多个拍摄数据输入到第一学习模型，来判定有无异常，第二学习模型是通过将部件的拍摄数据用作训练数据进行学习而得的、与第一学习模型不同的模型。异常检查系统使用两种不同的学习模型来判定部件的异常，因此能够提高异常检查的精度。
10.另外，在上述异常检查系统中，也可以是，判定部将由取得部取得的1个拍摄数据输入到第二学习模型，在根据第二学习模型的输出结果判定为在1个拍摄数据中检测到外观上的异常时，将与1个拍摄数据连续地拍摄到的其他拍摄数据输入到第二学习模型，在其他拍摄数据中也检测到外观上的异常的情况下，判定为有异常的嫌疑。异常检查系统在最初使用1个拍摄数据以第二学习模型执行判定的结果是没有异常的情况下，不对该拍摄数据执行进一步的处理，所以能够抑制不需要的处理，使检查更高效。
11.另外，在上述异常检查系统中，也可以是，取得部以部件的同一部位至少包含在连续的3个拍摄数据中的方式取得部件的拍摄数据。异常检查系统根据使用部件的同一部位分散在图像中的不同位置的3个以上的拍摄数据得到的检测结果，来判定部件的异常。因此，在检查中，能够抑制与光的照射程度这些图像的特性相伴的噪声，因此能够更准确地检测凸轮部的异常。
12.另外，在上述异常检查系统中，也可以是，取得部在通过旋转机构使部件旋转的状态下取得部件的曲面部的拍摄数据，该旋转机构对部件进行轴支承而使其旋转。由此，异常检查系统能够高效地取得部件的连续的拍摄数据，因此能够缩短整个检查所花费的时间。
13.本发明的例示性的一个方式所涉及的异常检查方法使异常检查系统执行以下步骤：取得步骤，以在连续的多个拍摄数据的各自不同的区域中包含部件的同一部位的方式，取得部件的拍摄数据；以及判定步骤，检测连续的多个拍摄数据中有无异常，在全部的多个拍摄数据中都检测出异常的情况下，判定部件为异常。由此，异常检查系统利用与部件的同一部位在不同的状态下被拍摄而得的多个拍摄数据相关的检测结果来判定部件的异常，因此相比于根据与1个拍摄数据相关的检测结果来判定的情况，能够准确地检测部件的异常。
14.本发明的例示性的一个方式所涉及的程序使计算机执行以下步骤：取得步骤，以在连续的多个拍摄数据的各自不同的区域中包含部件的同一部位的方式，取得部件的拍摄数据；以及判定步骤，检测连续的多个拍摄数据中有无异常，在全部的多个拍摄数据中都检测出异常的情况下，判定部件为异常。由此，计算机利用与部件的同一部位在不同的状态下被拍摄而得的多个拍摄数据相关的检测结果来判定部件的异常，因此能够准确地检测部件的异常。
15.通过本发明，能够提供一种能够准确地检测部件的异常的异常检查系统、异常检查方法以及程序。
附图说明
16.参考附图对本发明的示例性实施例的特征、优点以及技术上和工业上的意义进行说明，附图中相同的标号表示相同部件，其中：图1是示出实施方式1所涉及的异常检查系统的一例的框图。图2a是示出实施方式1所涉及的异常检查系统的检查装置的一例的详情图。图2b是示出实施方式1所涉及的检查对象部件的一例的图。
图2c是示出实施方式1所涉及的凸轮部、凸轮部检查用照明以及凸轮部检查用相机的位置关系的一例的示意图。图2d是示出实施方式1中在时刻(1)拍摄的凸轮部的图像的图。图2e是示出实施方式1中在时刻(2)拍摄的凸轮部的图像的图。图2f是示出实施方式1中在时刻(3)拍摄的凸轮部的图像的图。图2g是示出实施方式1中实际拍摄的凸轮部表面的气孔的图像。图2h是示出实施方式1中实际拍摄的凸轮部表面的液滴的图像。图3a是示出实施方式1所涉及的控制部的一例的框图。图3b是示出实施方式1所涉及的检查部与学习模型的关系的示意图。图3c是示出实施方式1所涉及的图像切取的例子的示意图。图4a是示出实施方式1所涉及的异常检查系统执行凸轮部的检查时的处理例的流程图。图4b是示出实施方式1所涉及的异常检查系统执行凸轮部的检查时的处理例的流程图。图4c是示出实施方式1所涉及的异常检查系统执行凸轮部的检查时的处理例的流程图。
具体实施方式
17.实施方式1下面，参照附图对本发明的实施方式进行说明。
18.＜异常检查系统＞图1是用于说明实施方式所涉及的异常检查系统的图。如图1所示，本实施方式所涉及的异常检查系统s1具备检查装置10以及信息处理装置20。本实施方式所涉及的异常检查系统s1通过由用户操作信息处理装置20，使检查装置10的相机拍摄检查对象部件的表面，使信息处理装置20检查该表面是否有异常。在该例子中，检查对象部件是凸轮轴。下面，对检查装置10和信息处理装置20的详细情况进行说明。
19.检查装置10具有凸轮部检查用照明11、凸轮部检查用相机12、轴颈部检查用照明13、轴颈部检查用相机14、旋转马达15。
20.图2a是示出检查装置10的一例的详情图，使用该图说明检查装置10的各构成要素。作为凸轮部检查用照明11，在检查对象部件w的前侧设置有凸轮部检查用照明11a，在其后侧设置有凸轮部检查用照明11b，信息处理装置20在对检查对象部件w的凸轮部进行检查时，使各自的照明点亮。作为凸轮部检查用相机12，从检查对象部件w的前侧到后侧设置有凸轮部检查用相机12a-12d。各凸轮部检查用相机12通过信息处理装置20的控制，连续多次拍摄由凸轮部检查用照明11照射了光的凸轮部的区域，由此拍摄凸轮部的拍摄数据(图像)。
21.轴颈部检查用照明13在通过信息处理装置20的控制进行检查对象部件w的轴颈部检查时点亮。作为轴颈部检查用相机14，从检查对象部件w的前侧到后侧设置有轴颈部检查用相机14a-14d。各轴颈部检查用相机14通过信息处理装置20的控制，连续多次拍摄由轴颈部检查用照明13照射了光的轴颈部的区域，由此拍摄轴颈部的拍摄数据。另外，凸轮部检查
用相机12以及轴颈部检查用相机14是以使相机的拍摄元件成为面状(即，在纵横具有多个拍摄元件)的方式设置的、所谓的面阵相机(area camera)。
22.图2b是作为检查对象部件w的凸轮轴的放大图。该凸轮轴具有8个凸轮部c1-c8和4个轴颈部j1-j4。凸轮部检查用照明11向凸轮部c1-c8照射光，凸轮部检查用相机12拍摄该被照射的区域。轴颈部检查用照明13向轴颈部j1-j4照射光，轴颈部检查用相机14拍摄该被照射的区域。
23.图2c是示出凸轮部c1、凸轮部检查用照明11a以及凸轮部检查用相机12a的位置关系的一例的示意图。凸轮部检查用照明11a和凸轮部检查用相机12a各自的照明和相机的正面部配置在同一条线上，在其延长线上配置有凸轮部c1。也就是说，凸轮部检查用照明11a和凸轮部检查用相机12a以相对于凸轮部c1成为相同的姿态(同相位)的方式配置。凸轮部检查用照明11a对凸轮部c1照射光。凸轮部检查用相机12a具有作为用于拍摄凸轮部的旋转方向的视角的θ，对凸轮部中的拍摄区域rc进行拍摄。不仅对于凸轮部c1，而且对于其他的凸轮部，凸轮部检查用照明11a以及凸轮部检查用相机12a也以同样的位置关系配置，同样能够对凸轮部的规定的拍摄区域进行拍摄。另外，凸轮部检查用照明11b及凸轮部检查用相机12b也相对于各凸轮分别以与凸轮部检查用照明11a及凸轮部检查用相机12a相同的位置关系配置，同样能够拍摄凸轮部的规定的拍摄区域。
24.回到图2a，继续进行说明。旋转马达15与设置在检查对象部件w的前侧的夹具fc及设置在后侧的夹具rc一起，构成对检查对象部件w的轴进行轴支承而使其旋转的旋转机构。在用户通过用夹具fc和夹具rc固定检查对象部件w的两端而使检查对象部件w成为可旋转的状态后，旋转马达15通过信息处理装置20的控制使检查对象部件w旋转。
25.详细地说，信息处理装置20在执行检查对象部件w的凸轮部的检查时使旋转马达15旋转，在凸轮部检查用照明11点亮的状态下检查对象部件w旋转一周的期间，控制凸轮部检查用相机12，连续多次拍摄凸轮部。由此，凸轮部检查用相机12在每次拍摄时对凸轮部的不同区域进行拍摄。另外，信息处理装置20以使凸轮部检查用相机12进行多次拍摄来拍摄检查对象部件w的凸轮部的整个表面的方式，确定凸轮部检查用相机12的拍摄间隔及拍摄次数(拍摄时间)、以及旋转马达15的旋转速度这些与拍摄相关的参数。
26.在以上所示的凸轮部的拍摄后，信息处理装置20使凸轮部检查用照明11熄灭，取而代之使轴颈部检查用照明13点亮。然后，信息处理装置20使旋转马达15旋转，在检查对象部件w旋转一周的期间，控制轴颈部检查用相机14，连续多次拍摄轴颈部。由此，轴颈部检查用相机14在每次拍摄时对轴颈部的不同区域进行拍摄。
27.在本实施方式中，信息处理装置20以使在凸轮部检查用相机12的连续的拍摄中、凸轮部的同一部位映现在连续的3个拍摄数据的方式，确定上述的与拍摄相关的参数。
28.图2d-2f示出在连续的时刻(1)～(3)分别拍摄的凸轮部的图像。关于各图像，如图2c所示，是拍摄被照射了光的区域rc而得的图像。在图2d所示的时刻(1)，凸轮部的规定部位sp位于图像im的上端部。此时，凸轮部向下方向旋转。因此，在从时刻(1)起时间经过后的时刻(2)，如图2e所示，规定的部位sp向图像im的下方向移动。在图2e中，规定的部位sp位于图像im的中央部的区域。进一步地，在从时刻(2)起时间经过后的时刻(3)，如图2f所示，规定的部位sp向图像im的更下方向移动。在图2f中，规定的部位sp位于图像im的下端部。
29.这样一来，在凸轮部检查用相机12拍摄凸轮部的情况下，作为拍摄对象的凸轮部
表面构成曲面。因此，在图2d-2f中，从凸轮部检查用照明11照射到规定的部位sp、并在规定的部位sp反射而入射到凸轮部检查用相机12的光的状态各自不同。
30.图2g是示出实际拍摄的、在凸轮部表面存在气孔的区域rc的图像。气孔是在凸轮部表面产生的缺陷(实质性异常)的一例。图2g的上段、中段、下段的图像分别与图2d-2f所示的时刻(1)、(2)、(3)对应。如图2g所示，在各时刻，气孔以明确的状态被拍摄。这是因为，由于气孔在凸轮部表面形成具有一定程度的深度的空洞，所以即使拍摄位置不同，也会进行与气孔以外的部位不同的光的反射。
31.图2h是示出实际拍摄的、在凸轮部表面存在液滴(例如清洗液)的区域rc的图像。液滴是在凸轮部表面产生的、为外观上的异常但不是实质性异常的现象(以下也称为假异常)的一例。图2h的上段、中段、下段的图像也分别与图2d-2f所示的时刻(1)、(2)、(3)对应。参照图2h，在时刻(2)拍摄的图像(即，在图2c中，在凸轮部检查用相机12的正面存在液滴的情况下的图像)中，液滴以几乎无法识别的状态被拍摄。然而，在时刻(1)以及(3)拍摄的图像中，液滴以能够识别的状态被拍摄。这是因为，根据凸轮部检查用照明11、凸轮部检查用相机12以及区域rc的位置关系，与图像的上端部以及下端部对应的凸轮部表面的区域成为光难以照射到的阴影区域。因此，在时刻(1)及(3)，液滴以具有与图2g所示的气孔类似的形状及明暗部的图样被拍摄。也就是说，通过使用在图像的上端部及下端部映现出液滴的图像进行检查，有可能导致过度检测。
32.另外，作为气孔以外的缺陷，考虑在凸轮部表面存在伤痕的情况。在这样的情况下，该伤痕也与摄影时刻无关地、以明确的状态被拍摄。另一方面，作为液滴以外的假异常，考虑在凸轮部表面存在用刷子进行去毛刺的痕迹的情况。该图样如图2h所示，在时刻(2)以几乎无法识别的状态被拍摄，但在时刻(1)及(3)，能够以具有与线状的伤痕类似的形状以及明暗部的图样被拍摄。在该情况下，若使用在图像的上端部及下端部映现出去毛刺的痕迹的图像进行检查，则也有可能导致过度检测。
33.如后所述，在本发明中，以抑制这样的过度检测的方式进行信息处理装置20的检查。信息处理装置20取得以上述方式得到的凸轮部和轴颈部的图像，通过执行后述的处理来判定各图像中是否存在异常。特别是，在本实施方式中，对检测凸轮部的异常的判定处理进行说明。
34.接着，对信息处理装置20进行说明。信息处理装置20具有db(database)21、显示面板22、输入部23以及控制部24。
35.在db 21中存储有检查所需的3种学习模型。该学习模型是通过深度学习等机器学习，事先将图像作为训练数据进行学习而得的ai(artificial intelligence)模型。关于该学习模型的详细情况，在后面叙述。另外，在db 21中存储有在后述的检查部的判定中使用的所有阈值。
36.db 21例如由闪速存储器、存储卡、hdd(hard disk drive)、光盘驱动器等存储装置构成，但存储装置的种类不限于此。另外，db 21也可以设置在信息处理装置20的外部，在该情况下，信息处理装置20可以经由未图示的信息收发部与db 21连接，取得存储在db 21中的数据。
37.显示面板22是用于使用户能够看到信息处理装置20有无异常的判定结果的接口。输入部23是供用户对信息处理装置20输入与检查的开始、检查的设定相关的指示的接口。
38.控制部24如上述那样控制凸轮部检查用照明11、凸轮部检查用相机12、轴颈部检查用照明13、轴颈部检查用相机14以及旋转马达15，拍摄检查对象部件w的凸轮部以及轴颈部。然后，控制部24从凸轮部检查用相机12和轴颈部检查用相机14取得分别拍摄到的图像，如下所示那样执行检查。
39.图3a是用于说明控制部24的构成的框图。控制部24具备存储器241、i/o(input/output)部242和信息处理部243。下面，对控制部24的各部进行说明。
40.存储器241由易失性存储器、非易失性存储器或它们的组合构成。存储器241不限于一个，也可以设置多个。另外，易失性存储器例如可以是dram(dynamic random access memory)、sram(static random access memory)等ram(random access memory)。非易失性存储器例如可以是prom(programmable rom)、eprom(erasable programmable read only memory)、闪速存储器。
41.该存储器241用于存储一个以上的命令。在此，一个以上的命令作为软件模块组存储在存储器241中。信息处理部243可以通过从存储器241读取一个以上的命令并执行来进行以下的处理。
42.i/o部242是与控制部24的外部之间执行信息的输入输出的硬件接口。在本实施方式中，控制部24与凸轮部检查用照明11、凸轮部检查用相机12、轴颈部检查用照明13、轴颈部检查用相机14以及旋转马达15连接，经由i/o部242与它们之间适当地进行信息的输入输出。
43.信息处理部243由用于解析图像的任意的处理器等构成。在该例中，作为处理器，在信息处理部243中包含对图像处理有用的gpu(graphics processing unit)。只是，作为处理器，信息处理部243也可以具有cpu(central processing unit)、mpu(micro processing unit)、fpga(field-programmable gate array)、dsp(digital signal processor)、asic(application specific integrated circuit)。另外，上述的存储器241除了包含设置在信息处理部243的外部的存储器之外，还可以包含在信息处理部243中内置的存储器。
44.信息处理部243通过从存储器241读取软件(计算机程序)并执行，来实现图像取得部244以及判定部245等的功能。判定部245可以分为进一步细分的第一检查部246和第二检查部247的功能。
45.图像取得部244经由i/o部242从凸轮部检查用相机12以及轴颈部检查用相机14取得拍摄到的图像。取得的凸轮部的图像被输出到第一检查部246。
46.图3b示出第一检查部246及第二检查部247、以及存储在db 21中、由第一检查部246及第二检查部247分别访问并用于检查的2种学习模型。下面，参照图3b对各检查部进行详细说明。
47.第一检查部246将凸轮部检查用相机12拍摄的凸轮部的图像(第一拍摄数据)输入到第一学习模型m1，根据从第一学习模型m1输出的结果，判定凸轮部是否有异常的嫌疑。
48.在此，第一学习模型m1是将凸轮部的图像用作训练数据学习而得的模型，在该模型中，作为图像被输入时的输出结果，将与凸轮部的外观上有无异常相关的计算值作为输出结果。作为详细例子，第一学习模型m1通过对输入的图像执行语义分割处理来计算该图像的第一判定值并输出。该第一判定值表示在图像中映现出的凸轮部的正常度，越是大的
值，越表示图像中的凸轮部的表面为清洁的状态，越是小的值，越表示在其表面上映现出了与打痕等伤痕或气孔(shrinkage cavity)等缺陷相似的图样。第一检查部246对计算出的第一判定值与存储在db 21中的阈值th1进行比较，将第一判定值为阈值th1以下的图像判定为凸轮部有外观上的异常的图像。另一方面，第一检查部246将第一判定值大于阈值th1的图像判定为凸轮部没有外观上的异常的图像。
49.另外，第一学习模型m1也可以将图像分割成多个分块，并对每个分块计算第一判定值。在该情况下，第一检查部246可以在图像的至少一个分块的第一判定值为阈值th1以下的情况下，将该图像判定为凸轮部有外观上的异常的图像。或者，第一检查部246也可以在图像中数量为大于1的阈值以上的分块的第一判定值为阈值th1以下的情况下，将该图像判定为凸轮部有外观上的异常的图像。
50.外观上的异常是指，凸轮部的表面不是清洁的状态，例如表示能够视觉辨认出表面存在线或圆等图样，或者表面存在亮度不同的部位(例如存在比周围暗的部位)的情况。在凸轮部表面存在圆等图样、或者在表面存在暗的部位的情况下，有可能在表面产生了气孔，在表面存在线的图样的情况下，有可能在表面产生了伤痕。伤痕、气孔意味着检查对象部件w的缺陷(实质性异常)。然而，即使在凸轮部表面存在圆等图样，该图样也有可能来源于表面上的液滴。另外，即使在面上存在线的图样，该图样也有可能是去毛刺用的刷子的痕迹、检查对象部件w的检查痕迹、或者磨石加工时产生的磨石纹。这些图样是通过检查对象部件w的制造阶段的加工而自然产生的，不是检查对象部件w的缺陷。因此，有可能产生以下的过度检测的问题，即，异常检查系统将具有这样的假异常的图样的图像判定为异常。
51.在本实施方式中，在作为输入对象的1张图像中判定为凸轮部有外观上的异常的情况下，第一检查部246将与该1张图像连续地拍摄的2张图像输入到第一学习模型m1。在此，第一检查部246判定1张图像中被判定为有外观上的异常的区域位于图像的哪个位置，根据该位置，选择映现出该外观上的异常的其他2张图像作为输入到第一学习模型m1的图像。
52.在该例子中，作为将整个图像的区域在上下方向上划分而得的各三分之一的区域，定义上区域、中央区域和下区域为。并且，如图2d-2f所示，凸轮部的旋转方向是从画面的上方朝向下方的方向。在该情况下，若映现出外观上的异常的部位是图像的上区域，则第一检查部246选择紧接判定对象的图像的拍摄时刻之后以及进一步紧接其后拍摄的图像。另外，若映现出外观上的异常的部位是图像的中央区域，则第一检查部246选择紧挨判定对象的图像的拍摄时刻之前拍摄的图像以及紧接其后拍摄的图像。并且，若映现出外观上的异常的部位是图像的下区域，则第一检查部246选择紧挨判定对象的图像的拍摄时刻之前拍摄的图像以及进一步紧挨其前拍摄的图像。
53.第一检查部246将针对该2张图像计算出的第一判定值与存储在db 21中的阈值th1进行比较。与上述相同，第一学习模型m1也可以将各图像分割成多个分块，并对每个分块计算第一判定值。然后，在2张图像的第一判定值均为阈值th1以下的情况下(即，对2张图像的双方都检测到外观上的异常的情况下)，第一检查部246判定为最初判定的图像有异常的嫌疑。被判定为有异常的嫌疑的图像成为由第二检查部247进行的再次检查的对象。在通过该再次检查而判定为图像中映现出缺陷的情况下，首先会判定为检查对象部件w异常。另外，被判定为没有异常的嫌疑的图像被排除到第二检查部247的检查对象之外。
54.第二检查部247对第二学习模型m2输入被判定为有异常的嫌疑的凸轮部的图像(第二拍摄数据)的全部图像。另外，在第一学习模型m1是将图像分割成多个分块、并对每个分块计算第一判定值的模型的情况下，第二检查部247也可以切取第一判定值为阈值th1以下的图像的分块，仅将该切取的分块的图像输入到第二学习模型m2。
55.图3c是示出第二检查部247切取图像的处理的一例的图。在凸轮部检查用相机12拍摄的原始图像im中，由于存在有异常的嫌疑的图样da，因此第一检查部246判定为图像im的分块da的第一判定值在阈值th1以下。此时，第二检查部247可以从图像im切取分块da，仅将分块da的图像输入到第二学习模型m2。
56.第二学习模型m2输出基于如上述那样输入的图像的计算结果。第二检查部247根据来自第二学习模型m2的输出结果，判定凸轮部是否有异常。
57.在此，第二学习模型m2是与第一学习模型m1不同种类的ai模型。第二学习模型m2是将凸轮部的图像用作训练数据学习而得的模型，在该模型中，作为图像被输入时的输出结果，将与凸轮部的外观上的异常的类别相关的计算值作为输出结果。详细地说，第二学习模型m2通过对输入的图像执行分类处理来计算输入图像的第二判定值并输出。该第二判定值是输入图像与上述记载的假异常的图样的一致率，是指计算输入图像与假异常的图样的内积时的余弦值(cosθ)。第二学习模型m2计算出与被模型化的假异常的图样的种类数量对应的数量的第二判定值。该第二判定值越大(接近1的值)，表示图像中的凸轮部表面的图样与假异常的图样(例如，液滴、去毛刺用的刷子的痕迹、检查痕迹或磨石纹的至少其中一种图样)越类似，没有实质性的异常。另一方面，第二判定值越小，则该凸轮部表面的图样与假异常的图样越不类似，因此认为该图样为伤痕或气孔等缺陷的可能性越高。
58.第二检查部247将计算出的第二判定值与存储在db 21中的阈值th2进行比较。另外，阈值th2也设定有与被模型化的假异常的图样的种类数量对应的数量。第二检查部247将对于所有的假异常的图样的种类而言第二判定值均为阈值th2以下的图像判定为凸轮部有异常的图像。另一方面，第二检查部247将对于至少某一种假异常的图样而言第二判定值比阈值th2大的图像判定为凸轮部没有异常的图像。
59.另外，在第二检查部247仅将切取所拍摄的原始图像的一部分而得的分块的图像输入到第二学习模型m2的情况下，第二学习模型m2对该分块执行上述分类处理，计算出该分块的第二判定值并输出。
60.另外，在本实施方式中，在作为输入对象的1张图像中判定为凸轮部有异常的情况下，第二检查部247将与该1张图像连续地拍摄的2张图像输入到第二学习模型m2。所选择的2张图像与第一检查部246选择的2张图像相同。在作为输入对象的1张图像是被切取的分块的图像的情况下，第二检查部247从第一检查部246所选择的2张图像中切取第一判定值为阈值th1以下的分块，并将通过切取而得到的2张分块的图像输入到第二学习模型m2。第二检查部247将针对2张分块的图像计算出的第二判定值与存储在db 21中的阈值th2进行比较。在该2张图像的双方均对于所有的假异常的图样的种类而言第二判定值为阈值th2以下的情况下(即，对输入的2张图像的双方都检测到异常的情况下)，第二检查部247判定为凸轮部有异常。
61.第一检查部246和第二检查部247对各凸轮部检查用相机12拍摄的每个图像执行上述处理。然后，在一次也没有被第二检查部247判定为凸轮部有异常的情况下，第二检查
部247判定为被拍摄的检查对象即凸轮部没有异常。另一方面，在被判定为凸轮部有异常的图像哪怕存在一次的情况下，第二检查部247判定为凸轮部有异常。只是，第二检查部247也可以在被判定为凸轮部有异常的次数为规定的、大于1的阈值的数量以上的情况下，判定为凸轮部有异常。第二检查部247在判定为检查对象即凸轮部有异常的情况下，判定为检查对象部件w有异常。
62.第二检查部247能够在信息处理装置20的显示面板22上显示以上的判定结果。另外，对于判定为有异常的凸轮部，第二检查部247也可以通过确定拍摄该凸轮部的凸轮部检查用相机12及其拍摄方向来进行判别，并将判别的结果显示在显示面板22上。
63.另外，虽然未图示，但判定部245也可以还具备使用轴颈部检查用相机14取得的轴颈部的图像来执行轴颈部的检查的检查部的功能。
64.图4a-4c是示出异常检查系统s1执行凸轮部的检查的处理的一例的流程图，以下，参照图4a-4c说明该处理。另外，各处理的详细情况如上所述，适当省略说明。
65.首先，用户操作输入部23，由此，信息处理装置20使检查装置10执行检查对象部件w的凸轮部的检查。通过进行该检查，图像取得部244读入凸轮部检查用相机12拍摄的所有图像(步骤s11)。
66.第一检查部246将读入的图像中的1张图像输入到第一学习模型m1。然后，判定由第一学习模型m1计算出的第一判定值是否为阈值th1以下(步骤s12)。
67.在第一判定值为阈值th1以下的情况下(步骤s12的“是”)，第一检查部246将与输入的图像连续地拍摄的2张图像输入到第一学习模型m1。该2张图像的选择确定方法如上所述。然后，第一检查部246将针对该2张图像计算出的第一判定值与阈值th1进行比较，判定2张图像的第一判定值是否均在阈值th1以下(步骤s13)。
68.在2张图像的第一判定值均在阈值th1以下的情况下(步骤s13的“是”)，第一检查部246判定为最初成为判定对象的图像有异常的嫌疑。根据该判定结果，第二检查部247在最初成为判定对象的图像中切取第一判定值为阈值th1以下的分块(步骤s14)。然后，第二检查部247将该切取的分块的图像输入到第二学习模型m2。第二检查部247判定是否对于所有假异常的图样的种类而言由第二学习模型m2计算出的第二判定值均为阈值th2以下(步骤s15)。
69.在对于所有假异常的图样的种类而言第二判定值均为阈值th2以下的情况下(步骤s15的“是”)，第二检查部247将与输入的图像连续地拍摄的2张图像输入到第二学习模型m2。该2张图像的选择确定方法如上所述。然后，第二检查部247将针对该2张图像计算出的第二判定值与阈值th2进行比较，判定2张图像是否均对于所有假异常的图样的种类而言第二判定值为阈值th2以下(步骤s16)。
70.在对于所有假异常的图样的种类而言2张图像的第二判定值均为阈值th2以下的情况下(步骤s16的“是”)，第二检查部247根据该图像的判定结果，判定为凸轮部有异常，异常检查系统s1结束检查处理(步骤s17)。
71.另一方面，在步骤s12中，在第一判定值大于阈值th1的情况下(步骤s12的“否”)，第一检查部246判定为检查对象的图像正常(没有异常)(步骤s18)。在步骤s13中，在2张图像中的至少1张图像的第一判定值大于阈值th1的情况下(步骤s13的“否”)，也进行同样的判定。
72.另外，在步骤s14中，在对于至少某一种假异常的图样而言第二判定值大于阈值th2的情况下(步骤s15的“否”)，第二检查部247也判定为检查对象的图像正常(步骤s18)。在步骤s16中，在2张图像中的至少1张图像对于至少某一种假异常的图样而言第二判定值大于阈值th2的情况下(步骤s16的“否”)，也进行同样的判定。
73.然后，第一检查部246针对在步骤s11中读入的所有图像，判定以上所示的判定是否结束(步骤s19)。在存在判定未结束的图像的情况下(步骤s19的“否”)，第一检查部246返回步骤s12，对未判定的图像执行处理。另一方面，在对所有图像的判定都结束的情况下(步骤s19的“是”)，第一检查部246判定为凸轮部正常，异常检查系统s1结束检查处理(步骤s20)。
74.另外，在以上所示的流程中，说明了信息处理装置20对1个图像执行基于第一检查部246和第二检查部247的检查，并对各图像依次执行该检查的内容。只是，信息处理装置20也可以对多个图像(例如，读入的所有图像)一概执行基于第一检查部246的检查，并对其中第一判定值为阈值th1以下的图像执行基于第二检查部247的检查。
75.如以上说明所示，异常检查系统s1的图像取得部244以在连续的多个图像的各自不同的区域中包含部件的同一部位的方式取得凸轮部的图像。然后，第二检查部247(判定部245)检测连续的多个图像有无异常，在多个图像中全部检测出异常的情况下，判定为凸轮部异常。
76.如图2g、2h所示，在凸轮部表面产生了假异常的图样的情况下，根据图像拍摄时该图样所在的位置，有可能在异常检查系统侧误判定为(过度检测)气孔等缺陷。并且，在为了抑制这样的过度检测而使学习模型学习的情况下，学习模型有可能反而将缺陷部位误判定为假异常。
77.本发明所涉及的异常检查系统s1根据与凸轮部的同一部位在不同的状态下被拍摄而得的多个图像相关的检测结果，来判定凸轮部的异常。因此，例如即使在1张图像的上端或下端存在假异常的图样的情况下，在其他图像中该图样被拍摄到图像中央的情况下，异常检查系统s1也能够根据该图像而判定假异常的图样不是异常。因此，异常检查系统s1能够准确地检测凸轮部的异常。另外，在作为曲面的凸轮部的图像检查中，即使不使用精度高但昂贵的线阵相机，也能够利用比较低廉的面阵相机，以使凸轮部的拍摄区域在前后的图像中重复的方式连续地拍摄图像，由此，能够起到这样的效果。因此，能够使异常检查系统s1的构成更低廉。
78.另外，第二检查部247也可以通过向使用凸轮部的图像作为训练数据进行学习而得的第二学习模型m2输入连续的多个图像来检测有无异常。异常检查系统通过学习完毕的学习模型来检测异常，因此能够更高精度地判定有无异常。
79.另外，第二检查部247也可以将1张图像输入到第二学习模型m2，在根据第二学习模型m2的输出结果判定为在该图像中检测到异常时，将与该图像连续地拍摄的其他图像输入到第二学习模型m2，由此检测多个图像的全部中有无异常。异常检查系统s1在最初使用1张图像来执行判定的结果是没有异常的情况下，不对该图像执行进一步的处理，所以能够抑制不需要的处理，使检查更高效。
80.另外，第二学习模型m2是将凸轮部的外观上的异常的类别作为输出结果的模型，第二检查部247也可以根据连续的多个图像在第二学习模型m2中的输出结果所表示的凸轮
部的外观上的异常的类别，判定凸轮部有无异常。由此，异常检查系统s1能够抑制将虽然凸轮部有外观上的异常但实质性质量没有异常的凸轮部误检测为异常的情况。
81.另外，也可以是，第一检查部246通过将由图像取得部244取得的图像输入到第一学习模型m1来判定图像有无异常的嫌疑，第二检查部247通过将包含被判定为有异常的嫌疑的图像的连续的图像输入到第二学习模型m2来判定有无异常。异常检查系统s1使用两种不同的学习模型来判定部件的异常，因此能够提高异常检查的精度。
82.另外，第一检查部246将1张图像输入到第一学习模型m1，在根据第一学习模型m1的输出结果判定为在该图像中检测到外观上的异常时，将与该图像连续地拍摄的其他图像输入到第一学习模型m1。并且，可以在其他图像中也检测到外观上的异常的情况下，判定为凸轮部有异常的嫌疑。异常检查系统在最初使用1张图像以第一学习模型m1执行判定的结果是没有异常的情况下，不对该拍摄数据执行进一步的处理，所以能够抑制不需要的处理，使检查更高效。另外，第一检查部246将多个图像输入到第一学习模型m1来判定异常的嫌疑，由此能够减少被判定为有异常的嫌疑的图像(即，成为第二检查部247的检查对象的图像)。第二学习模型m2的精度高，但另一方面，每1张输入图像的推断时间比第一学习模型m1长很多，所以通过减少成为第二检查部247的检查对象的图像，能够抑制整个检查所花费的时间。
83.另外，图像取得部244也可以以凸轮部的同一部位至少包含在连续的3张图像中的方式取得凸轮部的图像。异常检查系统s1根据使用凸轮部的同一部位分散在图像中的不同位置的3个以上的图像得到的检测结果，来判定凸轮部的异常。因此，在检查中，能够抑制与光的照射程度这些图像的特性相伴的噪声，因此能够更准确地检测凸轮部的异常。
84.另外，图像取得部244也可以在通过旋转机构使凸轮部旋转的状态下取得凸轮部的曲面部的图像，该旋转机构对凸轮部(检查对象部件w)进行轴支承并使其旋转。由此，异常检查系统s1能够高效地取得凸轮部的连续图像，因此能够缩短整个检查所花费的时间。
85.此外，本发明并不限定于上述实施方式，可以在不脱离主旨的范围内适当变更。
86.例如，在实施方式中，说明了进行基于第一检查部246及第二检查部247的2个阶段的凸轮部的检查的情况，但作为凸轮部的检查，也可以进行3个阶段以上的检查。例如，也可以在基于第一检查部246的检查的前后任一方，进一步进行不是基于第二检查部247的检查。
87.在检查中，凸轮部也可以不是其整个表面被拍摄并检查，而是仅其一部分表面被拍摄而成为检查对象。这对轴颈部也是同样的。另外，在检查中使用的凸轮部检查用相机12和轴颈部检查用相机14中的至少一个也可以不是面阵相机，而是线阵相机等其他种类的相机。
88.在实施方式中，也可以仅执行第一检查部246的步骤s13的处理、第二检查部247的步骤s16的处理中的某一方。另外，在步骤s13或s16中，以追加的方式成为判定对象的图像也可以不是2张，而是1张。例如，在步骤s13中，若映现出外观上的异常的部位是图像的上区域，则第一检查部246也可以追加选择紧接判定对象的图像的拍摄时刻之后拍摄的图像。同样地，若映现出外观上的异常的部位是图像的下区域，则第一检查部246也可以追加选择紧挨判定对象的图像的拍摄时刻之前拍摄的图像。无论在哪种情况下，由于推定在新选择的图像中，映现出外观上的异常的部位为图像的中央区域，所以在外观上的异常是假异常的
图样的情况下，容易由第一检查部246准确地判定该情况。由此，能够更高效地执行整体的检查。
89.另外，信息处理装置20也可以以在凸轮部检查用相机12的连续的拍摄中、凸轮部的同一部位映现在连续的2张、或4张以上的图像中的方式，确定上述的与拍摄相关的各种参数。在该情况下，作为在步骤s13或s16中以追加的方式成为判定对象的图像，也是可以选择与作为紧挨在前的判定对象的图像连续地拍摄的1张以上的图像。此时，第一检查部246或第二检查部247可以选择包含作为紧挨在前的判定对象的图像中被判定为有外观上的异常的区域的所有图像，也可以选择其中的一部分图像。例如，第一检查部246在与步骤s12的判定对象相关的图像中，判定被判定为有外观上的异常的区域位于图像的哪个位置。然后，可以与该图像进行比较，选择该区域更接近图像的中心(可避免过度检测的拍摄区域)地映现的1张以上的图像。第二检查部247也可以执行同样的处理。
90.被执行基于第一检查部246以及第二检查部247的检查的对象也可以不是凸轮部那样的形状，而是轴颈部等具有正圆的截面形状的部分。并且，检查对象部件也可以不是凸轮轴，而是其他种类的部件。即使在该情况下，异常检查系统s1也能够连续拍摄该部件的曲面或平面，并对连续地拍摄的图像执行实施方式所记载的检查。
91.在实施方式中，检查对象部件w进行旋转，异常检查系统s1的相机连续地拍摄旋转中的检查对象部件w，由此取得图像。然而，取得图像的方法不限于此。例如，在检查对象部件具有平面部、异常检查系统s1的照明对该平面部照射光的状态下，相机连续地拍摄该平面部的情况下，拍摄时移动的可以是检查对象部件侧，也可以是相机侧。这样一来，在成为包含部件表面的同一部位的图像被连续地拍摄的状态时，拍摄时移动的可以是检查对象部件和相机(拍摄部)中的任一侧。在任一种情况下，检查对象部件与相机的位置关系在拍摄时都成为相对地持续变化的状态，因此异常检查系统s1能够容易地连续拍摄包含部件表面的同一部位的图像。
92.根据异常检查系统s1的相机、照明及检查对象部件的位置关系、以及检查对象部件的特性(例如拍摄区域是曲面还是平面，或者在是曲面的情况下其曲率的值)，有时图像中的假异常的图样的映现程度会与图2h所示的不同。即使在这样的情况下，第一检查部246或第二检查部247中的至少一个也可以在步骤s13或s16中，根据事先存储在db 21中的避免过度检测的拍摄区域的信息，选择被判定为有外观上的异常的区域位于其拍摄区域的图像。
93.在异常检查系统s1中，在如实施方式所述那样判定了检查对象部件w的凸轮部有无异常的情况下，用户也可以通过输入部23将实际的凸轮部有无异常、或者图像中映现出的凸轮部的图样的种类(例如示出缺陷的图样、或者示出假异常的图样的种类)输入到信息处理装置20。由此，第一检查部246和第二检查部247能够基于以这种方式反馈的数据来修正第一学习模型m1和第二学习模型m2中的至少某一种。
94.如上所述，上述实施方式中的异常检查系统所具有的一个或多个处理器执行以下的一个或多个程序：其包含用于使计算机执行参考附图描述的算法的命令组。通过该处理，能够实现各实施方式中记载的处理。
95.程序包含以下的命令组(或软件代码)：其在被读入到计算机的情况下，使计算机执行在实施方式中描述的1个或1个以上的功能。程序也可以存储在非临时性计算机可读介
质或有形的存储介质中。作为示例而非限制，计算机可读介质或有形的存储介质包括random-access memory(ram)、read-only memory(rom)、闪速存储器、solid-state drive(ssd)或其他的存储器技术、cd-rom、digital versatile disk(dvd)、blu-ray(注册商标)盘、或其他的光盘存储器、盒式磁带、磁带、磁盘存储器或其他的磁性存储设备。程序也可以在临时性计算机可读介质或通信介质上传输。作为示例而非限制，临时性计算机可读介质或通信介质包括电、光、声或其它形式的传播信号。另外，程序例如还可以采取作为应用程序的形式。
96.以上，参照实施方式说明了本发明，但本发明不受上述限定。详细地说，本发明的构成可以在本发明的范围内进行本领域技术人员能够理解的各种变更。