学习处理装置及检查装置的制作方法

1.本发明涉及一种构建在检查中使用的神经网络模型的学习处理装置以及具有学习处理功能的检查装置。


背景技术：

2.以往，已知一种为了对检查对象物进行检查而使用拍摄图像的检查装置。例如，已知一种在制造装入容器的药剂时，使用图像对药剂用容器的裂纹、容器内的异物的有无进行检查的检查装置。在该检查中使用的软件例如使用基于规则的图像识别处理，并具有将用于执行规定的检查的处理步骤以及设定的参数等作为检查处理条件进行管理的功能。例如，在制药行业中，为了使制造业者符合在适当制造规范(gmp：good manufacturing practice)中规定的指导方针，软件需要能够确认生成、验证完成的检查处理条件是否与在药剂制造时使用的检查处理条件相同以及有效。
3.另一方面，近年来，使用了神经网络的检查装置也正在实用化。例如，在专利文献1中公开了一种检查装置，将拍摄了检查对象物的检查图像的一部分作为输入图像切出，根据检查图像中的输入图像的切出位置，将对于输入图像的检查结果产生影响的检查用标记嵌入到输入图像中，将嵌入了检查用标记的输入图像输入到神经网络中，使用神经网络的输出来判断输入图像的检查结果。
4.此外，在专利文献2中公开了一种图像检查装置，根据包含检查对象物的学习用图像实施神经网络的学习，构建输出学习用图像的特征量的学习完毕的神经网络，通过学习而生成根据学习完毕的神经网络输出的学习用图像的特征量判断检查对象物的良好与否的识别器，将包含检查对象物的判断用图像输入到学习完毕的神经网络并输出判断用图像的特征量，将判断用图像的特征量输入到识别器，实施检查对象物的良好与否的判断。在先技术文献专利文献
5.专利文献1：日本特开2019-505802号公报；专利文献2：日本特开2019-87181号公报。


技术实现要素：

发明要解决的问题
6.如上所述，在使用神经网络来代替基于规则的图像识别处理的检查方法的情况下，由于用户不能够理解神经网络模型的结构，所以难以对生成、验证完毕的神经网络模型与在检查阶段使用的神经网络模型是否相同、或者该神经网络模型是否为有效进行验证。用于解决问题的方法
7.根据本发明的一个方式，提供了一种学习处理装置，是根据拍摄了检查对象物的图像数据和神经网络模型而构建在检查对象物的检查中使用的神经网络模型的学习处理装置，具有：学习部，其根据包含多个学习用图像的图像数据的列表，以规定的学习条件实
施学习处理来构建神经网络模型，学习部在每次构建神经网络模型时，在该神经网络模型中嵌入固有的模型识别数据。
8.此外，根据本发明的另一个方式，提供了一种检查装置，是根据设定的检查处理条件的数据文件而对检查对象物进行检查的检查装置，具有：学习部，其根据包含多个学习用图像的图像数据的列表，以规定的学习条件实施学习处理来构建神经网络模型；处理条件设定部，其生成应用了被构建的神经网络模型的检查处理条件的数据文件；检查部，其根据检查处理条件的数据文件，并根据拍摄了检查对象物的图像数据和神经网络模型，判断检查对象物的异常，学习部在每次构建神经网络模型时，附加固有的模型识别数据来构建神经网络模型，处理条件设定部在每次应用的神经网络模型被改变时，附加固有的条件识别数据来生成检查处理条件数据。发明的效果
9.如上所述，根据本发明，在使用神经网络模型来构建在检查对象的检查中使用的神经网络模型的学习处理装置中，能够容易地对生成、验证完毕的神经网络模型与在检查阶段使用的神经网络模型是否相同进行验证。
附图说明
10.图1是表示本发明的实施方式的检查装置的结构例的框图。图2是表示检查处理步骤的一例的说明图。图3是表示神经网络的学习处理和检查处理条件的设定处理的动作例的流程图。图4是表示数据集改变前的模型识别数据和条件识别数据的数据文件的说明图。图5是表示数据集改变后的模型识别数据和条件识别数据的数据文件的说明图。
具体实施方式
11.以下，参照附图，说明本发明的实施方式。此外，在本说明书和附图中，对于具有实质上相同功能结构的结构要素，标示相同的符号，省略重复说明。
12.《1.检查装置的整体结构》首先，说明本实施方式的检查装置的整体结构的一例。本实施方式的检查装置例如组装在装入容器的药剂的检查工序的作业线的一部分中使用，使用神经网络对检查对象物进行检查。神经网络的种类没有特别限定。检查装置对裂纹、破痕等容器的破损的有无、异物混入容器内的有无进行检查。容器例如为安瓿、小药瓶、玻璃瓶、卡普尔瓶或注射器等，但不限于这些示例。
13.检查装置构成为至少具有处理器和存储装置。处理器例如包含gpu(graphics processing unit)等图像处理装置和cpu(central processing unit)等运算处理装置。存储装置例如包含硬盘驱动器(hard disk drive)、压缩盘(compact disc)、数字多功能盘(digital versatile disc)、固态驱动器(solid state drive)、通用串行总线(universal serial bus)闪存、存储装置等的一个或多个存储介质。
14.图1是表示本实施方式的检查装置1的结构例的示意图。检查装置1具有图像处理部40、检查部10、处理条件设定部20、学习部30以及存储部50。图像处理部40、检查部10、处理条件设定部20以及学习部30的一部分或全部是能够通过基于上述处理器的程序的执行
而实现的功能。图像处理部40、检查部10、处理条件设定部20以及学习部30的一部分或全部可以由固件等可更新的部件构成，也可以是根据来自处理器的指令而被执行的程序模块等。存储部50是由上述存储装置实现的功能。
15.此外，构成检查装置1的学习部30是具有作为学习处理装置的功能的构成要素，也可以构成为具有包含该学习部30的一部分功能的独立的处理装置。
16.在检查装置1中，连接了用于拍摄连续输送的药剂装入容器的拍摄装置5a、5b。作为拍摄装置5a、5b，例如使用广角的ccd(charge coupled device)摄像机或线传感器摄像机等。在图1中，示出了两个拍摄装置5a、5b，但拍摄装置的数量可以是一个，也可以是三个以上。此外，检查装置1也可以具有向检查对象物照射光的照明装置、在视觉上放大检查对象物的显微镜。进一步地，检查装置1也可以具有图像显示监视器、扬声器等。图像显示监视器例如显示用于操作者确认检查状况等的图像信息、文本。图像显示监视器也可以是承接基于操作者的操作输入的触摸面板。扬声器例如是为了发出检查步骤的指导、在药剂装入容器中检测到缺陷时发出警报而设置的。
17.例如，可以考虑在输送填充了液体药剂的药剂装入容器的同时实施异物混入等的检查。在这种情况下，通过在使到达检查站的装有药剂的容器旋转的同时进行拍摄，能够检测容器的状态，通过对旋转状态下的内部药剂的状态进行拍摄，能够检测异物的混入。例如，在多个检查站中，分别在多个拍摄装置中实施药剂装入容器的检查。
18.图像处理部40取得由拍摄装置5a、5b拍摄的拍摄图像。图像处理部40将取得的拍摄图像保存在存储部50中。图像处理部40在将拍摄图像保存在存储部50中时，也可以进行适合于检查的适当的图像处理。例如，图像处理部40也可以进行切出拍摄图像中与检查对象范围对应的一部分的处理。此外，图像处理部40也可以进行拍摄图像的数据的压缩、初始化、解压等处理。
19.学习部30使用拍摄图像进行神经网络的学习(深层学习：深度学习)。即，通过学习在规定的检查条件下得到的无异常的图像、有各种异常的图像，构建神经网络模型。
20.处理条件设定部20生成检查对象物的检查处理条件的数据文件。检查处理条件的数据文件指的是，汇总了检查的处理步骤、检查条件的参数等的数据文件。在使用了以往的基于规则图像识别处理的检查中，根据预定的检查条件的数据文件进行检查，各检查的检查条件与例如每个拍摄装置拍摄的图像数据一起被存储。此外，在通过学习构建了神经网络模型的情况下，根据在该学习中使用的图像相关的检查条件，生成与构建的神经网络模型对应的检查条件数据文件。
21.用户根据设定的检查处理条件执行检查。检查部10使用学习完毕的神经网络模型进行检查对象物的检查。例如，检查部10将拍摄了检查对象物的图像输入到神经网络模型，并根据其输出进行检查对象物的检查。使用的神经网络模型是通过在设定的检查处理条件下的学习而形成的。
22.此外，检查部10也可以被构成为，能够与使用了神经网络模型的检查一起地，进行基于以往的基于规则图像识别处理的检查。以下说明的本实施方式的检查装置1被构成为，除了使用了神经网络模型的检查以外，还可以执行使用了以往的基于规则的图像识别处理的检查。
23.《2.检查处理的示例》
接着，说明基于在检查处理条件的数据文件中包含的检查步骤的检查处理的一例。
24.图2表示检查步骤的一例。在图2例示的检查步骤中，在步骤s11～步骤s19中，在分别设定的条件下通过检查部vsn_pc1～vsn_pc4进行了检查处理之后，进行使用了神经网络模型的判断，然后在步骤s21中，判断检查对象物的缺陷。其中，步骤s11～s17是通过基于规则的图像识别处理等进行的检查处理，步骤s19是使用了神经网络模型的检查处理。
25.在检查对象物是瓶型容器的情况下，例如在步骤s11～步骤s17中，将条件设定为能够光学判断容器的肩或颈部等、在主要容易产生裂纹的部分是否存在大的伤痕、或者在容器内是否混入异物来进行检查，根据作为该检查结果而得到的图像来进行判断。在各个步骤s11～步骤s17中，根据检查处理条件的数据文件的设定，改变对检查对象的容器进行拍摄的拍摄装置5a、5b、改变从照明装置照射的光的曝光量、光谱、曝光时间等，与此同时进行规定的检查。然后，在步骤s11～步骤s17中，根据得到的图像数据，检测以往的基于规则中的容器的外观或容器内的异物混入等异常的有无。
26.此外，关于步骤s11～s17的检查，各检查处理条件和在各检查中得到的图像与各步骤s11～s17的检查建立关联地分别存储在存储部50中。
27.在步骤s19中，使用神经网络模型来判断容器的外观或容器内缺陷的有无。在步骤s19中，也根据检查处理条件的数据文件的设定，将多个检查对象的容器的图像分别输入到神经网络模型，根据其输出，检查容器中有无伤痕或异物混入到容器内的有无。即，对于通过一个检查得到的容器图像，输入至针对该检查而准备的神经网络模型中，由此得到作为针对该检查的检查结果的伤痕等异常(缺陷)的判断结果。然后，对于各检查，将使用的检查处理条件的数据文件与使用的神经网络模型建立关联地存储。
28.在步骤s21中，根据步骤s11～步骤s19的判断结果，判断检查对象物的合格与否。例如，可以将在步骤s11～s17的判断结果和步骤s19的判断结果的任一个中被判断为有缺陷的容器设为不合格、将双方中被判断为有缺陷的容器设为不合格。此外，关于在这些各步骤s11～步骤s21中进行的处理的内容，可以采用以往公知的技术，所以省略详细的说明。
29.在本实施方式的检查装置1中，关于步骤s19中使用了神经网络模型的检查处理，在与该检查处理条件的数据文件一起进行存储时，存储该神经网络模型的模型识别数据、该检查处理条件的数据文件的条件识别数据。神经网络模型的模型识别数据在通过学习而构建神经网络模型时被附加。即，在每次在神经网络的学习中使用的数据集不同时，附加难以改写的识别数据。然后，在步骤s19中，将在检查处理中使用的神经网络模型的模型识别数据与该检查对应地存储。因此，在检查结束之后，存储了在每次进行的检查中使用的神经网络模型的模型识别数据，能够验证在检查处理中使用的神经网络模型。
30.关于各神经网络模型，存储了在构建该模型时使用的图像数据的列表、设定参数等。因此，在用户在图像识别中发现某些缺陷时，能够根据模型识别数据确定神经网络模型，由此能够跟踪在学习神经网络时使用的图像数据的列表和设定参数。因此，可以验证神经网络模型针对进行的检查的恰当性。
31.《3.学习处理动作和检查处理条件的设定处理动作》以下，说明通过检查装置1进行的神经网络的学习处理和检查处理条件的设定处理的动作例。
32.图3是表示神经网络的学习处理和检查处理条件的设定处理的动作例的流程图。图3的左列表示与检查处理条件(处方：rcp.)的设定相关的动作，右列表示与在神经网络模型的生成中使用的数据集(dtst.)相关的动作。
33.首先，检查装置1的处理条件设定部20根据用户的输入，检测将神经网络模型应用于特定的检查处理条件(步骤s31中是)。即，通过学习构建神经网络模型，并且生成适用于构建的神经网络模型的检查处理条件的数据文件。
34.接着，学习部30设定神经网络的学习用的数据集(步骤s33)。学习用的数据集指的是，在神经网络的学习中使用的图像数据的列表、以及在学习中使用的设定参数的数据组。设定参数例如是对神经网络进行深度学习(深层学习)的深度、学习率、误差函数等参数。图像数据的列表可以从在存储部50中保存的图像数据中随机选择，也可以由用户指定。即，在特定的检查条件下进行的检查结果相关的图像数据作为异常、无异常的示例而被存储，根据这些数据集，构建神经网络模型。
35.例如，在学习开始时，随机地提取被保存的图像数据中的50％并使之学习，生成神经网络模型，然后，将剩余的50％输入到生成的神经网络模型，验证该模型。在通过该验证而产生了错误的情况下，也可以手动地将该图像数据追加为学习用的图像数据。或者，对于适用于装有药剂的容器的生产的神经网络模型，在存在不能够检测的异物、容器的缺陷的情况下，也可以将拍摄了该容器的图像数据重新注册至数据集中，并学习该图像数据。
36.接着，学习部30将模型识别数据附加到设定的数据集(步骤s35)。附加的模型识别数据是针对数据集附加的难以改写的识别数据，在数据集的一部分不同的情况下，单独地附加。在改变了在学习中使用的图像数据的列表、设定参数的至少一部分的情况下，学习部30必定附加另一个模型识别数据，以此能够区分为不同的数据集。这样，通过模型识别数据，确定神经网络模型和用于构建它的数据集。模型识别数据例如可以是二进制数据。通过使用二进制数据，能够容易地将能够识别为其他数据集的识别数据作为难以改写的识别数据编入到数据集中。
37.然后，学习部30实施神经网络的学习，以此生成神经网络模型(步骤s37)。例如，学习部30在分类图像数据的同时实施神经网络的学习。分类例如也可以根据在容器中产生裂纹的状态、容器缺损的状态、容器内混入异物的状态以及它们的程度来进行。能够应用的神经网络的种类、学习方法没有特别限定，可以根据检查的内容选择适当的神经网络或学习方法。
38.接着，学习部30将模型识别数据附加到生成的神经网络模型(步骤s39)。在此说明的示例中，针对神经网络模型，附加与向数据集附加的模型识别数据相同的识别数据。假设在不改变数据集而生成了神经网络模型的情况下，也会产生不同的散列值，然而，只要数据集为相同，则将相同的识别数据(在本实施例中为二进制数据)附加为被附加的模型识别数据。另一方面，只要数据集的至少一部分被改变，则将不同的模型识别数据附加到神经网络模型。
39.接着，处理条件设定部20将生成的神经网络模型应用于检查处理条件的数据文件(步骤s41)。具体地，将生成的神经网络模型应用为在使用了神经网络的检查处理中使用的神经网络模型。即，根据与构建神经网络模型时使用的数据集对应的检查处理条件，生成与构建的神经网络模型对应的检查处理条件的数据文件。
40.在新生成了神经网络模型的情况下，也可以在应用于检查处理条件的数据文件之前，在检查部10中验证该神经网络模型的有效性。由此，能够提高使用了该神经网络模型的检查的可靠性。
41.接着，处理条件设定部20向生成的检查处理条件的数据文件附加条件识别数据，保存该检查处理条件的数据文件(步骤s43)，并结束处理。条件识别数据向神经网络模型的模型识别数据不同的检查处理条件的数据文件中的每一个附加不同的值。条件识别数据与模型识别数据同样地，是不能够容易地改写的识别数据。作为条件识别数据，例如使用二进制数据。
42.在此，在步骤s31中的判断中，在为否的情况下，学习部30判断数据集是否被改变(步骤s45)。具体地，学习部30判断是否通过用户追加了学习用的图像数据、是否追加或改变了设定参数。在数据集未被改变的情况下(s45中否)，学习部30对被保存的神经网络模型及检查处理条件的数据文件进行保存，并结束处理。另一方面，在数据集被改变的情况下(s45中是)，学习部30返回到步骤s35，生成新的神经网络模型和检查处理条件的数据文件。此时，学习部30向神经网络模型和检查处理条件的数据文件重新附加模型识别数据和条件识别数据。
43.此外，步骤s31～s45的处理是随时重复的，因此在存在用户的输入的情况下及数据集被改变的情况下，生成新的神经网络模型和检查处理条件的数据文件。
44.图4和图5是用于说明数据集改变前后的模型识别数据和条件识别数据的图。图4表示数据集改变前的模型识别数据和条件识别数据的数据文件，图5表示数据集改变后的模型识别数据和条件识别数据的数据文件。在图4和图5的数据文件中，作为项目文件编号(prj.)分别被附加“111”和“112”。
45.在图4和图5所示的示例中，第一检查部vsn_pc1使用通过第一摄像机cmr1、第二摄像机cmr2、第三摄像机cmr3和第四摄像机cmr4分别拍摄的图像数据的列表，实施基于神经网络模型的检查。此外，在第二检查部vsn_pc2之后到第十检查部vsn_pc10分别使用通过第一摄像机cmr1、第二摄像机cmr2、第三摄像机cmr3以及第四摄像机cmr4中的至少一个分别拍摄的图像数据的列表，实施以往的基于规则的图像识别处理的检查。
46.分别通过各个检查部vsn_pc1～vsn_pc10，针对使用通过第一摄像机cmr1、第二摄像机cmr2、第三摄像机cmr3以及第四摄像机cmr4分别拍摄的图像数据的列表进行的每一个检查，生成检查处理条件的数据文件。例如，在图4中，作为检查处理条件的数据文件的条件识别数据(r.u.n.)，针对各个数据文件附加了“010”、“003”、“021”、“004”、“018”、“013
”…“
066”。
47.此外，关于使用了神经网络模型的检查，对于适用于各个检查处理条件的神经网络模型，作为模型识别数据的模型识别数据(m.u.n.)而附加“002”、“001”、“017”、“002”。
48.在此，假设在使用通过第一摄像机cmr1和第三摄像机cmr3拍摄的图像数据的列表来生成神经网络模型时的数据集被改变。这样一来，如图5所示，生成的神经网络模型的模型识别数据(m.u.n.)分别被更新为“003”、“018”。此外，作为应用了该神经网络模型的检查处理条件的数据文件的识别数据的条件识别数据(r.u.n.)分别被更新为“012”、“022”。
49.以此方式，在本实施方式的检查装置1中，在每次用于生成神经网络模型的数据集的一部分被改变时，学习部30附加难以改写的模型识别数据来生成神经网络模型。此外，处
理条件设定部20向应用了模型识别数据不同的神经网络模型的检查处理条件附加难以改变的条件识别数据，并生成检查处理条件的数据文件。因此，用户在基于使用了神经网络模型的图像识别的检查结果中感觉到异常时，可以跟踪在使用了神经网络模型的生成中使用的图像数据的列表、设定参数、生成时间。
50.特别地，在各检查项目中，针对各检查部的每个摄像机，存储条件识别数据、在使用了神经网络模型的情况下的该模型识别数据。因此，可以在判断中容易地实施使用了网络模型及其检查条件的验证。此外，在网络模型被改变的情况下，条件识别数据也被改变，因此也能够可靠地进行与网络模型对应的数据集的验证。
51.此外，在不使用神经网络模型而以基于规则进行检查的情况下，与各检查对应地生成检查处理条件数据文件，并将其与该条件识别数据一起存储。在这种情况下，即使截至拍摄为止的检查处理条件相同，但也与利用了神经网络模型的情况相比，附加不同的条件识别数据。
52.即，对于检查时的检查处理条件数据文件，在不使用神经网络模型的情况与使用神经网络模型的情况下，附加不同的条件识别数据，此外，如果使用了神经网络模型不同，则针对对应的检查处理条件数据文件，附加不同的条件识别数据。
53.例如，在图4、5中的vsn_pc2中，对各检查的检查处理条件数据文件分别附加条件识别数据(r.u.n.)，假设在vsn_pc2中进行使用了神经网络模型的判断，附加与该模型对应的其他条件识别数据(r.u.n.)。
54.由此，用户即使在不能够理解神经网络的内容的情况下，也能够根据模型识别数据或条件识别数据，验证在检查中使用的神经网络模型是否与神经网络模型的生成、验证中使用的模型相同、或者有效等的恰当性。
55.此外，附加的模型识别数据与条件识别数据是二进制数据等难以改写的识别数据，因此在神经网络模型或检查处理条件的数据文件生成后被篡改的可能性低，能够提高神经网络模型的恰当性的可靠性。
56.此外，针对每个生成的神经网络模型附加模型识别数据，针对每个检查处理条件的数据文件附加条件识别数据，因此例如根据在容器被改变的情况下、或者即使是相同的容器而内容物被改变的情况下等的检查环境选择使用的神经网络模型变得容易。
57.以上，参照附图详细说明了本发明的实施方式，但是本发明不限于这些示例。显然，对于本发明所属的技术领域的技术人员来说，在权利要求书中记载的技术思想的范围内，可以想到各种改变例或修正例，这些当然也属于本发明的技术范围。
58.例如，上述实施方式的检查装置1的检查部10、处理条件设定部20、学习部30以及图像处理部40由一个计算机装置构成，但本发明不限于这样的示例。检查部10、处理条件设定部20、学习部30以及图像处理部40中的每一个、或者两个以上也可以由能够相互通信的多个计算机装置构成。附图标记的说明
59.1 检查装置；10 检查部；20 处理条件设定部；30 学习部；
40 图像处理部。