判定系统及判定方法与流程

1.本公开涉及判定生产设备中的作业的良好与否的技术。


背景技术：

2.在日本特开2020-44718中公开了判定注射成形机中的动作状态的状态判定装置。在该以往技术中，收集多种多样的设备数据作为训练数据，执行机器学习模型的学习。


技术实现要素：

3.然而，根据设备，存在设备的异常值的产生频度低的情况，在该情况下，训练数据的收集可能会需要很多时间。另一方面，在使用图像基础的机器学习模型来进行良好与否判定的情况下，训练数据的收集容易，但在工件被变更了时，无法利用相同的机器学习模型，需要针对工件的每个种类执行机器学习模型的制作及学习。因此，关于制作也能够对种类不同的工件应用的机器学习模型的方法，留有研究的余地。需要说明的是，这样的课题不限于注射成形机，对于其他的生产设备中的作业的良好与否判定也是共通的课题。
4.本公开能够作为以下的方式来实现。
5.(1)根据本公开的第一方式，提供进行生产设备中的对于工件的作业的良好与否判定的判定系统。该判定系统具备：检测部，检测所述生产设备的作业状态信息；第一机器学习模型，将所述生产设备的作业结果的图像作为输入来进行所述作业结果的良好与否判定；及第二机器学习模型，使用所述第一机器学习模型判定为良的情况下的所述生产设备的作业状态信息作为带良标签的训练数据且使用所述第一机器学习模型判定为不良的情况下的所述生产设备的作业状态信息作为带不良标签的训练数据执行学习。
6.根据该判定系统，由于利用使用训练数据的收集比较容易的图像而学习到的第一机器学习模型来进行生产设备的作业结果的良或不良的判定，将此时的作业状态信息作为训练数据来进行第二机器学习模型的学习，所以能够容易地构筑根据生产设备的作业状态信息来判定作业的良好与否的判定系统。另外，第二机器学习模型也能够对种类不同的工件应用。
7.(2)在上述判定系统中，可以是，所述生产设备是具备向所述工件注射涂布液的注射部的涂布设备，所述作业状态信息包含所述注射部的注射压力和变更所述工件与所述注射部之间的相对的位置的驱动部的驱动信息。
8.根据该判定系统，能够容易地构筑根据涂布设备的作业状态信息来判定作业的良好与否的判定系统。
9.(3)根据本公开的第二方式，提供进行生产设备中的对于工件的作业的良好与否判定的判定方法。该判定方法包括以下工序：(a)使用所述生产设备的作业结果的图像作为训练数据来执行第一机器学习模型的学习，所述第一机器学习模型进行所述作业结果的良好与否判定；(b)使用已学习的所述第一机器学习模型判定为良的情况下的所述生产设备的作业状态信息作为带良标签的训练数据，使用所述第一机器学习模型判定为不良的情况
下的所述生产设备的作业状态信息作为带不良标签的训练数据，执行第二机器学习模型的学习；及(c)将对于具有与所述工件相同的规格的新的工件的作业中的所述生产设备的作业状态信息向已学习的所述第二机器学习模型输入，执行对于所述新的工件的作业的良好与否判定。
10.根据该判定方法，由于利用使用训练数据的收集比较容易的图像而学习到的第一机器学习模型来进行生产设备的作业结果的良或不良的判定，将此时的作业状态信息作为训练数据来进行第二机器学习模型的学习，所以能够根据生产设备的作业状态信息而容易地判定作业的良好与否。另外，第二机器学习模型也能够对种类不同的工件应用。
11.(4)上述判定方法可以还包括以下工序：(d)将对于具有与所述工件不同的规格的其他的工件的作业中的所述生产设备的作业状态信息向所述已学习的所述第二机器学习模型输入，执行对于所述其他的工件的作业的良好与否判定。
12.根据该判定方法，能够容易地判定对于规格不同的其他的工件的作业的良好与否。
附图说明
13.本发明的典型实施例的特征、优点及技术上和工业上的意义将会在下面参照附图来描述，在这些附图中，同样的标记表示同样的要素，其中：
14.图1是判定系统的功能框图。
15.图2是示出涂布设备的结构例的说明图。
16.图3是示出实施方式的处理工序的流程图。
具体实施方式
17.图1是本公开的一实施方式中的判定系统的功能框图。该判定系统包含图像基础的自动判定装置100、生产状态信息基础的机器学习装置200及作为生产设备的涂布设备300。自动判定装置100、机器学习装置200及涂布设备300能够经由各自的通信部110、210、310而收发各种数据。作为生产设备，也能够利用涂布设备300以外的设备。
18.图像基础的自动判定装置100具备通信部110、控制部120、第一训练数据130、学习执行部140、第一机器学习模型150、判定执行部160及拍摄装置170。第一训练数据130和第一机器学习模型150保存于硬盘等存储装置。控制部120包含处理器和存储器，执行自动判定装置100的控制。学习执行部140使用第一训练数据130来执行第一机器学习模型150的学习。判定执行部160使用已学习的第一机器学习模型150，将由涂布设备300进行了涂布作业的工件的图像作为输入来执行其良好与否的判定。学习执行部140和判定执行部160的功能可以通过控制部120的处理器执行计算机程序来实现，或者也可以由硬件电路实现。
19.第一训练数据130是图像基础的训练数据。即，第一训练数据130是将由涂布设备300进行了涂布作业的工件利用拍摄装置170拍摄且作业者对该图像赋予了良或不良的标签的数据。第一机器学习模型150的学习使用第一训练数据130来执行。因此，第一机器学习模型150是将涂布设备300的作业结果的图像作为输入来进行其作业结果的良好与否判定的模型。判定执行部160对已学习的第一机器学习模型150使用新的工件的图像作为输入数据，执行其良好与否判定。该输入数据是由拍摄装置170拍摄到的涂布作业后的工件的图
像。
20.生产状态信息基础的机器学习装置200具备通信部210、控制部220、第二训练数据230、学习执行部240及第二机器学习模型250。第二训练数据230和第二机器学习模型250保存于硬盘等存储装置。控制部220包含处理器和存储器，执行机器学习装置200的控制。学习执行部240使用第二训练数据230来执行第二机器学习模型250的学习。该学习执行部240的功能可以通过控制部220的处理器执行计算机程序来实现，或者也可以由硬件电路实现。
21.第二训练数据230是生产状态信息基础的训练数据。即，第二训练数据230是将在上述的自动判定装置100中第一机器学习模型150判定为良的情况下的涂布设备300的作业状态信息设为带良标的训练数据且将第一机器学习模型150判定为不良的情况下的涂布设备300的作业状态信息设为带不良标签的训练数据而得到的。第二机器学习模型250的学习使用第二训练数据230来执行。因此，第二机器学习模型250是将涂布设备300的作业状态信息设为输入来进行其作业结果的良好与否判定的模型。已学习的第二机器学习模型250经由通信部210而从机器学习装置200向涂布设备300传送并向存储装置保存。
22.涂布设备300具备通信部310、控制部320、已学习的第二机器学习模型330、判定执行部340、作业状态检测部350、驱动部360及涂布液注射部370。第二机器学习模型330在机器学习装置200中的学习结束后向涂布设备300传送并向存储装置保存。作业状态检测部350检测表示涂布设备300的作业状态的作业状态信息。判定执行部340将由作业状态检测部350检测到的作业状态信息向第二机器学习模型330输入来判定该作业的良好与否。驱动部360执行涂布设备300的构件、工件的移动。涂布液注射部370对工件注射涂布液。
23.图2是示出涂布设备300的结构例的说明图。该涂布设备300具备架台10、具有支承工件wk的支承部22的支承机构20、使支承机构20移动的电动机30及向工件wk的表面注射涂布液的注射喷嘴40。支承机构20和电动机30设置于架台10。在图2中示出了表示水平方向的x轴及y轴和表示铅垂朝上的z轴。包含电动机30的驱动部360通过使工件wk与注射喷嘴40的相对的位置至少在水平方向上变化，从而将注射喷嘴40的前端定位于在工件wk的表面预先设定的涂布区域。在工件wk弯曲的情况下，包含电动机30的驱动部360使工件wk与注射喷嘴40的相对的位置三维地移动。通过一边使工件wk移动一边从注射喷嘴40注射涂布液，能够遍及工件wk的涂布区域的整体而涂布涂布液。需要说明的是，也可以取代使用这样的电动机30而使用多关节机器人来将注射喷嘴40向工件wk上的期望的位置定位。在本实施方式中，作为工件wk，使用车辆用的玻璃，作为涂布液，使用作为玻璃用的粘接剂的聚氨酯。需要说明的是，电动机30构成图1的驱动部360的一部分，注射喷嘴40构成图1的涂布液注射部370的一部分。
24.图1中的涂布设备300的作业状态检测部350在涂布作业中检测表示驱动部360和涂布液注射部370的状态的作业状态信息。作为表示驱动部360的状态的信息，例如检测电动机30的电流值等驱动信息。另外，作为表示涂布液注射部370的状态的信息，例如检测注射喷嘴40中的注射压力。作业状态检测部350也可以进一步检测注射喷嘴40的前端与工件wk的表面之间的距离作为作业状态信息。作业状态检测部350优选构成为包含用于检测这些各种作业状态信息的传感器。
25.一般来说，作为向车身安装的玻璃的粘接剂，经常使用聚氨酯。在向玻璃涂布聚氨酯的涂布设备中，在混入了空气、异物时会产生聚氨酯中断或者缺损的缺陷。在对这样的作
业进行使用了机器学习模型的良好与否判定的情况下，作为机器学习模型的输入，可考虑将拍摄聚氨酯涂布后的玻璃而得到的图像作为机器学习模型的输入的方法和将涂布作业中的涂布设备的作业状态信息作为机器学习模型的输入的方法这2个方法。其中，将作业状态信息作为输入的方法不受玻璃的形状的变化的影响，因此可认为在生产多车型时通用性高。但是，由于异常产生的频度低等，所以难以将作业状态信息作为训练数据来进行机器学习模型的学习。于是，在本实施方式中，如后所述，利用以目视检查为基准的图像基础的第一机器学习模型150来进行作业结果的良好与否判定，利用其判定结果来制作对作业状态信息赋予了良好与否的标签的数据作为第二训练数据230，使用第二训练数据230来执行第二机器学习模型250的学习。通过利用已学习的第二机器学习模型，能够构筑能够根据作业状态信息来判定涂布作业的良好与否的通用性高的判定系统。
26.作为第一机器学习模型150、第二机器学习模型250，能够利用能够进行良好与否判定的各种类型的模型，例如，能够利用使用神经网络的模型、使用决策树的模型。
27.图1所示的自动判定装置100、机器学习装置200及涂布设备300的功能的区分能够任意变更。例如，也可以将机器学习装置200的功能在自动判定装置100或涂布设备300中实现。或者，还可以将3个装置100、200、300的功能全部在涂布设备300中实现。
28.图3是示出实施方式的处理工序的流程图。在步骤s110中，自动判定装置100的学习执行部140关于向特定规格的工件wk的涂布作业，使用图像基础的第一训练数据130来执行第一机器学习模型150的学习。作为特定规格的工件wk，例如使用特定车型的前玻璃。此时，作为特定车型，优选指定生产量多且能够准备大量的第一训练数据130的车型。第一训练数据130是对涂布有聚氨酯的工件wk的图像赋予外观检查的良好与否判定结果的标签而得到的。此时，优选以反映出想要检知的聚氨酯的缺陷的视角来进行拍摄。在存在异常的图像的数量少的情况下，优选制作一些在由人进行的外观检查中判定为缺陷的成为基准的缺陷品，对其也同样地进行拍摄。当成功收集了进行机器学习所需的第一训练数据130后，执行第一机器学习模型150的学习。学习后的第一机器学习模型150优选满足由人进行的外观检查的基准并将判定精度提高至能够检测各种各样的缺陷。
29.在步骤s120中，关于许多工件wk，检测并记录涂布作业中的涂布设备300的作业状态信息，并且关于其涂布结果，使用已学习的第一机器学习模型150来进行涂布结果的良好与否判定，记录其判定结果。此时，首先，在对于各个工件wk的涂布作业中，记录由作业状态检测部350检测到的作业状态信息。作为作业状态信息，如前所述，优选包含驱动部360的电流值等驱动信息、涂布液注射部370的注射压力。在步骤s120中，进一步利用拍摄装置170拍摄已涂布聚氨酯的工件wk的图像，将该图像向第一机器学习模型150输入来进行良好与否判定，记录其判定结果。该判定结果被与和同一工件wk相关的作业状态信息建立关联。为了进行该关联建立，优选将第一机器学习模型150的良好与否判定结果和作业状态信息的各自与详细的日期时刻、正在生产的车辆的序列号等信息一起记录。
30.在步骤s130中，通过对在步骤s120中得到的作业状态信息赋予与第一机器学习模型150的良好与否判定结果对应的标签来制作第二训练数据230。例如，对于与判定为良品的工件相关的作业状态信息，作为良标签而赋予“1”，对于与判定为不良品的工件相关的作业状态信息，作为不良标签而赋予“0”。
31.在步骤s140中，机器学习装置200的学习执行部240使用第二训练数据230来执行
第二机器学习模型250的学习。已学习的第二机器学习模型250从机器学习装置200向涂布设备300传送，作为第二机器学习模型330而向存储装置保存。
32.在步骤s150中，涂布设备300的判定执行部340将基于已学习的第二机器学习模型330的判定应用于对于与在步骤s110、s120中使用的工件相同的规格的工件wk的涂布作业。由于第二机器学习模型250的学习利用相同的规格的许多工件wk的作业结果来执行，所以能够对具有相同的规格的新的工件wk以高的精度进行涂布作业的良好与否判定。
33.在步骤s160中，涂布设备300的判定执行部340将基于已学习的第二机器学习模型330的判定应用于具有与在步骤s150中成为了判定对象的工件不同的其他的规格的工件的涂布作业。使用了第二机器学习模型330的良好与否判定是不被工件的外观上的不同影响的通用性高的判定，因此，通过将该判定对具有不同的规格的工件应用，能够避免在涂布设备300中缺陷品流出。不过，“具有不同的规格的工件”优选是与在步骤s150中成为了判定对象的工件相同的品种的部件(例如玻璃)。
34.如以上这样，在上述的实施方式中，由于利用使用训练数据的收集比较容易的图像而学习到的第一机器学习模型150来进行涂布设备300的作业结果的良或不良的判定，将此时的作业状态信息作为第二训练数据230来进行第二机器学习模型250的学习，所以能够根据涂布设备300的作业状态信息而容易地判定作业的良好与否。另外，已学习的第二机器学习模型330也能够对规格不同的工件应用。
35.本公开不限于上述的实施方式、实施方式、变形例，能够在不脱离其主旨的范围内以各种结构实现。例如，与发明内容一栏所记载的各方式中的技术特征对应的实施方式、实施方式、变形例中的技术特征能够为了解决上述的课题的一部分或全部或者为了达成上述的效果的一部分或全部而适当进行替换、组合。另外，只要该技术特征在本说明书中未作为必要技术特征来说明，就能够适当删除。