机器学习装置、方法、程序及系统与流程

1.本技术主张2019年11月19日向日本专利厅申请的基础申请第2019-208576号的优先权，并将其内容以引用的方式全部援引于此。
2.本发明涉及机器学习装置、方法、程序及系统。


背景技术：

3.现有技术中，大量训练数据已用于机器学习的有监督学习(也称有教师学习)。例如，通过也被称为数据专家的人向数据赋予(也称添加)标记(也称标签(label))(该过程也称注释或标注)来创建训练数据，并使用这些训练数据进行机器学习，可生成学习模型。但是，如果训练数据不适当，则学习模型的精度会下降，因此需要创建适当的训练数据。
4.在作为机器学习方法之一的类别(class)分类中，输入数据被分类为两个类别(也称二项分类、二元分类或二类别分类)、或者被分类三个以上的类别(也称多类别分类)。用于生成这样的类别分类的训练数据的数据存在如下两种数据，即，能够以较高的准确度来判断应赋予哪个标签的数据和仅能以较低的精度来判断应添加哪个标签的数据。
5.例如，专利文件1中，训练数据生成装置按照每个标签获取作为标签的评价(也称评估)的正面评价、负面评价及忽视评价中的任意一个，由此生成训练数据。此外，学习装置以使正面评价或负面评价的标签的识别分数(score)与正面评价或负面评价的真实(ground truth)分数接近的方式对中间层的权重系数(因子)进行调整，并且还使中间层的权重因子的调整不受忽视评价的标签的识别分数的影响(专利文件1的段落[0010])。
[0006]
[引证文件]
[0007]
[专利文件]
[0008]
[专利文件1](日本)特开2018-18537号公报


技术实现要素：

[0009]
《要解决的技术问题》
10.然而，专利文件1中，人工注释者必须执行对所有标签进行指定评价的操作，并且需要大量人力来生成大量的训练数据。为此，难以提高机器学习的精度。
[0011]
因此，本发明的一个实施方式的目的在于提高机器学习的精度。
[0012]
《技术方案》
[0013]
本发明具备如下构成。
[0014]
[1]一种机器学习装置，具备：
[0015]
第一分类部，根据第一学习模型将数据分类为可分类数据和未知类别数据；
[0016]
第一添加部，向所述可分类数据添加标签；
[0017]
第二分类部，根据第二学习模型对所述未知类别数据进行分类；
[0018]
标签获取部，获取应添加至所述未知类别数据的标签；
[0019]
第二添加部，向所述未知类别数据添加标签；及
[0020]
第二学习模型更新部，根据被添加了所述标签的所述未知类别数据更新所述第二学习模型，所述标签是根据所述第二分类部分类后的结果和所述标签获取部获取到的标签而被添加至所述未知类别数据的。
[0021]
[2]如[1]所述的机器学习装置，还具备：
[0022]
第一学习模型更新部，根据被添加了所述标签的所述未知类别数据更新所述第一学习模型，所述标签是至少根据所述第二分类部分类后的结果而被添加至所述未知类别数据的。
[0023]
[3]如[1]或[2]所述的机器学习装置，其中，
[0024]
所述标签是用于将所述数据分类为两个类别的标签。
[0025]
[4]如[1]至[3]中的任一项所述的机器学习装置，其中，
[0026]
所述数据为颗粒图像，
[0027]
所述标签是表示所述颗粒图像中包含的颗粒的形状满足预定基准(也称标准)的颗粒的标签、或者是表示所述颗粒图像中包含的颗粒的形状不满足预定基准的颗粒的标签。
[0028]
[5]如[1]至[4]中的任一项所述的机器学习装置，其中，
[0029]
所述标签获取部仅获取应添加至如下未知类别数据的标签，即，该未知类别数据为所述第二分类部分类后的ok颗粒图像的准确度小于预定值，并且，该未知类别数据为所述第二分类部分类后的ng颗粒图像的准确度小于预定值。
[0030]
[6]如[1]至[5]中的任一项所述的机器学习装置，其中，
[0031]
所述数据是对象(object(也称对象物或对象物体))图像的全颗粒图像，
[0032]
所述第一添加部对ok颗粒图像与所述全颗粒图像的比率、ng颗粒图像与所述全颗粒图像的比率、及所述未知类别数据与所述全颗粒图像的比率进行通知。
[0033]
[7]一种方法，包括：
[0034]
根据第一学习模型将数据分类为可分类数据和未知类别数据的步骤；
[0035]
向所述可分类数据添加标签的步骤：
[0036]
根据第二学习模型对所述未知类别数据进行分类的步骤；
[0037]
获取应添加至所述未知类别数据的标签的步骤；
[0038]
向所述未知类别数据添加标签的步骤；及
[0039]
根据被添加了所述标签的所述未知类别数据更新所述第二学习模型的步骤，其中，所述标签是根据所述未知类别数据的分类结果和应添加至所述未知类别数据的标签而被添加至所述未知类别数据的。
[0040]
[8]一种程序，用于使计算机作为如下各部而发挥功能，即，
[0041]
第一分类部，根据第一学习模型将数据分类为可分类数据和未知类别数据；
[0042]
第一添加部，向所述可分类数据添加标签；
[0043]
第二分类部，根据第二学习模型对所述未知类别数据进行分类；
[0044]
标签获取部，获取应添加至所述未知类别数据的标签；
[0045]
第二添加部，向所述未知类别数据添加标签；及
[0046]
第二学习模型更新部，根据被添加了所述标签的所述未知类别数据更新所述第二学习模型，所述标签是根据所述第二分类部分类后的结果和所述标签获取部获取到的标签
而被添加至所述未知类别数据的。
[0047]
[9]一种系统，包括机器学习装置和用户终端，其中，
[0048]
所述机器学习装置具备：
[0049]
第一分类部，根据第一学习模型将数据分类为可分类数据和未知类别数据；
[0050]
第一添加部，向所述可分类数据添加标签；
[0051]
第二分类部，根据第二学习模型对所述未知类别数据进行分类；
[0052]
标签获取部，获取应添加至所述未知类别数据的标签；
[0053]
第二添加部，向所述未知类别数据添加标签；及
[0054]
第二学习模型更新部，根据被添加了所述标签的所述未知类别数据更新所述第二学习模型，所述标签是根据所述第二分类部分类后的结果和所述标签获取部获取到的标签而被添加至所述未知类别数据的。
[0055]
《有益效果》
[0056]
本发明的一个实施方式能够提高机器学习的精度。
附图说明
[0057]
[图1]包括本发明的一个实施方式的机器学习装置的系统整体结构的示意图。
[0058]
[图2]本发明的一个实施方式的机器学习装置的硬件结构的示意图。
[0059]
[图3]本发明的一个实施方式的机器学习装置的功能块的示意图。
[0060]
[图4]本发明的一个实施方式的对象图像保存部中保存的对象图像的一例。
[0061]
[图5]本发明的一个实施方式的颗粒图像保存部中保存的颗粒图像的一例。
[0062]
[图6]表示本发明的一个实施方式的数据的流动的数据流图。
[0063]
[图7]表示本发明的一个实施方式的训练数据生成处理的流程的流程图。
[0064]
[图8]表示本发明的一个实施方式的第一学习模型的更新处理的流程的流程图。
[0065]
[图9]表示本发明的一个实施方式的数据分类结果的推理处理的流程的流程图。
具体实施方式
[0066]
下面，结合附图对各实施方式进行说明。需要说明的是，本说明书和附图中，对具有实质相同的功能构成的构成要素赋予了相同的符号，由此对重复的说明进行了省略。
[0067]
需要说明的是，本说明书中，对作为训练数据而使用了图像数据的情况进行了说明，但本发明也可应用于使用文本数据、音频数据等的任意数据的情况。
[0068]
此外，本说明书中，对作为训练数据而使用了氧化铝粉末等中包含的氧化铝颗粒的颗粒图像的情况进行了说明，但本发明也可应用于使用任意物质的颗粒的颗粒图像的情况。另外，本说明书中，对将数据(颗粒图像)分类为两个类别的情况(也称二项分类、二元分类或二类别分类)进行了说明，但本发明也可应用于将数据(颗粒图像)分类为三个以上的类别的情况(也称多类别分类)。此外，本说明书中，对作为训练数据而使用了由光学显微镜获得的图像的情况进行了说明，但本发明也可应用于使用由光学显微镜之外的扫描电子显微镜(sem)等的任意设备获得的图像的情况。
[0069]
下面，分别描述生成训练数据的实施方式(下述《实施方式1》和《实施方式2》)和对输入数据的分类结果进行推理的实施方式(下述《实施方式3》)。
[0070]
《实施方式1》
[0071]
《系统结构》
[0072]
图1是包括本发明的一个实施方式的机器学习装置102的系统整体结构的示意图。机器学习装置102可使用于用来进行质量检查的的系统(质量检查系统100)。质量检查系统100可包括光学显微镜101、机器学习装置102及用户终端103。机器学习装置102从与机器学习装置102连接的光学显微镜101获取由光学显微镜拍摄的图像。此外，机器学习装置102可经由任意的网络104与用户终端103进行数据的发送和接受。需要说明的是，就机器学习装置102和光学显微镜101或用户终端103之间的数据的发送和接受而言，也可通过后述的半导体存储器等的存储介质来进行。下面分别对其进行说明。
[0073]
光学显微镜101拍摄对象(例如，氧化铝粉末等中包含的氧化铝颗粒)。光学显微镜101可具备数码相机等的拍摄装置和用于对所拍摄的对象图像进行保存的存储装置。此外，光学显微镜101还可将拍摄到的对象图像发送至与光学显微镜101连接的机器学习装置102。光学显微镜101所具有的显微镜可为反射式显微镜或透射式显微镜。此外，光学显微镜101还可具备超高压水银灯(也称超高压汞灯)、氙灯、包括三原色(也称三基色)的各色led、紫外led、激光束等的光源。另外，作为图像的观察方法，可使用场观察法、暗场观察法、相位差观察法、微分干涉观察法、偏光观察法、萤光观察法等的观察方法。
[0074]
机器学习装置102是通过向数据添加标记(也称标签)(该过程也称注释或标注)而创建训练数据的装置。具体而言，机器学习装置102根据第一学习模型将数据分类为可分类数据和未知类别数据(即，类别未知的数据(也称不可分类数据))。此外，机器学习装置102根据第二学习模型对未知类别数据进行分类。另外，机器学习装置102还可对来自用户终端103的修改进行反映，藉此来更新第二学习模型。机器学习装置102例如由一个或多个计算机构成。稍后将结合图3对机器学习装置102进行详细说明。
[0075]
用户终端103是对基于机器学习装置102的第二学习模型的分类进行修改的人所利用的终端。具体而言，用户终端103从机器学习装置102接收未知类别数据，并将其显示在用户终端103上或与用户终端103连接的显示装置(图中未示)上。此外，用户终端103还向机器学习装置102发送输入至用户终端103的标签的数据。用户终端103例如为个人电脑等的计算机。
[0076]
需要说明的是，本说明书中，机器学习装置102和用户终端103被描述为分别不同的计算机，但机器学习装置102和用户终端103也可实装(安装)在一台计算机上。此外，机器学习装置102可具有用户终端103的一部分功能，或者，用户终端103可具有机器学习装置102的一部分功能。
[0077]
《机器学习装置102的硬件结构》
[0078]
图2是本发明的一个实施方式的机器学习装置102的硬件结构例的示意图。机器学习装置102具有cpu(central processing unit)1、rom(read only memory)2及ram(random access memory)。cpu1、rom2及ram3构成所谓的计算机。
[0079]
另外，机器学习装置102还可具有gpu(graphics processing unit)4、辅助存储装置5、i/f(interface)装置6及驱动装置7。需要说明的是，机器学习装置102的各硬件经由总线8相互连接。
[0080]
cpu1是对辅助存储装置5中安装的各种程序进行执行的运算装置。
[0081]
rom2是非挥发性存储器。rom2作为对cpu1执行辅助存储装置5中安装的各种程序时所需的各种程序、数据等进行保存的主存储装置而发挥功能。具体而言，rom2作为用于对bios(basic input/output system)、efi(extensible firmware interface)等的引导程序等进行保存的主存储装置而发挥功能。
[0082]
ram3是dram(dynamic random access memory)、sram(static random access memory)等的挥发性存储器。ram3作为用于提供辅助存储装置5中安装的各种程序被cpu1执行时所展开的工作区域的主存储装置而发挥功能。
[0083]
gpu4是专用于图像处理的运算装置。
[0084]
辅助存储装置5是用于对各种程序和各种程序被执行时所使用的信息进行保存的辅助存储装置。
[0085]
i/f装置6是用于与光学显微镜101和用户终端103进行通信的通信装置。
[0086]
驱动装置7是用于设置(安放)存储介质9的装置。这里所说的存储介质9包括诸如cd-rom、软盘、磁光盘等的介质，其以光、电或磁方式记录信息。此外，存储介质9还可包括电记录信息的半导体存储器等，例如rom、闪存等。
[0087]
需要说明的是，辅助存储装置5中安装的各种程序例如可通过如下方式进行安装，即，将分发的存储介质9放入驱动装置7，由驱动装置7读取该存储介质9中记录的各种程序。或者，辅助存储装置5中安装的各种程序也可采用经由i/f装置6从网络下载的方式来进行安装。
[0088]
《机器学习装置102的功能块》
[0089]
图3是本发明的一个实施方式的机器学习装置102的功能块的示意图。机器学习装置102包括对象图像获取部301、对象图像保存部302、颗粒图像提取部303、颗粒图像保存部304、第一分类部305、第一添加部306、第一学习模型保存部308、第二分类部309、第二添加部310、第二学习模型更新部311、第二学习模型保存部312、标签获取部313及未知类别数据保存部314。机器学习装置102还可包括第一学习模型更新部307。此外，机器学习装置102通过执行程序可作为对象图像获取部301、颗粒图像提取部303、第一分类部305、第一添加部306、第二分类部309、第二添加部310、第二学习模型更新部311及标签获取部313而发挥功能。另外，机器学习装置102藉由执行程序还可作为第一学习模型更新部307而发挥功能。下面分别对其进行说明。
[0090]
对象图像获取部301获取由光学显微镜101等拍摄的对象图像。此外，对象图像获取部301还可将获取到的对象图像保存至对象图像保存部302。
[0091]
对象图像保存部302中保存有由对象图像获取部301获取的对象图像。下面，结合图4描述对象图像保存部302中保存的对象图像。
[0092]
图4是本发明的一个实施方式的对象图像保存部302中保存的对象图像400的一例。例如，对象图像400为对氧化铝粉末等中包含的氧化铝颗粒进行拍摄而获得的图像。如图4所示，对象图像400包括多个(plural)颗粒的图像。
[0093]
返回图3的说明。颗粒图像提取部303从对象图像保存部302中的对象图像提取颗粒的图像。此外，颗粒图像提取部303还可将提取到的颗粒的图像保存至颗粒图像保存部304。
[0094]
例如，颗粒图像提取部303将对象图像2值化，以生成掩模图像。此外，颗粒图像提
取部303还可根据掩模图像从对象图像提取(也称裁切或剪裁)周围不存在其它颗粒的颗粒的图像。
[0095]
需要说明的是，如下所述，本发明的一个实施方式中，对象图像中包含的颗粒的图像(下面也称颗粒图像)被用作用来创建训练数据的数据。换言之，通过向颗粒图像添加标签可生成训练数据。此外，下面对将数据(颗粒图像)分类为ok颗粒图像和ng颗粒图像这两个类别的情况(也称二项分类、二元分类或二类别分类)进行了说明，但本发明也可应用于将数据(颗粒图像)分类为三个以上的类别的情况(也称多类别分类)。
[0096]
颗粒图像保存部304中保存有由颗粒图像提取部303提取的颗粒图像。下面，结合图5对颗粒图像保存部304中保存的颗粒图像进行说明。
[0097]
图5是本发明的一个实施方式的颗粒图像保存部304中保存的颗粒图像500的一例。如后所述，颗粒图像500包括两类数据，一类为能够被第一添加部306添加标签的可分类数据(ok颗粒图像501和ng颗粒图像503)，另一类为不能被第一添加部306添加标签的未知类别数据502。
[0098]
这里，对ok颗粒图像和ng颗粒图像进行说明。本说明书中，将颗粒图像中包含的颗粒的形状满足预定基准的颗粒(下面也称ok颗粒)的颗粒图像称为ok颗粒图像。此外，将颗粒图像中包含的颗粒的形状不满足预定基准的颗粒(下面也称ng颗粒)的颗粒图像称为ng颗粒图像。
[0099]
例如，ok颗粒图像是包含颗粒的圆度(roundness(也称真圆度))为阈值以上的颗粒的图像。这里，圆度是指如jis b0621-1984“几何偏差的定义和显示”中定义的那样“圆状体的横截面接近理论圆的程度”。例如，ng颗粒图像是包含颗粒的圆度低于阈值的颗粒的图像。需要说明的是，颗粒的形状应满足的基准不限定于圆度，因为还可包括颗粒的形状为椭圆等的情形，所以也可使用由颗粒的面积、颗粒的长径(长轴)、短径(短轴)、等效圆直径、条带直径(ferret diameter)等的长度、颗粒的周长等的特征量构成的基准。
[0100]
返回图3的说明。第一分类部305将数据(例如，颗粒图像)分类为可分类数据(例如，ok颗粒图像和ng颗粒图像)和未知类别数据。具体而言，第一分类部305使用第一学习模型保存部308中保存的第一学习模型输出颗粒图像为ok颗粒图像的准确度(也称置信度或信赖度)和颗粒图像为ng颗粒图像的准确度。此外，如果颗粒图像为ok颗粒图像的准确度大于等于预定值，则第一分类部305将该颗粒图像分类为ok颗粒图像。另外，如果颗粒图像为ng颗粒图像的准确度大于等于预定值，则第一分类部305将该颗粒图像分类为ng颗粒图像。此外，第一分类部305将既不属于ok颗粒图像也不属于ng颗粒图像的颗粒图像(即，该颗粒图像为ok颗粒图像的准确度小于预定值，并且，该颗粒图像为ng颗粒图像的准确度也小于预定值)分类为未知类别数据。
[0101]
第一学习模型保存部308中保存有第一学习模型。第一学习模型是用于对藉由机器学习而生成的类别进行分类的模型。例如，第一学习模型是用于当颗粒图像被输入时输出该颗粒图像为ok颗粒图像的准确度和该颗粒图像为ng颗粒图像的准确度的模型。
[0102]
第一添加部306向第一分类部305分类后的可分类数据(例如，ok颗粒图像和ng颗粒图像)添加标签，由此生成训练数据。具体而言，第一添加部306将第一分类部305分类后的ok颗粒图像与标签(即，表示颗粒图像中包含的颗粒为ok颗粒的标签)相关联地保存至颗粒图像保存部304。此外，第一添加部306将第一分类部305分类后的ng颗粒图像与标签(即，
表示颗粒图像中包含的颗粒为ng颗粒的标签)相关联地保存至颗粒图像保存部304。
[0103]
需要说明的是，第一添加部306也可被构成为，将对象图像保存部302中的各对象图像和ok颗粒图像与该对象图像的全颗粒图像(即，所有颗粒的图像)的比率、ng颗粒图像与该全颗粒图像的比率、及未知类别数据与该全颗粒图像的比率相关联地进行存储。此外，第一添加部306还可被构成为，将各对象图像的、ok颗粒图像与该对象图像的全颗粒图像的比率、ng颗粒图像与该全颗粒图像的比率、及未知类别数据与该全颗粒图像的比率通知给用户终端103等的任意终端。
[0104]
关于第一学习模型更新部307，将在《实施方式2》中进行描述。
[0105]
第二分类部309对第一分类部305分类后的未知类别数据进行分类。
[0106]
第二学习模型保存部312中保存有第二学习模型。第二学习模型是用于对藉由机器学习而生成的类别进行分类的模型。
[0107]
下面，分别对将未知类别数据《《分类为ok颗粒图像和ng颗粒图像》》的情况和将未知类别数据《《分类为ok颗粒图像、ng颗粒图像及未知类别数据》》的情况进行说明。
[0108]
《《分类为ok颗粒图像和ng颗粒图像》》
[0109]
第二分类部309使用第二学习模型保存部312中保存的第二学习模型将未知类别数据分类为ok颗粒图像和ng颗粒图像。
[0110]
在《《分类为ok颗粒图像和ng颗粒图像》》的情况下，第二学习模型是用于当未知类别数据被输入时输出该未知类别数据是ok颗粒图像还是ng颗粒图像的模型。
[0111]
《《分类为ok颗粒图像、ng颗粒图像及未知类别数据》》
[0112]
第二分类部309利用第二学习模型保存部312中保存的第二学习模型将未知类别数据分类为ok颗粒图像、ng颗粒图像及未知类别数据。具体而言，第二分类部309使用第二学习模型输出未知类别数据为ok颗粒图像的准确度(也称置信度、信赖度或概率)和未知类别数据为ng颗粒图像的准确度。此外，如果未知类别数据为ok颗粒图像的准确度大于等于预定值，则第二分类部309将该未知类别数据分类为ok颗粒图像。另外，如果未知类别数据为ng颗粒图像的准确度大于等于预定值，则第二分类部309将该未知类别数据分类为ng颗粒图像。此外，第二分类部309将既不属于ok颗粒图像也不属于ng颗粒图像的未知类别数据(即，该未知类别数据为ok颗粒图像的准确度小于预定值，并且，该未知类别数据为ng颗粒图像的准确度也小于预定值)分类为未知类别数据。
[0113]
在《《分类为ok颗粒图像、ng颗粒图像及未知类别数据》》的情况下，第二学习模型是当未知类别数据被输入时输出该未知类别数据为ok颗粒图像的准确度和该未知类别数据为ng颗粒图像的准确度的模型。
[0114]
标签获取部313获取应添加至未知类别数据的标签的数据。具体而言，标签获取部313向用户终端103发送未知类别数据(例如，颗粒图像)。需要说明的是，标签获取部313也可被构成为，向用户终端103发送未知类别数据(例如，颗粒图像)和第二分类部309分类后的分类结果的信息(例如，是ok颗粒图像还是ng颗粒图像、准确度等)。此外，标签获取部313还可从用户终端103接收输入至用户终端103的标签的数据。操作用户终端103的人藉由观察(目视)未知类别数据(例如，颗粒图像)，可对应添加至未知类别数据的标签进行判断。
[0115]
需要说明的是，在将上述未知类别数据《《分类为ok颗粒图像、ng颗粒图像及未知类别数据》》的情况下，标签获取部313还可被构成为，仅获取应添加至如下未知类别数据的
标签的数据，即，该未知类别数据为ok颗粒图像的准确度小于预定值，并且，该未知类别数据为ng颗粒图像的准确度也小于预定值。
[0116]
第二添加部310根据第二分类部309分类后的分类结果(例如，是ok颗粒图像还是ng颗粒图像)和标签获取部313获取到的标签向未知类别数据添加标签。具体而言，在第二分类部309分类后的分类结果与标签获取部313获取到的标签相同的情况下，第二添加部310将该标签添加至未知类别数据。此外，在第二分类部309分类后的分类结果与标签获取部313获取到的标签不同的情况下，第二添加部310将标签获取部313获取到的标签添加至未知类别数据。此外，第二添加部310还可将未知类别数据和所添加的标签相关联地保存至未知类别数据保存部314。
[0117]
未知类别数据保存部314中相关联地保存有未知类别数据和由第二添加部310添加的标签。
[0118]
第二学习模型更新部311根据被第二添加部310添加了标签的未知类别数据对第二学习模型保存部312中的第二学习模型进行更新。具体而言，第二学习模型更新部311可藉由将被第二添加部310添加了标签的未知类别数据作为训练数据而进行机器学习来更新第二学习模型。
[0119]
如上所述，《实施方式1》中，由于可更新用于对未知类别数据进行分类的第二学习模型，所以能够更正确地对未知类别数据进行分类。此外，在将上述未知类别数据《《分类为ok颗粒图像、ng颗粒图像及未知类别数据》》情况下，标签获取部313被构成为，仅获取应添加至如下未知类别数据的标签的数据，即，该未知类别数据为ok颗粒图像的准确度小于预定值，并且，该未知类别数据为ng颗粒图像的准确度也小于预定值，据此，随着第二学习模型的更新，第二学习模型的学习精度可获得提高，无法进行分类的数据也会变少，故而能够减少需要依靠人的目视来对应添加的标签进行判断的数据。
[0120]
《实施方式2》
[0121]
下面对《实施方式2》进行说明。需要说明的是，这里主要对与《实施方式1》不同的部分进行描述。
[0122]
《实施方式2》中，机器学习装置102具备图3所示的第一学习模型更新部307。下面对第一学习模型更新部307进行说明。
[0123]
第一学习模型更新部307根据被第二添加部310添加了标签的未知类别数据来更新第一学习模型保存部308中的第一学习模型。需要说明的是，第一学习模型更新部307也可被构成为，从用户终端103等的任意终端接收到更新第一学习模型的指示后，对第一学习模型进行更新。
[0124]
具体而言，第一学习模型更新部307获取被第二添加部310添加了标签的未知类别数据，并将其追加至颗粒图像保存部304。另外，第一学习模型更新部307可藉由将颗粒图像保存部304中的、被第一添加部306添加了标签的数据(例如，ok颗粒图像和ng颗粒图像)和被第二添加部310添加了标签的未知类别数据作为训练数据而进行机器学习来更新第一学习模型。
[0125]
《《第一学习模型的更新的自动化(即，自动更新)》》
[0126]
第一学习模型更新部307也可被构成为，在没有人为干预的情况下更新第一学习模型。具体而言，第二添加部310仅根据如下未知类别数据，即，由第二分类部309判断为该
未知类别数据是ok颗粒图像的准确度大于等于预定值的未知类别数据和由第二分类部309判断为该未知类别数据是ng颗粒图像的准确度大于等于预定值的未知类别数据(即，不可分类数据之外的数据)，向未知类别数据添加标签(即，不使用由标签获取部313获取的标签)。第一学习模型更新部307可藉由将颗粒图像保存部304中的、被第一添加部306添加了标签的数据(例如，ok颗粒图像和ng颗粒图像)和被第二添加部310添加了标签的不可分类数据之外的数据作为训练数据而进行机器学习来更新第一学习模型。
[0127]
《《未知类别数据的比率的显示》》
[0128]
如《实施方式1》所述，第一添加部306也可被构成为，将对象图像保存部302中的各对象图像和ok颗粒图像与该对象图像的全颗粒图像的比率、ng颗粒图像与该全颗粒图像的比率、及未知类别数据与该全颗粒图像的比率相关联地进行存储。此外，第一添加部306还可被构成为，将各对象图像的、ok颗粒图像与该对象图像的全颗粒图像的比率、ng颗粒图像与该全颗粒图像的比率、及未知类别数据与该全颗粒图像的比率通知给用户终端103等的任意终端。为此，可在用户终端103等的任意终端上进行随着第一学习模型的更新未知类别数据变少的提示。
[0129]
如上所述，《实施方式2》中，由于可更新用于对数据(例如，颗粒图像)进行分类的第一学习模型，所以能够对数据(例如，颗粒图像)进行更正确的分类。此外，随着第一学习模型的更新，未知类别数据会变少，所以还能够减少需要依靠人的目视来对应添加的标签进行判断的数据。
[0130]
《实施方式3》
[0131]
下面对《实施方式3》进行描述。需要说明的是，这里主要对与《实施方式1》和《实施方式2》不同的部分进行说明。
[0132]
《实施方式3》中，机器学习装置102对输入数据的分类结果进行推理。下面，分别对仅基于第一学习模型的分类和基于第一学习模型和第二学习模型的两阶段分类进行说明。
[0133]
《《仅基于第一学习模型的分类》》
[0134]
第一分类部305获取输入数据(例如，颗粒图像)，并使用第一学习模型保存部308中的第一学习模型将其分类为可分类数据(例如，ok颗粒图像和ng颗粒图像)和未知类别数据。第一分类部305还可将分类结果通知给用户终端103等的任意终端。
[0135]
《《基于第一学习模型和第二学习模型的两阶段分类》》
[0136]
第一分类部305获取输入数据(例如，颗粒图像)，并使用第一学习模型保存部308中的第一学习模型将其分类为可分类数据(例如，ok颗粒图像和ng颗粒图像)和未知类别数据。第二分类部309对未知类别数据进行分类(例如，分类为ok颗粒图像和ng颗粒图像)。第二分类部309还可将分类结果通知给用户终端103等的任意终端。所通知的分类结果可仅为两阶段分类的结果，也可为分别表示第一分类部305和第二分类部309各自的分类结果的结果。
[0137]
《数据流》
[0138]
图6是表示本发明的一个实施方式的数据的流动的数据流图。如图6所示，数据(例如，颗粒图像)被第一学习模型分类为可分类数据(例如，ok颗粒图像和ng颗粒图像)和未知类别数据。接着，未知类别数据被第二学习模型进行分类(例如，被分类为ok颗粒图像和ng颗粒图像)。之后，由人对第二学习模型的分类结果进行修改。
[0139]
《处理方法》
[0140]
下面，结合图7～图9对各处理进行说明。
[0141]
图7是表示本发明的一个实施方式的训练数据生成处理的流程的流程图。
[0142]
步骤11(s11)中，对象图像获取部301获取由光学显微镜101等拍摄的对象图像。
[0143]
步骤12(s12)中，颗粒图像提取部303从s11中获取到的对象图像提取颗粒图像。
[0144]
步骤13(s13)中，第一分类部305将数据(例如，s12中提取到的颗粒图像)分类为可分类数据(例如，ok颗粒图像和ng颗粒图像)和未知类别数据。
[0145]
步骤14(s14)中，第一添加部306向s13中被分类后的可分类数据(例如，ok颗粒图像和ng颗粒图像)添加标签，进而创建训练数据。
[0146]
步骤15(s15)中，第二分类部309对s13中被分类后的未知类别数据进行分类。
[0147]
步骤16(s16)中，第二添加部310根据s15中被分类后的分类结果(例如，是ok颗粒图像还是ng颗粒图像)和标签获取部313获取到的标签向未知类别数据添加标签。
[0148]
步骤17(s17)中，第二学习模型更新部311根据s16中被添加了标签的未知类别数据来对第二学习模型保存部312中的第二学习模型进行更新。
[0149]
图8是表示本发明的一个实施方式的第一学习模型的更新处理的流程的流程图。
[0150]
步骤21(s21)中，第一学习模型更新部307获取被第二添加部310添加了标签的未知类别数据。
[0151]
步骤22(s22)中，第一学习模型更新部307将s21中获取到的未知类别数据追加至颗粒图像保存部304。
[0152]
步骤23(s23)中，第一学习模型更新部307藉由将颗粒图像保存部304中的、被第一添加部306添加了标签的数据(例如，ok颗粒图像和ng颗粒图像)和s22中被追加后的未知类别数据作为训练数据而进行机器学习来更新第一学习模型。
[0153]
图9是表示本发明的一个实施方式的数据的分类结果的推理处理的流程的流程图。
[0154]
步骤31(s31)中，第一分类部305获取输入数据(例如，颗粒图像)。
[0155]
步骤32(s32)中，第一分类部305使用第一学习模型保存部308中的第一学习模型将s31中获取到的数据分类为可分类数据(例如，ok颗粒图像和ng颗粒图像)和未知类别数据。
[0156]
步骤33(s33)中，第一分类部305将s32中推理出的分类结果通知给用户终端103等的任意终端。
[0157]
需要说明的是，如上所述，本实施方式中也可被构成为基于第一学习模型和第二学习模型的两阶段分类。
[0158]
《效果》
[0159]
本发明的一个实施方式中，机器学习装置102将数据分类为“可分类数据”和“未知类别数据”，接着，对“未知类别数据”进行分类。之后，由人对“未知类别数据”的分类结果进行修改。故而，本发明的一个实施方式中，进行了基于第一学习模型和第二学习模型的两阶段分类，并且在基于第二学习模型的分类中仅针对“未知类别数据”进行了分类，因此可提高对仅能以较低的准确度来判断应添加哪个标签的数据进行分类时的分类精度。
[0160]
需要说明的是，本发明并不限定于上述实施方式中列举的构成等、与其他要素的
组合等、及这里所示的构成。关于这些方面，可在不脱离本发明的主旨的范围内进行变更，还可根据其应用形态适当地进行确定。
[0161]
附图标记说明：
[0162]
100
ꢀꢀꢀ
质量检查系统
[0163]
101
ꢀꢀꢀ
光学显微镜
[0164]
102
ꢀꢀꢀ
机器学习装置
[0165]
103
ꢀꢀꢀ
用户终端
[0166]
104
ꢀꢀꢀ
网络
[0167]
301
ꢀꢀꢀ
对象图像获取部
[0168]
302
ꢀꢀꢀ
对象图像保存部
[0169]
303
ꢀꢀꢀ
颗粒图像提取部
[0170]
304
ꢀꢀꢀ
颗粒图像保存部
[0171]
305
ꢀꢀꢀ
第一分类部
[0172]
306
ꢀꢀꢀ
第一添加部
[0173]
307
ꢀꢀꢀ
第一学习模型更新部
[0174]
308
ꢀꢀꢀ
第一学习模型保存部
[0175]
309
ꢀꢀꢀ
第二分类部
[0176]
310
ꢀꢀꢀ
第二添加部
[0177]
311
ꢀꢀꢀ
第二学习模型更新部
[0178]
312
ꢀꢀꢀ
第二学习模型保存部
[0179]
313
ꢀꢀꢀ
标签获取部
[0180]
314
ꢀꢀꢀ
未知类别数据保存部。