数据生成系统、学习装置、数据生成装置、数据生成方法及数据生成程序与流程

1.本发明涉及一种数据生成系统、学习装置、数据生成装置、数据生成方法及数据生成程序。


背景技术：

2.一直以来，在生产线等制造产品的情境下，利用了通过拍摄装置拍摄所制造的产品，并基于得到的图像数据来检查产品的优劣的技术。例如，专利文献1中提出了一种外观检查装置，其通过关节机器人移动光源，同时拍摄来自该光源的检查光所照射至的待检查物的外观，并分析得到的图像，由此进行待检查物的外观检查。另外，例如，专利文献2中提出了一种检查装置，其基于学习完成的第一神经网络判定呈现于图像的待检查物是正常还是异常，在判定待检查物异常的情况下，基于学习完成的第二神经网络对该异常的种类进行分类。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2019-045330号公报
6.专利文献2：日本特开2012-026982号公报
7.专利文献3：日本特开2018-175343号公报
8.专利文献4：日本特开2019-071050号公报
9.专利文献5：日本特开2018-024340号公报
10.专利文献6：日本特开2018-189522号公报


技术实现要素：

11.根据现有的方法，能够根据通过拍摄得到的图像来实施产品的外观检查。另外，根据如专利文献2那样的利用神经网络等机器学习模型的方法，即使不详细规定对于得到的图像的图像处理(例如，即使不设置用于检测缺陷的检测参数的值)，也能够基于完成训练的机器学习模型的输出来实施产品的外观检查。因此，能够简化外观检查的信息处理，减少制作检查程序的工作。然而，本发明人等发现在如上述的现有检测方法中存在如下问题。
12.在基于拍摄图像实施外观检查的情况下，预先收集呈现包括缺陷的产品的图像作为学习数据。在通过图像处理检测缺陷的状况下，所收集的学习数据用于设置用于检测缺陷的检测参数的值。另外，在利用机器学习模型来检测缺陷的状况下，所收集的学习数据用于机器学习，机器学习用于使机器学习模型掌握检测所提供的图像上呈现的缺陷的能力。缺陷的检测可以是识别缺陷的类别。基本而言，收集的学习数据越多，即，学习数据中出现的缺陷的状况越多，越有望提高外观检查的精度。
13.然而，缺陷的类别、及包括产品的外观的背景的类别越多，缺陷的类别及背景的类别的组合越会增加，希望作为学习数据被收集的样本的件数(及种类)也增加。因此，存在为
了收集出现缺陷的类别及背景的类别的各组合的样本而耗费成本的问题。
14.在存在未得到样本的组合的情况下，可能会出现如下问题。即，在通过图像处理检测缺陷的状况下，难以对未得到样本的缺陷的类别及背景的类别的组合设置检测参数的值，可能导致该组合所代表的缺陷的检测精度降低。同理，即使在利用机器学习模型检测缺陷的状况下，也可能因无法使未得到样本的缺陷的类别及背景的类别的组合反映给机器学习而导致与针对该组合的完成训练机器学习模型所进行的缺陷检测相关的推测的精度降低。
15.并且，在利用机器学习模型的状况下，可能也会产生如下问题。即，在样本中出现的缺陷的类别及背景的类别的组合有偏差的情况下，特别是缺陷的类别及背景的类别以相同的分布出现于样本的情况下，该样本的偏差可能对通过机器学习使机器学习模型掌握的能力产生不良影响。作为不良影响的一例，由于样本中出现的缺陷的类别及背景的类别的组合有偏差，因此，利用该样本的机器学习可能不是使机器学习模型掌握根据类别检测缺陷的能力，而是掌握识别背景的类别的能力。
16.作为具体例，假设第一产品及第二产品这两种产品产生第一缺陷及第二缺陷这两种缺陷。另外，在该例子中，假设第一产品容易产生第一缺陷，第二产品容易产生第二缺陷。并且，假设得到的样本偏向于呈现包括第一缺陷的第一产品的图像、及呈现包括第二缺陷的第二产品的图像。即，假设未得到呈现包括第二缺陷的第一产品的图像及呈现包括第一缺陷的第二产品的图像作为机器学习的样本。设定为了使用在该假设下所得到的样本使其掌握根据类别检测缺陷的能力而执行机器学习模型的机器学习。在该情况下，通过得到的样本中产生上述偏差，机器学习模型可能通过该机器学习不是掌握根据类别检测识别缺陷的能力，而是掌握识别背景的类别的能力。即，通过使样本有偏差，可能使机器学习模型掌握与所需能力不同的能力。在掌握了识别背景的类别的能力的情况下，在提供了呈现包括第二缺陷的第一产品的图像时，完成训练的机器学习模型容易误检出第一产品产生了第一缺陷。
17.因此，无论哪种状况，在存在未得到样本的组合的情况下，均会产生对于该组合的外观检查的精度降低(最糟的情况下，甚至无法检查)这一问题。由此，为了提高外观检查的精度，优选在缺陷的类别及背景的类别的组合中全面收集样本。然而，如上所述，存在如上那样全面收集样本耗费成本的问题点。特别是，缺陷的类别及背景的类别越多，越可能存在产生概率非常低的缺陷的类别及背景的类别的特定的组合，由此，全面收集样本非常耗费成本。
18.需要说明的是，该问题点并不是基于拍摄图像实施产品的外观检查的情境所特有的问题。在针对能够表现出至少两个以上特征的规定种类的数据收集多种不同样本的所有情境中都可能产生。规定种类的数据是指上述图像数据、以及例如声音数据、数值数据、文本数据等通过传感器得到的测定数据等。收集能够表现出多个特征的规定种类的数据的样本情境是指，基于上述拍摄图像实施产品的外观检查的情境、以及例如基于呈现器官的医疗图像推测患者的状态的情境、推测与出现于拍摄图像的移动体相关的属性的情境、基于通过车辆所具备的传感器得到的测定数据推测车辆的驾驶状态的情境、以及基于通过观测机器的状态的传感器得到测定数据推测机器的状态的情境等。移动体例如为行人、车辆等。与移动体相关的属性是指例如移动体的移动状态(例如，速度、路径等)、移动体的密集程度
(例如，拥塞度等)。
19.作为具体例，专利文献3中提出了，通过两个推测器从医疗图像中检测病变区域。专利文献4中提出了，利用完成训练的神经网络根据该拍摄图像推测出现于拍摄图像的人物的密度分布及移动矢量的分布。专利文献5中提出了，基于在驾驶员驾驶车辆期间所测定的加速度的测定数据来判定驾驶员的驾驶倾向。专利文献6中提出了，利用声音及振动的至少一方的测定数据来判断设备故障的预兆的方法。
20.即使在这些情境下，在存在未得到样本的特征的类别的组合的情况下，也会产生各自的推测的精度降低的问题。由此，为了提高推测的精度，优选针对各特征的类别的组合全面收集样本。然而，这会产生为了全面收集样本而耗费成本的问题点。
21.一种方案中，本发明是鉴于这样的实际情况而提出的，其目的在于提供用于减少针对能够表现至少两个以上特征的规定种类的数据收集多种不同样本所耗费的成本的技术。
22.本发明为了解决上述的课题采用以下的构成。
23.即，本发明的一种方案的数据生成系统具备：第一获取部，获取多个第一学习数据集，所述第一学习数据集分别由包括第一特征的第一样本及表示所述第一特征的类别的第一标签的组合构成，所述第一样本是规定种类的数据的第一样本；第二获取部，获取多个第二学习数据集，所述第二学习数据集由分别由包括与所述第一特征不同的第二特征的第二样本及表示所述第二特征的类别的第二标签的组合构成，所述第二样本是所述规定种类的数据的第二样本；第一训练部，使用获取的所述多个第一学习数据集，实施包括第一生成器的第一学习模型的机器学习，实施所述第一学习模型的机器学习包括：针对各所述第一学习数据集训练所述第一生成器，以使通过所述第一生成器由所述第一标签生成的伪样本与所述第一样本匹配；第二训练部，使用获取的所述多个第二学习数据集，实施包括第二生成器的第二学习模型的机器学习，实施所述第二学习模型的机器学习包括：针对各所述第二学习数据集训练所述第二生成器，以使通过所述第二生成器由所述第二标签生成的伪样本与所述第二样本匹配；第一生成部，通过将与所述第一标签对应的第一输入值提供给完成训练的所述第一生成器来生成包括所述第一特征的第一伪样本；第二生成部，通过将与所述第二标签对应的第二输入值提供给完成训练的所述第二生成器来生成包括所述第二特征的第二伪样本；及数据合成部，通过向生成的所述第一伪样本合成生成的所述第二伪样本，来生成所述规定种类的数据的新样本。
24.在该结构的数据生成系统中，通过使用多个第一学习数据集进行机器学习，第一生成器进行训练，以由第一标签生成与包括第一特征的第一样本匹配的伪样本。通过使用多个第二学习数据集进行机器学习，第二生成器进行训练，以由第二标签生成与包括第二特征的第二样本匹配的伪样本。各个机器学习之后，第一生成器掌握了生成包括与所提供的输入值相对应的类别的第一特征的伪样本的能力，第二生成器生成掌握了包括与所提供的输入值相对应的类别的第二特征的伪样本的能力。该结构的数据生成系统利用第一生成器及第二生成器生成第一伪样本及第二伪样本，并合成生成的第一伪样本及第二伪样本，由此生成规定种类的数据的新样本。
25.因此，在该结构的数据生成系统中，基于分别提供给完成学习(以下也记作“完成训练”)的第一生成器及第二生成器的输入，能够控制生成的新样本中所含的第一特征及第
二特征分别的类别。即，通过利用分别学习完成的第一生成器及第二生成器，能够生成包括任意的类别的组合的第一特征及第二特征的新样本。在存在未得到样本或样本数较少的、第一特征及第二特征的类别的组合的情况下，能够自由生成包括该类别的组合的第一特征及第二特征的新样本。此外，分别利用学习完成的第一生成器及第二生成器，能够使生成包括第一特征及第二特征的新样本的处理大部分自动化。由此，根据该结构，能够自由且自动生成多种不同组合的样本，因此，能够减少针对能够表现出至少两个以上特征的规定种类的数据收集多种不同样本所耗费的成本。
26.需要说明的是，第一特征及第二特征分别可以根据实施方式适当选择。例如，第一特征及第二特征可以分别与能够直接或间接出现于数据中的分量(元素)相关。直接出现是指表现于出现在图像数据中等的数据本身。间接出现是指从由图像数据推测等的数据中导出。第一特征及第二特征中的至少一方可以与能够作为某一推测处理的对象的分量相关。推测也可以称为“推论”。推测可以包括预测。推测可以例如为通过分组(分类、识别)导出离散值(例如，与特定的特征对应的归类)、及通过回归导出连续值(例如，特定的特征出现的概率)中的任意一种。推测可以包括基于该分组或回归的结果进行检测、判定等某种认证。如包括声音数据的动态图像数据等那样，规定种类的数据可以由多种数据构成。在该情况下，第一特征及第二特征分别可以与多种数据中的至少任意一种相关。例如，第一特征与图像数据相关，第二特征与声音数据相关等，只要可以合成，则与第一特征及第二特征分别相关的数据的种类也可以不同。
27.第一生成器及第二生成器分别由机器学习模型构成。各生成器的机器学习模型配置为根据与各标签对应的输入值的输入来生成模拟数据的各样本的假的样本(伪样本)。“伪样本”是指通过各生成器生成的样本。各生成器的机器学习模型的种类不受特别限定，可以根据实施方式适当选择。各生成器的机器学习模型可以使用例如神经网络。神经网络的种类不受特别限定，可以根据实施方式适当选择。对于各生成器的输入值及合成的参数分别可以手动确定，也可以通过随机等方法自动确定。用于训练第一生成器及第二生成器的第一样本及第二样本可以是从现实世界得到的，也可以是通过模拟、手动操作等人工生成的。
28.在上述一种方案的数据生成系统中，所述规定种类的数据可以包括第一分量及与所述第一分量不同的第二分量，第二分量成为规定的推测的对象。所述第一特征可以与所述第一分量相关，所述第二特征可以与所述第二分量相关。根据该结构，通过将以低成本收集的多种不同样本反映在规定的推测的实施中，能够提升该推测的精度。
29.在上述一种方案的数据生成系统中，所述第一学习模型可以还包括第一识别器。训可以通过交替反复执行下述步骤而构成练所述第一生成器：训练所述第一识别器，以识别输入所述第一识别器的输入样本是由所述多个第一学习数据集中的任意一个得到的所述第一样本还是通过所述第一生成器生成的伪样本；及训练所述第一生成器，以生成如降低所述第一识别器的所述识别的性能这样的伪样本。
30.在该结构中，通过交替反复进行第一识别器的训练和第一生成器的训练，能够有望根据第一识别器的识别性能的提高来提高生成与第一样本匹配的伪样本的第一生成器的性能。因此，根据该结构，能够构建可以生成包括第一特征的合适的伪样本的学习完成的第一生成器，由此，能够适当地减少收集多种不同样本所耗费的成本。
31.在上述一种方案的数据生成系统中，所述第二学习模型可以还包括第二识别器。可以通过交替反复执行下述步骤而构成训练所述第二生成器：训练所述第二识别器，以识别输入所述第二识别器的输入样本是由所述多个第二学习数据集中的任意一个得到的所述第二样本还是通过所述第二生成器生成的伪样本；及训练所述第二生成器，以生成如降低所述第二识别器的所述识别的性能这样的伪样本。
32.在该结构中，通过交替反复进行第二识别器的训练和第二生成器的训练，能够有望根据第二识别器的识别性能的提高来提高生成与第二样本匹配的伪样本的第二生成器的性能。因此，根据该结构，能够构建可以生成包括第二特征的合适的伪样本的学习完成的第二生成器，由此，能够适当地减少收集多种不同样本所耗费的成本。
33.上述一种方案的数据生成系统可以还具备：第三获取部，获取分别由所述第二特征的属性的样本值、表示反映所述第二特征的程度的反映水平、及所述第二标签的组合构成的多个第三学习数据集；及第三训练部，使用获取的所述多个第三学习数据集，实施包括第三生成器的第三学习模型的机器学习，实施所述第三学习模型的机器学习包括：针对各所述第三学习数据集训练所述第三生成器，以使通过所述第三生成器由所述反映水平及所述第二标签生成的所述第二特征的属性的伪值与所述样本值匹配。所述合成可以包括：通过将与所述第二标签对应的第二输入值以及与所述反映水平对应的第三输入值提供给完成训练的所述第三生成器来生成所述第二特征的属性的伪值；及转换所述第二伪样本，以使所述第二伪样本中所含的所述第二特征的属性的值与生成的所述伪值匹配，并且向所述第一伪样本合成所述第二伪样本。
34.在该结构中，第三生成器通过使用多个第三学习组进行机器学习来进行训练，以由反映水平及第二标签生成与第二特征的属性的样本值匹配的伪值。该机器学习之后，第三生成器掌握生成与提供的输入对应的第二特征的属性的伪值的能力。因此，能够基于提供给学习完成的第三生成器的输入来控制生成的新样本中所含的第二特征的属性的值。即，通过进一步利用学习完成的第三生成器，能够自由地生成包括具有任意属性值的第二特征的新样本。因此，根据该结构，能够针对能够表现出至少两个以上特征的规定种类的数据生成更多种不同样本。需要说明的是，“属性”与例如大小、(时间性或区域性)位置、亮度、振幅、频率(时间性或区域性)等特征所具有的性质的程度或分类相关。
35.上述一种方案的数据生成系统可以还包括：第三获取部，获取分别由所述第二特征的属性的样本值、表示反映所述第二特征的程度的反映水平、及所述第二标签的组合构成的多个第三学习数据集；及第三训练部，使用获取的所述多个第三学习数据集，实施包括第三生成器的第三学习模型的机器学习，实施所述第三学习模型的机器学习包括：针对各所述第三学习数据集训练所述第三生成器，以使通过所述第三生成器由所述反映水平及所述第二标签生成的所述第二特征的属性的伪值与所述样本值匹配。所述规定种类的数据可以包括第一分量及与所述第一分量不同的第二分量，所述第二分量成为规定的推测的对象。所述第一特征可以与所述第一分量相关，所述第二特征可以与所述第二分量相关。所述规定的推测可以是检测所述第二分量。所述合成可以包括：通过将与所述第二标签对应的第二输入值、以及与所述反映水平对应的第三输入值、即根据所述检测的极限所提供的第三输入值提供给完成训练的所述第三生成器来生成所述第二特征的属性的伪值；及转换所述第二伪样本，以使所述第二伪样本中所含的所述第二特征的属性的值与生成的所述伪值
匹配，并且，向所述第一伪样本合成所述第二伪样本。根据该结构，针对能够表现出至少两个以上特征的规定种类的数据，能够生成与检测的极限事例对应的多种不同样本。另外，通过将生成的多种不同样本反映在规定的推测的实施中，能够提升该推测的精度。
36.在上述一种方案的数据生成系统中，所述第三学习模型可以还包括第三识别器。训练所述第三生成器通过交替反复执行下述步骤而构成：训练所述第三识别器，以识别输入所述第三识别器的输入值是由所述多个第三学习数据集中的任意一个得到的所述样本值还是通过所述第三生成器生成的伪值；及训练所述第三生成器，以生成如降低所述第三识别器的所述识别的性能这样的所述第二特征的属性的伪值。
37.在该结构中，通过交替反复进行第三识别器的训练和第三生成器的训练，能够有望根据第三识别器的识别性能的提高来提高生成与第二特征的属性的样本值匹配的伪值的第三生成器的性能。因此，根据该结构，能够构建可以生成第二特征的属性的合适的伪值的学习完成的第三生成器，由此，能够适当地减少收集多种不同样本所耗费的成本。
38.在上述一种方案的数据生成系统中，各所述第三学习数据集可以还具备所述第一标签。实施所述第三学习模型的机器学习可以包括：训练所述第三生成器，以使通过所述第三生成器由所述反映水平、所述第二标签及所述第一标签生成的所述第二特征的属性的伪值与所述样本值匹配。
39.在该结构中，第三生成器进行训练，以进一步对应于第一标签所示的第一特征的类别来生成第二特征的属性的伪值。因此，根据学习完成的第三生成器，能够根据第一特征的类别来控制第二特征的属性的值。即，通过利用学习完成的第三生成器，能够自由地生成包括第二特征的新样本，该第二特征具有适合第一特征的类别的属性值。因此，根据该结构，针对能够表现出至少两个以上特征的规定种类的数据，能够生成更多种合适的样本。
40.在上述一种方案的数据生成系统中，所述反映水平可以由连续值构成。根据该结构，能够通过连续值来控制第二特征的属性值，因此，针对能够表现出至少两个以上特征的规定种类的数据，能够生成更多种不同样本。需要说明的是，反映水平的构成可以不限定于这样的例子。反映水平也可以由离散值构成。
41.在上述一种方案的数据生成系统中，获取所述多个第二学习数据集包括下述步骤：获取分别包括所述第一特征及所述第二特征的多个第三样本，所述第三样本是所述规定种类的数据的第三样本；通过向推测器提供各所述第三样本来推测为了生成与各所述第三样本对应的伪样本而提供给完成训练的所述第一生成器的输入的推测值，所述推测器被训练以在由通过完成训练的所述第一生成器生成的伪样本来生成该伪样本时推测提供给所述第一生成器的输入；通过将推测出的所述推测值提供给完成训练的所述第一生成器，来为每个所述第三样本生成第三伪样本；以及通过从各所述第三样本减去所述第三伪样本，来生成各所述第二学习数据集的所述第二样本。基本而言，学习完成的第一生成器被配置为生成包括第一特征且不包括第二特征的伪样本。因此，根据该结构，能够适当地生成不包括第一特征且包括第二特征的第二样本。另外，根据该结构，可以从第三样本自动生成第二样本，因此，能够减少获取第二样本的成本。
42.上述一种方案的数据生成系统可以还具备：第四获取部，获取多个第四学习数据集，所述多个第四学习数据集分别由提供给完成训练的所述第一生成器的输入的样本值、及通过向完成训练的所述第一生成器提供该样本值而生成的第四伪样本的组合构成；及第
四训练部，通过使用获取的所述多个第四学习数据集实施所述推测器的机器学习，构建完成训练的所述推测器，实施所述推测器的机器学习包括：针对各所述第四学习数据集训练所述推测器，以使通过利用所述推测器由所述第四伪样本来推测提供给完成训练的所述第一生成器的输入而得到的推测值与所述样本值匹配。根据该结构，通过使用多个第四学习数据集进行机器学习，能够生成学习完成的推测器，该推测器可以适当推测为了生成与第三样本对应、包括第一特征且不包括第二特征的伪样本而提供给学习完成的第一生成器的输入值。由此，通过利用生成的学习完成的推测器，能够由第三样本适当地生成不包括第一特征且包括第二特征的第二样本。
43.在上述一种方案的数据生成系统中，所述规定种类的数据可以为包括背景及前景的图像数据。所述第一特征可以与所述背景相关，所述第二特征可以与所述前景相关。根据该结构，可以减少针对图像数据收集各种不同的类别的背景及前景的组合的样本所耗费的成本。
44.在上述一种方案的数据生成系统中，所述规定种类的数据可以为呈现产品的图像数据。所述第一特征可以与包括所述产品的背景相关，所述第二特征可以与所述产品的缺陷相关。根据该结构，能够减少收集各种不同的类别的产品及缺陷的组合的样本所耗费的成本。另外，通过将生成的多种不同样本反映在外观检查的实施中，能够提升外观检查的精度。
45.本发明的形式并不限定于上述数据生成系统。通过提取上述数据生成系统的构成的至少一部分，可以构成新形式的装置(或系统)。例如，本发明的一种方案的学习装置可以通过从上述各形式的数据生成系统中提取用于通过机器学习生成至少任意一个生成器的部分而构成。另外，例如，本发明的一种方案的数据生成装置还可以通过从上述各形式的数据生成系统中提取用于利用学习完成的生成器生成新样本的部分而构成。
46.作为一例，本发明的一种方案的学习装置具备：第一获取部，获取分别由包括第一特征的第一样本、及表示所述第一特征的类别的第一标签的组合构成的多个第一学习数据集，所述第一样本为规定种类的数据的第一样本；第二获取部，获取分别由包括与所述第一特征不同的第二特征的第二样本、及表示所述第二特征的类别的第二标签的组合构成的多个第二学习数据集，所述第二样本为所述规定种类的数据的第二样本；第一训练部，使用获取的所述多个第一学习数据集，实施包括第一生成器的第一学习模型的机器学习，实施所述第一学习模型的机器学习包括：针对各所述第一学习数据集训练所述第一生成器，以使通过所述第一生成器由所述第一标签生成的伪样本与所述第一样本匹配；及第二训练部，使用获取的所述多个第二学习数据集，实施包括第二生成器的第二学习模型的机器学习，实施所述第二学习模型的机器学习包括：针对各所述第二学习数据集训练所述第二生成器，以使通过所述第二生成器由所述第二标签生成的伪样本与所述第二样本匹配。
47.需要说明的是，“学习装置”也可以称为用于生成完成训练的机器学习模型(生成器)的“模型生成装置”或简称为“生成装置”。学习方法也可以称为用于生成完成训练的机器学习模型的模型生成方法或简称为生成方法。即，学习方法相当于生成(生产)完成训练的机器学习模型的方法。
48.作为其它的例子，本发明的一种方案的数据生成装置具备：第一生成部，具有通过使用多个第一学习数据集进行机器学习而构建的完成训练的第一生成器，所述多个第一学
习数据集分别由包括第一特征的第一样本、及表示所述第一特征的类别的第一标签的组合构成，所述第一样本为规定种类的数据的第一样本，通过所述机器学习，所述第一生成器针对各所述第一学习数据集进行训练，以使通过所述第一生成器由所述第一标签生成的伪样本与所述第一样本匹配，第一生成部通过将与所述第一标签对应的第一输入值提供给完成训练的所述第一生成器来生成包括所述第一特征的第一伪样本；第二生成部，具有通过使用多个第二学习数据集进行机器学习而构建的完成训练的第二生成器，所述多个第二学习数据集分别由包括与所述第一特征不同的第二特征的第二样本、及表示所述第二特征的类别的第二标签的组合构成，所述第二样本为所述规定种类的数据的第二样本，通过所述机器学习，所述第二生成器针对各所述第二学习数据集进行训练，以使通过所述第二生成器由所述第二标签生成的伪样本与所述第二样本匹配，所述第二生成部通过将与所述第二标签对应的第二输入值提供给完成训练的所述第二生成器来生成包括所述第二特征的第二伪样本；及数据合成部，通过向生成的所述第一伪样本合成生成的所述第二伪样本来生成所述规定种类的数据的新样本。
49.另外，作为上述各方式的数据生成系统、学习装置、及数据生成装置各自的其它方面，本发明的一种方案可以为实现以上的各构成的全部或其中一部的信息处理方法，也可以为程序，还可以为存储有这样的程序的、计算机等装置、机器等可读的存储介质。在此，计算机等可读的存储介质是指通过电、磁、光学、机器或化学存储程序等信息的介质。
50.例如，本发明的一种方案的数据生成方法是一种信息处理方法，其中，计算机执行下述步骤：获取多个第一学习数据集，所述第一学习数据集分别由包括第一特征的第一样本及表示所述第一特征的类别的第一标签的组合构成，其中，所述第一样本是规定种类的数据的第一样本；获取多个第二学习数据集，所述第二学习数据集由分别包括与所述第一特征不同的第二特征的第二样本及表示所述第二特征的类别的第二标签的组合构成，其中，所述第二样本是所述规定种类的数据的第二样本；使用获取的所述多个第一学习数据集，实施包括第一生成器的第一学习模型的机器学习，实施所述第一学习模型的机器学习包括：针对各所述第一学习数据集训练所述第一生成器，以使通过所述第一生成器由所述第一标签生成的伪样本与所述第一样本匹配；使用获取的所述多个第二学习数据集，实施包括第二生成器的第二学习模型的机器学习，实施所述第二学习模型的机器学习包括：针对各所述第二学习数据集训练所述第二生成器，以使通过所述第二生成器由所述第二标签生成的伪样本与所述第二样本匹配；通过将与所述第一标签对应的第一输入值提供给完成训练的所述第一生成器来生成包括所述第一特征的第一伪样本；通过将与所述第二标签对应的第二输入值提供给完成训练的所述第二生成器来生成包括所述第二特征的第二伪样本；及通过向生成的所述第一伪样本合成生成的所述第二伪样本来生成所述规定种类的数据的新样本。
51.另外，例如，本发明的一种方案的数据生成方法为一种信息处理方法，计算机执行下述步骤：利用完成训练的第一生成器，生成包括第一特征的第一伪样本，所述完成训练的第一生成器通过使用多个第一学习数据集进行机器学习而构建，所述多个第一学习数据集分别由包括第一特征的第一样本、及表示所述第一特征的类别的第一标签的组合构成，所述第一样本为规定种类的数据的第一样本，在所述机器学习中，所述第一生成器针对各所述第一学习数据集进行训练，以使通过所述第一生成器由所述第一标签生成的伪样本与所
述第一样本匹配，所述计算机通过将与所述第一标签对应的第一输入值提供给所述完成训练的所述第一生成器来生成包括所述第一特征的所述第一伪样本；利用完成训练的第二生成器，生成包括第二特征的第二伪样本，所述完成训练的第二生成器通过使用多个第二学习数据集进行机器学习而构建，所述多个第二学习数据集分别由包括与所述第一特征不同的第二特征的第二样本、及表示所述第二特征的类别的第二标签的组合构成，所述第二样本为所述规定种类的数据的第二样本，在所述机器学习中，所述第二生成器针对各所述第二学习数据集进行训练，以使通过所述第二生成器由所述第二标签生成的伪样本与所述第二样本匹配，所述计算机通过将与所述第二标签对应的第二输入值提供给所述完成训练的所述第二生成器来生成包括所述第二特征的第二伪样本；及通过向生成的所述第一伪样本合成生成的所述第二伪样本来生成所述规定种类的数据的新样本。
52.另外，例如，本发明的一种方案的数据生成程序一种数据生成程序，用于使计算机执行下述步骤：利用完成训练的第一生成器，生成包括第一特征的第一伪样本，所述完成训练的第一生成器通过使用多个第一学习数据集进行机器学习而构建，所述多个第一学习数据集分别由包括第一特征的第一样本、及表示所述第一特征的类别的第一标签的组合构成，所述第一样本为规定种类的数据的第一样本，在所述机器学习中，所述第一生成器针对各所述第一学习数据集进行训练，以使通过所述第一生成器由所述第一标签生成的伪样本与所述第一样本匹配，所述计算机通过将与所述第一标签对应的第一输入值提供给所述完成训练的所述第一生成器来生成包括所述第一特征的所述第一伪样本；利用完成训练的第二生成器，生成包括第二特征的第二伪样本，所述完成训练的第二生成器通过使用多个第二学习数据集进行机器学习而构建，所述多个第二学习数据集分别由包括与所述第一特征不同的第二特征的第二样本、及表示所述第二特征的类别的第二标签的组合构成，所述第二样本为所述规定种类的数据的第二样本，在所述机器学习中，所述第二生成器针对各所述第二学习数据集进行训练，以使通过所述第二生成器由所述第二标签生成的伪样本与所述第二样本匹配，所述计算机通过将与所述第二标签对应的第二输入值提供给所述完成训练的所述第二生成器来生成包括所述第二特征的第二伪样本；及通过向生成的所述第一伪样本合成生成的所述第二伪样本来生成所述规定种类的数据的新样本。
53.根据本发明，能够减少针对能够表现出至少两个以上特征的规定种类的数据收集多种不同样本所耗费的成本。
附图说明
54.图1示意性示例应用本发明的情境的一例。
55.图2a示意性示例实施方式的包括第一特征及第二特征的样本的一例。
56.图2b示意性示例实施方式的包括第一特征及第二特征的样本的一例。
57.图3示意性示例实施方式的学习装置的硬件配置的一例。
58.图4示意性示例实施方式的数据生成装置的硬件配置的一例。
59.图5示意性示例实施方式的推测装置的硬件配置的一例。
60.图6示意性示例实施方式的学习装置的软件配置的一例。
61.图7a示意性示例由实施方式的学习装置进行的第一学习模型的机器学习的过程。
62.图7b示意性示例由实施方式的学习装置进行的第二学习模型的机器学习的过程。
63.图7c示意性示例由实施方式的学习装置进行的第三学习模型的机器学习的过程。
64.图7d示意性示例由实施方式的学习装置进行的推测器的机器学习的过程。
65.图7e示意性示例由实施方式的学习装置进行的第二样本的生成过程。
66.图8示意性示例实施方式的数据生成装置的软件配置的一例。
67.图9示意性示例实施方式的推测装置的软件配置的一例。
68.图10a示例由实施方式的学习装置进行的第一学习模型的机器学习的处理流程的一例。
69.图10b示例与由实施方式的学习装置进行的第一学习模型的机器学习相关的子程序的处理流程的一例。
70.图11a示例由实施方式的学习装置进行的第二学习模型的机器学习的处理流程的一例。
71.图11b示例与由实施方式的学习装置进行的第二学习模型的机器学习相关的子程序的处理流程的一例。
72.图12a示例由实施方式的学习装置进行的第三学习模型的机器学习的处理流程的一例。
73.图12b示例与由实施方式的学习装置进行的第三学习模型的机器学习相关的子程序的处理流程的一例。
74.图13示例由实施方式的学习装置进行的推测器的机器学习的处理流程的一例。
75.图14示例与由实施方式的学习装置进行的第二样本的生成相关的处理流程的一例。
76.图15示例实施方式的数据生成装置的处理流程的一例。
77.图16示意性示例实施方式的数据生成装置的接受屏幕的一例，所述接受屏幕用于接受各输入值的输入。
78.图17a示例实施方式的推测装置的处理流程的一例。
79.图17b示例与实施方式的第二特征相关的推测处理的过程的一例。
80.图18a示例实施方式的数据组的输出屏幕的一例。
81.图18b示例实施方式的数据组的输出屏幕的一例。
82.图19示意性示例应用本发明的其它情境的一例。
83.图20a示意性示例其它方式的检查装置的硬件配置的一例。
84.图20b示意性示例其它方式的检查装置的软件配置的一例。
85.图21示意性示例应用本发明的其它情境的一例。
86.图22示意性示例应用本发明的其它情境的一例。
87.图23示意性示例应用本发明的其它情境的一例。
88.图24a示意性示例其它方式的监视装置的硬件配置的一例。
89.图24b示意性示例其它方式的监视装置的软件配置的一例。
90.图25示意性示例应用本发明的其它情境的一例。
91.图26a示意性示例其它方式的异常探测装置的硬件配置的一例。
92.图26b示意性示例其它方式的异常探测装置的软件配置的一例。
93.图27示意性示例其它方式的生成器的构成的一例。
94.图28示意性示例应用本发明的其它情境的一例。
95.图29示意性示例其它方式的其它学习装置的硬件配置的一例。
96.图30示意性示例其它方式的其它学习装置的软件配置的一例。
97.图31示例其它方式的其它学习装置的处理流程的一例。
98.图32a示意性示例其它方式的推测装置的硬件配置的一例。
99.图32b示意性示例其它方式的推测装置的软件配置的一例。
具体实施方式
100.以下，基于附图对本发明的一种方案的实施方式(以下，也记作“本实施方式”)进行说明。但是，以下所说明的本实施方式在任何方面都仅是本发明的示例。当然，可以在不脱离本发明的范围的情况下进行各种改良及变形。即，实施本发明时，可以适当采用与实施方式对应的具体的构成。需要说明的是，虽然通过自然语言对本实施方式中出现的数据进行了说明，但更具体而言，通过计算机可识别的虚拟语言、命令、参数、机器语言等来指定。
101.§
1应用例
102.图1示意性示例应用本发明的情境的一例。如图1所示，本实施方式的推测系统100具备学习装置1、数据生成装置2及推测装置3。学习装置1及数据生成装置2生成学习完成的第一生成器411及第二生成器421，并利用生成的学习完成的第一生成器411及第二生成器421来构成用于生成规定种类的数据的新样本65的数据生成系统。
103.本实施方式的学习装置1是配置为通过分别实施机器学习来生成学习完成的第一生成器411及第二生成器421的计算机。具体而言，本实施方式的学习装置1获取分别由规定种类的数据的第一样本511及第一标签512的组合构成的多个第一学习数据集51。另外，本实施方式的学习装置1获取分别由规定种类的数据的第二样本521及第二标签522的组合构成的多个第二学习数据集52。
104.针对各样本(511、521)，如果规定种类的数据是能够表现某种特征的数据，则数据的种可以不受特别限定，可以根据实施方式适当选择。规定种类的数据可以例如为图像数据、声音数据、数值数据、文本数据以及通过各种传感器得到的传感数据等。规定种类的数据可以例如为通过传感器观测某个对象而得到的传感数据。传感器可以例如为相机、麦克风、编码器、lidar传感器、医疗检查装置、生命传感器、人感传感器、环境传感器等。相机可以例如为配置为获取rgb图像的普通数码相机、配置为获取深度图像的深度相机、配置为将红外线量图像化的红外线相机等。医疗检查装置可以例如为x射线装置、ct装置、mri装置等。生命传感器可以例如为体温计、血压计、心率监测器等。环境传感器可以例如为光强计、温度计、湿度计等。
105.第一样本511包括规定种类的数据中出现的第一特征，第一标签512表示该第一特征的类别。另一方面，第二样本521包括与第一特征不同的第二特征，第二标签522表示该第二特征的类别。第一特征及第二特征可以分别根据实施方式适当选择。例如，第一特征及第二特征可以分别与能够直接或间接出现于规定种类的数据的分量(元素)相关。直接出现是指表现于出现在图像数据中等的数据本身。间接出现是指从由图像数据推测等的数据中导出。第一特征及第二特征中的至少一方可以作为某个推测处理的对象。需要说明的是，对象样本包括对象表特征相当于对象样本中出现对象特征。
106.在本实施方式中，规定种类的数据能够包括第一分量及与第一分量不同的第二分量。第二分量成为规定的推测的对象。各第一样本511中所含的第一特征与第一分量相关，各第二样本521中所含的第二特征与第二分量相关。推测可以包括预测。推测可以例如为，通过分组(分类、识别)导出离散值(例如，与特定的特征对应的归类)、及通过回归导出连续值(例如，特定的特征出现的概率)中的任意一种。推测可以包括基于该分组或回归的结果进行检测、判定等某种认证。如包括声音数据的动态图像数据等那样，规定种类的数据可以由多种数据构成。在该情况下，第一特征及第二特征分别可以与多种数据中的至少任意一种相关。例如，第一特征与图像数据相关，第二特征与声音数据相关等，只要可以合成，则与第一特征及第二特征分别相关的数据的种类也可以不同。
107.接着，本实施方式的学习装置1使用获取的多个第一学习数据集51实施包括第一生成器411的第一学习模型41的机器学习。实施第一学习模型41的机器学习包括：针对各第一学习数据集51训练第一生成器411，以使通过第一生成器411由第一标签512生成的伪样本与第一样本511匹配。另外，本实施方式的学习装置1使用获取的多个第二学习数据集52实施包括第二生成器421的第二学习模型42的机器学习。实施第二学习模型42的机器学习包括：针对各第二学习数据集52训练第二生成器421，以使通过第二生成器421由第二标签522生成的伪样本与第二样本521匹配。各机器学习之后，生成学习完成的第一生成器411及第二生成器421。
108.各生成器(411、421)由机器学习模型构成。各生成器(411、421)的机器学习模型配置为根据与各标签(512、522)对应的输入值的输入来生成模拟数据的各样本(511、521)的假的样本(伪样本)。伪样本是指通过各生成器(411、421)生成的样本。各生成器(411、421)的机器学习模型的种类可以不受特别限定，可以根据实施方式适当选择。在本实施方式中，各生成器(411、421)的机器学习模型中使用神经网络。详细内容将在后文叙述。需要说明的是，本实施方式的学习装置1也称作用于生成完成训练的机器学习模型的“模型生成装置”或简称作“生成装置”。
109.本实施方式的数据生成装置2是配置为分别利用学习完成的第一生成器411及第二生成器421来生成规定种类的数据的新样本65的计算机。具体而言，本实施方式的数据生成装置2通过将与第一标签512对应的第一输入值221提供给完成训练的第一生成器411来生成包括第一特征的第一伪样本61。另外，本实施方式的数据生成装置2通过将与第二标签522对应的第二输入值223提供给完成训练的第二生成器421来生成包括第二特征的第二伪样本62。并且，本实施方式的数据生成装置2通过合成生成的第一伪样本61及生成的第二伪样本62来生成规定种类的数据的新样本65。
110.本实施方式的推测装置3是配置为执行针对第二特征的规定的推测处理的计算机。在本实施方式中，规定的推测是指检测第二分量(换言之，检测第二特征的存在)。本实施方式的推测装置3获取对象样本325，并对获取的对象样本325执行用于检测第二分量的处理。检测处理中的参数可以基于数据组320来确定。数据组320由规定种类的数据的多个样本321构成。多个样本321中可以包括通过数据生成装置2生成的样本65。
111.综上所述，在本实施方式中，能够基于分别提供给学习完成的第一生成器411及第二生成器421的输入来控制生成的新样本65中所含的第一特征及第二特征分别的类别。即，本实施方式的数据生成装置2能够分别利用学习完成的第一生成器411及第二生成器421来
生成包括任意的类别的组合的第一特征及第二特征的新样本65。在存在未得到样本或样本数较少的、第一特征及第二特征的类别的组合的情况下，能够自由生成包括该类别的组合的第一特征及第二特征的新样本65。此外，通过分别利用学习完成的第一生成器411及第二生成器421，能够使生成新样本65的大部分处理自动化。由此，根据本实施方式，能够自由且自动生成多种不同组合的样本，因此，能够减少针对表现出至少两个以上特征的规定种类的数据收集多种不同样本所耗费的成本。
112.并且，在本实施方式中，通过向数据组320中添加新样本65，能够有望使数据组320中所含的样本321多样化。即，在数据组320中，能够丰富针对未得到或数目较少的组合的样本。由此，能够提升对于该组合的推测的精度。因此，根据本实施方式，通过将如上述那样所生成的新样本65反映在推测装置3中的推测处理的实施中，能够有望提高该推测处理的精度。
113.需要说明的是，如图1所示，学习装置1、数据生成装置2及推测装置3可以经由网络彼此连接。网络的种类可以从例如因特网、无线通讯网络、移动通讯网络、电话网络、专供网络等中适当选择。但是，在学习装置1、数据生成装置2及推测装置3之间交换数据的方法可以并不限定于这样的例子，可以根据实施方式适当选择。例如，可以在学习装置1、数据生成装置2及推测装置3之间利用存储介质来交换数据。
114.另外，在图1的例子中，学习装置1、数据生成装置2及推测装置3分别为单独的计算机。然而，本实施方式的系统的构成可以并不限定于这样的例子，可以根据实施方式适当确定。例如，学习装置1、数据生成装置2及推测装置3中的至少任意一对可以为一体型计算机。另外，例如，学习装置1、数据生成装置2及推测装置3中的至少一个可以由多台计算机构成。
115.在此，进一步使用图2a及图2b对可以在上述推测系统100中处理的规定种类的数据的具体例进行说明。图2a示意性示例实施产品p1的外观检查的情境下得到的包括第一特征及第二特征的样本p10的一例。图2b示意性示例在基于机器的运行声音实施机器的状态检查的情境中得到的、包括第一特征及第二特征的样本p20的一例。
116.图2a中，产品p1所呈现于的图像数据为规定种类的数据的一例。在该例子中，第一特征与包括产品p1的背景p11相关，第二特征与产品p1上可能产生的缺陷p12相关。即，样本p10中的包括产品p1的背景p11的图像为第一分量的一例，缺陷p12的图像为第二分量的一例。在该情况下，在各第一学习数据集51中，第一样本511可以为，产品p1所呈现于的图像数据的样本，第一标签512可以表示产品p1的类别。第二样本521可以为缺陷p12所呈现于的图像数据的样本，第二标签522可以表示缺陷p12的类别。
117.产品p1及缺陷p12的种类可以任意选择。产品p1可以例如为电子设备、电子器件、汽车器件、药物、食品等在生产线上输送的产品。电子器件可以例如为基板、贴片电容、液晶、继电器的绕组等。汽车器件可以例如为连杆、轴、发动机缸体、电动车窗开关、面板等。药物可以例如为包装完成的片剂、未包装的片剂等。产品可以为制造过程完成后生成的最终品、制造过程中途生成的中间品、及经过制造过程之前所准备的初始品中的任意一种。缺陷p12可以例如为划痕、污点、裂纹、凹痕、毛刺、颜色不均、异物污染等。
118.在该例子中，本实施方式的学习装置1能够通过使用上述多个第一学习数据集51进行机器学习来构建第一生成器411，第一生成器411被进行训练以生成包括与输入相应的类别的产品p1的背景所呈现于的伪样本。另外，本实施方式的学习装置1还能够通过使用上
述多个第二学习数据集52进行机器学习来构建第二生成器421，第二生成器421被进行训练以生成包括与包括输入相应的类别的缺陷p12的前景所呈现于的伪样本。在本实施方式的数据生成装置2中，通过分别利用学习完成的第一生成器411及第二生成器421，能够使生成任意的类别的组合的产品p1及缺陷p12所呈现于的新样本65大部分处理自动化。因此，能够减少收集产品p1及缺陷p12所呈现于的多种不同样本所耗费的成本。并且，在本实施方式的推测装置3中，通过添加生成的新样本65使数据组320中所含的样本321多样化，由此能够有望提高产品p1的外观检查的精度。
119.另一方面，图2b中，包括机器的运行声音的声音数据为规定种类的数据的一例。在该例子中，第一特征与机器的正常运行时所产生的运行声音、机器的周围的杂音等环境声音p21相关，第二特征与由于机器的老化、故障等异常所产生的异常声音p22相关。即，样本p20中的环境声音p21的分量为第一分量的一例，异常声音p22的分量为第二分量的一例。在该情况下，在各第一学习数据集51中，第一样本511可以为包括环境声音p21的声音数据的样本，第一标签512可以表示机器及周围环境的类别。在各第二学习数据集52中，第二样本521可以为包括异常声音p22的声音数据的样本，第二标签522可以表示异常的类别。
120.机器及异常的种类可以任意选择。机器可以例如为输送装置、工业机器人等构成生产线的装置。机器可以为装置整体，也可以为电机等装置的一部分。机器的周围环境可以例如根据机器的驱动产所、时间等来区分。异常可以例如为故障、混入异物、附着污物、组件摩耗。
121.在该例子中，本实施方式的学习装置1能够通过使用上述多个第一学习数据集51进行机器学习来构建第一生成器411，第一生成器411被进行训练，以生成包括与输入相应的类别的机器及周围环境的环境声音p21的伪样本。另外，本实施方式的学习装置1能够通过使用上述多个第二学习数据集52进行机器学习来构建第二生成器421，第二生成器421被进行训练，以生成包括与输入相应的类别的异常声音p22的伪样本。在本实施方式的数据生成装置2中，通过分别利用学习完成的第一生成器411及第二生成器421，能够使生成包括任意的类别的组合的环境声音p21及异常声音p22的新样本65的大部分处理自动化。因此，能够减少收集包括环境声音p21及异常声音p22的多种不同样本所耗费的成本。并且，在本实施方式的推测装置3中，通过添加生成的新样本65使数据组320中所含的样本321，由此有望提高探测机器的异常的精度。
122.需要说明的是，在图2a及图2b的例子中，正常时及异常时均会出现这样的出现率较高的特征被选作第一特征，仅异常时出现这样的出现率较低的特征被选作第二特征。如此一来，即使单独也能够出现的出现率较高的特征可以被选作第一特征，能够与该特征一同出现的出现率较低的特征可以被选作第二特征。在该情况下，检测第二分量相当于检测产生异常等出现率较低的事件。
123.§
2构成例
124.[硬件配置]
[0125]
《学习装置》
[0126]
图3示意性示例本实施方式的学习装置1的硬件配置的一例。如图3所示，本实施方式的学习装置1是电连接有控制部11、存储部12、通信接口13、外部接口14、输入装置15、输出装置16、及驱动器17的计算机。需要说明的是，图3中，将通信接口及外部接口记作“通信
i/f”及“外部i/f”。
[0127]
控制部11包括作为硬件处理器的cpu(central processing unit)、ram(random access memory)、rom(read only memory)等，被配置为基于程序及各种数据来执行信息处理。存储部12是存储器的一例，其由例如硬盘驱动器、固态驱动器等构成。在本实施方式中，存储部12存储学习程序81、第一～第四学习数据集51～54、第一～第四学习结果数据121～124等各种信息。
[0128]
学习程序81是用于使学习装置1执行后述信息处理(图10a～图14)的程序，该后述信息处理即通过实施机器学习来生成各完成学习模型。学习程序81包括该信息处理的一系列指令。学习程序81可以称作“模型生成程序”或简称作“生成程序”。第一～第四学习数据集51～54分别用于各模型的机器学习。第一～第四学习结果数据121～124分别表示通过机器学习构建的各完成学习模型的相关信息。在本实施方式中，第一～第四学习结果数据121～124分别作为执行学习程序81后的结果而生成。详细内容将在后文叙述。
[0129]
通信接口13例如为有线lan(local area network)模块、无线lan模块等，它是用于经由网络进行有线或无线通信的接口。外部接口14例如为usb(universal serial bus)端口、专用端口等，它是用于与外部装置连接的接口。外部接口14的种类及数目可以任意选择。学习装置1可以经由外部接口14与用于得到第一样本511、第二样本521等样本的传感器连接。
[0130]
输入装置15例如为鼠标、键盘等用于进行输入的装置。另外，输出装置16例如为显示器、扬声器等用于进行输出的装置。用户等操作者能够通过利用输入装置15及输出装置16来操作学习装置1。
[0131]
驱动器17是例如cd驱动器、dvd驱动器等用于读入存储于存储介质91的程序等各种信息的驱动器装置。驱动器17的种类可以根据存储介质91的种类适当选择。上述学习程序81及第一～第四学习数据集51～54中的至少一组可以存储于该存储介质91。
[0132]
存储介质91是通过电气、磁、光学、机器或化学作用存储该程序等信息以使计算机等装置、机器等可以读取所存储的程序等各种信息的介质。学习装置1可以从该存储介质91中获取上述学习程序81及第一～第四学习数据集51～54中的至少一种。
[0133]
在此，图3中，作为存储介质91的一例，示例了cd、dvd等碟片型的存储介质。然而，存储介质91的种类并非限定于碟片型，也可以为碟片型以外的形式。作为碟片型以外的存储介质，能够列举例如闪存等半导体存储器。驱动器17的种类可以根据存储介质91的种类适当选择。
[0134]
需要说明的是，关于学习装置1的具体的硬件配置，可以根据实施方式适当省略、取代及添加构件。例如，控制部11可以包括多个硬件处理器。硬件处理器可以由微处理器、fpga(field-programmable gate array)、dsp(digital signal processor)等构成。存储部12可以由控制部11中所含的ram及rom构成。可以省略通信接口13、外部接口14、输入装置15、输出装置16及驱动器17中的至少任意一个。学习装置1可以由多台计算机构成。在该情况下，各计算机的硬件配置可以一致，也可以不一致。另外，学习装置1还可以是为所提供的服务专用设计的信息处理装置、以及通用的服务器装置、pc(personal computer)等。
[0135]
《数据生成装置》
[0136]
图4示意性示例本实施方式的数据生成装置2的硬件配置的一例。如图4所示，本实
施方式的数据生成装置2是电连接有控制部21、存储部22、通信接口23、外部接口24、输入装置25、输出装置26、及驱动器27的计算机。
[0137]
数据生成装置2的控制部21～驱动器27及存储介质92分别与上述学习装置1的控制部11～驱动器17及存储介质91相同地构成。控制部21包括硬件处理器cpu、ram、rom等，并配置为基于程序及数据执行各种信息处理。存储部22由例如硬盘驱动器、固态驱动器等构成。存储部22存储数据生成程序82、第一～第三学习结果数据121～123等各种信息。数据生成程序82是用于使数据生成装置2执行与新样本65的生成相关的后述信息处理(图15)的程序。数据生成程序82包括该信息处理的一系列的指令。数据生成程序82及第一～第三学习结果数据121～123中的至少任意一个可以存储于存储介质92。另外，数据生成装置2可以从存储介质92中获取上述数据生成程序82及第一～第三学习结果数据121～123中的至少任意一种。
[0138]
需要说明的是，关于数据生成装置2的具体的硬件配置，可以根据实施方式适当地省略、取代及添加构件。例如，控制部21可以包括多个硬件处理器。硬件处理器可以由微处理器、fpga、dsp等构成。存储部22可以由控制部21中所含的ram及rom构成。可以省略通信接口23、外部接口24、输入装置25，输出装置26及驱动器27中的至少任意一种。数据生成装置2可以由多台计算机构成。在该情况下，各计算机的硬件配置可以一致，也可以不一致。另外，学习装置2还可以是为所提供的服务专用设计的信息处理装置、以及通用的服务器装置、pc(personal computer)等。
[0139]
《推测装置》
[0140]
图5示意性示例本实施方式的推测装置3的硬件配置的一例。如图5所示，本实施方式的推测装置3是电连接有控制部31，存储部32，通信接口33，外部接口34，输入装置35，输出装置36，及驱动器37的计算机。
[0141]
推测装置3的控制部31～驱动器37及存储介质93分别可以与上述学习装置1的控制部11～驱动器17及存储介质91相同地构成。控制部31包括硬件处理器cpu、ram、rom等，并配置为基于程序及数据执行各种信息处理。存储部32由例如硬盘驱动器、固态驱动器等构成。存储部32存储，推测程序83、数据组320、第一/第四学习结果数据(121、124)等各种信息。推测程序83是用于使推测装置3执行与针对第二特征的规定的推测相关的后述信息处理(图17a)的程序。推测程序83包括该信息处理的一系列的指令。数据组320可以用于确定，规定的推测(在本实施方式中为第二分量的检测)处理中参数的值。推测程序83、数据组320及第一/第四学习结果数据(121、124)中的至少任意一种可以存储于存储介质93。另外，推测装置3可以从存储介质93中
から
，上述推测程序83，数据组320及第一/第四学习结果数据(121、124)中的任意一种。
[0142]
需要说明的是，关于推测装置3的具体的硬件配置，可以根据实施方式适当地省略、取代及添加构件。例如，控制部31可以包括多个硬件处理器。硬件处理器可以由微处理器、fpga、dsp等构成。存储部32可以由控制部31中所含的ram及rom构成。可以省略通信接口33、外部接口34、输入装置35、输出装置36及驱动器37中的至少任意一种。推测装置3可以由多台计算机构成。在该情况下，各计算机的硬件配置可以一致，也可以不一致。另外，推测装置3还可以是为所提供的服务专用设计的信息处理装置、以及通用的服务器装置、pc、plc(programmable logic controller)等。
[0143]
[软件配置]
[0144]
《学习装置》
[0145]
图6示意性示例本实施方式的学习装置1的软件配置的一例。学习装置1的控制部11将存储于存储部12的学习程序81展开至ram。接着，控制部11通过cpu解释及执行展开至ram的学习程序81中所含的指令，以控制各构件。由此，如图6所示，本实施方式的学习装置1作为计算机进行动作，该计算机具备第一获取部111、第二获取部112、第三获取部113、第四获取部114、第一训练部115、第二训练部116、第三训练部117、第四训练部118、及保存处理部119作为软件模块。即，在本实施方式中，学习装置1的各软件模块通过控制部11(cpu)实现。
[0146]
第一获取部111获取分别由包括第一特征的第一样本511、及表示第一特征的类别的第一标签512的组合构成的多个第一学习数据集51，其中，第一样本511为规定种类的数据的第一样本511。第一训练部115使用获取的多个第一学习数据集51，实施包括第一生成器411的第一学习模型41的机器学习。在第一学习模型41的机器学习中，第一训练部115针对各第一学习数据集51训练第一生成器411，以使通过第一生成器411由第一标签512生成的伪样本与第一样本511匹配。
[0147]
第二获取部112获取分别由包含与第一特征不同的第二特征的第二样本521、及表示第二特征的类别的第二标签522的组合构成的多个第二学习数据集52，其中，第二样本521为规定种类的数据的第二样本521。第二训练部116使用获取的多个第二学习数据集52，实施包括第二生成器421的第二学习模型42的机器学习。在第二学习模型42的机器学习中，第二训练部116针对各第二学习数据集52训练第二生成器421，以使通过第二生成器421由第二标签522生成的伪样本与第二样本521匹配。
[0148]
第三获取部113获取分别由第二特征的属性的样本值531、表示反映第二特征的程度的反映水平532、及第二标签522的组合构成的多个第三学习数据集53。样本值531也称作属性样本值。属性与例如大小、(时间性或区域性)位置、亮度、振幅、频率(时间性或区域性)等第二特征所具有的性质的程度或分类相关。第三训练部117使用获取的多个第三学习数据集53，实施包括第三生成器431的第三学习模型43的机器学习。在第三学习模型43的机器学习中，第三训练部117针对各第三学习数据集53训练第三生成器431，以使通过第三生成器431由反映水平532及第二标签522生成的第二特征的属性的伪值与样本值531匹配。需要说明的是，各第三学习数据集53可以还具备第一标签512。在该情况下，在第三学习模型43的机器学习中，第三训练部117可以训练第三生成器431，以使通过第三生成器431由反映水平532、第二标签522及第一标签512生成的第二特征的属性的伪值与样本值531匹配。
[0149]
第四获取部114获取多个第四学习数据集54，其中，多个第四学习数据集5分别由提供给完成训练的第一生成器411的输入的样本值541及通过向完成训练的第一生成器411提供该样本值541所生成的伪样本542的组合构成。伪样本542为本发明的“第四伪样本”的一例。第四训练部118使用获取的多个第四学习数据集54，执行推测器44的机器学习。推测器44的机器学习中，第四训练部118针对各第四学习数据集54训练推测器44，以使通过利用推测器44由伪样本542推测提供给完成训练的第一生成器411的输入而得到的推测值与样本值541匹配。
[0150]
保存处理部119生成与各机器学习的结果相关的信息，并将生成的信息保存在规
定的存储区域。具体而言，保存处理部119生成与完成训练的各生成器(411、421、431)及推测器44分别相关的信息以作为第一～第四学习结果数据121～124。接着，保存处理部119将生成的第一～第四学习结果数据121～124保存在规定的存储区域。规定的存储区域可以不受特别限定，可以根据实施方式适当选择。规定的存储区域可以例如为控制部11内的ram、存储部12、存储介质91、外部存储装置或这些的组合。
[0151]
(第一学习模型的机器学习)
[0152]
图7a示意性示例本实施方式的第一学习模型41的机器学习的过程的一例。作为第一学习模型41的构成，只要能够训练第一生成器411以生成包括与输入相应的类别的第一特征的伪样本，则可以不受特别限定，可以根据实施方式适当确定。在本实施方式中，第一学习模型41可以还包括第一识别器412。第一生成器411及第一识别器412可以由能够实施机器学习的任意的机器学习模型构成。
[0153]
在本实施方式中，第一生成器411及第一识别器412分别由用于深层学习的多层结构的神经网络构成。第一生成器411及第一识别器412分别具备输入层(4111、4121)，中间(隐藏)层(4112、4122)、及输出层(4113、4123)。但是，第一生成器411及第一识别器412各自的结构可以不限定于这样的例子，可以根据实施方式适当确定。例如，中间层(4112、4122)的数目可以不限定于一个，也可以为两个以上。或者，可以省略中间层(4112、4122)。构成神经网络的各个层的数目可以不受特别限制，可以任意选择。另外，第一生成器411及第一识别器412的结构可以至少部分一致，或者也可以不一致。
[0154]
各层(4111～4113、4121～4123)具备一个或多个神经元(节点)。各层(4111～4113、4121～4123)中所含的神经元(节点)的数目可以不受特别限定，可以根据实施方式适当确定。相邻的层的神经元彼此适当结合。在图7a的例子中，各神经元与相邻的层的全部神经元结合。然而，各神经元的结合关系可以不限定于这样的例子，可以根据实施方式适当设置。
[0155]
为各个结合设置有加权值(结合负荷)。为各神经元设置有阈值，基本而言，通过各输入和各加权值的乘积的和是否超过阈值来确定各神经元的输出。阈值可以通过激活函数来表达。在该情况下，将各输入和各加权值的乘积的和输入激活函数，并执行激活函数的运算，由此确定各神经元的输出。激活函数的种类可以不受特别限定，可以根据实施方式适当选择。各层(4111～4113、4121～4123)中所含的各神经元间的结合的加权值及各神经元的阈值是第一生成器411及第一识别器412各自的运算参数的一例。
[0156]
在本实施方式中，通过机器学习训练第一生成器411是通过交替反复执行训练第一识别器412的第一训练步骤、及训练第一生成器411的第二训练步骤而构成。在第一训练步骤中，第一训练部115训练第一识别器412，以识别输入第一识别器412的输入样本是由多个第一学习数据集51中的任意一个得到的第一样本511还是通过第一生成器411生成的伪样本515。换言之，第一识别器412被训练以识别输入的样本是来自多个第一学习数据集51(学习数据)还是来自第一生成器411。需要说明的是，在图7a的例子中，将来自学习数据表达为“真”，而将来自第一生成器411表达为“伪”。“真”可以替换为“1”，“伪”可以替换为“0”。但是，表达各来源的方法可以并不限定于这样的例子，可以根据实施方式适当选择。另一方面，在第二训练步骤中，第一训练部115训练第一生成器411，以生成如降低第一识别器412的识别的性能这样的伪样本515。即，第一学习模型41的机器学习由第一生成器411及第一
识别器412之间的对抗学习构成。
[0157]
作为该机器学习的处理的一例，在第一训练步骤中，首先，第一训练部115针对各第一学习数据集51从规定的概率分布中提取噪音510(潜在变量)。规定的概率分布的种类可以任意选择。规定的概率分布可以例如为高斯分布等公知的概率分布。接着，第一训练部115将提取的噪音510及第一标签512提供给第一生成器411，由此从提取的噪音510及第一标签512中生成伪样本515。具体而言，第一训练部115将提取的噪音510及第一标签512输入第一生成器411的输入层4111，并执行第一生成器411的运算处理。由此，第一训练部115从第一生成器411的输出层4113获取与由噪音510及第一标签512生成伪样本的结果相对应的输出(即，伪样本515)。
[0158]
接着，第一训练部115将生成的伪样本515及对应的第一标签512输入第一识别器412的输入层4121，并执行第一识别器412的运算处理。由此，第一训练部115从第一识别器412的输出层4123获取与输入的输入样本是来自学习数据还是来自第一生成器411的识别结果相对应的输出值。在该情境下，由于输入的输入样本为伪样本515，因此，第一识别器412识别为“伪”是正确答案。第一训练部115针对通过第一生成器411生成的各伪样本515计算从输出层4123得到的输出值与该正确答案的误差。
[0159]
另外，第一训练部115将各第一学习数据集51(第一样本511及第一标签512)输入第一识别器412的输入层4121，并执行第一识别器412的运算处理。由此，第一训练部115从第一识别器412的输出层4123获取与输入的输入样本是来自学习数据还是来自第一生成器411的识别结果相对应的输出值。在该情境下，由于输入的输入样本为第一样本511，因此，第一识别器412识别为“真”是正确答案。第一训练部115针对各第一学习数据集51计算从输出层4123得到的输出值与该正确答案的误差。
[0160]
并且，第一训练部115固定第一生成器411的运算参数的值之后，调节第一识别器412的运算参数的值，以减小所算出的误差的和。由此，第一训练部115能够训练第一识别器412，以获得识别输入第一识别器412的输入样本是由多个第一学习数据集51中的任意一个得到的第一样本511还是通过第一生成器411生成的伪样本515的能力。
[0161]
另一方面，在第二训练步骤中，首先，第一训练部115针对每个第一学习数据集51从规定的概率分布中提取噪音510(潜在变量)。接着，第一训练部115将提取的噪音510及第一标签512输出至第一生成器411的输入层4111，并执行第一生成器411的运算处理。由此，第一训练部115从第一生成器411的输出层4113获取与由噪音510及第一标签512生成伪样本的结果相对应的输出(即，伪样本515)。需要说明的是，生成伪样本515的处理可以在第一训练步骤及第二训练步骤中共同执行。即，第一训练步骤中生成的伪样本515也可以用于第二训练步骤。
[0162]
接着，第一训练部115将生成的伪样本515及对应的第一标签512输入第一识别器412的输入层4121，并执行第一识别器412的运算处理。由此，第一训练部115从第一识别器412的输出层4123获取与输入的输入样本是来自学习数据还是来自第一生成器411的识别结果相对应的输出值。在第一生成器411的训练中，降低第一识别器412的识别性能(即，识别结果是错误的)是正确答案。即，从输出层4123得到的输出值与“真”对应是正确答案。第一训练部115针对各伪样本515计算从输出层4123得到的输出值与该正确答案的误差。
[0163]
并且，第一训练部115固定第一识别器412的运算参数的值之后，调节第一生成器
411的运算参数的值，以减小算出的误差的和。由此，第一训练部115训练第一生成器411，以使其获得生成如降低第一识别器412的识别的性能这样的伪样本515的能力。
[0164]
第一训练部115能够通过交替反复实施上述第一训练步骤及第二训练步骤来逐渐交替提高第一识别器412及第一生成器411的性能。由此，根据第一识别器412的识别性能的提高，能够有望提高生成与第一样本511匹配的伪样本515的第一生成器411的性能。因此，在本实施方式中，通过上述机器学习，能够构建可以生成包括第一特征的合适的伪样本的完成训练的第一生成器411。需要说明的是，第一训练步骤及第二训练步骤的处理顺序可以是任意的。
[0165]
该机器学习结束之后，保存处理部119生成表示构建的完成训练的第一生成器411的结构及运算参数的信息作为第一学习结果数据121。接着，保存处理部119将生成的第一学习结果数据121保存于规定的存储区域。需要说明的是，作为第一学习结果数据121的内容，只要可以再生完成训练的第一生成器411，则可以不限定于这样的例子。例如，在各装置间使第一生成器411的结构相同的情况下，第一学习结果数据121中可以省略表示第一生成器411的结构的信息。另外，第一学习结果数据121中可以还包括表示构建的完成训练的第一识别器412的结构及运算参数的信息。
[0166]
(第二学习模型的机器学习)
[0167]
图7b示意性示例本实施方式的第二学习模型42的机器学习的过程的一例。作为第二学习模型42的构成，只要可以训练第二生成器421以使其生成包括与输入相应的类别的第二特征的伪样本，则可以不受特别限定，可以根据实施方式适当确定。在本实施方式中，与第一学习模型41相同地，第二学习模型42还包括第二识别器422。第二生成器421及第二识别器422可以由可实施机器学习的任意的机器学习模型构成。
[0168]
在本实施方式中，与上述第一生成器411等相同地，第二生成器421及第二识别器422由用于深层学习的多层结构的神经网络构成。第二生成器421及第二识别器422分别具备输入层(4211、4221)、中间(隐藏)层(4212、4222)、及输出层(4213、4223)。但是，与上述第一生成器411等相同地，第二生成器421及第二识别器422各自的结构也可以不限定于这样的例子，可以根据实施方式适当确定。构成神经网络的各个层的数目可以任意选择。第二生成器421及第二识别器422的结构至少部分可以一致，或者也可以不一致。
[0169]
各层(4211～4213、4221～4223)具备一个或多个神经元(节点)。各层(4211～4213、4221～4223)中所含的神经元(节点)的数目可以不受特别限定，可以根据实施方式适当确定。相邻的层的神经元彼此适当结合。在图7b的例子中，各神经元与相邻的层的全部神经元结合。然而，各神经元的结合关系可以不限定于这样的例子，可以根据实施方式适当设置。为各结合设置有加权值。为各神经元设置有阈值。阈值可以通过激活函数来表达。激活函数的种类可以不受特别限定，可以根据实施方式适当选择。各层(4211～4213、4221～4223)中所含的各神经元间的结合的加权值及各神经元的阈值为第二生成器421及第二识别器422各自的运算参数的一例。
[0170]
在本实施方式中，通过机器学习训练第二生成器421是通过交替反复执行训练第二识别器422的第三训练步骤、及训练第二生成器421的第四训练步骤而构成的。在第三训练步骤中，第二训练部116训练第二识别器422，以识别输入第二识别器422的输入样本是由多个第二学习数据集52中的任意一个得到的第二样本521还是通过第二生成器421生成的
伪样本525。换言之，第二识别器422被训练以识别输入的样本是来自多个第二学习数据集52(学习数据)还是来自第二生成器421。需要说明的是，在图7b的例子中，各来源通过与上述图7a相同的方法来表达，但表达各来源的方法可以并不限定于这样的例子，可以根据实施方式适当选择。另一方面，在第四训练步骤中，第二训练部116训练第二生成器421，以生成如降低第二识别器422的识别的性能这样的伪样本525。即，第二学习模型42的机器学习由第二生成器421及第二识别器422之间的对抗学习构成。
[0171]
除所处理的数据不同之外，该第二学习模型42的机器学习的处理可以与上述第一学习模型41的机器学习相同。即，在第三训练步骤中，首先，第二训练部116针对每个第二学习数据集52从规定的概率分布(例如，高斯分布等)中提取噪音520(潜在变量)。接着，第二训练部116将提取的噪音520及第二标签522输入第二生成器421的输入层4211，并执行第二生成器421的运算处理。由此，第二训练部116从第二生成器421的输出层4213获取与由噪音520及第二标签522生成伪样本的结果相对应的输出(即，伪样本525)。
[0172]
接着，第二训练部116将生成的伪样本525及对应的第二标签522输入第二识别器422的输入层4221，并执行第二识别器422的运算处理。由此，第二训练部116从第二识别器422的输出层4223获取与对于输入样本的识别的结果相对应的输出值。在该情境下，由于输入样本为伪样本525，因此，第二识别器422识别为“伪”是正确答案。第二训练部116针对通过第二生成器421生成的各伪样本525计算从输出层4223得到的输出值与该正确答案的误差。
[0173]
另外，第二训练部116将各第二学习数据集52(第二样本521及第二标签522)输入第二识别器422的输入层4221，并执行第二识别器422的运算处理。由此，第二训练部116从第二识别器422的输出层4223获取与对于输入样本的识别的结果相对应的输出值。在该情境下，由于输入样本为第二样本521，因此，第二识别器422识别为“真”是正确答案。第二训练部116针对各第二学习数据集52计算从输出层4223得到的输出值与该正确答案的误差。
[0174]
并且，第二训练部116固定第二生成器421的运算参数的值之后，调节二识别器422的运算参数的值，以减小所算出的误差的和。由此，第二训练部116能够第二识别器422，以获得识别输入第二识别器422的输入样本是由多个第二学习数据集52中的任意一个得到的第二样本521还是通过第二生成器421生成的伪样本525的能力。
[0175]
另一方面，在第四训练步骤中，首先，第二训练部116针对每个第二学习数据集52从规定的概率分布中提取噪音520(潜在变量)。接着，第二训练部116将提取的噪音520及第二标签522输入第二生成器421的输入层4211，并执行第二生成器421的运算处理。由此，第二训练部116从第二生成器421的输出层4213获取与由噪音520及第二标签522生成伪样本的结果相对应的输出(即，伪样本525)。需要说明的是，生成伪样本525的处理可以在第三训练步骤及第四训练步骤中共同执行。即，第三训练步骤中生成的伪样本525也可以用于第四训练步骤。
[0176]
接着，第二训练部116将生成的伪样本525及对应的第二标签522输入第二识别器422的输入层4221，并执行第二识别器422的运算处理。由此，第二训练部116从第二识别器422的输出层4223获取与对于输入样本的识别的结果相对应的输出值。在第二生成器421的训练中，降低第二识别器422的识别性能(即，识别结果是错误的)是正确答案。即，从输出层4223得到的输出值与“真”对应是正确答案。第二训练部116针对各伪样本525计算从输出层
4223得到的输出值与该正确答案的误差。
[0177]
并且，第二训练部116固定第二识别器422的运算参数的值之后，调节第二生成器421的运算参数的值，以减小算出的误差的和。由此，第二训练部116训练第二生成器421，以使其获得生成如降低第二识别器422的识别的性能这样的伪样本525的能力。
[0178]
第二训练部116能够通过交替反复执行上述第三训练步骤及第四训练步骤来逐渐提高第二识别器422及第二生成器421的性能。由此，根据第二识别器422的识别性能的提高，能够有望提高生成与第二样本521匹配的伪样本525的第二生成器421的性能。因此，在本实施方式中，通过上述机器学习，能够构建可以生成包括第二特征的合适的伪样本的完成训练的第二生成器421。需要说明的是，第三训练步骤及第四训练步骤的处理顺序可以是任意的。
[0179]
该机器学习结束之后，保存处理部119生成表示构建的完成训练的第二生成器421的结构及运算参数的信息作为第二学习结果数据122。接着，保存处理部119将生成的第二学习结果数据122保存于规定的存储区域。需要说明的是，作为第二学习结果数据122的内容，只要可以再生完成训练的第二生成器421，则可以不限定于这样的例子。例如，在各装置间使第二生成器421的结构相同的情况下，在第二学习结果数据122中可以省略表示第二生成器421的结构的信息。另外，第二学习结果数据122中可以还包括表示构建的完成训练的第二识别器422的结构及运算参数的信息。
[0180]
(第三学习模型的机器学习)
[0181]
图7c示意性示例本实施方式的第三学习模型43的机器学习的过程的一例。作为第三学习模型43的构成，只要可以训练第三生成器431以使其生成包括与输入相应的类别及程度(反映水平)的第二特征的属性的伪值(伪值)，则可以不受特别限定，可以根据实施方式适当确定。在本实施方式中，与第一学习模型41等相同地，第三学习模型43还包括第三识别器432。第三生成器431及第三识别器432可以由可实施机器学习的任意的机器学习模型构成。
[0182]
在本实施方式中，与上述第一生成器411等相同地，第三生成器431及第三识别器432由用于深层学习的多层结构的神经网络构成。第三生成器431及第三识别器432分别具备输入层(4311、4321)、中间(隐藏)层(4312、4322)、及输出层(4313、4323)。但是，与上述第一生成器411等相同地，第三生成器431及第三识别器432各自的结构也可以不限定于这样的例子，可以根据实施方式适当确定。构成神经网络的各个层的数目可以任意选择。第三生成器431及第三识别器432的结构至少部分可以一致，或者也可以不一致。
[0183]
各层(4311～4313、4321～4323)具备一个或多个神经元(节点)。各层(4311～4313、4321～4323)中所含的神经元(节点)的数目可以不受特别限定，可以根据实施方式适当确定。相邻的层的神经元彼此适当结合。在图7c的例子中，各神经元与相邻的层的全部神经元结合。然而，各神经元的结合关系可以不限定于这样的例子，可以根据实施方式适当设置。为各结合设置有加权值。为各神经元设置有阈值。阈值可以通过激活函数来表达。激活函数的种类则可以不受特别限定，可以根据实施方式适当选择。各层(4311～4313、4321～4323)中所含的各神经元间的结合的加权值及各神经元的阈值为第三生成器431及第三识别器432分别的运算参数的一例。
[0184]
在本实施方式中，通过机器学习训练第三生成器431是通过交替反复执行训练第
三识别器432的第五训练步骤、及训练第三生成器431的第六训练步骤而构成的。在第五训练步骤中，第三训练部117训练第三识别器432，以识别输入第三识别器432的输入值是由多个第三学习数据集53中的任意一个得到的样本值531还是通过第三生成器431生成的伪值535。换言之，第三识别器432被训练以识别输入的输入值是来自多个第三学习数据集53(学习数据)还是来自第三生成器431。需要说明的是，在图7c的例子中，各来源通过与上述图7a等相同的方法来表达，但表达各来源的方法可以并不限定于这样的例子，可以根据实施方式适当选择。另一方面，在第六训练步骤中，第三训练部117训练第三生成器431，以生成如降低第三识别器432的识别的性能这样的第二特征的属性的伪值535。即，第三学习模型43的机器学习由第三生成器431及第三识别器432之间的对抗学习构成。
[0185]
除所处理的数据不同之外，该第三学习模型43的机器学习的处理可以与上述第一学习模型41等的机器学习相同。即，在第五训练步骤中，首先，第三训练部117针对每个第三学习数据集53从规定的概率分布(例如，高斯分布等)中提取噪音530(潜在变量)。接着，第三训练部117将提取的噪音530、对应的反映水平532及对应的第二标签522输入第三生成器431的输入层4311，并执行第三生成器431的运算处理。由此，第三训练部117从第三生成器431的输出层4313获取与由噪音530、反映水平532、及第二标签522生成第二特征的属性的伪值的结果相对应的输出(即，伪值535)。在各第三学习数据集53还具备第一标签512的情况下，第三训练部117可以将对应的第一标签512进一步输入第三生成器431的输入层4311，并执行上述处理。
[0186]
接着，第三训练部117将生成的伪值535、对应的反映水平532及对应的第二标签522输入第三识别器432的输入层4321，并执行第三识别器432的运算处理。由此，第三训练部117从第三识别器432的输出层4323获取与对于输入值的识别的结果相对应的输出值。在该情境下，由于输入值为伪值535，因此，第三识别器432识别为“伪”是正确答案。第三训练部117针对通过第三生成器431生成的各伪值535计算从输出层4323得到的输出值与该正确答案的误差。
[0187]
另外，第三训练部117将各第三学习数据集53(样本值531、反映水平532、及第二标签522)输入第三识别器432的输入层4321，并执行第三识别器432的运算处理。由此，第三训练部117从第三识别器432的输出层4323获取与对于输入值的识别的结果相对应的输出值。在该情境下，由于输入值为样本值531，因此，第三识别器432识别为“真”是正确答案。第三训练部117针对各第三学习数据集53计算从输出层4323得到的输出值与该正确答案的误差。在各第三学习数据集53还具备第一标签512的情况下，第三训练部117可以将对应的第一标签512进一步输入第三识别器432的输入层4321，并执行上述处理。
[0188]
并且，第三训练部117固定第三生成器431的运算参数的值之后，调节第三识别器432的运算参数的值，以减小所算出的误差的和。由此，第三训练部117能够训练第三识别器432，以获得识别输入第三识别器432的输入值是由多个第三学习数据集53中的任意一个得到的样本值531还是通过第三生成器431生成的伪值535的能力。
[0189]
另一方面，在第六训练步骤中，首先，第三训练部117针对每个第三学习数据集53从规定的概率分布中提取噪音530(潜在变量)。接着，第三训练部117将提取的噪音530、对应的反映水平532及对应的第二标签522输入第三生成器431的输入层4311，并执行第三生成器431的运算处理。由此，第三训练部117从第三生成器431的输出层4313获取与由噪音
530、反映水平532、及第二标签522生成第二特征的属性的伪值的结果相对应的输出(即，伪值535)。在各第三学习数据集53还具备第一标签512的情况下，第三训练部117可以将对应的第一标签512进一步输入第三生成器431的输入层4311，并执行上述处理。需要说明的是，生成伪值535的处理可以在第五训练步骤及第六训练步骤共同执行。即，第五训练步骤中生成的伪值535也可以用于第六训练步骤。
[0190]
接着，第三训练部117将生成的伪值535、对应的反映水平532及对应的第二标签522输入第三识别器432的输入层4321，并执行第三识别器432的运算处理。由此，第三训练部117从第三识别器432的输出层4323获取与对于输入值的识别的结果相对应的输出值。在第三生成器431的训练中，降低第三识别器432的识别性能(即，识别结果是错误的)是正确答案。即，从输出层4323得到的输出值与“真”对应是正确答案。第三训练部117针对各伪值535计算从输出层4323得到的输出值与该正确答案的误差。在各第三学习数据集53还具备第一标签512的情况下，第三训练部117可以将对应的第一标签512进一步输入第三识别器432的输入层4321，并执行上述处理。
[0191]
并且，第三训练部117固定第三识别器432的运算参数的值之后，调节第三生成器431的运算参数的值，以减小所算出的误差的和。由此，第三训练部117能够训练第三生成器431，以使其获得生成如降低第三识别器432的识别的性能这样的伪值535的能力。
[0192]
第三训练部117能够通过交替反复执行上述第五训练步骤及第六训练步骤来逐渐交替提升第三识别器432及第三生成器431的性能。由此，根据第三识别器432的识别性能的提高，能够有望提高生成与样本值531匹配的伪值535的第三生成器431的性能。因此，在本实施方式中，通过上述机器学习，根据与反映水平532及第二标签522分别对应的输入值及噪音，能够构建可以生成第二特征的属性的合适的伪值的完成训练的第三生成器431。在上述各训练步骤中进一步输入了第一标签512的情况下，根据与反映水平532、第二标签522及第一标签512分别对应的输入值及噪音，能够构建可以生成第二特征的属性的合适的伪值的完成训练的第三生成器431。需要说明的是，第五训练步骤及第六训练步骤的处理顺序是任意的。
[0193]
该机器学习结束之后，保存处理部119生成表示构建的完成训练的第三生成器431的结构及运算参数的信息作为第三学习结果数据123。接着，保存处理部119将生成的第三学习结果数据123保存于规定的存储区域。需要说明的是，作为第三学习结果数据123的内容，只要可以再生完成训练的第三生成器431，则可以不限定于这样的例子。例如，在各装置间使第三生成器431的结构相同的情况下，第三学习结果数据123中可以省略表示第三生成器431的结构的信息。另外，第三学习结果数据123中可以还包括表示构建的完成训练的第三识别器432的结构及运算参数的信息。
[0194]
(推测器的机器学习)
[0195]
图7d示意性示例本实施方式的推测器44的机器学习的过程的一例。推测器44可以由可实施机器学习的任意的机器学习模型构成。在本实施方式中，与上述第一生成器411等相同地，推测器44由用于深层学习的多层结构的神经网络构成。推测器44具备输入层441、中间(隐藏)层442、及输出层443。但是，与上述第一生成器411等相同地，推测器44的结构可以不限定于这样的例子，可以根据实施方式适当确定。构成推测器44的神经网络的层的数目可以任意选择。
[0196]
各层441～443具备一个或多个神经元(节点)。各层441～443中所含的神经元(节点)的数目可以不受特别限定，可以根据实施方式适当确定。相邻的层的神经元彼此适当结合。在图7d的例子中，各神经元与相邻的层的全部神经元结合。然而，各神经元的结合关系可以不限定于这样的例子，可以根据实施方式适当设置。为各结合设置有加权值。为各神经元设置有阈值。阈值可以通过激活函数来表达。激活函数的种类可以不受特别限定，可以根据实施方式适当选择。各层441～443中所含的各神经元间的结合的加权值及各神经元的阈值为推测器44的运算参数的一例。
[0197]
推测器44被通过机器学习进行训练，以推测在由通过完成训练的第一生成器411生成的伪样本来生成其伪样本时提供给完成训练的第一生成器411的输入。用于该机器学习的各第四学习数据集54可以通过利用完成训练的第一生成器411来适当生成。作为一例，适当确定提供给完成训练的第一生成器411的输入的样本值541。样本值541可以通过操作者的输入手动确定，或者也可以通过随机等方法自动确定。样本值541与表示第一特征的类别的第一标签512对应。对应于样本值541，从规定的概率分布(例如，高斯分布等)中提取噪音540(潜在变量)。确定样本值541的处理及提取噪音540的处理的顺序可以是任意的。将提取的噪音540及样本值541输入完成训练的第一生成器411的输入层4111，并执行完成训练的第一生成器411的运算处理。由此，能够从完成训练的第一生成器411的输出层4113获取与由噪音540及样本值541生成伪样本的结果相对应的输出(即，伪样本542)。将生成的伪样本542与对应的噪音540及样本值541相关联。由此，能够生成各第四学习数据集54。
[0198]
在本实施方式中，第四训练部118使用多个第四学习数据集54，实施由上述神经网络构成的推测器44的机器学习。在该推测器44的机器学习中，第四训练部118将各第四学习数据集54中的伪样本542用作训练数据(输入数据)，将噪音540及样本值541用作正确答案数据(教师信号)。
[0199]
具体而言，第四训练部118向推测器44的输入层441输入伪样本542，并执行推测器44的运算处理。由此，第四训练部118从推测器44的输出层443获取与由伪样本542推测生成伪样本542时提供给完成训练的第一生成器411的输入而得到的结果相对应的输出值。得到的输出值中包括与提供给完成训练的第一生成器411的噪音对应的第一推测值及与样本值对应的第二推测值。第四训练部118针对各第四学习数据集54计算各推测值与噪音540及样本值541各自的误差。
[0200]
并且，第四训练部118调节推测器44的运算参数的值，以减小所算出的误差的和。由此，第四训练部118能够构建完成训练的推测器44，该推测器44获得了由通过完成训练的第一生成器411生成的伪样本542来推测生成该伪样本542时提供给完成训练的第一生成器411的输入(噪音540及样本值541)的能力。
[0201]
该机器学习结束之后，保存处理部119生成表示构建的完成训练的推测器44的结构及运算参数的信息作为第四学习结果数据124。接着，保存处理部119将生成的第四学习结果数据124保存于规定的存储区域。需要说明的是，作为第四学习结果数据124的内容，只要可以再生完成训练的推测器44，则可以不限定于这样的例子。例如，在各装置间使推测器44的结构相同的情况下，第四学习结果数据124中可以省略表示推测器44的结构的信息。
[0202]
(第二样本的生成)
[0203]
图7e示意性示例本实施方式的第二样本521的生成过程的一例。在本实施方式中，
通过利用通过上述机器学习生成的完成训练的第一生成器411及推测器44，能够生成各第二学习数据集52的第二样本521。
[0204]
具体而言，第二获取部112获取分别包括第一特征及第二特征的多个第三样本551，其中，第三样本551是规定种类的数据的多个第三样本551。接着，第二获取部112通过向完成训练的推测器44提供各第三样本551来推测为了生成与各第三样本551对应的伪样本而提供给完成训练的第一生成器411的输入的各推测值。如果通过完成训练的第一生成器411生成与各第三样本551对应的伪样本，则得到的推测值(第一推测值及第二推测值)与会提供给完成训练的第一生成器411的输入(噪音及输入值)对应。
[0205]
接着，第二获取部112通过将推测出的推测值(第一推测值及第二推测值)提供给完成训练的第一生成器411来为每个第三样本551生成伪样本555。伪样本555为本发明的“第三伪样本”的一例。并且，第二获取部112通过求取各第三样本551与伪样本555的差量来生成各第二学习数据集52的第二样本521。
[0206]
完成训练的第一生成器411虽然通过上述机器学习获得了生成包括第一特征的伪样本的能力，但未获得生成包括第二特征的伪样本的能力。因此，基本上，在得到的伪样本555中，重现第一特征，但不重现第二特征。由此，通过求取上述第三样本551与伪样本555的差量的处理，能够适当地生成可以用作第二样本521的、不包括第一特征，且包括第二特征的样本。
[0207]
《数据生成装置》
[0208]
图8示意性示例本实施方式的数据生成装置2的软件配置的一例。数据生成装置2的控制部21将存储于存储部22的数据生成程序82展开至ram。接着，控制部21通过cpu解释及执行展开至ram的数据生成程序82中所含的指令，以控制各构件。由此，如图8所示，本实施方式的数据生成装置2作为计算机进行动作，该计算具备接受部211、第一生成部212、第二生成部213、及数据合成部214作为软件模块。即，在本实施方式中，与学习装置1相同地，数据生成装置2的各软件模块也通过控制部11(cpu)实现。
[0209]
接受部211接受第一输入值221及第二输入值223的指定。第一输入值221与表示第一特征的类别的第一标签512对应，第二输入值223与表示第二特征的类别的第二标签522对应。
[0210]
第一生成部212通过保持第一学习结果数据121而具备完成训练的第一生成器411。第一生成部212从规定的概率分布(例如，高斯分布等)中提取噪音220(潜在变量)。第一生成部212通过将提取的噪音220及第一输入值221提供给完成训练的第一生成器411来生成包括第一特征的第一伪样本61。
[0211]
第二生成部213通过保持第二学习结果数据122而具备完成训练的第二生成器421。第二生成部213从规定的概率分布(例如，高斯分布等)中提取噪音222(潜在变量)。第二生成部213通过将提取的噪音222及第二输入值223提供给完成训练的第二生成器421来生成包括第二特征的第二伪样本62。
[0212]
数据合成部214通过合成生成的第一伪样本61及生成的第二伪样本62来生成规定种类的数据的新样本65。合成第一伪样本61及第二伪样本62的方法可以不受特别限定，可以根据实施方式适当确定。在本实施方式中，数据合成部214通过保持第三学习结果数据123而具备用于根据反映第二特征的程度来生成第二特征的属性值的完成训练的第三生成
器431。因此，能够一边调节反映第二特征的程度，一边合成第一伪样本61及第二伪样本62。
[0213]
具体而言，接受部211接受与表示反映第二特征的程度的反映水平532相对应的第三输入值225的指定。第三输入值225可以根据第二分量的检测的极限而被提供。数据合成部214从规定的概率分布(例如，高斯分布等)中提取噪音224。数据合成部214通过将提取的噪音224、第二输入值223及第三输入值225提供给完成训练的第三生成器431来生成第二特征的属性的伪值63。需要说明的是，在上述第三学习模型43的机器学习中进一步使用第一标签512的情况下，第三生成器431配置为可以进一步输入与第一标签512对应的输入值。在该情况下，数据合成部214通过将提取的噪音224、第一输入值221、第二输入值223及第三输入值225提供给完成训练的第三生成器431来生成第二特征的属性的伪值63。
[0214]
并且，数据合成部214转换第二伪样本62以使第二伪样本62中所含的第二特征的属性的值与生成的伪值63匹配，并且向第一伪样本61合成第二伪样本62。转换及合成的具体的处理内容分别可以根据数据的种类适当确定。由此，本实施方式的数据合成部214生成规定种类的数据的新样本65。
[0215]
《推测装置》
[0216]
图9示意性示例本实施方式的推测装置3的软件配置的一例。推测装置3的控制部31将存储于存储部32的推测程序83展开至ram。接着，控制部31通过cpu解释及执行展开至ram的推测程序83中所含的指令，以控制各构件。由此，如图9所示，本实施方式的推测装置3作为计算机进行动作，该计算机具备获取部311、推测部312、输出部313、及设置部314作为软件模块。即，在本实施方式中，与学习装置1等相同地，推测装置3的各软件模块也通过控制部11(cpu)实现。
[0217]
获取部311获取对象样本325，对象样本325作为执行针对第二特征的规定的推测处理的对象。推测部312对获取的对象样本325执行规定的推测处理。在本实施方式中，推测部312通过保持第一/第四学习结果数据(121、124)而具备完成训练的第一生成器411及推测器44。推测部312利用完成训练的第一生成器411及推测器44针对对象样本325执行检测第二分量的(换言之，判定是否存在第二特征)处理。
[0218]
具体而言，推测部312通过向完成训练的推测器44提供对象样本325来推测为了生成与对象样本325对应的伪样本而提供给完成训练的第一生成器411的输入的各推测值。如果通过完成训练的第一生成器411生成与对象样本325对应的伪样本，则得到的推测值(第一推测值及第二推测值)与会提供给完成训练的第一生成器411的输入(噪音及输入值)对应。推测部312通过将推测出的各推测值提供给完成训练的第一生成器411来生成伪样本326。并且，推测部312通过求取对象样本325与伪样本326的差量来生成差量样本327。推测部312利用差量样本327检测第二分量。
[0219]
如上所述，完成训练的第一生成器411虽然获得了生成包括第一特征的伪样本的能力，但未获得生成包括第二特征的伪样本的能力。因此，即使在对象样本325中表现出第一特征及第二特征两者的情况下，基本上，在得到的伪样本326中，重现第一特征，不重现第二特征。由此，在对象样本325中包括第二分量的(即，表现出第二特征)情况下，差量样本327中也包括第二分量。另一方面，在对象样本325中不包括第二分量的(即，未表现出第二特征)情况下，差量样本327中也不包括第二分量。因此，推测部312能够基于差量样本327中包括第二分量的程度来检测第二分量。
[0220]
输出部313输出与推测部312的推测的结果(在本实施方式中为上述第二分量的检测结果)相关的信息。设置部314基于数据组320中所含的样本321来设置上述推测处理中的参数的值。表现出第一特征及第二特征的样本可以用作数据组320的样本321。数据组320中所含的样本321的至少一部分可以为通过上述数据生成装置2生成的样本65。
[0221]
《其它》
[0222]
关于学习装置1、数据生成装置2及推测装置3的各软件模块，将在后述的动作例中详细说明。需要说明的是，在本实施方式中，对学习装置1、数据生成装置2及推测装置3的各软件模块均通过通用cpu实现的例子进行了说明。然而，以上的软件模块的一部分或全部也可以通过一个或多个专用的处理器来实现。另外，关于学习装置1、数据生成装置2及推测装置3各自的软件配置，可以根据实施方式，适当地省略、取代及添加软件模块。
[0223]
§
3动作例
[0224]
[学习装置]
[0225]
(a)第一学习模型的机器学习
[0226]
图10a是示出与由本实施方式的学习装置1进行的第一学习模型41的机器学习相关的处理流程的一例的流程图。需要说明的是，以下所说明的处理流程仅为一例，只要允许，各步骤则可以进行变更。并且，关于以下说明的各处理流程，可以根据实施方式，适当地省略、取代及添加步骤。
[0227]
(步骤s101)
[0228]
步骤s101中，控制部11作为第一获取部111进行动作，以获取多个第一学习数据集51。各第一学习数据集51由包括第一特征的第一样本511及表示第一特征的类别的第一标签512的组合构成。
[0229]
生成各第一学习数据集51的方法可以不受特别限定，可以根据实施方式适当选择。例如，在真实空间或虚拟空间中获取表现出第一特征的样本。样本的获取方法可以根据第一特征及数据的种类适当确定。作为一例，在规定种类的数据为传感数据的情况下，在不表现第二特征，且表现第一特征的状况下通过传感器观测对象，由此，能够获得不表现第二特征，且表现第一特征的样本。在上述图2a的例子中，通过利用相机拍摄没有缺陷的产品p1，能够获得包括产品p1的背景p11所呈现于的样本。在上述图2b的例子中，通过利用麦克粉录制没有异常的机器的运行声音，能够获取包括环境声音p21的样本。或者，通过在虚拟空间上模拟或数据加工这样的环境，能够获取表现出第一特征的样本。接着，识别获取的样本中表现出的第一特征的类别，将表示识别出的结果的信息作为标签与样本相关联。第一特征的类别的识别可以由用户等操作者来进行。或者，第一特征的类别的识别中使用识别器。识别器可以配置为通过图像解析、声音解析等公知的信息处理识别第一特征的类别，或者也可以由机器学习模型构成，该机器学习模型被训练以从对象的样本中识别第一特征的类别。接着，将表示第一特征的类别的识别结果的信息作为标签与样本相关联。由此，能够生成各第一学习数据集51。
[0230]
各第一学习数据集51可以通过计算机的动作自动生成，也可以通过至少部分包括操作者的操作来手动生成。另外，各第一学习数据集51的生成可以通过学习装置1来进行，也可以通过学习装置1以外的其它计算机来进行。在学习装置1生成各第一学习数据集51的情况下，控制部11自动执行上述一系列的生成处理，或通过操作者利用输入装置15进行操
作来手动执行上述一系列的生成处理，由此获得多个第一学习数据集51。另一方面，在其它计算机生成各第一学习数据集51的情况下，控制部11经由例如网络、存储介质91等获取通过其它计算机生成的多个第一学习数据集51。一部分第一学习数据集51可以通过学习装置1生成，其它第一学习数据集51可以通过一个或多个其它计算机生成。
[0231]
获取的第一学习数据集51的件数可以不受特别限定，可以根据实施方式适当选择。获取多个第一学习数据集51之后，控制部11进入下一步骤s102进行处理。
[0232]
(步骤s102)
[0233]
步骤s102中，控制部11作为第一训练部115进行动作，使用获取的多个第一学习数据集51，实施包括第一生成器411的第一学习模型41的机器学习。在第一学习模型41的机器学习中，控制部11针对各第一学习数据集51训练第一生成器411，以使其获得由第一标签512生成与第一样本511匹配的伪样本的能力。只要可以这样进行训练，则第一学习模型41的构成及机器学习的方法分别可以不受特别限定，可以根据实施方式适当选择。在本实施方式中，第一学习模型41还包括第一识别器412，因此，第一学习模型41的机器学习能够通过以下的方法来实施。
[0234]
图10b是示出本实施方式的第一学习模型41中与步骤s102的机器学习相关的子程序的处理流程的一例的流程图。本实施方式的步骤s102的处理包括以下的步骤s1021～步骤s1023的处理。但是，以下说明的处理流程仅为一例，只要允许，各处理则可以进行变更。另外，关于以下说明的处理流程，可以根据实施方式，适当地省略、取代及添加步骤。
[0235]
需要说明的是，可以适当准备构成作为机器学习的处理对象的第一生成器411及第一识别器412的机器学习模型。准备的第一生成器411及第一识别器412各自的结构(例如，层的数目、各层中所含的神经元的数目、相邻的层的神经元彼此的结合关系等)、各神经元间的结合的加权值的初始值、及各神经元的阈值的初始值可以由模板提供，也可以通过操作者的输入来提供。另外，在进行重新学习的情况下，控制部11可以基于通过进行过去的机器学习所得到的学习结果数据来分别准备第一生成器411及第一识别器412分别。
[0236]
(步骤s1021)
[0237]
步骤s1021中，控制部11使用第一学习数据集51及通过第一生成器411生成的伪样本515训练第一识别器412，以识别输入样本的来源。在该机器学习的训练处理中，可以使用近似梯度下降法、小批量梯度下降法等。关于后述的步骤s1022等其它机器学习的处理，也是相同的。
[0238]
作为一例，首先，控制部11针对各第一学习数据集51，将从规定的概率分布中提取的噪音510及第一标签512提供给第一生成器411，并执行第一生成器411的运算处理。即，控制部11将噪音510及第一标签512输入第一生成器411的输入层4111，从输入侧起依次对各层4111～4113中所含的各神经元进行放电判定(即，进行前向传播计算)。通过该计算处理，控制部11针对各第一学习数据集51从输出层4113获取与由噪音510及第一标签512生成的伪样本515相对应的输出值。
[0239]
接着，控制部11将生成的伪样本515及对应的第一标签512输入第一识别器412的输入层4121，从输入侧起依次对各层4121～4123中所含的各神经元进行放电判定。由此，控制部11从第一识别器412的输出层4123获取与输入样本的来源的识别结果相对应的输出值。在该情境下，由于输入的输入样本为伪样本515，因此，第一识别器412被识别为“伪”是
正确答案。控制部11针对各伪样本515计算从输出层4123得到的输出值与该正确答案的误差。
[0240]
另外，控制部11将各第一学习数据集51(第一样本511及第一标签512)输入第一识别器412的输入层4121，从输入侧起依次进行各层4121～4123中所含的各神经元的放电判定。由此，控制部11从第一识别器412的输出层4123获取与输入样本的来源的识别结果相对应的输出值。在该情境下，由于输入的输入样本为第一样本511，因此，第一识别器412被识别为“真”是正确答案。控制部11针对各伪样本515计算从输出层4123得到的输出值与该正确答案的误差。
[0241]
计算各误差(损失)时可以使用损失函数。损失函数是评价机器学习模型的输出与正确答案的差量(即，差异的程度)的函数，从输出层4123得到的输出值与该正确答案的差量值越大，通过损失函数算出的误差的值越大。误差的计算所利用的损失函数的种类可以不受特别限定，可以根据实施方式适当选择。
[0242]
控制部11通过误差反向传播(back propagation)法，使用算出的输出值的误差的梯度来计算第一识别器412的各运算参数(各神经元间的结合的加权值、各神经元的阈值等)的值的误差。控制部11基于算出的各误差更新第一识别器412的各运算参数的值。更新各运算参数的值的程度可以通过学习率来调节。学习率可以通过操作者指定来提供，也可以作为程序内的设置值来提供。
[0243]
控制部11固定第一生成器411的各运算参数的值之后，通过上述一系列的更新处理调节第一识别器412的各运算参数的值，以减小所算出的误差的和。例如，控制部11可以通过上述一系列的处理反复调节第一识别器412的各运算参数的值，直至满足执行规定次数、算出的误差的和在阈值以下等规定的条件。由此，控制部11能够构建第一识别器412，第一识别器412被训练以识别输入的输入样本是从多个第一学习数据集51中的任意一个得到的第一样本511还是通过第一生成器411生成的伪样本515。该第一识别器412的训练处理完成之后，控制部11进入下一步骤s1022进行处理。
[0244]
(步骤s1022)
[0245]
步骤s1022中，控制部11训练第一生成器411，以生成如降低第一识别器412的识别性能这样的伪样本515。换言之，控制部11训练第一生成器411，以生成如第一识别器412识别为“真”(即，识别为来自学习数据)这样的伪样本515。
[0246]
作为一例，首先，与上述步骤s1021相同地，控制部11针对各第一学习数据集51，通过将从规定的概率分布中提取的噪音510及第一标签512提供给第一生成器411来生成伪样本515。在本步骤s1022中也利用上述步骤s1021中生成的伪样本515的情况下，控制部11可以在本步骤s1022中省略生成伪样本515的一系列的处理。
[0247]
接着，控制部11将生成的伪样本515及对应的第一标签512输入第一识别器412的输入层4121，从输入侧起依次进行各层4121～4123中所含的各神经元的放电判定。由此，控制部11从第一识别器412的输出层4123获取与输入样本的来源的识别结果相对应的输出值。在该情境下，第一识别器412错误识别输入样本为“真”(即，来自学习数据)是正确答案。控制部11针对各伪样本515，计算从输出层4123得到的输出值与该正确答案的误差。与上述相同地，该误差的计算可以使用损失函数。
[0248]
控制部11通过误差反向传播法将算出的输出值的误差的梯度经由第一识别器412
反向传播给第一生成器411的各运算参数，并计算第一生成器411的各运算参数的值的误差。控制部11基于算出的各误差更新第一生成器411的各运算参数的值。与上述相同地，更新各运算参数的值的程度可以通过学习率来调节。
[0249]
控制部11固定第一识别器412的各运算参数的值之后，通过上述一系列的更新处理调节第一生成器411的各运算参数的值，以减小所算出的误差的和。与上述第一识别器412的训练相同地，控制部11可以反复通过上述一系列的处理调节第一生成器411的各运算参数的值，直至满足规定的条件。由此，控制部11能够构建第一生成器411，第一生成器411被训练以生成如降低第一识别器412的识别性能这样的伪样本515。该第一生成器411的训练处理完成后，控制部11进行下一步骤s1023进行处理。
[0250]
(步骤s1023)
[0251]
步骤s1023中，控制部11判定是否反复进行步骤s1021及步骤s1022的处理。反复进行处理的标准可以根据实施方式适当确定。例如，可以设置反复进行处理的规定次数。规定次数例如可以通过操作者指定来提供，也可以作为程序内的设置值来提供。在该情况下，控制部11判定已执行步骤s1021及步骤s1022的处理的次数是否到达规定次数。在判定执行次数未到达规定次数的情况下，控制部11返回步骤s1021的处理，并在此执行步骤s1021及步骤s1022的处理。另一方面，在判定执行次数未到达规定次数的情况下，控制部11完成第一学习模型41的机器学习的处理，并进入下一步骤s103进行处理。
[0252]
由此，控制部11交替反复执行第一识别器412的训练步骤及第一生成器411的训练步骤。由此，能够交替逐渐提升第一识别器412及第一生成器411的性能。其结果，能够针对各第一学习数据集51构建完成训练的第一生成器411，该第一生成器411获得了由第一标签512生成与第一样本511匹配的伪样本(即，包括与输入值相对应的类别的第一特征的伪样本)的能力。
[0253]
(步骤s103)
[0254]
返回图10a，步骤s103中，控制部11作为保存处理部119进行动作，生成与通过机器学习构建的完成训练的第一生成器411相关的信息作为第一学习结果数据121。接着，控制部11将生成的第一学习结果数据121保存于规定的存储区域。
[0255]
规定的存储区域可以例如为控制部11内的ram、存储部12、外部存储装置、存储介质或它们的组合。存储介质可以例如为cd、dvd等，控制部11可以经由驱动器17向存储介质中存储第一学习结果数据121。外部存储装置可以例如为nas(network attached storage)等数据服务器。在该情况下，控制部11可以利用通信接口13并经由网络向数据服务器中存储第一学习结果数据121。另外，外部存储装置可以为经由例如外部接口14而与学习装置1连接的外接存储装置。
[0256]
由此，第一学习结果数据121保存完成后，控制部11结束与第一学习模型41的机器学习相爱难改观的一系列的处理。
[0257]
需要说明的是，生成的第一学习结果数据121可以在任意的时间点提供给数据生成装置2及推测装置3。例如，控制部11可以作为步骤s103的处理或与步骤s103的处理分开分别向数据生成装置2及推测装置3转发第一学习结果数据121。数据生成装置2及推测装置3分别可以通过接收该转发来获取第一学习结果数据121。另外，例如，数据生成装置2及推测装置3分别可以通过利用通信接口(23、33)并经由网络访问学习装置1或数据服务器来获
取第一学习结果数据121。另外，例如，数据生成装置2及推测装置3分别可以经由向存储介质(92、93)来获取第一学习结果数据121。另外，例如，第一学习结果数据121可以分别预先并入数据生成装置2及推测装置3。
[0258]
并且，控制部11可以通过定期或不定期地反复进行上述步骤s101～步骤s103的处理可以更新或者重新生成第一学习结果数据121。反复进行时，对多个第一学习数据集51中的至少一部适当地执行变更、修改、添加、削除等。并且，控制部11可以通过利用任意的方法将更新或重新生成的第一学习结果数据121分别提供给数据生成装置2及推测装置3来更新数据生成装置2及推测装置3分别所保持的第一学习结果数据121。
[0259]
(b)第二学习模型的机器学习
[0260]
图11a是示出与由本实施方式的学习装置1进行的第二学习模型42的机器学习相关的处理流程的一例的流程图。需要说明的是，以下说明的处理流程仅为一例，只要允许，各步骤则可以进行变更。并且，针对以下说明的各处理流程，根据实施方式，可以适当地省略、取代及添加步骤。
[0261]
(步骤s111)
[0262]
步骤s111中，控制部11作为第二获取部112进行动作，获取多个第二学习数据集52。各第二学习数据集52由与包括第一特征不同的第二特征的第二样本521及表示第二特征的类别的第二标签522的组合构成。
[0263]
各第二学习数据集52的生成方法及获取方法分别可以与上述第一学习数据集51相同。但是，如上述图2a及图2b的例子那样，在难以单独出现的特征被选作第二特征的情况下，可能难以获得仅包括第二特征的样本。在该情况下，可以通过包括第一特征及第二特征的样本并适当地加工所获取的样本来生成仅包括第二特征的样本。在本实施方式中，能够通过利用完成训练的第一生成器411及推测器44来生成第二样本521。信息处理的详细内容将在后文叙述。
[0264]
获取的第二学习数据集52的件数可以不受特别限定，可以根据实施方式适当选择。获取多个第二学习数据集52之后，控制部11进入下一步骤s112进行处理。
[0265]
(步骤s112)
[0266]
步骤s112中，控制部11作为第二训练部116进行动作，使用获取的多个第二学习数据集52实施包括第二生成器421的第二学习模型42的机器学习。在第二学习模型42的机器学习中，控制部11针对各第二学习数据集52训练第二生成器421以使其获得由第二标签522生成与第二样本521匹配的伪样本的能力。只要可以这样进行训练，则第二学习模型42的构成及机器学习的方法分别可以不受特别限定，可以根据实施方式适当选择。在本实施方式中，第二学习模型42还包括第二识别器422，因此，第二学习模型42的机器学习能够通过以下的方法来实施。
[0267]
图11b是示出本实施方式的第二学习模型42中与步骤s112的机器学习相关的子程序的处理流程的一例的流程图。本实施方式的步骤s112的处理包括以下的步骤s1121～步骤s1123的处理。但是，以下所说明的处理流程仅为一例，只要允许，各处理则可以进行变更。另外，关于以下说明的处理流程，根据实施方式，可以适当地省略、取代及添加步骤。需要说明的是，与上述第一学习模型41相同地，可以适当准备构成作为机器学习的处理对象的第二生成器421及第二识别器422的机器学习模型。
[0268]
(步骤s1121)
[0269]
步骤s1121中，控制部11使用通过第二学习数据集52及第二生成器421生成的伪样本525来训练第二识别器422以使其识别输入样本的来源。
[0270]
除替换学习数据这一点之外，步骤s1121的处理可以与上述步骤s1021相同。即，控制部11针对各第二学习数据集52，通过将从规定的概率分布中提取的噪音520及第二标签522提供给第二生成器421来生成伪样本525。控制部11将生成的伪样本525及对应的第二标签522提供给第二识别器422，获取与输入样本的来源的识别结果相对应的输出值，并计算获取的输出值与正确答案的误差。另外，控制部11将各第二学习数据集52(第二样本521及第二标签522)提供给第二识别器422，获取与输入样本的来源的识别结果相对应的输出值，并计算获取的输出值与正确答案的误差。控制部11通过误差反向传播法，使用算出的输出值的误差的梯度来计算第二识别器422的各运算参数的值的误差。控制部11基于算出的各误差来更新第二识别器422的各运算参数的值。控制部11固定第二生成器421的各运算参数的值之后，通过上述一系列的更新处理调节第二识别器422的各运算参数的值，以减小所算出的误差的和。与上述步骤s1021等相同地，控制部11可以反复通过上述一系列的处理来调节第二识别器422的各运算参数的值，直至满足规定的条件。
[0271]
由此，控制部11能够构建第二识别器422，第二识别器422被训练以识别输入的输入样本是由多个第二学习数据集52中的任意一个得到的第二样本521还是通过第二生成器421生成的伪样本525。该第二识别器422的训练处理完成后，控制部11进入下一步骤s1122进行处理。
[0272]
(步骤s1122)
[0273]
步骤s1122中，控制部11训练第二生成器421以使其生成如降低第二识别器422的识别性能这样的伪样本525。换言之，控制部11训练第二生成器421，由使其生成如第二识别器422识别为“真”(即，识别为来自学习数据)这样的伪样本525。
[0274]
除替换学习数据这一点之外，步骤s1122的处理可以与上述步骤s1022相同。即，控制部11将生成的伪样本525及对应的第二标签522提供给第二识别器422，获取与输入样本的来源的识别结果相对应的输出值，并计算获取的输出值与正确答案(识别为来自学习数据)的误差。控制部11通过误差反向传播法经由第二识别器422将算出的输出值的误差的梯度反向传播至第二生成器421的各运算参数，计算第二生成器421的各运算参数的值的误差。控制部11基于算出的各误差来更新第二生成器421的各运算参数的值。控制部11固定第二识别器422的各运算参数的值之后，通过上述一系列的更新处理调节第二生成器421的各运算参数的值，以减小所算出的误差的和。与上述步骤s1021等相同地，控制部11反复通过上述一系列的处理来调节第二生成器421的各运算参数的值，直至满足规定的条件。
[0275]
由此，控制部11能够构建第二生成器421，第二生成器421被训练以生成如降低第二识别器422的识别性能这样的伪样本525。该第二生成器421的训练处理完成后，控制部11进入下一步骤s1123进行处理。
[0276]
(步骤s1123)
[0277]
步骤s1123中，控制部11判定是否反复进行步骤s1121及步骤s1122的处理。与上述步骤s1023相同地，反复进行处理的标准可以根据实施方式适当确定。在判定为反复进行处理的情况下，控制部11反复步骤s1121进行处理，再次执行步骤s1121及步骤s1122的处理。
另一方面，在判定为不反复进行处理的情况下，控制部11完成第二学习模型42的机器学习的处理，并进入下一步骤s113进行处理。
[0278]
由此，控制部11交替反复执行第二识别器422的训练步骤及第二生成器421的训练步骤。由此，能够逐渐交替提升第二识别器422及第二生成器421的性能。其结果，能够针对各第二学习数据集52构成完成训练的第二生成器421，第二生成器421获得了由第二标签522生成与第二样本521匹配的伪样本(即，包括与输入值相对应的类别的第二特征的伪样本)的能力。
[0279]
(步骤s113)
[0280]
返回图11a，步骤s113中，控制部11作为保存处理部119进行动作，生成与通过机器学习构建的完成训练的第二生成器421相关的信息作为第二学习结果数据122。接着，控制部11将生成的第二学习结果数据122保存于规定的存储区域。规定的存储区域可以例如为控制部11内的ram、存储部12、外部存储装置、存储介质或它们的组合。
[0281]
由此，第二学习结果数据122保存完成后，控制部11结束与第二学习模型42的机器学习相关的一系列的处理。需要说明的是，与上述第一学习结果数据121相同地，生成的第二学习结果数据122可以在任意的时间点提供给数据生成装置2。另外，可以定期或不定期地反复进行上述步骤s111～步骤s113的处理。并且，通过利用任意的方法将更新或新生成的第二学习结果数据122提供给数据生成装置2，可以根据数据生成装置2所保持的第二学习结果数据122。
[0282]
(c)第三学习模型43的机器学习
[0283]
图12a是示出与由本实施方式的学习装置1进行的第三学习模型43的机器学习相关的处理流程的一例的流程图。需要说明的是，以下说明的处理流程仅为一例，只要允许，各步骤则可以进行变更。并且，针对以下说明的各处理流程，根据实施方式，可以适当地省略、取代及添加步骤。
[0284]
(步骤s121)
[0285]
步骤s121中，控制部11作为第三获取部113进行动作，获取多个第三学习数据集53。各第三学习数据集53由第二特征的属性的样本值531、表示反映第二特征的程度的反映水平532、及第二标签522的组合构成。各第三学习数据集53中可以还包括第一标签512。
[0286]
各第三学习数据集53的生成方法及获取方法分别可以与上述第一学习数据集51等相同。第二标签522可以与第二学习数据集52相同，也可以与第二学习数据集52分开重新生成。关于第一标签512，也是相同的。需要说明的是，在由包括第一特征及第二特征的样本生成了仅包括第二特征的样本的情况下，表示原样本中所包括的第一特征的类别的信息可以与对应的第二标签522一同作为第一标签512包括在第三学习数据集53中。
[0287]
可以适当提供样本值531及反映水平532。样本值531及反映水平532可以根据包括第二特征的样本决定，也可以由操作者指定。反映水平532可以依据评价第二特征的属性的指标根据属性的样本值531来决定。指标可以适当提供。作为具体例，在上述图2a的例子中，在对应于缺陷的大小而提供属性的样本值531的情况下，指标可以配置为根据缺陷的大小来确定反映水平532。或者，反映水平532可以与表现出第二特征的事件相关联而设置。作为具体例，在上述图2a的例子中，反映水平532可以与缺陷的严重程度、产品的质量水平等缺陷的程度相关联地设置。另外，在上述图2b的例子中，反映水平532可以与异常的严重程度、
机器的正常度等异常的程度相关联而设置。另外，反映水平532可以由离散值及连续值中的任意一种构成。但是，从丰富反映第二特征的程度的表达的观点出发，反映水平532优选由连续值构成。
[0288]
获取的第三学习数据集53的件数可以不受特别限定，可以根据实施方式适当选择。获取多个第三学习数据集53之后，控制部11进入下一步骤s122进行处理。
[0289]
(步骤s122)
[0290]
步骤s122中，控制部11作为第三训练部117进行动作，使用获取的多个第三学习数据集53，实施包括第三生成器431的第三学习模型43的机器学习。在第三学习模型43的机器学习中，控制部11针对各第三学习数据集53训练第三生成器431，以使其获得由反映水平532及第二标签522生成与样本值531匹配的第二特征的属性的伪值的能力。只要可以这样进行训练，则第三学习模型43的构成及机器学习的方法分别可以不受特别限定，可以根据实施方式适当选择。在本实施方式中，第三学习模型43可以还包括第三识别器432，因此，第三学习模型43的机器学习能够通过以下的方法来实施。
[0291]
图12b是示出本实施方式的第三学习模型43中与步骤s122的机器学习相关的子程序的处理流程的一例的流程图。本实施方式的步骤s122的处理包括以下的步骤s1221～步骤s1223的处理。但是，以下说明处理流程仅为一例，只要允许，则各处理可以进行变更。另外，关于以下说明的处理流程，根据实施方式，可以适当地省略、取代及添加步骤。需要说明的是，与上述第一学习模型41等相同地，可以适当准备构成作为机器学习的处理对象的第三生成器431及第三识别器432的机器学习模型。
[0292]
(步骤s1221)
[0293]
步骤s1221中，控制部11使用第三学习数据集53及通过第三生成器431生成的伪值535训练第三识别器432，以使其识别输入值的来源。
[0294]
除替换学习数据这一点之外，步骤s1221的处理可以与上述步骤s1021等相同。即，控制部11针对各第三学习数据集53，将从规定的概率分布中提取的噪音530、反映水平532及第二标签522提供给第三生成器431，由此生成第二特征的属性的伪值535。控制部11将生成的伪值535、对应的反映水平532及对应的第二标签522提供给第三识别器432，获取与输入值的来源的识别结果相对应的输出值，并计算获取的输出值与正确答案的误差。另外，控制部11将各第三学习数据集53(样本值531、反映水平532及第二标签522)提供给第三识别器432，获取与输入值的来源的识别结果相对应的输出值，并计算获取的输出值与正确答案的误差。控制部11通过误差反向传播法，使用算出的输出值的误差的梯度，计算第三识别器432的各运算参数的值的误差。控制部11基于算出的各误差更新第三识别器432的各运算参数的值。控制部11固定第三生成器431的各运算参数的值之后，通过上述一系列的更新处理调节第三识别器432的各运算参数的值，以减小所算出的误差的和。与上述步骤s1021等相同地，控制部11可以反复通过上述一系列的处理调节第三识别器432的各运算参数的值，直至满足规定的条件。
[0295]
由此，控制部11能够构建第三识别器432，第三识别器432被训练以识别输入的输入值是由多个第三学习数据集53中的任意一个得到的样本值531还是通过第三生成器431生成的伪值535。该第三识别器432的训练处理完成后，控制部11进入下一步骤s1222进行处理。
[0296]
(步骤s1222)
[0297]
步骤s1222中，控制部11训练第三生成器431，以使其生成如降低第三识别器432的识别性能这样的伪值535。换言之，控制部11训练第三生成器431，以使其生成如第三识别器432识别为“真”(即，识别为来自学习数据)这样的伪值535。
[0298]
除替换学习数据这一点之外，步骤s1222的处理可以与上述步骤s1022等相同。即，控制部11将生成的伪值535、对应的反映水平532及对应的第二标签522提供给第三识别器432，获取与输入值的来源的识别结果相对应的输出值，并计算获取的输出值与正确答案(识别为来自学习数据)的误差。控制部11通过误差反向传播法将算出的输出值的误差的梯度经由第三识别器432反向传播给第三生成器431的各运算参数，计算第三生成器431的各运算参数的值的误差。控制部11基于算出的各误差更新第三生成器431的各运算参数的值。控制部11固定第三识别器432的各运算参数的值之后，通过上述一系列的更新处理调节第三生成器431的各运算参数的值，以减小所算出的误差的和。与上述步骤s1021等相同地，控制部11可以反复通过上述一系列的处理调节第三生成器431的各运算参数的值，直至满足规定的条件。
[0299]
由此，控制部11能够构建第三生成器431，第三生成器431被训练以生成如降低第三识别器432的识别性能这样的伪值535。该第三生成器431的训练处理完成后，控制部11进入下一步骤s1223进行处理。
[0300]
(步骤s1223)
[0301]
步骤s1223中，控制部11判定是否反复进行步骤s1221及步骤s1222的处理。与上述步骤s1023等相同地，反复进行处理的标准可以根据实施方式适当确定。在判定反复进行处理的情况下，控制部11返回步骤s1221进行处理，再次执行步骤s1221及步骤s1222的处理。另一方面，在判定不反复进行处理的情况下，控制部11完成第三学习模型43的机器学习的处理，进入下一步骤s123进行处理。
[0302]
由此，控制部11交替反复执行第三识别器432的训练步骤及第三生成器431的训练步骤。由此，能够交替逐渐提升第三识别器432及第三生成器431的性能。其结果，能够针对各第三学习数据集53构建完成训练的第三生成器431，该第三生成器431获得了由反映水平532及第二标签522生成与样本值531匹配的第二特征的属性的伪值(即，与输入值相对应的类别及程度的第二特征的属性的伪值)的能力。
[0303]
需要说明的是，在各第三学习数据集53还具备第一标签512的情况下，在上述各训练步骤中，可以向第三生成器431及第三识别器432各自的输入中进一步添加第一标签512。由此，控制部11能够针对各第三学习数据集53构建完成训练的第三生成器431，其中，该第三生成器431获得了由反映水平532、第一标签512及第二标签522生成与样本值531相符的第二特征的属性的伪值的能力。
[0304]
(步骤s123)
[0305]
返回图12a，步骤s123中，控制部11作为保存处理部119进行动作，生成与通过机器学习构建的完成训练的第三生成器431相关的信息作为第三学习结果数据123。并且，控制部11将所生成的第三学习结果数据123保存在规定的存储区域。规定的存储区域可以例如为控制部11内的ram、存储部12、外部存储装置、存储介质或这些的组合。
[0306]
由此，第三学习结果数据123保存完成后，控制部11结束与第三学习模型43的机器
学习相关的一系列处理。需要说明的是，与上述第一学习结果数据121等相同地，所生成的第三学习结果数据123可以在任意的时间点被提供给数据生成装置2。另外，上述步骤s121～步骤s123的处理可以定期或不定期地反复进行。并且，通过将更新或新生成的第三学习结果数据123通过任意的方法提供给数据生成装置2，可以更新数据生成装置2所保持的第三学习结果数据123。
[0307]
(d)推测器的机器学习
[0308]
图13是示出与由本实施方式的学习装置1进行的推测器44的机器学习相关的处理流程的一例的流程图。需要说明的是，以下所说明的处理流程仅为一例，只要允许，各步骤则可以进行变更。并且，针对以下说明的各处理流程，根据实施方式，可以适当地省略、取代及添加步骤。
[0309]
(步骤s131)
[0310]
步骤s131中，控制部11作为第四获取部114进行动作，获取多个第四学习数据集54。各第四学习数据集54由提供给完成训练的第一生成器411的输入的样本、及通过向完成训练的第一生成器411提供该样本而生成的伪样本542的组合构成。在本实施方式中，输入的样本由噪音540及样本值541构成。
[0311]
各第四学习数据集54可以通过利用完成训练的第一生成器411适当生成。另外，与上述第一学习数据集51等相同地，各第四学习数据集54的生成可以通过学习装置1来进行，也可以通过学习装置1以外的其它计算机来进行。也可以是一部分第四学习数据集54由学习装置1生成，其它第四学习数据集54由一个或多个其它计算机生成。
[0312]
获取的第四学习数据集54的件数可以不受特别限定，可以根据实施方式适当选择。获取多个第四学习数据集54后，控制部11进入下一步骤s132进行处理。
[0313]
(步骤s132)
[0314]
步骤s132中，控制部11作为第四训练部118进行动作，使用获取的多个第四学习数据集54实施推测器44的机器学习。在该机器学习中，控制部11针对各第四学习数据集54训练推测器44，以使通过推测器44根据伪样本542推测提供给完成训练的第一生成器411的输入而得到的各推测值分别与对应的噪音540及样本值541匹配。
[0315]
作为一例，首先，控制部11针对各第四学习数据集54，向推测器44的输入层441输入伪样本542，从输入侧起依次进行各层441～443中所含的各神经元的放电判定。由此，控制部11从输出层443获取分别与生成伪样本542时提供给完成训练的第一生成器411的输入的第一推测值及第二推测值相对应的输出值。控制部11计算各推测值与对应的噪音540及样本值541各自的误差。与上述步骤s1021等相同地，计算误差时可以使用损失函数。
[0316]
控制部11通过误差反向传播法使用算出的误差的梯度来计算推测器44的各运算参数的值的误差。控制部11基于算出的各误差更新推测器44的各运算参数的值。与上述步骤s1021等相同地，更新各运算参数的值的程度可以通过学习率来调节。
[0317]
控制部11通过上述一系列的更新处理调节推测器44的各运算参数的值，以减小所算出的误差的和。与上述步骤s1021等相同地，控制部11可以反复通过上述一系列的处理调节推测器44的运算参数的值，直至满足规定的条件。
[0318]
由此，控制部11能够针对各第四学习数据集54构成完成训练的推测器44，推测器44获得了由通过完成训练的第一生成器411生成的伪样本542推测生成该伪样本542时提供
给完成训练的第一生成器411的输入(噪音540及样本值541)的能力。推测器44的机器学习完成后，控制部11进入下一步骤s133进行处理。
[0319]
(步骤s133)
[0320]
步骤s133中，控制部11作为保存处理部119进行动作，生成与通过机器学习构建的完成训练的推测器44相关的信息作为第四学习结果数据124。接着，控制部11将生成的第四学习结果数据124保存于规定的存储区域。规定的存储区域可以例如为控制部11内的ram、存储部12、外部存储装置、存储介质或它们的组合。
[0321]
由此，第四学习结果数据124保存完成后，控制部11结束与推测器44的机器学习相关的一系列的处理。需要说明的是，与上述第一学习结果数据121相同地，生成的第四学习结果数据124可以在任意的时间点被提供给推测装置3。另外，可以定期或不定期地反复进行上述步骤s131～步骤s133的处理。并且，可以通过利用任意的方法将更新或新生成的第四学习结果数据124提供给推测装置3来更新推测装置3所保持的第四学习结果数据124。
[0322]
(e)第二样本的生成
[0323]
图14是示出与该第二样本521的生成相关的处理流程的一例的流程图。需要说明的是，以下说明的处理流程仅为一例，只要允许，各步骤则可以进行变更。并且，针对以下说明的各处理流程，根据实施方式，可以适当地省略、取代及添加步骤。以下的步骤s141～步骤s144的处理可以在上述步骤s111内执行。
[0324]
(步骤s141)
[0325]
步骤s141中，控制部11获取分别包括第一特征及第二特征的多个第三样本551。
[0326]
各第三样本551的生成方法及获取方法可以与上述第一学习数据集51的第一样本511的生成方法及获取方法相同。作为具体例，在上述图2a的例子中，通过利用相机拍摄具有缺陷的产品p1，能够生成第三样本551。另外，在上述图2b的例子中，通过利用麦克风录制存在异常的机器的运行声音，能够生成第三样本551。
[0327]
获取的第三样本551的件数可以不受特别限定，可以根据实施方式适当选择。获取多个第三样本551之后，控制部11进入下一步骤s142进行处理。需要说明的是，控制部11可以每获得一件第三样本551则执行以下的步骤s142的处理，后者也可以获取多个第三样本551之后针对各第三样本551执行以下的步骤s142的处理。
[0328]
(步骤s142)
[0329]
步骤s142中，控制部11通过向完成训练的推测器44提供各第三样本551来推测为了生成与各第三样本551对应的伪样本而提供给完成训练的第一生成器411的输入的各推测值。即，控制部11向完成训练的推测器44的输入层441输入各第三样本551，从输入侧起依次进行各层441～443中所含的各神经元的放电判定。由此，如果通过完成训练的第一生成器411生成与各第三样本551对应的伪样本，则控制部11从输出层443获取与会提供给完成训练的第一生成器411的输入的各推测值相对应的输出值。获取各推测值之后，控制部11进入下一步骤s143进行处理。
[0330]
(步骤s143)
[0331]
步骤s143中，控制部11通过将得到的各推测值提供给完成训练的第一生成器411来针对每个第三样本551生成伪样本555。即，控制部11向完成训练的第一生成器411的输入层4111输入各推测值，从输入侧起依次进行各层4111～4113中所含的各神经元的放电判
定。由此，控制部11从输出层4113获取与由各推测值生成的伪样本555对应的输出值。获取伪样本555之后，控制部11进入下一步骤s144进行处理。
[0332]
(步骤s144)
[0333]
步骤s144中，控制部11计算得到的伪样本555与对应的第三样本551的差量。如上所述，通过该差量处理，能够适当生成可以用作第二样本521的、不包括第一特征，且包括第二特征的样本。由此，第二样本521的生成完成之后，控制部11结束与第二样本521的生成相关的一系列的处理。根据该一系列的处理，可以自动生成第三样本551～第二样本521，因此能够低成本获取第二样本521。
[0334]
需要说明的是，与上述第一～第三学习模型41～43的机器学习相关的处理流程、及与第二样本521的生成相关的处理流程是本发明的“学习方法”的一例。学习方法并不是必须包括上述的全部处理，也可以通过将上述处理流程的各处理适当地组合而构成。学习方法也可以称作用于生成各完成训练的机器学习模型的模型生成方法或简称作生成方法。
[0335]
[数据生成装置]
[0336]
图15是示出本实施方式的数据生成装置2的处理流程的一例的流程图。以下说明的处理流程是本发明的“数据生成方法”的一例。但是，以下说明的各处理流程仅为一例，只要允许，各步骤则可以进行变更。并且，针对以下说明的各处理流程，根据实施方式，可以适当地省略、取代及添加步骤。
[0337]
(步骤s201)
[0338]
步骤s201中，控制部21作为接受部211进行动作，接受第一输入值221、第二输入值223及第三输入值225的指定。样本的生成部分中的第一输入值221、第二输入值223及第三输入值225与学习部分中的第一标签512、第二标签522及反映水平532对应。即，第一输入值221、第二输入值223及第三输入值225根据想要生成的样本中所含的第一特征的类别、第二特征的类别及反映第二特征的程度而指定。
[0339]
图16示意性示例在图2a所示例的生成图像数据的新样本65的情境中用于接受各输入值(221、223、225)的指定的接受屏幕的一例。该接受屏幕是用于接受各输入值(221、223、225)的输入的用户接口的一例。在输出装置26中包括显示器等显示装置的情况下，步骤s201中，控制部21可以将该接受屏幕输出给输出装置26。由此，控制部21可以接受操作者经由输入装置25对于各输入值(221、223、225)的指定。
[0340]
图16中示例的接受屏幕具备第一输入栏261、第二输入栏262、滑动条263、显示区域264、生成按钮265、及保存按钮266。第一输入栏261用于指定第一输入值221。第一输入栏261中指定第一特征的类别，相应的，控制部21可以获取第一输入值221。同理，第二输入栏262用于指定第二输入值223。第二输入栏262中指定第二特征的类别，相应地，控制部21可以获取第二输入值223。
[0341]
滑动条263用于指定第三输入值225。与指定第一特征及第二特征的类别的第一输入值221及第二输入值223相比，指定反映第二特征的程度的第三输入值225可以频繁变更。因此，通过在第三输入值225的指定中利用滑动条形式的用户接口，能够减少生成新样本65时指定输入值的工作。需要说明的是，虽然在图16的例子中，滑动条263配置为可以在0～10的范围内设置反映第二特征的程度，但是反映第二特征的程度的数值范围可以不限定于这样的例子，可以任意设置。
[0342]
通过在显示区域264中使用所指定的各输入值(221、223、225)，显示通过后述的处理生成的新样本65。显示区域264的形式可以根据生成的样本65的数据的种类来适当确定。生成按钮265用于使用通过各输入栏(261、262)及滑动条263指定的各输入值(221、223、225)来开始执行用于生成新样本65的处理。控制部21可以根据生成按钮265的操作而进入下一步骤s202进行处理。保存按钮266用于保存生成的样本65。
[0343]
需要说明的是，用于接受各输入值(221、223、225)的输入的用户接口也可以不限定于这样的例子，可以根据实施方式适当确定。例如，在规定种类的数据为声音数据的情况下，可以进一步设有用于再生生成的新样本65的再生按钮。另外，作为其它的一例，各输入值(221、223、225)可以通过简单的数值输入来指定。接受到各输入值(221、223、225)的指定之后，控制部21进入下一步骤s202进行处理。
[0344]
(步骤s202)
[0345]
步骤s202中，控制部21作为第一生成部212进行动作，参考第一学习结果数据121来设置完成训练的第一生成器411。控制部21从规定的概率分布中提取噪音220。接着，控制部21将提取的噪音220及获取的第一输入值221输入完成训练的第一生成器411的输入层4111，从输入侧起依次进行各层4111～4113中所含的各神经元的放电判定。由此，控制部21从输出层4113获取与由噪音220及第一输入值221生成的第一伪样本61相对应的输出值，第一伪样本61包括通过第一输入值221指定的类别的第一特征。获取第一伪样本61之后，控制部21进入下一步骤s203进行处理。
[0346]
(步骤s203)
[0347]
步骤s203中，控制部21作为第二生成部213进行动作，参考第二学习结果数据122来设置完成训练的第二生成器421。控制部21从规定的概率分布中提取噪音222。接着，控制部21将提取的噪音222及获取的第二输入值223输入完成训练的第二生成器421的输入层4211，从输入侧起依次进行各层4211～4213中所含的各神经元的放电判定。由此，控制部21从输出层4213获取与由噪音222及第二输入值223生成的第二伪样本62对应的输出值，第二伪样本62包括通过第二输入值223指定的类别的第二特征。获取第二伪样本62之后，控制部21进入下一步骤s204进行处理。
[0348]
(步骤s204)
[0349]
步骤s204中，控制部21作为数据合成部214进行动作，参考第三学习结果数据123来设置完成训练的第三生成器431。控制部21从规定的概率分布中提取噪音224。接着，控制部21将提取的噪音224、获取的第二输入值223、及获取的第三输入值225输入完成训练的第三生成器431的输入层4311，从输入侧起依次进行各层4311～4313中所含的各神经元的放电判定。由此，控制部21从输出层4313获取与由噪音224、第二输入值223及第三输入值225生成的伪值63对应的输出值，伪值63是通过第二输入值223及第三输入值225指定的类别及程度的第二特征的属性的伪值。
[0350]
在进一步使用第一标签512实施了第三生成器431的机器学习的情况下，控制部21向完成训练的第三生成器431的输入层4311进一步输入获取的第一输入值221，并执行完成训练的第三生成器431的上述运算处理。由此，控制部21能够在通过第一输入值221指定的第一特征中获取用于以通过第二输入值223及第三输入值225指定的类别及程度来反映第二特征的伪值63。
[0351]
获取伪值63之后，控制部21进入下一步骤s205进行处理。需要说明的是，步骤s202～步骤s204的处理顺序可以不限定于这样的例子，可以是任意的。各噪音(220、222、224)可以通过或单独获取。另外，在步骤s202之后执行步骤s204的情况下，在步骤s202及步骤s204之间，学习装置1可以执行上述推测器44的机器学习。在该情况下，步骤s202中生成的第一伪样本61也可以用作伪样本542。或者，通过使上述步骤s131包括步骤s201，生成的伪样本542也可以用作步骤s202中的第一伪样本61。
[0352]
(步骤s205)
[0353]
步骤s205中，控制部21作为数据合成部214进行动作，转换第二伪样本62以使第二伪样本62中所含的第二特征的属性的值与生成的伪值63匹配，并且向第一伪样本61合成第二伪样本62。转换及合成的具体的处理内容分别可以根据数据的种类适当确定。例如，在规定种类的数据为图像数据的情况下，转换可以由缩放、平行移动、旋转或它们的组合构成。另外，例如，在规定种类的数据为信号数据的情况下，转换可以由振幅的增减、频率的变更、出现频率的增减或它们的组合构成。合成可以通过例如重叠相加而构成。
[0354]
此外，合成中可以使用完成训练的机器学习模型，该完成训练的机器学习模型获得了输出对于包括第一特征的样本、包括第二特征的样本及与反映的程度相应的第二特征的属性值的输入，合成两个样本以与输入的属性值匹配而得到的结果的能力。该完成训练的机器学习模型可以通过使用多个学习数据集进行机器学习来构建，该多个学习数据集分别由训练数据(输入数据)及正确答案数据(教师信号)的组合构成。训练数据由例如包括第一特征的第一训练用样本、包括第二特征的第二训练用样本、及与反映的程度相应的第二特征的属性的样本值构成。正确答案数据由例如对应的合成结果的样本构成。
[0355]
控制部21通过该合成生成规定种类的数据的新样本65。新样本65的生成完成后，控制部21结束本动作例中的处理流程。生成处理完成之后，控制部21可以将生成的新样本65显示于上述接受屏幕的显示区域264。
[0356]
控制部21可以根据通过操作滑动条263对第三输入值225进行的变更来执行上述一系列的处理以生成新样本65，并将生成的新样本65显示于显示区域264。由此，操作者在生成的样本65内表现出第二特征的程度的变动，该变动与通过操作滑动条263对反映第二特征的程度进行的调节相对应。
[0357]
另外，控制部21可以根据保存按钮266的操作将生成的新样本65保存于规定的存储区域。规定的存储区域可以例如为控制部21内的ram、存储部22、外部存储装置、存储介质或它们的组合。生成的新样本65可以在任意的时间点提供给推测装置3。
[0358]
并且，控制部21可以对于相同的各输入值(221、223、225)提取多个各噪音(220、222、224)。由此，控制部21可以使用相同的各输入值(221、223、225)来生成多个新样本65。可以将生成的多个新样本65显示于显示区域264，并接受其中要保存的样本65的选择。在该情况下，控制部21可以根据保存按钮266的操作将选自生成的多个样本65中的一个或多个样本65保存于规定的存储区域。
[0359]
[推测装置]
[0360]
图17a是示出本实施方式的推测装置3的处理流程的一例的流程图。以下说明的处理流程为推测方法的一例。但是，以下说明的各处理流程仅为一例，只要允许，各步骤则可以进行变更。并且，针对以下说明的各处理流程，根据实施方式，可以适当地省略、取代及添
加步骤。
[0361]
(步骤s301)
[0362]
步骤s301中，控制部31作为获取部311进行动作，获取对象样本325。获取对象样本325的方法可以根据数据的种类适当确定。在对象样本325为传感数据的情况下，能够通过利用传感器观测与第二特征相关的推测的对象来获取对象样本325。在上述图2a的例子中，能够通过利用相机拍摄待检查的产品来获取对象样本325。在上述图2b的例子中，能够通过利用麦克风录制待检查的机器的运行声音来获取对象样本325。控制部31可以直接或间接从传感器获取对象样本325。获取对象样本325之后，控制部31进入下一步骤s302进行处理。
[0363]
(步骤s302)
[0364]
步骤s302中，控制部31作为推测部312进行动作，利用数据组320分析对象样本325，由此对对象样本325执行与第二特征相关的推测处理。在本实施方式中，作为该推测处理，控制部31利用完成训练的第一生成器411及推测器44对对象样本325执行检测第二分量的处理。
[0365]
具体而言，控制部31参考第一/第四学习结果数据(121、124)来设置完成训练的第一生成器411及推测器44。控制部31向完成训练的推测器44的输入层441输入对象样本325，从输入侧起依次进行各层441～443中所含的各神经元的放电判定。由此，如果通过完成训练的第一生成器411生成与对象样本325对应的伪样本，则控制部31从输出层443获取与会提供给完成训练的第一生成器411的输入的各推测值相对应的输出值。接着，控制部31将获取的各推测值输入完成训练的第一生成器411的输入层4111，从输入侧起依次进行各层4111～4113中所含的各神经元的放电判定。由此，控制部31从输出层4113获取与由各推测值生成的伪样本326对应的输出值。
[0366]
并且，控制部31通过求取对象样本325与伪样本326的差量来生成差量样本327。需要说明的是，执行差量处理之前，可以对对象样本325及伪样本326应用预处理。例如，在对象样本325及伪样本326为时间序列数据，并在频率区域检测第二分量的情况下，可以对对象样本325及伪样本326应用傅立叶转换等将时间序列数据转换为频率数据的预处理。控制部31利用生成的差量样本327来检测第二分量。
[0367]
在此，进一步使用图17b，利用差量样本327对检测第二分量的处理的一例进行说明。图17b示意性示例在上述图2a中示例的情境下检测第二分量(即，缺陷)的处理过程的一例。控制部31通过上述处理利用完成训练的第一生成器411及推测器44来生成与对象样本i10对应的伪样本i11。对象样本i10是上述对象样本325的一例，伪样本i11是上述伪样本326的一例。
[0368]
控制部31通过计算对象样本i10及伪样本i11的差量来生成差量样本i12。差量样本i12是上述差量样本327的一例。在对象样本i10及伪样本i11之间越产生差异，差量样本i12中的值变得越大。另一方面，对象样本i10及伪样本i11之间越没有差异，差量样本i12中的值变得越小。差异的表达方法可以根据数据的种类适当选择。作为一例，图17b中，规定种类的数据为图像数据，越是产生了差异的像素，越会形成白色，越是未产生差异的像素，越会形成黑色。
[0369]
如上所述，基本上，伪样本i11中再现第一特征，而不再现第二特征。因此，在差量样本i12中，对象样本i10中包括第二分量(表现出第二特征)的部分会产生较大的差异。但
是，差量样本i12中产生差异的原因不限于对象样本i10中包括第二分量。作为其它原因，能够列举例如：在生成伪样本i11的过程中产生噪音等。然而，该噪音导致的差异的程度比包括第二分量所导致的差异低。因此，能够基于差量样本i12的值来区分这些差异。因而，控制部31利用阈值t1删除噪音导致的差异。在图17b的例子中，控制部31通过阈值t1将差量样本i12的各像素二值化。由此，控制部31能够得到除去噪音后的样本i13。
[0370]
样本i13中主要可能会出现第二分量导致的差异、及进一步由其它理由(例如，第一生成器411及推测器44中的至少任意一者的学习不足)导致的差异。其中，第二分量导致的差异以例如大小、(时间性或区域性)位置、亮度、振幅、频率(时间性或区域性)等与第二特征的属性对应的状态出现。在上述图2a的例子中，缺陷可能具有面积、宽度、高度、周长、长宽比、圆度等与形状相关的属性。即，在呈现于对象样本i10的产品中存在缺陷的情况下，样本i13所对应的位置上出现白色像素聚集的区域，该区域具有和与形状同等的形状相关的属性。因而，通过为第二特征的属性设置阈值t2，能够检测第二分量。
[0371]
处理的作为一例，在图17b的例子中，控制部31将样本i13内的连续的白色像素的区域作为一个区域，并判定白色像素的各区域是否满足阈值t2。接着，控制部31保持满足阈值t2的区域，并删除不满足阈值t2的区域。由此，控制部31能够得到从样本i13中除去不满足第二特征的属性的值后的检测样本i14。
[0372]
控制部31基于得到的检测样本i14检测第二分量。在图17b的例子中，在检测样本i14中存在白色像素的区域的情况下，控制部31判定呈现于对象样本i10的产品中存在缺陷。另一方面，再检测样本i14中不存在白色像素的区域的情况下，控制部31判定呈现于对象样本i10的产品中不存在缺陷。由此，第二分量的检测处理完成后，控制部31进入下一步骤s303进行处理。
[0373]
需要说明的是，上述各阈值(t1、t2)是推测处理中的参数的一例。推测处理中的参数可以根据推测的内容、数据的种类等适当设置。在规定种类的数据为图像数据，作为推测处理执行检测呈现于图像的对象物的处理的情况下，不限于上述缺陷检测的情境，也可以将上述各阈值(t1、t2)用作推测处理的参数的一例。作为其它的一例，在规定种类的数据为信号数据，作为推测处理执行检测信号中所含的对象信号的处理的情况下，可以将光谱强度的差量用作推测处理的参数。
[0374]
控制部31在任意的时刻(例如，开始步骤s301的处理之前)作为设置部314进行动作，可以基于数据组320中所含的样本321来设置参数的值。即，在本实施方式中，利用数据组320分析对象样本325相当于基于数据组320中所含的样本321来设置参数的值以可以检测第二分量。在上述图17b的例子中，控制部31可以适当设置各阈值(t1、t2)以可以检测呈现于样本321的缺陷。
[0375]
在此，进一步使用图18a及图18b，对设置推测处理的参数的方法的一例进行说明。图18a及图18b分别示意性示例在上述图2a中示例的情境下用于显示数据组320中所含的样本321的输出屏幕的一例。在输出装置36中包括显示器等显示装置的情况下，控制部31可以根据操作者的操作将各输出屏幕输出给输出装置36。
[0376]
在图18a的输出屏幕中，数据组320中所含的样本321按照各特征的类别以表格形式显示。操作者能够通过该输出屏幕确认未得到样本321及未得到的第一特征及第二特征的类别的组合(上述图2a的例中为缺陷及产品的类别的组合)。
[0377]
在上述数据生成装置2中，通过指定与未得到样本321的第一特征及第二特征的类别相对应的第一输入值221及第二输入值223，可以生成表现出该组合的新样本65。或者，在图18a的输出屏幕等中，控制部31接受未得到样本321的第一特征及第二特征的类别的组合的指定。并且，控制部31可以通过向上述数据生成装置2通知所指定的组合来委托生成表现出该组合的新样本65。由此，可以生成表现出该组合的新样本65。生成的新样本65可以通过任意的方法提供给推测装置3，并添加至数据组320。通过添加该新样本65，能够谋求使数据组320中所含的样本321多样化。
[0378]
另一方面，在图18b的输出屏幕上，根据第二特征的属性值并列显示有包括对象的类别的第一特征及第二特征的各样本321。若以可以检测程度较小的第二分量的方式设置参数的值，则可能对于未真正包括第二分量的对象样本325错误检测到第二分量。作为具体例，在上述图17b的例子中，缺陷的尺寸越大，越容易检测该缺陷，缺陷的尺寸越小，越难以检测该缺陷。若以可以检测尺寸较小的缺陷的方式设置各阈值(t1、t2)，则可能将因其它因素而出现的差异误认为缺陷。因此，将减少产生该误检的概率作为理由之一，在该输出屏幕上，控制部31可以接受对于与第二分量的检测的极限事例相对应的样本321的指定。
[0379]
并且，控制部31可以以能够检测指定为极限事例的样本321中所含的第二分量的方式来设置参数的值。在上述图17b的例子中，控制部31可以以能够检测指定为极限事例的样本321上呈现的缺陷的方式来设置各阈值(t1、t2)。设置参数的值的方法可以不受特别限定，可以根据实施方式适当确定。例如，针对参数的值，可以适当准备多个候补。控制部31可以通过利用各候补执行上述检测处理来确定指定为极限事例的样本321中所含的第二分量的检测率最高的候补，并将确定的候补选作参数的值。
[0380]
在上述数据生成装置2中，根据第二分量的检测的极限来提供第三输入值225，由此可以生成可设置为极限事例的新样本65。或者，在图18b的输出屏幕等之上，控制部31可以适当接受对极限事例中所需的第二特征的程度的指定。并且，控制部31可以通过向上述数据生成装置2通知第一特征的类别、第二特征的类别、及指定的第二特征的程度来委托生成新样本65。由此，可以生成可设置为极限事例的新样本65。生成的新样本65可以通过任意的方法提供给推测装置3，并添加于数据组320。通过添加该新样本65，使数据组320中所含的样本321中出现的第二特征的程度多样化，通过设置合适的极限事例，能够有望提高第二分量的检测精度。
[0381]
需要说明的是，设置该参数的值的一系列的处理可以由上述数据生成装置2来执行。在该情况下，数据生成装置2将图18a及图18b中示例的输出屏幕输出给输出装置26，同时执行用于生成新样本65的上述一系列的处理。另外，在数据生成装置2中，生成新样本65时，数据组320中所含的样本321可以通过上述各输出屏幕来阅览。在该情况下，各输出屏幕可以用作指定各输入值(221、223、225)的参考。
[0382]
(步骤s303)
[0383]
返回图17a，步骤s303中，控制部11作为输出部313进行动作，输出与上述推测的结果(在本实施方式中为上述第二分量的检测结果)相关的信息。
[0384]
输出目标及所输出的信息的内容分别可以根据实施方式适当确定。例如，控制部31可以将通过步骤s302对对象样本325执行规定的推测而得到的结果直接输出给输出装置36。另外，例如，控制部31可以基于执行规定的推测而得到的结果来执行某种信息处理。并
且，控制部31可以将执行该信息处理的结果作为与推测的结果相关的信息而输出。执行该信息处理的结果的输出可以包括如下等：根据推测结果输出特定的消息；根据推测结果控制控制对象装置的动作。输出目标可以例如为输出装置36、其它计算机的输出装置、控制对象装置等。
[0385]
与推测的结果相关的信息的输出完成之后，控制部31结束本动作例的处理流程。需要说明的是，在规定的期间，控制部31可以持续反复进行步骤s301～步骤s303的一系列的信息处理。反复进行的时间点可以是任意的。由此，推测装置3可以持续实施规定的推测。
[0386]
[特征]
[0387]
综上所述，本实施方式的学习装置1能够通过上述步骤s101～步骤s103的处理构建完成训练的第一生成器411，完成训练的第一生成器411获得了生成包括通过输入值指定的类别的第一特征的伪样本的能力。另外，本实施方式的学习装置1能够通过上述步骤s111～步骤s113的处理构建完成训练的第二生成器421，完成训练的第二生成器421获得了生成包括通过输入值指定的类别的第二特征的伪样本的能力。在本实施方式的数据生成装置2中，能够基于分别提供给完成训练的各生成器(411、421)的各输入值(221、223)来控制生成的新样本65中所含的第一特征及第二特征各自的类别。即，能够自由生成包括第一特征及第二特征的不同的类别的组合的新样本65。例如，在数据组320中存在未得到样本321或样本321的数目较少的组合的情况下，通过数据生成装置2，能够生成包括该组合的新样本65。此外，步骤s201～步骤s205的处理大部分能够实现自动化。由此，根据本实施方式，可以自由且自动生成包括多种不同组合的样本，因此，能够减少针对表现出至少两个以上特征的规定种类的数据收集多种不同样本所耗费的成本。
[0388]
另外，在本实施方式的推测装置3中，通过将生成的新样本65添加于数据组320，能够谋求使数据组320中所含的样本321中表现出的第一特征及第二特征的组合多样化。即，在数据组320中，能够丰富未得到或包括数目较少的组合的样本321。由此，通过将生成的新样本65反映在推测装置3的推测处理中，能够有望提高与第二特征相关的推测处理的精度。
[0389]
另外，本实施方式的学习装置1能够通过上述步骤s121～步骤s123的处理来构建完成训练的第三生成器431，完成训练的第三生成器431获得了生成通过输入值指定的类别及程度的第二特征的属性的伪值的能力。在本实施方式的数据生成装置2中，能够基于提供给完成训练的第三生成器431的各输入值(223、225)来控制生成的新样本65中所含的第二特征的属性的值。即，除完成训练的第一生成器411及第二生成器421之外，进一步利用完成训练的第三生成器431，由此能够自由生成包括具有任意的属性值的第二特征的新样本65。由此，根据本实施方式，针对能够表现出至少两个以上特征的规定种类的数据，能够生成更多种不同样本。
[0390]
需要说明的是，通过根据第二分量的检测的极限提供第三输入值225，能够生成与检测的极限事例对应的多种不同样本。另外，在上述步骤s121～步骤s123的处理中，进一步使用第一标签512实施了第三生成器431的机器学习的情况下，构建的完成训练的第三生成器431进一步获得了生成与第一特征的类别相应的第二特征的属性的伪值的能力。因此，在本实施方式的数据生成装置2中，通过利用完成训练的第三生成器431，能够生成包括具有适合第一特征的类别的属性值的第二特征的新样本65。
[0391]
§
4变形例
[0392]
以上，对本发明的实施方式进行了详细说明，但迄今为止的说明在所有方面均仅为本发明的示例。当然能够在不脱离本发明的范围内进行各种改良或变形。例如，可以进行以下那样的变更。需要说明的是，以下，关于与上述实施方式相同的构件将使用相同的符号，关于与上述实施方式相同的方面，将适当省略说明。以下的变形例可以适当组合。
[0393]
《4.1》
[0394]
上述实施方式的学习装置1、数据生成装置2、及推测装置3可以应用于针对能够表现出至少两个以上特征的规定种类的数据收集多种不同样本的所有情境。例如，上述实施方式可以应用于针对通过利用传感器观测对象而得到的传感数据收集多种不同样本的情境。以下，将示例限定了应用情境的变形例。
[0395]
(a)外观检查的情境
[0396]
图19示意性示例第一变形例的检查系统100a的应用情境的一例。本变形例是利用图2a中示例的呈现产品的图像数据来实施产品的外观检查的情境中应用了上述实施方式的例子。本变形例的检查系统100a具备学习装置1、数据生成装置2及检查装置3a。与上述实施方式相同地，学习装置1、数据生成装置2及检查装置3a可以经由网络相互连接。
[0397]
本变形例中所处理的规定种类的数据是产品ra所呈现于的图像数据。该图像数据可以通过利用相机sa拍摄产品ra来得到。第一特征与包括产品ra的背景相关，第二特征与产品ra的缺陷相关。产品ra及缺陷的种类可以不受特别限定，可以根据实施方式适当选择。如上所述，产品ra可以例如为电子设备、电子器件、汽车器件、药物、食品等在生产线上输送的产品。缺陷可以例如为划痕、污点、裂纹、凹痕、毛刺、颜色不均、异物污染等。除这些限定之外，本变形例的检查系统100a可以与上述实施方式的推测系统100相同地构成。
[0398]
(学习装置)
[0399]
本变形例中，第一学习数据集51的第一样本511可以为产品ra所呈现于的图像数据的样本，第一标签512可以表示产品ra的类别。学习装置1能够通过执行上述步骤s101～步骤s103的处理来构建完成训练的第一生成器411，完成训练的第一生成器411获得了生成包括通过输入值指定的类别的产品ra的背景所呈现于的伪样本的能力。
[0400]
本变形例中，第二学习数据集52的第二样本521可以为产品ra的缺陷所呈现于的图像数据的样本，第二标签522可以表示缺陷的类别。学习装置1能够通过执行上述步骤s111～步骤s113的处理来构建完成训练的第二生成器421，完成训练的第二生成器421获得了生成通过输入值指定的类别的缺陷所呈现于的伪样本的能力。
[0401]
本变形例中，第三学习数据集53的样本值531可以表示缺陷的属性的程度。缺陷的属性可以例如为面积、宽度、高度、周长、长宽比、圆度等与形状相关的属性。反映水平532可以表示反映缺陷的程度。反映水平532可以与缺陷的严重程度、产品的质量水平等缺陷的程度相关联而设置。学习装置1能够通过执行上述步骤s121～步骤s123的处理来构建完成训练的第三生成器431，完成训练的第三生成器431获得了生成通过输入值指定的类别及程度的缺陷的属性的伪值的能力。
[0402]
本变形例中，学习装置1能够通过执行上述步骤s131～步骤s133的处理来构建完成训练的推测器44，完成训练的推测器44获得了由通过完成训练的第一生成器411生成的伪样本542推测生成该伪样本542使提供给完成训练的第一生成器411的输入的能力。另外，本变形例中，学习装置1能够通过利用完成训练的第一生成器411及推测器44执行上述步骤
s141～步骤s144的处理来生成产品ra及缺陷所呈现于的第三样本551～第二样本521。
[0403]
(数据生成装置)
[0404]
本变形例中，第一输入值221、第二输入值223及第三输入值225可以根据希望生成的样本中所呈现的产品ra的类别、缺陷的类别、及反映缺陷的程度来指定。数据生成装置2能够通过利用完成训练的各生成器(411、421、431)执行上述步骤s201～步骤s205的处理来一边控制反映缺陷的程度，一边生成指定的类别的缺陷及产品ra所呈现于的新样本65。
[0405]
(检查装置)
[0406]
图20a示意性示例本变形例的检查装置3a的硬件配置的一例。如图20a所示，与上述推测装置3相同地，本变形例的检查装置3a由电连接有控制部31、存储部32、通信接口33、外部接口34、输入装置35、输出装置36、及驱动器37的计算机构成。
[0407]
本变形例中，存储部32存储检查程序83a等各种信息。检查程序83a与上述实施方式的推测程序83对应。另外，本变形例中，检查装置3a经由外部接口34与相机sa连接。相机sa可以例如为普通rgb相机、深度相机、红外线相机等。相机sa可以适当配置于可拍摄产品ra的场所。例如，相机sa可以配置于输送产品ra的输送装置附近。
[0408]
需要说明的是，检查装置3a的硬件配置可以不限定于这样的例子。关于检查装置3a的具体的硬件配置，根据实施方式，可以适当地省略、取代及添加构件。检查装置3a还可以是为所提供的服务专用设计的信息处理装置、以及通用的服务器装置、通用的pc、plc等。
[0409]
图20b示意性示例本变形例的检查装置3a的软件配置的一例。与上述实施方式相同地，检查装置3a的软件配置通过控制部31执行检查程序83a而实现。除所处理的数据被如上限定这一点之外，检查装置3a的软件配置与上述推测装置3相同。检查部312a与上述推测部312对应。由此，与上述推测装置3的推测处理相同地，检查装置3a能够执行与外观检查相关的一系列的处理。
[0410]
即，步骤s301中，控制部31从相机sa中获取待检查的产品ra所呈现于的对象样本325。步骤s302中，控制部31作为检查部312a进行动作，通过利用数据组320分析对象样本325来判定待检查的产品ra中是否存在缺陷。数据组320中所含的样本321中呈现产品ra及缺陷。可以为每种所检测的缺陷的类别选择极限事例的样本321。作为检测参数的各阈值(t1、t2)可以基于选作极限事例的样本321来设置。由此，控制部31能够推测产品ra的状态。
[0411]
步骤s303中，控制部31输出与产品ra的状态的推测结果相关的信息。例如，控制部31可以将产品ra的状态的推测结果直接输出至输出装置36。另外，例如，在判定产品ra中包括缺陷的情况下，控制部31可以将用于通知这一内容的警告输出给输出装置36。另外，例如，在输送产品ra的输送装置上连接有检查装置3a的情况下，可以基于产品ra的状态的推测结果，控制输送装置，以通过不同的线路来输送具有缺陷的产品ra和没有缺陷的产品ra。
[0412]
(特征)
[0413]
根据本变形例，在数据生成装置2中，可以自由且自动生成产品ra及缺陷的任意的组合所呈现于的新样本65。因此，能够减少收集表现出产品ra及缺陷的各种组合的多种不同样本所耗费的成本。另外，通过将生成的新样本65添加至数据组320，能够减少或消除未得到样本321的产品ra及缺陷的组合。由此，能够谋求提高检查装置3a的外观检查的精度。
[0414]
[其它方式]
[0415]
在上述变形例中，产品ra的缺陷是前景的一例。即，上述变形例中的检查处理是从
背景及包括前景的图像数据的样本中检测目标前景的处理的一例。即，所处理的规定种类的数据可以为背景及包括前景的图像数据。第一特征可以与背景相关，第二特征可以与前景相关。背景及前景的种类分别可以不限定于产品ra及缺陷的例子，可以根据实施方式适当选择。
[0416]
(a-1)图像诊断的情境
[0417]
图21示意性示例从图像数据中检测前景的其它情境的一例。图21中示例的诊断系统具备学习装置1、数据生成装置2及图像诊断装置3a1。图像诊断装置3a1与上述检查装置3a对应。图像诊断装置3a1的构成可以与上述检查装置3a相同。图21的例子中处理的规定种类的数据可以为器官所呈现于的医疗用的图像数据(以下，也记作医疗图像)。器官可以例如为消化系统、循环系统、呼吸系统、泌尿系统、生殖系统、内分泌系统、感觉系统、神经系统、运动系统(骨骼、关节、韧带、肌肉)等。
[0418]
获取医疗图像是可以使用医疗检查装置sa1。医疗检查装置sa1是传感器的一例。医疗检查装置sa1可以例如为x射线装置、ct装置、mri装置等。相应地，得到的医疗图像可以例如为x射线图像、ct图像、mri图像等。在图21的例子中，图像诊断装置3a1连接于医疗检查装置sa1，由此，能够获取医疗图像的对象样本325。
[0419]
第一特征可以与器官相关，第二特征可以与病变(例如，由于疾病而产生的阴影)相关。器官的图像为背景的一例，病变的图像为前景的一例。病变的属性可以与医疗图像上显现的阴影的形状相关。反映水平532可以根据例如疾病的严重程度、进展等疾病的状态来设置。图像诊断装置3a1能够通过与上述检查装置3a相同的流程来执行根据医疗图像的对象样本325检测病变的处理。在判定存在病变的情况下，图像诊断装置3a1在步骤s303中可以输出该病变的类别、位置等诊断结果。
[0420]
(a-2)监视道路状况的情境
[0421]
图22示意性示例从图像数据中检测前景的再一情境的一例。图22中示例的监视系统具备学习装置1、数据生成装置2及监视装置3a2。监视装置3a2与上述检查装置3a对应。监视装置3a2的构成可以与上述检查装置3a相同。图22的例子中处理的规定种类的数据可以与待监视道路所呈现于的图像数据(以下，也记作监视图像)。
[0422]
获取监视图像时可以使用为了拍摄待监视道路而配置的相机sa2。监视装置3a2可以经由例如网络等而适当与相机sa2连接。由此，监视装置3a2能够获取监视图像的对象样本325。
[0423]
第一特征可以与道路、建筑物等背景相关，第二特征可以与道路的状况相关。道路的状况可以通过例如移动体的混杂度(拥塞度)、犯罪的危险度等来表达。移动体可以为行人、车辆等。犯罪的危险度例如可以设置为：行人数量少且昏暗的道路的图像较高，而行人数量多且明亮的道路的图像较低。道路的状况的属性可以通过例如移动体的属性、环境的属性等来表达。移动体的属性可以与例如位置、数量、速度等相关。除此之外，在移动体为人物的情况下，移动体的属性可以与例如性别、体格等相关。环境的属性可以与例如时刻、季节、有无路灯等亮度要素相关。与道路的状况相关的图像是前景的一例。反映水平532可以根据该道路的状况设置。在该情况下，监视装置3a2能够通过与上述检查装置3a相同的流程来根据监视图像的对象样本325推测对象道路的状况(例如，移动体的混杂度、犯罪的危险度)。
[0424]
根据上述各方式，在数据生成装置2中，可以自由且自动生成背景及前景的任意的组合所呈现于的新样本65。在上述图像诊断的情境中，能够分别基于由不同的人物得到的器官的图像及病变的图像来得到表现出各种疾病状态的多种不同医疗图像。在监视上述道路状况的情境中，能够基于在不同的条件(场所、时间等)下得到的图像来得到表现出各种道路状况的多种不同监视图像。因此，能够减少收集表现出背景及前景的各种组合的多种不同样本所耗费的成本。另外，通过将生成的新样本65添加至数据组320，能够减少或消除未得到样本321的背景及前景的组合。由此，能够谋求提高检测各前景的处理的精度。
[0425]
(b)监视驾驶状态的情境
[0426]
图23示意性示例第二变形例的监视系统100b的应用情境的一例。本变形例是在利用通过设于车辆的车载传感器得到的传感数据来监视驾驶员对车辆的驾驶状态的情境中应用上述实施方式的例子。本变形例的监视系统100b具备学习装置1、数据生成装置2及监视装置3b。与上述实施方式相同地，学习装置1、数据生成装置2及监视装置3b可以经由网络彼此连接。
[0427]
本变形例中处理的规定种类的数据是通过加速度传感器sb得到的车辆的加速度数据(传感数据)。第一特征与正常驾驶时产生的加速度的转变相关，第二特征与因突然出现等突发事件所产生的加速度的转变相关。除这些限定之外，本变形例的监视系统100b可以与上述实施方式的推测系统100相同地构成。
[0428]
(学习装置)
[0429]
本变形例中，第一学习数据集51的第一样本511可以为表现出正常驾驶时产生的加速度的转变的加速度数据的样本，第一标签512可以表示驾驶员的类型、车辆类型等会对正常驾驶产生影响的因子(以下，影响因子)的类别。驾驶员的类型可以根据例如谨慎、粗暴等驾驶时表现出的性格来设置。学习装置1能够通过执行上述步骤s101～步骤s103的处理来构建完成训练的第一生成器411，完成训练的第一生成器411获得了生成伪样本的能力，该伪样本表现出通过输入值指定的类别的影响因子即正常驾驶时所产生的加速度的转变。
[0430]
本变形例中，第二学习数据集52的第二样本521可以为表现出因突发事件产生的加速度的转变的加速度数据的样本，第二标签522可以表示突发事件的类别。学习装置1能够通过执行上述步骤s111～步骤s113的处理来构建完成训练的第二生成器421，完成训练的第二生成器421获得了生成伪样本的能力，该伪样本表现出因通过输入值指定的类别的事件所产生的加速度的转变。
[0431]
本变形例中，第三学习数据集53的样本值531可以表示加速度的转变程度。加速度的转变可以由例如振幅、频率等来表达。反映水平532可以表示反映加速度的转变的程度。反映水平532可以与突发事件的严重程度等产生事故的可能性的程度相关联而设置。学习装置1能够通过执行上述步骤s121～步骤s123的处理来构建完成训练的第三生成器431，完成训练的第三生成器431获得了生成通过输入值指定的类别的事件及程度的加速度的转变程度的伪值的能力。
[0432]
本变形例中，学习装置1通过执行上述步骤s131～步骤s133的处理能够构建完成训练的推测器44，完成训练的推测器44获得了由通过完成训练的第一生成器411生成的伪样本542来推测生成该伪样本542时提供给完成训练的第一生成器411的输入的能力。另外，本变形例中，学习装置1能够通过利用完成训练的第一生成器411及推测器44执行上述步骤
s141～步骤s144的处理来生成第三样本551～第二样本521，第三样本551～第二样本521包括正常驾驶时产生的加速度的转变及因突发事件产生的加速度的转变。
[0433]
(数据生成装置)
[0434]
本变形例中，第一输入值221、第二输入值223及第三输入值225可以根据希望生成的样本中的影响因子的类别、突发事件的类别、及反映突发事件的程度来指定。数据生成装置2能够通过利用完成训练的各生成器(411、421、431)来执行上述步骤s201～步骤s205的处理而一边控制反映突发事件的程度，一边生成新样本65，新样本65包括正常驾驶时所产生的加速度的转变及因突发事件而产生的加速度的转变。
[0435]
(监视装置)
[0436]
图24a示意性示例本变形例的监视装置3b的硬件配置的一例。如图24a所示，与上述推测装置3相同，本变形例的监视装置3b可以由电连接有控制部31、存储部32、通信接口33、外部接口34、输入装置35、输出装置36、及驱动器37的计算机构成。
[0437]
本变形例中，存储部32存储监视程序83b等各种信息。监视程序83b与上述实施方式的推测程序83对应。另外，本变形例中，监视装置3b经由外部接口34连接于加速度传感器sb。加速度传感器sb可以适当配置为可以测定车辆行驶中的加速度。
[0438]
需要说明的是，监视装置3b的硬件配置可以不限定于这样的例子。关于监视装置3b的具体的硬件配置，根据实施方式，可以适当省略、取代及添加构件。监视装置3b为所提供的服务专用设计的信息处理装置、以及通用计算机、包括智能手机在内的手机、车载装置等。
[0439]
图24b示意性示例本变形例的监视装置3b的软件配置的一例。与上述实施方式相同地，监视装置3b的软件配置通过由控制部31执行监视程序83b而实现。除所处理的数据如上所限定这一点之外，监视装置3b的软件配置与上述推测装置3相同。监视部312b与上述推测部312对应。由此，监视装置3b能够与上述推测装置3的推测处理相同地执行与驾驶员的驾驶状态的监视相关的一系列的处理。
[0440]
即，步骤s301中，控制部31从加速度传感器sb中获取表现出推测对象的加速度的转变的加速度数据的对象样本325。步骤s302中，控制部31作为监视部312b进行动作，通过利用数据组320分析对象样本325来由对象样本325检测因突发事件而产生的加速度的转变。数据组320中所含的样本321中包括正常驾驶时所产生的加速度的转变及因突发事件而产生的加速度的转变。可以为每个所检测的突发事件选择极限事例的样本321。检测的参数可以基于选为极限事例的样本321来设置。由此，控制部31能够推测驾驶员的驾驶状态。需要说明的是，驾驶状态的推测可以实时实施，也可以为了评价过去时刻的驾驶状态而实施。
[0441]
步骤s303中，控制部31输出与驾驶员的驾驶状态的推测结果相关的信息。例如，控制部31可以制作与因突发事件而产生的加速度的转变相关的历史，并将制作的历史保存于规定的存储区域。该历史可以直接表示通过步骤s302得到的加速度的转变，也可以表示对得到的加速度的转变执行某种信息处理后的结果。作为一例，控制部31可以基于因突发事件而产生的加速度的转变评价发送事故的可能性的程度，并制作表示评价结果的历史。此外，控制部31还可以基于因突发事件而产生的加速度的转变识别例如急刹车、突然加速、急转向等驾驶员的行动，并示作表示识别结果的历史。识别行动的指标可以适当设置。监视装置3b能够通过在驾驶员驾驶车辆期间反复执行步骤s301～步骤s303的处理来持续监视驾
驶员的驾驶状态。
[0442]
(特征)
[0443]
根据本变形例，在数据生成装置2中，可以自由且自动生成新样本65，该新样本65表现出由影响因子的类别及突发事件的任意组合所产生的加速度的转变。因此，能够减少收集表现出影响因子的类别及突发事件的各种组合的多种不同样本所耗费的成本。另外，通过将生成的新样本65添加至数据组320，能够减少或消除未得到样本321的影响因子的类别及突发事件的组合。由此，能够有望提高监视装置3b中推测驾驶员的驾驶状态的处理的精度。
[0444]
[其它方式]
[0445]
需要说明的是，加速度传感器sb是车载传感器的一例。除加速度传感器sb之外，车载传感器还可以使用例如相机、lidar传感器、毫米波雷达、超声波传感器等。由此，可以推测车辆外部的状况来代替驾驶员的驾驶状态，或与驾驶状态共同推测车辆外部的状况。在该情况下，也与上述相同地，第一特征可以与正常驾驶时所产生的各种转变相关，第二特征可以与因突发事件而产生的各种转变相关。第一特征的类别可以通过正常驾驶的影响因子的类别来表达，第二特征的类别可以通过突发事件的类别来表达。
[0446]
(c)探测机器的异常的情境
[0447]
图25示意性示例第三变形例的探测系统100c的应用情境的一例。本变形例是在利用包括图2b中示例的机器的运行声音的声音数据来探测机器的异常的情境中应用上述实施方式的例子。本变形例的探测系统100c具备学习装置1、数据生成装置2及异常探测装置3c。与上述实施方式相同地，学习装置1、数据生成装置2及异常探测装置3c经由网络相互连接。
[0448]
本变形例中处理的规定种类的数据是包括机器rc的运行声音的声音数据。该声音数据可以通过利用麦克风sc录制机器rc的运行声音来得到。第一特征与机器rc正常运行时产生的运行声音、机器rc周围的杂音等环境声音相关，第二特征与因机器rc的老化、故障等异常所产生的异常声音相关。机器rc及异常的种类可以不受特别限定，可以根据实施方式适当选择。如上所述，机器rc可以例如为输送装置、工业机器人等构成生产线的装置。机器rc可以为装置整体，也可以为电机等装置的一部分。异常可以例如为故障、混入异物、附着污物、磨耗组件。除这些限定之外，本变形例的探测系统100c可以与上述实施方式的推测系统100相同地构成。
[0449]
(学习装置)
[0450]
本变形例中，第一学习数据集51的第一样本511可以为包括环境声音的声音数据的样本，第一标签512可以表示机器rc及周围环境的类别。如上所述，机器rc的周围环境可以通过例如机器rc所驱动的场所、时间等来区分。学习装置1能够通过执行上述步骤s101～步骤s103的处理来构建完成训练的第一生成器411，完成训练的第一生成器411获得了生成伪样本的能力，该伪样本包括通过输入值指定的类别的机器rc及周围环境的环境声音。
[0451]
本变形例中，第二学习数据集52的第二样本521可以为包括异常声音的声音数据的样本，第二标签522可以表示异常的类别。学习装置1能够通过执行上述步骤s111～步骤s113的处理来构建完成训练的第二生成器421，完成训练的第二生成器421获得了生成伪样本的能力，该伪样本包括因通过输入值指定的类别的异常所产生的异常声音。
[0452]
本变形例中，第三学习数据集53的样本值531可以表示异常声音的属性的程度。异常声音的属性可以通过例如振幅、频率等来表达。反映水平532可以表示反映异常声音的程度。反映水平532可以与异常的严重程度、机器rc的正常度等异常的程度向关联而设置。学习装置1能够通过执行上述步骤s121～步骤s123的处理来构建完成训练的第三生成器431，完成训练的第三生成器431获得了生成通过输入值指定的类别及程度的异常声音的属性的伪值的能力。
[0453]
本变形例中，学习装置1能够通过执行上述步骤s131～步骤s133的处理来构建练完成的推测器44，练完成的推测器44获得了由通过完成训练的第一生成器411生成的伪样本542来推测生成该伪样本542时提供给完成训练的第一生成器411的输入的能力。另外，本变形例中，学习装置1能够通过利用完成训练的第一生成器411及推测器44执行上述步骤s141～步骤s144的处理来生成包括环境声音及异常声音的第三样本551～第二样本521。
[0454]
(数据生成装置)
[0455]
本变形例中，第一输入值221、第二输入值223、及第三输入值225可以根据希望生成的样本中的机器及周围环境的类别、异常的类别、以及反映异常声音的程度来指定。数据生成装置2能够通过利用完成训练的各生成器(411、421、431)执行上述步骤s201～步骤s205的处理来一边控制反映异常声音的程度，一边生成包括所指定的类别的环境声音及异常声音的新样本65。
[0456]
(异常探测装置)
[0457]
图26a示意性示例本变形例的异常探测装置3c的硬件配置的一例。如图26a所示，与上述推测装置3相同地，本变形例的异常探测装置3c可以由电连接有控制部31、存储部32、通信接口33、外部接口34、输入装置35、输出装置36、及驱动器37的计算机构成。
[0458]
本变形例中，存储部32存储异常探测程序83c等各种信息。异常探测程序83c与上述实施方式的推测程序83对应。另外，本变形例中，异常探测装置3c经由外部接口34与麦克风sc连接。麦克风sc可以适当配置于可以录制机器rc的运行声音的场所。
[0459]
需要说明的是，异常探测装置3c的硬件配置可以不限定于这样的例子。关于异常探测装置3c的具体的硬件配置，根据实施方式，可以适当省略、取代及添加构件。异常探测装置3c可以为所提供的服务专用设计的信息处理装置、以及通用的服务器装置、通用的pc、plc等。
[0460]
图26b示意性示例本变形例的异常探测装置3c的软件配置的一例。与上述实施方式相同地，异常探测装置3c的软件配置通过由控制部31执行异常探测程序83c来实现。除所处理的数据如上限定这一点之外，异常探测装置3c的软件配置与上述推测装置3相同。探测部312c与上述推测部312对应。由此，异常探测装置3c能够与上述推测装置3的推测处理相同地执行与机器rc的异常的探测相关的一系列的处理。
[0461]
即，步骤s301中，控制部31从麦克风sc获取包括待检查的机器rc的运行声音的对象样本325。步骤s302中，控制部31作为探测部312c进行动作，通过利用数据组320分析对象样本325来判定待检查的机器rc是否产生了异常。数据组320中所含的样本321中包括环境声音及异常声音。可以为每种所检测的异常的类别选择极限事例的样本321。检测的参数可以基于选作极限事例的样本321来设置。由此，控制部31能够推测机器rc的动作状态。在机器rc的动作产生了异常的情况下，控制部31能够探测该异常。
[0462]
步骤s303中，控制部31输出与机器rc的动作状态的推测结果相关的信息。例如，控制部31可以直接将机器rc的动作状态的推测结果输出给输出装置36。另外，例如，在通过步骤s302的处理探测到产生了异常的情况下，控制部31可以将用于通知产生该异常的警告输出给输出装置36。并且，在异常探测装置3c配置为可控制机器rc的动作的情况下，控制部31可以根据探测到产生异常而停止机器rc的动作。此外，控制部31可以将机器rc上所产生的异常的类别、及用于应对异常的维护方法的信息输出给输出装置36。表示用于应对异常的维护方法的信息可以保存于存储部32、存储介质93、外部存储装置、存储介质等规定的存储区域。控制部31可以从规定的存储区域适当获取用于应对异常的维护方法。
[0463]
(特征)
[0464]
根据本变形例，在数据生成装置2中，可以自由且自动地生成包括任意的类别的环境声音及异常声音的组合的新样本65。因此，能够减少收集包括环境声音及异常声音的各种组合的多种不同样本所耗费的成本。另外，通过将生成的新样本65追加至数据组320，能够减少或消除未得到样本321的环境声音及异常声音的组合。由此，能够有望提高异常探测装置3c探测机器rc的异常的处理的精度。
[0465]
[其它方式]
[0466]
需要说明的是，麦克风sc是用于监视机器rc的状态的传感器的一例。通过传感数据探测机器rc的异常的方法可以并不限定于利用包括上述机器rc的运行声音的声音数据的方法。除麦克风sc之外，例如加速度传感器、振动传感器等测定机器的振动的传感器也可以用于探测机器rc的异常。在该情况下，只是声音(空气的振动)替换为了机器rc的物理振动，能够通过与上述相同的方法来探测机器rc的异常。
[0467]
《4.2》
[0468]
在上述实施方式中，各生成器(411、421、431)、各识别器(412、422、432)及推测器44使用完全耦合型的神经网络。然而，分别构成各生成器(411、421、431)、各识别器(412、422、432)及推测器44的神经网络的种类可以不限定于这样的例子。各生成器(411、421、431)、各识别器(412、422、432)及推测器44可以使用卷积神经网络、递归型神经网络等。
[0469]
另外，在上述实施方式中，分别构成各生成器(411、421、431)、各识别器(412、422、432)及推测器44的机器学习模型的种类可以不限定于神经网络。各识别器(412、422、432)及推测器44除神经网络以外，也可以使用例如支持向量机、回归模型、决策树模型等。机器学习的方法可以根据各自的机器学习模型的种类适当选择。
[0470]
另外，在上述实施方式中，各生成器(411、421、431)、各识别器(412、422、432)及推测器44各自的输入及输出的形式可以不受特别限定，可以根据实施方式适当确定。例如，第一生成器411可以配置为进一步接受噪音及第一特征的类别以外的信息的输入。另外，例如，第一生成器411可以配置为输出伪样本以外的信息。关于其它也是相同的。
[0471]
《4.3》
[0472]
在上述实施方式中，各学习模型41～43由各生成器(411、421、431)及各识别器(412、422、432)构成。然而，作为各学习模型41～43的构成，只要可以训练各生成器(411、421、431)以使其获得生成对应的假的数据的能力，则可以不限定于这样的例子，可以根据实施方式适当确定。
[0473]
图27示意性示例本变形例的第一学习模型41d的构成的一例。本变形例的第一学
习模型41d由编码器415及解码器411d构成。编码器415配置为将包括第一特征的样本及表示第一特征的类别的信息转换特征量。解码器411d配置为从通过编码器415得到的特征量及表示对应的第一特征的类别的信息还原出包括对应的第一特征的样本。在本变形例中，解码器411d与第一生成器411对应。通过编码器415得到的特征量与上述实施方式中的噪音(潜在变量)对应。
[0474]
编码器415及解码器411d分别由机器学习模型构成。分别构成编码器415及解码器411d的机器学习模型的种类可以不受特别限定，可以根据实施方式适当选择。与上述实施方式相同地，分别构成编码器415及解码器411d的机器学习模型可以使用例如神经网络。在编码器415及解码器411d分别由神经网络构成的情况下，在上述步骤s102中，学习装置1能够如下所述那样实施第一学习模型41d的机器学习。
[0475]
即，控制部11针对各第一学习数据集51将第一样本511及第一标签512输入编码器415，并执行编码器415的运算处理。由此，控制部11从编码器415获取与将第一样本511及第一标签512转换特征量而得到的结果相对应的输出值。
[0476]
接着，控制部11将从编码器415得到的特征量及对应的第一标签512输入解码器411d，并执行解码器411d的运算处理。由此，控制部11从解码器411d获取与由特征量及第一标签512恢复的恢复样本515d对应的输出值。
[0477]
控制部11针对各第一学习数据集51计算得到的恢复样本515d与第一样本511的误差。控制部11通过误差反向传播法使用算出的误差的梯度来计算编码器415及解码器411d各自的运算参数的值的误差。控制部11基于算出的各误差更新编码器415及解码器411d各自的运算参数的值。控制部11通过该一系列的更新处理调节编码器415及解码器411d各自的运算参数的值，以减小所算出的误差的和。
[0478]
需要说明的是，除上述更新处理之外，控制部11可以进一步计算从编码器415得到的特征量与从规定的概率分布(例如，高斯分布等)中得到的值的误差，并调节编码器415的运算参数的值，以减小该误差的和。由此，控制部11可以归一化编码器415的输出值。
[0479]
通过以上的机器学习，能够构建完成训练的编码器415，建完成训练的编码器415获得了将包括第一特征的样本及表示第一特征的类别的信息转换为合适的特征量的能力。与此同时，还能够构成完成训练的解码器411d，完成训练的解码器411d获得了由特征量及表示第一特征的类别的信息生成包括对应的第一特征的样本的能力。
[0480]
特征量与上述噪音对应，因此，完成训练的解码器411d能够与上述完成训练的第一生成器411相同地进行处理。数据生成装置2能够通过与上述实施方式相同的处理流程利用完成训练的解码器411d来生成第一伪样本61。另外，学习装置1能够通过与上述实施方式相同的处理流程利用完成训练的解码器411d及推测器44来生成第三样本551～第二样本521。需要说明的是，第二学习模型42及第三学习模型43也可以分别如本变形例的第一学习模型41d那样构成。
[0481]
《4.4》
[0482]
在上述实施方式中，可以省略第三学习模型43。在该情况下，可以从学习装置1的软件配置中省略第三获取部113及第三训练部117。在学习装置1的处理流程中，可以省略步骤s121～步骤s123的处理。在数据生成装置2的处理流程中，可以省略步骤s204的处理。控制部21可以在步骤s205中适当合成第一伪样本61及第二伪样本62。控制部21可以通过例如
将第一伪样本61及第二伪样本62直接重叠相加来合成第一伪样本61及第二伪样本62。或者，合成的参数可以通过操作者的输入等适当指定。控制部21可以基于所指定的参数来合成第一伪样本61及第二伪样本62。
[0483]
《4.5》
[0484]
在上述实施方式中，推测器44的机器学习可以通过学习装置1以外的其它计算机来执行。或者，第二样本521可以通过利用操作者的操作进行数据加工等除上述实施方式以外的方法来生成。例如，控制部11可以通过计算第三样本551与仅包括预先提供的第一特征的样本的差量来生成第二样本521。在这些情况下，可以从学习装置1的软件配置中省略第四获取部114及第四训练部118。在学习装置1的处理流程中，可以省略步骤s131～步骤s133及步骤s141～步骤s144的处理。
[0485]
《4.6》
[0486]
上述实施方式的推测装置3在步骤s302中与第二特征相关的推测处理中利用了完成训练的第一生成器411及推测器44。然而，与第二特征相关的推测处理可以不限定于这样的例子。例如，可以预先提供包括与对象样本325对应的第一特征的样本。推测装置3可以使用该预先提供的样本来代替伪样本326。另外，例如，推测装置3可以通过由部分空间法等方法生成的其它模型来由该对象样本325生成包括与对象样本325对应的第一特征的样本。需要说明的是，如这些中所示例那样，在推测处理中不利用完成训练的第一生成器411及推测器44的情况下，可以从推测装置3所保持的信息中省略第一学习结果数据121及第四学习结果数据124。
[0487]
另外，在上述实施方式中，与第二特征相关的推测处理通过对于差量样本327的数据解析来实现。新样本65可以反映于该数据解析的参数中。然而，将新样本65反映在推测处理的参数中的方式可以不限定于这样的例子。作为其它方式的一例，与第二特征相关的推测处理中可以使用获得了实施该推测处理的能力的完成训练的机器学习模型。新样本65可以通过用于该机器学习模型的机器学习而被反映于完成训练的机器学习模型的运算参数的值。在该方式中，完成训练的机器学习模型的运算参数相当于推测处理中的参数。
[0488]
图28示意性示例本变形例的推测系统100e的应用情境的一例。本变形例为将完成训练的机器学习模型用于推测处理的方式的一例。本变形例的推测系统100e具备学习装置1、数据生成装置2、推测装置3e及其它学习装置7。推测装置3e与上述实施方式的推测装置3对应。其它学习装置7是配置为生成可用于与第二特征相关的推测处理的完成训练的机器学习模型的计算机。与上述实施方式相同地，学习装置1、数据生成装置2、推测装置3e、及其它学习装置7经由网络相互连接。另外，学习装置1、数据生成装置2、推测装置3e、及其它学习装置7中的至少任意一对为一体计算机。
[0489]
[其它学习装置]
[0490]
(硬件配置)
[0491]
图29示意性示例本变形例的其它学习装置7的硬件配置的一例。如图29所示，本变形例的其它学习装置7由电连接有控制部71、存储部72、通信接口73、外部接口74、输入装置75、输出装置76、及驱动器77的计算机构成。其它学习装置7的控制部71～驱动器77及存储介质97可以分别与上述学习装置1的控制部11～驱动器17及存储介质91相同地构成。
[0492]
本变形例中，存储部72存储学习程序87、多个学习数据集721、学习结果数据725等
各种信息。学习程序87是用于使其它学习装置7执行与可用于推测处理的完成训练的机器学习模型的生成相关的后述信息处理(图31)的程序。学习程序87包括该信息处理的一系列的指令。与上述学习程序81相同地，学习程序87也可以称作“模型生成程序”或简称作“生成程序”。多个学习数据集721用于机器学习模型的机器学习。学习结果数据725表示与通过机器学习构建的完成训练的机器学习模型相关的信息。学习结果数据725被作为学习程序87的执行结果而生成。学习程序87及多个学习数据集721中的至少任意一个可以存储于存储介质97。另外，其它学习装置7可以从存储介质97中获取学习程序87及多个学习数据集721中的至少任意一个。
[0493]
需要说明的是，关于其它学习装置7的具体的硬件配置，根据实施方式，可以适当省略、取代及添加构件。例如，控制部71可以包括多个硬件处理器。硬件处理器可以由微处理器、fpga、dsp等构成。存储部72可以由控制部71中所含的ram及rom构成。可以省略通信接口73、外部接口74、输入装置75、输出装置76及驱动器77中的至少任意一个。其它学习装置7可以由多台计算机构成。在该情况下，各计算机的硬件配置可以一致，也可以不一致。另外，其它学习装置7可以为所提供的服务专用设计的信息处理装置、以及通用的服务器装置、通用的pc等。
[0494]
(软件配置)
[0495]
图30示意性示例本变形例的其它学习装置7的软件配置的一例。与上述学习装置1等相同地，通过控制部71执行学习程序87。由此，其它学习装置7作为计算机进行动作，该计算机具备获取部711、训练部712及保存处理部713作为软件模块。即，本变形例中，其它学习装置7的各软件模块通过控制部71(cpu)实现。
[0496]
获取部711获取分别由训练样本7211及正确答案数据7212的组合构成的多个学习数据集721。训练样本7211包括第一特征。另一方面，训练样本7211可以为包括第二特征的样本及不包括第二特征的样本中的任意一种。新样本65可以被用作训练样本7211。正确答案数据7212表示对训练样本7211执行与第二特征相关的规定的推测而得到的结果(正确答案)。
[0497]
训练部712使用获取的多个学习数据集721执行机器学习模型45的机器学习。在机器学习中，训练部712训练机器学习模型45，以在针对各学习数据集721输入训练样本7211之后，输出与正确答案数据7212匹配的输出值。由此，能够生成完成训练的机器学习模型45，完成训练的机器学习模型45获得了执行与第二特征相关的推测处理的能力。保存处理部713生成与完成训练的机器学习模型45相关的信息作为学习结果数据725，并将生成的学习结果数据725保存于规定的存储区域。
[0498]
机器学习模型45的种类可以不受特别限定，可以根据实施方式适当选择。机器学习的方法可以根据机器学习模型45的种类选择。与上述第一生成器411等相同地，机器学习模型45可以通过例如神经网络构成。以下，为了方便说明，假定机器学习模型45由神经网络构成。
[0499]
需要说明的是，本变形例中，与上述学习装置1等相同地，对其它学习装置7的各软件模块均由通用的cpu实现的例子进行了说明。然而，以上的软件模块的一部分或全部也可以由一个或多个专用的处理器实现。另外，关于其它学习装置7的软件配置，根据实施方式，可以适当地省略、取代及添加软件模块。
[0500]
(动作例)
[0501]
图31是示出与由本变形例的其它学习装置7进行的机器学习模型45的机器学习相关的处理流程的一例的流程图。需要说明的是，以下说明的处理流程仅为一例，只要允许，各步骤则可以进行变更。并且，针对以下说明的各处理流程，根据实施方式，可以适当地省略、取代及添加步骤。
[0502]
步骤s701中，控制部71作为获取部711进行动作，获取多个学习数据集721。可以适当生成各学习数据集721。作为一例，适当获取训练样本7211。训练样本7211可以通过与上述第一样本511或第三样本551相同的方法获取。接着，对获取的训练样本7211执行与第二特征相关的规定的推测。在该情境下，规定的推测可以由操作者等手动进行。并且，将对训练样本7211执行规定的推测后的结果(正确答案)与训练样本7211相关联。由此，能够生成各学习数据集721。与上述第一学习结果数据51等相同地，各学习数据集721可以通过计算机的动作自动生成，也可以通过操作者的操作手动生成。另外，各学习数据集721可以通过其它学习装置7来进行，也可以通过其它学习装置7以外的其它计算机来进行。控制部71获取生成的各学习数据集721。
[0503]
另外，新样本65可以用作训练样本7211。例如，在学习数据集721的件数不足的情况下，控制部71可以通过与上述推测装置3相同的方法来委托生成新样本65。在该情况下，各输入值(221、223、225)可以在其它学习装置7中指定。或者，数据生成装置2可以不依赖于来自其它学习装置7的委托而生成新样本65。由此，通过利用任意方法将生成的新样本65提供给其它学习装置7，其它学习装置7可以获取所提供的新样本65作为训练样本7211。正确答案数据7212可以通过生成新样本65时所指定的第二输入值223及第三输入值225来提供。
[0504]
获取的学习数据集721的件数可以不受特别限定，可以根据实施方式适当选择。获取多个学习数据集721之后，控制部71进入下一步骤s702进行处理。
[0505]
步骤s702中，控制部71作为训练部712进行动作，使用获取的多个学习数据集721实施机器学习模型45的机器学习。作为一例，控制部71针对各学习数据集721将训练样本7211输入机器学习模型45，并执行机器学习模型45的运算处理。由此，从机器学习模型45获取与对训练样本7211执行与第二特征相关的规定的推测处理而得到的结果相对应的输出值。控制部71针对各学习数据集721计算得到的输出值与正确答案数据7212的误差。控制部71通过误差反向传播法使用算出的误差的梯度来计算机器学习模型45的运算参数的值的误差。控制部71基于算出的各误差更新机器学习模型45的运算参数的值。控制部71通过该一系列的更新处理调节机器学习模型45的运算参数的值，以减小所算出的误差的和。由此，能够生成完成训练的机器学习模型45，完成训练的机器学习模型45获得了执行与第二特征相关的推测处理的能力。另外，通过将通过数据生成装置2生成的新样本65用于该机器学习的处理，能够在完成训练的机器学习模型45的运算参数的值中反映新样本65。机器学习模型45的机器学习完成后，控制部71进入下一步骤s703进行处理。
[0506]
需要说明的是，在上述实施方式中，与选择极限事例的样本321相同地，本变形例中，可以选择在该机器学习中优先的学习数据集721。优先的学习数据集721可以选自包括通过数据生成装置2生成的新样本65的数据组。例如，在图2a的例子中，可以由操作者进行选择，以使多个学习数据集中，包括希望抑制检测错误的缺陷所呈现于的样本的学习数据集优先进行机器学习。在该情况下，在上述一系列的更新处理中，所选择的学习数据集721
的采样率或学习率可以被设置为高于其它学习数据集721。由此，在上述机器学习中，优先训练所选择的学习数据集721。其结果，在完成训练的机器学习模型45中，能够有望提高对所选择的学习数据集721的训练样本7211进行的与第二特征相关的推测处理(上述图2a的例子中为缺陷检测)的精度。
[0507]
步骤s703中，控制部71生成与完成训练的机器学习模型45相关的信息作为学习结果数据725，并将生成的学习结果数据725保存于规定的存储区域。规定的存储区域可以例如为控制部71内的ram、存储部72、存储介质97、外部存储装置或它们的组合。由此，学习结果数据725保存完成之后，控制部71结束本动作例的处理流程。
[0508]
[推测装置]
[0509]
接着，使用图32a及图32b，对本变形例的推测装置3e进行说明。图32a示意性示例本变形例的推测装置3e的硬件配置的一例。图32b示意性示例本变形例的推测装置3e的软件配置的一例。
[0510]
如图32a所示，与上述推测装置3相同地，本变形例的推测装置3e由电连接有控制部31、存储部32、通信接口33、外部接口34、输入装置35、输出装置36、及驱动器37的计算机构成。
[0511]
本变形例中，存储部32存储推测程序83e、学习结果数据725等各种信息。推测程序83e与上述实施方式的推测程序83对应。推测程序83e及学习结果数据725中的至少任意一种可以存储于存储介质93。另外，推测装置3e可以从存储介质93中获取推测程序83e及学习结果数据725中的至少任意一种。
[0512]
需要说明的是，与上述第一学习结果数据121等相同地，通过其它学习装置7生成的学习结果数据725可以在任意的时间点应用于推测装置3e。另外，可以定期或不定期地反复进行上述步骤s701～步骤s703的处理。并且，通过利用任意的方法将更新或新制作的学习结果数据725提供给推测装置3e，可以更新推测装置3e所保持的学习结果数据725。
[0513]
如图32b所示，与上述实施方式相同地，推测装置3e的软件配置通过由控制部31执行推测程序83e来实现。推测处理中的参数的值由上述机器学习来确定，因此，除省略设置部314这一点之外，推测装置3e的软件配置与上述推测装置3相同。推测部312e与上述推测部312对应。本变形例中，推测部312e通过保持有学习结果数据725而具备完成训练的机器学习模型45。由此，除在步骤s302中利用完成训练的机器学习模型45这一点之外，推测装置3e能够通过与上述实施方式相同的流程来对对象样本325执行与第二特征相关的推测处理。
[0514]
在上述步骤s302中，控制部31作为推测部312e进行动作，参考学习结果数据725来设置完成训练的机器学习模型45。控制部31将获取的对象样本325输入完成训练的机器学习模型45，并执行完成训练的机器学习模型45的运算处理。由此，控制部31能够从完成训练的机器学习模型45获取与对对象样本325执行与第二特征相关的推测处理而得到的结果相对应的输出值。在上述图2a的例子中，控制部31能够从完成训练的机器学习模型45获取与呈现于对象样本325的产品中是否包括缺陷的判定结果相对应的输出值。本变形例中，通过该处理实现与第二特征相关的推测处理。
[0515]
《4.7》
[0516]
在上述实施方式中，由通过数据生成装置2生成的新样本65所合成的第一特征及
第二特征的数目可以不限定于一个，也可以为两个以上。例如在上述步骤s205中，控制部21可以向一个第一伪样本61合成分别包括不同类别的第二特征的两个以上第二伪样本62。由此，能够生成表现出两个以上第二特征的新样本65。例如，在上述图2a的例子中，能够生成与在产品p1中产生了两个以上缺陷p12的事例相对应的新样本65。
[0517]
《4.8》
[0518]
在上述实施方式中，各学习模型41～43及推测器44可以分别由不同的计算机生成。另外，例如，在暂定生成完成训练的各生成器(411、421、431)及推测器44的状况等，不需要保存各学习结果数据121～124的情况下，可以省略步骤s103、步骤s113、步骤s123、及步骤s133的处理。在该情况下，可以从学习装置1的软件配置中省略保存处理部119。
[0519]
另外，在上述实施方式中，数据生成装置2通过步骤s201的处理接受到各输入值(221、223、225)的指定。然而，指定各输入值(221、223、225)的方法可以不限定于这样的例子。例如，各输入值(221、223、225)可以通过随机等方法由机器确定。在该情况下，在数据生成装置2的处理流程中，可以省略步骤s201的处理。可以从数据生成装置2的软件配置中省略接受部211。
[0520]
附图标记说明
[0521]1…
学习装置、
[0522]
11
…
控制部、12
…
存储部、13
…
通信接口、
[0523]
14
…
外部接口、
[0524]
15
…
输入装置、16
…
输出装置、
[0525]
17
…
驱动器、91
…
存储介质、
[0526]
81
…
学习程序、
[0527]
111
…
第一获取部、112
…
第二获取部、
[0528]
113
…
第三获取部、114
…
第四获取部、
[0529]
115
…
第一训练部、116
…
第二训练部、
[0530]
117
…
第三训练部、118
…
第四训练部、
[0531]
119
…
保存处理部、
[0532]
121
…
第一学习结果数据、122
…
第二学习结果数据、
[0533]
123
…
第三学习结果数据、124
…
第四学习结果数据、
[0534]2…
数据生成装置、
[0535]
21
…
控制部、22
…
存储部、23
…
通信接口、
[0536]
24
…
外部接口、
[0537]
25
…
输入装置、26
…
输出装置、
[0538]
27
…
驱动器、92
…
存储介质、
[0539]
82
…
数据生成程序、
[0540]
211
…
接受部、212
…
第一生成部、
[0541]
213
…
第二生成部、214
…
数据合成部、
[0542]
220、222、224
…
噪音、
[0543]
221
…
第一输入值、223
…
第二输入值、
[0544]
225
…
第三输入值、
[0545]3…
推测装置、
[0546]
31
…
控制部、32
…
存储部、33
…
通信接口、
[0547]
34
…
外部接口、
[0548]
35
…
输入装置、36
…
输出装置、
[0549]
37
…
驱动器、93
…
存储介质、
[0550]
83
…
推测程序、
[0551]
311
…
获取部、312
…
推测部、313
…
输出部、
[0552]
314
…
设置部、
[0553]
320
…
数据组、321
…
样本、
[0554]
325
…
对象样本、326
…
伪样本、
[0555]
327
…
差量样本、
[0556]
41
…
第一学习模型、
[0557]
411
…
第一生成器、412
…
第一识别器、
[0558]
42
…
第二学习模型、
[0559]
421
…
第二生成器、422
…
第二识别器、
[0560]
43
…
第三学习模型、
[0561]
431
…
第三生成器、432
…
第三识别器、
[0562]
44
…
推测器、
[0563]
51
…
第一学习数据集、
[0564]
511
…
第一样本、512
…
第一标签、
[0565]
52
…
第二学习数据集、
[0566]
521
…
第二样本、522
…
第二标签、
[0567]
53
…
第三学习数据集、
[0568]
531
…
样本值、532
…
反映水平、
[0569]
54
…
第四学习数据集、
[0570]
541
…
样本值、542
…
伪样本(第四伪样本)、
[0571]
551
…
第三样本、555
…
伪样本(第三伪样本)、
[0572]
61
…
第一伪样本、62
…
第二伪样本、
[0573]
63
…
伪值。