偏差调整装置、信息处理装置、信息处理方法以及信息处理程序与流程

1.本公开涉及偏差调整装置、信息处理装置、信息处理方法以及信息处理程序。


背景技术：

2.使用机器学习的信息处理用于各种技术领域中，并且已经提供了训练神经网络等的模型的技术。例如，已经提供了训练从数据中识别出识别目标的识别器(模型)的技术(例如，参见专利文献1)。
3.引用列表
4.专利文献
5.专利文献1：日本专利申请公开第2017-130196号。


技术实现要素：

6.技术问题
7.根据传统技术，测量通过训练生成的识别器识别目标的精度。
8.然而，传统技术并不总是能够通过使用由调整后的数据训练的模型来适当地实施与模型的训练相关的处理。例如，传统技术仅测量识别器识别目标的精度。因此，例如，难以生成指示模型的精度与数据之间的关系的信息，或者难以通过调整数据实现期望模型的训练。因此，期望通过使用由调整后的数据训练的模型适当地实施与模型的训练相关的处理。
9.因此，本公开提出了能够通过使用由调整后的数据训练的模型适当地实施与模型的训练相关的处理的偏差调整装置、信息处理装置、信息处理方法以及信息处理程序。
10.问题的解决方案
11.根据本公开，用于通过使用训练数据进行机器学习的识别模型的偏差调整装置包括：计算单元，计算由第一训练数据训练的识别模型的第一识别精度和由调整第一训练数据的数据数量而获取的第二训练数据训练的识别模型的第二识别精度；预测单元，基于第一识别精度和第二识别精度预测识别精度相对于训练数据的数量的变化；以及控制单元，基于所预测的识别精度的变化调整用于训练的数据数量或者改变识别模型，使得所预测的识别精度的变化成为预定目标值。
附图说明
12.图1是示出根据本公开的实施例的信息处理的示例的示图。
13.图2是示出根据本公开的实施例的信息处理的示例的示图。
14.图3是示出根据本公开的实施例的信息处理装置的配置示例的示图。
15.图4是示出根据本公开的实施例的数据信息存储单元的示例的示图。
16.图5是示出根据本公开的实施例的模型信息存储单元的示例的示图。
17.图6是示出根据本公开的实施例的模型的示例的示图。
18.图7是示出根据本公开的实施例的信息处理的过程的流程图。
19.图8是示出根据本公开的实施例的信息处理的过程的流程图。
20.图9是示出精度信息的显示的示例的示图。
21.图10是示出目标精度与数据数量之间的关系的示图。
22.图11是示出目标精度与数据数量之间的关系的显示的示例的示图。
23.图12是示出信息处理系统的处理的概念图的示例的示图。
24.图13是示出根据本公开的修改示例的信息处理系统的配置示例的示图。
25.图14是示出根据本公开的修改示例的信息处理装置的配置示例的示图。
26.图15是示出实现信息处理装置的功能的计算机的示例的硬件配置图。
具体实施方式
27.在下文中，将基于附图详细描述本公开的实施例。注意，这些实施例不限制根据本技术的偏差调整装置、信息处理装置、信息处理方法以及信息处理程序。另外，在以下实施例中的每个实施例中，通过为相同的部分分配相同的参考标记省略重复的描述。
28.将按以下项目顺序描述本公开。
29.1.实施例
30.1-1.根据本公开的实施例的信息处理的概要
31.1-1-1.信息处理的效果和假设
32.1-1-2.精度示例和多种类型的精度
33.1-2.根据实施例的信息处理装置的配置
34.1-2-1.模型示例
35.1-3.根据实施例的信息处理的过程
36.1-4.显示示例
37.1-5.目标精度(目标值)
38.1-5-1.目标精度(目标值)与数据数量之间的关系
39.1-5-2.与目标精度(目标值)相关的显示示例
40.1-6.信息处理系统的处理的概念图
41.2.其他实施例
42.2-1.修改示例
43.2-2.其他配置示例
44.2-3.其他
45.3.根据本公开的效果
46.4.硬件配置
47.[1.实施例]
[0048]
[1-1.根据本公开的实施例的信息处理的概要]
[0049]
图1和图2是示出根据本公开的实施例的信息处理的示例的示图。具体地，图1是示出其中四个类别是目标的信息处理的示例的示图。图2是示出其中一个类别是目标的信息处理过程的示例的示图。根据本公开的实施例的信息处理由图3所示的信息处理装置100实现。图3所示的信息处理装置100是偏差调整装置的示例。
[0050]
信息处理装置100是实施根据实施例的信息处理的信息处理装置。例如，信息处理装置100是实施根据实施例的偏差调整处理的偏差调整装置。注意，将在图10中详细描述由信息处理装置100进行的偏差调整处理。信息处理装置100在调整用于训练的数据数量(数据数量)的同时训练识别模型(在下文中，也简称为“模型”)，并且生成与经训练的模型的识别精度(在下文中，也简称为“精度”)相关的精度信息。信息处理装置100根据数据数量的调整目标来调整训练数据的数量。例如，训练数据至少是与种族、性别、地址、收入或教育背景相关的数据。在下文中，存在这样的情况，其中，将在调整数据数量之前由训练数据训练的模型称为“第一模型”，将由通过调整训练数据的数据数量获取的数据(在下文中，也称为“调整后的数据”)训练的模型称为“第二模型”。在下文中，存在这样的情况，其中，将调整之前的训练数据描述为“第一训练数据”，将调整之后的训练数据(调整后的数据)描述为“第二训练数据”。此外，存在这样的情况，其中，将由第一训练数据训练的模型(识别模型)的识别精度描述为“第一识别精度”，将由第二训练数据训练的模型(识别模型)的识别精度描述为“第二识别精度”。在图1和图2的示例中，将作为示例描述以下情况，其中，信息处理装置100通过使用训练数据(在下文中，也称为“数据集”)来训练第一模型，并且通过使用由根据目标从数据集中减少数据数量获取的调整后的数据来训练第二模型。注意，图1和图2是示例。数据数量的调整不限于数据数量的减少，并且只要可以生成期望的精度信息，该调整可以是任何类型的调整，诸如增加数据数量。
[0051]
此外，在图1和图2的示例中，将描述以下情况的处理，其中，信息处理装置100以种族为目标并且对种族分类且为“种族a”、“种族b”、“种族c”以及“种族d”的四个类别为示例。注意，图1和图2是示例，并且种族可以被分类为五个或更多个类别。此外，目标不限于种族，并且可以是诸如性别、年龄或地区的任何目标。例如，在目标是性别的情况下，执行诸如“男性”和“女性”的类别的分类。目标可以是任何事物，只要被分类为两个或更多个类别。
[0052]
在图1的示例中，信息处理装置100通过使用存储在数据信息存储单元141(参见图4)中的数据集ds1来训练用于图像识别的模型。数据集ds1包括多个成为模型的输入的数据和当输入该数据时预期的模型的输出(在下文中，也称为“正确答案信息”)的对。例如，数据集ds1包括诸如数据dt1到dt8的多个数据，以及对应于每个数据的正确答案信息。注意，数据集ds1可以包括不对应于“种族a”、“种族b”、“种族c”以及“种族d”四个类别中的任一个的数据。
[0053]
在图1的示例中，信息处理装置100设计对应于存储在模型信息存储单元142(参见图5)中的模型m1的网络(诸如神经网络)的结构。信息处理装置100设计用于图像识别的模型m1的网络的结构(网络结构)。例如，信息处理装置100可以基于与对应于每次使用的网络的结构相关并且预先存储在存储单元14(参见图3)中的信息生成用于图像识别的模型m1的网络的结构。例如，信息处理装置100可以从外部装置获取用于图像识别的模型m1的网络的结构信息。
[0054]
数据集ds1包括多个图像和期望作为每个图像的识别结果的输出(正确答案信息)的对。例如，数据集ds1包括数据dt1和对应于数据dt1的正确答案信息的对，数据dt1是种族a的男性在其中成像的图像。此外，例如，数据集ds1包括数据dt2和对应于数据dt2的正确答案信息的对，数据dt2是种族b的女性在其中成像的图像。注意，数据dt1、dt2等的正确答案信息不限于诸如“种族a”和“种族b”的类别本身，而是可以是任何正确答案信息(正确答案
标签)，只要是包括在图像中的事件、对象等的识别结果即可。例如，数据dt1是“种族a”的人在其中成像的图像，并且正确答案信息可以是不同于“种族a”的正确答案信息(正确答案标签)，诸如“毕业典礼”。
[0055]
信息处理装置100由准备的数据集训练所设计的神经网络。信息处理装置100通过使用数据集ds1来训练模型m1的网络。例如，信息处理装置100通过使用数据集ds1来训练诸如模型m1的网络的权重的参数。信息处理装置100训练模型m1的网络的参数，并且生成对应于模型m1的第一模型和第二模型。例如，第一模型和第二模型是具有类似网络结构并且具有诸如权重的不同参数的模型。例如，对应于模型m1的第一模型和第二模型是具有模型m1的网络结构并且具有诸如权重的不同参数的模型。
[0056]
此外，信息处理装置100通过使用预定的评估数据来测量所生成的第一模型和第二模型的性能(也称为“精度”)。例如，信息处理装置100通过使用与训练数据分开准备的评估数据来测量第一模型和第二模型的精度(精度指标)。例如，信息处理装置100使用与训练数据不同的单独的固定评估数据来评估第一模型和第二模型。基于由数据集、训练的第一模型的精度(也称为“第一精度”)和由调整后的数据训练的第二模型的精度(也称为“第二精度”)，信息处理装置100生成指示模型的精度的精度信息。在此所指的精度可以是各种指标。虽然下面将作为示例描述精度，但是稍后将描述精度的细节。
[0057]
信息处理装置100通过使用对应于每个类别的评估数据来测量模型相对于每个类别的精度。例如，信息处理装置100使用对应于类别“种族a”的评估数据(也称为“种族a评估数据”)来测量对应于类别“种族a”的精度。种族a评估数据包括多个对应于类别“种族a”的数据和该数据的正确答案信息的对。此外，信息处理装置100使用对应于类别“种族b”的评估数据(也称为“种族b评估数据”)来测量对应于类别“种族b”的精度。种族a评估数据包括多个对应于类别“种族b”的数据和该数据的正确答案信息的对。
[0058]
此外，信息处理装置100使用对应于类别“种族c”的评估数据(也称为“种族c评估数据”)来测量对应于类别“种族c”的精度。种族c评估数据包括多个对应于类别“种族c”的数据和该数据的正确答案信息的对。此外，信息处理装置100使用对应于类别“种族d”的评估数据(也称为“种族d评估数据”)来测量对应于类别“种族d”的精度。种族d评估数据包括多个对应于类别“种族d”的数据和该数据的正确答案信息的对。注意，上述是示例。评估数据不限于上述数据，并且可以是任何数据，只要能够执行期望的精度评估(测量)。例如，可以使用公共评估数据。
[0059]
通过使用对应于每个类别的模型和评估信息，信息处理装置100以图表gr11所示的方式生成精度信息。图表gr11中的作为由实线表示的圆圈的测量值mr11至mr13以及预测线ln1对应于表示与类别“种族a”对应的模型的精度的信息。此外，图表gr11中的作为由虚线表示的圆圈的测量值mr21至mr23以及预测线ln2对应于表示与类别“种族b”对应的模型的精度的信息。此外，图表gr11中的作为由点划线表示的圆圈的测量值mr21至mr23以及预测线ln3对应于表示与类别“种族c”对应的模型的精度的信息。此外，图表gr11中的作为由双点划线表示的圆圈的测量值mr41至mr43以及预测线ln4对应于表示与类别“种族d”对应的模型的精度的信息。注意，信息处理装置100可以使能通过颜色识别每个类别的信息。例如，信息处理装置100可以分别以诸如蓝色、绿色、黄色以及红色的不同颜色生成指示对应于作为类别“种族a”、“种族b”、“种族c”以及“种族d”的四个类别的信息的信息。
[0060]
由此开始，将基于图2所示的并且其中类别“种族a”为目标的处理来具体描述每个类别作为目标的处理。首先，将数据集ds1作为目标，信息处理装置100训练用于图像识别的模型m1的第一模型。图表gr1中对应于测量值mr11的水平轴“log(数据数量)”上的位置指示对应于类别“种族a”并且用于当时训练的数据数量(当前数据数量)。这指示数据集ds1包括类别“种族a”的数据、对应于水平轴“log(数据数量)”上的与测量值mr11对应的位置的数据数量。注意，图表的水平轴不限于对数(log)，并且可以是各种标度(标度)。
[0061]
然后，信息处理装置100关于经训练的第一模型测量对应于类别“种族a”的精度(步骤s11)。信息处理装置100通过使用种族a评估数据关于第一模型测量对应于类别“种族a”的精度。信息处理装置100以图表gr1中的测量值mr11指示的方式获取测量结果。如测量精度信息inf1和图表gr1所示，信息处理装置100关于第一模型将对应于类别“种族a”的精度测量为“vl1”。即，在通过利用整个数据集ds1训练的模型(第一模型)的情况下，信息处理装置100将对应于类别“种族a”的精度测量为“vl1”。注意，假定精度是特定的数值，但是精度在下文由诸如“vl1”和“vl2”的抽象符号指示。
[0062]
然后，信息处理装置100调整数据数量(步骤s12)。信息处理装置100减少数据集ds1中的对应于类别“种族a”的数据数量。例如，信息处理装置100将对应于类别“种族a”并且包括在数据集ds1中的数据数量减少一半(50％)。注意，一半不是限制，并且信息处理装置100可以基于各种标准调整数据数量。例如，信息处理装置100可以执行10％的减少。在对应于类别“种族a”并且包括在数据集ds1中的数据数量是“10000”的情况下，信息处理装置100将对应于类别“种族a”的数据数量减少到“5000”。例如，信息处理装置100随机地选择对应于类别“种族a”的数据，并且减少对应于类别“种族a”的数据数量。因此，信息处理装置100生成调整数据数量的调整后的数据集as1。
[0063]
然后，将调整后的数据集as1作为目标，信息处理装置100训练用于图像识别的模型m1的第二模型。将其中对应于类别“种族a”的数据从数据集ds1减少的调整后的数据集as1作为目标，信息处理装置100训练用于图像识别的模型m1的第二模型。
[0064]
然后，信息处理装置100关于经训练的第二模型测量对应于类别“种族a”的精度(步骤s13)。信息处理装置100通过使用种族a评估数据关于第二模型测量对应于类别“种族a”的精度。信息处理装置100以图表gr2中的测量值mr12指示的方式获取测量结果。如测量精度信息inf2和图表gr2所示，信息处理装置100关于第二模型将对应于类别“种族a”的精度测量为“vl2”。即，在通过利用调整后的数据集as1训练的模型(第二模型)的情况下，信息处理装置100将对应于类别“种族a”的精度测量为“vl2”。
[0065]
然后，信息处理装置100调整数据数量(步骤s14)。例如，信息处理装置100调整数据数量，直到满足预定条件。例如，信息处理装置100执行减少直到数据数量变得小于预定阈值。例如，在目标类别的数据数量变得小于预定阈值的情况下，信息处理装置100结束以该类别为目标的测量处理。注意，以上不是限制，并且信息处理装置100可以基于各种条件结束测量处理。例如，在执行足以绘制预测线(稍后描述)的测量(绘图)的情况下，信息处理装置100可以结束以类别为目标的测量处理。
[0066]
在图2的示例中，信息处理装置100减少调整后的数据集as1中的对应于类别“种族a”的数据数量。例如，信息处理装置100将对应于类别“种族a”并且包括在调整后的数据集as1中的数据数量减少一半。在对应于类别“种族a”并且包括在调整后的数据集as1中的数
据数量是“5000”的情况下，信息处理装置100将对应于类别“种族a”的数据数量减少到“2500”。因此，信息处理装置100生成其中从调整后的数据集as1进一步调整数据数量的调整后的数据集as2。
[0067]
然后，信息处理装置100将调整后的数据集as2作为目标训练用于图像识别的模型m1的第二模型。注意，在说明书中，与由调整后的数据集as1训练的第二模型不同，由调整后的数据集as2训练的第二模型还将被称为“第三模型”。将其中对应于类别“种族a”的数据从调整后的数据集as1进一步减少的调整后的数据集as2作为目标，信息处理装置100训练用于图像识别的模型m1的第三模型。
[0068]
然后，信息处理装置100关于经训练的第二模型测量对应于类别“种族a”的精度(步骤s15)。信息处理装置100通过使用种族a评估数据关于第三模型测量对应于类别“种族a”的精度。信息处理装置100以图表gr3中的测量值mr13指示的方式获取测量结果。如测量精度信息inf3和图表gr3所示，信息处理装置100关于第一模型将对应于类别“种族a”的精度测量为“vl3”。即，在通过利用调整后的数据集as2训练的模型(第三模型)的情况下，信息处理装置100将对应于类别“种族a”的精度测量为“vl3”。在图2的示例中，信息处理装置100确定满足预定条件，调整数据数量，并且结束测量经训练的模型的精度的处理。例如，信息处理装置100确定满足预定条件，调整数据数量，并且结束测量经训练的模型的精度的处理。
[0069]
然后，信息处理装置100预测模型的精度变化(步骤s16)。信息处理装置100基于由测量值mr11至测量值mr13指示的信息来预测模型的精度变化。信息处理装置100导出预测对应于类别“种族a”的模型的精度的函数。如预测精度信息fci1所示，信息处理装置100导出模型的与对应于类别“种族a”的精度的预测线ln1对应的函数fc1。以这种方式，信息处理装置100生成指示对应于增加训练数据的数据数量的情况下的类别“种族a”的模型的精度变化的预测的预测线ln1。
[0070]
例如，如图表gr4所示，信息处理装置100导出与通过对应于测量值mr11至测量值mr13的点的线(预测线ln1)对应的函数。信息处理装置100可以通过适当地使用各种与拟合相关的技术来生成与预测线ln1对应的函数fc1。信息处理装置100可以通过线性预测等生成与预测线ln1对应的函数fc1。例如，信息处理装置100可以适当地使用诸如最小二乘法的各种技术导出与预测线ln1对应的函数fc1。此外，信息处理装置100可以通过使用与机器学习相关的技术导出与预测线ln1对应的函数fc1。注意，由信息处理装置100导出的函数fc1可以是线性函数或非线性函数。
[0071]
以这种方式，信息处理装置100根据所获取的数据数量与(精度)指标之间的关系预测数据增加的情况下的指标的改进范围。然后，信息处理装置100生成评估结果(测量结果)和预测结果中的每个的图表，其中，水平轴是数据数量，垂直轴是(精度)指标。例如，信息处理装置100生成并且显示图1所示的图表gr11。信息处理装置100显示对应于类别“种族a”的数据增加的情况下的精度的预测线ln1。
[0072]
通过上述处理，信息处理装置100生成对应于类别“种族a”的精度信息。具体地，如图表gr4所示，信息处理装置100生成包括关于类别“种族a”的测量精度和预测精度的精度信息。
[0073]
返回到图1，继续描述。通过以与图2示出的以类别“种族a”为目标的处理类似的方
式也对其他类别“种族b”、“种族c”以及“种族d”执行处理，信息处理装置100以图表gr11示出的方式生成包括关于四个类别的测量精度和预测精度的精度信息。
[0074]
例如，信息处理装置100还以与图2所示的以类别“种族a”为目标的处理类似的方式执行关于类别“种族b”的处理。信息处理装置100将数据集ds1作为目标训练用于图像识别的模型m1的第一模型。在图表gr11中对应于测量值mr21的水平轴“log(数据数量)”上的位置指示对应于类别“种族b”并且用于当时训练的数据数量(当前数据数量)。这指示数据集ds1包括类别“种族b”的数据、对应于水平轴“log(数据数量)”上的与测量值mr21对应的位置的数据数量。
[0075]
信息处理装置100通过使用种族b评估数据关于第一模型测量对应于类别“种族b”的精度。信息处理装置100以图表gr11中的测量值mr21指示的方式获取测量结果。
[0076]
然后，信息处理装置100减少数据集ds1中的对应于类别“种族b”的数据数量，并且训练第二模型。信息处理装置100通过使用种族b评估数据关于第二模型测量对应于类别“种族b”的精度。信息处理装置100以图表gr11中的测量值mr22指示的方式获取测量结果。然后，信息处理装置100从测量值mr22的测量时间点进一步减少对应于类别“种族b”的数据数量，并且训练第二模型(第三模型)。信息处理装置100通过使用种族b评估数据关于第三模型测量对应于类别“种族b”的精度。信息处理装置100以图表gr11中的测量值mr23指示的方式获取测量结果。
[0077]
然后，信息处理装置100基于由测量值mr21至测量值mr23指示的信息来预测模型的精度变化。信息处理装置100导出预测对应于类别“种族b”的模型的精度的预测线ln2。
[0078]
此外，将数据集ds1作为目标，信息处理装置100训练用于图像识别的模型m1的第一模型。图表gr11中对应于测量值mr31的水平轴“log(数据数量)”上的位置指示对应于类别“种族c”并且用于当时训练的数据数量(当前数据数量)。这指示数据集ds1包括类别“种族c”的数据、对应于水平轴“log(数据数量)”上的与测量值mr31对应的位置的数据数量。
[0079]
信息处理装置100通过使用种族c评估数据关于第一模型测量对应于类别“种族c”的精度。信息处理装置100以图表gr11中的测量值mr31指示的方式获取测量结果。
[0080]
然后，信息处理装置100减少数据集ds1中的对应于类别“种族c”的数据数量，并且训练第二模型。信息处理装置100通过使用种族c评估数据关于第二模型测量对应于类别“种族c”的精度。信息处理装置100以图表gr11中的测量值mr32指示的方式获取测量结果。然后，信息处理装置100从测量值mr32的测量时间点进一步减少对应于类别“种族c”的数据数量，并且训练第二模型(第三模型)。信息处理装置100通过使用种族c评估数据关于第三模型测量对应于类别“种族c”的精度。信息处理装置100以图表gr11中的测量值mr33指示的方式获取测量结果。
[0081]
然后，信息处理装置100基于由测量值mr31至测量值mr33指示的信息来预测模型的精度变化。信息处理装置100导出预测对应于类别“种族c”的模型的精度的预测线ln3。
[0082]
此外，将数据集ds1作为目标，信息处理装置100训练用于图像识别的模型m1的第一模型。注意，信息处理装置100可以使用关于所有四个类别的公共第一模型。图表gr11中对应于测量值mr41的水平轴“log(数据数量)”上的位置指示对应于类别“种族d”并且用于当时训练的数据数量(当前数据数量)。这指示数据集ds1包括类别“种族d”的数据、对应于水平轴“log(数据数量)”上的与测量值mr41对应的位置的数据数量。
[0083]
信息处理装置100通过使用种族d评估数据关于第一模型测量对应于类别“种族d”的精度。信息处理装置100以图表gr11中的测量值mr41指示的方式获取测量结果。
[0084]
然后，信息处理装置100减少数据集ds1中的对应于类别“种族d”的数据数量，并且训练第二模型。信息处理装置100通过使用种族d评估数据关于第二模型测量对应于类别“种族d”的精度。信息处理装置100以图表gr11中的测量值mr42指示的方式获取测量结果。然后，信息处理装置100从测量值mr42的测量时间点进一步减少对应于类别“种族d”的数据数量，并且训练第二模型(第三模型)。信息处理装置100通过使用种族d评估数据关于第一模型测量对应于类别“种族d”的精度。信息处理装置100以图表gr11中的测量值mr43指示的方式获取测量结果。
[0085]
然后，信息处理装置100基于由测量值mr41至测量值mr43指示的信息来预测模型的精度变化。信息处理装置100导出预测对应于类别“种族d”的模型的精度的预测线ln4。
[0086]
通过上述处理，信息处理装置100生成图表gr11，该图表指示对应于作为类别“种族a”、“种族b”、“种族c”以及“种族d”的四个类别中的每个类别的模型的精度。
[0087]
然后，信息处理装置100显示所生成的图表gr11。注意，信息处理装置100不仅可以以图表gr11的方式而且还以诸如字符信息的各种形式显示精度信息。这一点的细节将在后面描述。
[0088]
[1-1-1.信息处理的效果和假设]
[0089]
如上所述，信息处理装置100生成包括对应于多个类别中的每个类别的模型的精度的测量结果和模型的精度的预测结果的精度信息。具体地，信息处理装置100生成包括对应于类别“种族a”、“种族b”、“种族c”以及“种族d”中的每个类别的模型的精度的测量结果和模型的精度的预测结果的精度信息。因此，信息处理装置100可以通过调整数据来适当地生成与模型的精度相关的信息。以这种方式，信息处理装置100可以通过使用由调整后的数据训练的模型来适当地实施与模型的训练相关的处理。注意，已经在图1和图2的示例中作为示例描述了针对每个类别调整数据数量的处理。然而，信息处理装置100可以在调整整个数据的数量之后执行处理。
[0090]
然后，信息处理装置100显示所生成的精度信息。信息处理装置100显示所生成的图表gr11。因此，信息处理装置100可以显示指示要增加多少数据以解决类别中的精度差异的信息。因此，在视觉上识别由信息处理装置100显示的信息的用户可以掌握此后要增加多少数据以便解决类别中的精度差异，并且可以掌握在哪个类别中实质上难以提高精度。
[0091]
在图1的示例中，信息处理装置100可以通过显示类别“种族a”、“种族b”、“种族c”以及“种族d”中的每个类别的精度信息来指示关于每个类别的模型的精度提高的难度。通过每个类别的预测线的斜率，信息处理装置100可以指示关于每个类别的模型的精度提高的难度。
[0092]
例如，如图表gr11所示，类别“种族c”的预测线的斜率较小。因此，用户可以识别类别“种族c”是难以提高精度的类别。例如，在模型m1中，指示关于类别“种族c”生成偏差(偏差)并且难以改进该偏差。
[0093]
如上所述，即使当增加数据数量时，预测线具有平缓斜率的问题的精度也较低。因此，这种问题可以被认为是具有噪声数据或实质上困难的问题。例如，在图1的示例中，指示可以通过增加数据将种族a的精度提高到与种族b相同的程度。此外，可以指示，实质上难以
提高种族c和种族d的精度，并且即使在不打算进行区分时也无法提高精度。
[0094]
在此，如在以下文献等中所公开的，作为深度学习的特征，假定与数据数量的对数成比例地(以极高的方式)提高性能。
[0095]
·
exploring the limits of weakly supervised pretraining，dhruv mahajan，ross girshick，vignesh ramanathan，kaiming he，manohar paluri，yixuan li，ashwin bharambe，laurens van der maaten《https://arxiv.org/abs/1805.00932》
[0096]
如图1和图2所示，信息处理装置100导出指示性能(精度)随着数据数量的增加而改进的预测线，并且生成指示在增加训练数据的数据数量的情况下的模型的精度变化的预测的精度信息。
[0097]
例如，在人工智能(ai)/深度学习中存在伦理问题。例如，存在关于公平性和偏差的问题。此类问题包括将特定的人错误地识别为诸如大猩猩的所谓的猿、未能通过特定区域的贷款筛选、缺乏特定种族的图像识别性能等。作为此类问题的背景，假定ai做出区别性决定，对特定区域存在偏差，或对特定区域存在偏差的可能性。
[0098]
在此，存在文化问题和技术问题两者在上述问题中混合的情况。例如，作为文化问题，假定存在一种原因的可能性，诸如执行训练以做出区别性决定的可能性，执行训练以不通过特定区域中的贷款筛选的可能性，或者大量训练数据仅针对特定种族区别性较小。此外，例如，作为技术问题，假定数据可能实质上被错误分类的可能性，存在贷款难以在该区域中通过的原因的可能性，或者物理上难以识别特定种族的可能性。
[0099]
因此，信息处理装置100生成可以用于隔离与模型的精度相关的问题是否是可由技术管理的问题的信息。例如，信息处理装置100生成可以提供指南的信息，该指南指示在技术上可能有改进的情况下可以预期多少改进。例如，信息处理装置100生成用作指南的信息，具体地，该指南指示偏差是否由于数据量的增加而得到改进，以及在这种情况下数据将增加多少。然后，信息处理装置100显示所生成的信息。在图1的示例中，通过显示图表gr11，信息处理装置100向用户提供用作上述问题的指南的信息。
[0100]
上述功能被提供为由使用诸如深度学习的机器学习的技术的开发者使用的工具(诸如图12中的工具tl1)的功能。通过使用上述功能，用户可以理解在该技术的开发阶段存在多少偏差，是否可以在技术上解决问题，或者需要多少努力找到解决方案。
[0101]
在此，使用深度学习技术的开发者通常期望容易地分析经训练的模型的偏差和公平性，并且获取用于偏差和公平性改进的指南。此外，深度学习具有作为黑匣子的方面，并且存在不能以容易理解的方式使偏差和公平性可视化的问题。因此，信息处理装置100以容易理解的方式生成用于使偏差和公平性可视化的信息。
[0102]
如上所述，信息处理装置100在改变其偏差待改进的每个目标类别(诸如男性/女性或种族)的数据数量的同时执行处理。然后，信息处理装置100生成信息，该信息指示在每个数据数量改变的情况下诸如偏差和公平性的指标如何改变的信息。因此，信息处理装置100以容易理解的方式实现用于使偏差和公平性可视化的功能。例如，信息处理装置100在水平轴上设置每个类别中的训练数据的数据数量，在垂直轴上设置诸如偏差等指标，并且呈现指示此后当每个类别中的数据数量增加时指标如何改进的预测值。
[0103]
例如，信息处理装置100在改变数据数量的同时重复训练和评估，评估数据数量对偏差和公平性的影响，并且预测增加数据数量的情况下的指标的改进范围。此外，信息处理
装置100显示通过预测获取的结果。例如，信息处理装置100针对每个类别执行循环，并且执行指定次数的与偏差或公平性相关的(精度)指标的训练和计算(测量)，同时将数据从原始数据数量减少一半。此外，信息处理装置100根据所获取的数据数量与指标之间的关系，预测其后增加数据的情况下的指标的改进范围。此外，信息处理装置100显示评估结果和预测结果中的每个的图表，其中，数据数量在水平轴上，指标在垂直轴上。因此，信息处理装置100可以以容易理解的方式将数据的偏差和公平性与问题的本质难度级别隔离。例如，信息处理装置100可以以容易理解的方式将诸如由于物理因素的存在而导致的公平性的缺乏的问题的基本原因与诸如数据的偏差和公平性的原因隔离。
[0104]
[1-1-2.精度示例和多种类型的精度]
[0105]
如上所述，精度不限于精度，并且可以是各种指标。例如，精度可以是诸如召回率、准确率以及f度量等各种指标。此外，在用于对象检测等的模型为目标的情况下，精度可以是对象检测精度、对象检测位置的误差、对象检测大小的误差等。例如，信息处理装置100可以根据经训练的模型的用途确定要用作精度的指标。
[0106]
此外，信息处理装置100可以生成指示对应于多个指标的模型的多种精度的精度信息。例如，信息处理装置100可以生成指示对应于多个指标的模型的测量结果和预测结果的精度信息。例如，信息处理装置100可以生成指示对应于作为“召回率”和“准确率”的两个指标的模型的测量结果和预测结果的精度信息。信息处理装置100可以显示由用户指定的多种精度中的一种精度。
[0107]
此外，信息处理装置100可以以能够切换的方式显示多种精度。例如，在用户在“召回率”与“准确率”之间指定“召回率”的情况下，信息处理装置100可以显示对应于“召回率”的精度信息。此外，在用户在“召回率”与“准确率”之间指定“准确率”的情况下，信息处理装置100可以显示对应于“准确率”的精度信息。注意，以上是示例，并且信息处理装置100可以以各种模式显示多种精度。例如，信息处理装置100可以同时显示多种精度。
[0108]
根据应用(用途)可以有多个精度指标。因此，如上所述，通过类似地为每个(精度)指标生成图表，信息处理装置100可以根据用户的指定来执行切换和显示。
[0109]
[1-2.根据实施例的信息处理装置的配置]
[0110]
接下来，将描述作为实施根据实施例的信息处理的信息处理装置的示例的信息处理装置100的配置。图3是示出根据本公开的实施例的信息处理装置100的配置示例的示图。例如，图3所示的信息处理装置100是偏差调整装置的示例。信息处理装置100是实现作为偏差调整装置(稍后描述)的功能的计算机。
[0111]
如图3所示，信息处理装置100包括通信单元11、输入单元12、显示单元13、存储单元14以及控制单元15。在图3的示例中，信息处理装置100包括从信息处理装置100的管理员接收各种操作的输入单元12(诸如键盘或鼠标)，以及显示各种信息的显示单元13(诸如液晶显示器)。
[0112]
通信单元11例如通过网络接口卡(nic)、通信电路等来实现。通信单元11以有线方式或无线方式连接到通信网络n(诸如因特网)，并且经由通信网络n(网络n)向其他装置发送信息/从其他装置接收信息。
[0113]
从用户向输入单元12输入各种操作。输入单元12接收用户的输入。输入单元12可以接收由用户执行的学习方法的选择。输入单元12可以经由设置在信息处理装置100中的
键盘、鼠标或触摸面板从用户接收各种操作。输入单元12接收用户对目标精度(目标值)的输入。输入单元12接收用户对目标精度的指定。输入单元12接收用户对目标精度的数值的指定。输入单元12接收图10所示的目标精度ta1的指定。
[0114]
显示单元13显示各种信息。显示单元13是诸如显示器的显示装置(显示单元)，并且显示各种信息。显示单元13显示由计算单元153测量的信息。显示单元13显示由预测单元154预测的信息。显示单元13显示由生成单元155生成的信息。
[0115]
显示单元13以图表或文本显示所预测的识别精度的变化。显示单元13显示精度信息。显示单元13将精度信息显示为字符。显示单元13将精度信息显示为数值。显示单元13将精度信息显示为示图。显示单元13将精度信息显示为图表。显示单元13显示其中精度在第一轴上并且数据数量在第二轴上的图表。显示单元13显示指示模型精度与目标精度之间的关系的信息。显示单元13显示指示模型精度中的数据数量与目标精度中的数据数量之间的关系的信息。
[0116]
显示单元13以能够切换的方式显示多种精度。显示单元13显示多种精度中的一种精度。显示单元13显示由用户指定的一种精度。显示单元13显示图1所示的图表gr11。
[0117]
此外，信息处理装置100不仅可以包括显示单元13，还可以包括输出信息的功能配置。注意，信息处理装置100可以具有将信息作为声音输出的功能。例如，信息处理装置100可以包括输出声音的诸如扬声器的声音输出单元。
[0118]
存储单元14例如由诸如随机存取存储器(ram)或闪存的半导体存储元件，或诸如硬盘或光盘的存储装置来实现。存储单元14包括数据信息存储单元141、模型信息存储单元142以及精度信息存储单元143。虽然未示出，但是精度信息存储单元143存储与模型的测量精度或预测精度相关的各种信息。例如，精度信息存储单元143存储与目标精度相关的各种信息，诸如指示图10所示的目标精度ta1的数值。
[0119]
数据信息存储单元141存储与数据相关的各种信息。图4是示出根据本公开的实施例的数据信息存储单元的示例的示图。例如，数据信息存储单元141存储与各种数据(诸如用于训练的训练数据和用于精度评估(测量)的评估数据)相关的各种信息。图4示出了根据实施例的数据信息存储单元141的示例。在图4的示例中，数据信息存储单元141包括诸如“数据集id”、“数据id”、“数据”“目标#1(类别)”以及“目标#2(类别)”的项目。注意，不仅可以包括“目标#1(类别)”和“目标#2(类别)”，还可以包括“目标#3(类别)”、“目标#4(类别)”等。“目标#1”至“目标#n”的数量可以是精度评估的目标的数量。在图4的示例中，仅示出了种族和性别。然而，存储在数据信息存储单元141中的训练数据至少是与种族、性别、地址、收入或教育背景相关的数据。数据信息存储单元141中的“目标#3(类别)”可以与地址相关，“目标#4(类别)”可以与收入相关，并且“目标#5(类别)”可以与教育背景相关。
[0120]“数据集id”指示用于识别数据集的识别信息。“数据id”指示用于识别对象的识别信息。此外，“数据”指示对应于由数据id识别的对象的数据。即，在图4的示例中，对应于对象的向量数据(数据)与识别该对象的数据id相关联地登记。
[0121]“目标#1(类别)”和“目标#2(类别)”指示对应于相应数据的目标的类别。“目标#1(类别)”指示与目标“种族”相关的每个数据的类别。“目标#2(类别)”指示与目标“性别”相关的每个数据的类别。
[0122]
在图4的示例中，指示由数据集id“ds1”识别的数据集(数据集ds1)包括由数据id“did1”、“did2”、“did3”等识别的多个数据。由数据id“did1”、“did2”、“did3”等识别的每个数据(训练数据)至少包括与种族、性别、地址、收入或教育背景相关的信息。
[0123]
由数据id“did1”识别的数据dt1指示与目标“种族”相关的类别是“种族a”，并且与目标“性别”相关的类别是“男性”。在这种情况下，指示数据dt1是与是种族a并且是男性的人相关的数据。例如，数据dt1可以是对种族a的男性成像的图像。
[0124]
此外，指示由数据id“did2”识别的数据dt2指示与目标“种族”相关的类别是“种族b”，并且与目标“性别”相关的类别是“女性”。在这种情况下，指示数据dt2是与是种族b并且是女性的人相关的数据。例如，数据dt1可以是对种族b的女性成像的图像。
[0125]
注意，数据信息存储单元141不仅可以存储上述信息，还可以根据目的存储各种信息。数据信息存储单元141与每个数据相关联地存储对应于每个数据的正确答案信息(正确答案标签)。注意，诸如“目标#1(类别)”或“目标#2(类别)”的目标本身可以用作正确答案信息。
[0126]
此外，数据信息存储单元141以可识别的方式存储每个数据段是训练数据还是评估数据。例如，数据信息存储单元141以可区分的方式存储训练数据和评估数据。数据信息存储单元141可以存储识别每个数据是训练数据还是评估数据的信息。信息处理装置100基于用作训练数据的每个数据和正确答案信息来训练模型。信息处理装置100基于用作评估数据的每个数据和正确答案信息来测量模型的精度。信息处理装置100通过收集在输入评估数据的情况下由模型输出的输出结果与正确答案信息之间的比较结果来测量模型的精度。
[0127]
根据实施例的模型信息存储单元142存储与模型相关的信息。例如，模型信息存储单元142存储指示模型(网络)的结构的信息(模型数据)。图5是示出根据本公开的实施例的模型信息存储单元的示例的示图。图5示出了根据实施例的模型信息存储单元142的示例。在图5所示的示例中，模型信息存储单元142包括诸如“模型id”、“用途”以及“模型数据”的项目。
[0128]“模型id”指示用于识别模型的识别信息。“用途”指示对应模型的用途。“模型数据”指示模型的数据。图5示出了其中诸如“mdt1”的概念信息存储在“模型数据”中的示例。然而，实际上，包括模型中包括的各种信息，诸如与模型中包括的网络相关的信息和函数。
[0129]
在图5所示的示例中，指示由模型id“m1”识别的模型(模型m1)的用途是“识别模型(图像识别)”。指示模型m1是识别模型，并且用于图像识别。此外，指示模型m1的模型数据是模型数据mdt1。
[0130]
注意，模型信息存储单元142不仅可以存储上述信息，还可以根据目的存储各种信息。例如，模型信息存储单元142存储在学习处理中训练(生成)的第一模型和第二模型的信息。模型信息存储单元142存储与在学习处理中训练(生成)的模型m1对应的第一模型和第二模型的参数信息。
[0131]
返回到图3，继续描述。例如，当由具有随机存取存储器(ram)等作为工作区的中央处理单元(cpu)、微处理单元(mpu)等实施存储在信息处理装置100中的程序(诸如根据本公开的信息处理程序)时，实现控制单元15。此外，控制单元15是控制器，并且例如可以通过诸如专用集成电路(asic)或现场可编程门阵列(fpga)的集成电路来实现。
[0132]
如图3所示，控制单元15包括获取单元151、学习单元152、计算单元153、预测单元
154、生成单元155以及发送单元156，并且实现或实施下文描述的信息处理的功能或动作。注意，控制单元15的内部配置不限于图3所示的配置，并且可以是另一配置，只要是执行稍后描述的信息处理的配置即可。
[0133]
获取单元151获取各种信息。获取单元151从外部信息处理装置获取各种信息。获取单元151从存储单元14获取各种信息。获取单元151获取由输入单元12接收的信息。
[0134]
获取单元151从存储单元14获取各种信息。获取单元151从数据信息存储单元141、模型信息存储单元142以及精度信息存储单元143获取各种信息。
[0135]
获取单元151获取训练数据。获取单元151从数据信息存储单元141获取数据集ds1。获取单元151获取评估数据。获取单元151从数据信息存储单元141获取评估数据。获取单元151从数据信息存储单元141获取种族a评估数据、种族b评估数据、种族c评估数据以及种族d评估数据。
[0136]
获取单元151可以获取模型。获取单元151可以获取指示模型的网络结构的信息。获取单元151从提供模型的外部信息处理装置或存储单元14获取模型。例如，获取单元151从模型信息存储单元142获取模型m1。例如，获取单元151从模型信息存储单元142获取指示模型m1的网络结构的信息。
[0137]
获取单元151获取由学习单元152学习的各种信息。获取单元151获取由计算单元153测量的各种信息。获取单元151获取由预测单元154预测的各种信息。获取单元151获取由生成单元155生成的各种信息。
[0138]
获取单元151获取用于通过机器学习训练模型的训练数据。获取单元151获取包括对应于多个类别中的每个类别的数据的训练数据。获取单元151获取指示模型精度的目标的目标精度。获取单元151获取由输入单元12接收的目标精度。获取单元151获取指定一种精度的指定信息。
[0139]
学习单元152执行学习处理。学习单元152执行各种学习。学习单元152基于由获取单元151获取的信息学习各种信息。学习单元152训练(生成)模型。学习单元152学习模型等的各种信息。学习单元152通过训练生成模型。学习单元152通过使用与机器学习相关的各种技术来训练模型。例如，学习单元152学习模型(网络)的参数。学习单元152通过使用与机器学习相关的各种技术来训练模型。
[0140]
学习单元152执行各种学习。学习单元152基于存储在存储单元14中的信息学习各种信息。学习单元152基于存储在数据信息存储单元141和模型信息存储单元142中的信息来训练模型。
[0141]
学习单元152学习网络的参数。例如，学习单元152学习模型m1的网络的参数。学习单元152通过学习模型m1的网络的参数来训练对应于模型m1的第一模型和第二模型。
[0142]
学习单元152通过基于存储在数据信息存储单元141中的训练数据(教师数据)执行学习处理来生成第一模型和第二模型。学习单元152通过使用存储在数据信息存储单元141中的训练数据执行学习处理来生成第一模型。学习单元152通过使用由存储在数据信息存储单元141中的训练数据的调整获取的数据执行学习处理来生成第二模型。例如，学习单元152生成用于图像识别的模型。学习单元152学习模型m1的网络的参数，并且生成对应于模型m1的第一模型和第二模型。此外，学习单元152可以生成具有不同网络结构的第一模型和第二模型。
[0143]
由学习单元152学习的方法没有特别限制。例如，可以准备其中标签信息(诸如种族)和图像组相关联的训练数据，并且可以将训练数据输入到基于多层神经网络的计算模型中并学习。此外，例如，可以使用基于诸如卷积神经网络(cnn)或3d-cnn的深度神经网络(dnn)的方法。在例如以诸如视频的运动图像(运动图像)的方式的时间序列数据是目标的情况下，学习单元152可以使用基于其中扩展rnn的递归神经网络(rnn)或长短期存储单元(lstm)的方法。
[0144]
学习单元152将通过训练生成的第一模型和第二模型存储到模型信息存储单元142中。学习单元152生成对应于模型m1的网络的第一模型、第二模型等。在这种情况下，学习单元152将所生成的第一模型、第二模型等与模型m1相关联地存储到模型信息存储单元142中。学习单元152基于用作训练数据的每个数据和正确答案信息来训练模型。
[0145]
学习单元152由训练数据训练第一模型。学习单元152调整用于训练的数据数量。学习单元152由调整后的数据训练第二模型，在该调整后的数据中，根据调整数据数量的目标来调整训练数据的数据数量。学习单元152由调整后的数据训练第二模型，在该调整后的数据中，从训练数据中减少数据数量。学习单元152基于预定标准从训练数据中减少数据数量，并且由执行调整的调整后的数据训练第二模型。
[0146]
学习单元152由调整后的数据训练第二模型，在该调整后的数据中，根据指示与目标相关的分类的类别来调整训练数据的数据数量。学习单元152由调整后的数据训练第二模型，在该调整后的数据中，根据目标的多个类别中的一个类别来调整训练数据的数据数量。
[0147]
学习单元152由调整后的数据训练第二模型，该调整后的数据通过调整训练数据中的对应于一个类别的数据数量来获取。学习单元152由调整后的数据训练第二模型，该调整后的数据通过减少训练数据中的对应于一个类别的数据数量来获取。学习单元152由多个调整后的数据段中的每个数据训练第二模型，在该调整后的数据中，针对多个类别中的每个类别调整训练数据的数据数量。
[0148]
在图1和图2的示例中，将数据集ds1作为目标，学习单元152训练用于图像识别的模型m1的第一模型。将调整后的数据集as1作为目标，学习单元152训练用于图像识别的模型m1的第二模型。将其中对应于类别“种族a”的数据从数据集ds1减少的调整后的数据集as1作为目标，学习单元152训练用于图像识别的模型m1的第二模型(第三模型)。将调整后的数据集as2作为目标，学习单元152训练用于图像识别的模型m1的第二模型。将其中对应于类别“种族a”的数据从数据集as1进一步减少的调整后的数据集as2作为目标，学习单元152训练用于图像识别的模型m1的第三模型。
[0149]
计算单元153执行计算处理。计算单元153执行计算各种信息的处理。计算单元153计算由第一训练数据训练的识别模型的第一识别精度。计算单元153计算由第二训练数据训练的识别模型的第二识别精度，在第二训练数据中，关于第一训练数据调整了数据数量。计算单元153用作执行测量处理的测量单元。计算单元153执行各种测量。计算单元153基于由获取单元151获取的信息来测量各种信息。计算单元153基于存储在存储单元14中的信息测量各种信息。计算单元153基于存储在数据信息存储单元141、模型信息存储单元142以及精度信息存储单元143中的信息来测量各种信息。计算单元153做出各种决定。计算单元153基于由获取单元151获取的信息确定各种信息。计算单元153基于存储在存储单元14中的信
息确定各种信息。
[0150]
计算单元153通过使用评估数据来测量模型的精度。计算单元153测量第一模型和第二模型的精度。计算单元153将与模型的测量精度相关的信息存储到精度信息存储单元143中。计算单元153基于用作评估数据的每个数据和正确答案信息来测量模型的精度。计算单元153通过收集在输入评估数据的情况下由模型输出的输出结果与正确答案信息之间的比较结果来测量模型的精度。
[0151]
计算单元153通过使用评估数据来测量第一模型的第一精度。计算单元153通过使用评估数据来测量第二模型的第二精度。计算单元153通过使用对应于一个类别的评估数据来测量第一模型的第一精度。计算单元153通过使用对应于一个类别的评估数据来测量第二模型的第二精度。计算单元153通过使用对应于多个类别中的每个类别的评估数据来测量第一模型的多个第一精度。计算单元153测量对应于多个类别中的每个类别的多个第二精度。
[0152]
在图1和图2的示例中，计算单元153关于经训练的第一模型测量对应于类别“种族a”的精度。计算单元153通过使用种族a评估数据来测量对应于类别“种族a”的精度。计算单元153关于第一模型将对应于类别“种族a”的精度测量为“vl1”。计算单元153关于第二模型将对应于类别“种族a”的精度测量为“vl2”。计算单元153关于第三模型将对应于类别“种族a”的精度测量为“vl3”。
[0153]
预测单元154执行预测处理。预测单元154预测各种信息。预测单元154基于从外部信息处理装置获取的信息来预测各种信息。预测单元154基于存储在存储单元134中的信息预测各种信息。预测单元154基于存储在数据信息存储单元141、模型信息存储单元142以及精度信息存储单元143中的信息来预测各种信息。预测单元基于由第一训练数据训练的识别模型的第一识别精度和由第二训练数据训练的识别模型的第二识别精度，确定精度信息相对于训练数据的数量的变化。
[0154]
预测单元154预测第一模型和第二模型的精度。预测单元154将与模型的预测精度相关的信息存储到精度信息存储单元143中。预测单元154基于来自计算单元153的测量结果预测模型的精度。预测单元154基于来自计算单元153的测量结果预测预测线。
[0155]
预测单元154基于第一精度和第二精度预测在根据目标调整数据数量的情况下的模型的精度变化。预测单元154预测在增加训练数据的数据数量的情况下的模型的精度变化。预测单元154预测在增加训练数据的数据数量的情况下的模型的精度的预测线。
[0156]
在图1和图2的示例中，预测单元154基于由测量值mr11至测量值mr13指示的信息来预测模型的精度变化。预测单元154导出预测模型的对应于类别“种族a”的精度的函数。预测单元154导出与模型的对应于类别“种族a”的精度的预测线ln1对应的函数fc1。
[0157]
生成单元155用作执行与偏差调整相关的各种控制的控制单元。生成单元155用作执行偏差调整处理的偏差调整控制单元。基于由预测单元154预测的识别精度的变化，生成单元155调整用于训练的数据数量，使得所预测的识别精度的变化成为预定目标值(目标精度)。此外，生成单元155基于由预测单元154预测的识别精度的变化来改变识别模型。生成单元155在难以通过调整用于训练的数据数量来实现目标精度的情况下改变识别模型。生成单元155在实现目标精度所需的数据数量的增加等于或大于预定阈值的情况下改变识别模型。例如，生成单元155通过改变模型的网络结构改变识别模型。例如，生成单元155通过
改变模型的层的深度(数量)或节点(对应于图6中的圆圈)的数量来改变识别模型。生成单元155执行各种生成。生成单元155基于由获取单元151获取的信息生成各种信息。生成单元155基于存储在存储单元14中的信息生成各种信息。生成单元155基于存储在数据信息存储单元141、模型信息存储单元142以及精度信息存储单元143中的信息生成各种信息。
[0158]
生成单元155生成要在显示单元13上显示的各种信息。生成单元155生成要在显示单元13上显示的各种信息，诸如字符信息和诸如图表的图像信息。
[0159]
注意，生成单元155通过适当地使用与图像相关的各种传统技术生成与屏幕相关的信息(图像)，诸如图1所示的图表gr11。生成单元155通过适当地使用与gui相关的各种传统技术生成诸如图1所示的图表gr11的图像。例如，生成单元155可以以css、javascript(注册商标)、html或能够描述诸如信息显示和操作接收的上述信息处理的任意语言生成诸如图表gr11的图像。
[0160]
基于作为由训练数据训练的模型的第一模型的第一精度，以及作为由调整后的数据训练的模型的第二模型的第二精度，生成单元155生成指示模型精度的精度信息，在该调整后的数据中，根据调整数据数量的目标来调整训练数据的数据数量。生成单元155基于由调整后的数据训练的第二模型生成精度信息，在该调整后的数据中从训练数据中减少数据数量。基于第一精度和第二精度，生成单元155生成指示由于根据目标调整数据数量而导致的模型的精度变化的精度信息。
[0161]
生成单元155基于通过利用评估数据测量的第一模型的第一精度和通过利用评估数据测量的第二模型的第二精度生成精度信息。基于第一精度和第二精度，生成单元155生成指示根据目标调整数据数量的情况下的模型的精度变化的预测的精度信息。生成单元155生成指示在增加训练数据的数据数量的情况下的模型的精度变化的预测的精度信息。生成单元155生成包括增加训练数据的数据数量的情况下的模型的精度的预测线的精度信息。
[0162]
基于由调整后的数据训练的第二模型的第二精度，生成单元155生成与该类别相关的精度信息，在该调整后的数据中，根据指示与目标相关的分类的类别来调整训练数据的数据数量。基于由调整后的数据训练的第二模型的第二精度，生成单元155生成模型的指示模型相对于一个类别的精度的精度信息，在该调整后的数据中，根据目标的多个类别中的一个类别来调整训练数据的数据数量。生成单元155基于由调整后的数据训练的第二模型的第二精度生成精度信息，在该调整后的数据中，调整训练数据中的对应于一个类别的数据数量。
[0163]
生成单元155基于由调整后的数据训练的第二模型的第二精度生成精度信息，在该调整后的数据中，减少训练数据中的对应于一个类别的数据数量。生成单元155基于第一模型相对于一个类别的第一精度和第二模型相对于一个类别的第二精度生成精度信息。
[0164]
生成单元155基于通过利用对应于一个类别的评估数据测量的第一模型的第一精度和通过利用对应于一个类别的评估数据测量的第二模型的第二精度生成精度信息。生成单元155基于分别由多个调整后的数据训练的多个第二模型的多个第二精度生成指示模型相对于多个类别中的每个类别的精度的精度信息，在该调整后的数据中，针对多个类别中的每个类别调整训练数据的数据数量。
[0165]
生成单元155基于对应于多个类别中的每个类别的第一模型的多个第一精度和分
别对应于多个类别的多个第二模型的多个第二精度生成精度信息。生成单元155基于通过利用对应于多个类别中的每个类别的评估数据测量的第一模型的多个第一精度和分别对应于多个类别的多个第二精度生成精度信息。
[0166]
基于分别对应于多个类别的多个第一精度和分别对应于多个类别的多个第二精度，生成单元155生成指示多个类别之间相对于模型的精度的关系的精度信息。生成单元155生成指示多个类别中的模型的精度的偏差的精度信息。生成单元155生成指示多个类别中的每个模型的精度提高的难度的精度信息。生成单元155生成指示分别对应于多个指标的模型的多种精度的精度信息。
[0167]
在图1的示例中，通过以类别“种族a”、“种族b”、“种族c”和“种族d”中的每个作为目标来执行处理，生成单元155生成包括关于四个类别的测量精度和预测精度并且以图表gr11所示的方式生成的精度信息。
[0168]
发送单元156发送各种信息。发送单元156提供各种信息。发送单元156向外部信息处理装置提供各种信息。发送单元156将各种信息发送到外部信息处理装置。发送单元156发送存储在存储单元14中的信息。发送单元156发送存储在数据信息存储单元141、模型信息存储单元142以及精度信息存储单元143中的信息。发送单元156发送由生成单元155生成的信息。
[0169]
[1-2-1.模型示例]
[0170]
如上所述，信息处理装置100可以使用各种形式的模型(函数)。例如，信息处理装置100可以使用任意形式的模型(函数)，该模型(函数)例如是诸如支持向量机(svm)的回归模型或神经网络。信息处理装置100可以使用各种回归模型，诸如非线性回归模型和线性回归模型。
[0171]
关于这一点，将参考图6描述模型的网络结构的示例。图6是示出根据本公开的实施例的模型的示例的示图。图6所示的网络nw1指示在输入层inl与输出层outl之间包括多个(多层)中间层的神经网络。例如，信息处理装置100可以学习图6所示的网络nw1的参数。
[0172]
图6所示的网络nw1是指示对应于模型m1的网络并且用于图像识别的神经网络(模型)的概念图。例如，在从输入层inl一侧输入图像的情况下，网络nw1从输出层outl输出该图像的识别结果。例如，通过将信息输入到网络nw1中的输入层inl，信息处理装置100使输出层outl输出对应于该输入的识别结果。
[0173]
注意，尽管网络nw1在图6中被示为模型(网络)的示例，但是根据用途等，网络nw1可以是各种形式。例如，信息处理装置100通过学习具有图6所示的网络nw1的结构的模型m1的参数(权重)来训练对应于模型m1的第一模型和第二模型。
[0174]
[1-3.根据实施例的信息处理的过程]
[0175]
接下来，将参考图7和图8描述根据实施例的信息处理的过程。图7和图8是示出根据本公开的实施例的信息处理的过程的流程图。具体地，图7是示出信息处理的过程的概要的流程图。此外，图8是示出信息处理的过程的细节的流程图。
[0176]
首先，将参考图7描述根据本公开的实施例的信息处理的流程的概要。如图7所示，信息处理装置100获取用于通过机器学习训练模型的训练数据(步骤s101)。例如，信息处理装置100获取数据集ds1。
[0177]
信息处理装置100基于由训练数据训练的第一模型的第一精度和由调整后的数据
训练的第二模型的第二精度生成指示模型的精度的精度信息(步骤s102)。例如，基于由训练数据训练的第一模型的第一精度和由调整后的数据训练的第二模型的第二精度，信息处理装置100生成指示模型的精度的图表gr11。然后，信息处理装置100可以显示指示所生成的模型的精度的精度信息。
[0178]
接下来，将参考图8描述根据本公开的实施例的信息处理的流程的细节。如图8所示，信息处理装置100将类别索引i初始化为0(步骤s201)。例如，信息处理装置100将作为用于循环处理的变量的类别“i”的值初始化为“0”。在图1的示例中，例如，类别“0”对应于“种族a”，类别“1”对应于“种族b”，类别“2”对应于“种族c”，并且类别“3”对应于“种族d”。
[0179]
然后，信息处理装置100初始化训练数据集(步骤s202)。例如，信息处理装置100将数据集ds1设置为训练数据集。
[0180]
然后，信息处理装置100执行模型的训练和精度评估(步骤s203)。例如，在数据集ds1被设置为训练数据集之后，信息处理装置100立即通过使用整个数据集ds1来训练模型(第一模型)，并且评估模型的精度。例如，信息处理装置100从完整数据开始。此外，在调整数据数量之后，信息处理装置100通过使用由调整来自数据集ds1的数据数量而获取的调整后的数据集来训练模型(第二模型)，并且评估模型的精度。
[0181]
信息处理装置100确定是否对足够少的数据数量执行训练(步骤s204)。在不对足够少的数据数量执行训练的情况下(步骤s204；否)，信息处理装置100(仅)缩减类别i的训练数据集的数据(步骤s205)。例如，在“i”为“0”并且类别为“0”的情况下，减少训练数据集中的对应于类别“种族a”的数据数量。此外，在“i”为“1”并且类别为“1”的情况下，减少训练数据集中的对应于类别“种族b”的数据数量。
[0182]
在步骤s205中缩减对应类别的数据之后，信息处理装置100返回到步骤s203，并且通过使用缩减后的数据(调整后的数据)重复该处理。
[0183]
在对足够少的数据段执行训练的情况下(步骤s204；是)，信息处理装置100确定是否完成所有类别的评估(步骤s206)。在未完成所有类别的评估的情况下(步骤s206；否)，信息处理装置100使处理转换到下一类别(i )(步骤s207)。例如，在“i”为“0”的情况下，将1添加到“i”并且将“i”更新为“1”。在这种情况下，在完成以类别“种族a”为目标的处理之后，通过将“i”从“0”更新为“1”转换到以类别“种族b”为目标的处理。
[0184]
在步骤s207中使处理的目标转换到下一类别之后，信息处理装置100返回到步骤s202，并且以该下一类别作为目标重复处理。
[0185]
在完成所有类别的评估的情况下(步骤s206；是)，信息处理装置100结束处理。
[0186]
例如，通过以图8所示的方式进行的处理过程，信息处理装置100针对每个类别执行循环，并且执行指定次数的与偏差或公平性相关的(精度)指标的训练和计算，同时将数据从原始数据数量减少一半。例如，在从种族作为类别的图像进行面部检测的情况下，信息处理装置100绘制检测精度，同时将每个种族的训练数据的数量减少一半。
[0187]
[1-4.显示示例]
[0188]
将参考图9描述精度信息的显示。图9是示出精度信息的显示的示例的示图。
[0189]
图9中的图表gr21对应于图1中的图表gr11。在图9的图表gr21中，示出了显示指示图1的图表gr11中通过利用整个训练数据生成的第一模型相对于每个类别的精度的信息和每个类别的预测线的情况。具体地，在图表gr21中示出了显示图1的图表gr11中的类别“种
族a”、“种族b”，“种族c”以及“种族d”的测量值mr11至mr41和预测线ln1至ln4的示例。
[0190]
信息处理装置100生成图表gr21。信息处理装置100生成示出多个类别之间相对于模型的精度的关系的图表gr21。信息处理装置100在显示单元13上显示图表gr21。
[0191]
查看在显示单元13上显示的图表gr21的用户可以从类别“种族a”的当前精度和指示响应于数据的增加/减少的精度的变化的预测线来掌握类别“种族a”的精度提高的难度。例如，查看在显示单元13上显示的图表gr21的用户可以从类别“种族a”的预测线的斜率掌握类别“种族a”的精度提高的难度。此外，类似于类别“种族a”，关于类别“种族b”、“种族c”和“种族d”，可以从图表gr21，从当前精度和指示响应于数据增加/减少的精度的变化预测线，掌握每个类别中的精度提高的难度。
[0192]
例如，由于类别“种族c”的预测线的斜率较小，所以用户可以识别出类别“种族c”是难以提高精度的类别。例如，关于类别“种族d”，尽管当前精度低于类别“种族c”的当前精度，但是预测线的斜率大于类别“种族c”的预测线的斜率。因此，用户可以识别出类别“种族d”是精度提高的难度不高于类别“种族c”的精度提高的难度的类别。
[0193]
注意，图9是示例，并且信息处理装置100可以关于类别“种族a”、“种族b”、种族c”和“种族d”显示由调整数据数量的数据生成的第二模型的测量值mr12至mr42、mr13至mr43等。
[0194]
[1-5.目标精度(目标值)]
[0195]
由此开始，将参考图10和图11描述目标精度(目标值)。
[0196]
[1-5-1.目标精度(目标值)与数据数量之间的关系]
[0197]
首先，将参考图10描述包括目标精度的图表显示。图10是示出目标精度与数据数量之间的关系的示图。具体地，图10是示出包括目标精度和每个类别的精度的图表的示图。
[0198]
图10所示的图表gr31包括类别“种族a”、“种族b”、“种族c”和“种族d”的测量值mr11至mr41和预测线ln1至ln4，以及目标精度ta1。信息处理装置100生成图表gr31。信息处理装置100可以在显示单元13上显示图表gr31。
[0199]
信息处理装置100可以通过图表gr31向用户提供信息，使得可以直观地掌握类别“种族a”、“种族b”、“种族c”和“种族d”中的每个的精度与目标精度ta1之间的关系。在图10的示例中，在图表gr31中指示类别“种族b”已经达到目标精度ta1，而其余类别“种族a”、“种族c”和“种族d”没有达到目标精度ta1。
[0200]
此外，图表gr31还指示类别“种族a”、“种族c”和“种族d”中的每个达到目标精度ta1所需的数据数量。例如，关于类别“种族a”，图表gr31中对应于测量值mr11的水平轴“log(数据数量)”上的位置指示对应于类别“种族a”并且包括在当时训练数据中的数据数量(当前数据数量)。此外，关于类别“种族a”，在对应于图表gr31中的预测线ln1和目标精度ta1的交点的水平轴“log(数据数量)”上的位置指示对应于类别“种族a”并且实现目标精度ta1所需的数据数量(所需数据数量)。
[0201]
查看在显示单元13上显示的图表gr31的用户可以从类别“种族a”中的当前数据数量和类别“种族a”中的所需数据数量掌握关于类别“种族a”的目标精度ta1与当前精度之间的关系。此外，查看在显示单元13上显示的图表gr31的用户可以掌握需要增加多少数据数量以实现类别“种族a”的目标精度ta1。此外，类似于类别“种族a”，对于类别“种族c”和“种族d”，在图表gr31中指示需要从当前数据数量和所需数据数量增加多少数据数量以实现目
标精度ta1。
[0202]
信息处理装置100可以以图10所示的方式基于类别中的每个类别的精度与目标精度ta1之间的关系来执行偏差调整处理。例如，基于所预测的识别精度的变化，信息处理装置100的控制单元15的生成单元155等可以调整用于训练的数据数量或改变识别模型，使得所预测的识别精度的变化成为预定目标值。
[0203]
在图10的示例中，由于类别“种族a”、“种族c”和“种族d”没有达到目标精度ta1，所以信息处理装置100可以增加对应于类别“种族a”、“种族c”和“种族d”的数据数量。例如，信息处理装置100可以基于类别“种族a”的测量值mr11和预测线ln1来计算类别“种族a”达到目标精度ta1所需的数据数量(所需数据数量)。
[0204]
然后，信息处理装置100可以基于所计算的所需数据数量的信息来调整类别“种族a”中的数据数量。在这种情况下，信息处理装置100执行调整处理，使得针对所需数据数量增加类别“种族a”的数据。例如，在数据信息存储单元141(参见图4)中存在尚未用于训练的类别“种族a”的数据的情况下，信息处理装置100可以使用该数据中的所需数量数据用于训练。
[0205]
此外，信息处理装置100可以从提供训练数据以提供服务的外部装置请求数据，并且从外部装置获取必要的数据。例如，信息处理装置100可以通过将指示类别“种族a”和所需数据数量的信息发送到外部装置来从外部装置获取对应于“种族a”的所需数据数量。类似于类别“种族a”，关于类别“种族c”和“种族d”，信息处理装置100可以计算所需数据数量，并且从数据信息存储单元141(参见图4)或外部装置获取对应于“种族c”和“种族d”的所需数据数量。
[0206]
此外，在存在超过目标精度的类别(超量类别)的情况下，信息处理装置100可以通过减少超量类别中的数据数量来使超量类别的识别精度(精度)更接近目标精度ta1。以这种方式，信息处理装置100不仅通过增加数据数量还通过减少数据数量来调整数据数量，从而使精度更接近期望的精度。因此，信息处理装置100可以使所有类别的识别精度(精度)更接近目标精度ta1，并且控制类别之间的系统的变化。
[0207]
此外，信息处理装置100可以基于所预测的识别精度的变化来改变模型。信息处理装置100在难以通过调整用于训练的数据数量来实现目标精度的情况下改变模型。信息处理装置100在实现目标精度所需的数据数量的增加等于或大于预定阈值的情况下改变模型。在图10的示例中，信息处理装置100基于类别“种族c”的测量值mr31和预测线ln3来计算类别“种族c”达到目标精度ta1所需的数据数量(所需数据数量nm)，并且将所需数据数量nm与阈值(阈值th)进行比较。作为所需数据数量nm与阈值th之间的比较结果，信息处理装置100在所需数据数量nm等于或大于阈值th的情况下改变模型。
[0208]
注意，信息处理装置100可以基于各种条件确定是否改变模型。例如，信息处理装置100可以在存在不能实现目标精度的类别的情况下改变模型。例如，信息处理装置100可以在存在不能计算所需数据数量的类别的情况下改变模型。例如，信息处理装置100可以在存在所需数据数量为无限的类别的情况下改变模型。例如，信息处理装置100可以在存在预测线的斜率为0并且不能实现目标精度的类别的情况下改变模型。以这种方式，在难以通过调整数据消除偏差的情况下，信息处理装置100可以通过改变模型本身来增加消除偏差的可能性。
[0209]
信息处理装置100通过各种模式改变模型。例如，信息处理装置100通过改变模型的网络结构来改变模型。例如，信息处理装置100通过改变模型的层数或节点数来改变模型。在图10的示例中，信息处理装置100通过将模型m1的网络结构(第一网络结构)改变为另一网络结构(第二网络结构)来将模型m1改变为模型m51。例如，信息处理装置100对具有比模型m1更多的层和节点的模型m51进行改变。例如，信息处理装置100可以从模型信息存储单元142(参见图5)中选择要使用的模型。例如，在将模型m1改变为另一模型的情况下，信息处理装置100可以从模型信息存储单元142中的模型中选择与模型m1具有相同用途的模型(诸如模型m51)。注意，信息处理装置100不必以上述方式改变网络结构，而是可以通过改变各种所谓的超参数来改变模型。例如，信息处理装置100可以改变各种超参数，这些超参数例如是诸如激活函数和优化算法的计算算法(学习算法)。信息处理装置100可以将指示改变顺序的信息存储在存储单元14中(参见图3)。例如，在改变模型的情况下，信息处理装置100可以存储指示学习算法和网络结构以该顺序改变的信息。在这种情况下，在即使改变学习算法也不能消除偏差的情况下，信息处理装置100可以改变模型的网络结构。
[0210]
[1-5-2.与目标精度(目标值)相关的显示示例]
[0211]
接下来，将参考图11描述与目标精度相关的显示示例。图11是示出目标精度与数据数量之间的关系的显示的示例的示图。
[0212]
在图11的示例中，信息处理装置100生成精度信息ch1，该精度信息作为字符信息指示对应于每个类别的精度与目标精度之间的关系。信息处理装置100在显示单元13上显示精度信息ch1。精度信息ch1作为字符信息指示对应于每个类别的精度达到目标精度所需的数据数量。例如，关于类别“种族a”，指示需要10倍于当前数据数量的数据来实现目标精度。即，指示需要10倍于对应于类别“种族a”的当前数据的数据使对应于类别“种族a”的精度实现目标精度。
[0213]
此外，关于类别“种族c”，指示需要10,000倍于当前数据数量的数据来实现目标精度。此外，关于类别“种族d”，指示需要100倍于当前数据数量的数据来实现目标精度。此外，在图11的示例中，示出了关于已经实现目标精度的类别“种族b”隐藏信息的情况。以这种方式，通过隐藏关于已经实现精度目标的类别的信息，可以指示达到了精度目标。
[0214]
注意，还可以显示用于实现了目标精度的类别的信息。在图11的示例中，关于类别“种族b”，可以显示指示诸如“已经实现目标精度”的已经实现目标精度的信息，以及指示诸如“当前精度是0.9”的当前精度的信息。
[0215]
例如，当用户输入目标精度时，信息处理装置100基于所估计的预测线显示实现目标精度所需的数据数量。因此，信息处理装置100可以显示实现目标精度所需的数据数量。此外，信息处理装置100可以在减少整个数据而不是减少特定类别的同时执行绘图。以这种方式，信息处理装置100以图表或文本显示所预测的识别精度的变化。
[0216]
[1-6.信息处理系统的处理的概念图]
[0217]
接下来，将参考图12概念性地描述信息处理系统的处理。图12是示出信息处理系统的处理的概念图的示例的示图。
[0218]
在图12的示例中，将包括训练数据集和学习模型的输入信息in1输入到工具tl1，该工具训练该模型并且测量经训练的模型的精度。例如，工具tl1是ai的偏差和公平性分析工具，并且具有用于分析模型的偏差(偏差)和公正性(公平性)的功能。例如，可以通过信息
处理装置100的获取单元151、学习单元152、计算单元153、预测单元154以及生成单元155实现工具tl1的功能。
[0219]
工具tl1响应于输入信息in1的输入生成分析结果out1。在图12的示例中，由工具tl1生成的分析结果out1对应于图1中的图表gr11。例如，可以通过信息处理装置100的显示单元13实现显示工具tl1的分析结果out1的功能。分析结果out1指示呈现给用户的信息的示例。
[0220]
例如，诸如深度学习开发者的信息处理装置100的用户由现有数据集训练基于深度学习的模型(诸如图像识别机器)。然后，关于经训练的模型，开发者执行由本发明实现的功能。信息处理系统1显示要增加多少数据以改进性能的预测。
[0221]
例如，假定ai的开发者等是工具tl1的用户。这种用户的需要包括获取用于改进偏差和公平性的指南，以及了解改进偏差和公平性的难度水平。通过由信息处理装置100实现的工具tl1的功能，可以以上述方式向用户提供关于用户需要的适当信息。
[0222]
[2.其他实施例]
[0223]
根据上述实施例中的每个的处理可以以不同于上述实施例中的每个的各种不同形式(修改示例)来执行。确定数据提供方法的信息处理装置不限于上述示例，并且可以是各种模式。这一点将在下面描述。注意，在下文将任意省略对与根据实施例的信息处理装置100类似的点的描述。
[0224]
[2-1.修改示例]
[0225]
例如，在上述示例中，已经描述了其中执行信息处理的信息处理装置是信息处理装置100的示例。然而，信息处理装置和显示信息的终端装置可以是分开的。这一点将参考图13和图14描述。图13是示出根据本公开的修改示例的信息处理系统的配置示例的示图。图14是示出根据本公开的修改示例的信息处理装置的配置示例的示图。
[0226]
如图13所示，信息处理系统1包括终端装置10和信息处理装置100a。终端装置10和信息处理装置100a经由通信网络n以有线方式或无线方式可通信地相互连接。注意，图13所示的信息处理系统1可以包括多个终端装置10和多个信息处理装置100a。在这种情况下，信息处理装置100a可以经由通信网络n与终端装置10通信，向终端装置10提供信息，并且基于诸如由用户经由终端装置10指定的诸如参数的信息来训练模型。
[0227]
终端装置10是用户使用的信息处理装置。终端装置10通过例如笔记本式个人计算机(pc)、台式pc、智能电话、平板终端、蜂窝电话、个人数字助理(pda)等来实现。注意，终端装置10可以是任何终端装置，只要可以显示由信息处理装置100a提供的信息即可。终端装置10是客户终端。
[0228]
此外，终端装置10接收用户的操作。在图13所示的示例中，终端装置10在屏幕上显示由信息处理装置100a提供的信息。此外，终端装置10将信息(诸如指示用户的操作的信息)发送到信息处理装置100a。例如，终端装置10将来自用户的并且指示实施学习处理的指示信息发送到信息处理装置100a。终端装置10显示从信息处理装置100a接收的信息。终端装置10显示从信息处理装置100a接收的精度信息。终端装置10显示指示模型的精度的测量结果和预测结果的精度信息。终端装置10显示从信息处理装置100a接收的图表。
[0229]
信息处理装置100a实现与信息处理装置100类似的信息处理，除了信息处理装置100a在向终端装置10提供信息和从终端装置10获取信息这一点上与信息处理装置100不
同。信息处理装置100a是向作为客户终端的终端装置10提供服务的服务器。例如，信息处理装置100a基于从终端装置10获取的指示信息执行生成精度信息的生成处理，并且将所生成的精度信息发送到终端装置10。
[0230]
如图14所示，信息处理装置100a包括通信单元11、存储单元14以及控制单元15a。通信单元11以有线方式或无线方式连接到通信网络n(诸如因特网)，并且经由通信网络n向终端装置10发送信息/从终端装置接收信息。在这种情况下，信息处理装置100a不必具有诸如信息处理装置100的显示信息的功能。注意，信息处理装置100a可以包括由信息处理装置100a的管理员等使用的输入单元(诸如键盘或鼠标)和显示单元(诸如液晶显示器)。
[0231]
例如，当由具有ram等作为工作区的cpu、mpu等执行存储在信息处理装置100a中的程序(诸如根据本公开的信息处理程序)时，实现控制单元15a。此外，控制单元15a可以通过例如诸如asic或fpga的集成电路来实现。
[0232]
如图14所示，控制单元15a包括获取单元151a、学习单元152、计算单元153、预测单元154、生成单元155以及发送单元156a，并且实现或实施下文描述的信息处理的功能或动作。注意，控制单元15a的内部配置不限于图14所示的配置，并且可以是另一配置，只要是执行稍后描述的信息处理的配置即可。
[0233]
获取单元151a与获取单元151类似地获取各种信息。获取单元151a从终端装置10获取各种信息。获取单元151a从终端装置10获取用户的操作信息。获取单元151a从存储单元14获取各种信息。
[0234]
发送单元156a与发送单元156类似地提供各种信息。发送单元156a向终端装置10提供各种信息。发送单元156a向终端装置10发送各种信息。发送单元156a将由生成单元155生成的信息提供给终端装置10。发送单元156a将要在终端装置10上显示的信息发送到终端装置10。
[0235]
[2-2.其他配置示例]
[0236]
此外，除了上述实施例和修改示例之外，可以以各种不同的形式(修改示例)来执行根据上述实施例和修改示例中的每个的处理。例如，训练模型的装置(学习装置)、通过使用模型测量精度的装置(测量装置)、预测模型的精度的装置(预测装置)以及生成精度信息的装置(生成装置)可以是分开的或集成的。例如，通过使用模型来测量精度的装置(测量装置)、预测模型的精度的装置(预测装置)以及生成精度信息的装置(生成装置)可以是集成的。在这种情况下，信息处理系统可以包括执行测量处理、预测处理以及生成处理的信息处理装置以及执行学习处理的学习装置。注意，以上是示例，并且信息处理系统可以通过各种配置来实现。
[0237]
[2-3.其他]
[0238]
此外，在上述实施例中描述的处理中，描述为自动执行的全部或部分处理可以手动执行，或者描述为手动执行的全部或部分处理可以通过已知方法自动执行。此外，除非另有说明，否则可以任意地改变处理过程、具体名称以及包括上述文献或附图中所示的各种数据和参数的信息。例如，在每个附图中示出的各种信息不限于所示信息。
[0239]
此外，所示装置中的每个装置的每个组件是功能概念，并且不需要以附图中所示的方式进行物理配置。即，每个装置的分布/集成的具体形式不限于附图中所示的形式，并且其全部或部分可以根据各种负载和使用条件在功能上或物理上分布/集成在任意单元
中。
[0240]
此外，上述实施例和修改示例可以在处理内容彼此不矛盾的范围内任意组合。
[0241]
此外，在本说明书中描述的效果仅是示例而不是限制，并且可以有不同的效果。
[0242]
[3.根据本公开的效果]
[0243]
如上所述，根据本公开的偏差调整装置(实施例中的信息处理装置100或100a)是与通过使用训练数据进行机器学习的识别模型相关的偏差调整装置，并且包括计算单元(实施例中的计算单元153)、预测单元(实施例中的预测单元154)以及控制单元(实施例中的生成单元155)。计算单元计算由第一训练数据训练的识别模型的第一识别精度以及由第二训练数据训练的识别模型的第二识别精度，该第二训练数据是通过关于第一训练数据调整数据数量而获取的。预测单元基于第一识别精度和第二识别精度预测识别精度相对于训练数据的数量的变化。基于所预测的识别精度的变化，控制单元调整用于训练的数据数量或改变识别模型，使得所预测的识别精度的变化成为预定目标值。
[0244]
因此，通过基于由训练数据的调整所训练的识别模型的第一识别精度和第二识别精度预测识别精度相对于训练数据的数量的变化，并且通过基于所预测的识别精度的变化来调整用于训练的数据数量或改变识别模型，根据本公开的偏差调节装置可以生成控制偏差的影响的模型。因此，通过使用由调整后的数据训练的模型，偏差调整装置能够适当地执行与模型的训练相关的处理。
[0245]
此外，偏差调整装置包括显示单元(实施例中的显示单元13)。显示单元以图表或文本显示所预测的识别精度的变化。因此，偏差调整装置可以通过以各种模式显示所预测的识别精度的变化来适当地提供信息。因此，通过使用由调整后的数据训练的模型，偏差调整装置能够适当地执行与模型的训练相关的处理。
[0246]
此外，训练数据至少是与种族、性别、地址、收入或教育背景相关的数据。这允许偏差调整装置适当地预测与种族、性别、地址、收入或教育背景相关的偏差。
[0247]
如上所述，根据本公开的信息处理装置(实施例中的信息处理装置100或100a)包括获取单元(实施例中的获取单元151)和生成单元(实施例中的生成单元155)。获取单元获取用于通过机器学习训练模型的训练数据。生成单元基于作为由训练数据训练的模型的第一模型的第一精度和作为由调整后的数据训练的模型的第二模型的第二精度生成指示模型的精度的精度信息，在该调整后的数据中，根据调整数据数量的目标来调整训练数据的数据数量。
[0248]
因此，通过使用第一模型的第一精度和第二模型的第二精度这两种精度来生成指示模型的精度的精度信息，根据本公开的信息处理装置可以通过调整数据适当地生成与模型的精度相关的信息。因此，通过使用由调整后的数据训练的模型，偏差调整装置能够适当地执行与模型的训练相关的处理。
[0249]
此外，生成单元基于由调整后的数据训练的第二模型生成精度信息，在该调整后的数据中，从训练数据中减少数据数量。因此，通过生成指示在从训练数据中减少数据数量的情况下的精度将是多少的精度信息，信息处理装置可以通过调整数据适当地生成与模型的精度相关的信息。
[0250]
此外，基于第一精度和第二精度，生成单元生成指示由于根据目标调整数据数量而导致的模型的精度变化的精度信息。因此，通过生成指示由于根据目标调整数据数量而
导致的模型的精度变化的精度信息，信息处理装置可以通过调整数据适当地生成与模型的精度相关的信息。
[0251]
此外，生成单元基于通过利用评估数据测量的第一模型的第一精度和通过利用评估数据测量的第二模型的第二精度生成精度信息。因此，通过使用利用评估数据测量的精度生成精度信息，信息处理装置可以通过调整数据适当地生成与模型的精度相关的信息。
[0252]
此外，基于第一精度和第二精度，生成单元生成指示在根据目标调整数据数量的情况下的模型的精度变化的预测的精度信息。因此，通过生成指示在根据目标调整数据数量的情况下的模型的精度变化的预测的精度信息，信息处理装置可以通过调整数据适当地生成与模型的精度相关的信息。
[0253]
此外，生成单元生成指示在增加训练数据的数据数量的情况下的模型的精度变化的预测的精度信息。因此，通过生成指示在增加训练数据的数据数量的情况下的模型的精度变化的预测的精度信息，信息处理装置可以通过调整数据适当地生成与模型的精度相关的信息。
[0254]
此外，生成单元生成包括在增加训练数据的数据数量的情况下的模型的精度的预测线的精度信息。因此，通过生成包括在增加训练数据的数据数量的情况下的模型的精度的预测线，信息处理装置可以通过调整数据适当地生成与模型的精度相关的信息。
[0255]
此外，基于由调整后的数据训练的第二模型的第二精度，生成单元生成与该类别相关的精度信息，在该调整后的数据中，根据指示与目标相关的分类的类别调整训练数据的数据数量。因此，通过生成与类别相关的精度信息，信息处理装置可以通过调整数据适当地生成与模型的精度相关的信息。
[0256]
此外，基于由调整后的数据训练的第二模型的第二精度，生成单元生成模型的指示模型相对于一个类别的精度的精度信息，在该调整后的数据中，根据目标的多个类别中的一个类别来调整训练数据的数据数量。因此，通过生成指示模型相对于目标的多个类别中的一个类别的精度的精度信息，信息处理装置可以通过调整数据来适当地生成与模型的精度相关的信息。
[0257]
此外，生成单元基于由调整后的数据训练的第二模型的第二精度生成精度信息，在该调整后的数据中，调整训练数据中的对应于一个类别的数据数量。因此，通过在调整训练数据中的对应于一个类别的数据数量的同时测量精度并且通过生成精度信息，信息处理装置可以通过调整数据来适当地生成与模型的精度相关的信息。
[0258]
此外，获取单元获取包括对应于多个类别中的每个类别的数据的训练数据。生成单元基于由调整后的数据训练的第二模型的第二精度生成精度信息，在该调整后的数据中，减少训练数据中的对应于一个类别的数据数量。因此，通过在减少训练数据中的对应于一个类别的数据数量的同时测量精度并且通过生成精度信息，信息处理装置可以通过调整数据来适当地生成与模型的精度相关的信息。
[0259]
此外，生成单元基于第一模型相对于一个类别的第一精度和第二模型相对于一个类别的第二精度生成精度信息。因此，通过使用训练数据中的第一模型相对于一个类别的第一精度和第二模型相对于一个类别的第二精度生成该一个类别的精度信息，信息处理装置可以通过调整数据来适当地生成与模型的精度相关的信息。
[0260]
此外，生成单元基于通过利用对应于一个类别的评估数据测量的第一模型的第一
精度和通过利用对应于一个类别的评估数据测量的第二模型的第二精度生成精度信息。因此，通过使用利用对应于一个类别的评估数据测量的精度生成精度信息，信息处理装置可以通过调整数据适当地生成与模型的精度相关的信息。
[0261]
此外，生成单元基于分别由多个调整后的数据训练的多个第二模型的多个第二精度生成指示模型相对于多个类别中的每个类别的精度的精度信息，在该调整后的数据中，针对多个类别中的每个类别调整训练数据的数据数量。因此，通过生成指示模型相对于多个类别中的每个类别的精度的精度信息，可以执行类别之间的比较。因此，信息处理装置可以通过调整数据来适当地生成与模型的精度相关的信息。
[0262]
此外，生成单元基于对应于多个类别中的每个类别的第一模型的多个第一精度和分别对应于多个类别的多个第二模型的多个第二精度生成精度信息。因此，通过使用多个类别中的每个类别的第一精度和第二精度生成每个类别的精度信息，可以执行类别之间的比较。因此，信息处理装置可以通过调整数据来适当地生成与模型的精度相关的信息。
[0263]
此外，生成单元基于通过利用对应于多个类别中的每个类别的评估数据测量的第一模型的多个第一精度和分别对应于多个类别的多个第二精度生成精度信息。因此，通过使用利用对应于多个类别中的每个类别的评估数据测量的精度生成精度信息，信息处理装置可以通过调整数据适当地生成与模型的精度相关的信息。
[0264]
此外，基于分别对应于多个类别的多个第一精度和分别对应于多个类别的多个第二精度，生成单元生成指示多个类别之间相对于模型的精度的关系的精度信息。因此，通过生成指示多个类别之间相对于模型的精度的关系的精度信息，能够掌握类别之间的偏差和公平性的状态，信息处理装置可以通过调整数据适当地生成与模型的精度相关的信息。
[0265]
此外，信息处理装置包括显示单元(实施例中的显示单元13)。显示单元显示精度信息。因此，信息处理装置可以提供与模型的精度有关的适当信息。
[0266]
[4.硬件配置]
[0267]
诸如根据上述实施例中的每个的信息处理装置100或100a的信息装置通过例如具有以图15所示的方式配置的计算机1000来实现。图15是示出实现诸如信息处理装置100或100a的信息处理装置的功能的计算机1000的示例的硬件配置图。在下文中，将作为示例描述根据实施例的信息处理装置100。计算机1000包括cpu 1100、ram 1200、只读存储器(rom)1300、硬盘驱动器(hdd)1400、通信接口1500以及输入/输出接口1600。计算机1000的每个单元通过总线1050连接。
[0268]
cpu 1100基于存储在rom 1300或hdd 1400中的程序进行操作，并且控制每个单元。例如，cpu 1100将存储在rom 1300或hdd 1400中的程序扩展到ram 1200中，并且实施对应于各种程序的处理。
[0269]
rom 1300存储引导程序，诸如在计算机1000的激活期间由cpu 1100实施的基本输入输出系统(bios)、依赖于计算机1000的硬件的程序等。
[0270]
hdd 1400是非临时记录由cpu 1100实施的程序、由该程序使用的数据等的计算机可读记录介质。更具体地，hdd 1400是记录根据本公开的信息处理程序的记录介质，该程序是程序数据1450的示例。
[0271]
通信接口1500是计算机1000通过其连接到外部网络1550(诸如因特网)的接口。例如，cpu 1100经由通信接口1500从另一设备接收数据或将cpu 1100生成的数据发送到另一
设备。
[0272]
输入/输出接口1600是连接输入/输出装置1650和计算机1000的接口。例如，cpu1100经由输入/输出接口1600从诸如键盘或鼠标的输入装置接收数据。此外，cpu 1100经由输入/输出接口1600向诸如显示器、扬声器或打印机的输出装置发送数据。此外，输入/输出接口1600可以用作读取记录在预定记录介质(介质)上的程序等的介质接口。该介质例如是诸如数字多功能盘(dvd)或相变可重写盘(pd)的光学记录介质、诸如磁光盘(mo)的磁光记录介质、磁带介质、磁记录介质、半导体存储器等。
[0273]
例如，在计算机1000用作根据实施例的信息处理装置100的情况下，计算机1000的cpu 1100通过实施加载在ram 1200上的信息处理程序实现控制单元15等的功能。此外，hdd 1400将根据本公开的信息处理程序和数据存储在存储单元14中。注意，cpu 1100从hdd 1400读取程序数据1450并且执行其实施，但是在另一示例中，cpu 1100可以经由外部网络1550从另一装置获取这些程序。
[0274]
注意，本技术还可以具有以下配置。
[0275]
(1)
[0276]
一种用于通过使用训练数据进行机器学习的识别模型的偏差调整装置，该装置包括：
[0277]
计算单元，计算由第一训练数据训练的识别模型的第一识别精度和由第二训练数据训练的识别模型的第二识别精度，该第二训练数据是通过调整第一训练数据的数据数量而获取的；
[0278]
预测单元，基于第一识别精度和第二识别精度预测识别精度相对于训练数据的数量的变化；以及
[0279]
控制单元，基于所预测的识别精度的变化调整用于训练的数据数量或者改变识别模型，使得所预测的识别精度的变化成为预定目标值。
[0280]
(2)
[0281]
根据(1)的偏差调节装置，还包括：
[0282]
显示单元，以图表或文本显示所预测的识别精度的变化。
[0283]
(3)
[0284]
根据(1)或(2)的偏差调整装置，其中，训练数据至少是与种族、性别、地址、收入或教育背景相关的数据。
[0285]
(4)
[0286]
一种信息处理装置，包括：
[0287]
获取单元，获取用于通过机器学习训练模型的训练数据；以及
[0288]
生成单元，基于作为由训练数据训练的模型的第一模型的第一精度和作为由调整后的数据训练的模型的第二模型的第二精度生成指示模型的精度的精度信息，在该调整后的数据中，根据调整数据数量的目标来调整训练数据的数据数量。
[0289]
(5)
[0290]
根据(4)的信息处理装置，其中，
[0291]
生成单元
[0292]
基于由调整后的数据训练的第二模型生成精度信息，在该调整后的数据中，从训
练数据减少数据数量。
[0293]
(6)
[0294]
根据(4)或(5)的信息处理装置，其中，
[0295]
生成单元
[0296]
基于第一精度和第二精度生成指示由于根据目标调整数据数量而导致的模型的精度变化的精度信息。
[0297]
(7)
[0298]
根据(4)至(6)中任一项的信息处理装置，其中，
[0299]
生成单元
[0300]
基于通过利用评估数据测量的第一模型的第一精度和通过利用评估数据测量的第二模型的第二精度生成精度信息。
[0301]
(8)
[0302]
根据(4)至(7)中任一项的信息处理装置，其中，
[0303]
生成单元
[0304]
基于第一精度和第二精度生成指示在根据目标调整数据数量的情况下的模型的精度变化的预测的精度信息。
[0305]
(9)
[0306]
根据(4)至(8)中任一项的信息处理装置，其中，
[0307]
生成单元
[0308]
生成指示在增加训练数据的数据数量的情况下的模型的精度变化的预测的精度信息。
[0309]
(10)
[0310]
根据(4)至(9)中任一项的信息处理装置，其中，
[0311]
生成单元
[0312]
生成指示在增加训练数据的数据数量的情况下的模型精度的预测线的精度信息。
[0313]
(11)
[0314]
根据(4)至(10)中任一项的信息处理装置，其中，
[0315]
生成单元
[0316]
基于由调整后的数据训练的第二模型的第二精度生成与类别相关的精度信息，在该调整后的数据中，根据指示与目标相关的分类的类别调整训练数据的数据数量。
[0317]
(12)
[0318]
根据11的信息处理装置，其中，
[0319]
生成单元
[0320]
基于由调整后的数据训练的第二模型的第二精度生成模型的指示模型相对于一个类别的精度的精度信息，在该调整后的数据中，根据目标的多个类别中的一个类别来调整训练数据的数据数量。
[0321]
(13)
[0322]
根据(12)的信息处理装置，其中，
[0323]
生成单元
[0324]
基于由调整后的数据训练的第二模型的第二精度生成精度信息，在该调整后的数据中，调整训练数据中的对应于一个类别的数据数量。
[0325]
(14)
[0326]
根据(12)或(13)的信息处理装置，其中，
[0327]
获取单元
[0328]
获取包括对应于多个类别中的每个类别的数据的训练数据；以及
[0329]
生成单元
[0330]
基于由调整后的数据训练的第二模型的第二精度生成精度信息，在该调整后的数据中，减少训练数据中的对应于一个类别的数据数量。
[0331]
(15)
[0332]
根据(12)至(14)中任一项的信息处理装置，其中，
[0333]
生成单元
[0334]
基于第一模型相对于一个类别的第一精度和第二模型相对于一个类别的第二精度生成精度信息。
[0335]
(16)
[0336]
根据(15)的信息处理装置，其中，
[0337]
生成单元
[0338]
基于通过利用对应于一个类别的评估数据测量的第一模型的第一精度和通过利用对应于一个类别的评估数据测量的第二模型的第二精度生成精度信息。
[0339]
(17)
[0340]
根据(12)至(16)中任一项的信息处理装置，其中，
[0341]
生成单元
[0342]
基于分别由多个调整后的数据训练的多个第二模型的多个第二精度生成指示模型相对于多个类别中的每个类别的精度的精度信息，在该调整后的数据段中，针对多个类别中的每个类别调整训练数据的数据数量。
[0343]
(18)
[0344]
根据(17)的信息处理装置，其中，
[0345]
生成单元
[0346]
基于对应于多个类别中的每个类别的第一模型的多个第一精度和分别对应于多个类别的多个第二模型的多个第二精度生成精度信息。
[0347]
(19)
[0348]
根据(18)的信息处理装置，其中，
[0349]
生成单元
[0350]
基于通过利用对应于多个类别中的每个类别的评估数据测量的第一模型的多个第一精度和分别对应于多个类别的多个第二精度生成精度信息。
[0351]
(20)
[0352]
根据(18)或(19)的信息处理装置，其中，
[0353]
生成单元
[0354]
基于分别对应于多个类别的多个第一精度和分别对应于多个类别的多个第二精
度生成指示多个类别之间相对于模型的精度的关系的精度信息。
[0355]
(21)
[0356]
根据(20)的信息处理装置，其中，
[0357]
生成单元
[0358]
生成指示多个类别中的模型的精度的偏差的精度信息。
[0359]
(22)
[0360]
根据(20)或(21)的信息处理装置，其中，
[0361]
生成单元
[0362]
生成指示多个类别中的每个中的模型的精度提高的难度的精度信息。
[0363]
(23)
[0364]
根据(4)至(22)中任一项的信息处理装置，还包括：
[0365]
学习单元，训练模型。
[0366]
(24)
[0367]
根据(4)至(23)中任一项的信息处理装置，还包括：
[0368]
显示单元，显示精度信息。
[0369]
(25)
[0370]
根据(24)的信息处理装置，其中，
[0371]
显示单元
[0372]
将精度信息显示为字符。
[0373]
(26)
[0374]
根据(24)或(25)的信息处理装置，其中，
[0375]
显示单元
[0376]
将精度信息显示为数值。
[0377]
(27)
[0378]
根据(24)至(26)中任一项的信息处理装置，其中，
[0379]
显示单元
[0380]
将精度信息显示为示图。
[0381]
(28)
[0382]
根据(24)至(27)中任一项的信息处理装置，其中，
[0383]
显示单元
[0384]
将精度信息显示为图表。
[0385]
(29)
[0386]
根据(28)的信息处理装置，其中，
[0387]
显示单元
[0388]
显示图表，其中，精度在第一轴上，数据数量在第二轴上。
[0389]
(30)
[0390]
根据(24)至(29)中任一项的信息处理装置，其中，
[0391]
获取单元
[0392]
获取指示模型的精度的目标的目标精度；以及
[0393]
显示单元
[0394]
显示指示模型的精度与目标精度之间的关系的信息。
[0395]
(31)
[0396]
根据(30)的信息处理装置，其中，
[0397]
显示单元
[0398]
显示指示模型的精度中的数据数量与目标精度中的数据数量之间的关系的信息。
[0399]
(32)
[0400]
根据(30)或(31)的信息处理装置，还包括：
[0401]
输入单元，从用户接收目标精度的输入，其中，
[0402]
获取单元
[0403]
获取由输入单元接收的目标精度。
[0404]
(33)
[0405]
根据(24)至(32)中任一项的信息处理装置，其中，
[0406]
生成单元
[0407]
生成指示对应于多个指标的模型的多种精度的精度信息；以及
[0408]
显示单元
[0409]
以能够切换的方式显示多种精度。
[0410]
(34)
[0411]
根据(33)的信息处理装置，其中，
[0412]
显示单元
[0413]
显示多种精度中的一种精度。
[0414]
(35)
[0415]
根据(34)的信息处理装置，其中，
[0416]
获取单元
[0417]
获取指定一种精度的指定信息。
[0418]
(36)
[0419]
根据(34)或(35)的信息处理装置，其中，
[0420]
显示单元
[0421]
显示由用户指定的一种精度。
[0422]
(37)
[0423]
一种信息处理方法，包括：
[0424]
执行以下处理：
[0425]
获取用于通过机器学习训练模型的训练数据的处理；以及
[0426]
基于作为由训练数据训练的模型的第一模型的第一精度和作为由调整后的数据训练的模型的第二模型的第二精度生成指示模型的精度的精度信息，在该调整后的数据中，根据调整数据数量的目标来调整训练数据的数据数量。
[0427]
(38)
[0428]
一种信息处理程序，使
[0429]
执行以下处理：
[0430]
获取用于通过机器学习训练模型的训练数据的处理；以及
[0431]
基于作为由训练数据训练的模型的第一模型的第一精度和作为由调整后的数据训练的模型的第二模型的第二精度生成指示模型的精度的精度信息，在该调整后的数据中，根据调整数据数量的目标来调整训练数据的数据数量。
[0432]
参考标记列表
[0433]
100，100a信息处理装置(偏差调整装置)
[0434]
11通信单元
[0435]
12输入单元
[0436]
13显示单元(显示器)
[0437]
14存储单元
[0438]
141数据信息存储单元
[0439]
142模型信息存储单元
[0440]
143精度信息存储单元
[0441]
15，15a控制单元
[0442]
151，151a获取单元
[0443]
152学习单元
[0444]
153计算单元(测量单元)
[0445]
154预测单元
[0446]
155生成单元(控制单元)
[0447]
156，156a发送单元。