系统、方法和程序与流程

1.本发明涉及用于管理机器学习的习得模型(learned model)的系统、方法和程序。


背景技术：

2.在机器学习中，使用学习数据调整学习模型(learning model)，并且完成调整的学习模型实际上作为习得模型运行。在现有技术中，已知使用这种习得模型来预测某事项的预测系统。例如，专利文献1公开了预测电力需求量的电力需求量预测方法。专利文献1公开了如下方法：通过利用最近的学习数据对学习模型进行学习，来在与当前习得模型相比进一步提高预测精度时替换习得模型。
3.引用列表
4.专利文献
5.专利文献1：日本特开2000-276460号公报


技术实现要素：

6.技术问题
7.顺便提及，在某些情况下，在上述习得模型中会出现意外偏差，因此并不总是保证公平性。例如，预测是否批准对象人物的贷款的系统基于对象人物的输入数据(诸如年龄、性别、收入和工作年限)，通过习得模型来确定是否批准贷款。在习得模型中，在某些情况下会出现意外偏差，诸如男性比女性更有可能被预测获得批准，以及年长的人比年轻人更有可能被预测获得批准。当在运行中的习得模型中存在这种偏差时，优选校正偏差并保证公平性。
8.然而，在如专利文献1的现有技术中，没有考虑习得模型的偏差，并且无法保证公平性。
9.本发明的目的是提供一种能够校正习得模型的偏差并保证公平性的系统。
10.解决问题的技术方案
11.根据本发明的一方面的系统是管理通过机器学习生成的第一模型的系统，该系统包括：置换单元，其用于在作为由所述第一模型使用包括第一输入值的输入而获得的预测结果的第一预测结果满足预定条件时，利用第二输入值置换所述输入中包括的所述第一输入值；保存单元，其用于保存作为由所述第一模型使用通过置换获得的输入而获得的预测结果的第二预测结果；接收单元，其用于接收对所述第二预测结果的反馈；以及生成单元，其用于基于接收到的所述反馈，通过使用由所述第二预测结果和包括所述第一输入值的输入形成的学习数据进行机器学习，来生成第二模型。
12.本发明的有利效果
13.根据本发明，可以校正习得模型的偏差并保证公平性。
附图说明
14.[图1]图1是示出根据本发明第一实施例的系统的整体构造的示意图。
[0015]
[图2]图2是示出根据本发明第一实施例的系统中包括的信息处理设备的内部构造的框图。
[0016]
[图3]图3的(a)是示出公平性管理系统101的功能构造的示例的框图，图3的(b)是示出预测系统102的功能构造的示例的框图，并且图3的(c)是示出业务系统103的功能构造的示例的框图。
[0017]
[图4]图4是示出由公平性管理系统101的呈现单元301生成的ui的示例的图。
[0018]
[图5]图5是示出由业务系统103的呈现单元371生成的ui的示例的图。
[0019]
[图6]图6是示出从对公平性管理系统101的贷款审查的预测请求起直到反馈审查的最终结果为止的业务系统103、公平性管理系统101和预测系统102的处理的序列图。
[0020]
[图7]图7是示出预测请求重写处理的流程图。
[0021]
[图8]图8是示出当公平性管理系统101再学习学习模型时替换预测系统102的习得模型341的处理的流程图。
[0022]
[图9]图9是示出学习数据膨胀(inflating)处理的流程图。
具体实施方式
[0023]
以下将参照附图详细描述本发明的实施例。
[0024]
[第一实施例]
[0025]
《系统构造》
[0026]
图1是示出根据本发明第一实施例的系统的整体构造的示意图。
[0027]
根据本发明第一实施例的系统100包括公平性管理系统101、预测系统102和业务系统103。公平性管理系统101、预测系统102和业务系统103由一个或更多个信息处理设备构成。多个系统可以由一个信息处理设备构成。这里，信息处理设备是诸如个人计算机、虚拟机等的各种计算机中的任一种。虚拟机例如是用软件程序模拟操作的虚拟计算机等。下面将参照图2描述作为信息处理设备的示例的信息处理设备200。公平性管理系统101是利用通过预测系统102操作的习得模型来监视是否保证了公平性的系统。通过使用学习数据对学习模型进行学习来生成习得模型。习得模型是通过机器学习生成的模型。
[0028]
这里，公平性例如是对习得模型对运行习得模型并接收预测结果的用户和基于预测结果被实际提供服务的用户是否公平的判断。公平性例如是对习得模型对基于习得模型实际运行的国家和环境中的制度、习俗和文化的基准是否公平的判断。即，用于确定公平性的基准很可能根据用户和使用环境而变化。
[0029]
在本实施例中，保证使用了习得模型的预测结果的输出的公平性可以说是针对基准满足公平性的状态。例如，可以由运行习得模型的用户等设置用于确定公平性的基准。
[0030]
预测系统102是如下的系统，其接收来自公平性管理系统101的请求并使用将在下面参照图3的(b)描述的习得模型341进行预测。业务系统103是对来自用户的申请内容进行贷款审查的系统。网络104是诸如因特网的网络，并且网络的种类并不特别重要。公平性管理系统101、预测系统102和业务系统103可以经由网络104相互进行通信。
[0031]
《信息处理设备的内部结构》
[0032]
图2是示出图1所示的系统100中包括的信息处理设备的内部构造的示例的框图。
[0033]
图1所示的公平性管理系统101、预测系统102和业务系统103中的各个由图2中的信息处理设备200构成。
[0034]
信息处理设备200包括cpu 201，该cpu 201执行控制根据实施例的系统100的操作的程序。“cpu”是“中央处理单元”的缩写。信息处理设备200包括系统总线204。cpu 201整体控制连接到系统总线204的硬件。信息处理设备200包括hdd 210和盘控制器209。“hdd”是“硬盘驱动器”的缩写。hdd 210是存储设备的示例并且在此是大容量存储设备。hdd 210存储由cpu 201执行的程序。盘控制器209控制hdd 210。
[0035]
信息处理设备200包括存储器202。存储器202用作cpu 201的主存储器、工作区等。信息处理设备200包括nic 203。“nic”是“网络接口卡”的缩写。nic 203经由网络104与连接到网络104的其他节点双向地进行数据的发送和接收。信息处理设备200包括键盘206和键盘控制器205。用户操纵键盘206以向信息处理设备200输入指令。键盘控制器205进行控制，使得接收利用键盘206的指令输入。信息处理设备200根据其作用可以不包括键盘控制器205和键盘206。信息处理设备200包括显示器208和显示控制器207。显示器208是由液晶显示器等构成的显示模块。显示控制器207对显示器208进行显示控制。信息处理设备200根据其作用可以不包括显示器208和显示控制器207。
[0036]
《公平性管理系统的功能构造》
[0037]
图3的(a)是示出图1中示出的公平性管理系统101的功能构造的示例的框图。
[0038]
公平性管理系统101包括呈现单元301、公平性管理单元302、阈值存储单元303、预测结果存储单元304、再学习单元305、反馈数据存储单元306和通信单元307。通过cpu 201在存储器202上读取并执行存储在公平性管理系统101的hdd 210中的程序，来实现图3的(a)所示的公平性管理系统101的各构造。
[0039]
呈现单元301是生成用于设置指示公平性的阈值的ui的软件模块。“ui”是“用户界面”的缩写。下面将参照图4描述用于设置指示公平性的阈值的ui。
[0040]
公平性管理单元302是确定是否针对习得模型和学习模型保证公平性的软件模块。将参照图7和图8描述确定是否保证公平性的处理。
[0041]
阈值存储单元303是存储下面参照表1描述的阈值管理表的软件模块。
[0042]
预测结果存储单元304是软件模块，其存储下面参照表2描述的预测结果管理表和下面参照表3描述的预测结果统计表。
[0043]
再学习单元305是软件模块，其允许与以下描述的实际运行的预测系统102的习得模型341处于相同学习状态的习得模型作为学习模型进行再学习。
[0044]
反馈数据存储单元306是存储下面参照表4描述的反馈数据管理表的软件模块。
[0045]
通信单元307是允许预测系统102和业务系统103经由网络104进行通信的软件模块。
[0046]
《预测系统的功能构造》
[0047]
图3的(b)是示出预测系统102的功能构造的示例的框图。
[0048]
预测系统102包括习得模型341、习得模型替换单元342和通信单元343。通过cpu 201读取并执行存储在存储器202上的预测系统102的hdd 210中的程序，来实现图3的(b)所示的预测系统102的各构造。
[0049]
习得模型341是软件模块，其基于对象人物的诸如年龄、性别、收入和工作年限的输入数据来确定是否批准贷款，并输出预测结果。
[0050]
习得模型替换单元342是替换习得模型341的软件模块。
[0051]
通信单元343是经由网络104与公平性管理系统101和业务系统103通信的软件模块。预测系统102可以与公平性管理系统101通信，并且可以不与业务系统103通信。
[0052]
《业务系统的功能构造》
[0053]
图3的(c)是示出业务系统103的功能构造的示例的框图。
[0054]
业务系统103包括呈现单元371、逻辑单元372和通信单元373。通过cpu 201读取并执行存储在存储器202上的业务系统103的hdd 210中的程序，来实现图3的(c)所示的业务系统103的各构造。
[0055]
呈现单元371是从用户接收申请内容并生成用于确定是否批准贷款的ui的软件模块。下面将参照图5描述由呈现单元371生成的ui。
[0056]
逻辑单元372是处理从呈现单元371传送的数据的软件模块。
[0057]
通信单元373是允许公平性管理系统101和预测系统102经由网络104通信的软件模块。业务系统103可以与公平性管理系统101通信，并且可以不与预测系统102通信。
[0058]
《由公平性管理系统管理的表》
[0059]
表1至表4是由公平性管理系统101管理的表的示例。
[0060]
[表1]
[0061]
阈值管理id项目监视对象的值比较对象的值阈值预期结果f001性别女性男性0.9批准f002年龄20至3030至400.8批准
………………
[0062]
表1是阈值管理表的示例。阈值管理表存储在阈值存储单元303中。在阈值管理表中，一个记录指示一条阈值信息。阈值管理表具有阈值管理id、项目、监视对象的值、比较对象的值、阈值和预期结果的列。
[0063]
阈值管理id是用于唯一识别阈值信息的id。
[0064]
项目是公平性管理系统101为保证公平性而监视的输入数据的项目。例如，表1的第一行指示性别是要监视的项目。为保证公平性而监视的输入数据的项目包括性别、国籍、地区、学术背景、种族、年龄和收入。
[0065]
监视对象的值是用于监视是否存在由于习得模型341的偏差而导致的劣势的值。例如，在表1的第一行中，用于监视是否存在劣势的值指示女性。作为监视值的“女性”是第一输入值的示例。使用性别为“女性”的输入数据的习得模型341的预测结果是第一预测结果。
[0066]
比较对象的值是用于确定监视对象的值的列的值是否不利的比较对象的值。例如，表1的第一行指示比较对象的值为男性。作为比较对象的值的“男性”是第二输入值的示例。
[0067]
阈值是指示保证公平性所需的程度的阈值。例如，表1的第一行指示阈值为0.9。
[0068]
预期结果指示习得模型341的哪个预期结果是有利的。例如，表1的第一行指示当预期结果是批准时谁是有利的。
[0069]
即，表1的第一行的阈值管理id为f001的阈值信息指示：如果女性批准率/男性批准率《0.9，则在输入数据的性别项目中，由于在习得模型341中出现的偏差，女性被确定为不利。
[0070]
[表2]
[0071]
预测id性别年龄收入
…
预测结果p001男性28600
…
批准p002男性32600
…
批准p003女性35800
…
批准p004女性23500
…
不批准
………………
[0072]
表2是预测结果表的示例。预测结果表存储在预测结果存储单元304中。在预测结果表中，一个记录指示一条预测结果信息。预测结果表具有预测id、性别、年龄、收入和预测结果的列。
[0073]
预测id是唯一指示预测结果信息的id。
[0074]
当公平性管理系统101向预测系统102请求预测时，性别、年龄和收入是输入数据的项目。预测结果表还可以额外具有诸如工作年限的输入数据的项目。
[0075]
预测结果是预测系统102预测的结果。
[0076]
将参照图6描述业务系统103经由公平性管理系统101请求预测系统102预测是否批准贷款的处理。
[0077]
[表3]
[0078]
项目值申请的数量批准的数量性别女性10040性别男性200100年龄20至3015070年龄30至4010050
…………
[0079]
表3是预测结果统计表的示例。预测结果统计表存储在预测结果存储单元304中。在预测结果统计表中，一个记录指示一条预测结果统计信息。预测结果统计表具有项目、值、申请的数量和批准的数量的列。
[0080]
项目是统计输入数据的项目。
[0081]
值是统计输入数据的值。
[0082]
申请的数量是请求预测系统102对其进行预测的数量。
[0083]
批准的数量是预测系统102返回为批准的预测结果的数量。
[0084]
例如，表3的第一行指示性别为女性的申请的数量为100，并且预测系统102预测100中的40获得批准。
[0085]
[表4]
[0086][0087][0088]
表4是反馈数据管理表的示例。反馈数据管理表存储在反馈数据存储单元306中。在反馈数据管理表中，一个记录指示一条反馈数据。反馈数据是从业务系统103向公平性管理系统101发送的信息，将参照图6描述其处理。反馈数据管理表具有反馈数据id、性别、年龄、收入和最终结果的列。
[0089]
反馈数据id是用于唯一识别反馈数据的id。
[0090]
在业务系统103向公平性管理系统101请求预测时，性别、年龄和收入是输入数据的项目。反馈数据管理表还可以额外具有诸如工作年限的输入数据的项目。
[0091]
最终结果是业务系统103对贷款审批的确定结果。
[0092]
《公平性管理系统的ui》
[0093]
图4是示出公平性管理系统101的呈现单元301生成的ui的示例的图。例如，响应于来自公平性管理系统101的用户使用的pc的浏览器的请求，由呈现单元301生成ui，并且ui显示在pc的浏览器上。“pc”是“个人计算机”的缩写。pc连接到网络104并且可以与公平性管理系统101通信。pc可以具有与公平性管理系统101不同的构造或者可以构造公平性管理系统101。
[0094]
连接到公平性管理系统101的pc的浏览器显示阈值信息设置画面400。阈值信息设置画面400包括下拉401、下拉402、下拉403、文本框404、下拉405、按钮406和按钮407。
[0095]
下拉401是用于设置公平性管理系统101为保证公平性而监视的输入数据的项目(对应于表1中的项目)的下拉。
[0096]
下拉402是用于设置用于监视是否存在由于习得模型341的偏差而导致的劣势的值(对应于表1中的监视对象的值)的下拉。
[0097]
下拉403是用于设置用于确定下拉402中设置的监视值是否不利的比较对象的值(对应于表1中的比较对象的值)的下拉。
[0098]
文本框404是用于设置指示保证公平性所需的程度的值(对应于表1中的阈值)的文本框。
[0099]
下拉405是用于设置指示习得模型341的哪个预期结果有利的结果(对应于表1中的预期结果)的下拉。
[0100]
按钮406是用于利用在阈值信息设置画面400上输入的内容来设置阈值信息的按钮。在检测到响应于来自pc的浏览器的请求而按下按钮406时，呈现单元301经由阈值存储单元303将在阈值信息设置画面400上输入的阈值信息保存在表1所示的阈值管理表中。
[0101]
按钮407是用于取消阈值信息的设置的按钮。
[0102]
《贷款申请的审查处理》
[0103]
将参照图5、图6和图7描述业务系统103与公平性管理系统101和预测系统102协作审查贷款申请的处理。
[0104]
图5是示出由业务系统103的呈现单元371生成的ui的示例的图。例如，响应于来自由审查贷款申请的工作人员使用的pc的浏览器的请求，由呈现单元371生成ui，并且ui显示在pc的浏览器上。pc连接到网络104，并且可以与业务系统103进行通信。pc可以具有与业务系统103不同的构造，也可以具有业务系统103的构造。
[0105]
与业务系统103连接的pc的浏览器显示贷款审查画面500。贷款审查画面500包括文本框501、文本框502、下拉503、下拉504、下拉505、按钮506、下拉507、按钮506、按钮508和按钮509。
[0106]
文本框501是用于输入贷款申请人(贷款审查的对象人物)的姓名的文本框。
[0107]
文本框502是用于输入贷款申请人的地址的文本框。
[0108]
下拉503是用于设置贷款申请人的性别的下拉。
[0109]
下拉504是用于设置贷款申请人的年龄的下拉。
[0110]
下拉505是用于设置贷款申请人的收入的下拉。
[0111]
贷款审查画面500可以另外包括输入关于贷款申请人的诸如工作年限的信息的控件。这里，控件例如指示诸如文本框、下拉或按钮的ui部件。
[0112]
按钮506是用于利用在贷款审查画面500上设置的关于贷款申请人的信息来预测贷款是否将被批准的按钮。在按钮506被按下时，接收到按下的业务系统103进行将参照图6描述的处理。
[0113]
下拉507是用于设置是否批准贷款的下拉。在按钮506被预测为被按下时，其预测结果被设置在下拉507中。
[0114]
按钮508是用于利用在贷款审查画面500上输入的内容来确定是否批准贷款的按钮。
[0115]
按钮509是用于取消贷款审查的按钮。
[0116]
图6是示出从贷款审查的预测请求到向公平性管理系统101反馈审查的最终结果的业务系统103、公平性管理系统101和预测系统102的处理的序列图。在业务系统103的呈现单元371检测到响应于来自pc的浏览器的请求而按下贷款审查画面500的按钮506时，处理开始。
[0117]
在步骤s601中，业务系统103的通信单元373请求公平性管理系统101通过使用在贷款审查画面500上设置的关于贷款申请人的信息作为输入数据来预测贷款审查。这里，作为输入数据，并非必须使用在贷款审查画面500上设置的关于贷款申请人的所有信息，而是可以仅使用预测系统102的习得模型341所需的数据。例如，在实施例中，输入数据中不包括姓名和地址，而输入数据中包括性别、年龄、收入和工作年限。本实施例中的输入数据仅为示例性的，并且在学习模型的学习中进行学习数据的分析或诸如降维的调整时，确定必要的输入数据。习得模型341是第一模型的示例。
[0118]
在步骤s602中，公平性管理系统101进行预测请求重写处理。这里，将参照图7的流程图描述由公平性管理系统101进行的预测请求重写处理。图7是示出预测请求重写处理的流程图。
[0119]
在步骤s701中，阈值存储单元303从表1所示的阈值管理表中获取一条阈值信息，并且处理进行到步骤s702。
[0120]
在步骤s702中，公平性管理单元302确定是否可以获取阈值信息。在公平性管理单元302确定可以获取阈值信息时，处理进行到步骤s703。在公平性管理单元302确定无法获取阈值信息时，公平性管理单元302确定检查所有阈值信息的处理结束，并且处理结束。
[0121]
在步骤s703中，公平性管理单元302经由预测结果存储单元304，从表3所示的预测结果统计表中获取与在步骤s702中获取的阈值信息的项目相匹配的预测结果统计信息。例如，在在步骤s702中获取的阈值信息的阈值管理id为f001时，项目的列的值为性别。因此，公平性管理单元302获取预测结果统计表的记录当中的、项目的列为性别的第一行和第二行的记录。然后，公平性管理单元302根据所获取的预测结果统计信息计算比率，并且处理进行到步骤s704。
[0122]
例如，在阈值信息的阈值管理id为f001时，该比率为女性批准率/男性批准率。由于基于预测结果统计信息的女性的申请的数量为100并且批准的数量为40，因此女性的批准率为0.4。由于男性的申请的数量为200并且批准的数量为100，因此男性的批准率为0.5。因此，该比率为0.8。
[0123]
预测结果“批准”是预测结果是预定的预测结果的示例。申请的数量是第一模型使用包括第一输入值的输入来预测的总预测数量的示例。批准的数量是第一模型使用包括第一输入值的输入来预测的预测结果是预定预测结果的次数的示例。女性的批准率是第一比率的示例。男性的批准率是第二比率的示例。
[0124]
在步骤s704中，公平性管理单元302确定在步骤s703中计算出的比率是否小于在步骤s701中获取的阈值信息的阈值。例如，在阈值信息的阈值管理id为f001时，表1中的阈值的列的值为0.9并且在步骤s703计算出的比率为0.8，因此公平性管理单元302确定因为比率小于阈值而出现偏差。在比率小于阈值时，公平性管理单元302使处理进行到步骤s705。在比率不小于阈值时，公平性管理单元302确定保证公平性，并且处理进行到步骤s701。“小于阈值的比率”是预定条件的示例。“小于阈值的比率”是预测结果满足预定条件的情况的示例。“不小于阈值的比率”是预测结果不满足预定条件的情况的示例。预定条件例如是在第一模型使用包括第一输入值的输入获得的预测结果与第一模型使用包括第二输入值的输入获得的预测结果之间存在偏差时满足的条件。
[0125]
在步骤s705中，公平性管理单元302将在步骤s601中请求预测和接收的输入数据的对应项目重写为阈值信息的比较对象的值，并且处理进行到步骤s701。例如，在阈值信息的阈值管理id为f001时，性别为女性的输入数据中的性别被重写为男性。重写处理是置换单元的示例。根据习得模型341，男性比女性更容易被批准贷款，这是因为预测系统102的习得模型341中存在偏差，正如公平性管理单元302在步骤s704中根据比率和阈值进行确定。因此，在本实施例中，预测系统102的习得模型341容易通过进行如步骤s705中的重写来确定批准。
[0126]
现在将参照图6进行描述。在步骤s603中，公平性管理系统101的通信单元307请求预测系统102进行预测。这里，在某些情况下，请求预测的输入数据与步骤s601中请求预测的输入数据不同。这是因为在某些情况下，请求预测的输入数据在步骤s705的处理中被重写。
[0127]
在步骤s604中，预测系统102的习得模型341使用在步骤s603中请求预测和接收的输入数据进行预测，并确定是否批准贷款。使用性别被重写为“男性”的输入数据获得的习得模型341的预测结果是第二预测结果。
[0128]
在步骤s605中，预测系统102的通信单元343以在步骤s604中预测的预测结果响应公平性管理系统101。
[0129]
在步骤s606中，公平性管理系统101的预测结果存储单元304将在步骤s603中请求预测的输入数据和在步骤s605中接收到的预测结果的记录作为预测结果信息添加到表2所示的预测结果表中。
[0130]
在步骤s607中，公平性管理系统101的预测结果存储单元304基于在步骤s603中请求预测的输入数据和在步骤s605中接收到的预测结果，更新表3所示的预测结果统计表。例如，当输入数据的性别的项目的值为女性且预测结果为批准时，预测结果存储单元304将表3的预测结果统计表的第一行中的申请的数量和批准的数量中的各个加1。
[0131]
在步骤s608中，公平性管理系统101的通信单元307以在步骤s605中接收到的预测结果来响应业务系统103。
[0132]
在步骤s609中，业务系统103的呈现单元371生成ui以在贷款审查画面500的下拉507中显示在步骤s608中接收到的预测结果。当审查贷款申请的工作人员按照此情况接收预测结果时，工作人员按下浏览器上显示的贷款审查画面500的按钮508以进行决定。当审核贷款申请的工作人员想要与预测结果不同的结果时，工作人员通过操作下拉507来改变选项，然后按下按钮508以进行决定。当业务系统103的呈现单元371检测到按钮508被按下时，处理进行到步骤s610。
[0133]
在步骤s610中，业务系统103的通信单元373经由逻辑单元372，将在贷款审查画面500上输入的内容作为反馈数据发送到公平性管理系统101。
[0134]
在步骤s611中，公平性管理系统101的反馈数据存储单元306将在步骤s610中接收的反馈数据存储在表4所示的反馈数据管理表中。该处理是用于接收对第二预测结果的反馈的接收单元的示例。以此方式，当在步骤s704中习得模型341被确定为公平并且在步骤s705中重写请求预测的内容时，可以立即保证公平性。
[0135]
这里，将进一步描述表2所示的预测结果表和表4所示的反馈数据管理表。将在步骤s603中请求预测的输入数据存储在表2的预测结果表中。因此，在步骤s602的处理中的重写之后请求预测的输入数据存储在预测结果表中。另一方面，将在步骤s601中请求预测的输入数据存储在表4的反馈数据管理表中。由于输入数据是在步骤s602的处理之前的输入数据，因此在步骤s602的处理中的重写之前的输入数据存储在反馈数据管理表中。
[0136]
《替换习得模型的处理》
[0137]
接下来，将参照图8和图9描述公平性管理系统101进行学习模型的再学习并且替换预测系统102的习得模型341的处理。
[0138]
图8是示出当公平性管理系统101再学习学习模型时替换预测系统102的习得模型341的处理的流程图。当在表4的反馈数据管理表中存储固定数量的案例时，进行图8所示的流程图的处理。在该实施例中，案例的数量是固定的，但这仅是示例性的。例如，可以周期性地进行图8的处理。图8的步骤s801至s811的处理是公平性管理系统101进行的处理。图8的步骤s851和s852的处理是预测系统102进行的处理。
[0139]
在步骤s801中，反馈数据存储单元306从表4的反馈管理表中获取固定数量的反馈数据，并且处理进行到步骤s802。
[0140]
在步骤s802中，再学习单元305将在步骤s801中获取的反馈数据划分为学习数据和验证数据，并且处理进行到步骤s803。验证数据是用于验证学习模型是否满足作为习得模型的条件的数据。通常，验证数据是与学习数据分开准备的，而不用于学习。
[0141]
在步骤s803中，再学习单元305膨胀学习数据并且处理进行到步骤s804。根据该实施例，通过膨胀学习数据，甚至在收集到大量反馈数据之前就可以进行再学习，并且因此可以更快地生成已经被再学习的习得模型。下面将参照图9描述步骤s803的处理的细节。步骤s803的处理是必要时进行的处理。当收集到规定量的反馈数据时，可以在不膨胀的情况下进行再学习。
[0142]
在步骤s804中，再学习单元305使用在步骤s803中膨胀的学习数据，再学习与预测系统102的习得模型341处于相同学习状态的习得模型作为学习模型，并且处理进行到步骤s805。由于用于学习数据的反馈数据包括作为解数据的最终结果，因此在本实施例中使用监督学习的svm(支持向量机)将一些学习数据作为训练数据进行再学习。在本发明中，svm仅仅是示例性的。除此之外，可以应用各种机器学习算法(诸如进行二元分类的算法和神经网络)中的任何一种。
[0143]
在步骤s805中，再学习单元305使用在步骤s802中生成的验证数据作为输入数据，利用在步骤s804中再学习的学习模型进行预测，并且处理进行到步骤s806。再学习的学习模型是第二模型的示例。
[0144]
在步骤s806中，再学习单元305根据输入数据和在步骤s805的处理中输出的预测结果来生成预测结果统计信息，并且处理进行到步骤s807。
[0145]
在步骤s807中，阈值存储单元303从表1所示的阈值管理表中获取一条阈值信息，并且处理进行到步骤s808。
[0146]
在步骤s808中，公平性管理单元302确定是否可以获取阈值信息。当公平性管理单元302可以获取阈值信息时，处理进行到步骤s809。当公平性管理单元302无法获取阈值信息时，公平性管理单元302确定可以针对所有阈值信息保证公平性，并且处理进行到步骤s811。
[0147]
在步骤s809中，公平性管理单元302根据在步骤s806中生成的预测结果统计信息来计算比率，并且处理进行到步骤s810。比率计算方法与步骤s703相同。
[0148]
在步骤s810中，公平性管理单元302确定在步骤s809中计算的比率是否小于在步骤s807中获取的阈值信息的阈值。该确定处理与步骤s704的处理相同。该确定处理是用于确定使用第二模型的验证输入的预测的结果是否满足预定条件的确定单元的示例。当比率小于阈值时，公平性管理单元302确定针对已经再学习的学习模型还不能保证公平性，并结束处理。当比率不小于阈值时，公平性管理单元302利用在步骤s807中获取的阈值信息确定针对已经再学习的学习模型保证公平性，并且处理进行到步骤s807。
[0149]
在步骤s811中，再学习单元305经由通信单元307，将已经再学习的学习模型作为习得模型发送至预测系统102，请求预测系统102替换习得模型341，并结束处理。
[0150]
在步骤s851中，预测系统102的通信单元343监视是否存在替换习得模型341的请求。当存在替换习得模型341的请求时，预测系统102使处理进行到步骤s852。当不存在替换
习得模型341的请求时，预测系统102在步骤s851中继续监视替换习得模型341的请求。
[0151]
在步骤s852中，习得模型替换单元342结束利用在步骤s851中接收到的习得模型替换预测系统102的习得模型341的处理。替换处理是用于将第一模型替换为第二模型的替换单元的示例。以此方式，根据本实施例，习得模型341可以被替换为通过使用反馈数据再学习而生成的并且处于能够保证公平性的状态的习得模型。将习得模型替换为通过再学习而生成的并且处于能够保证公平性的状态的习得模型的处理是用于生成第二模型的生成单元的示例。
[0152]
将参照图9描述由公平性管理系统101进行的学习数据膨胀处理(步骤s803)的细节。图9是示出学习数据膨胀处理的流程图。膨胀处理是用于基于由第二预测结果和包括第一输入值的输入形成的学习数据来生成学习数据的生成单元的示例，在该学习数据中，输入的至少一些值交叠。
[0153]
在步骤s901中，再学习单元305将附加学习数据定义为空，并且处理进行到步骤s902。
[0154]
再学习单元305按照学习数据的数量重复进行从步骤s902到s906的处理。
[0155]
在步骤s903中，再学习单元305针对根据反馈数据生成的学习数据，确定在步骤s705的处理中是否重写预测请求。当预测请求被重写时，再学习单元305使处理进行到步骤s904。当预测请求未被重写时，再学习单元305使处理进行到步骤s906。
[0156]
在步骤s904中，再学习单元305对学习数据进行膨胀，并且处理进行到步骤s905。在膨胀中，重写项目的值固定，而其他值改变。例如，当表4的反馈数据id为d002的记录为学习数据时，生成并使用在步骤s705的处理中重写的性别的女性固定而重写其他项目的值的数据，作为膨胀的学习数据。作为其他项目的重写值的示例，例如，年龄被设置为30岁并且收入被设置为6,200,000日元。由于在步骤s705的处理中重写输入数据以保证公平性，因此通过使用反馈数据进行膨胀，来生成容易保证公平性的学习数据。
[0157]
在步骤s905中，再学习单元305将通过步骤s904中的膨胀生成的学习数据添加到附加学习数据中。
[0158]
在步骤s907中，再学习单元305将步骤s905的附加学习数据添加到用于步骤s804的再学习的学习数据中，并结束处理。
[0159]
根据本发明，如上所述，再学习单元305生成习得模型，其中重写输入数据以保证公平性，并且可以使用反馈数据保证公平性。因此，根据该实施例，可以在能够立即保证公平性的同时利用已经再学习的习得模型自动替换习得模型。
[0160]
上面已经描述了本发明的优选实施例，但是本发明不限于这些实施例，并且在本发明的要旨的范围内可以进行各种变型和改变。
[0161]
(其他实施例)
[0162]
本发明还可以在通过经由网络或记录介质向系统或设备提供实现上述实施例的一个或多个功能的程序并使系统或设备的计算机中的一个或多个处理器读取程序而进行的处理中实施。本发明还可以在实现一个或多个功能的电路(例如，asic)中实施。
[0163]
[附图标记列表]
[0164]
101公平性管理系统；
[0165]
102预测系统；
[0166]
103业务系统。