信息处理方法、信息处理系统及信息处理装置与流程

1.本公开涉及用来通过机器学习训练推论模型的信息处理方法、信息处理系统及信息处理装置。


背景技术：

2.近年来，在边缘终端中执行深度学习(deep learning)时，为了处理的轻量化，采取将推论模型变换为轻量的推论模型的方式。例如，在专利文献1中，公开了在尽可能在推论模型的变换前后维持推论性能的状态下进行推论模型的变换的技术。在该文献中，以使推论性能不下降的方式实施推论模型的变换(例如从第1推论模型向第2推论模型的变换)。
3.现有技术文献
4.专利文献
5.专利文献1：美国专利公开2016/0328644号说明书


技术实现要素：

6.发明要解决的课题
7.但是，在上述专利文献1所公开的技术中，即使在第1推论模型和第2推论模型中推论性能(例如识别率等的识别性能)相同，关于某推论对象，也有第1推论模型的行为(例如正解/非正解)与第2推论模型的行为不同的情况。即，第1推论模型和第2推论模型中，有虽然统计性的推论结果相同、但个别的推论结果不同的情况。该差异有可能引起问题。
8.所以，本公开的目的是提供能够使第1推论模型的行为与第2推论模型的行为接近的信息处理方法等。
9.用来解决课题的手段
10.有关本公开的信息处理方法是由计算机执行的方法，包括以下的处理：取得属于第1种类的第1数据和属于与上述第1种类不同的第2种类的第2数据；将上述第1数据输入到第1推论模型而计算第1推论结果；将上述第1数据输入到第2推论模型而计算第2推论结果；将上述第2数据输入到上述第2推论模型而计算第3推论结果；计算上述第1推论结果与上述第2推论结果的第1误差；计算上述第2推论结果与上述第3推论结果的第2误差；基于上述第1误差和上述第2误差，通过机器学习来训练上述第2推论模型。
11.另外，这些包含性或具体的技术方案也可以由系统、方法、集成电路、计算机程序或计算机可读取的cd－rom等的记录介质实现，也可以由系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
12.发明效果
13.根据有关本公开的一技术方案的信息处理方法等，能够使第1推论模型的行为与第2推论模型的行为接近。
附图说明
14.图1是表示有关比较例的信息处理系统的一例的框图。
15.图2是表示比较例的第1推论模型中的识别层紧前的特征量空间和第2推论模型中的识别层紧前的特征量空间的一例的图。
16.图3是表示有关实施方式的信息处理系统的一例的框图。
17.图4是表示有关实施方式的信息处理方法的一例的流程图。
18.图5是表示实施方式的第1推论模型中的识别层紧前的特征量空间和第2推论模型中的识别层紧前的特征量空间的一例的图。
19.图6是表示有关其他实施方式的信息处理装置的一例的框图。
具体实施方式
20.在以往技术中，以使推论性能不下降的方式实施推论模型的变换，但即使在第1推论模型和第2推论模型中推论性能相同，关于某推论对象，也有第1推论模型中的行为和第2推论模型中的行为不同的情况。这里，行为是与多个输入分别对应的推论模型的输出。即，在第1推论模型和第2推论模型，有虽然统计性的推论结果相同、但个别的推论结果不同的情况。该差异有可能引起问题。例如，关于某推论对象，有在第1推论模型中推论结果为正解、在第2推论模型中推论结果为非正解的情况，或者有在第1推论模型中推论结果为非正解、在第2推论模型中推论结果为正解的情况。
21.这样，如果在第1推论模型和第2推论模型中行为不同，则例如即使在改善了第1推论模型的推论性能并根据改善后的第1推论模型生成了第2推论模型的情况下，也有第2推论模型的推论性能得不到改善或劣化的情况。此外，例如在使用了推论模型的推论结果的后续的处理中，还有可能对于相同的输入，在第1推论模型和第2推论模型中输出不同的处理结果。特别是，在该处理是与安全有关的处理(例如车辆的物体识别处理)的情况下，上述行为的差异有可能带来危险。
22.对此，有关本公开的一技术方案的信息处理方法是由计算机执行的方法，包括以下的处理：取得属于第1种类的第1数据和属于与上述第1种类不同的第2种类的第2数据；将上述第1数据输入到第1推论模型而计算第1推论结果；将上述第1数据输入到第2推论模型而计算第2推论结果；将上述第2数据输入到上述第2推论模型而计算第3推论结果；计算上述第1推论结果与上述第2推论结果的第1误差；计算上述第2推论结果与上述第3推论结果的第2误差；基于上述第1误差和上述第2误差，通过机器学习来训练上述第2推论模型。
23.由此，不仅使用通过将相同的第1数据输入到第1推论模型和第2推论模型而计算出的第1推论结果与第2推论结果的第1误差，还使用通过将不同种类的第1数据和第2数据输入到第2推论模型而计算出的第2推论结果与第3推论结果的第2误差，来通过机器学习训练第2推论模型。因此，能够使第1推论模型的行为与第2推论模型的行为接近。此外，同时能够维持或减小第1推论模型的识别性能与第2推论模型的识别性能的差距，或抑制差距拉开。
24.此外，也可以是，上述第1种类及上述第2种类为类。
25.这样，种类也可以是数据所属的类。
26.此外，也可以是，上述第1推论模型的结构与上述第2推论模型的结构不同。
27.由此，对于分别为不同的结构(例如网络结构)的第1推论模型及第2推论模型，能够使各自的行为接近。
28.此外，也可以是，上述第1推论模型的处理精度与上述第2推论模型的处理精度不同。
29.由此，对于分别为不同的处理精度(例如位精度)的第1推论模型及第2推论模型，能够使各自的行为接近。
30.此外，也可以是，上述第2推论模型通过上述第1推论模型的轻量化来得到。
31.由此，能够使第1推论模型的行为与被轻量化的第2推论模型的行为接近。
32.此外，也可以是，在上述训练中，计算训练参数以使上述第1误差变小并且上述第2误差变大，使用计算出的上述训练参数将上述第2推论模型更新。
33.由此，计算训练参数，以使通过将相同的第1数据输入到不同的第1推论模型和第2推论模型而计算出的第1推论结果与第2推论结果一致(即第1误差变小)、并且通过将不同种类的第1数据和第2数据输入到相同的第2推论模型而计算出的第2推论结果与第3推论结果一致(即第2误差变大)，通过使用该训练参数将第2推论模型更新，从而能够使第1推论模型的行为与第2推论模型的行为的一致率提高。
34.此外，也可以是，上述第1推论模型及上述第2推论模型是神经网络模型。
35.这样，对于分别是神经网络模型的第1推论模型及第2推论模型，能够使各自的行为接近。
36.有关本公开的一技术方案的信息处理系统具备：取得部，取得属于第1种类的第1数据和属于与上述第1种类不同的第2种类的第2数据；推论结果计算部，将上述第1数据输入到第1推论模型而计算第1推论结果，将上述第1数据输入到第2推论模型而计算第2推论结果，将上述第2数据输入到上述第2推论模型而计算第3推论结果；第1误差计算部，计算上述第1推论结果与上述第2推论结果的第1误差；第2误差计算部，计算上述第2推论结果与上述第3推论结果的第2误差；以及训练部，基于上述第1误差和上述第2误差，通过机器学习来训练上述第2推论模型。
37.由此，能够提供能够使第1推论模型的行为与第2推论模型的行为接近的信息处理系统。
38.有关本公开的一技术方案的信息处理装置具备：取得部，取得感测数据；控制部，将上述感测数据输入到第2推论模型而取得推论结果；以及输出部，输出基于所取得的上述推论结果的数据，上述第2推论模型基于第1误差和第2误差通过机器学习来训练，上述第1误差是第1推论结果与第2推论结果的误差，上述第2误差是上述第2推论结果与第3推论结果的误差，上述第1推论结果是将第1数据输入到第1推论模型来计算，上述第2推论结果是将上述第1数据输入到上述第2推论模型来计算，上述第3推论结果是将第2数据输入到上述第2推论模型来计算，上述第1数据是属于第1种类的数据，上述第2数据是属于与上述第1种类不同的第2种类的数据。
39.由此，能够在装置中使用与第1推论模型的行为接近的第2推论模型。由此，能够提高使用嵌入环境中的推论模型的推论处理的性能。
40.以下，参照附图对实施方式具体地进行说明。
41.另外，以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表
示的数值、形状、材料、构成要素、构成要素的配置及连接形态、步骤、步骤的顺序等是一例，不是限定本公开的意思。
42.(实施方式)
43.以下，对有关实施方式的信息处理系统进行说明，而在此之前，使用图1及图2对有关比较例的信息处理系统进行说明。
44.图1是表示有关比较例的信息处理系统1a的一例的框图。信息处理系统1a具备取得部10a、推论结果计算部20a、第1推论模型21、第2推论模型22、第1误差计算部30、训练部50a及学习数据100。
45.信息处理系统1a是用来通过机器学习训练第2推论模型22的系统，在机器学习时使用学习数据100。例如，第2推论模型22是通过第1推论模型21的轻量化得到的模型。例如，第1推论模型21是浮动小数点模型，第2推论模型22是固定小数点模型。尽管是被轻量化的第2推论模型22，信息处理系统1a也通过机器学习来训练第2推论模型22，以使其成为与第1推论模型21相同程度的识别性能。
46.在学习数据100中包含很多种类的数据，例如，在通过机器学习来训练进行图像识别的推论模型的情况下，在学习数据100中包含图像数据。另外，图像既可以是摄像图像，也可以是生成图像。
47.取得部10a取得属于第1种类的第1数据。第1种类例如是类(class)。
48.推论结果计算部20a将第1数据输入到第1推论模型21，计算第1推论结果。此外，推论结果计算部20a将第1数据输入到第2推论模型22，计算第2推论结果。即，推论结果计算部20a通过将相同的第1数据输入到第1推论模型21和第2推论模型22，计算第1推论结果和第2推论结果。
49.第1误差计算部30计算第1推论结果与第2推论结果的第1误差。第1误差是在将相同的第1数据输入到了不同的第1推论模型21和第2推论模型22时计算的第1推论结果与第2推论结果的误差。
50.训练部50a基于第1误差通过机器学习来训练第2推论模型22。训练部50a具有参数计算部51a及更新部52a。参数计算部51a计算训练参数以使第1误差变小，更新部52a使用计算出的训练参数将第2推论模型22更新。第1误差变小意味着在将相同种类的第1数据输入到了不同的第1推论模型21及第2推论模型22时得到的第1推论结果及第2推论结果为接近的推论结果。在第1误差小的情况下，例如在将相同的图像输入到了第1推论模型21及第2推论模型22时，第1推论结果及第2推论结果分别为同样的识别结果。
51.这里，使用图2对比较例的第1推论模型21中的特征量空间和第2推论模型22中的特征量空间进行说明。
52.图2是表示比较例的第1推论模型21中的识别层紧前的特征量空间和第2推论模型22中的识别层紧前的特征量空间的一例的图。各特征量空间中表示的6个圆表示被输入到各推论模型的数据的特征量，3个白圆分别是相同种类(例如x类)的数据的特征量，3个带有点的圆分别是相同种类(例如y类)的数据的特征量。x类和y类是不同的类。例如，假设对于各推论模型，在特征量空间中特征量处于比识别面靠左侧的数据的推论结果表示x类，特征量处于比识别面靠右侧的数据的推论结果表示y类。
53.第1推论模型21例如是浮动小数点模型，为表现力高(换言之参数数量多)的模型。
因此，在第1推论模型21中的特征量空间中，关于x类的数据和y类的数据，类间距离远离，能够分别识别出x类的3个数据及y类的3个数据。
54.另一方面，第2推论模型22例如是被轻量化的固定小数点模型，为表现力低(换言之参数数量少)的模型。即使考虑在将相同的x类的数据及相同的y类的数据等输入到第1推论模型21及第2推论模型22时得到的第1推论结果与第2推论结果的第1误差来训练第2推论模型22，第2推论模型22中的类间距离也不远离，在识别类的变更上是有限的。例如，在考虑了第1误差的训练中，能够使第1推论模型21和第2推论模型22的识别性能相同。具体而言，在图2的例子中，第2推论模型22与第1推论模型21同样，对于6个数据能够将3个数据识别为x类、将3个数据识别为y类。但是，在考虑了第1误差的训练中，难以使第1推论模型21的行为与第2推论模型22的行为接近。具体而言，在图2的例子中，关于相同类的数据，在第1推论模型21中识别为x类，相对于此，在第2推论模型22中识别为y类；此外，关于另外的相同的类的数据，在第1推论模型21中识别为y类，相对于此，在第2推论模型22中识别为x类。
55.这样，在比较例中的基于第1误差的第2推论模型22的训练中，类间距离没有远离，难以使第2推论模型22的行为接近于第1推论模型21的行为。
56.相对于此，有关实施方式的信息处理系统中，能够通过机器学习来训练第2推论模型22，以使第1推论模型21的行为与第2推论模型22的行为接近。以下对此进行说明。
57.图3是表示有关实施方式的信息处理系统1的一例的框图。信息处理系统1具备取得部10、推论结果计算部20、第1推论模型21、第2推论模型22、第1误差计算部30、第2误差计算部40、训练部50及学习数据100。
58.信息处理系统1是用来通过机器学习训练第2推论模型22的系统，在机器学习时使用学习数据100。信息处理系统1是包括处理器及存储器等的计算机。存储器是rom(read only memory)及ram(random access memory)等，能够存储由处理器执行的程序。取得部10、推论结果计算部20、第1误差计算部30、第2误差计算部40及训练部50由执行保存在存储器中的程序的处理器等实现。
59.例如，信息处理系统1也可以是服务器。此外，构成信息处理系统1的构成要素也可以分散配置在多个服务器中。
60.在学习数据100中包含很多种类的数据，例如在通过机器学习来训练进行图像识别的模型的情况下，学习数据100中包含图像数据。学习数据100中，包括属于第1种类的第1数据以及属于与第1种类不同的第2种类的第2数据。第1种类及第2种类例如是类。
61.第1推论模型21及第2推论模型22例如是神经网络模型，对被输入的数据进行推论。对推论而言，在这里例如为分类，但也可以是物体检测、分段或从相机到被摄体的距离的估计等。另外，在推论是分类的情况下，行为可以是正解/非正解或类，在推论是物体检测的情况下，行为可以代替正解/非正解或类或者与其同时是检测框的大小或位置关系，在推论是分段的情况下，行为可以是区域的类、大小或位置关系，在推论是距离估计的情况下，行为可以是估计距离的长度。
62.例如，第1推论模型21的结构与第2推论模型22的结构也可以不同，此外，第1推论模型21的处理精度与第2推论模型22的处理精度也可以不同，第2推论模型22也可以是通过第1推论模型21的轻量化得到的推论模型。例如，在第1推论模型21的结构与第2推论模型22的结构不同的情况下，第2推论模型22与第1推论模型21相比分支数少或节点数少。例如，在
第1推论模型21的处理精度和第2推论模型22的处理精度不同的情况下，第2推论模型22与第1推论模型21相比位精度低。具体而言，也可以是，第1推论模型21是浮动小数点模型，第2推论模型22是固定小数点模型。另外，也可以是，第1推论模型21的结构与第2推论模型22的结构不同，并且第1推论模型21的处理精度与第2推论模型22的处理精度不同。
63.取得部10从学习数据100取得属于第1种类的第1数据和属于与第1种类不同的第2种类的第2数据。
64.推论结果计算部20从取得部10所取得的数据中选择第1数据，将第1数据输入到第1推论模型21及第2推论模型22，计算第1推论结果及第2推论结果。此外，推论结果计算部20从取得部10所取得的数据中选择第2数据，将第2数据输入到第2推论模型22，计算第3推论结果。
65.第1误差计算部30计算第1推论结果与第2推论结果的第1误差。
66.第2误差计算部40计算第2推论结果与第3推论结果的第2误差。
67.训练部50基于第1误差和第2误差通过机器学习来训练第2推论模型22。例如，训练部50具有参数计算部51及更新部52作为功能构成要素。参数计算部51计算训练参数，以使第1误差变小并且第2误差变大。更新部52使用计算出的训练参数将第2推论模型22更新。
68.使用图4对信息处理系统1的动作进行说明。
69.图4是表示有关实施方式的信息处理方法的一例的流程图。信息处理方法是由计算机(信息处理系统1)执行的方法。因此，图4也是表示有关实施方式的信息处理系统1的动作的一例的流程图。即，以下的说明既是信息处理系统1的动作的说明，也是信息处理方法的说明。
70.首先，取得部10取得第1数据和第2数据(步骤s11)。例如，如果设第1数据及第2数据为图像，则取得部10取得分别拍摄有类不同的物体的第1数据和第2数据。
71.接着，推论结果计算部20将第1数据输入到第1推论模型21而计算第1推论结果(步骤s12)，将第1数据输入到第2推论模型22而计算第2推论结果(步骤s13)，将第2数据输入到第2推论模型22而计算第3推论结果(步骤s14)。即，推论结果计算部20通过将相同的第1数据输入到第1推论模型21和第2推论模型22而计算第1推论结果和第2推论结果，通过将不同的种类(例如不同的类)的第1数据和第2数据输入到相同的第2推论模型22而计算第2推论结果和第3推论结果。另外，步骤s12、步骤s13及步骤s14也可以不按该顺序执行，此外也可以并行地执行。
72.接着，第1误差计算部30计算第1推论结果与第2推论结果的第1误差(步骤s15)，第2误差计算部40计算第2推论结果与第3推论结果的第2误差(步骤s16)。第1误差是在将相同的第1数据输入到了不同的第1推论模型21和第2推论模型22时计算出的第1推论结果与第2推论结果的误差。第2误差是在将不同种类的第1数据和第2数据输入到了相同的第2推论模型22时计算出的第2推论结果与第3推论结果的误差。另外，步骤s14及步骤s15也可以不按该顺序执行，此外也可以并行地执行。此外也可以是，在执行步骤s12及步骤s13之后，执行步骤s15，然后执行步骤s14，接着执行步骤s16。或者也可以是，在执行步骤s13及步骤s14之后，执行步骤s16，然后执行步骤s12，接着执行步骤s15。
73.接着，训练部50基于第1误差和第2误差通过机器学习来训练第2推论模型22(步骤s17)。具体而言，在训练部50的训练中，参数计算部51计算训练参数以使第1误差变小并且
第2误差变大，更新部52使用训练参数将第2推论模型22更新。第1误差变小意味着在将相同的第1数据输入到不同的第1推论模型21及第2推论模型22时得到的第1推论结果及第2推论结果为接近的推论结果。第1推论结果与第2推论结果的距离越近，第1误差越小。推论结果的距离例如可以通过交叉熵来求出。第2误差变大意味着在将不同种类的第1数据和第2数据输入到相同的第2推论模型22时得到的第2推论结果及第3推论结果为较远的推论结果。第2推论结果与第3推论结果的距离越近，第2误差越大。参数计算部51通过将第1误差和第2误差分别用任意的系数加权后相加来计算训练参数。例如，在第2推论模型22的训练中，既可以使用第1误差与第2误差的加权和，或者也可以定义新的常数α而使用三元组损失(triplet loss)。
74.这里，使用图5对实施方式的第1推论模型21中的特征量空间和第2推论模型22中的特征量空间进行说明。
75.图5是表示实施方式的第1推论模型21中的识别层紧前的特征量空间和第2推论模型22中的识别层紧前的特征量空间的一例的图。各特征量空间中的6个圆表示被输入到各推论模型中的数据的特征量，3个白圆分别是相同种类(例如x类)的数据的特征量，3个带有点的圆分别是相同种类(例如y类)的数据的特征量。x类和y类是不同的类。例如，假设对于各推论模型，在特征量空间中特征量处于比识别面靠左侧的数据的推论结果表示x类，特征量处于比识别面靠右侧的数据的推论结果表示y类。
76.第1推论模型21为表现力高(换言之参数数量多)的模型。因此，在第1推论模型21中的特征量空间中，关于x类的数据和y类的数据，类间距离远离，能够分别识别出x类的3个数据及y类的3个数据。
77.另一方面，第2推论模型22例如为被轻量化而表现力低(换言之参数数量少)的模型。比较例是仅考虑第1误差来训练第2推论模型22的例子，在该训练中，第2推论模型22中的类间距离不远离。但是，在实施方式中，不仅考虑第1误差还考虑第2误差来进行第2推论模型22的训练。即，通过不仅考虑不同的第1推论模型21及第2推论模型22间的第1误差、还考虑相同的第2推论模型22中的第2误差，与第1推论模型21同样，在第2推论模型22中也能够使类间距离远离。因而，在考虑了第1误差及第2误差的训练中，能够使第1推论模型21和第2推论模型22的识别性能成为相同程度，并且使第1推论模型21的行为与第2推论模型22的行为接近。具体而言，在图5的例子中，第2推论模型22与第1推论模型21同样，对于6个数据，将3个数据识别为了x类，将3个数据识别为了y类。进而，对于在第1推论模型21中识别为x类的数据，在第2推论模型22中也全部识别为了x类，对于在第1推论模型21中识别为y类的数据，在第2推论模型22中也全部识别为了y类。
78.这样，在实施方式中的基于第1误差及第2误差的第2推论模型22的训练中，能够使类间距离远离，能够使第2推论模型22的行为接近于第1推论模型21的行为。
79.如以上说明，不仅使用通过将相同的第1数据输入到第1推论模型21和第2推论模型22而计算出的第1推论结果与第2推论结果的第1误差，还使用通过将不同种类的第1数据和第2数据输入到第2推论模型22而计算出的第2推论结果与第3推论结果的第2误差，来通过机器学习训练第2推论模型22。因此，能够使第1推论模型21的行为与第2推论模型22的行为接近。此外，同时能够维持或减小第1推论模型21的识别性能与第2推论模型22的识别性能的差距，或抑制差距拉开。
80.例如，计算训练参数，以使通过将相同的第1数据输入到不同的第1推论模型21和第2推论模型22而计算出的第1推论结果与第2推论结果的第1误差变小、并且通过将不同种类的第1数据和第2数据输入到相同的第2推论模型22而计算出的第2推论结果与第3推论结果的第2误差变大，并使用该训练参数将第2推论模型22更新，从而能够使第1推论模型21的行为与第2推论模型22的行为的一致率提高。
81.(其他实施方式)
82.以上，基于实施方式对有关本公开的一个或多个技术方案的信息处理方法及信息处理系统1进行了说明，但本公开并不限定于这些实施方式。只要不脱离本公开的主旨，对各实施方式施以本领域技术人员想到的各种变形后的形态、或将不同实施方式的构成要素组合而构建的形态也可以包含在本公开的一个或多个技术方案的范围内。
83.例如，在上述实施方式中，对第2推论模型22通过第1推论模型21的轻量化得到的例子进行了说明，但第2推论模型22也可以不是通过第1推论模型21的轻量化得到的模型。
84.例如，在上述实施方式中，说明了第1数据及第2数据是图像的例子，但也可以是其他的数据。具体而言，也可以是图像以外的感测数据。例如，可以是从麦克风输出的声音数据、从lidar等的雷达输出的点群数据、从压力传感器输出的压力数据、从温度传感器湿度传感器输出的温度数据湿度数据、从气味传感器输出的气味数据等，只要是能够取得正解数据的感测数据就可以作为处理对象。
85.例如，也可以将有关上述实施方式的训练后的第2推论模型22嵌入到装置中。使用图6对此进行说明。
86.图6是表示有关其他实施方式的信息处理装置300的一例的框图。另外，在图6中除了信息处理装置300以外还表示了传感器400。
87.如图6所示，信息处理装置300具备：取得部310，取得感测数据；控制部320，向基于上述第1误差和上述第2误差通过机器学习训练后的第2推论模型22输入感测数据，取得推论结果；以及输出部330，输出基于所取得的推论结果的数据。这样，可以提供具备从传感器400取得感测数据的取得部310、控制使用训练后的第2推论模型22的处理的控制部320、以及输出基于作为第2推论模型22的输出的推论结果的数据的输出部330的信息处理装置300。另外，信息处理装置300中也可以包括传感器400。此外，取得部310也可以从记录有感测数据的存储器取得感测数据。
88.例如，本公开可以作为用来使处理器执行信息处理方法中包含的步骤的程序实现。进而，本公开可以作为记录有该程序的cd－rom等的非暂时性的计算机可读取的记录介质实现。
89.例如，在将本公开用程序(软件)实现的情况下，通过利用计算机的cpu、存储器及输入输出电路等的硬件资源执行程序来执行各步骤。即，通过由cpu从存储器或输入输出电路等取得数据并运算、或将运算结果向存储器或输入输出电路等输出来执行各步骤。
90.另外，在上述实施方式中，信息处理系统1中包含的各构成要素也可以由专用的硬件构成，或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由cpu或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。
91.有关上述实施方式的信息处理系统1的功能的一部分或全部典型地可以作为集成
电路即lsi实现。这些既可以单独地形成一个芯片，也可以包含一部分或全部而形成一个芯片。此外，集成电路化并不限于lsi，也可以由专用电路或通用处理器实现。也可以利用在lsi制造后能够编程的fpga(field programmable gate array)或能够重构lsi内部的电路单元的连接及设定的可重构处理器。
92.进而，只要不脱离本公开的主旨，对本公开的各实施方式施以了本领域技术人员想到的范围内的变更的各种变形例也包含在本公开中。
93.产业上的可利用性
94.本公开例如可以应用于在边缘终端执行深度学习时所使用的推论模型的开发。
95.标号说明
96.1、1a 信息处理系统
97.10、10a、310 取得部
98.20、20a 推论结果计算部
99.21 第1推论模型
100.22 第2推论模型
101.30 第1误差计算部
102.40 第2误差计算部
103.50、50a 训练部
104.51、51a 参数计算部
105.52、52a 更新部
106.100 学习数据
107.300 信息处理装置
108.320 控制部
109.330 输出部