信息处理系统的制作方法

1.本公开涉及一种信息处理系统。


背景技术：

2.在xiang,tran and johnson,reachable set computation and safety verification for neural networks with relu activations(arxiv2017).(非专利文献1)中，公开了一种对相对于利用神经网络而被预先学习过的学习完毕模型的输入数据的、该学习完毕模型的输出数据的范围严格地进行辨别的技术。


技术实现要素：

3.发明所要解决的问题
4.在非专利文献1所记载的技术中，由于计算量庞大从而并不现实，因此在减少计算量的观点上存在改善的余地。此外，非专利文献1中所记载的技术并不是对通过向学习完毕模型输入数据从而获得的输出数据的可靠性进行评价的技术。
5.本公开是考虑到以上的情况而完成的技术，其涉及一种能够在减少计算量的同时，对通过向学习完毕模型输入数据从而获得的输出数据的可靠性进行评价的技术。
6.用于解决问题的方法
7.第一方式所涉及的信息处理系统包括信息处理装置以及控制装置，其中，所述信息处理装置具备：第一判断部，其实施第二输出数据相对于第一输出数据的变化量是否在被预先设定的阈值以下的判断，其中，所述第一输出数据为，通过将第一输入数据输入至被预先学习过的学习完毕模型中从而从所述学习完毕模型中获得的数据，所述第二输出数据为，通过将在所述第一输入数据上相加被设定的摄动量的摄动而得到的第二输入数据输入至所述学习完毕模型中从而从所述学习完毕模型中获得的数据；第一输出部，其将表示通过所述第一判断部而被判断为所述变化量在所述阈值以下的所述第一输入数据和所述摄动量的信息输出，所述控制装置具备：取得部，其取得用于输入至所述学习完毕模型中的第三输入数据；第二判断部，其实施所述第三输入数据是否被包含在以由所述第一输出部而输出的信息所表示的所述第一输入数据为基准的所述摄动量的范围内的判断；第二输出部，其将通过所述第二判断部而被判断为并未被包含在所述范围内的所述第三输入数据输出，所述第一判断部将通过所述第二输出部而被输出的第三输入数据作为所述第一输入数据来实施所述判断，所述第一输出部进一步将表示通过所述第一判断部而被判断为所述变化量在所述阈值以下的所述第三输入数据和所述摄动量的信息输出。
8.根据第一方式所涉及的信息处理系统，实施第二输出数据相对于第一输出数据的变化量是否在被预先设定的阈值以下的判断，其中，所述第一输出数据为，通过将第一输入数据输入至被预先学习过的学习完毕模型中从而从学习完毕模型中获得的数据，所述第二输出数据为，通过将在第一输入数据上相加被设定的摄动量的摄动而得到的第二输入数据输入至学习完毕模型中从而从学习完毕模型中获得的数据。此外，通过信息处理装置而将
表示被判断为变化量在阈值以下的第一输入数据和摄动量的信息输出。此外，通过控制装置而对用于向学习完毕模型输入的第三输入数据是否被包含在以由第一输出部而输出的信息所表示的第一输入数据为基准的摄动量的范围内进行判断。此外，通过控制装置而输出被判断为未被包含在上述范围内的第三输入数据。而且，通过信息处理装置而将通过控制装置而输出的第三输入数据作为第一输入数据来实施上述判断，并且进一步输出表示被判断为变化量在阈值以下的第三输入数据和摄动量的信息。
9.因此，能够在减少计算量的同时，对通过向学习完毕模型输入数据从而获得的输出数据的可靠性进行评价。
10.第二方式所涉及的信息处理系统为，在第一方式所涉及的信息处理系统中，所述第一判断部在所述变化量超过所述阈值的情况下，反复实施对在使所述摄动量与前次的值相比而减小了的基础上再度获得的所述第二输出数据相对于所述第一输出数据的变化量是否在所述阈值以下进行判断的处理，直至所述变化量成为所述阈值以下为止。
11.根据第二方式所涉及的信息处理系统，由于反复实施上述判断直至变化量成为阈值以下为止，因此能够高精度地对通过向学习完毕模型输入数据从而获得的输出数据的可靠性进行评价。
12.第三方式所涉及的信息处理系统为，在第一或者第二方式所涉及的信息处理系统中，所述第一输出部将所述第一输入数据作为具有与所述第一输入数据相同的维度的空间的一点而进行表示，并且将以所述一点为中心的半径为所述摄动量的超球作为所述信息而输出。
13.根据第三方式所涉及的信息处理系统，由于能够利用超球来表现第一输入数据和摄动量，因此能够简单地对表示第一输入数据和摄动量的信息进行处理。
14.第四方式所涉及的信息处理系统为，在第一至第三中的任意一个方式中，信息处理装置为服务器计算机，控制装置为被搭载于车辆上的计算机，第一输入数据、第二输入数据、以及第三输入数据为图像数据。
15.第五方式所涉及的信息处理系统为，在第一至第四中的任意一个方式中，取得部将通过被搭载于车辆上的摄像机而拍摄到的图像数据作为第一输入数据而取得。
16.第六方式所涉及的信息处理系统为，在第一至第五中的任意一个方式中，第一输出部所输出的信息被用于实施自动驾驶控制。
17.发明的效果
18.根据本公开中的各种方式，能够在减少计算量的同时，对通过向学习完毕模型输入数据从而获得的输出数据的可靠性进行评价。
附图说明
19.图1为表示信息处理系统的结构的一个示例的框图。
20.图2为表示信息处理装置的硬件结构的一个示例的框图。
21.图3为用于对学习完毕模型进行说明的图。
22.图4为表示控制装置的硬件结构的一个示例的框图。
23.图5为表示信息处理装置以及控制装置的功能的结构的一个示例的框图。
24.图6为表示第一输出处理的一个示例的流程图。
25.图7为表示第二输出处理的一个示例的流程图。
具体实施方式
26.以下，参照附图，对本公开的方式示例详细地进行说明。
27.首先，参照图1，对本实施方式所涉及的信息处理系统10的结构进行说明。如图1所示那样，信息处理系统10包括信息处理装置12以及控制装置14。信息处理装置12在测试阶段中被使用。作为信息处理装置12的示例，可以列举出服务器计算机等。控制装置14被设置于车辆上。此外，控制装置14在运用阶段中被使用。作为控制装置14的示例，可以列举出ecu(electronic control unit：电子控制单元)等车载计算机。
28.接下来，参照图2，对本实施方式所涉及的信息处理装置12的硬件结构进行说明。如图2所示那样，信息处理装置12包括，cpu(central processing unit：中央处理单元)20、作为临时存储区域的存储器21、以及非易失性的存储部22。此外，信息处理装置12包括，液晶显示器等显示部23、键盘和鼠标等输入部24、以及被连接到网络上的网络i/f(interface：接口)25。cpu20、存储器21、存储部22、显示部23、输入部24以及网络i/f25被连接到总线26上。
29.存储部22通过hdd(hard disk drive：硬盘驱动器)、ssd(solid state drive：固态硬盘)、或者闪存等来实现。在作为存储介质的存储部22中存储有信息处理程序30。cpu20通过从存储部22读取信息处理程序30并展开到存储器21中，从而执行展开后的信息处理程序30。
30.此外，在存储部22中存储有学习完毕模型32以及范围数据34。学习完毕模型32为通过机械学习而被预先学习过的模型，并且被用于对被照出在作为输入数据的图像上的物体进行确定。作为一个示例，如图3所示那样，本实施方式所涉及的学习完毕模型32为，具有一个输入层、多个中间层、以及一个输出层的深度神经网络模型。学习完毕模型32中被输入有物体的图像，并且以与该输入对应的方式而输入被照出在该图像上的物体的确定结果和该确定结果的概率。作为物体的示例，可以列举出道路标识、交通信号灯、车辆以及人等。另外，学习完毕模型32并不被限定于深度神经网络模型。此外，对于范围数据34的详细内容将在下文中进行说明。
31.接下来，参照图4，对本实施方式所涉及的控制装置14的硬件结构进行说明。如图4所示那样，控制装置14包括cpu40、作为临时存储区域的存储器41、以及非易失性的存储部42。此外，控制装置14包括被连接到网络上的网络i/f43、以及输入输出i/f44。在输入输出i/f44上连接有车载摄像机46。cpu40、存储器41、存储部42、网络i/f43、以及输入输出i/f44被连接到总线45上。
32.存储部42通过hdd、ssd、或者闪存等来实现。在作为存储介质的存储部42中存储有控制程序50。cpu40在从存储部42读取控制程序50之后展开到存储器41中，并且执行展开后的控制程序50。此外，与存储部22同样地，在存储部42中存储有学习完毕模型32以及范围数据34。
33.车载摄像机46被搭载于车辆的车厢内，并且向控制装置14输出拍摄车辆的前方而获得的图像。
34.接下来，参照图5，对本实施方式所涉及的信息处理装置12以及控制装置14的功能
的结构进行说明。如图5所示那样，信息处理装置12包括第一取得部60、导出部62、第一判断部64以及第一输出部66。信息处理装置12的cpu20通过执行信息处理程序30，从而作为第一取得部60、导出部62、第一判断部64以及第一输出部66而发挥功能。控制装置14包括第二取得部70、第二判断部72以及第二输出部74。控制装置14的cpu40通过执行控制程序50，从而作为第二取得部70、第二判断部72以及第二输出部74而发挥功能。
35.第一取得部60取得测试数据y_t。本实施方式所涉及的测试数据y_t为，照出有通过车载摄像机等的拍摄装置而被拍摄到的物体的图像数据。测试数据y_t相当于公开的技术所涉及的第一输入数据。
36.导出部62将相加到测试数据y_t上的摄动的摄动量ε导出。具体而言，导出部62利用以下的参考文献1中所记载的方法，来将带来超过后述的阈值th的变化量的变化的对于测试数据y_t的摄动中的、极小的(例如，最小的)量作为摄动量ε而导出。在此所说的摄动的示例，可以列举出在规定了变化量的上限值的基础上使图像的数像素的值发生变化，或者在规定了像素值的平均值的绝对值或者分散值的上限值的基础上对于图像而赋予白噪声的情况等。另外，该上限值对应于摄动量ε的情况较多。
37.参考文献1：szegedy,zaremba,sutskever,bruna,erhan,goodfellow and fergus,intriguing properties of neural networks,(iclr2013).
38.第一判断部64通过向学习完毕模型32输入测试数据y_t，从而从学习完毕模型32中获得第一输出数据。此外，第一判断部64通过向学习完毕模型32输入把摄动量ε的摄动相加到测试数据y_t上而得到的测试数据y_tε，从而从学习完毕模型32中获得第二输出数据。测试数据y_tε相当于公开的技术所涉及的第二输入数据。
39.第一判断部64将第二输出数据相对于第一输出数据的变化量c导出。在本实施方式中，对作为变化量c而适用了作为第一输出数据而从学习完毕模型32中输出的概率、和作为第二输出数据而从学习完毕模型32中输出的概率的差的绝对值的示例进行说明。第一判断部64对所导出的变化量c是否在被预先设定的阈值th以下进行判断。第一判断部64在变化量c超过阈值th的情况下，反复实施对在使摄动量ε与前次的值相比而减小的基础上再度获得的第二输出数据相对于第一输出数据的变化量c是否在阈值th以下进行判断的处理，直至变化量c成为阈值th以下为止。关于使这种情况下的摄动量ε减小至何种程度只需预先设定即可，例如，只需与前次的值相比而减小被预先设定的比例(例如，1％)即可。
40.第一输出部66将表示通过第一判断部64而被判断为变化量c在阈值th以下的测试数据y_t和摄动量ε的信息作为范围数据34而输出(保存)至存储部22。在本实施方式中，第一输出部66将测试数据y_t作为具有与测试数据y_t相同维度的空间的一点来进行表示，并且将以该一点为中心的半径为摄动量ε的超球作为范围数据34而输出至存储部22。例如，在测试数据y_t为单色图像(即，各像素值为0或1的2值的图像)、且分辨率为10像素
×
10像素的图像的情况下，该测试数据y_t能够作为2
×
10
×
10维的空间的一点来进行表示。可以说，该超球表示即使在相加上摄动量ε之后学习完毕模型32的输出的变化量也较小的图像。
41.信息处理装置12对于多个不同的测试数据y_t中的每一个实施以上的处理。因此，范围数据34成为，对于多个不同的测试数据y_t中的每一个而求得的多个超球的并集。信息处理装置12通过对于多个不同的测试数据y_t中的每一个以被预先设定的并列数来并列地实施以上的处理，从而能够缩短计算时间。作为这种情况下的并列数，例如可以适用cpu20
所具有的核数。
42.通过以上的处理而被存储于存储部22中的范围数据34从信息处理装置12被发送至控制装置14，从而也被存储于控制装置14的存储部42中。另外，第一输出部66还可以将范围数据34经由网络i/f25而输出(发送)至控制装置14。
43.第二取得部70经由输入输出i/f44而取得通过车载摄像机46而被拍摄到的图像数据。该图像数据例如在搭载有控制装置14的车辆的点火开关被设置为开启状态的期间内，按照被预先设定的帧率通过车载摄像机46而被拍摄。在下文中，将该图像数据称为“实拍数据y_h”。实拍数据y_h相当于用于向公开的技术所涉及的学习完毕模型32输入的第三输入数据。此外，第二取得部70相当于公开的技术所涉及的取得部。在本实施方式中设定为，测试数据y_t和实拍数据y_h的维数(即，各像素的位数以及像素数)相同。但是，在测试数据y_t和实拍数据y_h的维数不同的情况下，只需对于测试数据y_t和实拍数据y_h中的至少一方实施图像处理以使之成为相同的维数即可。
44.第二判断部72对实拍数据y_h是否被包含在以由第一输出部66而输出的信息所表示的测试数据y_t为基准的摄动量ε的范围r内进行判断。具体而言，第二判断部72在将实拍数据y_h作为具有与实拍数据y_h相同的维度的空间的一点来进行表示的情况下，对是否被包含在范围数据34所表示的多个超球的并集内进行判断。
45.在通过第二判断部72而被判断为实拍数据y_h被包含在范围r内的情况下，第二输出部74向学习完毕模型32输入该实拍数据y_h。对应于该输入，从学习完毕模型32输出被包含在实拍数据y_h中的物体的确定结果和该确定结果的概率。来自该学习完毕模型32的输出例如被使用在车辆的自动驾驶控制中。
46.另一方面，在通过第二判断部72而被判断为实拍数据y_h并未被包含在范围r内的情况下，第二输出部74将该实拍数据y_h经由网络i/f43而输出(发送)至信息处理装置12。信息处理装置12将如上所述那样从控制装置14被发送的实拍数据y_h作为测试数据y_t来进行处理。即，第一判断部64将通过第二输出部74而被输出的实拍数据y_h作为测试数据y_t来实施上述的判断。而且，第一输出部66将表示通过第一判断部64而被判断为变化量c在阈值th以下的实拍数据y_h和摄动量ε的信息，作为范围数据34而输出至存储部22。由此，并未被包含在范围r内的实拍数据y_h将从控制装置14被反馈至信息处理装置12，并基于被反馈的实拍数据y_h而使范围数据34被更新。因此，能够对通过向学习完毕模型32输入数据而获得的输出数据的可靠性进行评价。
47.第二输出部74还可以将未被包含在范围r内的实拍数据y_h输出(保存)至存储部42中。在该情况下，第二输出部74在被预先设定的时刻将被存储于存储部22中的实拍数据y_h输出至信息处理装置12。作为该被预先设定的时刻，例如可以列举出定期性的时刻、或者被存储于存储部42中的实拍数据y_h的数超过了固定数的时刻等。此外，在通过第二判断部72而被判断为实拍数据y_h并未被包含在范围r内的情况下，第二输出部74还可以通过语音以及向显示器的显示中的至少一方来报知警告。
48.接下来，参照图6，对本实施方式所涉及的信息处理装置12的作用进行说明。信息处理装置12的cpu20通过执行信息处理程序30，从而执行图6所示的第一输出处理。第一输出处理例如在由用户经由输入部24而输入了执行指示的情况下被执行。此外，第一输出处理对于多个测试数据y_t中的每一个而被并列地执行。
49.在图6的步骤s10中，第一取得部60取得测试数据y_t。在步骤s12中，导出部62如上文所述那样而将相加到在步骤s10中所取得的测试数据y_t上的摄动的摄动量ε导出。
50.在步骤s14中，第一判断部64通过将在步骤s10中所取得的测试数据y_t输入至学习完毕模型32中，从而从学习完毕模型32中获得第一输出数据。此外，第一判断部64通过将在步骤s10中所取得的测试数据y_t相加上摄动量ε的摄动而得到的测试数据y_tε输入至学习完毕模型32中，从而从学习完毕模型32中获得第二输出数据。关于该摄动量ε，在初次执行步骤s14的情况下，是在步骤s12中被导出的摄动量ε，在经由后述的步骤s18而将步骤s14执行了第二次的情况下，是在步骤s18中被减小后的摄动量ε。而且，如上文所述，第一判断部64将第二输出数据相对于第一输出数据的变化量c导出。
51.在步骤s16中，第一判断部64对所导出的变化量c是否在被预先设定的阈值th以下进行判断。在该判断成为否定判断的情况下，处理转移至步骤s18。在步骤s18中，第一判断部64如上文所述那样使摄动量ε与前次的步骤s14中的值相比而减小。当步骤s18的处理结束时，处理返回至步骤s14。
52.另一方面，在步骤s16的判断成为肯定判断的情况下，处理转移至步骤s20。在步骤s20中，第一输出部66如上文所述那样将表示在步骤s16中被判断为变化量c在阈值th以下的测试数据y_t和摄动量ε的信息作为范围数据34而输出至存储部22中。当步骤s20的处理结束时，第一输出处理结束。
53.接下来，参照图7，对本实施方式所涉及的控制装置14的作用进行说明。控制装置14的cpu40通过执行控制程序50，从而执行如图7所示的第二输出处理。第二输出处理例如在每当通过车载摄像机46而被拍摄到的图像数据(实拍数据y_h)被输入至控制装置14中时被执行。
54.在图7的步骤s30中，第二取得部70经由输入输出i/f44而取得通过车载摄像机46而被拍摄到的实拍数据y_h。在步骤s32中，如上文所述那样，第二判断部72对在步骤s30中所取得的实拍数据y_h是否被包含在以在步骤s20中所输出的信息所表示的测试数据y_t为基准的摄动量ε的范围r内进行判断。在该判断成为肯定判断的情况下，处理转移至步骤s34，在该判断成为否定判断的情况下，处理转移至步骤s36。
55.在步骤s34中，第二输出部74将在步骤s30中所取得的实拍数据y_h输入至学习完毕模型32中。与该输入相对应地，从学习完毕模型32中输出被包含在实拍数据y_h中的物体的确定结果和该确定结果的概率。来自该学习完毕模型32的输出例如被使用于车辆的自动驾驶控制中。当步骤s34的处理结束时，第二输出处理结束。
56.在步骤s36中，第二输出部74如上文所述那样将在步骤s30中所取得的实拍数据y_h经由网络i/f43而输出至信息处理装置12。当步骤s36的处理结束时，第二输出处理结束。
57.如以上所说明的那样，根据本实施方式，能够在减少计算量的同时，对通过向学习完毕模型输入数据而获得的输出数据的可靠性进行评价。
58.另外，在上述实施方式中，还可以将导出部62以及第一判断部64汇总为一个功能部。在此情况下，该功能部例如只需利用以下的参考文献2中所记载的方法来导出变化量c成为阈值th以下的最大的摄动量ε即可。
59.参考文献2：wong and kolter,provable defenses against adversarial examples via the convex outer adversarial polytope,(icml2018).
60.此外，虽然由上述实施方式中的cpu20以及cpu40而实施的处理作为通过执行程序来实施的软件处理而进行了说明，但是也可以设定为，通过asic(application specific integrated circuit：特种集成电路应用)以及fpga(field
‑
programmable gate array：现场可编程门阵列)等的硬件来实施的处理。此外，通过cpu20以及cpu40而实施的处理还可以设定为，通过将软件以及硬件的双方进行组合而被实施的处理。此外，被存储于存储部22中的信息处理程序30以及被存储于存储部42中的控制程序50也可以存储于各种存储介质中而进行流通。
61.此外，本公开并不限定于上述的方式示例，显然除了上述的方式示例之外，也可以在不脱离其主旨的范围内通过各种变形来实施。