评价装置、评价方法以及评价程序与流程

1.本发明涉及评价装置、评价方法以及评价程序。


背景技术：

2.作为深层学习的方法，广泛使用vae(variational auto encoder，变分自编码器)，但近年来，暗示了作为针对机器学习的脆弱性的攻击的adversarial attack(对抗攻击)的威胁。adversarial attack是指通过有意识地赋予机器学习的脆弱性而产生学习的品质降低、分类问题中的误分类等的攻击手法。近年来，在基于深层学习的有教学分类问题中，使用载有人无法识别数据的微小噪声的adversarial example(对抗例)来使误认数据的方法成为威胁，正在进行研究。
3.使用了adversarial example的adversarial attack对作为无教学学习的vae也是很大的威胁。vae将输入数据压缩为隐变量，根据隐变量重构输入数据，当通过adversarial attack对向该vae的输入数据施加噪声时，重构目的地被操作。其结果，例如，使用vae的异常检测系统有可能将本来异常的通信数据判定为正常的通信数据。因此，评价现有的vae应用对adversarial attack具有怎样的耐性是重要的课题。
4.但是，以往，关于adversarial attack对vae的耐受性评价，只能在对vae的输入数据附加了标签的情况下进行。对该vae的耐受性评价例如通过使分类器学习根据对vae的输入数据的标签对vae的中间输出(隐变量)进行分类，并对该学习到的分类器进行adversarial attack来进行。
5.现有技术文献
6.非专利文献
7.非专利文献1：vae(variational auto encoder)，[平成31年3月7日检索]，互联网<url：https://arxiv.org/abs/1312.6114>
[0008]
非专利文献2：对有教学学习的攻击，[平成31年3月7日检索]，互联网<url：https://arxiv.org/abs/1412.6572>
[0009]
非专利文献3：对无教学学习的攻击，[平成31年3月7日检索]，互联网<https：//arxiv.org/abs/1702.06832>


技术实现要素：

[0010]
发明要解决的课题
[0011]
但是，根据上述方法，在进行adversarial attack对vae的耐受性评价的情况下，以向vae的输入数据带有标签为前提。因此，不能进行使用无标签数据作为输入数据的adversarial attack对vae的耐性评价。因此，本发明的课题在于解决上述问题，即使是使用无标签数据作为输入数据的vae，也能够进行adversarial attack的耐性评价。
[0012]
解决课题的手段
[0013]
为了解决上述课题，本发明具备：输入部，其接受变分自编码器的隐变量的输入；
标签赋予部，其通过规定的聚类方法对所输入的所述隐变量进行聚类，按照每个聚类对属于该聚类的隐变量赋予所述聚类的标签；学习部，其将赋予了所述标签的隐变量用作教学数据来进行分类器的学习；评价部，其对学习后的所述分类器，进行adversarial attack的耐性评价；以及输出所述adversarial attack的耐性评价的结果的输出部。
[0014]
发明的效果
[0015]
根据本发明，即使是使用无标签数据作为输入数据的vae，也能够进行adversarial attack的耐性评价。
附图说明
[0016]
图1是说明vae的概要的图。
[0017]
图2是说明评价装置的动作概要的图。
[0018]
图3是表示评价装置的结构例的图。
[0019]
图4是表示使用了防御成功率的adversarial attack的耐性评价的例子的图。
[0020]
图5是表示评价装置的处理步骤的例子的图。
[0021]
图6是说明使用了vae的通信的异常检测系统的例子的图。
[0022]
图7是表示执行评价程序的计算机的例子的图。
具体实施方式
[0023]
以下，参照附图对用于实施本发明的方式(实施方式)进行说明。本发明不限于以下说明的实施方式。
[0024]
首先，使用图1说明vae的概要。如图1所示，vae通过被称为编码器的神经网络，将输入数据转换为低维的隐变量后，通过解码器进行学习以进行输入数据的重构。上述学习的结果，在vae的隐变量中保存重构输入数据所需的信息。即，隐变量表现出输入数据的本质特征。
[0025]
由此，学习后的vae例如在接受图2的符号201所示的数据组的输入时，重构该数据组，输出符号202所示的数据组。但是，若通过adversarial attack对vae施加噪声，则vae有时不能重构符号201的数据组(参照符号203参照)。
[0026]
接着，使用图2说明进行上述adversarial attack对vae的耐受性评价的评价装置的动作概要。
[0027]
首先，评价装置对vae学习到的隐变量进行聚类，并赋予标签(s1)。即，如果是本质上类似的输入数据，则隐变量也同样，所以评价装置在vae学习的隐变量中，在特征接近的隐变量之间生成聚类。然后，评价装置对生成的每个聚类，对属于该聚类的隐变量赋予标签(例如，标签1、标签2、标签3等)。
[0028]
在s1之后，评估装置学习分类器，使得在s1中赋予隐变量的标签被正确地分类(s2)。然后，评价装置对在s2中学习到的分类器应用已有的攻击方法，进行耐性评价(s3)。
[0029]
例如，评价装置对在s2中学习到的分类器应用adversarial attack来进行耐性评价。然后，评价装置将针对该分类器的耐性评价的结果作为vae的adversarial attack的耐性评价而输出。即，在s2中学习到的分类器基于vae学习到的特征(隐变量)对数据进行分类，因此对该分类器应用该分类器无法正确地对数据进行分类的攻击能够认为是间接地攻
击了vae主体。因此，可以认为在s2中学习到的adversarial attack对分类器的耐性评价的结果是adversarial attack对vae的耐性评价的结果。
[0030]
接着，使用图3说明评价装置10的结构例。例如如图3所示，评价装置10具备输入输出部(输入部以及输出部)11、控制部12以及存储部13。输入输出部11负责各种数据的输入输出。例如，输入输出部11接受成为评价对象的vae的隐变量的输入，或者输出adversarial attack对该vae的耐性评价的结果。
[0031]
控制部12负责评价装置10整体的控制。存储部13存储控制部12执行处理时所参照的各种信息和控制部12的处理结果。
[0032]
控制部12例如具备标签赋予部121、分类部122、学习部123以及评价部124。
[0033]
标签赋予部121通过规定的聚类方法对vae的隐变量进行聚类，按照每个聚类对属于该聚类的隐变量赋予表示该聚类的标签(伪标签)。
[0034]
例如，标签赋予部121当经由输入输出部11接受vae的隐变量的输入时，通过x－means等对该隐变量进行聚类。对于每个聚类，标签赋予部121按照每个聚类，将该聚类的编号作为标签(伪标签)分配给属于该聚类的隐变量。并且，标签赋予部121将赋予了标签的隐变量(带标签的隐变量131)存储在存储部13中。
[0035]
分类部122具备规定的分类器，通过该分类器进行数据的分类。学习部123执行分类器的学习。此外，对分类器(分类部122)安装于评价装置10的内部的情况进行说明，但也可以安装于评价装置10的外部。
[0036]
学习部123将带标签的隐变量用作教学数据来进行分类器的学习。例如，学习部123使用存储在存储部13中的带标签的隐变量131来学习分类器，以按照标签对隐变量进行正确分类。
[0037]
评价部124对学习部123学习后的分类器进行adversarial attack的耐性评价。耐性评价的结果例如经由输入输出部11输出到外部装置。这里的adversarial attack的耐性评价中的评价指标例如使用针对adversarial attack的防御成功率。防御成功率例如使用分类器将添加了噪声的数据分类为与原来的数据相同的标签的概率。例如，评价部124通过测定使生成adversarial example的噪声的强度变化时的、学习后的分类器的防御成功率，进行adversarial attack对学习后的分类器的耐性评价。
[0038]
另外，一般adversarial example、原始数据(original)和施加于该数据的噪声(noise)的关系如以下的式(1)那样表示。
[0039]
adversarial example＝(1－ε)*original ε*noise
…
式(1)
[0040]
上述式(1)中的ε是表示噪声强度的参数。通过评价部124使ε进行各种变化来测定防御成功率，能够进行adversarial attack对学习后的分类器的耐性评价。
[0041]
图4表示adversarial attack对vae的耐性评价例。图4表示将ε从0逐次增加0.1时的防御成功率。图4的左侧所示的图表的阴影部分的面积越大，则能够评价为对攻击的耐性越高(即牢固的)的vae。
[0042]
接着，使用图5说明评价装置10的处理步骤的例子。首先，评价装置10的标签赋予部121当经由输入输出部11接受评价对象的vae的隐变量的输入时，对所输入的vae的隐变量进行聚类，赋予标签(s11)。接着，学习部123进行分类器的学习，以便将在s1中赋予隐变量的标签正确地分类(s12)。然后，评价部124进行学习后的分类器对对抗攻击
(adversarial attack)的耐性评价(s13)。然后，评价部124经由输入输出部11输出耐受性评价的结果。
[0043]
由此，评价装置10即使是使用无标签数据作为输入数据的vae，也能够进行adversarial attack的耐性评价。
[0044]
此外，在上述实施方式中，说明了评价装置10作为耐性评价的对象的vae置于评价装置10的外部的情况，但也可以安装在评价装置10的内部。
[0045]
另外，也可以将上述的vae对adversarial attack的耐性评价应用于对使用了vae的通信的异常检测系统的耐性评价。首先，使用图6说明使用了vae的通信的异常检测系统的概要。
[0046]
例如，如图6所示，异常检测系统通过vae学习正常的通信(互联网与想要保护免受攻击的系统之间的正常的通信)的特征。然后，异常检测系统监视互联网与想要保护免受攻击的系统之间的通信，将与学习到的特征不同的特征的通信检测为异常。另外，这里的通信的特征例如是通信的目的地地址、发送源地址、协议、端口号、http的参数、分组长度、分组数等。
[0047]
在该情况下，评价装置10为了进行异常检测系统的耐性评价，进行针对上述学习后的vae的隐变量的标记的赋予和分类器的学习。例如，首先，异常感测系统的vae将包括正常通信和异常通信两者的各种通信数据压缩成隐变量。然后，评价装置10通过使用诸如x－means的聚类方法对上述隐变量进行聚类，并且对每个聚类将属于该聚类的隐变量赋予该聚类的标签。然后，评价装置10进行分类器的学习，以便根据所赋予的标签正确地对数据进行分类。
[0048]
接着，评价装置10对学习后的分类器应用adversarial attack。例如，评价装置10准备异常检测系统应检测的异常通信数据和异常通信数据用于伪装的正常通信数据，对各个通信数据赋予标签。并且，评价装置10通过加载学习后的分类器将异常通信数据误分类为与正常通信数据相同的标签那样的噪声，从而对异常检测系统的vae间接地应用adversarial attack。例如，评价装置10对输入到异常检测系统的通信数据附加仅篡改该通信数据的与恶意软件的功能无关的部分的噪声。
[0049]
并且，评价装置10基于上述的针对adversarial attack的耐性评价的指标，在通信数据中载有各种强度的噪声，评价异常检测系统是否能够检测异常。由此，评价装置10能够评价异常检测系统对adversarial attack的耐性。
[0050]
另外，可以通过将实现上述实施方式中所述的评价装置10的功能的程序安装到所希望的信息处理装置(计算机)中来安装。例如，通过使信息处理装置执行作为软件包或在线软件提供的上述程序，可以使信息处理装置用作评价装置10。在此所说的信息处理装置包括台式或笔记本型的个人计算机，机架搭载型的服务器计算机等。另外，除此之外，信息处理装置在其范畴内还包括智能手机、移动电话机或phs(personal handyphone system)等移动通信终端、以及pda(personaldigital assistants)等。另外，也可以将评价装置10安装于云服务器。
[0051]
使用图7说明执行上述程序(评价程序)的计算机的一例。如图7所示，计算机1000例如具有存储器1010、cpu1020、硬盘驱动器接口1030、盘驱动器接口1040、串行端口接口1050、视频适配器1060、网络接口1070。这些各部通过总线1080连接。
[0052]
存储器1010包括rom(readonly memory)1011以及ram(randomaccess memory)1012。rom1011存储例如bios(basicinput output system)等引导程序。硬盘驱动器接口1030连接到硬盘驱动器1090。盘驱动器接口1040连接到盘驱动器1100。在盘驱动器1100中插入例如磁盘或光盘等可装卸的存储介质。例如，鼠标1110和键盘1120连接到串行端口接口1050。例如，显示器1130连接到视频适配器1060。
[0053]
如图7所示，硬盘驱动器1090存储例如os(操作系统)1091、应用程序1092、程序模块1093和程序数据1094。在上述实施方式中说明的各种数据或信息例如存储在硬盘驱动器1090或存储器1010中。
[0054]
然后，cpu1020根据需要将存储在硬盘驱动器1090中的程序模块1093或程序数据1094读出到ram1012，执行上述的各步骤。
[0055]
与上述评估程序相关的程序模块1093和程序数据1094不限于存储在硬盘驱动器1090中，而是可以存储在例如可拆卸存储介质中，并且可以由cpu1020经由盘驱动器1100等读出。或者，有关上述程序的程序模块1093或程序数据1094也可以存储在经由lan或wan(widearea network)等网络连接的其他计算机中，经由网络接口1070由cpu1020读出。
[0056]
符号说明
[0057]
10 评价装置
[0058]
11 输入输出部
[0059]
12 控制部
[0060]
13 存储部
[0061]
121 标签赋予部
[0062]
122 分类部
[0063]
123 学习部
[0064]
124 评价部