卷积神经网络判断根据提取方法及装置与流程

1.本发明涉及提取卷积神经网络的判断根据的方法及装置。


背景技术：

2.一般而言，基于深度神经网络(deep neural network，以下称为“dnn”)的分类可获得高的正确回答率。但是，另一方面，基于dnn的分类时的计算过程对于人类而言难以判断。因此，对于基于dnn的学习模式的整体，有希望以人类可理解的方式使该学习模式的计算过程或判断基准可视化，以评价该学习模式是否妥当的要求。
3.dnn的一种即卷积神经网络(convolutional neural network，以下称为“cnn”)在图像辨识等领域使用，另外，最近在频谱分析领域内也报告有应用例(参照专利文献1及非专利文献1、2)。在频谱分析领域中，目前为止，使用进行特征量提取的主成分分析、或支持向量机(support vector machine)等的分类器等，这些多年来取得了较高的成果。近年来，cnn也正在频谱分析领域中使用，且报告有成果。
4.在基于cnn的图像辨识的领域中，已知有将输入的图像中成为基于cnn的分类根据的特征区域显示于输入图像上的技术(参照非专利文献3)。根据该技术，可评价基于cnn的学习模式是否妥当。但是，在cnn的频谱分析的领域中，求出输入的频谱中成为基于cnn的分类根据的特征区域的技术尚且未知。
5.现有技术文献
6.专利文献
7.专利文献1：日本专利第643549号公报
8.非专利文献
9.非专利文献1：j.liu et al.,"deep convolutional neural networks for raman spectrum recognition:a unified solution",analyst,142,21,pp.4067
‑
4074(2017)
10.非专利文献2：j.acquarelli et al.,"convolutional neural networks for vibrational spectroscopic data analysis",anal.chim.acta,954,pp.22
‑
31(2017)
11.非专利文献3：r.r.selvaraju et al.,"grad
‑
cam:visual explanations from deep networks via gradient
‑
based localization",arxiv:1610.02391v3(2017)


技术实现要素：

12.发明想要解决的问题
13.根据本发明者们的研究，将非专利文献3所记载的技术应用于基于cnn的频谱分析，结果难以求得成为基于cnn的分类根据的特征区域。这被认为是由于以下原因。
14.在通过cnn进行图像辨识的情况下，cnn需要具有隐藏层也达到16层以上的较深的网络结构。非专利文献3所记载的技术是通过cnn的卷积层或池化层的计算所得的特征量图进行计算，由此将输入的图像中成为分类根据的特征区域显示于输入图像上。
15.相对于此，通过cnn进行频谱分析的情况下，cnn在隐藏层较少(数层)的网络结构中较充分。在这种网络结构中，如非专利文献3所记载，在基于通过卷积层或池化层的计算所得到的特征量图的计算中，难以求出输入的频谱中成为基于cnn的分类根据的特征区域。另外，可以想到因卷积层中使用的滤波器的尺寸为频谱的线宽的程度，因此在基于特征量图的计算中，与其说是取得位置的信息，不如说仅可取得形状的信息。
16.可以想到这种问题不仅存在于将cnn应用于频谱分析的领域的情况中，也存在于cnn的隐藏层较少的情况、或cnn的卷积层中使用的滤波器的尺寸较小的情况中。
17.本发明的目的在于提供一种即使cnn的隐藏层较少的情况或卷积层所使用的滤波器的尺寸较小的情况下，也能够提取输入的数据中成为基于cnn的判断的根据的特征区域的方法及装置。
18.用于解决问题的技术手段
19.本发明的实施方式是卷积神经网络判断根据提取方法。判断根据提取方法是提取具有输入层、卷积层、池化层、全结合层及输出层的卷积神经网络的判断的根据的方法，其具备如下步骤：求得全结合层的加权相对于输出层的任一输出标签的贡献率的贡献率计算步骤；及基于输入至全结合层的特征量图、全结合层的加权及贡献率，提取根据的根据提取步骤。
20.本发明的实施方式是卷积神经网络的判断根据的提取方法。判断根据的提取方法是提取具有输入层、卷积层、池化层、全结合层及输出层的卷积神经网络的判断根据的方法，其具备如下步骤：求得通过全结合层生成的特征量向量相对于输出层的任一输出标签的贡献率的贡献率计算步骤；及基于输入至全结合层的特征量图、全结合层的加权及贡献率，提取根据的根据提取步骤。特征量向量基于输入至全结合层的特征量图及全结合层的加权而生成。
21.本发明的实施方式是卷积神经网络的判断根据的提取装置。判断根据提取装置是提取具有输入层、卷积层、池化层、全结合层及输出层的卷积神经网络的判断的根据的装置，其具备：贡献率计算部，其求得全结合层的加权相对于输出层的任一输出标签的贡献率；及根据提取部，其基于输入至全结合层的特征量图、全结合层的加权及贡献率，提取根据。
22.本发明的实施方式是卷积神经网络判断根据提取装置。判断根据提取装置是提取具有输入层、卷积层、池化层、全结合层及输出层的卷积神经网络的判断的根据的装置，其具备：贡献率计算部，其求得通过全结合层生成的特征量向量相对于输出层的任一输出标签的贡献率；及根据提取部，其基于输入至全结合层的特征量图、全结合层的加权及贡献率，提取根据。
23.发明的效果
24.根据本发明的实施方式，即使cnn的隐藏层较少的情况或卷积层中使用的滤波器的尺寸较小的情况下，也能够提取所输入的数据中成为基于cnn的判断根据的特征区域。
附图说明
25.图1是表示卷积神经网络的构成例的图。
26.图2是表示卷积神经网络判断根据提取装置的构成的图。
27.图3是表示卷积神经网络的其他构成例的图。
28.图4是表示第1实施例中所得的成为分类的根据的特征区域的图。
29.图5是表示第1实施例中所得的成为分类的根据的特征区域的图。
30.图6是表示第1实施例中所得的成为分类的根据的特征区域的图。
31.图7的(a)是表示第2实施例中所得的成为分类的根据的特征区域的图，图7的(b)是将图7的(a)的一部分放大表示的图。
32.图8的(a)是表示第2实施例中所得的成为分类的根据的特征区域的图，图8的(b)是将图8的(a)的一部分放大表示的图。
33.图9是表示第3实施例中使用的9种药剂各自的频谱的例子的图。
34.图10是表示第3实施例(药剂a)中所得的成为分类的根据的特征区域的图。
35.图11是表示第3实施例(药剂b)中所得的成为分类的根据的特征区域的图。
36.图12是表示第3实施例(药剂c)中所得的成为分类的根据的特征区域的图。
37.图13是表示第3实施例(药剂d)中所得的成为分类的根据的特征区域的图。
38.图14是表示第3实施例(药剂e)中所得的成为分类的根据的特征区域的图。
39.图15是表示第3实施例(药剂f)中所得的成为分类的根据的特征区域的图。
40.图16是表示第3实施例(药剂g)中所得的成为分类的根据的特征区域的图。
41.图17是表示第3实施例(药剂h)中所得的成为分类的根据的特征区域的图。
42.图18是表示第3实施例(药剂i)中所得的成为分类的根据的特征区域的图。
43.图19是表示第4实施例中使用的20种氨基酸各自的频谱的例子的图。
44.图20是表示第4实施例中使用的丙氨酸(ala)的纯频谱的图。
45.图21是表示第4实施例中所得的成为分类的根据的特征区域的图。
46.图22是表示第4实施例中所得的成为分类的根据的特征区域的图。
47.图23是表示卷积神经网络判断根据提取装置的构成的图。
48.图24是表示第3实施例中所得的成为分类的根据的特征区域的图。
49.图25是表示第5实施例中所得的成为分类的根据的特征区域的图。
50.图26是表示第4实施例中所得的成为分类的根据的特征区域的图。
51.图27是表示第6实施例中所得的成为分类的根据的特征区域的图。
具体实施方式
52.以下，参照附图，详细说明卷积神经网络判断根据提取方法及装置的实施方式。此外，在附图的说明中对同一要素标注同一符号，省略重复说明。本发明并非限定于这些例示。
53.图1是表示卷积神经网络的构成例的图。该图所示的构成例的卷积神经网络(cnn)10具有：输入层11、卷积层12、池化层13、卷积层14、池化层15、全结合层16及输出层17。cnn10可通过cpu(central processing unit，中央处理单元)实现，也可通过可进行更高速处理的dsp(digital signal processor，数字信号处理器)或gpu(graphics processing unit，图形处理单元)实现。另外，cnn10具有存储各种数据及参数的内存。
54.卷积层12使滤波器32作用于输入至输入层11的输入数据列21，生成特征量图22。卷积层12使滤波器32相对于输入数据列21相对移动，在其各位置上进行输入数据列21与滤
波器32的卷积运算，生成特征量图22。对于卷积层12而言，一般使用多个滤波器32，生成与该滤波器32同数量的特征量图22。
55.池化层13使通过卷积层12生成的特征量图22缩小，生成特征量图23。池化层13例如自特征量图22两个两个地提取数据，取得该二个数据的最大值或平均值，从而生成特征量图22的二分之一尺寸的特征量图23。
56.卷积层14使滤波器34作用于通过池化层13生成的特征量图23，生成特征量图24。卷积层14使滤波器34相对于特征量图23相对移动，在其各位置上进行特征量图23与滤波器34的卷积运算，从而生成特征量图24。
57.池化层15使通过卷积层14生成的特征量图24缩小，生成特征量图25。池化层15例如自特征量图24两个两个地提取数据，取得该二个数据的最大值或平均值，从而生成特征量图24的二分之一尺寸的特征量图25。
58.全结合层16使加权36作用于通过池化层15生成的特征量图25，生成特征量向量26。输出层17使加权37作用于通过全结合层16生成的特征量向量26，生成输出标签27。
59.将特征量图25的尺寸设为i，将特征量图的个数设为k，将第k特征量图的位置i的值设为a
i,k
。将全结合层的权重36的尺寸设为i
×
k，全结合层的权重的个数设为m，将第m全结合层的权重中位置(i,k)的值设为fw
i,k,m
。特征量向量26的尺寸为m。将输出层的权重37的尺寸设为m，将输出层的权重的个数设为c，将第c输出层的权重中位置m的值设为g
c,m
。输出标签27中标签c的值y
c
以下述式(1)表示。
60.[数1]
[0061][0062]
基于将学习用数据输入至cnn10的输入层11时的输出层的输出标签27，和对应于该学习用数据的教师标签的对比，使cnn10学习。通过使用了多个学习用数据及教师标签的学习，而使滤波器32、滤波器34、全结合层的权重36及输出层的权重37优化。
[0063]
当对已学习的cnn10的输入层11输入评价用数据时，该评价用数据由cnn10分类，其分类结果会显现于输出层的输出标签27。本实施方式的卷积神经网络判断根据的提取装置1及方法，提取所输入的评价用数据中成为基于cnn10的判断的根据的特征区域。
[0064]
图2是表示卷积神经网络判断根据提取装置1的构成的图。该图中，除了卷积神经网络判断根据提取装置(以下，称为“cnn判断根据的提取装置”)1外，也表示cnn10的特征量图25、特征量向量26、输出层的输出标签27、全结合层的权重36及输出层的权重37。
[0065]
cnn判断根据提取装置1可以通过具备cpu及内存等的计算机来实现，另外，具备显示输入数据及输出数据的液晶显示器等显示部。cnn判断根据提取装置1也可以通过计算机与cnn10一起实现。
[0066]
cnn判断根据提取装置1具备贡献率计算部2及根据提取部3，优选为进一步具备显示部4。
[0067]
贡献率计算部2求出全结合层的加权36相对于输出层17的任一输出标签的贡献率。第m全结合层的加权36相对于输出标签27中标签c的值y
c
的贡献率β
c,m
，作为y
c
相对于fw
i,k,m
的变化量的比，以下述式(2)表示。
[0068]
[数2]
[0069][0070]
根据提取部3基于输入至全结合层16的特征量图25、全结合层的加权36及上述贡献率β
c,m
，提取cnn10的判断根据。表示cnn10的判断根据的数据列q
c
的第i个值q
c,i
作为将a
i,k
、β
c,m
及fw
i,k,m
的积针对k,m加总的值，以下述式(3)表示。数据列q
c
的尺寸为i。
[0071]
[数3]
[0072][0073]
显示部4与输入至输入层11的输入数据建立对应，显示表示cnn10的判断根据的数据列q
c
。
[0074]
卷积神经网络判断根据提取方法(以下，称为“cnn判断根据提取方法”)具备贡献率计算步骤及根据提取步骤，优选为进一步具备显示步骤。在贡献率计算步骤中，求出全结合层的加权36相对于输出层17的任一输出标签的贡献率β
c,m
(式(2))。在根据提取步骤中，基于输入至全结合层16的特征量图25、全结合层的加权36及贡献率β
c,m
，提取cnn10的判断根据(式(3))。在显示步骤中，与输入至输入层11的输入数据建立对应，显示表示cnn10的判断根据的数据列q
c
。
[0075]
图3是表示卷积神经网络的其他构成例的图。该图所示的构成例的卷积神经网络(cnn)10a具有：输入层11、卷积层12、池化层13、全结合层16及输出层17。图1所示的cnn10具备2组卷积层及池化层，相对于此，图3所示的cnn10a具备1组卷积层及池化层。图2所示的cnn判断根据的提取装置1也可以应用于该图3所示构成的cnn。
[0076]
接着，针对第1～第4实施例进行说明。第1及第2实施例中，使用具有图3所示构成的cnn。第3及第4实施例中，使用具有图1所示构成的cnn。
[0077]
第1实施例如下所述。第1实施例中，使用模拟制作的具有简单形状的频谱，作为学习用数据及评价用数据。在学习用频谱及评价用频谱的任一个中，均将频道数设为1024，在100ch、500ch及1000ch的任一位置具有最大波峰。另外，在学习用频谱及评价用频谱的任一个中，在与100ch、500ch及1000ch的任一个均不同的三个位置的各个具有噪声波峰，进一步赋予白噪声。
[0078]
最大波峰及噪声波峰均设为洛伦兹函数形状，将最大波峰值设为1而标准化，将噪声波峰值在0.1以上且小于1的范围内设为随机值。对应于学习用频谱的教师标签作为其学习用频谱的最大波峰位置(100ch、500ch及1000ch的任一个)，以一位有效向量(one
‑
hot vector)(将正确的学习标签设为1，将其他标签设为0的排列)赋予。
[0079]
第1实施例中，使用图3所示的构成的cnn。将滤波器32的尺寸设为8，将个数设为64。将全结合层的加权36的尺寸设为512
×
64，将个数设为128。将输出层的加权37的尺寸设为128，将个数设为3。使用学习用频谱及教师标签，使cnn学习。
[0080]
对已学习的cnn输入评价用频谱，使cnn进行该评价用频谱的分类。根据本实施方式，自全结合层求出成为其分类的根据的特征区域(实施例)，且根据非专利文献3所记载的技术，自池化层求得成为其分类的根据的特征区域(比较例)。
[0081]
图4～图6是表示第1实施例中所得的成为分类的根据的特征区域的图。各个图自上起依次显示输入的评价用频谱、显示通过比较例所得的成为分类的根据的特征区域的数据列、及显示通过实施例所得的成为分类的根据的特征区域的数据列q
c
(式(3))。
[0082]
图4是表示将评价用频谱的最大波峰位置设为100ch的情况的例子。图5是表示将评价用频谱的最大波峰位置设为500ch的情况的例子。图6是表示将评价用频谱的最大波峰位置设为1000ch的情况的例子。
[0083]
图4～图6的任一个中，在比较例中，成为分类的根据的特征区域不仅存在于最大波峰位置，也存在于噪声波峰位置。相对于此，在实施例中，成为分类的根据的特征区域仅存在于最大波峰位置。与比较例相比，在实施例中，更正确地显示成为分类的根据的特征区域。
[0084]
第2实施例如下所述。第2实施例中，作为学习用数据及评价用数据，使用与第1实施例中所使用的学习用频谱及评价用频谱相同的数据。但是，评价用频谱不具有洛伦兹函数形状的噪声波峰。
[0085]
在第2实施例中，使用与第1实施例中所使用的cnn的构成相同的数据。但是，将滤波器32的尺寸及个数设定为各种值，使cnn进行学习及分类，求出显示成为其分类的根据的特征区域的数据列q
c
(式(3))。
[0086]
图7及图8是表示第2实施例中所得的成为分类的根据的特征区域的图。各个图是表示输入的评价用频谱，及显示通过实施例所得的成为分类的根据的特征区域的数据列q
c
(式(3))。
[0087]
图7的(a)、(b)是表示将过滤波器个数固定为64，将滤波器尺寸设为8、16、128、1024的各值的情况的例子。图7的(b)是将图7的(a)的一部分放大显示。由该图可知，滤波器尺寸越接近频谱宽度，cnn越将输入的评价用频谱的最大波峰位置附近作为分的类的根据而注意。
[0088]
图8的(a)、(b)是表示将滤波器尺寸固定为16，将滤波器个数设为8、64、256的各值的情况的例子。图8的(b)是将图8的(a)的一部分放大显示。由该图可知，滤波器个数越多，cnn越将接近输入的评价用频谱的最大波峰位置的位置作为分类的根据而捕捉。
[0089]
该实施例显示能够进行滤波器的尺寸及个数的优化。
[0090]
第3实施例如下所述。第3实施例中，作为学习用频谱及评价用频谱，使用市售的9种药剂a～i的各自的拉曼频谱。对于针对各药剂测定的拉曼频谱进行插值处理，在波数350cm
‑1～1800cm
‑1的范围内，制作1cm
‑1刻度的频谱。
[0091]
在学习用频谱及评价用频谱的任一个中，将频道数设为1451，将最大波峰设为1而标准化。另外，对于9种药剂的各个，将sn比不同的4种频谱作为学习用频谱。图9是表示第3实施例中所使用的9种药剂的各自的频谱的例子的图。
[0092]
在第3实施例中，使用图1所示构成的cnn。将滤波器32的尺寸设为8，将个数设为64。将滤波器34的尺寸设为8，将个数设为64。将全结合层的加权36的尺寸设为363
×
64，将个数设为128。将输出层的加权37的尺寸设为128，将个数设为3。使用学习用频谱及教师标签，使cnn学习。
[0093]
将与学习用频谱不同的其他频谱作为评价用频谱，输入至cnn，使cnn进行该评价用频谱的分类。自全结合层求出成为其分类的根据的特征区域。
[0094]
图10～图18是表示第3实施例中所得的成为分类的根据的特征区域的图。各个图是表示输入的评价用频谱，及显示通过实施例所得的成为分类的根据的特征区域的数据列q
c
(式(3))。
[0095]
图10是表示药剂a的情况的例子。图11是表示药剂b的情况的例子。图12是表示药剂c的情况的例子。图13是表示药剂d的情况的例子。图14是表示药剂e的情况的例子。图15是表示药剂f的情况的例子。图16是表示药剂g的情况的例子。图17是表示药剂h的情况的例子。图18是表示药剂i的情况的例子。
[0096]
关于任一药剂，均显示于评价用频谱较强的波峰位置，存在成为分类的根据的特征区域。另一方面，在评价用频谱的较弱波峰位置，或者能看到评价用频谱的背景强度的位置，q
c,i
值较小。在观察药剂d的情况(图13)时，在能够将药剂d与其他8种药剂分离的波数360cm
‑1附近，q
c,i
成为较大值。因此，根据本实施方式，可以确认可提取成为基于cnn的分类的根据的特征区域。
[0097]
第4实施例如下所述。在第4实施例中，作为学习用频谱及评价用频谱，使用由以下20种氨基酸的各自的拉曼频谱制作的频谱。图19是表示第4实施例中所使用的20种氨基酸的各自的频谱的例子的图。
[0098]
丙氨酸(ala)、精氨酸(arg)、天冬酰胺(asn)、天门冬氨酸(asp)、半胱氨酸(cys)、谷氨酰胺(gln)、谷氨酸(glu)、甘氨酸(gly)、组氨酸(his)、异亮氨酸(ile)、亮氨酸(leu)、赖氨酸(lys)、蛋氨酸(met)、苯丙氨酸(phe)、脯氨酸(pro)、丝氨酸(ser)、苏氨酸(thr)、色氨酸(trp)、酪氨酸(tyr)、缬氨酸(val)
[0099]
对于各氨基酸，对测定的拉曼频谱进行插值处理，在波数350cm
‑1～1800cm
‑1的范围内制作1cm
‑1刻度的频谱。将20种氨基酸中的任意1种氨基酸作为主体，将其他任一种氨基酸作为客体，合成这些频谱。对各主体制作5个频谱，将最大波峰设为1而标准化。制作合计1900(＝20
×
19
×
5)个频谱。
[0100]
针对学习用频谱，将主体的氨基酸的频谱与客体的氨基酸的频谱的混合比在1:0.1～1:0.5的范围内设为随机。教师标签是以主体的氨基酸的一位有效向量(one
‑
hot vector)而赋予。对于评价用频谱，将主体的氨基酸的频谱与客体的氨基酸的频谱的混合比设为1:0.45。
[0101]
在第4实施例中，使用与第3实施例中所使用的cnn的构成相同的cnn。使用学习用频谱及教师标签，使cnn学习。对cnn输入与学习用频谱不同的评价用频谱，使cnn进行该评价用频谱的分类。自全结合层求出成为其分类的根据的特征区域。
[0102]
图20是表示第4实施例中所使用的丙氨酸(ala)的纯频谱的图。图21及图22是表示第4实施例中所得的成为分类的根据的特征区域的图。
[0103]
图21是表示将主体设为组氨酸(his)，将客体设为丙氨酸(ala)的评价用频谱、表示将其输入至cnn时所得的成为分类的根据的特征区域的数据列q
c
((3式)、及组氨酸(his)的纯频谱。显示于主体的组氨酸(his)的频谱的较强波峰位置，存在成为分类的根据的特征区域。
[0104]
另一方面，主体即丙氨酸(ala)的纯频谱的较强波峰位置(波数850cm
‑1附近)，q
c,i
为负值。即，如果评价用频谱中能看到的波数850cm
‑1附近的波峰是对组氨酸(his)分类不必要的区域，则可理解为cnn进行学习。
[0105]
图22是表示将主体设为亮氨酸(leu)，将客体设为丙氨酸(ala)的评价用频谱、表示将其输入至cnn时所得的成为分类的根据的特征区域的数据列q
c
((3式)、及亮氨酸(leu)的纯频谱。亮氨酸(leu)的纯频谱的sn比较差，但这种情况下，同样地，显示于主体即亮氨酸(leu)的频谱的较强波峰位置，存在成为分类的根据的特征区域。
[0106]
可以想到主体即亮氨酸(leu)的纯频谱的较强波峰位置，在接近客体即丙氨酸(ala)的纯频谱的较强波峰位置的波数850cm
‑1附近，但评价用频谱中能看到的该波峰位置无助于亮氨酸(leu)的分类。可以想到评价用频谱中能看到的其他波数475cm
‑1附近及545cm
‑1附近的波峰有助于亮氨酸(leu)的分类。
[0107]
对于其他主体及客体的组合，同样获得良好结果。因此，根据本实施方式，可以确认可提取成为基于cnn的分类的根据的特征区域。
[0108]
本实施方式的cnn判断根据提取装置及cnn判断根据提取方法不限于输入数据为频谱的情况，也能够应用其他输入数据(例如图像数据)。根据本实施方式，即使在cnn的隐藏层较少的情况或卷积层所使用的滤波器的尺寸较小的情况，也可以提取输入数据中成为基于cnn的判断的根据的特征区域。另外，本实施方式的cnn判断根据的提取装置及cnn判断根据的提取方法，可以使cnn模型的设计及验证容易化，且可以保证可靠性，可以期待提供对于使用者而言容易理解的cnn模型。
[0109]
再者，可以想到对于本实施方式的cnn判断根据提取装置及cnn判断根据提取方法而言，如果在混合频谱的分类中将同一教师标签附加于包含有同一种类的试料而使cnn学习，则可以提取其共通部位，此外，由于被认为会降低分类概率的部位可获得负值(第4实施例)，因此不仅使共通分量可视化，在真假判定等中，可以在不需要的含有物的指定中利用。
[0110]
目前为止说明的实施方式及第1～第4实施例，是求出全结合层的权重36相对于输出层17的任一输出标签的贡献率，使用该贡献率提取cnn10的判断的根据的例子。如以下说明的实施方式以及第5及第6实施例，也可以求出特征量频谱26相对于输出层17的任一输出标签的贡献率，使用该贡献率提取cnn10的判断根据。
[0111]
图23是表示卷积神经网络判断根据提取装置1a的构成的图。该图除卷积神经网络判断根据提取装置(cnn判断根据提取装置)1a外，也显示cnn10的特征量图25、特征量向量26、输出层的输出标签27、全结合层的权重36及输出层的权重37。
[0112]
cnn判断根据提取装置1a也可通过具备cpu及内存等的计算机而实现，并且，具备显示输入数据及输出数据的液晶显示器等的显示部。cnn判断根据提取装置1a也可通过计算机与cnn10一起实现。
[0113]
cnn判断根据提取装置1a，具备贡献率计算部2a及根据提取部3，优选为进一步具备显示部4。如果与图2所示的构成比较，则图23所示的cnn判断根据提取装置1a在取代贡献率计算部2，而具备贡献率计算部2a的方面不同。
[0114]
贡献率计算部2a求出特征量向量26相对于输出层17的任一输出标签的贡献率。特征量向量26基于输入至全结合层的特征量图(a
i,k
)及全结合层的权重(fw
i,k,m
)而生成。特征量向量26的第m要素f
m
相对于输出标签27中标签c的值y
c
的贡献率β
c,m
，是作为y
c
的变化量相对于f
m
的变化量的比，以下述式(4)表示。
[0115]
[数4]
[0116][0117]
根据提取部3基于输入至全结合层16的特征量图25、全结合层的加权36及上述贡献率β
c,m
，提取cnn10的判断根据。显示cnn10的判断根据的数据列q
c
的第i个值q
c,i
作为将a
i,k
、β
c,m
及fw
i,k,m
的积针对k,m加总的值，以上述式(3)表示。
[0118]
卷积神经网络判断根据提取方法(cnn的判断根据的提取方法)具备贡献率计算步骤及根据提取步骤，优选为进一步具备显示步骤。在贡献率计算步骤中，求出特征量向量26相对于输出层17的任一输出标签的贡献率β
c,m
(式(4))。在根据提取装置中，基于输入至全结合层16的特征量图25、全结合层的加权36及贡献率β
c,m
，提取cnn10的判断根据(式(3))。在显示步骤中，与输入至输入层11的输入数据建立对应，显示表示cnn10的判断根据的数据列q
c
。
[0119]
接着，针对第5实施例及第6实施例进行说明。第5实施例与第3实施例相比，仅贡献率计算的方面不同，其他方面设为相同条件。另外，第6实施例与第4实施例相比，仅贡献率计算的方面不同，其他方面设为相同条件。但是，在将丙氨酸(ala)设为主体的情况下，将精氨酸(arg)设为客体，在将丙氨酸(ala)以外的氨基酸设为主体的情况下，将丙氨酸设为客体。
[0120]
在第3实施例及第4实施例中，求出全结合层的加权36相对于输出层17的任一输出标签的贡献率(上述式(2))，相对于此，在第5实施例及第6实施例中，求出特征量向量26相对于输出层17的任一输出标签的贡献率(上述式(4))。
[0121]
图24是表示第3实施例中所得的成为分类的根据的特征区域的图。图25是表示第5实施例中所得的成为分类的根据的特征区域的图。第3实施例(图24)与第5实施例(图25)仅贡献率计算的方面不同，但提取相同的特征区域作为基于cnn的分类的根据。
[0122]
图26是表示第4实施例中所得的成为分类的根据的特征区域的图。图27是表示第6实施例中所得的成为分类的根据的特征区域的图。第4实施例(图26)与第6实施例(图27)仅贡献率计算的方面不同，但提取相同的特征区域作为基于cnn的分类的根据。
[0123]
另外，在第1实施例及第2实施例的各个中，在使用特征量向量26的贡献率(上述式(4))代替全结合层的加权36的贡献率(上述式(2))的情况下，也提取相同的特征区域作为基于cnn的分类的根据。
[0124]
如上述那样，与使用全结合层的加权36相对于输出层17的任一输出标签的贡献率(上述式(2))的情况同样地，在使用特征量向量26相对于输出层17的任一输出标签的贡献率(上述式(4))的情况，在cnn的隐藏层较少的情况或卷积层所使用的滤波器的尺寸较小的情况下，也可以提取输入数据中成为基于cnn的判断的根据的特征区域。
[0125]
本发明的卷积神经网络判断根据提取方法及装置并非限定于上述实施方式及构成例，而可以进行各种变化。
[0126]
上述实施方式的卷积神经网络判断根据提取方法是提取具有输入层、卷积层、池化层、全结合层及输出层的卷积神经网络的判断根据的方法，其具备如下步骤：求出全结合层的加权相对于输出层的任一输出标签的贡献率的贡献率计算步骤；及基于输入至全结合层的特征量图、全结合层的加权及贡献率，提取根据的根据提取步骤。
[0127]
上述构成的卷积神经网络判断根据提取方法中，在贡献率计算步骤中，也可以构成为求出通过全结合层生成的特征量向量的贡献率，代替全结合层的加权的贡献率。特征量向量基于输入至全结合层的特征量图及全结合层的加权而生成。
[0128]
上述构成的卷积神经网络判断根据提取方法中，也可以构成为进一步具备与输入至输入层的输入数据建立对应，显示根据的显示步骤。
[0129]
上述实施方式的卷积神经网络判断根据提取装置是提取具有输入层、卷积层、池化层、全结合层及输出层的卷积神经网络的判断根据的装置，其具备：贡献率计算部，其求出全结合层的加权相对于输出层的任一输出标签的贡献率；及根据提取部，其基于输入至全结合层的特征量图、全结合层的加权及贡献率，提取根据。
[0130]
上述构成的卷积神经网络判断根据提取装置中，贡献率计算部也可以构成为求出通过全结合层生成的特征量向量的贡献率，代替全结合层的加权的贡献率。
[0131]
上述构成的卷积神经网络判断根据提取装置也可以构成为进一步具备与输入至输入层的输入数据建立对应，显示根据的显示部。
[0132]
产业上的可利用性
[0133]
本发明可以使用作为cnn的隐藏层较少的情况下或卷积层所使用的滤波器的尺寸较小的情况下，也能够提取输入的数据中成为基于cnn的判断的根据的特征区域的方法及装置。
[0134]
符号说明
[0135]
1、1a
……
卷积神经网络的判断根据提取装置(cnn判断根据提取装置)；2、2a
……
贡献率计算部；3
……
根据提取部；4
……
显示部；10、10a
……
卷积神经网络(cnn)；11
……
输入层；12
……
卷积层；13
……
池化层；14
……
卷积层；15
……
池化层；16
……
全结合层；17
……
输出层；21
……
输入数据列；22～25
……
特征量图；26
……
特征量向量；27
……
输出层的输出标签；32、34
……
滤波器；36
……
全结合层的加权；37
……
输出层的加权。