数据获取方法和装置、相似度计算方法和装置及存储介质与流程

1.本公开涉及采用了胶囊网络的技术。


背景技术：

2.以往，在机器学习中，作为算法已知有胶囊网络(专利文献1、非专利文献1、2)。
3.专利文献1：国际公开第2019/083553号公报
4.非专利文献：
5.非专利文献1：geoffrey hinton,sara sabour,nicholas frosst,“matrix capsules with em routing”,published as a conference paper at iclr2018
6.非专利文献2：sara sabour,nicholas frosst,geoffrey e.hinton,“dynamic routing between capsules”,31st conference on neural information processing systems(nips 2017)
7.胶囊网络是在网络的节点具有被称为胶囊的单元的算法模型。胶囊网络中的典型的胶囊输入输出位姿(pose)和激活(activation)。位姿表示输出了其的胶囊的状态，采用向量或矩阵的形式。此外，激活是表示输出了其的胶囊的活性度的标量。采用被称为协议路由(routing
‑
by
‑
agreement)的方法，根据来自前层的多个胶囊的输出例如位姿和激活来确定位姿和激活。协议路由不作限定，优选通过em(expectation
‑
maximization：期望最大化)算法执行。胶囊网络典型地具有多层结构。构成多层结构的多个层称为“胶囊层”。并且，优选的是各个胶囊层具有在所谓的深度方向上排列的一个以上胶囊。并且，在一个胶囊层中沿深度方向排列的多个胶囊分别基于从前层的输出来计算位姿和激活，计算出的位姿和激活以成为在下一胶囊层中向对应的多个胶囊的输入的方式存储于存储器。也就是说，在各胶囊层中，计算出与胶囊的数量相应的位姿和激活。最终层具有与目标类别判别相同数量的胶囊，输出激活为最大的胶囊所对应的类别。类别判别也称为标签判别。需要指出，在设计作为软件程序时，在各胶囊层中，一深度处的胶囊的数量可以是一个。然而，在以下的说明书中，也表述为：配合训练时和推定时的典型的执行方式，在各胶囊层中，在各自的深度且在与深度方向的轴垂直即与该轴相交的概念上的平面上，存在构成由卷积核尺寸(kernel size)和步长(stride)所确定的二维阵列的多个胶囊。
8.以往，在采用胶囊网络进行类别判别时，虽然输出类别判别的结果，但是，输出的类别的判别依据不清楚，难以知晓判别依据。


技术实现要素：

9.(1)根据本公开的第一方面，提供一种数据获取方法。数据获取方法，其特征在于，使一个或多个处理器执行：训练第一模型，以再现第一数据集所具有的多个第一数据要素与和所述多个第一数据要素各自对应的预标签的对应，所述第一模型为包括一个以上的胶囊层的胶囊网络型，所述一个以上的胶囊层分别具有一个以上的胶囊；以及向训练后的第一模型输入所述第一数据集，针对所述一个以上的胶囊层，获取基于所述一个以上的胶囊
所具有的第一激活和第一位姿中的至少一方的第一中间数据。
10.(2)根据本公开的第二方面，提供一种相似度计算方法。相似度计算方法，其特征在于，用于使一个或多个处理器执行采用预先训练后的第一模型，所述第一模型为包括一个以上的胶囊层的胶囊网络型，所述一个以上的胶囊层分别具有一个以上的胶囊，并且，所述第一模型已被训练，以再现第一数据集所具有的多个第一数据要素与和所述多个第一数据要素各自对应的预标签的对应，所述方法包括：在向所述训练后的所述第一模型输入了所述第一数据集时，针对所述一个以上的胶囊层中的各个胶囊层，获取基于所述一个以上的胶囊所具有的第一激活和第一位姿中的至少一方的第一中间数据；向所述第一模型输入第二数据要素，针对所述一个以上的胶囊层中的各个胶囊层，获取基于所述一个以上的胶囊所具有的第二激活和第二位姿中的至少一方的第二中间数据；以及针对所述一个以上的胶囊层，计算所述第一中间数据与所述第二中间数据的相似度。
11.(3)根据本公开的第三方面，提供一种数据获取装置。数据获取装置，其特征在于，具备一个或多个处理器，所述一个或多个处理器构成为执行：训练第一模型，以再现第一数据集所具有的多个第一数据要素与和所述多个第一数据要素各自对应的预标签的对应，所述第一模型为包括一个以上的胶囊层的胶囊网络型，所述一个以上的胶囊层分别具有一个以上的胶囊；以及向训练后的所述第一模型输入所述第一数据集，并针对所述一个以上的胶囊层，获取基于所述一个以上的胶囊所具有的第一激活和第一位姿中的至少一方的第一中间数据。
12.(4)根据本公开的第四方面，提供一种相似度计算装置。相似度计算装置，其特征在于，具备：存储装置，存储第一模型，所述第一模型已被训练，以再现第一数据集所具有的多个第一数据要素与和所述多个第一数据要素各自对应的预标签的对应，所述第一模型为包括一个以上的胶囊层的胶囊网络型，所述一个以上的胶囊层分别具有一个以上的胶囊；以及一个或多个处理器，所述一个或多个处理器构成为执行：在训练后的所述第一模型输入了所述第一数据集时，针对所述一个以上的胶囊层中的各个胶囊层，获取基于所述一个以上的胶囊所具有的第一激活和第一位姿中的至少一方的第一中间数据；向所述第一模型输入第二数据要素，针对所述一个以上的胶囊层中的各个胶囊层，获取基于所述一个以上的胶囊所具有的第二激活和第二位姿中的至少一方的第二中间数据；以及针对所述一个以上的胶囊层，计算所述第一中间数据与所述第二中间数据的相似度。
13.(5)根据本公开的第五方面，提供一种非暂时性计算机可读介质。非暂时性计算机可读介质，其特征在于，存储有指令，所述指令用于使一个或多个处理器执行：训练第一模型，以再现第一数据集所具有的多个第一数据要素与和所述多个第一数据要素各自对应的预标签的对应，所述第一模型为包括一个以上的胶囊层的胶囊网络型，所述一个以上的胶囊层分别具有一个以上的胶囊；以及向训练后的所述第一模型输入所述第一数据集，并针对所述一个以上的胶囊层，获取基于所述一个以上的胶囊所具有的第一激活和第一位姿中的至少一方的第一中间数据。
14.(6)根据本公开的第六方面，提供一种非暂时性计算机可读介质。非暂时性计算机可读介质，其特征在于，存储有指令，所述指令使一个或多个处理器执行采用预先训练后的第一模型，所述第一模型已被训练，以再现第一数据集所具有的多个第一数据要素与分别对应于所述多个第一数据要素分的预标签的对应，所述第一模型为包括一个以上的胶囊层
的胶囊网络型，所述一个以上的胶囊层分别具有一个以上的胶囊，所述指令还使一个或多个处理器执行：在向训练后的所述第一模型输入了所述第一数据集时，针对所述一个以上的胶囊层中的各个胶囊层，获取基于所述一个以上的胶囊所具有的第一激活和第一位姿中的至少一方的第一中间数据；向所述第一模型输入第二数据要素，针对所述一个以上的胶囊层中的各个胶囊层，获取基于所述一个以上的胶囊所具有的第二激活和第二位姿中的至少一方的第二中间数据；以及针对所述一个以上的胶囊层，计算所述第一中间数据与所述第二中间数据的相似度。
附图说明
15.图1为用于说明训练阶段的判别系统的图。
16.图2为用于说明第一数据集和预标签的图。
17.图3为用于说明第一模型的设定方法的图。
18.图4为示出第一模型的训练处理的流程图。
19.图5为用于说明判别阶段的判别系统的图。
20.图6为用于说明第二数据集的图。
21.图7为第二数据集的类别判别处理的流程图。
22.图8为第一说明处理的流程图。
23.图9为用于说明特征谱的图。
24.图10为第二说明处理的流程图。
25.图11为用于说明第二数据要素的图。
26.图12为示出第一胶囊层中的余弦相似度的图。
27.图13为示出第二胶囊层中的余弦相似度的图。
28.附图标记说明：
29.im0、im0a：判别依据图像；im1、im1a：根据说明图像；im2a：前提图像、前提图像；m1：第一位姿；m2：第二位姿；sp：特征谱；tv：阈值；a1：第一激活；a2：第二激活；rx：局部区域；10：第一输入数据集；12：第一数据集；12a～12c：第一数据要素；14、14a～14c：预标签；20：判别装置；22：存储装置；23：非暂时性存储介质；24：处理器；26：输出部；30：第一模型；32：采集数据要素；33：卷积层；35：初级胶囊层；37：第一胶囊层；38：第二胶囊层；39：分类胶囊层；60、60a：第二输入数据集；62、62a：第二数据集；62a：第二数据要素；62b：第二数据要素；62c：第二数据要素；62d：第二数据要素；62e：第二数据要素；100：判别系统。
具体实施方式
30.a.实施方式
31.图1是用于说明训练阶段的判别系统100的图。图2是用于说明第一数据集12和预标签14的图。图1所示的判别系统100表示采用胶囊网络的第一模型30的训练的阶段。判别系统100具备判别装置20和数据接口，该数据接口与外部装置之间进行数据的交换。数据接口不作限定，优选为usb适配器、有线或无线lan适配器等。
32.在本实施方式中，第一数据集12经由数据接口从外部装置而保存于判别装置20的存储装置。第一数据集12用于第一模型30的训练。第一数据集12具有第一数据要素12a、
12b、12c以及与第一数据要素12a、12b、12c对应的预标签14。预标签14中，与第一数据要素12a对应的标签也被称为预标签14a，与第一数据要素12b对应的标签也被称为预标签14b，与第一数据要素12c对应的标签也被称为预标签14c。第一数据集12包括通过传感器获取的多个第一数据要素12a、12b、12c。传感器是rgb摄像头、红外摄像头、深度传感器、麦克风、加速度传感器、陀螺仪传感器等各种传感器，在本实施方式中是摄像头。
33.如图2所示，各第一数据要素12a～12c是通过摄像头拍摄到的作为种类不同的目标物的骰子。第一数据要素12a是通过摄像头拍摄出整面有一点的骰子而得的数据要素。第一数据要素12b是通过摄像头拍摄出整面有两点的骰子而得的数据要素。第一数据要素12c是通过摄像头拍摄出整面有三点的骰子而得的数据要素。作为图像数据的第一数据要素12a～12c分别各准备有1000张。第一数据要素12a～12c的各自的图像尺寸为32
×
32像素。另外，在各1000张的第一数据要素12a～12c中，骰子的点的位置最大变动
±
2像素，骰子的点的大小最大变动
±
2像素。在第一模型30的训练所采用的第一数据要素12a～12c、通过第一模型30进行标签判别的后面描述的第二数据要素在特征上具有层级性。在特征上具有层级性是指当所关注的数据区域从微小的区域按层级地增大时，每个区域会呈现出不同的特征。例如，区域的纹理、区域中呈现的形状、区域中呈现的各要素的配置、区域中呈现的整体构成等作为特征归属于各层。特征的层级性是在很多数据中普遍可见的特征结构，采用第一模型30的本公开的内容通用性高。
34.预标签14与第一数据要素12a～12c分别对应地存储于第一输入数据集10。预标签具有作为第一预标签的合格标签和作为第二预标签的不合格标签。预标签14有时也简称为标签14。第一数据要素12a与作为预标签的不合格标签相对应。第一数据要素12b与作为预标签的不合格标签相对应。第一数据要素12c与作为预标签的合格标签相对应。也就是说，在制造立方体的各表面上印刷或刻印有三个点的产品时采用本实施方式中的第一模型30，以判别产品的合格和不合格。
35.图1所示的判别装置20是个人计算机等电子计算机。判别装置20具备存储装置22、处理器24以及输出部26。存储装置22包括闪存、eeprom等作为非临时性的存储介质的非暂时性存储介质23以及作为主存储器的dram。存储装置22中存储有第一模型30以及采用所输入的第一输入数据集10而生成的采集数据要素32。另外，在存储装置22中存储有用于控制判别装置20的动作的各种程序。
36.第一模型30是胶囊网络型的训练模型，且是具有多层的层级型。现有的神经网络是一个神经元从其他多个神经元分别接收标量的输出，通过非线性变换输出一个标量，与此相对，胶囊网络型的训练模型如上所述，称为胶囊的节点按照协议路由通过输入输出标量或向量、或者矩阵型的数据来传播信息。关于胶囊网络型的算法，采用上述的专利文献1、非专利文献1、2所公开的内容。
37.对通过协议路由，这里是em路由根据作为输入源胶囊的位姿的向量mi生成作为输出目的地胶囊的位姿的向量m
j
的流程进行。首先，根据输入向量m
i
计算v
ij
。
38.[数学式1]
[0039]
[math.1]
[0040]
[0041]
v
ij
＝w
ij
m
i
···
(1.2)
[0042]
这里，在式(1.1)的右边的括号内记载的各要素是构成向量v
ij
的标量值，h是向量的维度数。另外，w
ij
是加权矩阵。另外，下标i，j满足下述式(2)，q
l
、q
l 1
分别是层l和层l 1所包括的胶囊编号的集合。
[0043]
[数学式2]
[0044]
[math.2]
[0045][0046]
通过在em路由中适当次数地重复接下来的m步骤和e步骤，来计算v
ij
的加权平均u
ij
，然后通过将u
ij
置换为输出向量m
j
，从而生成输出向量m
j
。加权平均u
ij
由以下的式(3)表示。
[0047]
[数学式3]
[0048]
[math.3]
[0049][0050]
这里，上述式(3)的右边的括号中所记的要素是构成加权平均u
ij
的标量值。
[0051]
首先，由下式(4)从初始化的状态开始。
[0052]
[数学式4]
[0053]
[math.4]
[0054]
r
ij
＝1/|ω
l 1
|
···
(4)
[0055]
m步骤：
[0056]
[数学式5]
[0057]
[math.5]
[0058]
r
ij
←
r
ij
a
i
···
(5)
[0059]
上述式(5)中乘以输入源胶囊i的激活a
i
来调整r
ij
。
[0060]
[数学式6]
[0061]
[math.6]
[0062][0063]
[数学式7]
[0064]
[math.7]
[0065][0066]
由上述式(6)求出v
ij
的加权平均u
ij
，由上述式(7)求出v
ij
的加权方差。
[0067]
[数学式8]
[0068]
[math.8]
[0069]
[0070]
由上述式(8)计算输出目的地胶囊j的激活a
j
。这里，βa、βu是参数，与w
ij
‑
起进行训练。另外，logistic是一般的逻辑函数。
[0071]
e步骤：
[0072]
接着，通过下述式(9)、式(10)来更新r
ij
。
[0073]
[数学式9]
[0074]
[math.9]
[0075][0076]
[数学式10]
[0077]
[math.10]
[0078][0079]
在第一模型30的训练阶段，以再现第一数据集12的各第一数据要素12a、12b、12c与分别对应于第一数据集12的第一数据要素12a、12b、12c的预标签14a、14b、14c的对应的方式训练第一模型30。第一模型30包括具有一个以上的胶囊的一个以上的胶囊层。在本实施方式中，第一模型30由分别具有多个胶囊的多个胶囊层构成。第一模型30的详细构成在后文进行描述。
[0080]
处理器24通过执行存储于存储装置22的各种程序来实现各种功能。处理器24例如作为训练部、第一获取部、第二获取部以及计算部发挥功能。需要指出，在其他实施方式中，上述各种功能中的至少一部分也可以通过硬件电路来实现。这里，在本说明书中，“处理器”是包括cpu、gpu以及硬件电路的术语。
[0081]
为了输出各种信息而采用输出部26。输出部26例如是液晶监视器。作为各种信息，显示例如与通过采用训练后的第一模型30判别出的数据要素的标签相关的信息。输出部26也可以是输出声音的扬声器，来代替液晶监视器等显示装置。
[0082]
图3是用于说明胶囊网络型的第一模型30的设定方法的图。第一模型30从输入的第一数据集12侧起依次具备卷积层33、初级胶囊层35、第一胶囊层37、第二胶囊层38以及作为最终层的分类胶囊层39。需要指出，第一模型30的层级数可根据输入的数据要素的种类适当变更。在本实施方式中，胶囊层是由四个层35、37、38、39构成的层级结构。从下层侧起依次排列初级胶囊层35、第一胶囊层37、第二胶囊层38、分类胶囊层39。上层侧的胶囊层中的各胶囊的各位姿m和激活a是采用被称为协议路由(routing
‑
by
‑
agreement)的方法，根据从在卷积核指定的下层侧的胶囊层的多个胶囊的输入来确定。
[0083]
通过以步长“2”将5
×
5的卷积核应用于第一数据集12的各数据要素12a～12c，从而确定在数据要素的范围中向卷积层33的一个节点提供输出的局部范围。应用于各数据要素12a～12c的卷积核的数量是32。由此，卷积层33构成为具有作为第一轴的纵轴和作为与第一轴正交的第二轴的横轴分别被划分为14个的区域。另外，作为卷积层33的深度的通道数构成为是与卷积核的数量相同的数量的32。“局部范围”是指在数据要素上由该纵轴的位置和横轴的位置所确定的一个区域。不过，根据下面的说明显而易见地，数据要素上的“局
部范围”的大小根据与“局部范围”对应的胶囊、或根据局部区域rx属于胶囊层35、37、38、39中的哪一个而不同。另外，“局部区域”是指在胶囊层中由纵轴的位置和横轴的位置所确定的区域。胶囊层中的各“局部区域”具有与上述纵轴、上述横轴以及通道对应的“高度(height)
”ד
宽度(width)
”ד
深度(depth)”的维度。在本实施方式中，一个“局部区域”所包括的胶囊的数量是“1
×1×
深度数”。在本说明书中，按胶囊层35、37、38、39，将“35”、“37”、“38”、“39”的数值代入局部区域rx的“x”。例如，局部区域r35表示胶囊层35中的区域。
[0084]
通过以步长“1”将1
×1×
32的卷积核应用于卷积层33，从而确定卷积层33的局部区域r33中向初级胶囊层35的一个胶囊输出的局部区域r33。这里，以相同的尺寸、相同的步长采用16种卷积核，因此在初级胶囊层35中，与卷积层33的一个局部区域r33对应的胶囊的数量为16。在从卷积层33的节点到初级胶囊层35的胶囊的输出的生成中，采用了变换矩阵，未采用协议路由。需要指出，用于卷积于胶囊层的卷积核的维度在将通道数及位姿的要素数也纳入考虑的情况下，有时也表述为“高度(height)
”ד
宽度(width)
”ד
深度(depth)
”ד
位姿m的要素数”。按照该表述，用于从卷积层33向初级胶囊层35的卷积的卷积核的维度为1
×1×
32
×
16。
[0085]
通过以步长“1”将3
×3×
16的卷积核应用于初级胶囊层35，从而确定初级胶囊层35的局部区域r35中向第一胶囊层37的一个局部区域r37所包括的胶囊提供输出的局部区域r35。这里，以相同的尺寸、相同的维度、相同的步长采用12种卷积核，因此，第一胶囊层37的局部区域r37所包括的胶囊的数量为12。在从初级胶囊层35的胶囊到第一胶囊层37的胶囊的输出的生成中采用协议路由。这里，还可以表述为：应用于下层35的卷积核指定用于按照协议路由确定上层37的一个胶囊的下层35的3
×3×
16个胶囊。这也适用于下面的说明。
[0086]
通过以步长“2”将7
×7×
12的卷积核应用于第一胶囊层37，从而确定第一胶囊层37的局部区域r37中向第二胶囊层38的一个局部区域r38提供输出的局部区域r37。这里，以相同的尺寸、相同的维度、相同的步长来采用6种卷积核，因此，第二胶囊层38的局部区域r38所包括的胶囊的数量是6。在从第一胶囊层37的胶囊到第二胶囊层38的胶囊的生成时采用协议路由。
[0087]
通过以步长“1”将3
×3×
6的卷积核应用于第二胶囊层38，从而确定第二胶囊层38的局部区域r38中向分类胶囊层39的一个局部区域r39提供输出的局部区域r38。这里，以相同的尺寸、相同的维度、相同的步长来采用两种卷积核，因此，分类胶囊层39的局部区域r39所包括的胶囊的数量为2。在根据第二胶囊层38的胶囊生成分类胶囊层39的胶囊时，采用协议路由。
[0088]
作为最终层的分类胶囊层39由一个局部区域r39构成。分类胶囊层39对于输入到第一模型30的数据要素分类为预定的标签。在本实施方式中，预定的标签是合格标签和不合格标签。在分类胶囊层39中，两个胶囊中激活a最大的胶囊所对应的标签成为输出。从分类胶囊层39输出的标签通过由处理器24控制而由输出部26输出。
[0089]
在上述图3中，初级胶囊层35的一局部区域r35与数据要素12a～12c的5
×
5像素的局部范围对应。另外，第一胶囊层37的一个局部区域r37与数据要素12a～12c的9
×
9像素的局部范围对应。另外，第二胶囊层38的局部区域r38与数据要素12a～12c的21
×
21像素的局部范围对应。另外，分类胶囊层39的局部区域r39与数据要素12a～12c的29
×
29像素的局部范围对应。
[0090]
图4为示出在第一模型30的训练阶段所执行的训练处理的流程图。首先，在步骤s10中，进行第一模型30的参数的设定。在步骤s10中，如采用图3所说明的那样设定层级的数量、应用于层之间的卷积核的尺寸和/或步长。
[0091]
然后，在步骤s12中，准备使第一模型30训练的第一数据集12。需要指出，步骤s10与步骤s12的顺序并不限定于上述顺序，步骤s12也可以先于步骤s10执行。
[0092]
然后，在步骤s14中，将第一数据集12的各第一数据要素12a～12c依次输入到第一模型30，对第一模型30进行训练，以再现第一数据集12的各数据要素12a～12c与各数据要素12a～12c所对应的预标签的对应。处理器24例如采用小批量梯度下降法的算法来训练第一模型30。在本实施方式中，处理器24采用将作为数据要素的子集的小批量的尺寸设定为“32”、将轮次(epoch)设定为“20000”的小批量梯度下降法的算法来训练第一模型30。
[0093]
在步骤s16中，处理器24将第一数据集12再次输入在步骤s14中训练后的第一模型30，关于作为胶囊层的第一胶囊层37、第二胶囊层38、分类胶囊层39分别执行以下处理。即，处理器24将基于各层37、38、39的各胶囊所具有的第一激活a1和第一位姿m1中的至少一方的第一中间数据与第一数据要素12a～12c上的局部范围的各胶囊所对应的局部范围相关联地获取，并将彼此相关联的第一中间数据和关联的局部范围的相对位置存储于存储装置22。需要指出，也可以将关联的局部范围本身存储到存储装置22。这里，将第一数据要素12a～12c上的局部范围的各胶囊所对应的局部范围也称为第一局部数据要素。另外，下面也将所存储的第一中间数据以及第一局部数据要素表述为采集数据32。需要指出，在其他实施方式中，在初级胶囊层35中也可以与各层37、38、39同样地将第一中间数据与第一局部数据要素相关联地获取。另外，作为后述的与相似度相关的信息，在不包括指示第一局部数据要素的区域的局部范围信息时，也可以不使第一中间数据与第一局部数据要素相关联。需要指出，未必需要从所有的胶囊层获取第一中间数据。例如，也可以仅从第二胶囊层38获取第一中间数据，还可以从几个层的组合来获取第一中间数据。这也适用于下面说明的第二中间数据。进而，在其他实施方式中，也可以通过将在步骤s14中用于第一模型30的训练的第一数据集12一分为二，从而分割为在步骤s14中用于第一模型30的训练的第一数据要素12a、12b、12c的组、以及不用于训练的第一数据要素12a、12b、12c的组，在步骤s14中仅用一组来进行第一模型30的训练，并在步骤s16中采用两个组来生成第一中间数据。总之，只要被赋予了与用于第一模型30的训练的第一数据要素12a、12b、12c的预标签14a、14b、14c相同的预标签14a、14b、14c，在步骤s16中用于生成中间数据的数据就不仅限于用于第一模型30的训练的第一数据要素12a、12b、12c。
[0094]
如上所述，根据处理器24所执行的方法，能够通过步骤s16，可以获取基于胶囊所具有的第一激活a1和第一位姿m1中的至少一方的第一中间数据。由此，在第一模型30中输入了判别对象的数据要素时，可以获取基于胶囊所具有的第二激活性a2和第二位姿m2中的至少一方的第二中间数据，并计算根据第一中间数据生成的特征谱与根据第二中间数据生成的特征谱的相似度。第二中间数据可以是第二位姿m2本身、第二激活a2本身，也可以是对第二位姿m2、第二激活a2进行加权等数据处理后的数据。在本实施方式中，第二中间数据由第二位姿m2和第二激活a2构成。需要指出，在其他实施方式中，第一中间数据和第二中间数据也可以分别是特征谱。关于特征谱的详情在后文进行描述。通过计算相似度，例如可以确定相似度小于预定的阈值的胶囊。因此，能够输出采用有第一模型的输入的数据要素的判
别依据。关于该判别依据的输出方式的详情将在后文进行描述。
[0095]
图5是用于说明判别阶段的判别系统100的图。图6是用于说明第二数据集62的图。图5的判别系统100与图1的判别系统100的不同点在于采用第二输入数据集60作为输入到第一模型30的数据要素。
[0096]
如图5所示，第二输入数据集60具有第二数据集62。如图6所示，第二数据集62是表示通过在针对所制造出的多个骰子中的各个骰子通过用摄像头拍摄一个面而获取到的图像的第二数据要素62a～62c。第二数据要素62a～62c的尺寸例如是与第一模型30训练时相同的32
×
32像素。另外，分别准备各1100张的第二数据要素62a～62c，骰子的点的位置最大变动
±
2像素，骰子的点的大小最大变动
±
2像素。
[0097]
通过在训练后的第一模型30中逐个输入第二数据要素62a～62c，来进行类别判别、即判别标签。例如，当在第一模型30中输入了表示一个点的第二数据要素62a、表示两个点的第二数据要素62b时，判别为不合格，当输入了表示三个点的第二数据要素62c时，判别为合格。另外，在本实施方式中，处理器24生成判别标签的判别依据，使输出部26一起显示判别出的标签和判别依据。判别依据的生成方法在后文进行描述。
[0098]
图7是第二数据集62的类别判别处理的流程图。首先，在步骤s20中，处理器24向采用第一数据集12进行过训练的第一模型30逐个地输入各第二数据要素62a～62c，执行类别判别。然后，在步骤s22中，处理器24对所输入的第二数据要素62a～62c中的每一个计算即导出第一模型30的状态，也就是说，计算即导出作为分类胶囊层39的两个胶囊的激活a的第二激活a2。另外，在步骤s22中，处理器24对输入到第一模型30的第二数据要素62a～62c分别从第一模型30获取第二中间数据。获取第二中间数据的详情参照图8中的步骤s30，并且在后文进行描述。
[0099]
然后，在步骤s24中，处理器24基于步骤s22的计算结果将分类胶囊层39的第二激活a2为最大的胶囊所对应的标签作为判别结果输出到输出部26。需要指出，标签的判别结果不限定于图像信息，只要是可以报告给用户的信息即可。例如，标签的判别结果也可以以声音信息来输出。在该情况下，输出部26具备扬声器。在下面的说明中，标签的判别的结果作为采集数据32的一部分存储于存储装置22。
[0100]
这样，通过将第二数据要素62a～62c输入第一模型30，可以容易地判别标签。另外，由于通过输出部26输出标签的判别结果，因此，用户可以容易地掌握标签的判别结果。
[0101]
图8是第一说明处理的流程图。图8的第一说明处理可以在图7的类别判别处理之后进行，也可以与图7的类别判别处理并列进行。第一说明处理由处理器24执行。第一说明处理是用于将存储于采集数据要素32的与合格标签相对应的第一数据要素12c与输入的第二数据要素62a～62c进行比较，并说明因何判别为合格、因何未判别为合格的判别依据的处理。通过该第一说明处理生成的信息可以与图7的步骤s24的判别结果一起输出。图9是用于说明特征谱的图。
[0102]
如图8所示，首先，在步骤s30中，处理器24向经过训练后的第一模型30逐个输入第二数据要素62a～62c，使第一模型30执行类别判定。获取该类判定结束时多个胶囊分别输出的第二中间数据，并存储于存储装置22。在本实施方式中，第二中间数据包括第二位姿m2和第二激活a2。在步骤s30中，至少对第一胶囊层37、第二胶囊层38、分类胶囊层39分别执行步骤s30。另外，在步骤s30中，处理器24将第二数据要素62a～62c上的与第二中间数据相对
应的局部范围以与第二中间数据相关联的方式存储于存储装置22。在本实施方式中，在图7所示的类判别处理的步骤s22中执行步骤s30。接着，在步骤s32中，处理器24从存储装置22读出在对附加有合格标签作为预标签的所有第一数据要素12c实施了类别判别时所获得的第一中间数据。在本实施方式中，第一中间数据基于第一位姿m1和第一激活a1。
[0103]
接着，在步骤s34中，处理器24计算第二数据要素62a～62c的特征谱sp和合格标签的第一数据要素12c的特征谱sp。具体而言，处理器24按第一胶囊层37、第二胶囊层38、分类胶囊层39的各自的局部区域r37、r38、r39根据第一中间数据和第二中间数据计算各自的特征谱sp。在本说明书中，特征谱sp可以按胶囊层中的每个局部区域rx，将一个以上的位姿m按平均值0、方差1进行归一化，或者采用softmax函数进行标准化并进行排列来表示。另外，特征谱sp也可以按每局部区域rx以对应的激活a对位姿m的各维度或各要素进行加权排列来表示。作为加权，例如可以通过获取位姿m和位姿m所对应的激活a的值的积来实现。另外，特征谱sp也可以按胶囊层37、38、39的每个局部区域r37、38、39排列激活a的值来表示。另外，也可以将排列的激活a归一化为平均值0、方差1。另外，特征谱sp也可以按胶囊层37、38、39的每个局部区域r37、38、39排列位姿m和/或激活a来表示。需要指出，特征谱sp也可以不进行归一化，而是将多维度、在本实施方式中为16维度的位姿m转换为一维并进行排列。
[0104]
图9所示的图表与第一胶囊层37对应。在第一胶囊层37中，一个局部区域r37具有在深度方向上排列的12个胶囊。在图9中，作为一例，示出了将属于某一局部区域r37的12个胶囊输出的各个激活a归一化为平均0、方差1以进行排列的情况。图9中的特征谱sp具有标归一化后的这些多个激活a作为要素。在图9所示的特征谱sp的一例中，横轴是用于识别与各胶囊对应的激活a的要素编号“0”～“11”，纵轴是各激活a的值。
[0105]
如图8所示，然后，在步骤s36中，处理器24计算基于第一中间数据和第二中间数据的相似度。详细而言，处理器24计算在第一胶囊层37、第二胶囊层38、分类胶囊层39的每层中，根据第二数据要素62a～62c的第二中间数据生成的特征谱sp与根据合格标签的第一数据要素12c的第一中间数据生成的特征谱sp的相似度。在本实施方式中，相似度的计算对象是属于相同层级的局部区域rx彼此。具体而言，按每个胶囊层37、38、39，对被提供有第二数据要素62a～62c时的一个局部区域rx，是被提供有第一数据要素12a～12c时的所有的局部区域rx。这里，被提供有第一数据要素12a～12c时的胶囊层37、38、39中的某一局部区域rx和被提供有第二数据要素62a、62b、62c时的胶囊层37、38、39中的局部区域rx分别与作为第一数据要素12a～12c的第一图像上的局部范围和作为第二数据要素62a～62c的第二图像上的局部范围对应，因此，上述相似度也可以解释为第一图像的局部范围与第二图像的局部范围之间的相似度。换言之，在本实施方式中，在第一数据要素12a～12c与第二数据要素62a～62c之间以相似度的方式来相互比较中间数据是指，相对于第二数据要素62a～62c上属于某一个层级的局部范围，在第一数据要素12a～12c上为属于相同层级的所有局部范围。但是，如后文所述，也可以在相同层级的相同局部范围彼此之间求出相似度。这里，层级与局部范围的大小相关联。如上所述，当胶囊层37、38、39不同时，第一数据要素12a～12c即在第一图像上定义的局部范围以及第二数据要素62a～62c即在第二图像上定义的局部范围的大小也不同。作为相似度，可以采用比较两个向量的任意指标，例如采用余弦相似度、均方误差(mse)、峰值s/n比(psnr)。在步骤s36中，按第一胶囊层37、第二胶囊层38、分类胶囊层39各自的每个局部区域rx，将所有的第一数据要素12c所对应的第一中间数据的特征
谱sp的相似度中相似度最高的值作为第二数据要素62的局部区域rx的相似度。第二数据要素62的局部区域rx的相似度以与局部区域rx的传感器数据要素即图像数据要素以及与局部区域rx的激活a相对应地存储于存储装置22。在其他实施方式中，步骤s36中的相似度的计算对象也可以是位于相同层中的相同相对位置的每个局部区域rx彼此。
[0106]
然后，在步骤s40中，处理器24采用输出部26输出与所计算的、即所导出的相似度相关的信息。与相似度相关的信息包括表示位置的层级局部范围信息、表示层级的层标签信息、相似度信息以及比较信息中的至少一者。层级局部范围信息是每个层级的局部范围信息。虽未加以限定，但在本实施方式中，层级局部范围信息是指示在每个层级中进行了相似度的计算的局部区域rx所对应的第一数据要素12a、12b、12c上的局部范围和第二数据要素62a、62b、62c上的局部范围的信息。上面也将与局部区域rx对应的第一数据要素12a、12b、12c上的局部范围称为第一局部数据要素。另外，上面也将与局部区域rx对应的第二数据要素62a、62b、62c上的局部范围称为第二局部数据要素。层标签信息是用于识别作为多个胶囊层的第一胶囊层37、第二胶囊层38以及分类胶囊层39的层级的信息。相似度信息是表示属于相同层级即相同的胶囊层37、38、39的局部区域rx间的相似度的信息。比较信息是表示相似度与预定的阈值的大小关系的信息。比较信息是在步骤s40中处理器24对相似度与预定的阈值进行比较时生成的信息。在第二数据集62的数据要素中，当相似度小于预定的阈值时，可以解释为在该层级中与已知的图像的特征的相似度低，当相似度为预定的阈值以上时，可以解释为在该层级中与已知的图像的特征的相似度高。预定的阈值例如是表示相似度高、低的基准的值。这样，相似度可用作对于合格/不合格等的类别判定的判断根据。在步骤s40中，生成包括相似度的与相似度相关的信息在输出部26进行输出。这里，当仅采用多个胶囊层37、38、39中的一个作为判别依据的情况下，也可以采用局部范围信息来代替层级局部范围信息。局部范围信息是指示进行了相似度的计算的数据要素上的局部范围的信息。
[0107]
需要指出，在图8的步骤s36中，当计算出第一数据要素上的处于某个相对位置的局部范围的特征谱sp与第二数据要素上的不同于该相对位置的相对位置的特征谱sp的相似度的情况下，与相似度相关的信息包括表示各个局部范围的相对位置的信息。
[0108]
与相似度相关的信息采用作为输出部26的一例的液晶监视器进行输出，但也可以以声音信息进行输出。在该情况下，输出部26具备扬声器。
[0109]
如上所述，通过计算基于第一中间数据和第二中间数据的相似度，例如可以确定相似度小于预定的阈值的胶囊，因此，能够输出采用第一模型30的第二数据要素62a～62c的判别依据。另外，在图8的步骤s36的处理中，通过计算第一局部数据要素的第一中间数据与对应于第一局部数据要素的区域的第二局部数据要素的第二中间数据的相似度，可以计算第一局部数据要素以及第二局部数据要素的相似度。由此，通过采用输出部26来输出与相似度相关的信息，从而可以容易地掌握例如根据第二数据要素中的哪个区域进行了标签的判别。因此，关于标签的判别，用户可以容易地掌握以哪个胶囊层37、38、39为依据和以哪个局部区域rx为依据等与相似度相关的信息。也就是说，对于作为输入数据的第二数据要素62a～62c，用户能够根据该与相似度相关的信息，掌握与合格相似的部分、不相似的部分、各自的位置和大小。需要指出，在步骤s36的处理中，相似度的计算对象也可以不是来自胶囊层37、38、39中的相同相对位置的局部区域rx的第一中间数据和第二中间数据。即便如
此，通过输出用于识别作为计算的对象的第二数据要素的层级的层标签信息、表示局部区域rx的局部区域信息等与相似度相关的信息，从而对于标签的判别，用户可以容易地掌握以哪个胶囊层37、38、39为依据、以及以哪个局部区域rx为依据等与相似度相关的信息。
[0110]
图10为第二说明处理的流程图。第二说明处理由处理器24执行。第二说明处理是用于说明第二数据要素62a～62e是否与用于第一模型30的训练的已知的第一数据要素12a～12c为相同种类的判别及其根据的处理。图11是用于说明第二数据集62a的图。简而言之，第二说明处理也可以称为说明是对未知的数据强行进行了判别，还是当作已知的数据进行了判别、是进行了哪一种判别的处理。
[0111]
如图11所示，第二数据集62a具有五种第二数据要素62a～62e。第二数据要素62a、62b、62c分别与图6所示的第二数据要素62a、62b、62c相同，是拍摄与用于第一模型30的训练时的第一数据要素12a～12c相同种类的作为目标物的骰子所得的图像数据要素。第二数据要素62d、62e是拍摄与用于第一模型30的训练时的第一数据要素12a～12c的种类不同的作为目标物的骰子所得的图像数据要素。具体而言，第二数据要素62d是拍摄在各面上三点的中央的点为叉号的骰子所得的图像数据要素。另外，第二数据要素62e是拍摄在各面有四个点的骰子所得的图像数据要素。如上所述，第二数据要素62d、62e是未用于第一模型30的训练时的未知种类的数据要素。第二数据要素62a～62e的尺寸例如是与第一模型30的训练时相同的32
×
32像素。另外，分别准备各1100张的第二数据要素62a～62e，骰子的点的位置最大变动
±
2像素，骰子的点的大小最大变动
±
2像素。通过将所准备的第二数据要素62a～62e逐个输入到第一模型30，从而来进行类别判别、即判别标签。
[0112]
如图10所示，在步骤s30中，处理器24将第二数据要素62a～62e逐个输入到经过训练后的第一模型30，对第二数据要素62a～62e分别执行类别判别。然后，从第一模型30获取类别判别结束时的对第二数据要素62a～62e各自的第二中间数据。图10所示的步骤s30是与图8所示的步骤s30相同的处理。接着，在步骤s32a中，处理器24将存储装置22所存储的用于第一模型30的训练的第一数据要素12a～12c各自的第一中间数据全部提取出来。
[0113]
接着，在步骤s34a中，处理器24计算输入到第一模型30的第二数据要素62a～62e的特征谱以及所提取出的训练完毕的第一数据要素12a～12c的特征谱。关于计算方法，由于与图8的步骤s34中记载的方法相同，所以这里省略说明。
[0114]
然后，在步骤s36a中，处理器24计算第二数据要素62a～62c的特征谱sp与第一数据要素12a～12c的特征谱sp的相似度。作为相似度例如采用余弦相似度。在步骤s36中，按第一胶囊层37、第二胶囊层38、分类胶囊层39各自的每个局部区域rx，将相对于所有的第一数据要素12a～12c相似度最高的值设为局部区域rx的相似度。局部区域rx的相似度以与局部区域rx所对应的图像数据要素的局部范围及局部区域rx的激活a相对应的方式存储于存储装置22。
[0115]
然后，在步骤s40a中，处理器24采用输出部26输出所计算出的与相似度相关的信息。与相似度相关的信息包括表示位置的层级局部范围信息、局部范围信息、表示层级的层标签信息、相似度信息及比较信息中的至少一者。在图8所示的步骤s40与步骤s40a的不同的点于，在步骤s40a中，相似度的阈值的值不同。例如，在步骤s40a中，预定的阈值被设定为如下所述的值：该值可以将与用于第一模型30的训练的数据要素相同种类的第二数据要素62a、62b、62c判别为已知的数据要素，而且，该值可以将与用于第一模型30的训练的数据要
素不同种类的第二数据要素62d、62e提示为未知的数据要素。
[0116]
如上所述，在第二说明处理中，在与第一说明处理相同的构成、进行处理这方面发挥相同的效果。例如，由于通过计算基于第一中间数据和第二中间数据的相似度，例如可以确定相似度小于预定的阈值的胶囊，因此，能够输出采用第一模型的第二数据要素的判别依据。
[0117]
图12是示出第一胶囊层37中的余弦相似度的图。图13是示出第二胶囊层38中的余弦相似度的图。下面，参照图12和图13对第一说明处理和第二说明处理的效果进行说明。
[0118]
图12和图13所示的余弦相似度是采用由下面所记载的生成方法生成的特征谱sp来计算的。生成方法是通过用激活a的值对局部区域rx所具有的位姿m进行加权来生成特征谱sp的方法。加权是通过对位姿m的各维度乘以与位姿m对应的激活a的值来执行的。通过该生成方法生成的特征谱sp的图表例如通过横轴为用于识别各位姿m的各维度的要素编号、纵轴为加权后的值来表示。横轴的要素数在第一胶囊层37中为16
×
12个。这是位姿m的维度数与第一胶囊层37的一个局部区域r37所包含的胶囊的数量的积。
[0119]
在图12和图13的柱状图中，分别记载于在no.1～no.4之下的符号“a
‑
b”的含义如下。也就是说，符号中的左侧的符号“a”是未用于第一模型30的训练的第二数据要素62a～62e，符号中的右侧的符号“b”是在用于第一模型30的训练的第一数据要素12a～12c。no.1的柱状图示出作为三个点的骰子的图像数据要素的、第二数据要素62c与第一数据要素12c的余弦相似度。no.2的图表示出作为两个点的骰子的图像数据要素的第二数据要素62b与作为三个点的骰子的图像数据要素的第一数据要素12c的余弦相似度。no.3的柱状图示出作为四个点的骰子的图像数据要素的第二数据要素62e与已知的第一数据要素12a～12c的余弦相似度。no.4的柱状图示出三个点之中的中间的点为叉号的骰子的图像数据要素的第二数据要素62d与已知的第一数据要素12a～12c的余弦相似度。
[0120]
no.1～no.4各自的柱状图所表示的余弦相似度是通过以下的方法计算出的。下面，使用了用于训练的已知的第一数据要素12a～12c的一部分，但也可以使用用于训练中的全部。即，从已知的第一数据要素12a～12c中随机选择200个，计算该200个第一数据要素12a～12c与所准备的作为比较对象样本的第二数据要素62b～62e的作为各层的第一胶囊层37以及第二胶囊层38中进行步长、即每个局部区域r37、r38的相似度的计算，并仅保存相似度最大的余弦相似度的值。对随机选择的100个第二数据要素62b～62e进行该操作，并表示其统计量，从而生成柱状图。另外，用误差条示出标准偏差。在本实施方式中，余弦相似度的最小值为“﹣1”，最大值为“1”。
[0121]
在图12中，获得了在对应于局部形状的比较的第一胶囊层37中，作为与带有叉号的第二数据要素62d的比较的no.4的余弦相似度低于no.1～no.3的余弦相似度的结果。这样一来，采用第一模型30，可以说明第二数据要素62d与作为已知数据要素的第一数据要素12a、12b、12c之间不同的部分在整体中是局部的部分。另一方面，关于第二数据要素62e，可以说明局部的部分中不存在与已知数据即第一数据要素12a、12b、12c的差异。如图12所示，在特征谱sp的正弦相似度中，可以设定作为no.1～no.3与no.4的边界的阈值tv。在本实施方式中，在已知数据与各种数据的比较时，确认了存在适于表现关于第一胶囊层37得到的特征谱sp的余旋相似度的大小的阈值tv。因此，如果适当地设定阈值tv，则可以说第二数据要素62d在第一胶囊层37中的相似度小，能够说明局部具有与已知数据、即第一数据要素
12a、12b、12c不同的特征。
[0122]
在图13中，获得了在与中间形状的比较或局部形状的相对位置的比较对应的第二胶囊层38中，no.1的余弦相似度比no.2～no.4的余弦相似度高的结果。这样一来，可以提高采用了第一模型30的带“未知”和“已知”的标签的根据说明的精度。进而，能够说明第二数据要素62b与作为已知数据要素的第一数据要素12c之间不同的部分在整体中为局部形状的相对位置。另外，能够说明在第二数据要素62e与作为已知数据要素的第一数据要素12a、12b、12c之间不同的部分在整体中是局部形状的相对位置。如图13所示，在特征谱sp的正弦相似度中，能够设定作为no.1与no.2～no.4的边界的阈值tv。在本实施方式中，在已知数据与各种数据的比较中，确认了存在适于表现关于第二胶囊层38得到的特征谱sp的余旋相似度的大小的阈值tv。也就是说，第二数据要素62b、62e能够通过第二胶囊层38导出的相似度低来说明骰子的点的配置不同。换言之，对于第二数据要素62b，能够说明骰子的点配置与作为合格的第一数据要素12c不同。对于第二数据要素62e，能够说明骰子的点的配置与已知的第一数据要素12a、12b、12c均不同。第二数据要素62d也低，但认为这是由于网络的信息以从下层向上层的方向传递，因此，当设为在下层具有不同的特征时，变得难以在上层中求出正常的相似度。
[0123]
需要指出，代替图12和图13中采用的相似度的计算，也可以是将第一位姿m1通过第一激活a1进行加权，将第二位姿m2通过第二激活a2进行加权，并计算加权后的第一位姿m1与加权后的第二位姿m2的相似度。
[0124]
用于计算相似度的特征谱sp并不限定于上述特征谱sp。例如，可以用通过由对激活a的值应用softmax函数而得的校正值来对局部区域rx所具有的位姿m进行加权，而生成特征谱sp，还可以对于将局部区域rx所具有的位姿m一维排序后的要素，通过排列每个要素的位姿m的值来生成特征谱sp。因此，相似度的计算方法也可以是计算由第一位姿m1构成的特征谱sp与由第二位姿m2构成的特征谱sp的相似度。
[0125]
另外，相似度的计算方法并不限定于上述方法。相似度的计算方法例如可以是计算第一激活a1与第二激活a2的相似度。详细而言，相似度的计算方法也可以是计算具有多个第一激活a1作为要素的特征谱sp与具有多个第二激活a2作为要素的特征谱sp的相似度。
[0126]
根据上述实施方式，通过计算第一中间数据与第二中间数据的相似度，例如可以确定相似度小于预定的阈值的胶囊，因此能够输出采用有第一模型30的第二数据要素62a～62e的判别依据。通过输出标签的判别依据，并分析标签判别依据，例如能够改善制造工序等以减少不合格的产生。
[0127]
另外，根据上述实施方式，输入的数据要素(在本实施方式中为图像)的局部范围、层级型的胶囊网络模型的各层所包含的深度方向的胶囊的集合(也称为胶囊组)所对应的局部范围的大小存在随着从下层侧的层朝向上层侧的层而定性地由小变大的趋势，能够根据该趋势将该大小进行某种程度的调整。因此，在数据要素所包括的特征具有层级性的情况下，能够以第一模型30所包含的层中的每一层与各层级的特征对应，也就是以与各个的大小的特征对应的方式调整第一模型30的网络构造。而且，在层级型胶囊网络模型中，在各层中胶囊组所对应的数据要素(例如，图像上)的局部范围的相关关系从下层侧的层直至上层侧的层位置得以保持。由此，通过将第一中间数据和第二中间数据按各胶囊层37、38、39进行比较，从而能够按各特征的层级来说明第二输入数据集60的各数据要素的判别结果。
第一中间数据是在训练后的第一模型30将由训练中所采用的多个数据要素构成的第一数据集12作为输入进行赋予而从胶囊层37、38、39得到的数据。另外，第二中间数据是将在第一模型30中未用于训练的数据要素，在本实施方式中将第二数据集62的各数据要素作为输入进行赋予而从胶囊层37、38、39得到的数据。
[0128]
b.其他实施方式：
[0129]
b
‑
1.其他实施方式1：
[0130]
在上述实施方式中，第一中间数据的特征谱sp与第二中间数据的特征谱sp的相似度是余弦相似度，但并不限定于此，也可以根据对相似度进行比较的要素来采用各种相似度。例如，相似度既可以是平方误差，也可以是基于两个向量的内积或外积的相似度、由两个向量表示的两点之间的距离、基于范数的相似度。
[0131]
b
‑
2.其他实施方式2：
[0132]
在上述实施方式中，第一说明处理和第二说明处理可以构成为通过处理器24能够自动地切换。例如，处理器24在执行第一说明处理的情况下，相对于输入数据要素的总数，判别为不合格的比例为预定的值以上时，可以从第一说明处理切换到第二说明处理。
[0133]
b
‑
3.其他实施方式3：
[0134]
在上述实施方式中，非暂时性存储介质23所存储的程序由一个处理器24执行，但也可以由两个以上的处理器24执行。
[0135]
b
‑
4.其他实施方式4：
[0136]
第一中间数据、第二中间数据的生成方法不限定于上述实施方式，例如，也可以采用k均值(kmeans)法来生成第一中间数据、第二中间数据。另外，也可以采用pca、ica、fisher等变换来生成第一中间数据、第二中间数据。另外，第一中间数据和第二中间数据的变换方法也可以不同。
[0137]
c.其他方式：
[0138]
本公开并不限于上述的实施方式，在不脱离其主旨的范围内能够以各种方式实现。例如，本公开也可以通过以下的方式(aspect)来实现。为了解决本公开的技术问题的一部分或者全部，或者为了达成本公开的效果的一部分或者全部，可以对与以下记载的各方式中的技术特征对应的上述实施方式中的技术特征适当地进行替换、组合。另外，如果其技术特征在本说明书中不是作为必须特征来说明，则可适当删除。
[0139]
(1)根据本公开的第一方式，提供用于使一个或多个处理器执行的方法。该方法包括：训练包含分别具有一个以上的胶囊的一个以上的胶囊层的胶囊网络型的第一模型，以再现第一数据集所具有的多个第一数据要素与分别对应于所述多个第一数据要素的预标签的对应；以及向训练后的所述第一模型输入所述第一数据集，并对所述一个以上的胶囊层，获取基于所述一个以上的胶囊所具有的第一激活和第一位姿中的至少一方的第一中间数据。根据该方式，能够获取基于胶囊所具有的第一激活和第一位姿中的至少一方的第一中间数据。由此，能够获取基于向第一模型输入了判别对象的第二数据要素时的胶囊所具有的第二激活和第二位姿中的至少一方的第二中间数据，并计算第一中间数据与第二中间数据的相似度。通过计算相似度，例如可以确定相似度小于预定的阈值的胶囊，因此能够输出采用有第一模型的第二数据要素的判别依据。
[0140]
(2)根据本公开的第二方式，提供采用预先训练的第一模型，用于使一个或多个处
理器执行的方法。所述第一模型是包括分别具有一个以上的胶囊的一个以上的胶囊层的胶囊网络型，且已被训练，以再现第一数据集所具有的多个第一数据要素与分别对应于多个所述第一数据要素的预标签的对应。该方法包括：在训练后的所述第一模型输入了所述第一数据集的情况下，对于所述一个以上的胶囊层中的每一个获取基于所述一个以上的胶囊所具有的第一激活和第一位姿中的至少一方的第一中间数据；向所述第一模型输入第二数据要素，并对所述一个以上的胶囊层中的每一个获取基于所述一个以上的胶囊所具有的第二激活和第二位姿中的至少一方的第二中间数据；以及在所述一个以上的胶囊层中，计算所述第一中间数据与所述第二中间数据的相似度。根据该方式，能够获取基于胶囊所具有的第一激活和第一位姿中的至少一方的第一中间数据。由此，能够获取基于在第一模型输入了判别对象的第二数据要素时的胶囊所具有的第二激活和第二位姿中的至少一方的第二中间数据，并计算第一中间数据与第二中间数据的相似度。通过计算相似度，例如可以确定相似度小于预定的阈值的胶囊，因此能够输出采用了第一模型的第二数据要素的判别依据。
[0141]
(3)在上述方式中，可以还包括输出与计算出的所述相似度相关的信息。根据该方式，用户能够容易地掌握与相似度相关的信息。
[0142]
(4)在上述方式中，可以还包括向所述第一模型输入所述第二数据要素，来判别所述第二数据要素的标签。根据该方式，能够判别采用了第一模型的第二数据要素的标签。
[0143]
(5)在上述方式中，可以还包括输出所述标签的判别结果。根据该方式，用户能够容易地掌握标签的判别结果。
[0144]
(6)在上述方式中，所述胶囊层也可以具有多个所述胶囊，获取所述第一中间数据包括：获取所述多个所述胶囊分别具有的所述第一中间数据；以及将作为与获取到的所述第一中间数据对应的所述第一数据要素的一部分的第一局部范围与对应的所述第一中间数据相关联，获取所述第二中间数据包括：获取所述多个所述胶囊分别具有的所述第二中间数据；以及将作为与获取到的所述第二中间数据对应的所述第二数据要素的一部分的第二局部范围与对应的所述第二中间数据相关联，计算所述相似度包括：计算所述第一局部范围的所述第一中间数据与对应于所述第一局部范围的所述第二局部范围的所述第二中间数据的所述相似度。根据该方式，通过计算第一局部范围的第一中间数据与对应于第一局部范围的第二局部范围的第二中间数据的相似度，能够计算出第一局部范围和第二局部范围的相似度。由此，能够容易地掌握以第二数据要素中的哪个范围为根据进行了标签的判别。
[0145]
(7)在上述方式中，与所述相似度相关的信息也可以包括表示进行了所述相似度的计算的所述第一局部范围和所述第二局部范围的局部范围信息。根据该方式，用户能够容易地掌握以哪个局部范围为根据进行了标签的判别。
[0146]
(8)在上述方式中，所述胶囊层也可以是由多个层构成的层级结构，计算所述相似度包括：在每个所述胶囊层中，计算所述第一局部范围的所述第一中间数据和对应于所述第一局部范围的所述第二局部范围的所述第二中间数据的所述相似度。根据该方式，能够对多个层的胶囊层的每一个计算第一中间数据与第二中间数据的相似度。
[0147]
(9)在上述方式中，所述胶囊层也可以具有多个所述胶囊，获取所述第一中间数据包括：获取所述多个所述胶囊分别具有的所述第一中间数据；以及将作为与获取到的所述
第一中间数据对应的所述第一数据要素的第一部分的第一局部范围与对应的所述第一中间数据相关联，获取所述第二中间数据包括：获取所述多个所述胶囊分别具有的所述第二中间数据；以及将作为与获取到的所述第二中间数据对应的所述第二数据要素的一部分的第二局部范围与对应的所述第二中间数据相关联，计算所述相似度包括计算所述第一中间数据与所述第二中间数据的所述相似度。根据该方式，通过计算第一局部范围的第一中间数据与第二局部范围的第二中间数据的相似度，能够计算第一局部范围和第二局部范围的相似度。由此，能够容易地掌握是根据第二数据要素中的哪个区域进行了标签的判别。
[0148]
(10)在上述方式中，与所述相似度相关的信息也可以包括表示进行了所述相似度的计算的所述第二局部范围的局部范围信息。根据该方式，用户能够容易地掌握以哪局部范围为根据进行了标签的判别。
[0149]
(11)在上述方式中，与所述相似度相关的信息也可以包括表示进行了所述相似度的计算的所述第一局部范围和所述第二局部范围的局部范围信息。根据该方式，用户能够容易地掌握以哪局部范围为根据进行了标签的判别。
[0150]
(12)在上述方式中，所述胶囊层也可以是由多层构成的层级结构，计算所述相似度的步骤包括：在所述胶囊层的每一个中，计算所述第一中间数据与所述第二中间数据的所述相似度。根据该方式，能够对多个层的胶囊层的每一个计算第一中间数据与第二中间数据的相似度。
[0151]
(13)在上述方式中，与所述相似度相关的信息可以还包括下述信息中的至少一者：用于识别多个所述胶囊层的层级的层标签信息、表示每个所述层级的所述相似度的相似度信息、表示作为在每个层级中进行了所述相似度的计算的所述第二局部范围的层级局部范围的层级局部范围的层级局部范围信息、以及表示所述相似度与预定的阈值的大小关系的比较信息。根据该方式，用户能够更加详细地掌握与相似度相关的信息。
[0152]
(14)在上述方式中，所述第一中间数据也可以至少包括所述第一位姿，所述第二中间数据至少包括所述第二位姿，计算所述相似度包括计算所述第一位姿与所述第二位姿的所述相似度。根据该方式，能够采用第一位姿和第二位姿来计算相似度。
[0153]
(15)在上述方式中，所述第一中间数据也可以至少包括所述第一激活，所述第二中间数据至少包括所述第二激活，计算所述相似度包括计算所述第一激活与所述第二激活的所述相似度。根据该方式，能够采用第一激活和第二激活来计算相似度。
[0154]
(16)在上述方式中，所述第一中间数据也可以包括所述第一位姿和所述第一激活，所述第二中间数据包括所述第二位姿和所述第二激活，计算所述相似度包括：用所述第一激活对所述第一位姿进行加权，用所述第二激活对所述第二位姿进行加权，并计算加权后的所述第一位姿与加权后的所述第二位姿的所述相似度。根据该方式，能够采用加权后的第一位姿和加权后的第二位姿来计算相似度。
[0155]
(17)根据本公开的第三方式提供一种装置。该装置具备：训练部，训练包括分别具有一个以上的胶囊的一个以上的胶囊层的胶囊网络型的第一模型，以再现第一数据集所具有的多个第一数据要素与分别对应于所述多个第一数据要素的预标签的对应；以及第一获取部，向训练后的所述第一模型输入所述第一数据集，并对所述一个以上的胶囊层获取基于所述一个以上的胶囊所具有的第一激活和第一位姿中的至少一方的第一中间数据。根据该方式，能够获取基于胶囊所具有的第一激活和第一位姿中的至少一方的第一中间数据。
由此，能够获取基于在第一模型输入了判别对象的第二数据要素时的胶囊所具有的第二激活和第二位姿中的至少一方的第二中间数据，来计算第一中间数据与第二中间数据的相似度。通过计算相似度，例如可以确定相似度小于预定的阈值的胶囊，因此能够输出采用了第一模型的第二数据要素的判别依据。
[0156]
(18)根据本公开的第四方式提供一种装置设备。该装置是包括分别具有一个以上的胶囊的一个以上的胶囊层的胶囊网络型，具备：存储装置，存储第一模型，所述第一模型已被训练，以再现第一数据集所具有的多个第一数据要素与分别对应于所述多个第一数据要素的预标签的对应；第一获取部，在所述训练后的所述第一模型输入了所述第一数据集的情况下，对所述一个以上的胶囊层分别获取基于所述一个以上的胶囊所具有的第一激活和第一位姿中的至少一方的第一中间数据；第二获取部，向所述第一模型输入第二数据要素，对所述一个以上的胶囊层分别获取基于所述一个以上的胶囊所具有的第二激活和第二位姿中的至少一方的第二中间数据；以及计算部，在所述一个以上的胶囊层中，计算所述第一中间数据与所述第二中间数据的相似度。根据该方式，能够获取基于胶囊所具有的第一激活和第一位姿中的至少一方的第一中间数据。由此，能够获取基于在第一模型输入了判别对象的第二数据要素的情况下的胶囊所具有的第二激活和第二位姿中的至少一方的第二中间数据，并计算第一中间数据与第二中间数据的相似度。通过计算相似度，例如可以确定相似度小于预定的阈值的胶囊，因此能够输出采用了第一模型的第二数据要素的判别依据。
[0157]
(19)根据本公开的第五方式，提供一种计算机程序。该计算机程序使一个或多个处理器执行以下功能：训练包括分别具有一个以上的胶囊的一个以上的胶囊层的胶囊网络型的第一模型，以再现第一数据集所具有的多个第一数据要素与分别对应于所述多个第一数据要素的预标签的对应；以及向训练后的所述第一模型输入所述第一数据集，并对所述一个以上的胶囊层获取基于所述一个以上的胶囊所具有的第一激活和第一位姿中的至少一方的第一中间数据。根据该方式，能够获取基于胶囊所具有的第一激活和第一位姿中的至少一方的第一中间数据。由此，能够获取基于将判别对象的第二数据要素输入到第一模型的情况下胶囊所具有的第二激活和第二位姿中的至少一方的第二中间数据，并计算第一中间数据与第二中间数据的相似度。通过计算相似度，例如可以确定相似度小于预定的阈值的胶囊，因此能够输出采用了第一模型的第二数据要素的判别依据。
[0158]
(20)根据本公开的第六方式，提供采用预先训练的第一模型执行的计算机程序。所述第一模型为包括分别具有一个以上的胶囊的一个以上的胶囊层的胶囊网络型，并已被训练，以再现第一数据集所具有的多个第一数据要素与分别对应于所述多个第一数据要素的预标签的对应。该计算机程序使一个或多个处理器执行以下功能：在所述训练后的所述第一模型输入了所述第一数据集的情况下，对所述一个以上的胶囊层分别获取基于所述一个以上的胶囊具有的第一激活和第一位姿中的至少一方的第一中间数据的功能；向所述第一模型输入第二数据要素，并对所述一个以上的胶囊层分别获取基于所述一个以上的胶囊所具有的第二激活和第二位姿中的至少一方的第二中间数据的功能；以及在所述一个以上的胶囊层中，计算所述第一中间数据与所述第二中间数据的相似度的功能。根据该方式，能够获取基于胶囊所具有的第一激活和第一位姿中的至少一方的第一中间数据。由此，能够获取基于将判别对象的第二数据要素输入到第一模型的情况下的胶囊所具有的第二激活
和第二位姿中的至少一方的第二中间数据，并计算第一中间数据与第二中间数据的相似度。通过计算相似度，例如可以确定相似度小于预定的阈值的胶囊，因此能够输出采用了第一模型的第二数据要素的判别依据。
[0159]
除了上述方式以外，本公开还能够通过具备记录有计算机程序的非暂时性存储介质、装置的系统等方式来实现。