机器学习装置的制作方法

机器学习装置
1.基于参照的取入
2.本技术主张作为在2019年10月1日申请的日本技术的特愿2019-181165 的优先权，通过参照其内容而引入本技术。
技术领域
3.本发明涉及机器学习，例如能够应用于使用了检测拍摄到的图像内所包含的特定的物体(例如，癌的细胞、液面上的泡等)的机器学习的图像处理技术。


背景技术：

4.近年来，在图像认知技术中，进行了使用机器学习等的图像认知技术的研究。通过使用deep learning(深度学习)等，提高了图像内的物体的检测精度。为了开发检测图像内的物体的识别器，例如有专利文献1所提出的技术。在该专利文献1中，设定多个学习图像数据组来进行机器学习，计算神经网络的参数。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开2016-143351号公报


技术实现要素：

8.发明要解决的课题
9.但是，如专利文献1那样，即使将学习图像分为多个图像组来进行再学习而求出参数，有时也会在图像组中包含对识别器的识别精度的提高没有贡献的图像，识别器的识别精度未必提高。另外，在专利文献1中，无法制作能够持续地提高识别器的识别精度的学习图像数据库。
10.用于解决课题的手段
11.本发明的一方式的机器学习装置包含：处理器，其处理数据样本；以及存储装置，其储存所述处理的结果。所述处理器根据多个学习数据库制作多个识别器，所述多个学习数据库分别储存多个学习数据样本，制作所述多个识别器各自的识别性能的评价结果，根据所述评价结果，将所述多个学习数据库中的一个学习数据库以及根据所述一个学习数据库生成的识别器决定为要使用的学习数据库以及识别器。
12.与本发明相关的另外的特征，根据本说明书的记述、附图而变得明确。另外，本发明的方式通过要素以及多种要素的组合以及以后的详细的记述和所附的技术方案的方式来实现。本说明书的记述只不过是典型的例示，需要理解在任何意义上都不限定本发明的技术方案或应用例。
13.发明效果
14.根据本发明的一方式，能够制作以及使用适当的学习数据库以及识别器。
附图说明
15.图1是表示第一实施方式的机器学习装置的功能的框图。
16.图2a是表示第一实施方式的机器学习装置的硬件结构例的图。
17.图2b是表示第一实施方式的学习部的结构例的图。
18.图3是用于对第一实施方式的学习部的动作的一例进行说明的图。
19.图4是用于对第一实施方式的学习部的动作的一例进行说明的图。
20.图5是用于对第一实施方式的学习部的动作的一例进行说明的图。
21.图6是用于对第一实施方式的学习部的动作的一例进行说明的图。
22.图7是用于对第一实施方式的学习部的动作的一例进行说明的图。
23.图8是用于对第一实施方式的描绘部的动作的一例进行说明的图。
24.图9是用于对第一实施方式的学习部的动作进行说明的流程图。
25.图10是用于对第一实施方式的机器学习装置的整体动作进行说明的流程图。
26.图11是用于对第一实施方式的描绘部的更新状况显示的一例进行说明的图。
27.图12是表示第二实施方式的机器学习装置的功能的框图。
28.图13是用于对第二实施方式的机器学习装置的整体动作进行说明的流程图。
29.图14是表示搭载了包含第三实施方式的机器学习装置的图像诊断辅助装置的远程诊断辅助系统的概略结构的图。
30.图15是表示搭载了包含第四实施方式的机器学习装置的图像诊断辅助装置的网络受托服务提供系统的概略结构的图。
具体实施方式
31.关于一实施方式，使用学习图像数据库的各图像进行机器学习来制作多个识别器，并且，对制作出的多个识别器进行评价而求出评价结果，判定多个评价结果来控制识别器以及学习图像数据库的更新可否。由此，提供一种实现学习图像数据库的制作的机器学习装置及其方法，所述学习图像数据库由能够高精度地识别图像内的物体(例如，组织和细胞等)的识别器以及有助于提高识别器的持续的识别精度的图像构成。
32.以下，参照附图对本发明的实施方式进行说明。在附图中，功能上相同的要素有时也用相同的编号显示。此外，附图示出了遵循本发明的原理的具体的实施方式和安装例，但这些是用于理解本发明的，决不用于限定性地解释本发明。
33.在本实施方式中，本领域技术人员为了实施本发明而充分详细地进行了说明，但需要理解的是，其他的安装和方式也是可能的，能够在不脱离本发明的技术思想的范围和精神的情况下进行结构和构造的变更、多种要素的置换。因此，不能将以后的记述限定于此进行解释。
34.并且，如后所述，本发明的实施方式可以通过在通用计算机上运行的软件来安装，也可以通过专用硬件或者软件与硬件的组合来安装。以下，以“作为程序的各处理部(例如，学习部等)”为主语(动作主体)对本发明的实施方式中的各处理进行说明，但由于一边使用存储器和通信端口(通信控制装置) 一边进行通过由处理器(cpu等)执行程序而确定的处理，因此也可以进行以处理器为主语的说明。
35.(1)第一实施方式
36.《机器学习装置的功能结构》
37.图1是表示第一实施方式的机器学习装置的功能结构的框图。机器学习装置1包含：输入部10、学习部11、适应性评价部12、更新判定部13、描绘部 14、控制部91、学习图像数据库(db)(确定)100、学习图像db(确定 确定前)101、评价图像102、以及存储器90。机器学习装置1可以安装在图像诊断辅助装置等图像取得装置内，也可以如后述(第三至第四实施方式)那样安装在经由网络与图像取得装置连接的服务器内。
38.机器学习装置1中的输入部10、学习部11、适应性评价部12、更新判定部13以及描绘部14可以通过程序或执行程序的处理器来实现，也可以通过硬件模块来实现。
39.向输入部10输入图像数据。例如，输入部10也可以取得内置于图像取得装置(在图1中未图示)的照相机等拍摄单元以预定时间间隔拍摄到的、jpg、 jpeg2000、png、bmp形式等的编码后的静止图像数据等作为输入图像。
40.输入部10也可以从motionjpeg、mpeg、h.264、hd/sdi形式等动态图像数据中抽出预定间隔的帧的静态图像数据，取得该图像作为输入图像。输入部10可以经由总线、网络等从拍摄单元取得输入图像。输入部10可以取得已经储存在可拆卸的记录介质中的图像作为输入图像。从输入部10输入的图像作为学习图像(确定前)储存在学习图像db(确定 确定前)101中。
41.学习图像db(确定)100储存学习用图像、确定出的图像、正解标签的多个组合。确定与各图像对应的正解标签。学习图像(确定前)由学习用图像、确定前的图像、正解标签的多个组合构成。能够对与各图像对应的正解标签进行变更。
42.学习部11进行机器学习，以将输入图像内的特定的物体的图像识别为该特定的物体，例如，以将正常的组织、细胞的图像识别为正常的组织、细胞，另外，以将输入图像内的异常的组织、细胞的图像识别为异常的组织、细胞。学习部11根据学习图像db(确定)100制作识别器ca(识别所需的参数(滤波器系数、偏移值等))。学习部11根据对学习图像db(确定)100加上从输入部10输入的学习图像(确定前)而得到的学习图像db(确定 确定前)101，制作识别器cb。
43.适应性评价部12使用评价图像102，计算识别器ca、cb的识别结果以及识别值。更新判定部13使用由适应性评价部12求出的识别器ca和cb的识别结果以及识别值，控制识别器ca以及学习图像db(确定)100的更新可否。另外，更新判定部13将由适应性评价部12求出的后述的ave
dr1
、ave
dr2
、各m
drn
、更新判定部13判定出的识别器ca、学习图像db(确定)的更新次数、更新后的ave
dr1
的推移等信息保存在存储器90中。
44.描绘部14将由适应性评价部12求出的后述的ave
dr1
、ave
dr2
、各m
drn
、更新判定部13判定出的识别器ca、学习图像db(确定)的更新次数、更新后的ave
dr1
的推移等信息输出到显示器、打印机等输出装置。
45.控制部91例如通过执行程序的处理器来实现，与机器学习装置1内的各要素连接。机器学习装置1的各结构要素自主地或者根据控制部91的指示如上述那样进行动作。
46.这样，在本实施方式的机器学习装置1中，学习部11进行机器学习，根据学习图像db(确定)100生成识别器ca，根据对学习图像db(确定)100 加上从输入部10输入的学习图像(确定前)而得的学习图像db(确定 确定前)101制作识别器cb。适应性评价部12使用评价图像102，计算识别器ca、 cb的识别结果以及识别值。更新判定部13使用由适应性评价部12
求出的识别器ca和cb的识别结果以及识别值，控制识别器ca以及学习图像db(确定)100的更新可否。
47.《机器学习装置的硬件结构》
48.图2a是表示第一实施方式的机器学习装置1的硬件结构例的图。机器学习装置1包含：执行各种程序的cpu(处理器)201、储存各种程序的存储器 202(主存储装置)、以及储存各种数据的辅助存储装置203(相当于存储器90)。机器学习装置1还包含：用于输出识别结果、识别器、学习图像db(确定) 100的更新可否结果的输出装置204；用于输入用户的指示、图像等的输入装置205；以及与其他装置进行通信的通信设备206。机器学习装置1内的这些结构要素通过总线207相互连接。
49.cpu201根据需要从存储器202读入各种程序并执行。存储器202储存作为程序的输入部10、学习部11、适应性评价部12、更新判定部13以及描绘部14。
50.辅助存储装置203储存学习图像(确定前)、由学习部11生成的识别器 ca、cb的参数、由适应性评价部12生成的识别结果和识别值、由更新判定部13判定出的更新结果。辅助存储装置203还储存学习图像db(确定)100、学习图像db(确定 确定前)101、用于描绘由描绘部14生成的检测框的位置信息等。存储器202、辅助存储装置203或它们的组合是存储装置。
51.输出装置204构成为包含显示器、打印机、扬声器等设备。例如，输出装置204是显示装置，将由描绘部14生成的数据显示在画面上。输入装置205 包含键盘、鼠标、麦克风等设备而构成。通过输入装置205将用户的指示(包含学习图像(确定前)输入的决定)输入到机器学习装置1。
52.通信设备206在机器学习装置1中并非必须，在与图像取得装置连接的个人计算机等中包含通信设备的情况下，机器学习装置1也可以不保持通信设备 206。通信设备206例如接收从经由网络连接的其他装置(例如，服务器)发送来的数据(包含图像)，储存在辅助存储装置203中。
53.本实施方式的机器学习装置使用学习图像数据库的图像进行机器学习来制作多个识别器，并且，对制作出的多个识别器进行评价来求出评价结果。机器学习装置判定评价结果来控制识别器以及学习图像数据库的更新可否，由此，能够制作学习图像数据库，所述学习图像数据库由能够更高精度地识别图像内的物体(例如组织和细胞等)的识别器、以及有助于提高识别器的持续的识别精度的图像构成。
54.《各部的结构和动作》
55.以下，对各要素的结构和动作进行详细说明。
56.(i)学习部11
57.图2b表示学习部11的结构例。学习部11包含：特征提取部111、局部识别部112以及整体识别部113。
58.(i-i)特征提取部111
59.特征提取部111求出输入图像的特征量。图3表示求出特征量的例子。图 3的cnn表示convolutional neural network(卷积神经网络)。例如，特征提取部111使用进行公式1的运算的特征提取器fea，根据输入图像ai求出输入图像ai的物体(例如组织和细胞等)的特征量fai。
60.[数学式1]
[0061][0062]
学习部11通过机器学习求出滤波器系数wj，以将各物体的图像识别为各物体(将正常组织、正常细胞识别为正常组织、正常细胞，或者将异常组织、异常细胞识别为异常组织、异常细胞等)。pj表示像素值，bi表示偏移值，m 表示滤波器系数的数，h表示非线性函数。
[0063]
如图4所示，特征提取部111使用公式1，针对对象图像(作为例子，病理组织图像)41的从左上到右下，求出各滤波器42的计算结果，由此，求出任意的滤波器i的特征量fi。例如，将由特征提取器a求出的特征量fi的矩阵设为输入图像ai的特征量fai。关于特征提取器fea的制作方法，在后面进行叙述。
[0064]
(i-ii)局部识别部112
[0065]
如图5所示，局部识别部112使用由特征提取部111求出的特征提取器 fea的特征量fai和非线性函数nf(例如，sigmoid函数等)，通过公式2，按局部区域计算物体相似度(例如，病变相似度等)的值。局部识别部112根据计算出的值，判定输入图像ai内的物体是否为应该检测的物体(例如，正常细胞或异常细胞等)。
[0066]
[数学式2]
[0067][0068]
在公式2中，ls是由等级、高度、宽度的3维排列构成的局部识别值， fai是由特征提取部111求出的特征量的编号、高度、宽度的3维排列构成的特征量。w是计算由等级、特征量的编号、高度、宽度的4维排列构成的局部识别值用的滤波器，b是计算由等级的1维排列构成的局部识别值用的偏移值。c表示等级的索引，y表示特征量的垂直方向的索引，x表示特征量的水平方向的索引，fy表示滤波器的垂直方向的索引，fx表示滤波器的水平方向的索引，j表示滤波器的索引。
[0069]
在公式2中，使用convolution处理(卷积处理)来计算局部识别值，但局部识别值的计算方法不限于此。例如，可以多次应用convolution处理或非线性函数等来求出，也可以将各坐标中的特征量输入到random forest、svm 等其他识别方法来计算局部识别值。
[0070]
(i-iii)整体识别部113
[0071]
如图6所示，整体识别部113使用由局部识别部112求出的局部识别值 ls和非线性函数(例如，sigmoid函数等)来求出基础识别值bs。整体识别部113将基础识别值bs作为表示输入图像内的各物体图像的物体相似度(例如，病变相似度等)的值的计算结果r，判定输入图像ai内的物体是否为应该检测的物体(例如，正常细胞或异常细胞等)(s1)。
[0072]
使用公式3的大局识别值gs和公式4来计算基础识别值bs。
[0073]
[数学式3]
[0074][0075]
[数学式4]
[0076][0077]
在公式3中，gs表示由等级的1维排列构成的大局识别值，fai表示由特征提取部111求出的特征量的编号、高度、宽度的3维排列构成的特征量， w表示计算由等级、特征量的编号、高度、宽度的4维排列构成的大局识别值用的滤波器。b表示计算由等级的1维排列构成的大局识别值用的偏移值， c表示等级的索引。y表示特征量的垂直方向的索引，x表示特征量的水平方向的索引，fy表示滤波器的垂直方向的索引，fx表示滤波器的水平方向的索引，j表示滤波器的索引。
[0078]
另外，公式4的label表示由等级的1维排列构成的图像单位的教师标签 (正解标签)。后述的学习部11通过机器学习，求出公式3的被更新的滤波器 w的系数和偏移值b。nll表示损失函数，例如negative log likelihood(负对数似然)。
[0079]
公式3使用convolution处理和水平和垂直方向的平均处理来计算大局识别值，但大局识别值的计算方法不限于此。例如，可以在多次应用convolution 处理、非线性函数等之后，进行水平和垂直方向的平均处理，也可以计算将各坐标中的特征量输入到random forest、svm等其他识别方法而得到的值的水平和垂直方向的平均值。另外，不限于水平和垂直方向的平均处理，也可以使用总和处理等。
[0080]
学习部11使用已有的机器学习的技术来学习各物体的特征量，以便整体识别部113使用局部识别值将输入图像内的各物体识别为各物体(例如，将正常组织、正常细胞识别为正常组织、正常细胞，将异常组织、异常细胞识别为异常组织、异常细胞)，求出滤波器w的系数和偏移值b。例如，作为机器学习的技术，也可以使用convolutional neural network。
[0081]
如图7所示，学习部11通过事先的机器学习，使用输入图像ai(例如，病理图像)，通过公式1计算输入图像ai的特征量fai。接着，学习部11通过公式2，根据特征量fai求出局部识别值ls。学习部11使用根据局部识别值ls求出的基础识别值bs，计算公式1至公式3的各参数，以将各对象物体的图像判定为各对象物体(例如，将异常组织、异常细胞判定为异常组织、异常细胞，将正常组织、正常细胞判定为正常组织、正常细胞)。
[0082]
学习部11使用学习图像db(确定)100的多个学习用图像，反复进行特征提取部111、局部识别部112以及整体识别部113的处理，求出公式1、公式2以及公式3所示的各参数(滤波器系数wj、滤波器w的系数、偏移值bi 和b等)。
[0083]
学习部11制作识别器ca，所述识别器ca由根据输入图像计算输入图像的特征量的特征提取器、求出局部识别值的局部识别器、求出大局识别值的大局识别器构成。同样地，学习部11使用学习图像db(确定 确定前)101的多个学习图像，求出公式1、公式2及公式3所示的各参数(滤波器系数wj、滤波器w的系数、偏移值bi和b等)，制作识别器cb。学习部11将
求出的各参数(滤波器系数wj、滤波器w的系数、偏移值bi和b等)储存在存储器90中。
[0084]
例如，学习部11调整学习图像db(确定)100以及学习图像db(确定 确定前)101各自的识别类型的图像数的平衡，制作识别器ca以及cb。例如，学习部11分别在学习图像db(确定)100和学习图像db(确定 确定前) 101中调整图像数量，以使识别类型间的图像数量之差比预定阈值小。由此，能够进行更适当的评价。
[0085]
(ii)适应性评价部12
[0086]
适应性评价部12使用评价图像102，根据公式5，针对学习部11制作出的识别器ca、cb，求出识别器ca的ave
drx
(ave
dr1
)和识别器cb的ave
drx (ave
dr2
)，由此，进行这些识别器的评价。在公式5中，n表示要识别的类型的数量。各m
drn
表示对象的检测率。例如，n＝2，m
dr1
表示良性肿瘤检测率 (平均)，m
dr2
表示恶性肿瘤检测率(平均)。适应性评价部12能够使用与ave
drx
不同的值，例如，也可以使用m
drn
的最大值。
[0087]
[数学式5]
[0088]
ave
drx
＝(m
dr1

…
m
drn
)/n
…
公式5
[0089]
(iii)更新判定部13
[0090]
更新判定部13将由适应性评价部12求出的多个ave
drx
进行比较，控制识别器ca和学习图像db(确定)100的更新可否。例如，在ave
dr2
＞ave
dr1
且 ave
dr2
＞th1(例如，th1＝0.7)的情况下(k1)，更新判定部13进行识别器 ca和学习图像db(确定)100的更新。具体而言，更新判定部13将学习图像db(确定)100的内容更新为学习图像db(确定 确定前)101的内容，将识别器ca更新为通过学习图像db(确定 确定前)101学习到的识别器 cb的内容。
[0091]
另外，在ave
dr2
≤ave
dr1
且ave
dr2
＞th1的情况下(k2)，更新判定部13 不进行识别器ca和学习图像db(确定)的更新，将学习图像db(确定前) 的图像的顺序例如随机地进行替换。学习部11通过替换了顺序的学习图像db (确定前)来进行再学习。在既不是k1的情况也不是k2的情况的情况下，更新判定部13为了再学习而按照经由输入装置的基于用户的指定或者自动地变更学习图像db(确定前)中的几个图像的正解标签。例如，更新判定部13 也可以按图像的小批量判定正解标签的变更的有无。
[0092]
更新判定部13将由适应性评价部12求出的ave
dr1
、ave
dr2
、各m
drn
、更新判定部13判定出的识别器ca、学习图像db(确定)100的更新次数、更新后的ave
dr1
的推移等记录在存储器90或日志文件中。
[0093]
(iv)描绘部14
[0094]
作为一例，描绘部14通过图11所示的gui(图形用户界面)来显示由适应性评价部12求出的ave
dr1
、ave
dr2
、各m
drn
、由更新判定部13判定出的识别器ca、学习图像db(确定)的更新次数、更新后的ave
dr1
的推移等。关于图11的例子，将ave
dr1
显示为0.71，将ave
dr2
显示为0.81，将m
dr1
显示为 0.80，将m
dr2
显示为0.82，将更新次数显示为10。
[0095]
另外，描绘部14显示从输入部10输入的未知图像的各识别器中的识别结果。在图像内的特定的部分被判定为应该检测的物体(例如，异常组织、异常细胞)的情况下，如图8所示，描绘部14为了表示应该检测的物体的部位(例如，怀疑异常组织、异常细胞的部位等)，也可以在输入的对象图像81内描绘检测框82。另一方面，在对象图像81被判定为正常组织、正常细胞的情况下，描绘部14也可以不将检测框82描绘在输入的对象图像81上，直接显示输入的对象图像81。
[0096]
另外，如图8所示，描绘部14显示判定出的物体相似度的结果(例如，肿瘤)83。描绘部14并非作为机器学习装置1而必须的结构，在图像诊断辅助装置中包含描绘部的情况下，机器学习装置1也可以不保持描绘部14。
[0097]
《机器学习装置的处理过程》
[0098]
图9是用于对第一实施方式的机器学习装置1的学习部11的动作进行说明的流程图。以下，以学习部11为动作主体进行记述，但也可以换为以cpu201 为动作主体，cpu201执行作为程序的各处理部。
[0099]
(i)步骤901
[0100]
输入部10接受学习用输入图像ai，将该输入图像ai输出到学习部11。
[0101]
(ii)步骤902
[0102]
学习部11通过机器学习，根据上述的公式1，使用滤波器求出输入图像 ai中的物体(例如，组织、细胞等)的特征量，制作特征提取器fea。学习部11针对特征量fai，求出滤波器系数wj、偏移值bi。
[0103]
(iii)步骤903
[0104]
学习部11通过机器学习，根据公式2，根据特征量fai求出局部识别值ls，按局部区域计算物体相似度(例如，病变相似度等)的值，求出用于求出局部识别值的公式2的各参数(滤波器w的系数、偏移值b等)，以判定输入图像ai内的物体是否为应该检测的物体(例如，正常细胞或异常细胞等)。
[0105]
(iv)步骤904
[0106]
学习部11通过机器学习，使用根据局部识别值ls求出的基础识别值bs，求出公式3的各参数(滤波器w的系数、偏移值b等)，以将各对象物体的图像判定为各对象物体(例如，将异常组织、异常细胞判定为异常组织、异常细胞，将正常组织、正常细胞判定为正常组织、正常细胞)。
[0107]
(v)步骤905
[0108]
学习部11将公式1、公式2及公式3的各参数(滤波器系数wj、滤波器 w的系数、偏移值bi、b等)保存于存储器90中。
[0109]
图10是用于对本实施方式的机器学习装置1的动作进行说明的流程图。以下，以各处理部(输入部10、学习部11等)为动作主体进行记述，但也可以换为以cpu201为动作主体，cpu201执行作为程序的各处理部。
[0110]
(i)步骤1001
[0111]
输入部10将学习图像db(确定 确定前)的输入图像ai输出到学习部 11。
[0112]
(ii)步骤1002
[0113]
学习部11从存储器90读入与识别器ca相关的公式1、公式2以及公式 3的各参数。学习部11还使用学习图像db(确定 确定前)101进行机器学习，计算与识别器cb相关的公式1、公式2以及公式3的各参数。
[0114]
(iii)步骤1003
[0115]
适应性评价部12使用识别器ca和cb各自的各参数和评价图像，根据公式5计算识别器ca的ave
dr1
和识别器cb的ave
dr2
。
[0116]
(iv)步骤1004
[0117]
更新判定部13将计算出的ave
dr1
与ave
dr2
进行比较。在ave
dr2
＞ave
dr1
的情况下，更新判定部13转移到步骤1006。另一方面，在计算结果为ave
dr2
≤ ave
dr1
的情况下，更新判定部13转移到步骤1006。
[0118]
(v)步骤1005
[0119]
在ave
dr2
＞th1的情况下，更新判定部13转移到步骤1007。另一方面，在ave
dr2
≤th1的情况下，更新判定部13转移到步骤1008。
[0120]
(vi)步骤1006
[0121]
在ave
dr2
＞th1的情况下，更新判定部13转移到步骤1008。另一方面，在ave
dr2
≤th1的情况下，更新判定部13转移到步骤1009。
[0122]
(vii)步骤1007
[0123]
更新判定部13更新识别器ca和学习图像db(确定)100。
[0124]
(viii)步骤1008
[0125]
更新判定部13调换学习图像db(确定 确定前)的图像的顺序。
[0126]
(ix)步骤1009
[0127]
更新判定部13更换学习图像db(确定前)的正解标签。
[0128]
(x)步骤1010
[0129]
更新判定部13针对学习图像db(确定 确定前)的所有图像检查更新判定是否结束，如果结束，则转移到步骤1011。另一方面，在未结束的情况下，更新判定部13返回到步骤1002，反复进行步骤1002至步骤1009。
[0130]
(xi)步骤1011
[0131]
更新判定部13将识别器ca的信息保存在存储器90(相当于辅助存储装置203)。
[0132]
如上所述，即使在学习图像数据库中包含对提高识别器的识别精度没有贡献的图像的情况下，机器学习装置也自动判定有助于提高识别器的识别精度的图像，根据判定结果来控制识别器以及学习图像数据库的更新可否。更具体而言，机器学习装置使用多个学习图像数据库的各图像进行机器学习来制作多个识别器，并且对制作出的多个识别器进行评价来求出评价结果。机器学习装置判定多个评价结果来控制识别器以及学习图像数据库的更新可否，决定要使用的学习图像数据库以及识别器。由此，能够制作学习图像数据库，所述学习图像数据库由能够高精度地识别图像内的物体(例如，组织和细胞等)的识别器以及有助于提高识别器的持续的识别精度的图像构成。
[0133]
另外，即使在要输入的学习图像中包含对提高识别器的识别精度没有贡献的图像，也能够排除这些图像来制作学习图像数据库。另外，即使在输入的学习图像在该时间点对提高识别器的识别精度没有贡献的情况下，通过改变要学习的图像的顺序而再次学习，也能够作为有助于提高识别器的识别精度的图像来利用。
[0134]
(2)第二实施方式
[0135]
以下，对第二实施方式进行说明。图12所示的第二实施方式的机器学习装置1包含多个与第一实施方式的图1一样的结构要素，但代替第一实施方式的学习图像db(确定 确定前)101，包含学习图像db(确定前)201，另外还包含更新判定部23。以下，主要对与图1不同的结构进行说明。
[0136]
本实施方式的机器学习装置1使用学习图像数据库的各图像进行机器学习来制作
多个识别器，并且，对制作出的多个识别器进行评价来求出评价结果。机器学习装置1判定多个评价结果来控制识别器以及学习图像数据库的更新可否或者制作。由此，能够制作例如适合于每个设施或每个时期的学习图像数据库，所述学习图像数据库由能够高精度地识别图像内的物体(例如，组织和细胞等)的识别器以及有助于提高识别器的持续的识别精度的图像构成。
[0137]
《各部的结构和动作》
[0138]
以下，对与图1不同的各要素的结构和动作进行详细说明。
[0139]
(i)学习图像db(确定前)201
[0140]
学习图像db(确定前)201储存从输入部10输入的图像，不储存其他图像。
[0141]
(ii)更新判定部23
[0142]
学习部11根据学习图像db(确定)100制作识别器ca，根据学习图像db(确定前)201制作识别器cb。适应性评价部12使用评价图像求出识别器ca的ave
dr1
和识别器cb的ave
dr2
，由此，进行识别器的评价。更新判定部23将由适应性评价部12求出的多个ave
drx
进行比较，控制识别器ca、cb、学习图像db(确定)100以及学习图像db(确定前)201的更新可否或制作。
[0143]
即，针对评价图像的所有图像，在ave
dr2
＞ave
dr1
的情况下，与根据以前收集到的学习图像db(确定)100制作出的识别器ca相比，根据例如其他设施或其他时期收集到的学习图像db(确定前)201制作出的识别器cb更适于评价图像的识别。因此，更新判定部23与识别器ca、学习图像db(确定)不同地，与评价图像成组地保存识别器cb以及学习图像db(确定前)。
[0144]
在ave
dr2
≤ave
dr1
的情况下，与根据例如其他设施或其他时期收集到的学习图像db(确定前)制作出的识别器cb相比，根据以前收集到的学习图像 db(确定)制作出的识别器ca更适于评价图像的识别。因此，更新判定部 23与评价图像成组地保存识别器ca以及学习图像db(确定)。
[0145]
《机器学习装置的硬件结构》
[0146]
本实施方式的机器学习装置1的硬件结构例具有与图2一样的结构，但与第一实施方式的机器学习装置1不同，在存储器202中包含更新判定部23。
[0147]
机器学习装置1的辅助存储装置203存储由适应性评价部12求出的计算结果ave
drx
、由更新判定部23判定出的识别器ca、cb、学习图像db(确定) 100、学习图像db(确定前)201以及评价图像、由学习部11生成的公式1、公式2以及公式3的各参数等。
[0148]
图13是用于对本实施方式的机器学习装置1的动作进行说明的流程图。以下，以各处理部(输入部10、学习部11等)为动作主体进行记述，但也可以换为以cpu201为动作主体，cpu201执行作为程序的各处理部。
[0149]
(i)步骤1301
[0150]
输入部10将学习图像db(确定前)201的输入图像ai输出到学习部11。
[0151]
(ii)步骤1302
[0152]
学习部11从存储器90读入与识别器ca相关的公式1、公式2以及公式 3的各参数。另外，使用学习图像db(确定前)201进行机器学习，计算与识别器cb相关的公式1、公式2以及公式3的各参数。
[0153]
(iii)步骤1303
[0154]
适应性评价部12使用识别器ca和cb各自的各参数和评价图像，根据公式5计算识别器ca的ave
dr1
和识别器cb的ave
dr2
。
[0155]
(iv)步骤1304
[0156]
更新判定部13将计算出的ave
dr1
与ave
dr2
进行比较。在ave
dr2
＞ave
dr1
的情况下，更新判定部13转移到步骤1305。另一方面，在ave
dr2
≤ave
dr1
的情况下，更新判定部13转移到步骤1306。
[0157]
(v)步骤1305
[0158]
更新判定部13将识别器cb、学习图像db(确定前)201、评价图像以及计算结果(ave
dr2
、ave
dr1
)成组保存在存储器90(相当于辅助存储装置203) 中。
[0159]
(vi)步骤1306
[0160]
更新判定部13将识别器ca、学习图像db(确定)100、评价图像以及计算结果(ave
dr2
、ave
dr1
)成组保存在存储器90(相当于辅助存储装置203) 中。
[0161]
(vii)步骤1307
[0162]
更新判定部13针对学习图像db(确定前)201的所有图像检查更新判定是否结束，如果结束则结束处理。另一方面，在未结束的情况下，更新判定部 13返回到步骤1302，反复进行步骤1302至步骤1306。
[0163]
第二实施方式使用多个学习图像数据库的各图像进行机器学习来制作多个识别器，并且对制作出的多个识别器进行评价来求出评价结果。第二实施方式判定多个评价结果来控制识别器及学习图像数据库的更新可否或制作，决定要使用的学习图像数据库及识别器。由此，能够得到能够高精度地识别每个设施的图像内的物体(例如，组织和细胞等)的识别器以及学习图像数据库。
[0164]
另外，通过将识别器、学习图像db、评价图像以及计算结果成组来制作数据，能够通过比较计算结果来判定用其他设施(医院等)的数据制作出的识别器的性能。
[0165]
另外，通过将评价图像变更为任意的设施的图像数据，能够判定该设施的图像使用哪个设施用的识别器能够高精度地识别图像内的物体。
[0166]
机器学习装置1也可以保持多个学习图像db(确定)100，在多个学习图像db(确定)100的每一个与学习图像db(确定前)201之间执行上述处理。由此，能够得到更适当的学习图像db以及识别器。
[0167]
(3)第三实施方式
[0168]
图14是表示第三实施方式的远程诊断辅助系统1400的结构的功能框图。远程诊断辅助系统1400包含服务器(计算机)1403和图像取得装置1405。
[0169]
图像取得装置1405例如是装备了虚拟切片(virtual slide)装置、照相机的个人计算机那样的装置，包含拍摄新的图像的拍摄部1401和用于显示从服务器1403传送来的判定结果的显示部1404。此外，虽未图示，但图像取得装置1405包含将图像数据发送到服务器1403并接收从服务器1403发送来的数据的通信设备。
[0170]
服务器1403包含：图像诊断辅助装置5，其使用第一实施方式或第二实施方式的机器学习装置1对从图像取得装置1405传送来的图像数据进行图像处理；以及储存部1402，其储存从图像诊断辅助装置5输出的识别结果。此外，虽未图示，但服务器1403包含接收从图像取得装置1405发送来的图像数据并向图像取得装置1405发送判定结果数据的通信设备。
[0171]
图像诊断辅助装置5使用由机器学习装置1求出的识别器(当前识别器)，针对由拍摄部1401生成的图像内的物体(例如，组织、细胞等)，识别应该检测的物体(例如，异常组织、异常细胞(例：癌等))的有无。显示部1404 将从服务器1403传送的识别结果显示于图像取得装置1405的显示装置画面。
[0172]
作为图像取得装置1405，也可以使用包含拍摄部的再生医疗装置、ips细胞的培养装置、或者mri、超声波图像拍摄装置等。
[0173]
如上所述，根据第三实施方式，能够提供远程诊断辅助系统。具体而言，远程诊断辅助系统针对从地点不同的设施等传送的图像内的物体(例如，组织、细胞等)，使用由机器学习装置1求出的识别器的各参数来高精度地分类是否为应该检测的物体(异常组织、异常细胞等)。并且，将分类结果传送到上述地点不同的设施等，在处于该设施等的图像取得装置的显示部显示分类结果。
[0174]
(4)第四实施方式
[0175]
图15是表示第四实施方式的网络受托服务提供系统1500的结构的功能框图。网络受托服务提供系统1500包含服务器(计算机)1503和图像取得装置 1505。
[0176]
图像取得装置1505例如是装备了虚拟切片装置、照相机的个人计算机那样的装置。图像取得装置1505包含：拍摄新的图像的拍摄部1501、储存从服务器1503传送的识别器(当前识别器)的储存部1504、以及图像诊断辅助装置5。
[0177]
图像诊断辅助装置5读入从服务器1503传送的识别器，针对由拍摄部 1501新拍摄到的图像内的物体(例如，组织、细胞等)，使用由第一实施方式或者第二实施方式的机器学习装置1求出的识别器，判定是否为应该检测的物体(例如，异常组织、异常细胞等)。
[0178]
此外，虽未图示，但图像取得装置1505包含将图像数据发送到服务器1503 并接收从服务器1503发送来的数据的通信设备。
[0179]
服务器1503包含图像诊断辅助装置5、储存从图像诊断辅助装置5的机器学习装置1输出的识别器的储存部1502。图像诊断辅助装置5针对从图像取得装置1505传送来的图像数据，从第一实施方式或者第二实施方式的机器学习装置1进行识别器的制作，并且使用制作出的识别器来进行识别处理。
[0180]
此外，虽未图示，但服务器1503具有接收从图像取得装置1505发送来的图像数据并将识别器发送到图像取得装置1505的通信设备。
[0181]
另外，图像诊断辅助装置5内的机器学习装置1针对由拍摄部1501拍摄到的图像内的物体(例如，组织、细胞等)，进行机器学习以判定为应该检测的物体(例如，正常的组织、细胞是正常的组织、细胞，异常的组织、细胞是异常的组织、细胞等)，制作识别器。识别器计算地点不同的设施等图像内的物体(例如，组织和细胞等)的特征量。储存部1504储存从服务器1503传送的识别器。
[0182]
图像取得装置1505内的图像诊断辅助装置5从储存部1504读入识别器，使用该识别器，针对由图像取得装置1505的拍摄部1501新拍摄到的图像内的物体(例如，组织、细胞等)，对是否为应该检测的物体(例如，异常组织、异常细胞等)进行分类，在图像诊断辅助装置5的输出装置(显示装置)204 的显示画面显示分类结果。
[0183]
作为图像取得装置1505，也可以使用包含拍摄部的再生医疗装置、ips细胞的培养装置、或者mri、超声波图像拍摄装置等。
[0184]
如上所述，根据第四实施方式，能够提供网络受托服务提供系统。具体而言，网络受托服务提供系统针对从地点不同的设施等传送的图像内的物体(例如，组织、细胞等)，进行机器学习，以分类为应该检测的物体(例如，正常的组织、细胞是正常的组织、细胞，异常的组织、细胞是异常的组织、细胞等)，制作识别器。网络受托服务提供系统将识别器传送到上述地点不同的设施等，通过处于该设施等的图像取得装置读入识别器。图像取得装置内的识别器针对新的图像内的物体(例如，组织、细胞等)，对是否为应该检测的物体(例如，异常组织、异常细胞等)进行分类。
[0185]
以上说明的各实施方式能够进行如下的变形。学习部11通过机器学习使用滤波器求出特征量，但也可以使用hog等其他特征量。学习部11也可以代替negative log likelihood，使用2次方误差、hinge loss等作为损失函数。学习部11可以通过与上述实施方式的方法不同的任意的方法来生成识别器。
[0186]
上述实施方式对识别器及学习图像数据库的更新或生成进行了说明，但通过将公式1至公式3的输入数据的维数从2维变更为其他维，上述实施方式的识别器及学习数据库的更新或生成也能够应用于与图像不同的数据样本，例如声音数据样本、传感器数据样本、文本数据样本。
[0187]
本发明也能够通过实现实施方式的功能的软件的程序代码来实现。该情况下，将记录了程序代码的存储介质提供给系统或装置，该系统或装置的计算机 (或cpu、mpu)读出储存在存储介质中的程序代码。该情况下，从存储介质读出的程序代码自身实现所述的实施方式的功能，该程序代码自身以及存储了程序代码的存储介质构成本发明。作为用于供给这样的程序代码的存储介质，例如使用软盘、cd-rom、dvd-rom、硬盘、光盘、光磁盘、cd-r、磁带、非易失性的存储卡、rom等。
[0188]
另外，也可以根据程序代码的指示，由在计算机上运行的os(操作系统) 等进行实际的处理的一部分或全部，通过该处理来实现所述的实施方式的功能。并且，在从存储介质读出的程序代码被写到计算机上的存储器中之后，计算机的cpu等可以基于该程序代码的指示进行实际处理的一部分或全部，可以通过该处理实现所述的实施方式的功能。
[0189]
并且，也可以经由网络分发实现实施方式的功能的软件的程序代码，由此，将程序代码储存在系统或装置的硬盘、存储器等存储单元或cd-rw、cd-r 等存储介质中，在使用时，由该系统或装置的计算机(或cpu、mpu)读出并执行储存在该存储单元或该存储介质中的程序代码。
[0190]
最后，在此叙述的工艺以及技术本质上不与任何特定的装置关联，通过组件的任何相应的组合都能够安装。并且，通用目的的各种类型的设备能够按照在此记述的方法来进行使用。为了执行在此叙述的方法的步骤，有时构建专用的装置是有益的。另外，通过实施方式所公开的多个结构要素的适当组合，能够形成各种发明。
[0191]
例如，也可以从实施方式所示的全部结构要素中删除几个结构要素。并且，也可以适当组合不同的实施方式中的结构要素。本发明与具体例关联地进行了描述，但它们在所有观点上都不是为了限定而是为了说明。对于本领域有技能的人来说，应该知道有与实施本发明相应的硬件、软件以及固件的多个组合。例如，记述的软件能够通过汇编程序、c/c 、perl、shell、php、java等宽范围的程序或脚本语言来安装。
[0192]
并且，在上述的实施方式中，控制线、信息线示出了认为说明上需要的部分，并不
一定示出了产品上所有控制线、信息线。所有结构也可以相互连接。
[0193]
此外，对于具有本技术领域的通常的知识的人来说，根据在此公开的本发明的说明书以及实施方式的考察，本发明的其他安装变得明确。记述的实施方式的多种方式和/或组件能够单独使用或任意组合使用。