信息处理装置、程序、学习完毕模型、诊断支援装置、学习装置及预测模型的生成方法与流程

1.本发明涉及一种信息处理装置、程序、学习完毕模型、诊断支援装置、学习装置及预测模型的生成方法，尤其涉及一种使用图像预测未知事项的人工智能技术。


背景技术：

2.近年来，随着ct(computed tomography：计算机断层成像)装置及mri(magnetic resonance imaging：磁共振成像)装置等医疗器械的进步，能够使用更高质量的高分辨率的医用图像进行图像诊断。尤其，通过使用了ct图像及mri图像等的图像诊断，能够精确地确定病变的区域，因此根据所确定的结果来进行适当的治疗。并且，还进行了如下：通过使用了通过深度学习等进行了学习的判定器的cad(computer-aided diagnosis：计算机辅助诊断)来分析医用图像，提取医用图像中所包括的病变等的区域、位置及体积等，并将它们作为分析结果而获取。
3.另一方面，近年来，随着老龄化社会的到来，痴呆症疾病患者逐年增加。关于痴呆症，通过由于称为β-淀粉样蛋白的蛋白质在脑部积聚而脑萎缩进展，认知能力下降而发作。痴呆症的治疗法正在研究中，但是还没有痊愈的方法，因此早期发现脑萎缩，早期开始用于延迟痴呆症的进展的治疗，这在保持生活质量的方面是重要的。
4.为了响应这种要求，近年来，能够通过spect(single photon emission computed tomography：单光子发射计算机断层成像)及pet(positron emission tomography：正电子发射计算机断层成像)等核医学检查、以及通过ct装置获取的ct图像及通过mri装置获取的mri图像获取与脑部状态有关的信息。例如，脑部的局部部位的血流及代谢的下降，能够通过使用spect及pet的图像求出脑部的局部部位的经时变化来发现。并且，近年来，研究了脑萎缩程度与痴呆症的进展程度的关联性。关于脑萎缩，能够通过由mri图像求出脑部的特定部位的容积，并比较容积的经时变化来发现。例如，在非专利文献1中提出了一种通过机器学习来自动判别正常的脑部图像和痴呆症的脑部图像的方法。
5.在专利文献1中公开了一种通过对脑部图像进行分析来预测轻度认知障碍患者是否会在规定期间内发作阿尔茨海默病的诊断支援装置。在非专利文献1中提出了一种使用多模式回归神经网络预测是否会从轻度认知障碍(mci：mild cognitive impairment)进展为阿尔茨海默病的方法。
6.以往技术文献
7.专利文献
8.专利文献1：日本专利第648390号
9.非专利文献
10.非专利文献1：sarraf，saman，et al.“deepad：alzheimer’s disease classification via deep convolutiohal neural networks using mri and fmri.”biorxiv，2016，070441.
11.非专利文献2：garam lee，kwangsik nho，et al.“predicting alzheimer’s disease progression using multi-modal deep learning approach”，scientific reports 9，article number：1952(2019)


技术实现要素：

12.发明要解决的技术课题
13.在包括痴呆症的各种疾病中，为了选择用于延迟疾病的进展的治疗方法等目前最好的治疗方法，期望通过预测该疾病的进展程度来进行由医生进行的诊断支援。例如，期望判别mci患者将来是否会进展为阿尔茨海默病。
14.非专利文献1为根据脑部的mri图像判别是阿尔茨海默病还是正常状态的技术，不是预测将来的内容。专利文献1及非专利文献2为判别将来阿尔茨海默病是否会进展的技术，但是其判别精度不充分。
15.这种课题不限于基于医用图像预测将来疾病的进展的用途，还能够作为预测关于与时间变化相关的各种事项的将来的状态或过去的状态的处理所共通的课题而掌握。例如，在用于根据对桥梁或建筑物等结构物进行拍摄而得的图像预测结构物的将来的老化状态的社会基础设施检查的用途、或根据表示当前状态的图像预测追溯时间的过去的某一时间点上的状态的验证的用途等中也要求提高预测精度。
16.本发明是鉴于这种情况而完成的，其目的在于提供一种能够使用图像进行高精度的预测的信息处理装置、程序、学习完毕模型、诊断支援装置、学习装置及预测模型的生成方法。
17.用于解决技术课题的手段
18.本发明的一方式所涉及的信息处理装置为如下信息处理装置，其具备：信息获取部，接收与作为对象的事项有关的图像数据及非图像数据的输入；及预测部，基于经由信息获取部输入的图像数据及非图像数据来预测与图像数据的摄影时间点不同的时间点上的与事项有关的状态，预测部通过进行基于将根据图像数据计算出的第1特征量和根据非图像数据计算出的第2特征量的要素彼此之乘积的组合作为输出的运算方法的加权计算，计算融合有第1特征量和第2特征量的第3特征量，并且，基于第3特征量来进行预测。
19.根据本方式，根据图像数据和非图像数据的组合来预测与摄影时间点不同的时间点上的状态时，使用包括由图像数据获得的第1特征量和由非图像数据获得的第2特征量之乘积的要素的第3特征量进行预测，因此与采用简单的线性连接(线性法)的情况相比，能够提高预测精度。
[0020]“预测”这一术语包括推论、推断及判别的概念，并且包括预测摄影时间点之后的时间点上的状态的情况和预测摄影时间点之前的过去的时间点上的状态的情况这两个概念。
[0021]“图像数据的摄影时间点”是指进行了用于获取图像数据的对象物的摄影的时间点。图像数据成为掌握了摄影时间点上的对象物的状态的图像内容，因此“图像数据的摄影时间点”可以理解为掌握为图像数据所表示的图像内容的状态的时间点。“时间点”这一术语不限于严格地指令特定的“时间”这一点的情况，从关于作为对象的事项的时间变化的速度的常识性尺度的观点出发，还可以包括评价为大概相同的时间点的时间范围。另外，即使
在无法明确地确定图像数据的摄影时间点的情况下，也能够将至少对信息处理装置进行图像数据的输入的时间点视为“摄影时间点”而进行预测的处理。
[0022]“与图像数据的摄影时间点不同的时间点”为包括是指摄影时间点之后的时间点的情况和是指摄影时间点之前的时间点的情况这两个概念的综合性表现。
[0023]
在本发明的另一方式所涉及的信息处理装置中，能够设为如下结构：预测部包括以如下方式进行了机器学习的学习完毕的预测模型，所述方式为：接受图像数据及非图像数据的输入并将表示与摄影时间点不同的时间点上的与事项有关的状态的信息作为预测的结果输出。
[0024]
在本发明的又一方式所涉及的信息处理装置中，预测部可以使用神经网络来构成。
[0025]
在本发明的又一方式所涉及的信息处理装置中，能够设为如下结构：预测部针对图像数据及非图像数据的输入进行等级分类的处理，并输出等级分类的处理结果，该等级分类的处理判别：在与作为与摄影时间点不同的时间点上的与事项有关的状态的多个候选各自对应的多个等级中属于哪一个等级。
[0026]
在本发明的又一方式所涉及的信息处理装置中，能够设为如下结构：预测部进行如下2等级分类的处理，并输出2等级分类的处理结果，该2等级分类的处理判别：作为与摄影时间点不同的时间点上的与事项有关的状态，从摄影时间点起经过特定期间之后的状态、或相较于摄影时间点在特定期间之前的过去的状态是第1状态还是与第1状态不同的第2状态。
[0027]
在本发明的又一方式所涉及的信息处理装置中，预测部可以构成为包括：第1处理部，根据图像数据计算第1特征量；第2处理部，根据非图像数据计算第2特征量；及第3处理部，通过根据第1特征量及第2特征量进行基于将要素彼此之乘积的组合作为输出的运算方法的加权计算，计算第3特征量。
[0028]
在本发明的又一方式所涉及的信息处理装置中，能够设为如下结构：第3处理部所进行的加权计算包括将第1特征量和第2特征量以随机比例相乘的处理。
[0029]
在本发明的又一方式所涉及的信息处理装置中，第1处理部可以使用包括多个卷积层和第1全连接层的第1神经网络来构成，第2处理部可以使用包括第2全连接层的第2神经网络来构成。
[0030]
在本发明的又一方式所涉及的信息处理装置中，能够设为如下结构：具备根据第3特征量计算最终输出值的第3全连接层。
[0031]
在本发明的又一方式所涉及的信息处理装置中，能够设为如下结构：非图像数据包括图像数据所表示的图像中未出现的与事项有关的信息的数据。
[0032]
在本发明的又一方式所涉及的信息处理装置中，能够设为如下结构：非图像数据包括内含多个时间点上的信息的信息的数据。
[0033]
在本发明的又一方式所涉及的信息处理装置中，能够设为如下结构：作为对象的事项为受检者的健康状态，图像数据为对受检者进行拍摄而获得的医用图像，非图像数据包括受检者的活体信息，预测部预测从医用图像的摄影时间点起经过特定期间之后的受检者的健康状态、或相较于医用图像的摄影时间点在特定期间之前的过去的时间点上的受检者的健康状态。
[0034]
在“受检者的健康状态”这一术语中，例如，包括受检者的病状、疾病的进展状态或受检者是否为健康者等与受检者的健康相关的状态的各种概念。
[0035]
在本发明的又一方式所涉及的信息处理装置中，能够设为如下结构：作为对象的事项为轻度认知障碍的受检者的病状，图像数据为对受检者的脑部进行拍摄而获得的mri(magnetic resonance imaging)图像，非图像数据包括受检者的血液检查数据、基因数据及认知能力得分中的至少1个数据和受检者的年龄及性别，预测部在从mri图像的摄影时间点起经过特定期间之后预测受检者的病状是阿尔茨海默病还是轻度认知障碍。
[0036]
在本发明的又一方式所涉及的信息处理装置中，能够设为如下结构：通过预测部，将在经过特定期间之后获得了受检者的病状是轻度认知障碍的预测结果的受检者从临床试验的对象者中排除。
[0037]
本发明的又一方式所涉及的信息处理装置为如下信息处理装置，其包括处理器和记录有通过处理器执行的程序的非临时性计算机可读介质，在该信息处理装置中，处理器根据程序的指令，进行如下处理：接受与作为对象的事项有关的图像数据及非图像数据的输入，通过进行基于将根据图像数据计算出的第1特征量和根据非图像数据计算出的第2特征量的要素彼此之乘积的组合作为输出的运算方法的加权计算，计算融合有第1特征量和第2特征量的第3特征量，基于第3特征量，预测与图像数据的摄影时间点不同的时间点上的与事项有关的状态。
[0038]
本发明的又一方式所涉及的程序为如下程序，其用于使计算机实现如下功能：接收与作为对象的事项有关的图像数据及非图像数据的输入的功能；通过进行基于将根据图像数据计算出的第1特征量和根据非图像数据计算出的第2特征量的要素彼此之乘积的组合作为输出的运算方法的加权计算，计算融合有第1特征量和第2特征量的第3特征量的功能；及基于第3特征量，预测与图像数据的摄影时间点不同的时间点上的与事项有关的状态的功能。
[0039]
本发明的又一方式所涉及的学习完毕模型为以接受与作为对象的事项有关的图像数据及非图像数据的输入并输出根据图像数据及非图像数据预测的信息的方式进行了机器学习的学习完毕模型，学习完毕模型为用于使计算机以如下方式发挥功能，所述方式为：通过进行基于将根据图像数据计算出的第1特征量和根据非图像数据计算出的第2特征量的要素彼此之乘积的组合作为输出的运算方法的加权计算，计算融合有第1特征量和第2特征量的第3特征量，并且，基于第3特征量来输出表示与图像数据的摄影时间点不同的时间点上的与事项有关的状态的信息的学习完毕模型。
[0040]
在本发明的又一方式所涉及的学习完毕模型中，能够设为如下结构：作为对象的事项为受检者的健康状态，图像数据为对受检者进行拍摄而获得的医用图像，非图像数据包括受检者的活体信息，学习完毕模型预测从医用图像的摄影时间点起经过特定期间之后的受检者的健康状态、或相较于医用图像的摄影时间点在特定期间之前的过去的时间点上的受检者的健康状态。
[0041]
本发明的又一方式所涉及的诊断支援装置为包括记录有本发明的一方式所涉及的学习完毕模型的非临时性计算机可读介质和根据所述学习完毕模型进行动作的处理器的诊断支援装置。
[0042]
本发明的又一方式所涉及的学习装置为如下学习装置，其包括处理器和记录有通
过处理器执行的学习程序的非临时性计算机可读介质，在该学习装置中，处理器为如下处理器，即：根据学习程序的指令，获取包括与作为对象的事项有关的图像数据及非图像数据、以及表示与图像数据及非图像数据的组合对应的事项的已知的状态的数据的学习数据，以将图像数据及非图像数据输入到学习模型，并从图像数据及非图像数据输出表示与图像数据的摄影时间点不同的时间点上的与事项有关的状态的预测信息的方式，进行学习模型的机器学习，学习模型进行如下处理：通过进行基于将根据图像数据计算出的第1特征量和根据非图像数据计算出的第2特征量的要素彼此之乘积的组合作为输出的运算方法的加权计算，计算融合有第1特征量和第2特征量的第3特征量，基于第3特征量来输出预测信息。
[0043]
本发明的又一方式所涉及的预测模型的生成方法为如下预测模型的生成方法，其包括如下步骤：获取包括与作为对象的事项有关的图像数据及非图像数据、以及表示与图像数据及非图像数据的组合对应的事项的已知的状态的数据的学习数据；及通过使用学习数据进行学习模型的机器学习，生成相对于图像数据及非图像数据的输入，输出表示与图像数据的摄影时间点不同的时间点上的与事项有关的状态的预测信息的学习完毕的预测模型，学习模型进行如下处理：通过进行基于将根据图像数据计算出的第1特征量和根据非图像数据计算出的第2特征量的要素彼此之乘积的组合作为输出的运算方法的加权计算，计算融合有第1特征量和第2特征量的第3特征量，基于第3特征量来输出预测信息。
[0044]
预测模型的生成方法被理解为制造预测模型的方法的发明。
[0045]
发明效果
[0046]
根据本发明，能够使用图像数据和非图像数据精确地预测与图像数据的摄影时间点不同的时间点上的状态。
附图说明
[0047]
图1是表示本发明的实施方式所涉及的信息处理装置中的处理的概要的说明图。
[0048]
图2是显示用于生成预测模型的机器学习中所使用的学习模型的网络结构的概念图。
[0049]
图3是表示使用了双线性法的加权计算的概要的说明图。
[0050]
图4是表示使用了双线性振动法的加权计算的概要的说明图。
[0051]
图5是示例性表示包括本发明的实施方式所涉及的信息处理装置的医用图像信息系统的概要的硬件结构图。
[0052]
图6是表示学习装置的概略结构的块图。
[0053]
图7是保存在学习数据保存部中的学习数据的概念图。
[0054]
图8是表示学习装置中的学习处理的功能的功能块图。
[0055]
图9是示例性表示使用了学习装置的学习方法的步骤的流程图。
[0056]
图10是表示信息处理装置的概略结构的块图。
[0057]
图11是表示信息处理装置中的痴呆症进展预测处理的功能的功能块图。
[0058]
图12是示例性表示使用了信息处理装置的诊断支援方法的步骤的流程图。
[0059]
图13是表示图12的步骤s24中的预测处理的处理内容的例子的流程图。
[0060]
图14是表示计算机的硬件结构的例子的框图。
具体实施方式
[0061]
以下，根据附图，对本发明的优选的实施方式进行详细说明。
[0062]
《实施方式的概要》
[0063]
图1是表示本发明的实施方式所涉及的信息处理装置10中的处理的概要的说明图。信息处理装置10为进行轻度认知障碍(mci)患者从基线经过1年之后是否会进展为阿尔茨海默病(ad)的痴呆症进展预测的任务的计算机系统。另外，阿尔茨海默病与阿尔茨海默型痴呆症含义相同。
[0064]
信息处理装置10使用通过机器学习生成的学习完毕预测模型12进行运算处理。预测模型12例如为使用分层型多层神经网络构建的学习模型，并且通过深层学习来确定网络参数。在网络参数中包括各层的处理中所使用的滤波器的滤波器系数(节点间的连接的权重)及节点的偏差。另外，“神经网络”是模拟了脑神经系统的机制的信息处理的数理模型。使用了神经网络的处理能够使用计算机来实现。包括神经网络的处理部能够作为程序模块而构成。
[0065]
预测模型12为等级分类网络，该等级分类网络接受对作为受检者的患者的脑部进行拍摄而得的mri图像im和该患者的活体信息bi的输入，进行对象的患者1年之后是否会从mci转变为阿尔茨海默病(ad)的2等级分类的处理，并输出判定结果。预测模型12能够理解为等级分类器，也可以理解为识别等级的识别器或判别器。
[0066]
活体信息bi例如包括血液检查数据、基因数据、认知能力得分、脑脊液数据、年龄、性别中的至少1个、优选为多个组合。作为活体信息bi，优选使用血液检查数据、基因数据、认知能力得分及脑脊液数据中的至少1个和年龄及性别。在本例中，作为输入到信息处理装置10的活体信息bi，使用血液检查数据、基因数据、认知能力得分、年龄及性别。另外，作为活体信息bi，除了上述例示数据以外，还可以使用与mci及阿尔茨海默病具有相关关系的其他生物标志物等数据。
[0067]
预测模型12根据通过双线性法的运算使根据所输入的mri图像im计算的第1特征量和根据所输入的活体信息bi计算的第2特征量融合(fusion)而获得的第3特征量来进行2等级分类的判定。在此所说的“双线性法”是指使用第1特征量和第2特征量计算这些不同的2种特征量的要素彼此之乘积的组合的运算方法。
[0068]
进行痴呆症进展预测时的基线例如为对作为对象者的患者进行诊断的时间点的状态，具体而言，为实施用于诊断的mri图像im的摄影及认知能力测试等各种检查而获取数据时的状态。另外，此处的“1年之后”可以不严格，只要包括一般容许的期间范围而大概1年之后即可。拍摄到mri图像im的时间点或进行了包括mri图像im的摄影的检查的基线的时间点为本发明中的“图像数据的摄影时间点”的一例。“1年之后”为本发明中的“与摄影时间点不同的时间点”及“从摄影时间点经过特定期间之后”的一例。
[0069]
《学习方法的说明》
[0070]
对用于生成预测模型12的学习方法进行说明。
[0071]
[关于使用数据]
[0072]
学习中所使用的数据例如为具有以下所示的多种项目的数据的mci患者的数据，并且设为能够确定该患者1年之后是否会实际进展为阿尔茨海默病的患者的数据。在本例的情况下，多种项目的数据包括mri图像、血液检查数据、基因数据、认知能力得分、年龄及
性别的数据。
[0073]
认知能力得分例如可以是adas(alzheimer’s disease assessment scale：阿尔茨海默病评估量表)得分、mmse(mini mental state examination：简明精神状态检查量表)得分、faq(functional activities questionnaire：功能活动问卷)得分及cdr(clinical dementia rating：临床痴呆评定量表)得分中的任一个或它们中的多个组合。学习时，使用预先确定的特定的认知能力得分的数值。
[0074]
基因数据例如可以是表示基因型的数据，具体而言，可以为载脂蛋白e(apoe)的检查数据。apoe为与阿尔茨海默病的发作有关的基因。apoe基因有3个亚型(ε2，ε3，ε4)，它们中有“ε4”的人发作阿尔茨海默病的风险相对高。
[0075]
包括mri图像和活体信息的多种数据可用作对学习模型的输入数据。并且，mci患者1年之后是否会实际进展为阿尔茨海默病的信息可用作表示与输入数据对应的已知的状态的正解标签的数据(正解数据)。正解数据发挥监督学习中的教师信号的作用。
[0076]
将符合这种使用数据的条件的多个mci患者的数据用作学习用数据集。为了有效地进行学习，对用于学习的数据实施以下所示的预处理。
[0077]
[关于预处理]
[0078]
对于mri图像，进行亮度值的归一化以及与图册图像的对位，以便于学习。另外，可以进行与标准脑部的对位来代替与图册图像的对位。
[0079]
对于活体信息，按每一种数据的种类在数据集的最小值和最大值的范围内归一化为0至1的数值。对于基因型，有“ε4”的类型输入为“1”，若没有则输入为“0”。
[0080]
关于如上述的预处理，可以通过并入了执行机器学习的学习程序的学习装置来实施，也可以使用与学习装置不同的计算机系统来实施。
[0081]
[学习模型的网络结构]
[0082]
图2是显示用于生成预测模型12的机器学习中所使用的学习模型14的网络结构的概念图。通过使用学习模型14进行深层学习来确定网络参数。图2所示的网络结构可以理解为预测模型12的网络结构。
[0083]
在图2中，mri图像im(p)和活体信息bi(p)为学习用输入数据，“p”表示学习数据的索引。学习模型14具备：神经网络16，包括根据所输入的mri图像im(p)计算第1特征量fv1的多个卷积层及全连接层fc1；全连接层fc2，根据所输入的活体信息bi(p)计算第2特征量fv2；熔合层fu，通过基于双线性法的加权计算来将第1特征量fv1及第2特征量fv2融合；及全连接层fc3，根据从熔合层fu获得的第3特征量fv3计算最终输出值。
[0084]
图2中的c1、c2、c3、c4及c5的符号所表示的各块表示将多个层的运算处理汇总标记为1个块的网络模块。在本例的情况下，1个块表示包括依次实施卷积处理、批量归一化处理、relu(rectified linear unit：修正线性单元)函数、卷积处理、批量归一化处理、relu函数及汇集处理的多个层的网络模块。
[0085]
在图2中从c1向c5各块的纵向尺寸逐渐减小，这表示在各块中计算的特征图的图像尺寸逐渐减小。并且，各块的横向尺寸表示在各块中计算的特征图的通道数的相对变化。
[0086]
基于学习模型14的处理的概要如下。即，对于mri图像im(p)，通过多个卷积层，由此提取第1特征量fv1。第1特征量fv1由包括多个要素的矢量表示。对于活体信息bi(p)，进行1次基于全连接层fc2的完全连接处理，获得第2特征量fv2。第2特征量fv2由包括多个要
素的矢量表示。然后，通过熔合层fu将第1特征量fv1和第2特征量fv2进行融合，并使用融合的第3特征量fv3通过全连接层fc3计算最终输出值。
[0087]
本例的学习模型14进行2等级分类的判别，因此从全连接层fc3获得的最终输出值例如可以为表示各等级的置信度(似然度)的分类得分。分类得分可以转换为使用softmax函数等归一化为0到1的范围的数值的值、即概率。
[0088]
图2所示的神经网络16为本发明中的“第1处理部”及“第1神经网络”的一例。全连接层fc1为本发明中的“第1全连接层”的一例。全连接层fc2为本发明中的“第2处理部”、“第2全连接层”及“第2神经网络”的一例。熔合层fu为本发明中的“第3处理部”的一例。全连接层fc3为本发明中的“第3全连接层”的一例。全连接层fc1、fc2、fc3分别可以构成为包括多个层。经由全连接层fc3获得的最终输出值为本发明中的“预测信息”的一例。
[0089]
图3是表示熔合层fu中的使用了双线性法的加权计算的概要的说明图。在图3中，x表示由mri图像im(p)获得的第1特征量，y表示由活体信息bi(p)获得的第2特征量。z表示从熔合层fu输出的第3特征量。如图3所示，在使用了双线性法的融合处理中，将x和y各要素彼此相乘、加权并相加。即，z要素根据下式1来计算。
[0090]
[数式1]
[0091][0092]
式中的i为x要素的索引。j为y要素的索引。k为z要素的索引。
[0093]
如式1所示，熔合层fu通过使用第1特征量和第2特征量进行基于将不同的2种特征量的要素彼此之乘积的组合作为输出的运算方法的加权计算来生成融合有2种特征量的第3特征量。
[0094]
为了比较，以下示出基于线性连接(线性法)的连接处理的数式。
[0095]
[数式2]
[0096][0097]
如式2所示，在基于线性法的连接处理中，对x和y要素分别进行加权并相加。在线性法中，无法考虑x和y要素彼此之乘积的组合。
[0098]
从该点出发，在使用了式1所示的双线性法的融合处理中考虑x和y要素彼此之乘积的组合，因此与其对应地网络的表现力得到提高，除此以外，要素彼此之乘积中还包括取关联的含义，因此考虑由不同种类的信息获得的2个特征量的关联，能够提高预测精度。
[0099]
熔合层fu中的运算方法并不限于式1所示的双线性法，例如，可以应用双线性振动法。双线性振动法中，使计算2种特征量的要素彼此之乘积时的各要素的加权以随机数变化。
[0100]
图4是表示熔合层fu中的使用了双线性振动法的加权计算的概要的说明图。在图4中，x表示由mri图像im(p)获得的第1特征量，y表示由活体信息bi(p)获得的第2特征量。α表示由随机数生成的0～1的值。d按每一个要素k、i、j生成。z表示从熔合层fu输出的第3特征量。如图4所示，在使用了双线性振动法的融合处理中，将x和y各要素彼此相乘、加权并相
加。即，z要素根据下式3来计算。
[0101]
[数式3]
[0102][0103]
式中的i为x要素的索引。j为y要素的索引。k为z要素的索引。
[0104]
如式3所示，熔合层fu通过使用第1特征量和第2特征量进行基于将不同的2种特征量的要素彼此之乘积的组合作为输出的运算方法的加权计算来生成融合有2种特征量的第3特征量。
[0105]
双线性振动法与双线性法相比，对于第1特征量和第2特征量以随机比例考虑乘积的组合，因此能够防止成为偏于其中一个特征量的学习。
[0106]
关于α，作为随机数的生成模式，考虑如下的方式。例如，作为学习数据，x和y的组合有10个，在考虑将其以10个初相(epoch)学习时，作为d的随机数生成模式，可以想到如下的3种模式。
[0107]
[模式1]按每一个x和y的组合生成随机数。此时，例如，在第1个初相和第2个初相，用于每一个(x，y)的组合的α相同。
[0108]
[模式2]按每一个初相生成随机数。此时，在相同的初相内，无论(x，y)的组合如何，α都相同。
[0109]
[模式3]每一个x和y的组合及每一个初相均生成随机数。此时，不存在相同的α。
[0110]
《医用图像信息系统的结构例》
[0111]
图5是示例性表示包括本发明的实施方式所涉及的信息处理装置10的医用图像信息系统40的概要的硬件结构图。医用图像信息系统40中，三维图像摄影装置42、图像保存服务器44及信息处理装置10以能够经由通信线路46通信的状态连接。通信线路46例如可以是在医院等医疗机构构建的局域网。与通信线路46的连接及装置之间的通信形式不限于有线，也可以是无线。
[0112]
三维图像摄影装置42为通过对作为受检者的患者的诊断对象的部位进行拍摄来生成表示该部位的三维图像的装置，具体而言为ct装置、mri装置及pet装置等。关于通过该三维图像摄影装置42生成的包括多个切片图像的三维图像，每一次单位检查被发送到图像保存服务器44，并被保存。
[0113]
在本实施方式中，患者的诊断对象部位为脑部，三维图像摄影装置42为mri装置。在mri装置中，生成包括患者的脑部的三维mri图像。在本实施方式中，mri图像设为扩散加权图像。
[0114]
在图5中示出1台三维图像摄影装置42，但是也可以将多台三维图像摄影装置连接到通信线路46。另外，多台三维图像摄影装置可以包括不同的医学影像设备。
[0115]
图像保存服务器44为保存各种数据并进行管理的计算机，并且具备大容量外部存储装置及数据库管理用软件。图像保存服务器44经由通信线路46与其他装置进行通信，收发图像数据等。
[0116]
具体而言，图像保存服务器44经由通信线路46获取包括通过三维图像摄影装置42生成的三维图像的图像数据的各种数据，并保存于大容量外部存储装置等记录介质中来管
理。另外，图像数据的存储形式及经由通信线路46的各装置之间的通信基于dicom(digital imaging and communication in medicine：医学数字成像和通信)等协议。
[0117]
在图像保存服务器44中，除了图像数据以外，还保存包括血液检查数据、基因数据、认知能力得分、以及患者的年龄及性别的活体信息。
[0118]
除了信息处理装置10以外，院内终端装置50也可以连接到通信线路46。在图5中示出1台院内终端装置50，但是也可以将多台院内终端装置连接到通信线路46。包括血液检查数据及其他检查数据的活体信息能够从信息处理装置10和/或院内终端装置50输入，并且能够将活体信息从信息处理装置10和/或院内终端装置50发送到图像保存服务器44。另外，信息处理装置10的功能可以并入到院内终端装置50中。
[0119]
通信线路46可以经由路由器60连接到广域通信网66。广域通信网66可以为包括互联网和/或专用通信线路的结构。
[0120]
为了生成并入到信息处理装置10中的预测模型12，学习装置100由计算机系统构成。学习装置100能够连接到广域通信网66，并经由广域通信网66收集学习用数据。除了图像保存服务器44以外，学习装置100还能够从设置于图5中未示出的多个医疗机构的多个图像保存服务器收集学习用数据。另外，从图像保存服务器44等向学习装置100提供学习用数据时，能够确定患者个人的姓名等个人信息被加密。
[0121]
作为多个学习数据的集合的学习数据集被保存于学习装置100的内部储存器、或与学习装置100连接的外部储存器、或者数据保存服务器等中。
[0122]
《学习装置100的结构例》
[0123]
图6是表示学习装置100的概略结构的块图。学习装置100能够由使用1台或多台计算机构成的计算机系统实现。构成学习装置100的计算机系统可以是与构成信息处理装置10的计算机系统相同的系统，也可以是不同的系统，并且还可以是共享一部分要素的系统。
[0124]
学习装置100通过在计算机安装学习程序来实现。学习装置100具备处理器102、非临时性计算机可读介质104、输入输出接口106、通信接口108、总线110、输入装置114及显示装置116。处理器102包括cpu。处理器102可以包括gpu。处理器102经由总线110与计算机可读介质104、输入输出接口106及通信接口108连接。
[0125]
计算机可读介质104包括作为主存储装置的存储器及作为辅助存储装置的储存器。计算机可读介质104可以是半导体存储器、硬盘(hdd：hard disk drive)装置、或固态硬盘(ssd：solid state drive)装置、或者它们的多个组合。
[0126]
学习装置100经由通信接口108或输入输出接口106与学习数据保存部170连接。学习数据保存部170包括预先保存为了学习装置100进行机器学习而所需的学习数据的储存器而构成。“学习数据”是用于机器学习的训练用数据，与“学习用数据”或“训练数据”含义相同。
[0127]
在此，对学习数据保存部170和学习装置100分别作为不同的装置而构成的例子进行说明，但是这些功能可以由1台计算机实现，也可以由2台以上的多台计算机分担处理的功能而实现。
[0128]
在计算机可读介质104存储有包括学习程序的各种程序及数据。学习程序为实现使计算机学习学习模型14的功能的程序。通过处理器102执行学习程序的指令，计算机作为信息获取部121、预处理部122、学习模型14、误差计算部124及优化器125发挥功能。
[0129]
信息获取部121从学习数据保存部170获取学习数据。信息获取部121可以构成为包括由从外部或装置内的其他信号处理部读取数据的数据输入端子。并且，信息获取部121可以构成为包括输入输出接口106、通信接口108、或进行未图示的存储卡等便携式外部存储介质的读写的媒体接口、或者这些方式的适当的组合。并且，信息获取部121能够从图5中说明的图像保存服务器44获取为了进行学习用数据所需的数据。
[0130]
预处理部122对从图像保存服务器44等获取的mri图像及活体信息实施用于使机器学习的处理效率化的预处理。通过预处理部122实施了处理的学习数据能够保存于学习数据保存部170中。另外，在预先准备了所需的预处理的学习数据集的情况下，能够省略基于该预处理部222的处理。
[0131]
误差计算部124计算从学习模型14输出的分类得分所表示的预测值与正解数据的误差。误差计算部124使用损失函数来评价误差。损失函数例如可以是交叉熵或均方误差等。
[0132]
优化器125进行根据误差计算部124的计算结果更新学习模型14的网络参数的处理。
[0133]
并且，通过处理器102执行显示控制程序的指令，计算机作为显示控制部130发挥功能。显示控制部130生成向显示装置116的显示输出所需的显示用信号，进行显示装置116的显示控制。
[0134]
输入装置114例如由键盘、鼠标、触摸面板或其他定点设备或音频输入装置或者它们的适当的组合构成。输入装置114接收由操作者进行的各种输入。显示装置116例如由液晶显示器、有机el(organic electro-luminescence(有机电致发光)：oel)显示器或投影仪或它们的适当的组合构成。输入装置114及显示装置116经由输入输出接口106连接到总线110。另外，可以通过使用触摸面板来将显示装置116和输入装置114构成为一体。
[0135]
《学习数据的例子》
[0136]
图7是保存在学习数据保存部170中的学习数据的概念图。在学习数据保存部170中保存按每一个患者建立关联有针对多个mci患者的mri图像im(p)、活体信息bi(p)及作为表示1年之后的病状的已知的信息的正解信息cd(p)的组合的学习数据ld(p)。mri图像im(p)可以是实施了预处理的预处理完毕图像数据。p例如表示相当于患者编号的索引。
[0137]
《学习装置100的功能的说明》
[0138]
图8是表示学习装置100中的学习处理的功能的功能块图。在图8中，对与图6中说明的要素相同的要素标注相同符号。学习装置100从学习数据保存部170读取学习数据ld(p)，并执行机器学习。学习装置100能够以汇集了多个学习数据ld(p)的小批量为单位进行学习数据ld(p)的读取和参数的更新。
[0139]
在图8中示出1组学习数据的处理的流程，但是在进行小批量学习的情况下，一并处理小批量中所包括的多组(例如m组)学习数据。
[0140]
学习装置100的信息获取部121包括图像获取部141、活体信息获取部142及正解信息获取部143。图像获取部141获取mri图像im(p)。活体信息获取部142获取活体信息bi(p)。正解信息获取部143获取正解信息cd(p)。正解信息cd(p)例如为表示等级分类的正解标签的分类得分的数据(正解数据)。在2等级分类的情况下，具体而言，能够将阿尔茨海默病时的得分确定为“1”，并将mci时的得分确定为“0”。
[0141]
经由图像获取部141获取的mri图像im(p)被输出到学习模型14。经由活体信息获取部142获取的活体信息bi(p)被输入到学习模型14。学习模型14根据图2及图3中说明的处理或根据图2及图4中说明的处理来输出与等级相对应的分类得分。通过学习模型14计算的分类得分相当于预测值。
[0142]
误差计算部124进行评价从学习模型14输出的分类得分与从正解信息获取部143获取的正解数据的误差的计算。
[0143]
优化器125包括参数更新量计算部151和参数更新处理部152。参数更新量计算部151进行使用从误差计算部124获得的误差的计算结果求出学习模型14的网络参数的更新量的计算。参数更新处理部152根据通过参数更新量计算部151计算出的参数的更新量来进行学习模型14的参数的更新处理。优化器125根据误差反向传播法等算法来进行参数的更新。
[0144]
成为更新对象的参数包括多个卷积层和全连接层fc1的神经网络16的参数、全连接层fc2中的权重参数、熔合层fu中的权重参数及全连接层fc3中的权重参数。另外，神经网络16的一部分参数可以从更新对象中排除。例如，图2的c1至c5所示的块中靠近输入侧的层的一部分参数可以是固定的。
[0145]
《使用了学习装置100的学习方法的例子》
[0146]
图9是示例性表示使用了学习装置100的学习方法的步骤的流程图。作为执行学习处理之前的事前准备，预先准备学习数据集。即，准备多个如图7中说明的mri图像im(p)、活体信息bi(p)及正解信息cd(p)的组合的学习数据。生成这种学习数据集的功能可以并入到学习装置100中，也可以并入到与学习装置100不同的装置中。
[0147]
在图9的步骤s1中，学习装置100获取学习数据。学习装置100能够以小批量为单位从学习数据保存部170获取多个学习数据。
[0148]
在步骤s2中，学习装置100将mri图像和活体信息输入到学习模型14，使用学习模型14进行预测处理。如图2所述，在学习模型14所进行的预测处理中包括根据mri图像计算第1特征量fv1的处理、根据活体信息计算第2特征量fv2的处理、使用基于双线性法的加权计算将第1特征量fv1及第2特征量fv2进行融合而计算第3特征量fv3的处理及基于第3特征量fv3来计算预测值的处理。
[0149]
在步骤s3中，误差计算部124计算从学习模型14获得的预测值与正解数据的误差。
[0150]
在步骤s4中，优化器125根据在步骤s3中计算的误差来计算学习模型14的参数的更新量。
[0151]
在步骤s5中，优化器125根据在步骤s4中计算的更新量来更新学习模型14的参数。参数的更新处理以小批量为单位实施。
[0152]
在步骤s6中，学习装置100进行是否结束学习的判别。学习结束条件可以根据误差值来确定，也可以根据参数的更新次数来确定。作为基于误差值的方法，例如，可以将误差收敛在规定的范围内作为学习结束条件。作为基于更新次数的方法，例如，可以将更新次数达到规定次数作为学习结束条件。
[0153]
在步骤s6的判定结果判定为“否”的情况下，学习装置100返回到步骤s1，重复进行学习处理，直至满足学习结束条件。
[0154]
在步骤s6的判定结果判定为“是”的情况下，学习装置100结束图9所示的流程图。
[0155]
将这样获得的学习完毕学习模型14用作信息处理装置10的预测模型12。使用图9说明的学习方法为预测模型12的生成方法的一例。
[0156]
学习装置100可以在生成预测模型12之后，使用新收集的学习数据实施追加学习来更新预测模型12的参数。通过追加学习获得的学习完毕参数能够经由广域通信网66或使用存储卡等便携式外部存储介质提供给信息处理装置10。通过这种机制，能够更新预测模型12的预测性能。
[0157]
《信息处理装置10的结构例》
[0158]
图10是表示信息处理装置10的概略结构的块图。信息处理装置10通过在计算机安装诊断支援程序来实现。信息处理装置10具备处理器202、非临时性计算机可读介质204、输入输出接口206、通信接口208、总线210、输入装置214及显示装置216。信息处理装置10的硬件结构可以与图8中说明的学习装置100的硬件结构相同。即，图10的处理器202、计算机可读介质204、输入输出接口206、通信接口208、总线210、输入装置214及显示装置216的各硬件结构可以与图6的处理器102、计算机可读介质104、输入输出接口106、通信接口108、总线110、输入装置114及显示装置116相同。
[0159]
在图10所示的计算机可读介质204存储有包括诊断支援程序的各种程序及数据。诊断支援程序为根据作为诊断对象的患者的mri图像和活体信息来进行痴呆症进展预测的程序。通过处理器202执行诊断支援程序的指令，计算机作为信息获取部221、预处理部222及预测模型12发挥功能。
[0160]
并且，通过处理器202执行显示控制程序的指令，计算机作为显示控制部230发挥功能。显示控制部230生成向显示装置216的显示输出所需的显示用信号，进行显示装置216的显示控制。
[0161]
信息获取部221获取接受了检查的患者的mri图像和活体信息。信息获取部221能够从图像保存服务器44获取患者的数据。信息获取部221可以构成为包括由从外部或装置内的其他信号处理部读取数据的数据输入端子。并且，信息获取部221可以构成为包括输入输出接口206、通信接口208、或进行未图示的存储卡等便携式外部存储介质的读写的媒体接口、或者这些方式的适当的组合。
[0162]
预处理部222对经由信息获取部221获取的mri图像及活体信息实施预处理。基于预处理部222的处理内容可以与学习装置100的预处理部122相同。
[0163]
预测模型12基于所输入的mri图像和活体信息，根据图2中说明的算法，预测对象的患者1年之后是否会进展为阿尔茨海默病。预测“1年之后是否会进展为阿尔茨海默病”的进展状态的问题与“在1年之内是否会发作阿尔茨海默病”的问题相同，总而言之，为预测患者1年之后的病状是阿尔茨海默病还是mci的病状的问题。
[0164]
患者1年之后的病状为本发明中的“与图像数据的摄影时间点不同的时间点上的与事项有关的状态”及“受检者的健康状态”的一例。预测模型12为本发明中的“预测部”的一例。作为1年之后的病状的候选的阿尔茨海默病及mci为本发明中的“作为与摄影时间点不同的时间点上的与事项有关的状态的多个候选”的一例。作为1年之后的病状的候选的阿尔茨海默病为本发明中的“第1状态”的一例，作为1年之后的病状的候选的mci为本发明中的“第2状态”的一例。
[0165]
《信息处理装置10的功能的说明》
[0166]
图11是表示信息处理装置10中的痴呆症进展预测处理的功能的功能块图。在图11中，对与图10中说明的要素相同的要素标注相同符号。信息处理装置10从图像保存服务器44等读取作为受检者的mci患者的mri图像和活体信息。
[0167]
信息处理装置10的信息获取部221包括图像获取部241和活体信息获取部242。图像获取部241获取mri图像im。活体信息获取部242获取活体信息。
[0168]
关于经由图像获取部241获取的mri图像im，通过预处理部222进行预处理之后，输入到预测模型12。并且，关于经由活体信息获取部242获取的活体信息bi，通过预处理部222进行预处理之后，输入到预测模型12。另外，在通过信息获取部221获取事前实施了必要的预处理的mri图像及活体信息的情况下，能够省略基于预处理部222的预处理。
[0169]
预测模型12根据图2及图3中说明的处理或根据图2及图4中说明的处理来输出预测结果。预测结果经由显示控制部230显示于显示装置216。
[0170]
信息处理装置10为本发明中的“诊断支援装置”的一例。mci患者的mri图像im及活体信息bi与病状的进展之间具有相关关系。mri图像im及活体信息bi为本发明中的“与对象的事项有关的图像数据及非图像数据”的一例。mri图像im为本发明中的“图像数据”的一例。活体信息bi为本发明中的“非图像数据”的一例。从预测模型12输出的预测结果为本发明中的“等级分类的处理结果”的一例。
[0171]
《使用了信息处理装置10的诊断支援方法的例子》
[0172]
图12是示例性表示使用了信息处理装置10的诊断支援方法的步骤的流程图。作为执行学习处理之前的事前准备，预先准备学习数据集。即，准备多个如图7中说明的mri图像im(p)、活体信息bi(p)及正解信息cd(p)的组合的学习数据。生成这种学习数据集的功能可以并入到学习装置100中，也可以并入到与学习装置100不同的装置中。
[0173]
在步骤s21中，信息处理装置10获取受检者的mri图像。
[0174]
在步骤s22中，信息处理装置10获取受检者的活体信息。步骤s21和步骤s22的处理的顺序能够调换。并且，步骤s21和步骤s22可以通过并行处理或并列处理来执行。
[0175]
在步骤s23中，信息处理装置10的预处理部222根据需要对所输入的mri图像及活体信息进行预处理。
[0176]
在步骤s24中，信息处理装置10将mri图像和活体信息输入到预测模型12来进行预测处理。
[0177]
在步骤s26中，信息处理装置10输出通过预测模型12获得的预测结果。在步骤s26之后，信息处理装置10结束图12的流程图。
[0178]
图13是表示预测处理(步骤s24)的处理内容的例子的流程图。图13的流程图应用于图12的步骤s24的处理。在图13的步骤s31中，预测模型12计算所输入的mri图像的特征量。即，预测模型12根据神经网络16的前向传播的路径由mri图像计算第1特征量fv1。
[0179]
在步骤s32中，预测模型12计算所输入的活体信息的特征量。即，预测模型12通过全连接层fc2连接活体信息的要素来计算第2特征量fy2。步骤s31和步骤s32的处理的顺序能够调换。并且，步骤s31和步骤s32可以通过并行处理或并列处理来执行。
[0180]
在步骤s34中，预测模型12通过基于双线性法的加权计算将从步骤s31及步骤s32获得的2种特征量进行融合，生成第3特征量fy3。
[0181]
在步骤s35中，预测模型12基于作为通过步骤s34融合的特征量的第3特征量fv3来
进行2等级分类的判定。
[0182]
信息处理装置10在步骤s35之后，结束图13的流程图并返回到图12的流程图。
[0183]
《计算机的硬件结构的例子》
[0184]
图14是表示计算机的硬件结构的例子的框图。计算机800可以是个人电脑，也可以是工作站，并且，还可以是服务器计算机。计算机800能够用作已说明的信息处理装置10、图像保存服务器44、院内终端装置50、学习装置100、学习数据保存部170中的任意一部分或全部、或者具备这些多个功能的装置。
[0185]
计算机800具备cpu(central processing unit：中央处理单元)802、ram(random access memory：随机存取存储器)804、rom(read 0nly memory：只读存储器)806、gpu(grapbics processing unit：图形处理单元)808、储存器810、通信部812、输入装置814、显示装置816及总线818。另外，gpu(graphics processing unit)808只要根据需要设置即可。
[0186]
cpu802读出存储于rom806或储存器810等中的各种程序，并执行各种处理。ram804可用作cpu802的工作区。并月，ram804可用作暂时存储所读出的程序及各种数据的存储部。
[0187]
储存器810例如包括硬盘装置、光盘、磁光盘或半导体存储器或者使用它们的适当的组合构成的存储装置而构成。在储存器810存储预测处理和/或学习处理等所需的各种程序、数据等。存储于储存器810中的程序被加载到ram804，并由cpu802执行该程序，由此计算机800作为进行在程序中规定的各种处理的机构发挥功能。
[0188]
通信部812为通过有线或无线与外部装置进行通信处理并在与外部装置之间交换信息的接口。通信部812能够起到接收图像等的输入的信息获取部的作用。
[0189]
输入装置814为接收对计算机800的各种操作输入的输入接口。输入装置814例如可以是键盘、鼠标、触摸面板或其他定点设备或音频输入装置或者它们的适当的组合。
[0190]
显示装置816为显示各种信息的输出接口。显示装置816例如可以是液晶显示器、有机el(organic electro-luminescence：oel)显示器或投影仪或它们的适当的组合。
[0191]
《关于运行计算机的程序》
[0192]
能够将使计算机实现在上述实施方式中说明的预测功能及学习功能中的至少1个处理功能的一部分或全部的程序记录于光盘、磁盘或半导体存储器、其他有形非临时性信息存储介质即计算机可读介质，并通过该信息存储介质提供程序。
[0193]
并且，还能够利用互联网等电信线路提供程序信号作为下载服务来代替将程序存储于这种有形非临时性计算机可读介质而提供的方式。
[0194]
并且，还能够进行如下服务：提供在上述各实施方式中说明的预测功能及学习功能中的至少1个处理功能的一部分或全部作为应用服务器，通过电信线路提供处理功能。
[0195]
《关于各处理部的硬件结构》
[0196]
图1等所示的预测模型12、图2等所示的学习模型14、图6所示的信息获取部121、预处理部122、误差计算部124、优化器125、显示控制部130、图8所示的图像获取部141、活体信息获取部142、正解信息获取部143、参数更新量计算部151、参数更新处理部152、图10所示的信息获取部221、预处理部222、显示控制部230、图11所示的图像获取部241及活体信息获取部242等执行各种处理的处理部(processing unit)的硬件结构例如为如下所示的各种处理器(processor)。
[0197]
在各种处理器中包括执行程序而作为各种处理部发挥功能的通用的处理器即
cpu、适合于图像处理的处理器即gpu、fpga(field programmable gate array：现场可编程门阵列)等制造之后能够变更电路结构的处理器即可编程逻辑器件(programmable logic device：pld)、asic(application specific integrated circuit：特定应用积体回路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
[0198]
1个处理部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器构成。例如，1个处理部可以由多个fpga、或cpu与fpga的组合、或cpu与gpu的组合构成。并且，也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子，首先，有如以客户端、服务器等计算机为代表那样，由1个以上的cpu和软件的组合构成一个处理器，该处理器作为多个处理部发挥功能的方式。其次，有如以片上系统(system on chip：soc)等为代表那样，使用由1个ic(integrated circuit：集成电路)芯片实现包括多个处理部的整个系统的功能的处理器的方式。如此，作为硬件结构，各种处理部使用1个以上的上述各种处理器构成。
[0199]
而且，更具体而言，这些各种处理器的硬件结构为组合半导体元件等电路元件而成的电路(circuitry)。
[0200]
《实施例》
[0201]
在本发明的实施方式所涉及的信息处理装置10中，使用患者的mri图像、基因型、认知能力得分、年龄及性别来判别1年之后是否会从mci转变为阿尔茨海默病时，能够以85％以上的判别精度判别。“判别”包括在“预测”的概念中。判别精度与“预测精度”含义相同。
[0202]
相对于此，在非专利文献2中所记载的研究中，使用患者的mri图像、脑脊液数据、认知能力得分、年龄及性别来进行相同判别，此时的判别精度为76％。
[0203]
基于本发明的实施方式的方法与非专利文献2中所记载的方法相比，判别精度得到提高。
[0204]
《基于本实施方式的优点》
[0205]
根据本发明的实施方式所涉及的信息处理装置10，能够使用患者的mri图像和活体信息来高精度地预测患者将来的状态。
[0206]
《假设的实施方式》
[0207]
作为本实施方式所涉及的信息处理装置10的痴呆症进展预测功能的利用方式，例如，考虑为了提高新药开发时的临床试验的精度而将原本预测为不会进展为阿尔茨海默病的对象者从临床试验中排除的方式。
[0208]
即，对于通过基于信息处理装置10的痴呆症进展预测可获得“不会进展为阿尔茨海默病”的预测结果的患者，即使投药也难以判断是否有药效，因此考虑确定将其从临床试验的对象者中排除。
[0209]
并且，作为其他利用方式，考虑在销售抑制阿尔茨海默病的进展的药之后，为了限定有该药效的患者而投药，识别有药效的患者、即预测为阿尔茨海默病进展的患者的方式。
[0210]
《变形例1》
[0211]
在上述实施方式中，对预测“1年之后”的状态的例子进行了说明，但是对于“1年之后”的期间条件，并不限定于该例。通过根据预测目的来改变“6个月之后”、“18个月之后”、“2年之后”等用于学习的正解信息的提供方式，能够实现对各种期间的预测。
[0212]
《变形例2》
[0213]
在上述实施方式中，对将mci患者作为受检者进行痴呆症进展预测的例子进行了叙述，但是作为受检者可以包括健康者，在等级分类的判别中，健康者也可以被分类到“没有变化”的等级中。或者，可以在等级分类的候选中设置“健康者”的等级。为了实现与健康者有关的预测，作为学习数据使用与健康者有关的数据。
[0214]
《变形例3》
[0215]
在上述实施方式中，以2等级分类的网络为例进行了说明，但是本发明的技术的应用范围并不限于该例，还能够应用于3等级以上的多等级分类的网络。并且，本发明的技术不限于进行等级分类的预测模型，还能够应用于解决回归问题的预测模型。
[0216]
《变形例4》
[0217]
在上述实施方式中，对使用mri图像的例子进行了说明，但是本发明的技术并不限于mri图像，还可以使用其他医学影像设备的图像。例如，可以使用通过ct装置获取的ct图像。此时，关于ct图像，可以使用通过不使用造影剂进行拍摄来获取的非造影ct图像，也可以使用通过使用造影剂进行拍摄来获取的造影ct图像。并且，可以使用通过pet(positron emission tomography：正电子发射型计算机断层扫描)装置获取的pet图像、通过oct(optical coherence tomography：光学相干断层扫描)装置获取的oct图像、通过三维超声波摄影装置获取的三维超声波图像等。并且，基于本发明的预测技术并不限于三维断层图像，能够应用于各种二维图像。例如，作为处理对象的图像可以是二维的x射线图像。
[0218]
《其他应用例》
[0219]
并且，基于本发明的预测技术不限定于医用图像，能够应用于通常的相机图像等各种图像。例如，能够将基于本发明的技术应用于根据对桥梁等建筑物进行拍摄而得的图像预测经过特定期间之后的将来的老化状态的用途等。与桥梁等建筑物的图像组合使用的非图像的信息例如可以是建筑物的材料、表示设置场所的位置信息、结构样式及定期检查的检查数据中的至少1个、优选为多种组合。
[0220]
《关于用于输入的信息》
[0221]
在本发明的技术中，为了提高预测精度，与图像数据组合使用的非图像数据包括与图像内容没有直接关系的信息。为了痴呆症进展预测而与脑部的mri图像组合用作输入的活体信息为与mri图像的图像内容没有直接关系的信息的一例。即，活体信息包括mri图像中未出现的与事项有关的信息。活体信息为本发明中的“图像数据所表示的图像中未出现的与事项有关的信息”的一例。
[0222]
并且，mri图像等图像数据为对对象进行拍摄的时间点的特定定时的信息，即，1个图像数据为“一个时间点的信息”。另一方面，预测将来事项的任务是当前或过去到将来如何变化的经时问题。因此，为了提高预测精度，优选将具有图像数据所没有的“时间”的纬度的非图像信息与图像数据组合使用。例如，基因型中所例示的基因信息不是某一时间点的信息，而是内含有该患者从过去到将来会有如何变化的特性或可能性的信息。如此，内含多个时间点上的信息的信息能够解释为具有时间维度的信息。基因数据为本发明中的“内含多个时间点上的信息的信息的数据”的一例。
[0223]
《关于过去预测》
[0224]
本发明的技术还能够应用于预测拍摄到图像的时间点之前的过去的时间点上的
状态的处理。此时，作为与学习数据中的图像数据及非图像数据对应的正解信息使用表示摄影时间点之前的已知的状态的数据。
[0225]
预测相较于摄影时间点在特定期间之前的过去的状态的算法与预测从摄影时间点起经过特定期间之后的时间点上的状态的算法相同。
[0226]
《关于蒸馏模型及派生模型》
[0227]
能够基于通过实施本发明的学习方法来生成的学习完毕模型来生成派生模型和/或蒸馏模型。派生模型为通过对学习完毕模型实施进一步的追加学习来获得的派生学习完毕模型，并且还称为“再利用模型”。此处的“追加学习”是指通过将不同的学习数据集适用于已有的学习完毕模型来进行进一步的学习而生成新的学习完毕参数。追加学习例如以维持或提高学习完毕模型的精度或适应于与最初学习的领域不同的领域等为目的进行。
[0228]
另一方面，“蒸馏”是指，将对已有的学习完毕模型的输入及相对于该输入的输出结果用作新的模型的学习数据集来进行机器学习，从而生成新的学习完毕模型和/或学习完毕参数。“蒸馏模型”是指并入了通过蒸馏生成的新的学习完毕参数的推论程序(预测模型)。蒸留模型可以为与原始的学习完毕模型不同的网络结构。
[0229]
能够基于通过实施本发明的学习方法来获得的学习完毕模型来生成派生模型和/或蒸馏模型。因此，可理解为生成这些派生模型和/或蒸馏模型的方法、以及所获得的派生模型和/或蒸馏模型属于本发明的技术的范围。
[0230]
《其他》
[0231]
在上述实施方式中说明的结构、在变形例中说明的事项能够适当地组合使用，并且，还能够替换一部分事项。本发明并不限定于上述的实施方式，当然，在不脱离本发明的精神的范围内能够进行各种变形。
[0232]
《附录》
[0233]
以下公开用英語记载与用于使用了基于双线性法的融合处理的阿尔茨海默病的进展预测的多模式深层学习的技术的具体例有关的概要的内容。
[0234]
ad(alzheimer’s disease)which causes declination of cognitive function is one of the most severe social issues in the world.ithas already been known that ad cannot be cured and treatment can only delay its progression.therefore，it is very important to detect ad in early stage and prevent it to be worse.furthermore，sooner the progression is detected，better the prognosis will be.in this research，we developed a novel multi-modal deep learning method t0 predict conversion from mci(mild cognitive impairment)，which is the stage between cognitively normal older people and ad.in our method，the multi-modal input data are defined as mri images and clinical data including several cognitive scores，apoegenotype，gender and ageobtained from adni(alzheimer’s disease neuroimaging initiative cohort).our criteria of selecting these input data are that they are mostly obtained by non-invasive examination.the proposed method in tegrates features obtained from mri images and clinical data effecti vely by using bi-linear fusion.bi-linear fusion computes the products of all elements between image and clinical features，
where the correlation between them are included.that led a big improvement of prediction accuracy in the experiment.the prediction model using bi-linear fusion achieved to predict conversion in one year with 84.8％accuracy，comparing with 75.3％accuracy using linear fusion.the proposed method is useful for screening examination for ad or deciding a stratification approach within clinical trials since it achieveda high accuracy while the input data is relatively easy to be obtained.
[0235]
符号说明
[0236]
10-信息处理装置，12-预测模型，14-学习模型，16-神经网络，40-医用图像信息系统，42-三维图像摄影装置，44-图像保存服务器，46-通信线路，50-院内终端装置，60-路由器，66-广域通信网，100-学习装置，102-处理器，104-计算机可读介质，106-输入输出接口，108-通信接口，110-总线，114-输入装置，116-显示装置，121-信息获取部，122-预处理部，124-误差计算部，125-优化器，130-显示控制部，141-图像获取部，142-活体信息获取部，143-正解信息获取部，151-参数更新量计算部，152-参数更新处理部，170-学习数据保存部，202-处理器，204-计算机可读介质，206-输入输出接口，208-通信接口，210-总线，214-输入装置，216-显示装置，221-信息获取部，222-预处理部，230-显示控制部，241-图像获取部，242-活体信息获取部，800-计算机，802-cpu，804-ram，806-rom，808-gpu，810-储存器，812-通信部，814-输入装置，816-显示装置，818-总线，im-mri图像，bi-活体信息，cd-正解信息，ld-学习数据，fc1-全连接层，fc2-全连接层，fc3-全连接层，fu-熔合层，fv1-第1特征量，fv2-第2特征量，fv3-第3特征量，s1～s6-学习方法的步骤，s21～s26-诊断支援方法的步骤，s31～s35-预测处理的步骤。