信息处理装置、程序、学习完毕模型、诊断支援装置、学习装置及预测模型的生成方法与流程

技术特征：
1.一种信息处理装置，其具备：信息获取部，接收与作为对象的事项有关的图像数据及非图像数据的输入；及预测部，基于经由所述信息获取部输入的所述图像数据及所述非图像数据来预测与所述图像数据的摄影时间点不同的时间点上的与所述事项有关的状态，所述预测部通过进行基于将根据所述图像数据计算出的第1特征量和根据所述非图像数据计算出的第2特征量的要素彼此之乘积的组合作为输出的运算方法的加权计算，计算融合有所述第1特征量和所述第2特征量的第3特征量，并且，基于所述第3特征量来进行所述预测。2.根据权利要求1所述的信息处理装置，其中，所述预测部包括以如下方式进行了机器学习的学习完毕的预测模型，所述方式为：接受所述图像数据及所述非图像数据的输入并将表示与所述摄影时间点不同的时间点上的与所述事项有关的状态的信息作为所述预测的结果输出。3.根据权利要求1或2所述的信息处理装置，其中，所述预测部使用神经网络来构成。4.根据权利要求1至3中任一项所述的信息处理装置，其中，所述预测部针对所述图像数据及所述非图像数据的输入进行等级分类的处理，并输出所述等级分类的处理结果，所述等级分类的处理判别：在与作为与所述摄影时间点不同的时间点上的与所述事项有关的状态的多个候选各自对应的多个等级中属于哪一个等级。5.根据权利要求1至3中任一项所述的信息处理装置，其中，所述预测部进行如下2等级分类的处理，并输出所述2等级分类的处理结果，所述2等级分类的处理判别：作为与所述摄影时间点不同的时间点上的与所述事项有关的状态，从所述摄影时间点起经过特定期间之后的状态、或相较于所述摄影时间点在特定期间之前的过去的状态是第1状态还是与所述第1状态不同的第2状态。6.根据权利要求1至5中任一项所述的信息处理装置，其中，所述预测部构成为包括：第1处理部，根据所述图像数据计算所述第1特征量；第2处理部，根据所述非图像数据计算所述第2特征量；及第3处理部，通过根据所述第1特征量及所述第2特征量进行基于将所述要素彼此之乘积的组合作为输出的所述运算方法的加权计算，计算所述第3特征量。7.根据权利要求6所述的信息处理装置，其中，所述第3处理部所进行的所述加权计算包括将所述第1特征量和所述第2特征量以随机比例相乘的处理。8.根据权利要求6或7所述的信息处理装置，其中，所述第1处理部使用包括多个卷积层和第1全连接层的第1神经网络来构成，所述第2处理部使用包括第2全连接层的第2神经网络来构成。9.根据权利要求8所述的信息处理装置，其具备根据所述第3特征量计算最终输出值的第3全连接层。10.根据权利要求1至9中任一项所述的信息处理装置，其中，
所述非图像数据包括与所述图像数据所表示的图像中未出现的事项有关的信息的数据。11.根据权利要求1至10中任一项所述的信息处理装置，其中，所述非图像数据包括内含多个时间点上的信息的信息的数据。12.根据权利要求1至11中任一项所述的信息处理装置，其中，所述作为对象的事项为受检者的健康状态，所述图像数据为对所述受检者进行拍摄而获得的医用图像，所述非图像数据包括所述受检者的活体信息，所述预测部预测从所述医用图像的摄影时间点起经过特定期间之后的所述受检者的健康状态、或相较于所述医用图像的摄影时间点在特定期间之前的过去的时间点上的所述受检者的健康状态。13.根据权利要求1至11中任一项所述的信息处理装置，其中，所述作为对象的事项为轻度认知障碍的受检者的病状，所述图像数据为对所述受检者的脑部进行拍摄而获得的mri图像即磁共振成像图像，所述非图像数据包括所述受检者的血液检查数据、基因数据及认知能力得分中的至少1个数据和所述受检者的年龄及性别，所述预测部在从所述mri图像的摄影时间点起经过特定期间之后预测所述受检者的病状是阿尔茨海默病还是轻度认知障碍。14.根据权利要求13所述的信息处理装置，其中，通过所述预测部，将在经过所述特定期间之后获得了所述受检者的病状是轻度认知障碍的预测结果的所述受检者从临床试验的对象者中排除。15.一种信息处理装置，其包括处理器和记录有通过所述处理器执行的程序的非临时性计算机可读介质，在所述信息处理装置中，所述处理器根据所述程序的指令，进行如下处理：接受与作为对象的事项有关的图像数据及非图像数据的输入，通过进行基于将根据所述图像数据计算出的第1特征量和根据所述非图像数据计算出的第2特征量的要素彼此之乘积的组合作为输出的运算方法的加权计算，计算融合有所述第1特征量和所述第2特征量的第3特征量，基于所述第3特征量，预测与所述图像数据的摄影时间点不同的时间点上的与所述事项有关的状态。16.一种程序，其用于使计算机实现如下功能：接收与作为对象的事项有关的图像数据及非图像数据的输入的功能；通过进行基于将根据所述图像数据计算出的第1特征量和根据所述非图像数据计算出的第2特征量的要素彼此之乘积的组合作为输出的运算方法的加权计算，计算融合有所述第1特征量和所述第2特征量的第3特征量的功能；及基于所述第3特征量，预测与所述图像数据的摄影时间点不同的时间点上的与所述事项有关的状态的功能。17.一种记录介质，其为非临时性且计算机可读取的记录介质，其中，在存储于所述记录介质中的指令被计算机读取的情况下，使计算机执行权利要求16所
述的程序。18.一种学习完毕模型，其以接受与作为对象的事项有关的图像数据及非图像数据的输入并输出根据所述图像数据及所述非图像数据预测的信息的方式进行了机器学习，所述学习完毕模型用于使计算机以如下方式发挥功能，所述方式为：通过进行基于将根据所述图像数据计算出的第1特征量和根据所述非图像数据计算出的第2特征量的要素彼此之乘积的组合作为输出的运算方法的加权计算，计算融合有所述第1特征量和所述第2特征量的第3特征量，并且，基于所述第3特征量来输出表示与所述图像数据的摄影时间点不同的时间点上的与所述事项有关的状态的所述信息。19.根据权利要求18所述的学习完毕模型，其中，所述作为对象的事项为受检者的健康状态，所述图像数据为对所述受检者进行拍摄而获得的医用图像，所述非图像数据包括所述受检者的活体信息，所述学习完毕模型预测从所述医用图像的摄影时间点起经过特定期间之后的所述受检者的健康状态、或相较于所述医用图像的摄影时间点在特定期间之前的过去的时间点上的所述受检者的健康状态。20.一种诊断支援装置，其包括记录有权利要求19所述的学习完毕模型的非临时性计算机可读介质和根据所述学习完毕模型进行动作的处理器。21.一种学习装置，其包括处理器和记录有通过所述处理器执行的学习程序的非临时性计算机可读介质，在所述学习装置中，所述处理器为如下处理器，即：根据所述学习程序的指令，获取包括与作为对象的事项有关的图像数据及非图像数据、以及表示与所述图像数据及所述非图像数据的组合对应的所述事项的已知的状态的数据的学习数据，以将所述图像数据及所述非图像数据输入到学习模型，并从所述图像数据及所述非图像数据输出表示与所述图像数据的摄影时间点不同的时间点上的与所述事项有关的状态的预测信息的方式，进行所述学习模型的机器学习，所述学习模型进行如下处理：通过进行基于将根据所述图像数据计算出的第1特征量和根据所述非图像数据计算出的第2特征量的要素彼此之乘积的组合作为输出的运算方法的加权计算，计算融合有所述第1特征量和所述第2特征量的第3特征量，基于所述第3特征量来输出所述预测信息。22.一种预测模型的生成方法，其包括如下步骤：获取包括与作为对象的事项有关的图像数据及非图像数据、以及表示与所述图像数据及所述非图像数据的组合对应的所述事项的已知的状态的数据的学习数据；及通过使用所述学习数据进行学习模型的机器学习，生成相对于所述图像数据及所述非图像数据的输入，输出表示与所述图像数据的摄影时间点不同的时间点上的与所述事项有关的状态的预测信息的学习完毕的预测模型，所述学习模型进行如下处理：通过进行基于将根据所述图像数据计算出的第1特征量和根据所述非图像数据计算出
的第2特征量的要素彼此之乘积的组合作为输出的运算方法的加权计算，计算融合有所述第1特征量和所述第2特征量的第3特征量，基于所述第3特征量来输出所述预测信息。

技术总结
本发明提供一种能够使用图像进行高精度的预测的信息处理装置、程序、学习完毕模型、诊断支援装置、学习装置及预测模型的生成方法。信息处理装置具备：信息获取部，接收与作为对象的事项有关的图像数据及非图像数据的输入；及预测部，根据经由信息获取部输入的图像数据及非图像数据来预测与图像数据的摄影时间点不同的时间点上的与事项有关的状态，预测部通过进行基于将根据图像数据计算的第1特征量和根据非图像数据计算的第2特征量的要素彼此之乘积的组合作为输出的运算方法的加权计算来计算融合有第1特征量和第2特征量的第3特征量，并且根据第3特征量来进行预测。并且根据第3特征量来进行预测。并且根据第3特征量来进行预测。


技术研发人员：后藤翼 王彩华
受保护的技术使用者：富士胶片株式会社
技术研发日：2020.07.20
技术公布日：2022/2/23