程序、信息处理方法、信息处理装置及模型生成方法与流程

1.本发明涉及程序、信息处理方法、信息处理装置及模型生成方法。


背景技术：

2.在医疗领域中，因手术、检查等医疗行为而发生的并发症成为问题。与此相伴，提出了用于辅助并发症防止的多种系统。
3.例如在专利文献1中公开了一种医用图像处理装置等，其从用x射线ct(computed tomography：计算机断层扫描)装置拍摄的医用图像检测心脏的主动脉瓣周围存在的周边组织的区域，将与主动脉瓣置换的人工瓣的模型图片配置在医用图像内，根据周边组织的区域与人工瓣的模型图片间的距离评价并发症的风险。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2014-200549号公报


技术实现要素：

7.发明要解决的课题
8.但是，专利文献1的发明以基于图像内距离的简单图案匹配来评价并发症的风险，精度未必良好。
9.本发明的一个方面的目的在于提供能够适当地评价并发症风险的程序等。
10.用于解决课题的手段
11.一个方面的程序使计算机执行下述处理：获取将治疗前的患者的管腔器官成像的医用图像，在输入了所述医用图像的情况下，向已学习输出与治疗后可能发生的并发症相关的并发症信息的模型输入所获取的所述医用图像，并输出所述并发症信息。
12.发明效果
13.本发明一个方面能够适当地评价并发症风险。
附图说明
14.图1是示出治疗辅助系统的构成例的说明图。
15.图2是示出务器的构成例的框图。
16.图3是示出对策信息db的记录格式的一例的说明图。
17.图4是示出学习模型的概要的说明图。
18.图5是示出学习模型的详细的说明图。
19.图6是示出并发症信息的显示画面例的说明图。
20.图7是示出学习模型的生成处理的步骤的流程图。
21.图8是示出并发症信息的输出处理的步骤的流程图。
22.图9是示出实施方式2的学习模型的概要的说明图。
23.图10是示出实施方式2的并发症信息的显示画面例的说明图。
24.图11是示出实施方式3的并发症信息的输出处理的步骤的流程图。
具体实施方式
25.以下、基于示出实施方式的附图详细说明本发明。
26.(实施方式1)
27.图1是示出治疗辅助系统的构成例的说明图。在实施方式中，说明基于将实施血管内治疗的患者的血管成像的医用图像输出与治疗后可能发生的并发症相关的并发症信息的治疗辅助系统。治疗辅助系统具有信息处理装置1和图像诊断系统2。信息处理装置1及图像诊断系统2与lan(local area network：局域网)、互联网等网络n通信连接。
28.需要说明的是，在本实施方式中说明血管内治疗的一例，但作为对象的管腔器官不限定于血管，也可以是例如胆管、胰管、支气管、肠等其他管腔器官。
29.图像诊断系统2具有血管内图像诊断装置21、透视图像拍摄装置22及显示装置23。血管内图像诊断装置21是用于对患者的血管内断层像进行成像的装置，例如是进行使用导管211的超声波检查的ivus(intravascular ultrasound：血管内超声)装置。导管211是插入患者的血管内的医用器具，具备发送超声波并接收来自血管内的反射波的成像芯。血管内图像诊断装置21基于由导管211接收的反射波的信号生成超声波断层像(横断层像)，并使显示装置23显示。
30.需要说明的是，在本实施方式中，血管内图像诊断装置21生成超声波断层像，但也可以生成例如使用oct(optical coherence tomography：光学相干断层成像术)、ofdi(optical frequency domain imaging：光学频域成像)等光学方法的光干涉断层像。
31.透视图像拍摄装置22是用于拍摄透射患者体内的透视图像的装置单元，例如是进行血管造影检查的血管造影装置。透视图像拍摄装置22具备x射线源221和x射线传感器222，通过由x射线传感器222接收从x射线源221照射的x射线，从而生成x射线透视图像。例如在导管211的前端安装x射线不透过标记，能够实现与由血管内图像诊断装置21生成的断层像的对位。
32.需要说明的是，以上作为医用图像的一例举出了超声波断层像、光干涉断层像、血管造影图像，但医用图像也可以是计算机断层拍摄(ct)图像、磁共振图像(mri；magnetic resonance imaging)等。
33.信息处理装置1是能够进行多种信息处理、信息收发的信息处理装置，例如是服务器计算机、个人计算机等。在本实施方式中，信息处理装置1是服务器计算机，以下为了简洁而记为服务器1。需要说明的是，服务器1既可以是设置于与图像诊断系统2相同的设施(医院等)的本地服务器，也可以是经由互联网等通信连接的云服务器。服务器1作为基于实施血管内治疗的患者的医用图像(断层像及透视图像)输出与治疗后可能发生的并发症相关的并发症信息的治疗辅助装置发挥功能。具体如后所述，服务器1预先准备学习模型50(参照图4)，该学习模型50进行学习规定的训练数据的机械学习，以医用图像为输入并输出并发症信息。服务器1将治疗对象的患者的医用图像输入学习模型50，从学习模型50获取并发症信息。服务器1将从学习模型50获取的并发症信息输出至图像诊断系统2，并使显示装置23显示。
34.并发症信息是与可能由血管内治疗引起而发生的并发症相关的预测结果，是从并发症防止的观点出发来辅助对患者进行治疗的用户(医疗工作者)的信息。在本实施方式中，以血管内治疗为一例，将可能由使用导管211的pci(percutaneous coronary intervention；经皮的冠动脉形成术)引起而发生的并发症的预测结果作为并发症信息输出。例如，并发症信息除了发生可能性高的并发症的种类、其概率值以外，还包含可能成为并发症发生要因的治疗用设备、其使用条件等、并发症的发生条件的预测结果。治疗用设备例如是留置在血管内的支架或者血管扩张用的球囊等，是插入到患者的血管内的设备。
35.另外，服务器1从医用图像检测并发症可能发生的危险区域，生成表示检测到的危险区域的第2医用图像，使显示装置23显示。危险区域是并发症发生可能性高的血管的相应部位，是医用图像内的特定图像区域。服务器1使用学习模型50从医用图像检测危险区域，生成能够用彩色显示等手段识别出危险区域的第2医用图像，使显示装置23显示。
36.需要说明的是，在本实施方式中，在服务器1中进行使用学习模型50的处理，但服务器1也可以将所构建的学习模型50安装于图像诊断系统2，在本地执行处理。
37.图2是示出服务器1的构成例的框图。服务器1包括控制部11、主存储部12、通信部13及辅助存储部14。
38.控制部11具有一个或多个cpu(central processing unit：中央处理单元)、mpu(micro-processing unit：微处理单元)、gpu(graphics processing unit：图形处理单元)等运算处理装置，通过读取辅助存储部14中存储的程序p并执行来进行多种信息处理、控制处理等。主存储部12是sram(static random access memory：静态随机存取存储器)、dram(dynamic random access memory：动态随机存取存储器)、闪存等临时存储区域，临时存储控制部11执行运算处理所需的数据。通信部13是用于进行与通信相关的处理的通信模块，与外部进行信息收发。
39.辅助存储部14是大容量存储器、硬盘等非易失性存储区域，存储控制部11执行处理所需的程序p、其他数据。另外，辅助存储部14存储学习模型50及对策信息db141。学习模型50是如上所述学习了训练数据的机械学习模型，是以医用图像为输入并输出与治疗后可能发生的并发症相关的并发症信息的模型。设想学习模型50采用构成人工智能软件的程序模块。对策信息db141是保存针对并发症的对策信息的数据库。在本实施方式中，服务器1使用学习模型50进行并发症的预测，并向用户提示针对发生可能性高的并发症的对策信息。
40.需要说明的是，辅助存储部14也可以是与服务器1连接的外部存储装置。另外，服务器1既可以是由多个计算机构成的多计算机，也可以是通过软件假想地构建的虚拟机。
41.另外，本实施方式中服务器1不限于上述构成，例如也可以包含受理操作输入的输入部、显示图像的显示部等。另外，服务器1也可以具备读取cd(compact disk：光盘)、dvd(digital versatile disc：数字化通用盘)、usb(universal serial bus：通用串行总线)存储器等可移动式存储介质1a的读取部，从可移动式存储介质1a读取程序p并执行。或者，服务器1也可以从半导体存储器1b读入程序p。
42.图3是示出对策信息db141的记录格式的一例的说明图。对策信息db141包含并发症id列、并发症名称列、种类列及对策信息列。并发症id存储用于识别可能由血管内治疗引起而发生的各并发症的并发症id。并发症名称列、种类列、对策信息列分别与并发症id建立对应，并存储并发症的名称、种类及对策信息。
43.图4是示出学习模型50的概要的说明图。学习模型50是以图像诊断系统2中成像的医用图像为输入，并输出治疗后可能发生的并发症信息的机械学习模型。服务器1预先进行学习规定的训练数据的机械学习，以事先生成学习模型50。然后，服务器1将从图像诊断系统2所获取的医用图像输入学习模型50，并输出并发症信息。
44.具体来说，如图4所示，学习模型50输入由血管内图像诊断装置21成像的超声波断层像(横断层像)和由透视图像拍摄装置22拍摄的透视图像。然后，学习模型50作为并发症信息输出图4右上方示出的关于各项目推定的推定结果。
45.例如，作为推定项目之一，学习模型50输出多种并发症各自的概率值。服务器1进行以多种并发症的病例数据为训练数据的学习，预先准备推定表示各种并发症发生可能性的概率值的学习模型50。
46.作为推定对象的并发症没有特别限定，作为与pci相伴的并发症的代表例，有出血性并发症、侧枝堵塞及末梢栓塞。出血性并发症包含血管破裂、血管壁解离等。例如，在存在不均匀性的钙化组织的病变部使球囊扩张的情况下，存在发生血管断裂的情况。另外，在有斑块部分使支架扩张的情况下，存在由于支架的边缘而发生血管壁解离、斑块破裂的情况。
47.侧枝堵塞是通过对主干(主枝)进行治疗而使侧枝血管堵塞的并发症。在主干与侧枝分离的分支部进行球囊扩张、支架留置的情况下，存在侧枝的入口部分被压迫而堵塞的情况。
48.末梢栓塞是由于血管内治疗的机械刺激而产生血栓等，使末梢动脉栓塞的并发症。例如在针对不稳定斑块(包含脂质成分、炎症细胞的斑块)进行球囊扩张、支架留置的情况下，存在由于机械刺激而斑块的内容物流出、产生血栓的情况。
49.学习模型50从医用图像推定表示各种并发症发生可能性的概率值并作为并发症信息输出。需要说明的是，上述并发症是一例，作为推定对象的并发症不限定于此。
50.另外，并发症信息包含与并发症的发生条件相关的推定结果。具体来说，学习模型50推定可能成为并发症发生要因的治疗用设备或该治疗用设备的使用条件。如上所述，治疗用设备例如是用于使血管扩张的球囊、留置在血管内的支架等，是插入血管内的设备。需要说明的是，治疗用设备不限定于球囊及支架，例如也可以是用于病变部切除的旋磨器等。
51.如图4右上方所示，例如学习模型50推定并发症发生可能性高的球囊的扩张直径、扩张压力、扩张时间等。需要说明的是，除了使用条件以外，学习模型50还可以推定并发症发生可能性高的治疗用设备自身的信息(例如支架的直径、长度、球囊的种类、长度等)。
52.学习模型50除了输出各种并发症的概率值、发生条件等作为并发症信息以外，还针对所输入的医用图像生成第2医用图像，并作为并发症信息之一输出，其中，该第2医用图像是对并发症可能发生的危险区域进行加工得到的。第2医用图像是示出并发症发生的风险高的图像区域的医用图像，如图4右侧填充部所示，是将危险区域以与其他图像区域不同的显示形态显示的图像。例如，学习模型50生成在黑白表现的断层像及透视图像上重叠有黑白以外的显示颜色的半透明掩膜的断层像及透视图像，并使显示装置23显示。
53.需要说明的是，优选学习模型50按照与危险区域对应的并发症的种类来变更该危险区域的显示形态(显示颜色)。由此，用户能够容易地把握由第2医用图像提示的危险区域与哪个并发症对应。
54.图5是示出学习模型50的详细的说明图。在图5中，示出学习模型50的网络构成的
一例。
55.例如，学习模型50是通过深层学习而生成的神经网络，是以大量卷积层提取输入图像的特征量的cnn(convolutional neural network：卷积神经网络)。学习模型50具备由卷积层和池化层交替连结而成的中间层(隐藏层)，并提取输入图像的特征量(特征量图)，其中，该卷积层对输入图像的像素信息进行卷积，该池化层对卷积得到的像素信息进行映射。学习模型50基于所提取的特征量输出并发症信息。
56.需要说明的是，在本实施方式中，采用学习模型50为cnn来说明，但也可以是例如rnn(recurrent neural network：递归神经网络)等其他神经网络或gan(generative adversarial network：生成对抗网络)、svm(support vector machine：支持向量机)、决策树等其他机械学习模型。
57.本实施方式的学习模型50包括第1编码器51、第2编码器52、分类器53、第1解码器54及第2解码器55。第1编码器51及第2编码器52分别是受理从血管内图像诊断装置21获取的断层像及从透视图像拍摄装置22获取的透视图像的输入的编码器，是利用大量的卷积层提取输入图像的特征量的提取器。第1编码器51及第2编码器52分别进行断层像及透视图像的卷积并提取各图像的特征量。
58.分类器53是基于由第1编码器51及第2编码器52提取的特征量进行分类的分类器，是推定并发症的概率值、发生条件等第2医用图像以外的并发症信息的推定器。例如，服务器1将由第1编码器51及第2编码器52提取的各图像的特征量合成并输入分类器53，推定各种并发症的概率值等。
59.第1解码器54及第2解码器55分别是从断层像及透视图像检测危险区域的检测器，是例如语义分割(u-net等)的解码器。第1解码器54及第2解码器55基于由第1编码器51及第2编码器52提取的特征量以像素单位从断层像及透视图像检测危险区域。
60.语义分割是cnn的一种，是从输入数据生成输出数据的编码器-解码器模型的一种。语义分割除了对输入图像的数据进行压缩的卷积层以外，还具备将压缩得到的特征量映射(放大)为原始图像尺寸的解卷积层(deconvolution layer)。在解卷积层中，基于由卷积层提取的特征量，以像素单位识别图像内哪个物体位于哪个位置，并生成将各像素与哪个物体对应二值化的标签图像。
61.第1解码器54及第2解码器55分别具备大量的解卷积层，关于断层像及透视图像分别示出将危险区域二值化的标签图像。例如，服务器1将由第1编码器51及第2编码器52提取的断层像及透视图像的特征量合成，并分别输入第1解码器54及第2解码器55，生成标签图像。
62.需要说明的是，在本实施方式中，危险区域的检测使用语义分割，但也可以使用例如r-cnn(region cnn：区域cnn)、yolo(you look only once：你只需看一次)等其他物体检测模型。
63.另外，图5中例示的学习模型50的构成是一例，本实施方式并非限定于此。例如，服务器1也可以分别准备用于推定并发症的概率值等的模型和用于检测危险区域的模型。另外，也可以通过将危险区域检测用的模型(语义分割)与概率值等推定用的模型串联连接，并将在先模型中的危险区域的检测结果输入至在后模型，从而将危险区域的检测结果用于并发症的概率值等的推定。像这样，学习模型50的构成能够适当变更。
64.服务器1针对训练用的医用图像，使用以标签数据(元数据)的形式赋予正解的并发症信息的训练数据进行学习。例如，服务器1将治疗后发生并发症的多个患者的数据作为训练数据使用。在训练数据中，针对发生并发症的患者的血管内断层像及透视图像，赋予表示所发生的并发症的种类、发生该并发症时的发生条件(球囊的扩张直径、扩张压力、扩张时间等)及医用图像内的发生并发症的区域(危险区域)的标签数据。
65.需要说明的是，训练数据不仅包含发生并发症的患者的数据，也可以包含未发生并发症的患者的数据。另外，训练数据不限定于实际的患者的数据，也可以是由gan等数据生成机构扩充的假想数据。
66.服务器1将训练用的断层像及透视图像输入第1编码器51及第2编码器52以提取特征量，将所提取的特征量分别输入分类器53、第1解码器54及第2解码器55以输出并发症信息。服务器1将所输出的并发症信息与正解的并发症信息比较，以二者近似的方式对神经元间的权重等参数进行优化。由此，服务器1生成学习模型50。
67.在关于实际治疗对象的患者输出并发症信息的情况下，服务器1从图像诊断系统2获取治疗对象的患者的医用图像，输入至学习模型50并输出并发症信息。具体来说，如图4所示，服务器1按照导管211的扫描从血管内图像诊断装置21获取沿着血管的长度方向连续的多帧断层像，从透视图像拍摄装置22获取断层像生成时拍摄的透视图像。服务器1将多帧断层像输入第1编码器51，将透视图像输入第2编码器52，向显示装置23输出并发症信息。
68.需要说明的是，服务器1也可以将多帧断层像逐张输入学习模型50来处理，但优选将连续的多帧断层像合并输入，能够从多帧断层像推定并发症信息。在该情况下，例如将学习模型50构成为3d-cnn(例如3d u-net)，将多帧断层像处理为以二维原始断层像的坐标为2个轴、以获取各帧断层像的时刻(生成时刻)为1个轴的3维数据。服务器1将规定的单位时间的断层像(例如16帧)作为一组输入学习模型50，从多帧断层像预测并发症信息。
69.或者，服务器1也可以将学习模型50设为将cnn及rnn组合而成的模型，并将存储各帧断层像的特征量的lstm(long-short term memory：长短期记忆)层插入编码器之后，由此能够据多帧断层像的特征量预测并发症信息。通过将连续的多帧断层像合并处理，从而不仅是某一位置的断层像，还考虑其前后位置的断层像，能够提高预测精度。
70.图6是示出并发症信息的显示画面例的说明图。在图6中，示出从服务器1输出的并发症信息的显示画面例。该画面包含并发症一览61、发生条件一览62、对策信息栏63、断层像64及透视图像65。
71.并发症一览61是示出从分类器53输出的各种并发症的概率值的一览表。例如，服务器1判定从分类器53输出的各种并发症的概率值是否为规定的阈值以上。服务器1将判定为阈值以上的并发症的名称(种类)、各并发症的概率值作为并发症一览61输出。
72.发生条件一览62是示出从分类器53输出的并发症的发生条件的一览表。例如，显示装置23针对并发症一览61受理指定输入，该指定输入指定显示发生条件的并发症的名称(种类)。然后，显示装置23将所指定的并发症的发生条件的推定值显示于发生条件一览62。具体来说，显示装置23显示并发症发生可能性高的球囊的扩张直径、扩张压力、扩张时间等。
73.对策信息栏63是显示针对并发症的对策信息的显示栏。例如，显示装置23与发生条件一览62同样地，当在并发症一览61中受理了并发症名称的指定输入时，将所指定的并
发症的对策信息显示于对策信息栏63。
74.对策信息是示出并发症的预防方法的信息，例如是示出对于并发症防止有效的治疗用设备或该治疗用设备的使用方法的信息。服务器1对应于从分类器53输出的并发症信息，从对策信息db141读取概率值高的并发症的对策信息，并向显示装置23输出。例如服务器1输出表示对于并发症防止有效的其他治疗用设备的对策信息，向用户建议并用或换用该设备。
75.需要说明的是，对策信息不仅是并发症的预防方法，也可以是在并发症发生后可能采取的事后处置方法。
76.此外，显示装置23显示由血管内图像诊断装置21生成的断层像64和由透视图像拍摄装置22拍摄的透视图像65。在该情况下，显示装置23以断层像64及透视图像65的形式显示对原始医用图像的危险区域进行了加工的第2医用图像。具体来说，如上所述，显示装置23通过在危险区域重叠半透明掩膜，从而显示以与其他图像区域不同的显示形态表示危险区域的第2医用图像。
77.需要说明的是，在图6中，作为第2医用图像示出二维原始断层像及透视图像，但服务器1也可以重新构成二维原始断层像及透视图像，生成3维原始血管图像并使显示装置23显示。如上所述，服务器1将从血管内图像诊断装置21依次获取的多个断层像(横断层像)和透视图像依次输入学习模型50，生成对危险区域进行了加工的多个断层像和透视图像作为第2医用图像。服务器1对应于用x射线不透过标记等手段检测到的导管211的位置，进行各断层像与透视图像的对位，生成3维原始血管图像。由此，能够将血管内并发症可能发生的危险区域以3维表现并向用户提示。
78.图7是示出学习模型50的生成处理的步骤的流程图。基于图7说明通过机械学习生成学习模型50时的处理内容。
79.服务器1的控制部11获取包含训练用的医用图像和正解的并发症信息的训练数据(步骤s11)。例如，控制部11针对治疗后发生并发症的患者的医用图像获取被赋予标签数据的训练数据，该标签数据表示所发生的并发症的种类、发生条件、医用图像内的发生并发症的区域(危险区域)等。
80.控制部11生成学习模型50，该学习模型50在输入了医用图像的情况下，基于训练数据输出与治疗后可能发生的并发症相关的并发症信息(步骤s12)。例如，如上所述，控制部11生成cnn的神经网络作为学习模型50。控制部11将训练用的医用图像输入学习模型50，并获取并发症信息作为输出。控制部11将输出的并发症信息与正解的并发症信息比较，以二者近似的方式对神经元间的权重等参数进行优化，生成学习模型50。控制部11结束一连串的处理。
81.图8是示出并发症信息的输出处理的步骤的流程图。基于图8说明使用学习模型50输出治疗对象的患者的并发症信息时的处理内容。
82.服务器1的控制部11从图像诊断系统2获取将治疗对象的患者的血管成像得到的医用图像(步骤s31)。控制部11将所获取的医用图像输入学习模型50，推定所设想的多种并发症各自的概率值及发生条件(步骤s32)。
83.另外，控制部11从在步骤s11中获取的医用图像检测并发症可能发生的危险区域(步骤s33)。控制部11除了在步骤s32中推定的各并发症的概率值、发生条件、概率值为阈值
以上的并发症的对策信息等以外，还生成表示在步骤s33中检测到的危险区域的第2医用图像并向显示装置23输出、使之显示(步骤s34)。控制部11结束一连串的处理。
84.需要说明的是，以上作为向学习模型50的输入仅使用了医用图像，但实施方式并非限定于此。例如，除了医用图像以外，服务器1也可以将作为治疗用设备的球囊、支架等信息(支架的直径、长度、球囊的种类、长度等)用于输入。由此，能够根据治疗用设备自身的信息适当地推定使用该设备时并发症可能发生的可能性高的使用条件。此外，例如服务器1也可以将治疗对象的患者的诊疗信息(例如年龄、性别、既往史等)用于输入。像这样，向学习模型50的输入不仅限于图像。
85.如上所述，根据本实施方式1，使用已学习训练数据的学习模型50，由此能够适当地评价并发症风险。
86.另外，根据本实施方式1，输出可能发生的并发症的种类及概率值，由此能够向用户提示发生可能性高的并发症。
87.另外，根据本实施方式1，还输出针对并发症的对策信息，由此能够更好地辅助治疗的实施。
88.另外，根据本实施方式1，输出可能成为并发症要因的治疗用设备、其使用条件(扩张条件)等、并发症的发生条件，由此能够更好地辅助并发症防止。
89.另外，根据本实施方式1，输出表示并发症可能发生的危险区域的第2医用图像，由此能够很好地把握容易发生并发症的部分。
90.(实施方式2)
91.在本实施方式中，说明作为医用图像仅使用血管内断层像的方式。需要说明的是，对于与实施方式1重复的内容标注同一附图标记并省略说明。
92.图9是示出实施方式2的学习模型50的概要的说明图。如图9所示，本实施方式的学习模型50仅将从血管内图像诊断装置21获取的断层像作为医用图像用作输入。具体来说，学习模型50以沿着血管的长度方向连续的多帧断层像为输入，输出并发症的概率值等推定结果和各帧断层像中的危险区域的检测结果。例如，学习模型50从图5中例示的网络构造除去第2编码器52及第2解码器55，仅使用第1编码器51、分类器53及第1解码器54。学习模型50将分类器53及第1解码器54的预测结果作为并发症信息输出。
93.图10是示出实施方式2的并发症信息的显示画面例的说明图。在本实施方式中，显示装置23与实施方式1同样地，显示并发症一览61、发生条件一览62、对策信息栏63及断层像64。另外，显示装置23还显示纵断层像66。
94.纵断层像66是将与长度方向平行的血管的截面成像得到的图像，是截面方向与横断层像正交的断层像。服务器1重新构成由血管内图像诊断装置21生成的多帧横断层像，生成沿着血管的长度方向的纵断层像66并使显示装置23显示。
95.在该情况下，服务器1与断层像64(横断层像)同样地，生成能够识别危险区域的纵断层像66并使显示装置23显示。例如，如图10中填充图示，服务器1生成在与危险区域对应的部分重叠有半透明掩膜的纵断层像66，并使显示装置23显示。
96.例如，服务器1基于作为纵断层像66的源的多个横断层像各自中的危险区域的检测结果，识别纵断层像66中的危险区域。即，服务器1在从连续的多个横断层像检测危险区域的情况下，将与各横断层像对应的纵断层像66的区域识别为危险区域，并重叠半透明掩
膜。服务器1将以能够识别危险区域的方式加工得到的纵断层像66向显示装置23输出并使之显示。
97.除上述方面以外与实施方式1相同，因此在本实施方式中省略流程图等的详细说明。
98.(实施方式3)
99.在本实施方式中，说明从用户受理对从学习模型50输出的并发症信息进行修正的修正输入，并进行基于修正后的并发症信息的再学习的方式。
100.图11是示出实施方式3的并发症信息的输出处理的步骤的流程图。在输出并发症信息后(步骤s34)，服务器1执行以下处理。
101.服务器1的控制部11从用户受理向显示装置23输出的并发症信息的修正输入(步骤s301)。例如，在图6例示的显示画面中，控制部11受理对在并发症一览61、发生条件一览62中显示的各项目的信息进行修正的修正输入。另外，服务器1针对以断层像64、透视图像65的形式显示的第2医用图像，在危险区域的坐标范围与实际不同的情况下，受理指定正确坐标范围的指定输入。
102.在受理并发症信息的修正输入的情况下，控制部11进行以输入至学习模型50的医用图像和修正后的并发症信息为训练数据的再学习，对学习模型50进行更新(步骤s302)。即，控制部11以从学习模型50输出的并发症信息与修正后的并发症信息近似的方式，对神经元间的权重等参数进行更新。控制部11结束一连串的处理。
103.如上所述，根据本实施方式3，能够通过本系统的运用来更新学习模型50，提高并发症信息的推定精度。
104.本次公开的实施方式在各方面均为例示，不应认为是作出限制。本发明的范围并非上述内容，而由权利要求书表示，旨在包含与权利要求书等同的内容及范围内的全部变更。
105.附图标记说明
[0106]1ꢀꢀꢀ
服务器(信息处理装置)
[0107]
1a
ꢀꢀ
可移动式存储介质
[0108]
1b
ꢀꢀ
半导体存储器
[0109]
11
ꢀꢀ
控制部
[0110]
12
ꢀꢀ
主存储部
[0111]
13
ꢀꢀ
通信部
[0112]
14
ꢀꢀ
辅助存储部
[0113]
50
ꢀꢀ
学习模型
[0114]
51
ꢀꢀ
第1编码器
[0115]
52
ꢀꢀ
第2编码器
[0116]
53
ꢀꢀ
分类器
[0117]
54
ꢀꢀ
第1解码器
[0118]
55
ꢀꢀ
第2解码器
[0119]
p
ꢀꢀꢀ
程序
[0120]2ꢀꢀꢀ
图像诊断系统
[0121]
21
ꢀꢀ
血管内图像诊断装置
[0122]
211 导管
[0123]
22
ꢀꢀ
透视图像拍摄装置
[0124]
23
ꢀꢀ
显示装置
[0125]
221 x射线源
[0126]
222 x射线传感器
[0127]
61
ꢀꢀ
并发症一览
[0128]
62
ꢀꢀ
发生条件一览
[0129]
63
ꢀꢀ
对策信息栏
[0130]
64
ꢀꢀ
断层像
[0131]
65
ꢀꢀ
透视图像
[0132]
66
ꢀꢀ
纵断层像