信息处理系统、信息处理装置、信息处理方法及程序与流程

信息处理系统、信息处理装置、信息处理方法及程序
1.基于参照的引入
2.本技术主张2019年7月31日提出申请的美国专利临时申请第62/880,980号的优先权，并通过参照其内容而引入到本技术。
技术领域
3.本发明涉及信息处理系统、信息处理装置、信息处理方法及程序。


背景技术：

4.已知一种能够实施眼科图像解析的眼科信息处理服务器(参照专利文献1)。但是，以往没有考虑根据拍摄了图像的设备或图像解析的委托方等来选择恰当的眼科信息处理服务器。
5.现有技术文献
6.专利文献
7.专利文献1：日本专利第5951086号公报


技术实现要素：

8.成为在本技术中公开的发明的一个技术方案的信息处理系统具有：获取患者的被检眼图像数据的图像获取装置；和能够与上述图像获取装置进行通信且存储上述被检眼图像数据的第1信息处理装置，上述图像获取装置执行第1发送处理，该第1发送处理将包含上述被检眼图像数据、和用于确定对上述被检眼图像数据进行图像诊断的图像诊断装置的附加信息的第1发送数据向上述第1信息处理装置发送，上述第1信息处理装置执行如下处理：存储处理，若从上述图像获取装置接收到上述第1发送数据，则存储上述被检眼图像数据；确定处理，基于上述附加信息确定第1图像诊断装置及第2图像诊断装置中的至少一方，其中该第1图像诊断装置针对上述被检眼图像数据进行第1图像诊断，该第2图像诊断装置针对上述被检眼图像数据进行与上述第1图像诊断不同的第2图像诊断；和第2发送处理，将包含上述被检眼图像数据的第2发送数据向确定出的图像诊断装置发送。
9.成为在本技术中公开的发明的一个技术方案的信息处理系统具有：获取患者的被检眼图像数据的图像获取装置；和能够与上述图像获取装置进行通信且存储上述被检眼图像数据的第1信息处理装置，上述图像获取装置执行第1发送处理，该第1发送处理将包含上述被检眼图像数据、和用于确定对上述被检眼图像数据进行图像诊断的人工智能的附加信息的第1发送数据向上述第1信息处理装置发送，上述第1信息处理装置执行如下处理：存储处理，若从上述图像获取装置接收到上述第1发送数据，则存储上述被检眼图像数据；确定处理，基于上述附加信息确定第1人工智能和第2人工智能中的至少一方，其中该第1人工智能用于进行上述被检眼图像数据的第1图像诊断，该第2人工智能进行上述被检眼图像数据的与上述第1图像诊断不同的第2图像诊断；和第2发送处理，将包含上述被检眼图像数据和确定人工智能的确定信息的第2发送数据向包含上述确定出的人工智能的图像诊断装置发
送。
10.成为在本技术中公开的发明的一个技术方案的信息处理装置具备处理器和存储装置，上述存储装置保持患者的被检眼图像数据、上述被检眼图像数据的附加信息、和附加信息与对上述被检眼图像数据进行图像诊断的图像诊断装置的对应信息，上述处理器基于上述对应信息和上述被检眼图像数据的附加信息确定第1图像诊断装置及第2图像诊断装置中的至少一方，其中该第1图像诊断装置针对上述被检眼图像数据进行第1图像诊断，该第2图像诊断装置针对上述被检眼图像数据进行与上述第1图像诊断不同的第2图像诊断，且上述处理器将包含上述被检眼图像数据的发送数据向确定出的图像诊断装置发送。
11.成为在本技术中公开的发明的一个技术方案的信息处理装置具备处理器和存储装置，上述存储装置保持患者的被检眼图像数据、上述被检眼图像数据的附加信息、和附加信息与对上述被检眼图像数据进行图像诊断的人工智能的对应信息，上述处理器基于上述对应信息和上述被检眼图像数据的附加信息确定第1人工智能和第2人工智能中的至少一方，其中该第1人工智能用于进行上述被检眼图像数据的第1图像诊断，该第2人工智能进行上述被检眼图像数据的与上述第1图像诊断不同的第2图像诊断，且上述处理器将包含上述被检眼图像数据和确定人工智能的确定信息的第2发送数据向包含上述确定出的人工智能的图像诊断装置发送。
12.成为在本技术中公开的发明的一个技术方案的信息处理方法由信息处理装置执行，上述信息处理装置具备处理器和存储装置，上述存储装置保持患者的被检眼图像数据、上述被检眼图像数据的附加信息、和附加信息与对上述被检眼图像数据进行图像诊断的图像诊断装置的对应信息，在上述信息处理方法中，上述处理器基于上述对应信息和上述被检眼图像数据的附加信息确定第1图像诊断装置及第2图像诊断装置中的至少一方，其中该第1图像诊断装置针对上述被检眼图像数据进行第1图像诊断，该第2图像诊断装置针对上述被检眼图像数据进行与上述第1图像诊断不同的第2图像诊断，上述处理器将包含上述被检眼图像数据的发送数据向确定出的图像诊断装置发送。
13.成为在本技术中公开的发明的一个技术方案的信息处理方法由信息处理装置执行，上述信息处理装置具备处理器和存储装置，上述存储装置保持患者的被检眼图像数据、上述被检眼图像数据的附加信息、和附加信息与对上述被检眼图像数据进行图像诊断的人工智能的对应信息，在上述信息处理方法中，上述处理器基于上述对应信息和上述被检眼图像数据的附加信息确定第1人工智能和第2人工智能中的至少一方，其中该第1人工智能用于进行上述被检眼图像数据的第1图像诊断，该第2人工智能进行上述被检眼图像数据的与上述第1图像诊断不同的第2图像诊断，上述处理器将包含上述被检眼图像数据和确定人工智能的确定信息的第2发送数据向包含上述确定出的人工智能的图像诊断装置发送。
14.成为在本技术中公开的发明的一个技术方案的程序是用于使信息处理装置执行信息处理的程序，上述信息处理装置具备处理器和存储装置，上述存储装置保持患者的被检眼图像数据、上述被检眼图像数据的附加信息、和附加信息与对上述被检眼图像数据进行图像诊断的图像诊断装置的对应信息，上述程序使上述处理器执行如下处理：基于上述对应信息和上述被检眼图像数据的附加信息确定第1图像诊断装置及第2图像诊断装置中的至少一方的处理，其中该第1图像诊断装置针对上述被检眼图像数据进行第1图像诊断，该第2图像诊断装置针对上述被检眼图像数据进行与上述第1图像诊断不同的第2图像诊
断；和将包含上述被检眼图像数据的发送数据向确定出的图像诊断装置发送的处理。
15.成为在本技术中公开的发明的一个技术方案的程序是用于使信息处理装置执行信息处理的程序，上述信息处理装置具备处理器和存储装置，上述存储装置保持患者的被检眼图像数据、上述被检眼图像数据的附加信息、和附加信息与对上述被检眼图像数据进行图像诊断的人工智能的对应信息，上述程序使上述处理器执行如下处理：基于上述对应信息和上述被检眼图像数据的附加信息确定第1人工智能和第2人工智能中的至少一方的处理，其中该第1人工智能用于进行上述被检眼图像数据的第1图像诊断，该第2人工智能进行上述被检眼图像数据的与上述第1图像诊断不同的第2图像诊断；以及将包含上述被检眼图像数据和确定人工智能的确定信息的第2发送数据向包含上述确定出的人工智能的图像诊断装置发送的处理。
附图说明
16.图1是表示实施例1中的图像诊断系统的结构例的说明图。
17.图2是表示实施例1中的计算机的硬件结构例的框图。
18.图3是表示实施例1中的管理服务器的功能结构例的框图。
19.图4是表示实施例1中的诊断服务器的功能结构例的框图。
20.图5是表示实施例1中的院内服务器的功能结构例的框图。
21.图6是表示实施例1中的终端的功能结构例的框图。
22.图7是表示实施例1中的图像诊断系统的图像诊断处理的时序图。
23.图8是表示实施例1中的诊断服务器决定处理的一个例子的流程图。
24.图9是表示实施例1中的诊断服务器决定处理的一个例子的流程图。
25.图10是实施例1中的ai选择信息的一个例子。
26.图11是实施例1中的匿名化诊断对象数据的数据结构的一个例子。
27.图12是实施例1中的显示诊断结果的显示画面的一个例子。
28.图13是实施例1中的显示诊断结果的显示画面的一个例子。
29.图14是实施例1中的显示诊断结果的显示画面的一个例子。
30.图15是实施例1中的、显示由多个诊断服务器进行了图像诊断的情况下的诊断结果的显示画面的一个例子。
31.图16是表示实施例2中的图像诊断系统的结构例的说明图。
32.图17是表示实施例2中的图像诊断系统的图像诊断处理的一个例子的时序图。
具体实施方式
33.以下参照附图说明本发明的实施方式。本实施方式只是用于实现本发明的一个例子，应注意到本实施方式并不限定本发明的技术范围。在各图中针对共通的结构标注相同的附图标记。
34.实施例1
35.图1是表示实施例1的图像诊断系统的结构例的说明图。图像诊断系统包含管理服务器100、诊断服务器201、诊断服务器202和诊断服务器203。另外，图像诊断系统包含设置于例如医院、诊所或体检中心等的院内服务器300、终端400及拍摄设备500。院内服务器
300、终端400及拍摄设备500分别经由网络连接。
36.拍摄设备500是拍摄眼底的眼科装置，能够列举眼底相机(fundus camera)、扫描型激光检眼镜(scanning laser ophthalmoscope)或光学相干层析成像仪(optical coherence tomography)等。拍摄设备500与终端400连接。拍摄设备500拍摄患者的被检眼，生成被检眼的右眼和左眼的眼底图像数据。所生成的眼底图像数据向终端400发送。
37.另外，眼底图像数据可以为由眼底相机拍摄到的眼底图像数据、基于扫描型激光检眼镜拍摄到的眼底的眼底图像数据和基于光学相干层析成像仪拍摄到的眼底的断层数据中的某一种。或者也可以为它们中的两种以上的组合即眼底图像数据集。眼底图像数据是被检眼图像数据的一个例子。
38.作为图像获取装置的一个例子的终端400是医生或眼科设备的操作员等利用的pc(personal computer，个人计算机)或平板等计算机。终端400与院内服务器300连接。终端400将包含眼底图像数据和附加信息的作为第1发送数据的一个例子的数据向院内服务器300发送。
39.此外，附加信息包含如下信息中的某一种或其组合：与拍摄设备500的性能和规格相关的设备信息；包含利用该终端400的医院或诊所的诊疗科(眼科、内科或糖尿病内科等)、诊断项目的费用和医生的名称等在内的设施信息；以及包含诊断模式和诊断对象的病名等在内的诊断类别信息。包含拍摄设备500的拍摄图像(被检眼图像)的视场角、形式(modality)及分辨率以及拍摄设备500的型号和终端id等在内的图像的属性信息是该设备信息的一个例子。形式是表示拍摄设备500的种类(例如眼底相机、扫描型激光检眼镜、光学相干层析成像仪等)或作为拍摄设备500拍摄的医用图像的图像种类(例如通过红色激光或近红外激光拍摄到的眼底图像或血管造影图像等)的信息。另外，利用终端400的医生及医院的名称、设置有终端的场所(眼科、内科、糖尿病内科等诊疗科的信息、与眼镜店或体检中心等设施相关的信息)等是该设施信息的一个例子。
40.作为图像获取装置的一个例子的院内服务器300具有保持患者信息的患者信息db(database，数据库)310，将从终端400接收到的患者信息保存于患者信息db310。院内服务器300经由网络与管理服务器100连接。院内服务器300将作为第1发送数据的一个例子的诊断对象数据向管理服务器100发送，该诊断对象数据包含从终端400接收到的患者信息、眼底图像数据及附加信息。此外，诊断对象数据中的患者信息的一部分或全部以及附加信息的一部分或全部也可以由院内服务器300生成。
41.作为第1信息处理装置的一个例子的管理服务器100生成作为第2发送数据的一个例子的匿名化诊断对象数据，该匿名化诊断对象数据是从院内服务器300接收到的诊断对象数据的一部分信息(例如患者信息)被匿名化后的诊断对象数据。管理服务器100经由网络与诊断服务器201、诊断服务器202及诊断服务器203连接。管理服务器100基于附加信息，对于进行匿名化诊断对象数据所包含的眼底图像数据的图像诊断的诊断服务器选择诊断服务器201、诊断服务器202和诊断服务器203中的某一个，并向所选择出的诊断服务器发送该匿名化诊断对象数据。
42.均作为图像诊断装置的一个例子的诊断服务器201～203分别搭载进行针对眼底图像数据的图像诊断的ai(artificial intelligence，人工智能)。搭载于诊断服务器201～203的ai1、ai2、ai3的功能(算法)各不相同(对此将在后叙述)。接收到匿名化诊断对象数
据的诊断服务器针对匿名化诊断对象数据所包含的眼底图像数据，使用所搭载的ai进行图像诊断。诊断结果被加密，经由管理服务器100被向院内服务器300及终端400发送。
43.以下，说明诊断服务器201～203各自的一个例子。在此，各ai设为对象的眼底图像和所诊断的病名是一个例子，各种眼底图像和所诊断的病名能够进行组合。
44.作为图像诊断装置的一个例子的诊断服务器201是将由作为第1视场角的一个例子的窄视场角(将眼球中心设为起点视场角为30～100(小于)度)的拍摄设备500拍摄到的眼底图像设为对象、且搭载有进行糖尿病视网膜病变的诊断的ai221的诊断服务器。在附加信息中的设备信息为表示窄视场角的信息的情况下，管理服务器100将匿名化诊断对象数据向诊断服务器201发送。
45.诊断服务器202是将由均作为第2视场角的一个例子的广视场角(将眼球中心设为起点视场角大于等于100度～小于200度)、或超广角(将眼球中心设为起点视场角大于等于200度)的拍摄设备500拍摄到的眼底图像设为对象、且搭载有进行糖尿病视网膜病变的诊断的ai222的诊断服务器。在附加信息中的设备信息是表示广视场角、且诊断模式是表示糖尿病视网膜病变的信息的情况下，管理服务器100将匿名化诊断对象数据向诊断服务器202发送。
46.并且，诊断服务器203是将由超广角(将眼球中心设为起点视场角大于等于200度)的拍摄设备500拍摄到的眼底图像设为对象、且搭载有不仅能够诊断糖尿病视网膜病变还能够诊断各种眼底疾患的ai223的诊断服务器。在附加信息的设备信息表示超广角、且设施信息表示眼科医生的情况下，管理服务器100将匿名化诊断对象数据向诊断服务器203发送。
47.图2是表示分别构成管理服务器100、诊断服务器、院内服务器300及终端400的计算机的硬件结构例的框图。计算机600例如具有处理器(cpu)601、存储设备602、输入设备603、输出设备604及通信i/f(interface，接口)605，它们相互通过内部信号线606而被连接。
48.处理器601执行保存于存储设备602的程序。存储设备602包含存储器。存储器包含作为非易失性的存储元件的rom及作为易失性的存储元件的ram。rom保存不变的程序(例如bios)等。ram是dram(dynamic random access memory，动态随机存储器)那样的高速且易失性的存储元件，暂时保存处理器601执行的程序以及在程序执行时所使用的数据。
49.另外，存储设备602包含辅助存储装置。辅助存储装置例如是磁存储装置(hdd)、闪存(ssd)等大容量且非易失性的存储装置，保存处理器601所执行的程序以及在程序执行时所使用的数据。即，程序被从辅助存储装置读出，加载于存储器，由处理器601执行。
50.输入设备603是例如键盘、鼠标那样的接受来自操作员的输入的接口。输出设备604例如是显示器或打印机那样的将程序的执行结果以操作员能够视觉确认的形式输出的设备。此外，也可以如触摸面板装置那样将输入设备603和输出设备604一体化。通信i/f605是遵照规定的协议控制与其他装置之间的通信的网络接口装置。
51.处理器601所执行的程序经由可移动媒体(cd-rom、闪存等)或网络被提供给计算机600，并保存于作为非暂时存储介质的非易失性的辅助存储装置。因此，计算机600可以具有从可移动媒体读入数据的接口。
52.此外，管理服务器100、诊断服务器、院内服务器300及终端400分别是物理上在一
个计算机600上、或者在逻辑上或物理上构成的多台计算机600上构成的计算机系统，可以在同一计算机600上以不同的线程工作，也可以在构建在多个物理计算机资源上的假想计算机上工作。
53.图3是表示管理服务器100的功能结构例的框图。管理服务器100包含匿名化处理部101、ai选择部102、显示画面生成部103及诊断结果数据生成部104。匿名化处理部101将从院内服务器300发送来的诊断对象数据所包含的患者信息匿名化。ai选择部102基于诊断对象数据所包含的附加信息，选择针对诊断对象数据所包含的眼底图像数据进行图像诊断的ai。
54.显示画面生成部103生成显示于输出设备604的画面信息。诊断结果数据生成部104将从诊断服务器接收到的、加密后的诊断结果解密，并生成示出诊断结果的显示画面(图12、图13、图14)，将该显示画面的信息向院内服务器300发送。
55.此外，管理服务器100所包含的功能部通过实现管理服务器100的计算机600的处理器601而实现。具体而言，处理器601通过遵照存储设备602所包含的存储器中加载的匿名化处理程序而工作，从而作为匿名化处理部101发挥功能，并通过遵照存储设备602所包含的存储器中加载的ai选择程序而工作，从而作为ai选择部102发挥功能。关于管理服务器100所包含的其他功能部及其他装置所包含的功能部也是同样地，通过处理器601遵照加载于存储器的程序工作而被实现。
56.管理服务器100保持ai选择信息110。ai选择信息110保持附加信息与诊断服务器201、诊断服务器202及诊断服务器203的对应信息。另外，如后述那样由于ai221、ai222及ai223分别包含不同的图像诊断模型，所以也可以说ai选择信息110包含附加信息与图像诊断模型的对应信息。在ai选择信息110中，通过记述基于一种以上的附加信息的值的条件分支，而确定了与附加信息相对应的ai。另外，在ai选择信息110中，一种以上的附加信息的值(或值的范围)与ai220的对应也可以以表形式记述。
57.ai选择信息110保存于实现管理服务器100的计算机600的存储设备602所包含的辅助存储装置。此外，关于其他装置所保持的信息和db也是同样地，保存于实现该其他装置的计算机600的存储设备602所包含的辅助存储装置。
58.此外，在本实施方式中，图像诊断系统所包含的各装置所使用的信息不依存于数据结构，无论以怎样的数据结构表现均可。例如从表、列表、数据库或队列适当选择出的数据结构体能够保存信息。各种信息存储保持于非易失性的存储器等。
59.图4是表示诊断服务器201的功能结构例的框图。诊断服务器201、诊断服务器202及诊断服务器203的功能结构仅ai功能不同，其他结构(显示画面生成部、管理部等成为同样的功能)相同。因此，说明诊断服务器201的功能结构。
60.诊断服务器201例如包含图像诊断部2011、学习信息管理部2021、诊断图像生成部2031及管理部2041。另外，诊断服务器201保持学习db2101及图像诊断模型2111。学习db2101是用于构建图像诊断模型2111的db。图像诊断模型2111是若输入图像数据则输出诊断结果的模型，是将由窄视场角(将眼球中心设为起点视场角为30～100(小于)度)的拍摄设备500拍摄到的眼底图像作为对象、且将糖尿病视网膜病变的症状的等级作为诊断结果输出的模型。在本实施方式中糖尿病视网膜病变的症状等级设为五个阶段的国际病症度分类。
61.通过图像诊断部2011、学习信息管理部2021、学习db2101及图像诊断模型2111实现了ai221。图像诊断部2011针对从管理服务器100接收到的匿名化诊断对象数据所包含的眼底图像数据，执行使用了图像诊断模型2111的图像诊断。
62.学习信息管理部2021将匿名化诊断对象数据所包含的被检眼图像数据及图像诊断结果作为用于ai的学习数据保存于学习db210，更新学习db210。学习信息管理部2021通过基于更新后的学习db2101的学习来更新(例如优化)图像诊断模型2111。
63.诊断图像生成部2031生成将示出病变位置的标记和/或病名的文字等重叠到诊断后的眼底图像上得到的诊断完毕眼底图像。管理部2041对ai221进行管理。诊断完毕眼底图像与诊断结果一起被向管理服务器100发送。
64.此外，诊断服务器201也可以不具有图像诊断模型2111的学习功能。也就是说，诊断服务器201也可以不进行图像诊断模型2111的更新而是在将预先确定的图像诊断模型2111固定的状态下持续执行图像诊断。在该情况下，诊断服务器201也可以不具有学习信息管理部2021及学习db2101。
65.诊断服务器202及诊断服务器203具有与诊断服务器201不同的图像诊断模型，除了这一方面以外，均具有与诊断服务器201相同的结构。
66.诊断服务器202所保持的图像诊断模型是若输入了图像数据则输出诊断结果的模型，是将由广视场角(将眼球中心设为起点视场角大于等于100度～小于200度)或超广角(将眼球中心设为起点视场角大于等于200度)的拍摄设备500拍摄到的眼底图像作为对象、且将糖尿病视网膜病变的症状等级作为诊断结果输出的模型。
67.诊断服务器203所保持的图像诊断模型是若输入了图像数据则输出诊断结果的模型，是将由超广角(将眼球中心设为起点视场角大于等于200度)的拍摄设备500拍摄到的眼底图像作为对象、且不仅输出糖尿病视网膜病变的诊断结果而且输出各种眼底疾患的诊断结果的模型。
68.此外，诊断服务器202及诊断服务器203的图像诊断部、学习信息管理部及学习db适合于自身所保持的图像诊断模型。
69.图5是表示院内服务器300的功能结构例的框图。院内服务器300例如包含匿名化处理部301、患者信息管理部302及显示画面生成部303。另外，院内服务器300保持患者信息db310。
70.匿名化处理部301将诊断对象数据所包含的患者信息匿名化。患者信息管理部302将诊断对象数据所包含的患者信息保存于患者信息db310，从患者信息db310获取患者信息并将其附加于诊断对象数据。显示画面生成部303生成显示于输出设备604的画面信息。患者信息db310保持患者的信息。
71.图6是表示终端400的功能结构例的框图。终端400包含诊断对象数据生成部401、附加信息获取部402及显示画面生成部403。诊断对象数据生成部401生成包含患者信息、附加信息和被检眼图像数据的诊断对象数据。附加信息获取部402获取用于选择ai(或具有适于诊断的ai的诊断服务器)的附加信息。显示画面生成部403生成显示于输出设备604的画面信息。
72.图7是表示实施例1的图像诊断系统的图像诊断处理的时序图。在图7的例子中，基于拍摄设备500的设备信息等，选择进行眼底图像的图像诊断的诊断服务器。
73.首先，终端400的诊断对象数据生成部401经由输入设备603受理患者信息的输入(s701)。识别患者的id以及患者的年龄、性别、住所、病历、药历及问诊结果等均为患者信息的一个例子。此外，关于已经在患者信息db310中录入了信息的患者，只要受理识别患者的id的输入，就能够省略其他患者信息的输入。
74.诊断对象数据生成部401获取从拍摄设备500发送来的该患者的两眼的眼底图像数据(s702)。此外，在本实施方式中，可以获取两眼的眼底图像数据，也可以仅获取左眼或右眼单眼的眼底图像数据。诊断对象数据生成部401生成表示眼底图像数据是两眼的数据、是仅右眼的数据、还是仅左眼的数据的左右眼标志。诊断对象数据生成部401也可以从拍摄设备500以外的设备获取眼底图像数据。
75.接着，附加信息获取部402获取附加信息(s703)。具体而言，例如附加信息获取部402作为附加信息从拍摄设备500获取设备信息，或受理利用终端400的医院或医生的诊疗科等的输入。
76.此外，这些附加信息也可以预先保存于终端400的存储设备602。另外，例如也可以是拍摄设备500将设备信息作为元数据嵌入于该眼底图像数据，附加信息获取部402从该眼底图像数据获取该设备信息。
77.接着，诊断对象数据生成部401将包含患者信息、眼底图像数据、左右眼标志及附加信息的诊断对象数据经由院内服务器300向管理服务器100发送(s704)。此外，院内服务器300的患者信息管理部302将从终端400接收到的患者信息保存于患者信息db310。
78.此外，在从终端400接收到的患者信息存在欠缺的情况下，患者信息管理部302也可以参照患者信息db310获取患者信息来进行补充。具体而言，例如在从终端400接收到的患者信息仅为识别患者的id的情况下，患者信息管理部302从患者信息db310获取与该id相对应的患者信息，并将包含获取到的患者信息在内的诊断对象数据向管理服务器100发送。
79.接着，管理服务器100的匿名化处理部101针对接收到的诊断对象数据所包含的患者信息实施基于规定算法的匿名化处理(s705)。作为匿名化处理，是将患者id匿名化(替换成眼底图像数据所固有的id)、或删除姓名、病名等患者的个人信息等的处理。此外，匿名化处理部101也可以仅将一部分的患者信息(例如仅与隐私相关的敏感信息)匿名化。另外，针对患者信息的匿名化处理也可以在向管理服务器100发送诊断对象数据之前，例如通过院内服务器300的匿名化处理部301预先执行。
80.管理服务器100的ai选择部102基于ai选择信息110和接收到的诊断对象数据所包含的附加信息，从诊断服务器201、诊断服务器202及诊断服务器203中选择至少一个，并将包含匿名化后的患者信息、眼底图像数据、左右眼标志和附加信息的匿名化诊断对象数据(参照后述的图11)向选择出的诊断服务器(在此设为诊断服务器201被选择出)发送(s706)。步骤s706的详情将在后叙述。
81.此外，ai选择部102也可以在使用加密密钥将匿名化诊断对象数据加密的基础上向选择出的诊断服务器201发送，在该情况下，诊断服务器201具有与该加密密钥相对应的解密密钥，在后述的步骤s707中首先利用该解密密钥将匿名化诊断对象数据解密。
82.接着，接收到匿名化诊断对象数据的诊断服务器201的图像诊断部2011使用以狭角眼底图像为对象进行糖尿病视网膜病变的诊断的图像诊断模型2111，执行针对接收到的匿名化诊断对象数据所包含的眼底图像数据的图像诊断(s707)。
83.诊断服务器201的学习信息管理部2021通过将眼底图像数据作为学习数据保存于学习db2101而更新学习db2101，并基于更新后的学习db2101更新图像诊断模型2111(s708)。此外，学习信息管理部2021也可以还将匿名化患者信息和附加信息一起作为学习数据保存于学习db2101。
84.接着，管理部2041生成至少包含匿名化后的患者信息和图像诊断结果的图像诊断结果数据。使用诊断服务器201所保持的加密密钥，将图像诊断结果加密，并生成加密图像诊断结果，向管理服务器100发送(s709)。在图像诊断结果数据中也可以包含将示出病变位置的标记和/或病名的文字等重叠到诊断出的眼底图像上得到的诊断完毕眼底图像。
85.接着，管理服务器100的诊断结果数据生成部104使用管理服务器100所保持的解密密钥将接收到的加密图像诊断结果解密(s710)。另外，诊断结果数据生成部104将匿名化了的患者信息复原。并且，将解密后的图像诊断结果与匿名化前的该患者的患者信息建立关联。
86.接着，诊断结果数据生成部104生成表示包含作为诊断结果的糖尿病视网膜病变的等级的诊断结果的显示画面(图12)，并赋予患者id后保存于未图示的存储器。
87.在管理服务器100从诊断服务器202接收到加密图像诊断结果的情况下，诊断结果数据生成部104生成表示诊断结果的显示画面(图13)。在管理服务器100从诊断服务器203接收到加密图像诊断结果的情况下，诊断结果数据生成部104生成表示诊断结果的显示画面(图14)。
88.接着，诊断结果数据生成部104将表示诊断结果的显示画面与患者信息建立关联，并向院内服务器300发送(s711)。院内服务器300的显示画面生成部303将基于表示接收到的诊断结果的显示画面和患者信息的显示画面显示于院内服务器300的输出设备604(s712)。此外，也可以是终端400从院内服务器300获取该图像诊断结果和该患者信息，且终端400的显示画面生成部403将基于表示该诊断结果的显示画面和该患者信息的显示画面显示于终端400的输出设备604。
89.此外，也可以是管理服务器100的显示画面生成部103基于图像诊断结果和患者信息生成显示画面的信息并将该信息向院内服务器300发送，院内服务器300及终端400遵照该生成的信息将显示画面显示出。
90.图8是表示步骤s706的诊断服务器决定处理的一个例子的流程图。在图8的例子中，基于附加信息所包含的视场角信息，决定发送匿名化诊断对象数据的诊断服务器。首先，管理服务器100的ai选择部102从诊断对象数据获取包含视场角信息的附加信息(s801)。
91.ai选择部102判断视场角信息所示的视场角是否为广视场角(s802)。具体而言，在视场角信息示出具体的角度的情况下，若角度为规定值(例如100度)以上则判断成是广视场角，若小于该规定值则判断成不是广视场角(为窄视场角)。
92.另外，例如管理服务器100也可以保持各拍摄设备500的设备信息。具体而言，该设备信息是将各拍摄设备500的型号、终端id和视场角、分辨率等建立对应后进行定义的查找表。在该情况下，ai选择部102也可以从附加信息获取拍摄设备500的型号或终端id，并参照该设备信息，判断该型号或终端id所示的拍摄设备500的视场角是否为广视场角。
93.ai选择部102在判断成视场角信息所示的视场角为广视场角的情况下(s802：是)，
向诊断服务器202发送匿名化诊断对象数据(s803)，在判断成不是广视场角的情况下(s802：否)，向诊断服务器201发送匿名化诊断对象数据(s804)，结束步骤s705的处理。
94.在图8中，设为搭载于诊断服务器202的ai能够高精度地进行针对以广视场角拍摄到的眼底图像的图像诊断，搭载于诊断服务器201的ai能够高精度地进行针对以窄视场角拍摄到的被检眼图像的图像诊断。由此ai选择部102能够根据被检眼图像的拍摄视场角选择恰当的诊断服务器。
95.此外，在图8中，ai选择部102判断视场角信息所示的视场角是否为广视场角，并从两个诊断服务器201和诊断服务器202选择出发送目的地的诊断服务器。另外，ai选择部102也可以判断视场角信息所示的视场角与三个以上的视场角的区间中的哪个区间相符，并参照ai选择信息110，选择与该区间相对应的诊断服务器。
96.另外，在图8中，虽然是遵照视场角选择诊断服务器，但也可以使用附加信息所包含的其他要素选择诊断服务器。例如，也可以使用附加信息所包含的设施信息(利用终端400的医生及医院的名称、设置有终端400的场所(眼科、内科、糖尿病内科等诊疗科信息、与眼镜店、体检中心等设施相关的信息)、设置有终端400的医院或诊所中的诊断项目的费用等)，由ai选择部102判断诊断服务器。
97.此时，例如若诊疗科信息为眼科则ai选择部102选择诊断服务器203，若诊疗科信息为内科则选择诊断服务器201。另外，例如若诊断项目的费用为规定值以上则ai选择部102选择诊断服务器202或诊断服务器203，若诊断项目的费用小于该规定值则选择诊断服务器201。
98.另外，设为存在搭载高精度地诊断特定疾患(例如糖尿病视网膜病变)的发病症状的ai的诊断服务器201及综合地诊断多种疾病的发病症状的诊断服务器203。假设附加信息包含表示诊断对象的疾病的信息。此时，例如若附加信息所示的诊断对象的疾病为该特定的疾患则ai选择部102选择诊断服务器201，若附加信息所示的诊断对象的疾病不是特定的病名而是综合诊断则选择诊断服务器203。
99.另外，例如设为搭载针对由眼底相机拍摄到的被检眼图像高精度地进行图像诊断的ai的诊断服务器201、搭载针对由扫描型激光检眼镜拍摄到的被检眼图像高精度地进行图像诊断的ai的诊断服务器202。假设附加信息包含表示形式的信息。此时，例如若附加信息所示的形式为眼底相机则ai选择部102选择诊断服务器201，若附加信息所示的形式为扫描型激光检眼镜则选择诊断服务器202。
100.像这样，ai选择部102能够基于附加信息从多个诊断服务器选择搭载最适合的ai的诊断服务器。由此，用户不会因诊断服务器的选择而犹豫及/或烦恼，能够将眼底图像数据向恰当的诊断服务器发送。
101.图9是表示步骤s706的诊断服务器决定处理的其他例子的流程图。在图9中，基于附加信息所包含的多种信息(视场角信息及诊疗科信息)，决定发送匿名化诊断对象数据的诊断服务器。也就是说，设为视场角信息和诊疗科信息包含于附加信息。说明与图8的不同点。
102.ai选择部102在判断成视场角信息所示的视场角为广视场角的情况下(s802：是)，判断诊疗科信息所示的诊疗科是眼科还是内科(s901)。ai选择部102在判断成诊疗科信息所示的诊疗科是眼科的情况下(s901：眼科)，向诊断服务器203发送匿名化诊断对象数据
(s803)，在判断成是内科的情况下(s901：内科)，向诊断服务器202发送匿名化诊断对象数据(s902)，结束步骤s705的处理。
103.在图9中，设为搭载于诊断服务器202的ai能够针对以广视场角拍摄到的眼底图像数据高精度地进行特定疾患(例如糖尿病视网膜病变)的症状等级等的详细诊断。另外，设为搭载于诊断服务器201的ai能够针对以窄视场角拍摄到的眼底图像数据高精度地进行图像诊断。另外，设为搭载于诊断服务器203的ai能够针对以广视场角拍摄到的眼底图像数据高精度地诊断多种疾病的发病症状。
104.由此ai选择部102能够根据被检眼图像的拍摄视场角、和设置有终端400的医院或利用终端400的医生的诊疗科，选择恰当的诊断服务器。也就是说，能够基于附加信息所包含的多种信息(视场角信息及诊疗科信息)向恰当的诊断服务器发送眼底图像数据。
105.此外，虽然在图9中针对以窄视场角拍摄到的眼底图像数据是将其全部发送到诊断服务器201，但针对以窄视场角拍摄到的被检眼图像数据，也可以进一步添加基于附加信息的条件分支而从多个不同的诊断服务器选择发送目的地的诊断服务器。
106.另外，虽然在图9中是使用两种附加信息从多个诊断服务器选择出一个特定的诊断服务器，但能够根据搭载于诊断服务器的ai各自的特性任意地设计附加信息与诊断服务器的对应。例如，也可以使用三种以上的附加信息，能够通过使用了多种附加信息的任意条件分支来决定诊断服务器。
107.图10是ai选择信息110的一个例子。在图10的例子中，附加信息与诊断服务器的对应被以表形式记述。ai选择信息110例如包含记录编号栏1101、附加信息栏1102及诊断服务器id栏1103。记录编号栏1101保持识别ai选择信息110的记录的编号。附加信息栏1102保持一种以上的附加信息的要素(视场角信息、形式信息、诊疗科信息、分辨率信息等)。诊断服务器id栏1103保持识别与附加信息的组合相对应的匿名化诊断对象数据的发送目的地即诊断服务器的id。
108.例如，ai选择部102在步骤s706中获取附加信息，向具有在图10的表中与该获取到的附加信息相对应的诊断服务器id的诊断服务器发送匿名化诊断对象数据。此外，图8及图9那样的条件分支也可以通过图10那样的表形式记述。
109.图11是从管理服务器100向诊断服务器发送的匿名化诊断对象数据的数据结构的一个例子。匿名化诊断对象数据例如包含头部701、dicom(digital imaging and communications in medicine，医学数字图像与通信协议)数据702、用户数据703及眼底图像数据704。
110.在头部701中记述有数据的发送源及发送目的地等信息、数据的类别(医疗图像、文件、电子邮件等数据类别)。在dicom数据702中记述有例如由拍摄设备500拍摄到的医疗图像的格式、对包含拍摄设备500在内的医用设备间的通信协议进行定义的信息等。
111.用户数据703例如包含诊断类别标志、左右眼标志、匿名化患者信息及附加信息。诊断类别标志是表示通过由ai选择部102选择出的诊断服务器诊断的病名(识别糖尿病视网膜病变、年龄相关性黄斑变性及所有的眼底疾患等的值)的标志。左右眼标志是表示眼底图像数据704是右眼的图像数据、是左眼的图像数据还是两眼的图像数据的标志(例如l、r或lr中的某一个值)。此外，关于附加信息中的拍摄设备500的终端id、形式等也能够记述在dicom数据702中的内容，也可以仅记述在dicom数据702内。
112.图12是显示基于诊断服务器201诊断出的诊断结果的显示画面的一个例子。图12是针对以窄视场角拍摄到的被检眼图像(眼底图像)数据进行了糖尿病视网膜病变的症状等级的诊断的情况下的显示画面(画面布局)。
113.显示画面包含患者信息显示区域1201、ai信息显示区域1202、附加信息显示区域1203及诊断结果显示区域1204。患者信息显示区域1201例如显示图像诊断数据所包含的患者信息。ai信息显示区域1202例如显示进行了图像诊断的诊断服务器的id及进行了图像诊断的ai的id(或版本编号)。附加信息显示区域1203例如显示诊断对象数据所包含的附加信息的一部分(视场角、分辨率、诊断类别等)或全部。
114.诊断结果显示区域1204显示示出基于诊断服务器诊断出的眼底图像数据的诊断结果的信息。在图12的例子中，两眼的眼底图像、示出两眼的糖尿病视网膜病变的五个阶段的症状等级的长方形条和两眼的观察结果被显示于诊断结果显示区域1204。
115.在图12的例子中，在长方形条的右侧显示有右眼的图像和示出右眼中的糖尿病视网膜病变的症状等级的朝右的箭头(指向标)，在长方形条的左侧显示有左眼的图像和示出左眼中的糖尿病视网膜病变的症状等级的朝左的箭头。由此，用户仅看一眼诊断结果显示区域1204就能够掌握两眼的糖尿病视网膜病变的症状等级及症状等级的差异。另外，诊断结果显示区域1204中的观察结果由诊断服务器的ai生成。也可以是能够由终端400的用户输入及编辑该观察结果。
116.图13是显示基于诊断服务器202诊断出的诊断结果的显示画面的一个例子。图13是针对以广视场角拍摄到的广角眼底图像数据进行了糖尿病视网膜病变的症状等级的诊断的情况下的显示画面。若患上糖尿病视网膜病变，则作为初期症状会在眼底的周边部产生异常，然后异常会向中心部蔓延。通过以广视场角拍摄眼底，能够得到不仅包含眼底的中心部还包含周边部的广角眼底图像数据。因此，进行以广视场角拍摄到的广角眼底图像的图像诊断的ai不仅能够执行对当前的糖尿病视网膜病变的症状等级的推测，而且能够执行考虑了眼底的周边部的状态的对将来的症状等级的预测。
117.因此，在图13的例子中的诊断结果显示区域1204中，除了示出当前的两眼的糖尿病视网膜病变的五个阶段的症状等级的长方形条以外，还显示有示出将来的两眼的糖尿病视网膜病变的症状等级的长方形条。另外，在诊断结果显示区域1204的观察结果中记载有将来(在图13中设为1年后，但也可以为三个月后、半年后等)的预测状态。
118.此外，虽然在图13的例子中是将当前的症状等级和将来的症状等级显示于诊断结果显示区域1204，但也可以将眼底的中央部处的当前的症状等级和周边部处的当前的症状等级显示于诊断结果显示区域1204。
119.图14是显示基于诊断服务器203诊断出的诊断结果的显示画面的一个例子。图14是针对以广视场角拍摄到的广角眼底图像数据进行了多种疾病的诊断的情况下的显示画面。作为多种疾病，其中之一为糖尿病视网膜病变。这与图13的糖尿病视网膜病变的诊断结果显示相同。在图14中进一步显示针对疾病2和疾病3的示出症状的类别和恶化度的长方形条和箭头(指向标)。疾病2和疾病3是年龄相关性黄斑变性、视网膜脱离等能够由诊断服务器203的ai223判别的眼底疾患。
120.以下说明显示诊断结果的显示画面的变形例。
121.在进行了虽然能够诊断疾病有无发病症状、但无法确定关于该疾病的症状等级的
图像诊断的情况下，也可以在诊断结果显示区域1204显示示出被推测出发病症状的疾病的信息。
122.在这样的情况下，在诊断结果显示区域1204还可以进一步显示推荐基于具有能够诊断被推测出发病症状的疾病的具体症状等级的ai的诊断服务器进行图像诊断的消息。
123.另外，管理服务器100也可以保持疾病与搭载能够诊断该疾病的症状等级的ai的诊断服务器的对应信息。在该情况下，管理服务器100若从院内服务器300受理了遵照该消息进行图像诊断的命令，则参照该对应信息，从能够进行发送的诊断服务器中确定一个搭载能够诊断该疾病的症状等级的ai的诊断服务器。并且，管理服务器100可以将表示该诊断服务器的信息向院内服务器300发送并使其显示，也可以针对该诊断服务器再次发送匿名化诊断对象数据并委托进行图像诊断。
124.另外，设为图像诊断系统包含搭载针对分辨率低的(例如小于规定值的第1分辨率的)图像进行图像诊断的ai(设为ai a)的诊断服务器、和搭载针对分辨率高的(例如大于等于该规定值的第2分辨率的)图像进行图像诊断的ai(设为ai b)的诊断服务器(两个ai)。此时，在基于ai a诊断出的诊断结果中诊断成眼底具有异常的情况下，也可以在诊断结果显示区域1204中显示推荐使用分辨率更高的眼底图像数据进行基于ai b的图像诊断的消息。或者，也可以显示推荐以分辨率更高的眼底图像数据进行拍摄的消息。
125.此外，也可以将匿名化诊断对象数据向多个诊断服务器发送，即可以通过图像诊断模型不同的ai进行眼底图像数据的图像诊断。图15是显示通过多个诊断服务器进行了图像诊断的情况下的诊断结果的显示画面的一个例子。图15是针对以广视场角拍摄到的广角眼底图像数据进行的糖尿病视网膜病变的症状等级的诊断由两个诊断服务器进行的情况下的显示画面的一个例子。另外，设为示出基于这两个诊断服务器诊断出的诊断结果的症状等级的分类及分类数不同。
126.在该情况下，例如如图15那样诊断结果显示区域1204显示第1诊断结果和第2诊断结果，该第1诊断结果是由搭载了进行基于分类1(分类成五个阶段的等级的国际病症度分类)的糖尿病视网膜病变的图像诊断的ai的诊断服务器诊断出的，该第2诊断结果是由搭载了进行基于分类2(分类成三个阶段的等级的davis分类(改))的糖尿病视网膜病变的图像诊断的ai的诊断服务器诊断出的。即，显示基于不同的两个分类的糖尿病视网膜病变的症状等级。
127.另外，例如管理服务器100的显示画面生成部103也可以生成将基于不同分类的症状等级考虑在内的症状等级，并将其显示为综合结果。
128.具体而言，预先确定与各分类的症状等级相对应的分数(例如分类1中的no dr为1分、mild为3分、
…
、分类2中的a1为1分、a2为7分、
…
等)，显示画面生成部103计算出关于左右眼的与症状等级相对应的分数的平均值。
129.另外，在综合结果中，设为预先确定与分数的平均值的每个区间相对应的症状等级(若大于等于1分小于2.5分则症状等级为1、若大于等于2.5分小于5分则症状等级为2、
…
等)。显示画面生成部103关于左右眼对与计算出的平均值相对应的症状等级进行确定，并将确定出的症状等级作为综合结果显示到诊断结果显示区域1204。由此，能够将根据多种不同的分类诊断糖尿病视网膜病变的ai的诊断结果统合而提示新的指标。此外，分类2并不限于davis分类(改)，也可以为福田分类等。
130.此外，在本实施例中虽然是由管理服务器100决定进行匿名化诊断对象数据所包含的眼底图像数据的图像诊断的诊断服务器，但也可以由其他装置(例如院内服务器300、终端400或拍摄设备500)决定诊断服务器。在该情况下，该其他装置保持ai选择信息110。另外，该其他装置能够将表示决定出的诊断服务器的信息(例如标志)包含于用户数据703。
131.实施例2
132.实施例2的图像诊断系统中的诊断服务器900搭载多个ai901～902。说明与实施例1的不同点。
133.图16是表示实施例2的图像诊断系统的结构例的说明图。在诊断服务器900搭载多个ai的方面，与图1的图像诊断系统不同。此外，为了使说明简化，在图16中图像诊断系统具有一台诊断服务器900，但也可以是图像诊断系统具有多台诊断服务器、且该多台诊断服务器的一部分或全部搭载多个ai。多个ai(包含ai901及ai902的两个ai或三个以上的ai)分别具有不同的图像诊断模型。
134.实施例2的ai选择信息110包含使用从院内服务器300或终端400发送来的附加信息来确定ai的信息。也就是说，例如在图10中，ai选择信息110可以还包含ai的id栏。ai的id是对进行与附加信息的值相对应的匿名化诊断对象数据的图像诊断的ai进行识别的id。
135.图17是表示实施例2中的图像诊断系统的图像诊断处理的时序图。说明与图7的不同点。代替步骤s702而执行步骤s1601。在步骤s1601中，管理服务器100的ai选择部102基于ai选择信息110和接收到的诊断对象数据所包含的附加信息，从多个ai(包含ai901及ai902的两个ai或三个以上的ai)中至少选择一个。
136.而且在步骤s1601中，ai选择部102使表示选择出的ai220的ai信息(例如ai的id等)包含在用户数据703内，且将包含该用户数据703的匿名化诊断对象数据向搭载所选择出的ai220的诊断服务器发送。
137.接着，接收到匿名化诊断对象数据的诊断服务器的管理部选择匿名化诊断对象数据所包含的ai信息所示的ai220，并向选择出的ai220输入匿名化诊断对象数据所包含的眼底图像数据(s1602)。接着，转移到步骤s707的处理。
138.此外，虽然在实施例2中是由管理服务器100决定进行匿名化诊断对象数据所包含的眼底图像数据的图像诊断的ai，但也可以由其他装置(例如诊断服务器900、院内服务器300、终端400或拍摄设备500)决定ai。在该情况下，该其他装置保持ai选择信息110。另外，该其他装置将表示决定出的ai的信息(例如标志)包含于用户数据703。
139.但是，在诊断服务器900决定ai的情况下，由于管理服务器100无法判断哪个诊断服务器900保持着恰当的ai，所以期望将匿名化诊断对象数据向所有的诊断服务器发送。并且，接收到匿名化诊断对象数据的诊断服务器900参照ai选择信息110，判断是否能够通过自身搭载的ai执行眼底图像数据的图像诊断。并且，诊断服务器在搭载着能够执行图像诊断的ai的情况下，将基于ai诊断出的诊断结果向管理服务器100发送。
140.此外，本发明并不限定于上述内容，也可以将它们任意组合。另外，在本发明的技术思想的范围内能够想到的其他方式也包含于本发明的范围。
141.附图标记说明
142.100管理服务器、101匿名化处理部、102ai选择部、103显示画面生成部、104诊断结果数据生成部、110ai选择信息、201诊断服务器、2011图像诊断部、300院内服务器、301匿名
化处理部、302患者信息管理部、303显示画面生成部、310患者信息db、400终端、401诊断对象数据生成部、402附加信息获取部、403显示画面生成部、600计算机、601处理器、602存储设备、603输入设备、604输出设备、605通信i/f、900诊断服务器、2021学习信息管理部、2031诊断图像生成部、2041管理部、2101学习db、2111图像诊断模型。