医疗图像判读方法与系统与流程

1.本发明涉及医疗图像判读，尤其涉及一种基于深度学习的医疗图像判读方法与系统。


背景技术：

2.随着深度学习(deep learning)日渐成熟，人工智能在辅助医疗图像判读的应用上日渐增加。然而，高准确度的人工智能模型往往较为复杂，其决策逻辑或是判断依据较难以理解。也就是说，人工智能模型无法向人类解释其决策和行动背后的成因，此现象将影响到人工智能模型的可信度。尤其是，于使用人工智能模型辅助医疗诊断的领域中，决策的合理性与透明度更是至关重要。
3.对此，一系列可解释人工智能(explainable ai，又称xai)的方法被提出且成为研究重点，这些方法试图诠释人工智能模型是如何进行决策的。目前，大多数可解释人工智能的方法只能呈现输入数据中特征的重要性程度以及其位置，无法对该特征有进一步说明，因此无法提供医疗人员具有参考价值的解释。更具体而言，即便可解释人工智能的方法能呈现输入数据中重要特征的相关信息，但医疗人员还是无法确认人工智能模型所关注的特征是否就是特定疾病的病征，因而无法作为提高判读信心或是补充说明的依据。


技术实现要素：

4.本发明提出一种医疗图像判读方法与系统，其中卷积神经网路模型可一并提供病征判读信息与疾病判读信息，因而更加贴近医疗人员的实际需求。
5.本发明实施例提供一种医疗图像判读方法，适用于计算器装置，其包括下列步骤。将医疗图像提供给卷积神经网络模型，其中卷积神经网络模型包括特征获取部分、第一分类器与n个第二分类器。利用卷积神经网络模型的特征获取部分的最后一层产生n个特征图(feature map)。通过n个第二分类器基于n个特征图获取一疾病的n个病征的n个病征判读结果。通过第一分类器基于n个特征图获取疾病的疾病判读结果。
6.本发明实施例提供一种医疗图像判读系统，其包括存储装置以及处理器。处理器连接存储装置，经配置以执行下列步骤。将医疗图像提供给卷积神经网络模型，其中卷积神经网络模型包括特征获取部分、第一分类器与n个第二分类器。利用卷积神经网络模型的特征获取部分的最后一层产生n个特征图(feature map)。通过n个第二分类器基于n个特征图获取一疾病的n个病征的n个病征判读结果。通过第一分类器基于n个特征图获取疾病的疾病判读结果。
附图说明
7.包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。
8.图1是依照本发明一实施例的医疗图像判读系统的示意图；
9.图2是依照本发明一实施例的医疗图像判读方法的流程图；
10.图3是依据本发明一实施例的卷积神经网络模型的示意图；
11.图4a与图4b是依据本发明实施例的卷积神经网络模型的示意图。
12.附图标号说明
13.10：医疗图像判读系统；
14.110：存储装置；
15.120：处理器；
16.m1、m2、m3：卷积神经网络模型；
17.31、41：特征获取部分；
18.l_1～l_x：层；
19.fm_1～fm_n：特征图；
20.32、33_1～33_n、42、43_1～43_8：分类器；
21.34_1～34_n、44_1～44_8：病征判读结果；
22.36、46：疾病判读结果；
23.img_m：医疗图像；
24.lc1～lc4：卷积层；
25.lf1、lf2、lf3、lf4：全连接层；
26.48_1～48_8：病征特征获取部分；
27.s201～s204：步骤。
具体实施方式
28.现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在附图和描述中用来表示相同或相似部分。
29.图1是依照本发明一实施例的医疗图像判读系统的示意图，但此仅是为了方便说明，并不用以限制本发明。请参照图1，医疗图像判读系统10包括存储装置110与处理器120。于一些实施例中，医疗图像判读系统10可实作为笔记本电脑、台式计算机、平板计算机、工业用计算机、服务器或其他类型的计算器装置，本发明并不对此限制。
30.存储装置110用以存储图像、指令、程序代码、软件模块等等数据。存储装置110可包括易失性存储电路与非易失性存储电路。易失性存储电路用以易失性地存储数据。例如，易失性存储电路可包括随机存取内存(random access memory，ram)或类似的易失性存储媒体。非易失性存储电路用以非易失性地存储数据。例如，非易失性存储电路可包括只读存储器(read only memory，rom)、固态硬盘(solid state disk，ssd)和/或传统硬盘(hard disk drive，hdd)或类似的非易失性存储媒体。
31.处理器120耦接存储装置110，用以控制医疗图像判读系统10的整体或部分操作，其例如是中央处理单元(central processing unit，cpu)，或是其他可程序化的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signal processor，dsp)、可程序化控制器、特殊应用集成电路(application specific integrated circuits，asic)、可程序化逻辑设备(programmable logic device，pld)、图形处理器(graphics processing unit，gpu或其他类似装置或这些装置的组合。处理器120可执行记
录于存储装置120中的程序代码、软件模块、指令等等，以实现本发明实施例中的医疗图像判读方法。
32.图2是依照本发明一实施例的医疗图像判读方法的流程图。请参照图2，本实施例的方式适用于上述实施例中的医疗图像判读系统10，以下即搭配医疗图像判读系统10中的各项元件说明本实施例的详细步骤。
33.于本发明实施例中，卷积神经网络模型可辅助医疗人员判读医疗图像，即卷积神经网络模型可依据医疗图像评估病患是否患有疾病或评估病患的患病严重程度。一般而言，当使用医疗图像进行疾病诊断时，医疗人员是根据医疗图像中的多个病征(symptom)来判断病患是否患有某一疾病以及病患的病情严重程度。基此，于本发明实施例中，除了提供疾病的疾病判读结果之外，卷积神经网络模型还可评估医疗图像中某一疾病的n个病征是否存在或其严重程度。以疾病为视网膜病变为例，上述病征可例如是出血或新生血管等等。
34.于步骤s201，处理器120将医疗图像提供给卷积神经网络模型。医疗图像可包括x光图像、超音波图像、计算机断层扫描(computed tomography，ct)图像、核磁共振造影(magnetic resonance imaging，mri)图像、病理切片图像，或是其他针对病患拍摄而用以进行医疗诊断的图像。举例而言，医疗图像可以是通过眼底镜拍摄眼底图像。
35.于一实施例中，卷积神经网络模型是依据训练数据集进行深度学习而事先建构，卷积神经网络模型的模型参数(例如权重信息、卷积核数目、网络层数目)已经由事前训练而决定并可记录存储装置120中。处理器120可将医疗图像输入至卷积神经网络模型，以由卷积神经网络模型因应该医疗图像而输出病患的疾病判读结果。此疾病判读结果包括疾病的疾病分级信息。举例而言，卷积神经网络模型可依据医疗图像评估某一疾病的病情严重程度为0级(未患病)、1级、2级或3级。此外，于一实施例中，卷积神经网络模型更可因应医疗图像而输出疾病的n个病征的n个病征判读结果。n个病征判读结果分别包括n个病征其中之一的病征有无信息或病征分级信息。举例而言，假设某一疾病具有n个病征，卷积神经网络模型可依据医疗图像评估这些病征的严重程度为0级(不存在)、1级、2级或3级。病征有无信息为是否具有该病征的判读结果。
36.于步骤s202，处理器120利用卷积神经网络模型的特征获取部分的最后一层产生n个特征图(feature map)。详细而言，于一实施例中，卷积神经网络模型可包括特征获取部分与第一分类器。卷积神经网络模型的特征获取部分用以对医疗图像进行卷积运算处理而对医疗图像进行特征获取而产生特征图(或称为特征向量)。之后，这些特征图会馈入至第一分类器，以由第一分类器输出某一疾病的疾病判读结果。
37.于一实施例中，特征获取部分可包括至少一卷积层。于一实施例中，特征获取部分可包括至少一卷积层与至少一池化层。于一实施例中，卷积神经网络模型的特征获取部分包括依序串接的多个层，这些层可包括至少一卷积层与至少一池化层。卷积神经网络模型的特征获取部分中的每一层可接收输入医疗图像或前层产生的特征图(feature map)，以执行相对的运算处理以产生输出特征图。特征获取部分中的卷积层可依据一或多个卷积核进行卷积运算而产生特征图。各卷积层所输出的特征图的数量取决于该卷积层所使用的卷积核的数量。卷积核可在特征图上依据固定步长进行滑动。每当卷积核移位，卷积核中所包含的每一权重将与特征图上重合的区的所有特征值相乘后相加。另一方面，池化层可对特征图进行向下取样而获取维度较低的特征图。
38.需特别说明的是，于本发明实施中，卷积神经网络模型的特征获取部分的最后一层所输出的特征图的数量会与病征数量一致。于一实施例中，卷积神经网络模型的特征获取部分的最后一层为卷积层或池化层。亦即，假设某一疾病在医疗图像中可以观察到的病征有n种，则特征获取部分的最后一层所输出的特征图的数量也会是n，其中n为大于0的整数。由此可知，于本发明实施例中，卷积神经网络模型的特征获取部分中的最后卷积层所使用的卷积核数量是依据病征的数量而决定。
39.举例而言，图3是依据本发明一实施例的卷积神经网络模型的示意图。请参照图3，卷积神经网络模型m1可包括特征获取部分31与分类器32(即第一分类器)。特征获取部分31包括彼此串接的多个层l_1～l_x，特征获取部分31中的最后一层l_x可以是卷积层或池化层。特征获取部分31的最后一层l_x会输出n个特征图fm_1～fm_n。
40.接着，于步骤s203，处理器120通过n个第二分类器基于n个特征图获取一疾病的n个病征的n个病征判读结果。更详细而言，除了特征获取部分与第一分类器，卷积神经网络模型还包括n个第二分类器。于此，这n个第二分类器分别依据n个特征图其中一者而分别输出n个病征判读结果其中一者。于一实施例中，处理器120可将这n个特征图一对一输入至对应的第二分类器，以使这些第二分类器分别反应于接收n个特征图其中之一而输出n个病征判读结果其中之一。也就是说，每一个第二分类器可根据对应的一张特征图来识别出医疗图像中的病征与病征的严重程度，从而分别输出对应的病征判读结果。
41.举例而言，请再参照图3，卷积神经网络模型m1更可包含n个分类器33_1～33_n(即第二分类器)。分类器33_1会根据特征图fm_1输出与一疾病之一病征相关的病征判读结果34_1。分类器33_2会根据特征图fm_2输出与一疾病之另一病征相关的病征判读结果34_2。依此类推，卷积神经网络模型m1的n个分类器33_1～33_n可输出与n个病征相关的n个病征判读结果34_1～34_n。
42.另外，于步骤s204，处理器120通过第一分类器基于n个特征图获取疾病的疾病判读结果。于一实施例中，处理器120可将n个特征图馈入第一分类器。第一分类器可根据n个特征图来判断病患是否具有疾病和/或病情严重程度而输出疾病判读结果36。举例而言，请再参照图3，分类器32(即第一分类器)可接收n个特征图fm_1～fm_n，并据以输出疾病判读结果36。
43.于一实施例中，第一分类器与n个第二分类器的分类功能可分别由至少一全连接层来实现。亦即，第一分类器包括至少一全连接层，且n个第二分类器其中每一者包括至少一全连接层。详细而言，处理器120可依据n个特征图产生一个一维向量，并将此一维向量馈入至第一分类器中的至少一全连接层进行分类，以获取疾病判读结果。此外，处理器120可分别依据n个特征图其中之一产生一个一维向量，并将此一维向量馈入至对应的一个第二分类器中的至少一全连接层进行分类，而获取n个病征判读结果其中之一。
44.此外，于一实施例中，在实际使用经训练的卷积神经网络模型之前，需使用训练数据来训练卷积神经网络模型，而这些训练数据包括大批经过标记的训练医疗图像。于一实施例中，于卷积神经网络模型的训练阶段，处理器120可基于一整体损失函数(loss function)来同步训练卷积神经网络模型中的特征获取部分、第一分类器以及n个第二分类器。处理器120可依据整体损失函数输出的损失值，以反向传递的方式，由后往前，来调整卷积神经网络模型中的权重信息，像是卷积核中的权重信息与全连接层的权重信息等。
45.于一实施例中，卷积神经网络模型是基于整体损失函数进行反向传播训练。此整体损失函数包括(n 1)个损失函数的(n 1)损失值的加权和，且(n 1)个损失函数其中n者分别对应于n个第二分类器，(n 1)个损失函数余下一者对应于第一分类器。这些损失函数例如是均方误差(mean square error，mse)损失函数、平均绝对值误差(mean absolute error，mae)损失函数、或softmax损失函数等等。详细而言，各个病征的分类操作与疾病的分类操作使用各自独立的损失函数，整体损失函数所产生的整体损失值为各个独立的(n 1)个损失函数的(n 1)个损失值的加权和。
46.举例而言，当处理器120将某一经标注的训练医疗图像输入至卷积神经网络模型，卷积神经网络模型可以依据当前权重信息产生疾病判读结果与n个病征判读结果。通过将上述疾病判读结果、上述n个病征判读结果与真实标记信息输入至整体损失函数，处理器120可获取一整体损失值并以反向传递的方式来更新卷积神经网络模型中的权重信息。其中，处理器120是将疾病判读结果与对应的真实标记信息输入至对应于第一分类器的损失函数而获取一损失值。并且，处理器120更是将各个病征判读结果与对应的真实标记信息输入至对应于第二分类器的一损失函数，以获取与多个病征分别相关的多个损失值。接着，通过对上述(n 1)个损失值进行加权和计算，处理器120可获取整体损失值。
47.基于卷积神经网络模型的架构与损失函数的设计，本发明实施例中卷积神经网络模型的优化方向可趋于疾病判读结果是根据合理的病征特征而产生的。亦即，卷积神经网络模型是基于医疗图像中具备特定病征条件而做出决策，避免因为训练医疗图像中存在不预期的偏差而降低卷积神经网络模型的可靠性。
48.基于前述说明可知，于本发明实施例中，处理器120可通过将医疗图像输入至卷积神经网络模型来获取某一疾病的疾病判读结果以及多个病征的病征判读结果。疾病判读结果以及病征判读结果可显示于显示设备或打印于纸张上供医疗员参考，以提供更符合医疗人员需求的辅助诊断信息。
49.此外，于一实施例中，处理器120可将n个特征图其中一者输入至n个第二分类器其中一者，以使n个第二分类器其中一者输出n个病征判读结果其中一者。亦即，n个特征图可分别直接输入至对应的第二分类器，以使n个第二分类器可分别依据n个特征图产生n个病征判读结果。或者，于一实施例中，卷积神经网络模型可还包括病征特征获取部分，此病征特征获取部分包括至少一卷积层。处理器120可将n个特征图其中一者输入至病征特征获取部分而获取至少一病征特征图，并将至少一病征特征图输入至n个第二分类器其中一者，以使n个第二分类器其中一者输出n个病征判读结果其中一者。亦即，处理器120可分别对n个特征图进行卷积运算处理而进行特征获取，接着再将特征获取结果输入至对应的第二分类器。
50.为便于说明本发明的概念，以下将另辅以图4a与图4b作进一步说明。图4a与图4b是依据本发明实施例的卷积神经网络模型的示意图。于图4a与图4b的范例中，假设病征的数量为8，亦即n＝8。
51.请参照图4a，处理器120可将医疗图像img_m输入至卷积神经网络模型m2。卷积神经网络模型m2包括特征获取部分41以及分类器42。特征获取部分41可包括3层卷积层lc1～lc3。需注意的是，最后一层的卷积层lc3会利用8个卷积核来产生8个特征图fm1_1～fm1_8。这8个特征图fm1_1～fm1_8馈入至分类器42。分类器42可包括全连接层lf1、lf2。全连接层
lf1可称之为平坦层，而全连接层lf2可称之为输出层。全连接层lf2可输出疾病判读结果46。疾病判读结果46可包括疾病的疾病分级信息，像是病患是否患有疾病或疾病的病情严重程度。此外，基于病征的数量为8，卷积神经网络模型m2还包括8个分类器43_1～43_8。这8个特征图fm1_1～fm1_8可分别馈入至分类器43_1～43_8。分类器43_1～43_8可各自包括两个全连接层(例如分类器43_1的全连接层lf3、lf4)。分类器43_1～43_8可各自根据对应的特征图fm1_1～fm1_8而产生病征判读结果44_1～44_8。基此，处理器120可通过使用卷积神经网络模型m2而产生疾病判读结果46以及病征判读结果44_1～44_8，以供医疗人员参考。
52.另外一方面，请参照图4b，相似于图4a的卷积神经网络模型m2，卷积神经网络模型m3可包括特征获取部分41、分类器42，以及8个分类器43_1～43_8。与图4a范例不同的是，卷积神经网络模型m3可还包括分别连接分类器43_1～43_8的病征特征获取部分48_1～48_8。病征特征获取部分48_1～48_8可各自包括卷积层(例如病征特征获取部分48_1的卷积层lc4)。病征特征获取部分48_1～48_8可各自对特征图fm1_1～fm1_8进行特征获取而产生多张病征特征图。这些病征特征图可分别输入至对应的分类器43_1～43_8，使分类器43_1～43_8可各自根据对应的病征特征图而产生病征判读结果44_1～44_8。
53.然而，图4a与图4b的范例仅为用于说明本发明，并非用以限定本发明。分类器中全连接层的数目可视实际需求而设计，且特征获取部分与病征特征获取部分中卷积层的数目也可是实际需求而设计。
54.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。