基于深度学习的肺结核识别诊断模型、方法、装置及介质与流程

1.本发明涉及深度学习技术领域，具体地说是基于深度学习的肺结核识别诊断模型、方法、装置及介质。


背景技术：

2.随着人工智能技术的快速发展，得益于计算机算力和数据的爆发式增长，人工智能技术结合具体行业的应用落地也在急速推行。并且随着近十多年的医院信息化推进，医院中积累了大批量的患者就诊数据及珍贵的影像数据，其中更是有数以万计患者的肺部x-ray影像图片。这些肺部x-ray影像图片包含了结核病的关键病理特征，具备很高的应用价值，需要我们去探索发现，人工智能技术可以帮助我们对肺结核病理建模并进行快速辅助诊断。
3.结核病肺部影像数据的解读通常需要较为资深的医师进行，对其专业知识技能要求高，这些医师通常是医院的稀缺资源。而解读一个患者的影像数据通常需要一个或者多个医师花费数分钟乃至数十分钟进行，并且仍然有可能会遗漏图像中的某些关键细节，导致错误的诊断。所以，医院需要一个智能化的辅助决策系统，帮助医师进行更快、更准确的诊断。
4.如何高效准确的对肺结核x-ray图像进行识别诊断，是需要解决的技术问题。


技术实现要素：

5.本发明的技术任务是针对以上不足，提供基于深度学习的肺结核识别诊断模型、方法、装置及介质，来解决如何高效准确的对肺结核x-ray图像进行识别诊断的技术问题。
6.第一方面，本发明的基于深度学习的肺结核识别诊断模型，所述识别诊断模型包括三个策略模型，分别为：
7.concatenation策略模型，所述concatenation策略模型用于对输入图像提取特征得到特征图，并对特征图进行全局平均池化得到特性向量，用于对得到的特征向量进行维度规约以将特征向量的维度统一化，并将维度统一化特征向量进行拼接得到拼接后特征向量，对于拼接后特征向量，用于通过全连接层进行识别分类，得到诊断结果；
8.voting策略模型，所述voting策略模型用于对输入图像提取特征得到特征图，并对特征图进行全局平均池化得到特性向量，对于每个维度统一化后特征向量，用于通过对应的全连接层进行识别分类，得到所述维度统一化后特征向量对应的诊断结果，并用于计算诊断结果的平均值作为最终诊断结果；
9.attention策略模型，所述attention策略模型用于对输入图像提取特征得到特征图，并对特征图进行全局平均池化得到特性向量，用于基于注意力机制对维度统一化后特征向量进行加权求和，得到加权后特征向量，对于每个加权后特征向量，用于通过对应的全连接层进行识别分类，得到所述加权后特征向量对应的诊断结果，并用于计算诊断结果的平均值作为最终诊断结果。
10.作为优选，所述concatenation策略模型包括：
11.特征提取模块，所述特征提取模块包括多个特征提取器，每个特征提取器包括至少一个卷积层，每个卷积层均配置有对应的池化层，用于通过特征提取器提取特征得到特征图；
12.全局平均池化模块，所述全局平均池化模块包括一个卷积层和一个池化层，用于通过池化层对特征图进行全局平均池化，并输出特征向量；
13.维度规约模块，所述维度规约模块包括一个全连接层，用于将输入的特征向量进的维度统一化，得到维度统一后特征向量；
14.维度拼接模块，所述维度拼接模块用于将输入的特征向量进行拼接，得到长维度的拼接后特征向量；
15.单头分类模块，所述单头分类模块包括一个全连接层，用于以拼接后特征向量为输入进行识别分类，输出诊断结果。
16.作为优选，所述voting策略模型包括：
17.特征提取模块，所述特征提取模块包括多个特征提取器，每个特征提取器包括至少一个卷积层，每个卷积层均配置有对应的池化层，用于通过特征提取器提取特征得到特征图；
18.全局平均池化模块，所述全局平均池化模块包括一个卷积层和一个池化层，用于通过池化层对特征图进行全局平均池化，并输出特征向量；
19.维度规约模块，所述维度规约模块包括一个全连接层，用于将输入的特征向量进的维度统一化，得到维度统一后特征向量；
20.多头分类模块，所述多头分类模块包括多个全连接层，每个维度统一后特征向量对应一个全连接层，对于每个维度统一后特征向量，通过对应的全连接层进行识别分类得到诊断结果，并计算所有诊断结果的平均值作为最终诊断结果输出。
21.作为优选，所述attention策略模型包括：
22.特征提取模块，所述特征提取模块包括多个特征提取器，每个特征提取器包括至少一个卷积层，每个卷积层均配置有对应的池化层，用于通过特征提取器提取特征得到特征图；
23.全局平均池化模块，所述全局平均池化模块包括一个卷积层和一个池化层，用于通过池化层对特征图进行全局平均池化，并输出特征向量；
24.权重求和模块，所述权重求和模块用于基于注意力机制对维度统一化后特征向量进行加权求和，得到加权后特征向量；
25.多头分类模块，所述多头分类模块包括多个全连接层，每个维度统一后特征向量对应一个全连接层，对于每个维度统一后特征向量，通过对应的全连接层进行识别分类得到诊断结果，并计算所有诊断结果的平均值作为最终诊断结果输出。
26.作为优选，所述权重求和模块包括：
27.维度规约子模块，所述维度规约子模块包括一个全连接层，用于将输入的特征向量进的维度统一化，得到维度统一后特征向量，维度统一后特征向量表示为(b,1,c
′
1)...(b,1,c
′
n)，记为query(1...n)；
28.维度拼接子模块，维度拼接子模块用于将输入的特征向量进行拼接，得到长维度
的拼接后特征向量，拼接后特征向量表示为(b,n,c
′
)，并将其记为key和value；
29.矩阵变换子模块，所述矩阵变换子模块用于对每个query进行如下操作：将key进行维度规约变为(b,c
′
,n),利用pytorch的bmm(batch matrixmultiply)对query和key进行矩阵乘法，得到矩阵(b,1,n),并记为weight,同样对weright和value进行矩阵乘法，得到(b,1,c
′
)，对(b,1,c
′
)进行维度规约得到(b,c
′
)，最终得到权重求和后特征向量，表示为(b,c
′
1)...(b,c
′
n)。
30.第二方面，本发明的基于深度学习的肺结核识别诊断方法，包括如下步骤：
31.构建肺结核诊断模型，所述肺结核诊断模型为如权利要求1-5任一项所述的基于深度学习的肺结核识别诊断模型；
32.获取肺结核x-ray图像，每个肺结核x-ray图像对应有诊断标签；
33.基于肺结核x-ray图像及其标签构建数据集，并将数据集划分为训练集合和测试集；
34.以训练集中肺结核x-ray图像为输入、以诊断标签为输出，训练所述肺结核识别诊断模型中的三个策略模型，得到训练后肺结核识别诊断模型；
35.以测试集中肺结核x-ray图像为输入，通过训练后肺结核识别诊断模型进行识别分类，每个策略模型输出对应的诊断结果；
36.对于每个策略模型，将输出的诊断结果和相关的诊断标签进行比对，计算策略模型的预测准确率；
37.选取准确率高的策略模型为目标模型，通过目标模型对待测肺结核x-ray图像进行识别分类。
38.作为优选，所述诊断标签包括正常/肺结核、继发性肺结核/结核性胸膜炎、非空洞/空洞、仅继发性肺结核/继发性肺结核且结核性胸膜炎、仅结核性胸膜炎/继发性肺结核且结核性胸膜炎。
39.第三方面，本发明的装置，包括：至少一个存储器和至少一个处理器；
40.所述至少一个存储器，用于存储机器可读程序；
41.所述至少一个处理器，用于调用所述机器可读程序，执行第二方面任一所述的方法。
42.第三方面，本发明的介质，为计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行第二方面任一所述的方法。
43.本发明的基于深度学习的肺结核识别诊断模型、方法、装置及介质具有以下优点：
44.1、诊断模型配置有三种策略模型，可根据需求选择合适的策略模型进行识别诊断，提高了效率和应用范围；
45.2、每个策略模型均能够融合基础卷积神经网络的高层次特征图，关注到更多的患病区域，得到相较于一般卷积神经网络更为准确的判断；
46.3、在attention策略模型中，利用注意力机制对得到的特征向量进行加权求和，最终得到的特征向量充分包含了多个特征提取器抽取的有效图像信息，提高了准确率。
附图说明
47.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述
中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
48.下面结合附图对本发明进一步说明。
49.图1为实施例1基于深度学习的肺结核识别诊断模型中concatenation策略模型的结构示意图；
50.图2为实施例1基于深度学习的肺结核识别诊断模型中voting策略模型的结构示意图；
51.图3为实施例1基于深度学习的肺结核识别诊断模型中attention策略模型的结构示意图；
52.图4为实施例2基于深度学习的肺结核识别诊断的流程框图。
53.图5为实验室阶段对是否患有结核病的测试评估结果；
54.图6为疑似患病区域展示；
55.图5中评估指标为acc、auc、f1 score、sensitivity和specificity，评估指标的值域都为0-1，集成网络个数为3个，神经网络名字用
“‑”
分割。
具体实施方式
56.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
57.本发明实施例提供基于深度学习的肺结核识别诊断模型、方法、装置及介质，用于解决如何高效准确的对肺结核x-ray图像进行识别诊断的技术问题。
58.实施例1：
59.本发明基于深度学习的肺结核识别诊断模型，包括三个策略模型，分别为concatenation策略模型、voting策略模型和attention策略模型。
60.concatenation策略模型用于对输入图像提取特征得到特征图，并对特征图进行全局平均池化得到特性向量，用于对得到的特征向量进行维度规约以将特征向量的维度统一化，并将维度统一化特征向量进行拼接得到拼接后特征向量，对于拼接后特征向量，用于通过全连接层进行识别分类，得到诊断结果。
61.voting策略模型用于对输入图像提取特征得到特征图，并对特征图进行全局平均池化得到特性向量，对于每个维度统一化后特征向量，用于通过对应的全连接层进行识别分类，得到维度统一化后特征向量对应的诊断结果，并用于计算诊断结果的平均值作为最终诊断结果。
62.attention策略模型用于对输入图像提取特征得到特征图，并对特征图进行全局平均池化得到特性向量，用于基于注意力机制对维度统一化后特征向量进行加权求和，得到加权后特征向量，对于每个加权后特征向量，用于通过对应的全连接层进行识别分类，得到加权后特征向量对应的诊断结果，并用于计算诊断结果的平均值作为最终诊断结果。
63.本实施例中，concatenation策略模型包括特征提取模块、全局平均池化模块、维度规约模块、维度拼接模块、以及单头分类模块，特征提取模块包括多个特征提取器，每个
特征提取器包括至少一个卷积层，每个卷积层均配置有对应的池化层，用于通过特征提取器提取特征得到特征图；全局平均池化模块包括一个卷积层和一个池化层，用于通过池化层对特征图进行全局平均池化，并输出特征向量；维度规约模块包括一个全连接层，用于将输入的特征向量进的维度统一化，得到维度统一后特征向量；维度拼接模块用于将输入的特征向量进行拼接，得到长维度的拼接后特征向量；单头分类模块包括一个全连接层，用于以拼接后特征向量为输入进行识别分类，输出诊断结果。
64.即concatenation策略模型工作流程为：首先输入图像经过特征提取器，经过特征提取器后变为多通道的特征图；然后将特征图全局平均池化，原本的(b,c1,w1,h1)...(b,cn,wn,hn)维度变为(b,c1,1,1)...(b,cn,1,1),进行维度规约变为(b,c1)...(b,cn),并且将其拼接为(b,c1 ... cn)维度的向量；最后将这个向量最为全连接层的输入，执行分类任务，得到结果输出。其中b代表批处理大小，c1...cn代表特征图通道数，w1...wn和h1...hn分别代表特征图的宽和高。
65.voting策略模型包括特征提取模块、全局平均池化模块、维度规约模块、以及多头分类模块，特征提取模块包括多个特征提取器，每个特征提取器包括至少一个卷积层，每个卷积层均配置有对应的池化层，用于通过特征提取器提取特征得到特征图；全局平均池化模块包括一个卷积层和一个池化层，用于通过池化层对特征图进行全局平均池化，并输出特征向量；维度规约模块包括一个全连接层，用于将输入的特征向量进的维度统一化，得到维度统一后特征向量；多头分类模块包括多个全连接层，每个维度统一后特征向量对应一个全连接层，对于每个维度统一后特征向量，通过对应的全连接层进行识别分类得到诊断结果，并计算所有诊断结果的平均值作为最终诊断结果输出。
66.voting策略模型工作流程为：将输入图像经过多个特征提取器，然后将得到的特征图进行全局平均池化，并且进行维度规约，变换为(b,c1)...(b,cn)；接下来需要将得到的每个向量分别配置一个全连接层执行分类任务，这时得到了多个二分类结果向量(b,2)...(b,2)；最后取这些结果的平均值输出。
67.attention策略模型包括特征提取模块、全局平均池化模块、权重求和模块、以及多头分类模块，特征提取模块包括多个特征提取器，每个特征提取器包括至少一个卷积层，每个卷积层均配置有对应的池化层，用于通过特征提取器提取特征得到特征图；全局平均池化模块包括一个卷积层和一个池化层，用于通过池化层对特征图进行全局平均池化，并输出特征向量；权重求和模块用于基于注意力机制对维度统一化后特征向量进行加权求和，得到加权后特征向量；多头分类模块包括多个全连接层，每个维度统一后特征向量对应一个全连接层，对于每个维度统一后特征向量，通过对应的全连接层进行识别分类得到诊断结果，并计算所有诊断结果的平均值作为最终诊断结果输出。
68.其中权重求和模块包括维度规约子模块、维度拼接子模块、以及矩阵变换子模块，维度规约子模块包括一个全连接层，用于将输入的特征向量进的维度统一化，得到维度统一后特征向量，维度统一后特征向量表示为(b,1,c
′
1)...(b,1,c
′
n)，记为query(1...n)；维度拼接子模块用于将输入的特征向量进行拼接，得到长维度的拼接后特征向量，拼接后特征向量表示为(b,n,c
′
)，并将其记为key和value；矩阵变换子模块用于对每个query进行如下操作：将key进行维度规约变为(b,c
′
,n),利用pytorch的bmm(batch matrixmultiply)对query和key进行矩阵乘法，得到矩阵(b,1,n),并记为weight,同样对weright和value进
行矩阵乘法，得到(b,1,c
′
)，对(b,1,c
′
)进行维度规约得到(b,c
′
)，最终得到权重求和后特征向量，表示为(b,c
′
1)...(b,c
′
n)。
69.attention策略模型工作流程为：第一步图像经过特征提取器，经过多层卷积层后变为多通道的特征图；第二步将特征图进行全局平均池化，使得原本的(b,c1,w1,h1)...(b,cn,wn,hn)维度变为(b,c1,1,1)...(b,cn,1,1),进行维度规约变为(b,c1)...(b,cn)，其中c1...cn是特征图的通道数，不同的特征提取器得到的通道数不完全相同，即c1...cn不完全相同，在此本实施例利用不同输入相同输出的全连接层将输出变为(b,c
′
1)...(b,c
′
n)其中c
′
1＝...＝c
′
n；第三步是利用注意力机制对得到的特征向量进行加权求和，首先进行维度规约变为(b,1,c
′
1)...(b,1,c
′
n),记为query(1...n),然后将其拼接为(b,n,c
′
)记为key和value,将key进行维度规约变为(b,c
′
,n),利用pytorch的bmm(batch matrixmultiply)对query和key进行矩阵乘法，得到矩阵(b,1,n),记为weight,同样对weright和value进行矩阵乘法，得到(b,1,c
′
)，进行维度规约得到(b,c
′
)，对每个query都进行同样的操作，得到(b,c
′
1)...(b,c
′
n)，最终得到的特征向量充分包含了多个特征提取器抽取的有效图像信息；第四步进行多头分类，将每个特征向量配置一个全连接层执行分类任务；最后一步将多头分类的结果取平均值作为最终输出。
70.该诊断模型能够融合基础卷积神经网络的高层次特征图，关注到更多的患病区域，得到相较于一般卷积神经网络更为准确的判断。并通过展示疑似患病区域，为诊断医师提供直观的分析决策依据。
71.实施例2：
72.本发明基于深度学习的肺结核识别诊断方法，包括如下步骤：
73.s100、构建肺结核诊断模型，该肺结核诊断模型为实施例1公开的基于深度学习的肺结核识别诊断模型；
74.s200、获取肺结核x-ray图像，每个肺结核x-ray图像对应有诊断标签；
75.s300、基于肺结核x-ray图像及其标签构建数据集，并将数据集划分为训练集合和测试集；
76.s400、以训练集中肺结核x-ray图像为输入、以诊断标签为输出，训练肺结核识别诊断模型中的三个策略模型，得到训练后肺结核识别诊断模型；
77.s500、以测试集中肺结核x-ray图像为输入，通过训练后肺结核识别诊断模型进行识别分类，每个策略模型输出对应的诊断结果；
78.s600、对于每个策略模型，将输出的诊断结果和相关的诊断标签进行比对，计算策略模型的预测准确率；
79.s700、选取准确率高的策略模型为目标模型，通过目标模型对待测肺结核x-ray图像进行识别分类。
80.如图5所示实验室阶段，利用从医院搜集整理得到的两千多张患者cxr图片训练网络模型并测试，测试准确率结果为：是否患有肺结核(99.9％)，其余四类结核病的判断准确率(97.6％、86.5％、80.5和76.1％。)。
81.如图5所示应用阶段，每张cxr图片诊断时间约为20秒，极大节省了医师的诊断时间。并且可以将神经网络中的权重系数利用热力图的方式展示给医师，医师可以从图片当中清晰的看到疑似患病区域，减轻其工作量。
82.实施例3：
83.本发明的装置，包括：至少一个存储器和至少一个处理器；至少一个存储器，用于存储机器可读程序；至少一个处理器，用于调用机器可读程序，执行本实施例2公开的方法。
84.实施例4：
85.本发明的介质，为一种计算机可读介质，计算机可读介质上存储有计算机指令，计算机指令在被处理器执行时，使所述处理器执行实施例1公开的方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
86.在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
87.用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
88.需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
89.上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。