一种心肺异常识别装置及设备的制作方法

1.本发明实施例涉及心肺异常检测技术领域，尤其涉及一种心肺异常识别装置及设备。


背景技术：

2.胸部x射线图像(或称之为胸片)是目前最常见的用于胸腔疾病筛查和诊断的工具。在日常临床中，胸片的影像筛查和诊断依赖专业医生的经验，这是一项耗时及可能出现主观性评估错误。近年来，随着医学影像处理技术的进步，尤其是深度学习方法，利用计算机辅助筛查和诊断逐渐应用到放射科。
3.由于胸部x线的低特异性，类间和类内的区分性很低，异常识别任务的性能都受限，导致异常识别准确率较低。


技术实现要素：

4.本发明提供一种心肺异常识别装置及设备，以提高心肺异常识别的准确率。
5.第一方面，本发明实施例提供了一种心肺异常识别装置，包括：
6.全局特征图提取模块，用于从获取的胸部x射线图像中提取用于表征全局信息的全局特征图；
7.第一结果确定模块，用于基于所述全局特征图确定第一心肺异常识别结果；
8.图像分割模块，用于对所述胸部x射线图像进行语义分割，得到心脏区域图、左肺区域图和右肺区域图；
9.局部特征图提取模块，用于从所述心脏区域图、所述左肺区域图和所述右肺区域图分别提取出用于表征病灶信息的第一局部特征图、第二局部特征图和第三局部特征图；
10.特征融合模块，用于将所述第一局部特征图、所述第二局部特征图和所述第三局部特征图进行特征融合，得到融合特征图；
11.第二结果确定模块，用于基于所述融合特征图确定第二心肺异常识别结果；
12.异常类型确定模块，用于基于所述第一心肺异常识别结果和所述第二心肺异常识别结果确定心肺异常类型。
13.第二方面，本发明实施例还提供了一种计算机设备，包括如本发明第一方面提供的心肺异常识别装置。
14.本发明实施例提供的心肺异常识别装置，全局特征图提取模块从获取的胸部x射线图像中提取用于表征全局信息的全局特征图，第一结果确定模块基于全局特征图确定第一心肺异常识别结果，图像分割模块对胸部x射线图像进行语义分割，得到心脏区域图、左肺区域图和右肺区域图，局部特征图提取模块从心脏区域图、左肺区域图和右肺区域图分别提取出用于表征病灶信息的第一局部特征图、第二局部特征图和第三局部特征图，特征融合模块将第一局部特征图、第二局部特征图和第三局部特征图进行特征融合，得到融合特征图，第二结果确定模块基于融合特征图确定第二心肺异常识别结果，异常类型确定模
块基于第一心肺异常识别结果和第二心肺异常识别结果确定心肺异常类型。通过结合基于全局特征图得到的第一心肺异常识别结果，和基于第一局部特征图、第二局部特征图和第三局部特征图的融合特征图得到第二心肺异常识别结果确定最终的心肺异常类型，避免了语义分割过程中出现的分割偏差导致病理信息的损失，提高了心肺异常识别的准确率。
附图说明
15.图1为本发明实施例一提供的一种心肺异常识别方法的流程图；
16.图2a为本发明实施例二提供的一种心肺异常识别方法的流程图；
17.图2b为本发明实施例提供的一种心肺异常识别方法中数据处理流程图；
18.图3为本发明实施例三提供的一种心肺异常识别装置的结构示意图；
19.图4为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
20.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
21.实施例一
22.图1为本发明实施例一提供的一种心肺异常识别方法的流程图，本实施例可适用于心肺异常识别的情况，该方法可以由本发明实施例提供的心肺异常识别装置来执行，该装置可以由软件和/或硬件的方式实现，通常配置于计算机设备中，如图1所示，该方法具体包括如下步骤：
23.s101、从获取的胸部x射线图像中提取用于表征全局信息的全局特征图。
24.胸部x射线图像也就胸片，采用x射线穿过胸部，投影在胶片上，即可得到胸部x射线图像。正常胸部x射线图像是胸腔内、外各种组织、器官包括胸壁软组织、骨骼、心脏大血管、肺、胸膜和膈肌等相互重叠的综合投影。正常充气的两肺在x射线胸片上表现为均匀一致较为透明的区域，在正位胸片(被检测者采用正姿站立，面对x射线源时拍摄的胸片)上，两侧肺野透明度基本相同，其透明度与肺内所含气体量成正比，两侧肺野分为左侧纵向内、中、外三带、右侧横向上、中、下三野；肺部还包括肺门、肺纹理、肺叶和肺段、气管和支气管；纵膈位于胸骨之后、胸椎之前，介于两肺之间，包含心脏、大血管、气管、主支气管、食管、淋巴组织、胸腺、神经及脂肪等，x线胸片除气管及主支气管可分辨外，其余纵膈结构缺乏对比。
25.通过对获取的胸部x射线图像进行处理，例如，将胸部x射线图像输入预先训练好的全局网络模型中进行处理，提取出用于表征全局信息的全局特征图。全局特征图是指用胸部x射线图像的全部特征来表征胸部x射线图像，它是图像的整体属性。常见的全局特征图包括颜色特征、纹理特征和形状特征。由于全局特征图是像素级的低层可视特征，因此，全局特征图具有良好的不变性、计算简单、表示直观等特点。
26.s102、基于全局特征图确定第一心肺异常识别结果。
27.在提取出全局特征图之后，基于全局特征图确定第一心肺异常识别结果。示例性的，在本发明的一些实施例中，可以直接将全局特征图映射至心肺异常类型标记空间，得到
logits向量，然后对logits向量进行归一化处理，得到概率向量，该向量中每一元素为胸部x射线图像属于对应的心肺异常种类的概率值。然后将该向量中的最大值对应的心肺异常类型作为第一心肺异常识别结果。在本发明的另一些实施例中，也可以先对全局特征图进行挖掘，例如，输入预先训练好的深度卷积网络中进行处理，提取出全局特征图的高阶特征。接着，将高阶特征映射至心肺异常类型标记空间，得到logits向量，然后对logits向量进行归一化处理，得到概率向量，该向量中每一元素为胸部x射线图像属于对应的心肺异常种类的概率值。然后将该向量中的最大值对应的心肺异常类型作为第一心肺异常识别结果。高阶特征相对于低阶特征具有更丰富的语义信息，从而使得后续的第一心肺异常识别结果更准确。
28.s103、对胸部x射线图像进行语义分割，得到心脏区域图、左肺区域图和右肺区域图。
29.语义分割是指对图像中的每一个像素进行分类，将图像中的像素分属到预设的不同类别，从而在图像中得到不同的区域。本发明实施例中，对胸部x射线图像进行语义分割，从而将胸部x射线图像分割为心脏区域、左肺区域和右肺区域(这三个区域合称为心肺区域)，然后对各区域的边缘进行边缘提取，得到心脏区域图、左肺区域图和右肺区域图。其中，心脏区域图即为胸部x射线图像中心脏所在的区域的局部图，左肺区域图即为胸部x射线图像中左肺所在的区域的局部图，右肺区域图即为胸部x射线图像中右肺所在的区域的局部图。
30.通过对胸部x射线图像进行语义分割，分割出心脏区域图、左肺区域图和右肺区域图，由于病理信息主要集中在这三个区域，因此，在后续的处理过程中聚焦在三个区域，避免非心肺区域的信息干扰，提高后续第二心肺异常识别结果的准确性。
31.需要说明的是，本发明实施例对于语义分割所采用的分割模型不做限定，只要能够得到心脏区域图、左肺区域图和右肺区域图即可。
32.s104、从心脏区域图、左肺区域图和右肺区域图分别提取出用于表征病灶信息的第一局部特征图、第二局部特征图和第三局部特征图。
33.具体的，对分割出来的心脏区域图、左肺区域图和右肺区域图分别进行处理，例如，将心脏区域图、左肺区域图和右肺区域图分别输入预先训练好的局部网络模型中进行处理，分别从心脏区域图、左肺区域图和右肺区域图提取出用于表征病灶信息的第一局部特征图、第二局部特征图和第三局部特征图。
34.s105、将第一局部特征图、第二局部特征图和第三局部特征图进行特征融合，得到融合特征图。
35.在本发明实施例中，将表征心脏区域图中的病灶信息的第一局部特征图、表征左肺区域图中的病灶信息的第二局部特征图和表征右肺区域图中的病灶信息的第三局部特征图进行特征融合，得到融合特征图。
36.s106、基于融合特征图确定第二心肺异常识别结果。
37.在得到融合特征图之后，基于融合特征图确定第二心肺异常识别结果，第二心肺异常识别结果包括各心肺异常类型的概率值。示例性的，在本发明的一些实施例中，可以直接将融合特征图映射至心肺异常类型标记空间，得到logits向量，然后对logits向量进行归一化处理，得到概率向量，该向量中每一元素为胸部x射线图像属于对应的心肺异常种类
的概率值。然后将该向量中的最大值对应的心肺异常类型作为第二心肺异常识别结果。在本发明的另一些实施例中，也可以先对融合特征图进行挖掘，例如，输入预先训练好的深度卷积网络中进行处理，提取出融合特征图的高阶特征。接着，将高阶特征映射至心肺异常类型标记空间，得到logits向量，然后对logits向量进行归一化处理，得到概率向量，该向量中每一元素为胸部x射线图像属于对应的心肺异常种类的概率值。然后将该向量中的最大值对应的心肺异常类型作为第二心肺异常识别结果。高阶特征相对于低阶特征具有更丰富的语义信息，从而使得后续的第二心肺异常识别结果更准确。
38.s107、基于第一心肺异常识别结果和第二心肺异常识别结果确定心肺异常类型。
39.如上所述，第一心肺异常识别结果包括各心肺异常类型的概率值，该结果是基于全局特征图确定的。第二心肺异常识别结果包括各心肺异常类型的概率值，该结果是基于第一局部特征图、第二局部特征图和第三局部特征图的融合特征图确定的。结合第一心肺异常识别结果和第二心肺异常识别结果确定最终的心肺异常类型。示例性的，在本发明实施例中，将第一心肺异常识别结果和第二心肺异常识别结果中的最大概率值对应的心肺异常类型作为识别得到的心肺异常类型。示例性的，在本发明实施例中，基于全局特征图得到的概率向量为[p
11
,p
12
,
…
p
1n
]，其中，每一元素对应一种心肺异常类型的概率。基于融合特征图得到的概率向量[p
21
,p
22
,
…
p
2n
]，其中，每一元素对应一种心肺异常类型的概率。若概率向量[p
11
,p
12
,
…
p
1n
]中的最大值为p
1h
，概率向量[p
21
,p
22
,
…
p
2n
]中的最大值为p
2k
，则比较p
1h
和p
2k
的大小，将p
1h
和p
2k
中较大的值对应的心肺异常类型作为最终识别得到的心肺异常类型。
[0040]
在语义分割的过程中，分割难免会出现偏差，即分割得到的区域和实际有偏离，导致病理信息损失，导致基于第一局部特征图、第二局部特征图和第三局部特征图的融合特征图得到第二心肺异常识别结果的准确率较低。因此，在本发明实施例中，结合基于全局特征图得到的第一心肺异常识别结果，全局特征图保留了图像的整体属性，弥补了损失的病理信息，提高了识别准确率。
[0041]
本发明实施例提供的心肺异常识别方法，从获取的胸部x射线图像中提取用于表征全局信息的全局特征图，基于全局特征图确定第一心肺异常识别结果，对胸部x射线图像进行语义分割，得到心脏区域图、左肺区域图和右肺区域图，从心脏区域图、左肺区域图和右肺区域图分别提取出用于表征病灶信息的第一局部特征图、第二局部特征图和第三局部特征图，将第一局部特征图、第二局部特征图和第三局部特征图进行特征融合，得到融合特征图，基于融合特征图确定第二心肺异常识别结果，基于第一心肺异常识别结果和第二心肺异常识别结果确定心肺异常类型。通过结合基于全局特征图得到的第一心肺异常识别结果，和基于第一局部特征图、第二局部特征图和第三局部特征图的融合特征图得到第二心肺异常识别结果确定最终的心肺异常类型，有利于提高心肺异常识别的准确率。此外，通过将心脏区域图、左肺区域图和右肺区域图从胸部x射线图像分离出来，在后续的处理过程中聚焦在三个区域，避免非心肺区域的信息干扰，提高了心肺异常识别的准确率。
[0042]
实施例二
[0043]
图2a为本发明实施例二提供的一种心肺异常识别方法的流程图，图2b为本发明实施例提供的一种心肺异常识别方法中数据处理流程图，本实施例在前述实施例一的基础上，详细描述了上述实施例中各步骤的详细过程，如图2a、2b所示，该方法包括：
[0044]
s201、基于通道注意力机制从获取的胸部x射线图像中提取出表征病灶区域的特征图。
[0045]
在本发明实施例中，基于通道注意力机制从获取的胸部x射线图像中提取出表征病灶区域的特征图，通道注意力机制重点关注病灶区域的特征，有利于提高全局特征图的特征表达，进而提高心肺异常识别概率。
[0046]
示例性的，如图2b所示，获取的胸部x射线图像的大小为c
×h×
w，其中，c为图像的通道数，h为图像的高度，w为图像宽度。针对胸部x射线图像的每一元素(或称之为像素)，对该元素的各通道数值(共c个通道)进行全局平均池化处理和全局最大池化处理，得到大小均为1
×h×
w的最大池化特征图和平均池化特征图。
[0047]
然后，将最大池化特征图和平均池化特征图进行特征融合，得到表征病灶区域的特征图。示例性的，在本发明实施例中，将最大池化特征图和平均池化特征图进行特征拼接(concatenate)，然后将拼接后的特征进行降维处理(例如经卷积网络卷积处理)，得到大小为1
×h×
w的表征病灶区域的特征图。
[0048]
s202、将特征图与胸部x射线图像对应的元素相乘，得到病灶区域图像。
[0049]
具体的，将表征病灶区域的特征图与胸部x射线图像对应的元素相乘(element-wise multiplication)，得到病灶区域图像。通过将表征病灶区域的特征图与胸部x射线图像对应的元素相乘，突出病灶区域的特征，抑制非病灶区域的特征，有利于病灶区域的特征表达，进而提高心肺异常识别概率。
[0050]
s203、从病灶区域图像中提取高阶特征作为胸部x射线图像的全局特征图。
[0051]
在得到病灶区域图像之后，从病灶区域图像中提取高阶特征作为胸部x射线图像的全局特征图。示例性的，如图2b所示，将病灶区域图像输入预先训练好的深度学习网络的主干网络(backbone)中进行处理，得到高阶特征作为全局特征图。示例性的，如图2b所示，主干网络包括若干间隔设置的卷积层和池化层，卷积层用于对输入的特征进行卷积操作处理，以得到更高阶的特征，池化层用于对输入的特征进行池化操作处理，池化操作可以是全局平均池化或全局最大池化，本发明实施例在此不做限定。经主干网络的最后一次池化层处理后，输出大小为c
×h×
w的高阶特征作为全局特征图。高阶特征相对于低阶特征具有更丰富的语义信息，从而使得后续的第一心肺异常识别结果更准确。
[0052]
s204、基于全局特征图确定第一心肺异常识别结果。
[0053]
在提取出全局特征图之后，基于全局特征图确定第一心肺异常识别结果。示例性的，如图2b所示，将高阶特征输入一全连接层中进行处理，全连接层将全局特征图映射到样本标记空间，得到logits向量。然后将logits向量输入softmax函数，softmax函数将logits向量中的元素归一化，得到概率向量p1，该向量中每一元素为胸部x射线图像属于对应的心肺异常种类的概率值。然后将该向量中的最大值对应的心肺异常类型作为第一心肺异常识别结果。
[0054]
在本发明实施例中，心肺异常类型包括：atelectasis(肺扩张不全)、cardiomegaly(心脏扩大)、effusion(肺积液)、infiltration(肺部浸润)、mass(肺部块)、nodule(肺结节)、pneumonia(肺炎)、pneumothorax(气胸)、consolidation(肺实变)、edema(肺水肿)、emphysema(肺气肿)、fibrosis(肺纤维化)、pleural thickening(肺膜增厚)、hernia(肺氙)中的两种或两种以上，本发明实施例在此不做限定。
[0055]
s205、基于预先训练好的u-net模型对胸部x射线图像进行语义分割，得到心脏区域图、左肺区域图和右肺区域图。
[0056]
示例性的，如图2b所示，在本发明实施例中，基于预先训练好的u-net模型对胸部x射线图像进行语义分割，得到心脏区域图、左肺区域图和右肺区域图。u-net模型是一种改进的全连接网络结构，因其结构形似字母u而得名。它由左半边的压缩通道(contracting path)和右半边扩展通道(expansive path)组成。压缩通道是典型的卷积神经网络结构，它重复采用2个卷积层和1个最大池化层的结构，每进行一次池化操作后特征图的维数就增加1倍。在扩展通道，先进行1次反卷积操作，使特征图的维数减半，然后拼接对应压缩通道裁剪得到的特征图，重新组成一个2倍大小的特征图，再采用2个卷积层进行特征提取，并重复这一结构。在最后的输出层，用2个卷积层将64维的特征图映射成2维的输出图。u-net模型的“u形”结构让裁剪和拼接过程更加直观、合理，高层特征图与底层特征图的拼接以及卷积的反复、连续操作，使得模型能够从上下文信息和细节信息由组合得到更加精确的输出特征图。
[0057]
需要说明的是，本发明实施例对于语义分割所采用的分割模型不做限定，例如，也可以是全卷积网络模型、deeplab模型、pspnet或refinenet等。
[0058]
s206、将心脏区域图、左肺区域图和右肺区域图分别放大至与胸部x射线图像相同的大小，得到心脏区域放大图、左肺区域放大图和右肺区域放大图。
[0059]
具体的，如图2b所示，将提取到的心脏区域图、左肺区域图和右肺区域图分别放大至与胸部x射线图像相同的大小(即3
×h×
w)，得到心脏区域放大图、左肺区域放大图和右肺区域放大图。
[0060]
s207、基于通道注意力机制分别从心脏区域放大图、左肺区域放大图和右肺区域放大图分别提取用于表征病灶信息的第一局部特征图、第二局部特征图和第三局部特征图。
[0061]
在得到心脏区域放大图、左肺区域放大图和右肺区域放大图之后，基于通道注意力机制分别从心脏区域放大图、左肺区域放大图和右肺区域放大图分别提取用于表征病灶信息的第一局部特征图、第二局部特征图和第三局部特征图。基于通道注意力机制提取局部特征图，关注于病灶信息的特征，有利于提高心肺异常识别准确率。
[0062]
示例性的，如图2b所示，针对心脏区域放大图、左肺区域放大图和右肺区域放大图，对每一放大图中每一元素(或称之为像素)的各通道数值进行全局平均池化处理和全局最大池化处理，得到第一局部特征图、第二局部特征图和第三局部特征图。其中，第一局部特征图包括心脏区域放大图的平均池化特征图和最大池化特征图，第二局部特征图包括左肺区域放大图的平均池化特征图和最大池化特征图，第三局部特征图包括右肺区域放大图的平均池化特征图和最大池化特征图。
[0063]
s208、将第一局部特征图、第二局部特征图和第三局部特征图进行拼接，得到拼接特征图。
[0064]
示例性的，如图2b所示，将第一局部特征图、第二局部特征图和第三局部特征图进行拼接，得到拼接特征图。
[0065]
s209、对拼接特征图进行降维处理，得到与胸部x射线图像相同大小的融合特征图。
[0066]
由于第一局部特征图、第二局部特征图和第三局部特征图均包括平均池化特征图和最大池化特征图，即拼接后的拼接特征图包括6个通道，为了适应后续网络的输入特性，对拼接特征图进行降维处理，得到与胸部x射线图像相同大小的融合特征图。具体的，在本发明实施例中，将拼接特征图输入一卷积网络中进行卷积处理，得到与胸部x射线图像相同大小的融合特征图。
[0067]
s210、从融合特征图中提取高阶特征作为病理特征图。
[0068]
在本发明实施例中，为了增强局部特征图的语义信息，提高局部特征图的特征表达，从融合特征图中提取高阶特征作为病理特征图。示例性的，如图2b所示，在本发明实施例中，将融合特征图输入预先训练好的深度学习网络的主干网络(backbone)中进行处理，得到大小为c
×h×
w的高阶特征作为病理特征图。
[0069]
s211、基于病理特征图确定第二心肺异常识别结果。
[0070]
在提取出病理特征图之后，基于全病理特征图确定第二心肺异常识别结果。示例性的，如图2b所示，将病理特征图输入一全连接层中进行处理，全连接层将病理特征图映射到样本标记空间，得到logits向量。然后将logits向量输入softmax函数，softmax函数将logits向量中的元素归一化，得到概率向量p2，该向量中每一元素为胸部x射线图像属于对应的心肺异常种类的概率值。然后将该向量中的最大值对应的心肺异常类型作为第二心肺异常识别结果。
[0071]
s212、比较第一概率值和第二概率值。
[0072]
如前文所述，第一心肺异常识别结果包括识别的第一异常类型的第一概率值(即基于全局特征图得到的概率向量中的最大值)，第二心肺异常识别结果包括识别的第二异常类型的第二概率值(即基于局部特征图的融合特征图得到概率向量中的最大值)。在本发明实施例中，比较第一概率值和第二概率值，判断二者的大小关系。
[0073]
s213、将第一概率值和第二概率值中的最大值对应的心肺异常类型作为胸部x射线图像的心肺异常类型。
[0074]
具体的，将第一概率值和第二概率值中的最大值对应的心肺异常类型作为预测的胸部x射线图像的心肺异常类型。例如，若第一概率值大于第二概率值，则确定第一概率值对应的心肺异常类型为最终预测的心肺异常类型。
[0075]
本发明实施例提供的心肺异常识别方法，通过结合基于全局特征图得到的第一心肺异常识别结果，和基于第一局部特征图、第二局部特征图和第三局部特征图的融合特征图得到第二心肺异常识别结果确定最终的心肺异常类型，有利于提高心肺异常识别的准确率。此外，通过将心脏区域图、左肺区域图和右肺区域图从胸部x射线图像分离出来，在后续的处理过程中聚焦在三个区域，避免非心肺区域的信息干扰，提高了心肺异常识别的准确率。此外，通过将表征病灶区域的特征图与胸部x射线图像对应的元素相乘，突出病灶区域的特征，抑制非病灶区域的特征，有利于病灶区域的特征表达，进而提高心肺异常识别概率。基于通道注意力机制提取局部特征图，关注于病灶信息的特征，有利于提高心肺异常识别准确率。
[0076]
实施例三
[0077]
图3为本发明实施例三提供的一种心肺异常识别装置的结构示意图，如图3所示，该装置包括：
[0078]
全局特征图提取模块301，用于从获取的胸部x射线图像中提取用于表征全局信息的全局特征图。
[0079]
具体的，全局特征图提取模块301通过对获取的胸部x射线图像进行处理，例如，将胸部x射线图像输入预先训练好的全局网络模型中进行处理，提取出用于表征全局信息的全局特征图。全局特征图是指用胸部x射线图像的全部特征来表征胸部x射线图像，它是图像的整体属性。常见的全局特征图包括颜色特征、纹理特征和形状特征。由于全局特征图是像素级的低层可视特征，因此，全局特征图具有良好的不变性、计算简单、表示直观等特点。
[0080]
第一结果确定模块302，用于基于所述全局特征图确定第一心肺异常识别结果，所述第一心肺异常识别结果包括各心肺异常类型的概率值。
[0081]
在提取出全局特征图之后，第一结果确定模块302基于全局特征图确定第一心肺异常识别结果。示例性的，在本发明的一些实施例中，第一结果确定模块302可以直接将全局特征图映射至心肺异常类型标记空间，得到logits向量，然后对logits向量进行归一化处理，得到概率向量，该向量中每一元素为胸部x射线图像属于对应的心肺异常种类的概率值。然后将该向量中的最大值对应的心肺异常类型作为第一心肺异常识别结果。在本发明的另一些实施例中，也可以先对全局特征图进行挖掘，例如，输入预先训练好的深度卷积网络中进行处理，提取出全局特征图的高阶特征。接着，将高阶特征映射至心肺异常类型标记空间，得到logits向量，然后对logits向量进行归一化处理，得到概率向量，该向量中每一元素为胸部x射线图像属于对应的心肺异常种类的概率值。然后将该向量中的最大值对应的心肺异常类型作为第一心肺异常识别结果。高阶特征相对于低阶特征具有更丰富的语义信息，从而使得后续的第一心肺异常识别结果更准确。
[0082]
图像分割模块303，用于对所述胸部x射线图像进行语义分割，得到心脏区域图、左肺区域图和右肺区域图。
[0083]
语义分割是指对图像中的每一个像素进行分类，将图像中的像素分属到预设的不同类别，从而在图像中得到不同的区域。本发明实施例中，图像分割模块303对胸部x射线图像进行语义分割，从而将胸部x射线图像分割为心脏区域、左肺区域和右肺区域(这三个区域合称为心肺区域)，然后对各区域的边缘进行边缘提取，得到心脏区域图、左肺区域图和右肺区域图。其中，心脏区域图即为胸部x射线图像中心脏所在的区域的局部图，左肺区域图即为胸部x射线图像中左肺所在的区域的局部图，右肺区域图即为胸部x射线图像中右肺所在的区域的局部图。
[0084]
通过对胸部x射线图像进行语义分割，分割出心脏区域图、左肺区域图和右肺区域图，由于病理信息主要集中在这三个区域，因此，在后续的处理过程中聚焦在三个区域，避免非心肺区域的信息干扰，提高后续第二心肺异常识别结果的准确性。
[0085]
需要说明的是，本发明实施例对于语义分割所采用的分割模型不做限定，只要能够得到心脏区域图、左肺区域图和右肺区域图即可。
[0086]
局部特征图提取模块304，用于从所述心脏区域图、所述左肺区域图和所述右肺区域图分别提取出用于表征病灶信息的第一局部特征图、第二局部特征图和第三局部特征图。
[0087]
具体的，局部特征图提取模块304对分割出来的心脏区域图、左肺区域图和右肺区域图分别进行处理，例如，将心脏区域图、左肺区域图和右肺区域图分别输入预先训练好的
局部网络模型中进行处理，分别从心脏区域图、左肺区域图和右肺区域图提取出用于表征病灶信息的第一局部特征图、第二局部特征图和第三局部特征图。
[0088]
特征融合模块305，用于将所述第一局部特征图、所述第二局部特征图和所述第三局部特征图进行特征融合，得到融合特征图。
[0089]
在本发明实施例中，特征融合模块305将表征心脏区域图中的病灶信息的第一局部特征图、表征左肺区域图中的病灶信息的第二局部特征图和表征右肺区域图中的病灶信息的第三局部特征图进行特征融合，得到融合特征图。
[0090]
第二结果确定模块306，用于基于所述融合特征图确定第二心肺异常识别结果，所述第二心肺异常识别结果包括各心肺异常类型的概率值。
[0091]
第二结果确定模块306基于融合特征图确定第二心肺异常识别结果，第二心肺异常识别结果包括各心肺异常类型的概率值。示例性的，在本发明的一些实施例中，第二结果确定模块306可以直接将融合特征图映射至心肺异常类型标记空间，得到logits向量，然后对logits向量进行归一化处理，得到概率向量，该向量中每一元素为胸部x射线图像属于对应的心肺异常种类的概率值。然后将该向量中的最大值对应的心肺异常类型作为第二心肺异常识别结果。在本发明的另一些实施例中，也可以先对融合特征图进行挖掘，例如，输入预先训练好的深度卷积网络中进行处理，提取出融合特征图的高阶特征。接着，将高阶特征映射至心肺异常类型标记空间，得到logits向量，然后对logits向量进行归一化处理，得到概率向量，该向量中每一元素为胸部x射线图像属于对应的心肺异常种类的概率值。然后将该向量中的最大值对应的心肺异常类型作为第二心肺异常识别结果。高阶特征相对于低阶特征具有更丰富的语义信息，从而使得后续的第二心肺异常识别结果更准确。
[0092]
异常类型确定模块307，用于基于所述第一心肺异常识别结果和所述第二心肺异常识别结果确定心肺异常类型。
[0093]
如上所述，第一心肺异常识别结果包括各心肺异常类型的概率值，该结果是基于全局特征图确定的。第二心肺异常识别结果包括各心肺异常类型的概率值，该结果是基于第一局部特征图、第二局部特征图和第三局部特征图的融合特征图确定的。异常类型确定模块307结合第一心肺异常识别结果和第二心肺异常识别结果确定最终的心肺异常类型。示例性的，在本发明实施例中，异常类型确定模块307将第一心肺异常识别结果和第二心肺异常识别结果中的最大概率值对应的心肺异常类型作为识别得到的心肺异常类型。示例性的，在本发明实施例中，基于全局特征图得到的概率向量为[p
11
,p
12
,
…
p
1n
]，其中，每一元素对应一种心肺异常类型的概率。基于融合特征图得到的概率向量[p
21
,p
22
,
…
p
2n
]，其中，每一元素对应一种心肺异常类型的概率。若概率向量[p
11
,p
12
,
…
p
1n
]中的最大值为p
1h
，概率向量[p
21
,p
22
,
…
p
2n
]中的最大值为p
2k
，则比较p
1h
和p
2k
的大小，将p
1h
和p
2k
中较大的值对应的心肺异常类型作为最终识别得到的心肺异常类型。
[0094]
在语义分割的过程中，分割难免会出现偏差，即分割得到的区域和实际有偏离，导致病理信息损失，导致基于第一局部特征图、第二局部特征图和第三局部特征图的融合特征图得到第二心肺异常识别结果的准确率较低。因此，在本发明实施例中，异常类型确定模块307结合基于全局特征图得到的第一心肺异常识别结果，全局特征图保留了图像的整体属性，弥补了损失的病理信息，提高了识别准确率。
[0095]
本发明实施例提供的心肺异常识别装置，全局特征图提取模块从获取的胸部x射
线图像中提取用于表征全局信息的全局特征图，第一结果确定模块基于全局特征图确定第一心肺异常识别结果，图像分割模块对胸部x射线图像进行语义分割，得到心脏区域图、左肺区域图和右肺区域图，局部特征图提取模块从心脏区域图、左肺区域图和右肺区域图分别提取出用于表征病灶信息的第一局部特征图、第二局部特征图和第三局部特征图，特征融合模块将第一局部特征图、第二局部特征图和第三局部特征图进行特征融合，得到融合特征图，第二结果确定模块基于融合特征图确定第二心肺异常识别结果，异常类型确定模块基于第一心肺异常识别结果和第二心肺异常识别结果确定心肺异常类型。通过结合基于全局特征图得到的第一心肺异常识别结果，和基于第一局部特征图、第二局部特征图和第三局部特征图的融合特征图得到第二心肺异常识别结果确定最终的心肺异常类型，避免了语义分割过程中出现的分割偏差导致病理信息的损失，提高了心肺异常识别的准确率。
[0096]
在本发明的一些实施例中，全局特征图提取模块301包括：特征图提取子模块、元素乘积子模块和全局特征图提取子模块。
[0097]
特征图提取子模块，用于基于通道注意力机制从获取的胸部x射线图像中提取出表征病灶区域的特征图。
[0098]
在本发明实施例中，特征图提取子模块基于通道注意力机制从获取的胸部x射线图像中提取出表征病灶区域的特征图，通道注意力机制重点关注病灶区域的特征，有利于提高全局特征图的特征表达，进而提高心肺异常识别概率。
[0099]
在本发明的一些实施例中，特征图提取子模块包括：第一池化处理单元和特征融合单元。
[0100]
第一池化处理单元，用于针对获取的胸部x射线图像的每一元素，对该元素的各通道数值进行全局平均池化处理和全局最大池化处理，得到最大池化特征图和平均池化特征图。
[0101]
具体的，获取的胸部x射线图像的大小为c
×h×
w，其中，c为图像的通道数，h为图像的高度，w为图像宽度。针对胸部x射线图像的每一元素(或称之为像素)，第一池化处理单元对该元素的各通道数值(共c个通道)进行全局平均池化处理和全局最大池化处理，得到大小均为1
×h×
w的最大池化特征图和平均池化特征图。
[0102]
特征融合单元，用于将所述最大池化特征图和所述平均池化特征图进行特征融合，得到表征病灶区域的特征图。
[0103]
具体的，特征融合单元将最大池化特征图和平均池化特征图进行特征融合，得到表征病灶区域的特征图。示例性的，在本发明实施例中，将最大池化特征图和平均池化特征图进行特征拼接(concatenate)，然后将拼接后的特征进行降维处理(例如经卷积网络卷积处理)，得到大小为1
×h×
w的表征病灶区域的特征图。
[0104]
元素乘积子模块，用于将所述特征图与所述胸部x射线图像对应的元素相乘，得到病灶区域图像。
[0105]
具体的，元素乘积子模块将表征病灶区域的特征图与胸部x射线图像对应的元素相乘(element-wise multiplication)，得到病灶区域图像。通过将表征病灶区域的特征图与胸部x射线图像对应的元素相乘，突出病灶区域的特征，抑制非病灶区域的特征，有利于病灶区域的特征表达，进而提高心肺异常识别概率。
[0106]
全局特征图提取子模块，用于从所述病灶区域图像中提取高阶特征作为所述胸部
x射线图像的全局特征图。
[0107]
在得到病灶区域图像之后，全局特征图提取子模块从病灶区域图像中提取高阶特征作为胸部x射线图像的全局特征图。示例性的，如图2b所示，全局特征图提取子模块的处理过程如下：
[0108]
将病灶区域图像输入预先训练好的深度学习网络的主干网络(backbone)中进行处理，得到高阶特征作为全局特征图。示例性的，如图2b所示，主干网络包括若干间隔设置的卷积层和池化层，卷积层用于对输入的特征进行卷积操作处理，以得到更高阶的特征，池化层用于对输入的特征进行池化操作处理，池化操作可以是全局平均池化或全局最大池化，本发明实施例在此不做限定。经主干网络的最后一次池化层处理后，输出大小为c
×h×
w的高阶特征作为全局特征图。高阶特征相对于低阶特征具有更丰富的语义信息，从而使得后续的第一心肺异常识别结果更准确。
[0109]
在本发明的一些实施例中，图像分割模块303用于基于预先训练好的u-net模型对所述胸部x射线图像进行语义分割，得到心脏区域图、左肺区域图和右肺区域图。
[0110]
示例性的，在本发明实施例中，图像分割模块303基于预先训练好的u-net模型对胸部x射线图像进行语义分割，得到心脏区域图、左肺区域图和右肺区域图。u-net模型是一种改进的全连接网络结构，因其结构形似字母u而得名。它由左半边的压缩通道(contracting path)和右半边扩展通道(expansive path)组成。压缩通道是典型的卷积神经网络结构，它重复采用2个卷积层和1个最大池化层的结构，每进行一次池化操作后特征图的维数就增加1倍。在扩展通道，先进行1次反卷积操作，使特征图的维数减半，然后拼接对应压缩通道裁剪得到的特征图，重新组成一个2倍大小的特征图，再采用2个卷积层进行特征提取，并重复这一结构。在最后的输出层，用2个卷积层将64维的特征图映射成2维的输出图。u-net模型的“u形”结构让裁剪和拼接过程更加直观、合理，高层特征图与底层特征图的拼接以及卷积的反复、连续操作，使得模型能够从上下文信息和细节信息由组合得到更加精确的输出特征图。
[0111]
需要说明的是，本发明实施例对于语义分割所采用的分割模型不做限定，例如，也可以是全卷积网络模型、deeplab模型、pspnet或refinenet等。
[0112]
在本发明的一些实施例中，局部特征图提取模块304包括：图像放大子模块和局部特征图提取子模块。
[0113]
图像放大子模块，用于将所述心脏区域图、所述左肺区域图和所述右肺区域图分别放大至与所述胸部x射线图像相同的大小，得到心脏区域放大图、左肺区域放大图和右肺区域放大图。
[0114]
具体的，图像放大子模块将提取到的心脏区域图、左肺区域图和右肺区域图分别放大至与胸部x射线图像相同的大小(即3
×h×
w)，得到心脏区域放大图、左肺区域放大图和右肺区域放大图。
[0115]
局部特征图提取子模块，用于基于通道注意力机制分别从所述心脏区域放大图、所述左肺区域放大图和所述右肺区域放大图分别提取用于表征病灶信息的第一局部特征图、第二局部特征图和第三局部特征图。
[0116]
在得到心脏区域放大图、左肺区域放大图和右肺区域放大图之后，基于通道注意力机制分别从心脏区域放大图、左肺区域放大图和右肺区域放大图分别提取用于表征病灶
信息的第一局部特征图、第二局部特征图和第三局部特征图。基于通道注意力机制提取局部特征图，关注于病灶信息的特征，有利于提高心肺异常识别准确率。
[0117]
在本发明的一些实施例中，局部特征图提取子模块包括：
[0118]
第二池化处理单元，用于针对所述心脏区域放大图、所述左肺区域放大图和所述右肺区域放大图，对放大图中每一元素的各通道数值进行全局平均池化处理和全局最大池化处理，得到第一局部特征图、第二局部特征图和第三局部特征图。
[0119]
示例性的，针对心脏区域放大图、左肺区域放大图和右肺区域放大图，第二池化处理单元对每一放大图中每一元素(或称之为像素)的各通道数值进行全局平均池化处理和全局最大池化处理，得到第一局部特征图、第二局部特征图和第三局部特征图。其中，第一局部特征图包括心脏区域放大图的平均池化特征图和最大池化特征图，第二局部特征图包括左肺区域放大图的平均池化特征图和最大池化特征图，第三局部特征图包括右肺区域放大图的平均池化特征图和最大池化特征图。
[0120]
在本发明的一些实施例中，特征融合模块305包括：
[0121]
特征拼接子模块，用于将所述第一局部特征图、所述第二局部特征图和所述第三局部特征图进行拼接，得到拼接特征图。
[0122]
示例性的，特征拼接子模块将第一局部特征图、第二局部特征图和第三局部特征图进行拼接，得到拼接特征图。
[0123]
降维处理子模块，用于对所述拼接特征图进行降维处理，得到与所述胸部x射线图像相同大小的融合特征图。
[0124]
由于第一局部特征图、第二局部特征图和第三局部特征图均包括平均池化特征图和最大池化特征图，即拼接后的拼接特征图包括6个通道，为了适应后续网络的输入特性，降维处理子模块对拼接特征图进行降维处理，得到与胸部x射线图像相同大小的融合特征图。具体的，在本发明实施例中，降维处理子模块将拼接特征图输入一卷积网络中进行卷积处理，得到与胸部x射线图像相同大小的融合特征图。
[0125]
在本发明的一些实施例中，第二结果确定模块306包括：
[0126]
病理特征图提取子模块，用于从所述融合特征图中提取高阶特征作为病理特征图。
[0127]
在本发明实施例中，为了增强局部特征图的语义信息，提高局部特征图的特征表达，病理特征图提取子模块从融合特征图中提取高阶特征作为病理特征图。示例性的，在本发明实施例中，病理特征图提取子模块的处理过程如下：
[0128]
将融合特征图输入预先训练好的深度学习网络的主干网络(backbone)中进行处理，得到大小为c
×h×
w的高阶特征作为病理特征图。
[0129]
第二结果确定子模块，用于基于所述病理特征图确定第二心肺异常识别结果。
[0130]
在提取出病理特征图之后，第二结果确定子模块基于全病理特征图确定第二心肺异常识别结果。示例性的，第二结果确定子模块的处理过程如下：
[0131]
将病理特征图输入一全连接层中进行处理，全连接层将病理特征图映射到样本标记空间，得到logits向量。然后将logits向量输入softmax函数，softmax函数将logits向量中的元素归一化，得到概率向量p2，该向量中每一元素为胸部x射线图像属于对应的心肺异常种类的概率值。然后将该向量中的最大值对应的心肺异常类型作为第二心肺异常识别结
果。
[0132]
在本发明的一些实施例中，所述第一心肺异常识别结果包括识别的第一异常类型的第一概率值，所述第二心肺异常识别结果包括识别的第二异常类型的第二概率值，异常类型确定模块307包括：
[0133]
比较子模块，用于比较所述第一概率值和所述第二概率值。
[0134]
如前文所述，第一心肺异常识别结果包括识别的第一异常类型的第一概率值(即基于全局特征图得到的概率向量中的最大值)，第二心肺异常识别结果包括识别的第二异常类型的第二概率值(即基于局部特征图的融合特征图得到概率向量中的最大值)。在本发明实施例中，比较子模块比较第一概率值和第二概率值，判断二者的大小关系。
[0135]
异常类型确定子模块，用于将所述第一概率值和所述第二概率值中的最大值对应的心肺异常类型作为所述胸部x射线图像的心肺异常类型。
[0136]
具体的，异常类型确定子模块将第一概率值和第二概率值中的最大值对应的心肺异常类型作为预测的胸部x射线图像的心肺异常类型。例如，若第一概率值大于第二概率值，则确定第一概率值对应的心肺异常类型为最终预测的心肺异常类型。
[0137]
本发明实施例提供的心肺异常识别装置，通过结合基于全局特征图得到的第一心肺异常识别结果，和基于第一局部特征图、第二局部特征图和第三局部特征图的融合特征图得到第二心肺异常识别结果确定最终的心肺异常类型，有利于提高心肺异常识别的准确率。此外，通过将心脏区域图、左肺区域图和右肺区域图从胸部x射线图像分离出来，在后续的处理过程中聚焦在三个区域，避免非心肺区域的信息干扰，提高了心肺异常识别的准确率。此外，通过将表征病灶区域的特征图与胸部x射线图像对应的元素相乘，突出病灶区域的特征，抑制非病灶区域的特征，有利于病灶区域的特征表达，进而提高心肺异常识别概率。基于通道注意力机制提取局部特征图，关注于病灶信息的特征，有利于提高心肺异常识别准确率。
[0138]
实施例四
[0139]
本发明实施例四提供了一种计算机设备，图4为本发明实施例四提供的一种计算机设备的结构示意图，如图4所示，该计算机设备包括：
[0140]
处理器401、存储器402、通信模块403、输入装置404和输出装置405；计算机设备中处理器401的数量可以是一个或多个，图4中以一个处理器401为例；计算机设备中的处理器401、存储器402、通信模块403、输入装置404和输出装置405可以通过总线或其他方式连接，图4中以通过总线连接为例。上述处理器401、存储器402、通信模块403、输入装置404和输出装置405可以集成在计算机设备上。
[0141]
存储器402作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如上述实施例中的心肺异常识别方法对应的模块。处理器401通过运行存储在存储器402中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的心肺异常识别方法。
[0142]
存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据微型计算机的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器402
可进一步包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0143]
通信模块403，用于与外界设备(例如智能终端)建立连接，并实现与外界设备的数据交互。输入装置404可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。
[0144]
本实施例提供的计算机设备，可执行本发明上述任意实施例提供的心肺异常识别方法，具有相应的功能和有益效果。
[0145]
实施例五
[0146]
本发明实施例五提供了一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明上述任意实施例提供的心肺异常识别方法，该方法包括：
[0147]
从获取的中提取用于表征全局信息的全局特征图；
[0148]
基于所述全局特征图确定第一心肺异常识别结果；
[0149]
对所述胸部x射线图像进行语义分割，得到心脏区域图、左肺区域图和右肺区域图；
[0150]
从所述心脏区域图、所述左肺区域图和所述右肺区域图分别提取出用于表征病灶信息的第一局部特征图、第二局部特征图和第三局部特征图；
[0151]
将所述第一局部特征图、所述第二局部特征图和所述第三局部特征图进行特征融合，得到融合特征图；
[0152]
基于所述融合特征图确定第二心肺异常识别结果；
[0153]
基于所述第一心肺异常识别结果和所述第二心肺异常识别结果确定心肺异常类型。
[0154]
需要说明的是，对于装置、计算机设备和存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0155]
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的心肺异常识别方法。
[0156]
值得注意的是，上述装置中，所包括的各个模块、子模块、单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0157]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下
列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0158]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0159]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。