一种心肺异常识别装置及设备的制作方法

1.本发明实施例涉及心肺异常识别技术领域，尤其涉及一种心肺异常识别装置及设备。


背景技术：

2.胸部x射线图像(或称之为胸片)是目前最常见的用于胸腔疾病筛查和诊断的工具。在日常临床中，胸片的影像筛查和诊断依赖专业医生的经验，这是一项耗时及可能出现主观性评估错误。近年来，随着医学影像处理技术的进步，尤其是深度学习方法，利用计算机辅助筛查和诊断逐渐应用到放射科。
3.由于胸部x线的低特异性，类间和类内的区分性很低，异常识别任务的性能都受限，导致异常识别准确率较低。


技术实现要素：

4.本发明提供一种心肺异常识别装置及设备，以提高心肺异常识别的准确率和识别效率。
5.第一方面，本发明实施例提供了一种心肺异常识别装置，包括：
6.全局特征图提取模块，用于从获取的胸部x射线图像中提取用于表征全局信息的全局特征图；
7.局部特征图提取模块，用于对所述全局特征图中非心肺区域的元素进行抑制，得到用于表征心肺区域的信息的局部特征图；
8.降维处理模块，用于对所述局部特征图进行降维处理，得到用于表征所述局部特征图的有效信息的降维特征图；
9.识别结果确定模块，用于将所述降维特征图输入预先基于阴性样本训练好的聚类编码本中进行检索，确定心肺异常识别结果，所述心肺异常识别结果包括阳性和阴性。
10.第二方面，本发明实施例还提供了一种计算机设备，包括如本发明第一方面提供的心肺异常识别装置。
11.本发明实施例提供的心肺异常识别装置，全局特征图提取模块从获取的胸部x射线图像中提取用于表征全局信息的全局特征图，局部特征图提取模块对全局特征图中非心肺区域的元素进行抑制，得到用于表征心肺区域的信息的局部特征图，降维处理模块对局部特征图进行降维处理，得到用于表征局部特征图的有效信息的降维特征图，识别结果确定模块将降维特征图输入预先基于阴性样本训练好的聚类编码本中进行检索，确定心肺异常识别结果，心肺异常识别结果包括阳性和阴性。通过对全局特征图中非心肺区域的元素进行抑制，抑制非心肺区域的信息传递，避免非心肺区域的信息对心肺异常识别结果的干扰，提高了心肺异常识别的准确率和识别效率。通过预先基于阴性样本构建聚类编码本，并将降维特征图输入聚类编码本中进行检索，确定心肺异常识别结果，解决了阳性样本稀缺，导致无法开展有效的监督训练的问题，降低了标注成本，同时，采用从聚类编码本中检索的
方式确定心肺异常识别结果，提高了识别效率。
附图说明
12.图1为本发明实施例一提供的一种心肺异常识别方法的流程图；
13.图2a为本发明实施例二提供的一种心肺异常识别方法的流程图；
14.图2b为本发明实施例提供的一种心肺异常识别方法中数据处理流程图；
15.图2c为本发明实施例提供的一种降维特征图的结构示意图；
16.图3为本发明实施例三提供的一种心肺异常识别装置的结构示意图；
17.图4为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
18.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
19.实施例一
20.图1为本发明实施例一提供的一种心肺异常识别方法的流程图，本实施例可适用于心肺异常识别的情况，该方法可以由本发明实施例提供的心肺异常识别装置来执行，该装置可以由软件和/或硬件的方式实现，通常配置于计算机设备中，如图1所示，该方法具体包括如下步骤：
21.s101、从获取的胸部x射线图像中提取用于表征全局信息的全局特征图。
22.胸部x射线图像也就胸片，采用x射线穿过胸部，投影在胶片上，即可得到胸部x射线图像。正常胸部x射线图像是胸腔内、外各种组织、器官包括胸壁软组织、骨骼、心脏大血管、肺、胸膜和膈肌等相互重叠的综合投影。正常充气的两肺在x射线胸片上表现为均匀一致较为透明的区域，在正位胸片(被检测者采用正姿站立，面对x射线源时拍摄的胸片)上，两侧肺野透明度基本相同，其透明度与肺内所含气体量成正比，两侧肺野分为左侧纵向内、中、外三带、右侧横向上、中、下三野；肺部还包括肺门、肺纹理、肺叶和肺段、气管和支气管；纵膈位于胸骨之后、胸椎之前，介于两肺之间，包含心脏、大血管、气管、主支气管、食管、淋巴组织、胸腺、神经及脂肪等，x线胸片除气管及主支气管可分辨外，其余纵膈结构缺乏对比。
23.通过对获取的胸部x射线图像进行处理，例如，将胸部x射线图像输入预先训练好的全局网络模型中进行处理，提取出用于表征全局信息的全局特征图。全局特征图是指用胸部x射线图像的全部特征来表征胸部x射线图像，它是图像的整体属性。常见的全局特征图包括颜色特征、纹理特征和形状特征。由于全局特征图是像素级的低层可视特征，因此，全局特征图具有良好的不变性、计算简单、表示直观等特点。
24.需要说明的是，本发明实施例对于提取全局特征图所采用的网络模型不做限定，只要能够得到表征全局信息全局特征图的即可。
25.s102、对全局特征图中非心肺区域的元素进行抑制，得到用于表征心肺区域的信息的局部特征图。
26.在本发明实施例中，心肺区域即x射线图像中心脏、左肺和右肺所在的区域，非心
肺区域即为x射线图像中心肺区域之外的区域。由于心肺异常的病灶主要集中在心肺区域，因此，在本发明实施例中，对全局特征图中非心肺区域的元素进行抑制，得到用于表征心肺区域的信息的局部特征图。通过对全局特征图中非心肺区域的元素进行抑制，抑制非心肺区域的信息传递，避免非心肺区域的信息对心肺异常识别结果的干扰，提高了心肺异常识别的准确率和识别效率。
27.需要说明的是，本发明实施例中，对全局特征图中非心肺区域的元素进行抑制的具体抑制方式不做限定，例如，可以赋予非心肺区域的元素相对于心肺区域的元素更小的权重，或直接将非心肺区域的元素置零，只要能够实现对全局特征图中非心肺区域的元素进行抑制即可。
28.s103、对局部特征图进行降维处理，得到用于表征局部特征图的有效信息的降维特征图。
29.在对全局特征图中非心肺区域的元素进行抑制，得到用于表征心肺区域的信息的局部特征图之后，得到的局部特征图的维度非常高，在后续在聚类编码本中进行检索时，检索工作量非常大，检索效率较低。本发明实施例中，通过对高维的局部特征图进行降维处理，得到用于表征局部特征图的有效信息的降维特征图，在保留了局部特征图的有效信息的前提下，降低了在后续在聚类编码本中进行检索时的工作量，节约了计算资源，提高了检索效率。
30.s104、将降维特征图输入预先基于阴性样本训练好的聚类编码本中进行检索，确定心肺异常识别结果，心肺异常识别结果包括阳性和阴性。
31.在本发明实施例中，预先采用大量阴性样本(即心肺正常的胸部x射线图像)进行聚类编码，得到基于阴性样本的聚类编码本。由于现实的临床场景中，阳性样本偏少、甚至某种疾病是缺少的，且阳性样本的标注需要依赖专业人员对病灶的具体位置、异常类别等信息进行详细标注，这往往需要大量的时间，导致无法开展有效的监督训练。本发明实施例预先采用大量阴性样本进行聚类编码，得到基于阴性样本的聚类编码本。然后，将降维特征图输入预先基于阴性样本训练好的聚类编码本中进行检索，确定心肺异常识别结果。解决了阳性样本稀缺，导致无法开展有效的监督训练的问题，降低了标注成本。
32.具体的，首先获取大量的阴性样本，从每一阴性样本中提取用于表征全局信息的全局特征图。接着，对阴性样本的全局特征图中非心肺区域的元素进行抑制，得到用于表征阴性样本的局部特征图的有效信息的降维特征图。然后对大量阴性样本的降维特征图进行聚类编码，得到基于阴性样本的聚类编码本。在本发明实施例中，聚类编码算法可以采用k-means聚类算法或其他的聚类算法，本发明实施例在此不做限定。
33.通过聚类编码对大量阴性样本进行聚类，得到包括多个类别的聚类编码本，每一类别的阴性样本具有相似的特征，用簇来表示。然后将得到的降维特征图输入聚类编码本中进行检索，计算降维特征图与各簇心的相似度，并基于相似度确定心肺异常识别结果，心肺异常识别结果包括阳性和阴性。其中，相似度越大，表示胸部x射线图像的心肺异常识别结果为阴性的概率越大。示例性的，若降维特征图与各簇心的相似度均大于或等于预设值，则认为心肺异常识别结果为阴性。或者说，若降维特征图与任意一个簇心的相似度小于预设值，则认为心肺异常识别结果为阳性。
34.本发明实施例提供的心肺异常识别方法，从获取的胸部x射线图像中提取用于表
征全局信息的全局特征图，对全局特征图中非心肺区域的元素进行抑制，得到用于表征心肺区域的信息的局部特征图，对局部特征图进行降维处理，得到用于表征局部特征图的有效信息的降维特征图，将降维特征图输入预先基于阴性样本训练好的聚类编码本中进行检索，确定心肺异常识别结果，心肺异常识别结果包括阳性和阴性。通过对全局特征图中非心肺区域的元素进行抑制，抑制非心肺区域的信息传递，避免非心肺区域的信息对心肺异常识别结果的干扰，提高了心肺异常识别的准确率和识别效率。通过预先基于阴性样本构建聚类编码本，并将降维特征图输入聚类编码本中进行检索，确定心肺异常识别结果，解决了阳性样本稀缺，导致无法开展有效的监督训练的问题，降低了标注成本，同时，采用从聚类编码本中检索的方式确定心肺异常识别结果，提高了识别效率。
35.实施例二
36.图2a为本发明实施例二提供的一种心肺异常识别方法的流程图，图2b为本发明实施例提供的一种心肺异常识别方法中数据处理流程图，本实施例在前述实施例一的基础上，详细描述了上述实施例中各步骤的详细过程，如图2a、2b所示，该方法包括：
37.s201、将胸部x射线图像输入预先训练好的自编码器中进行处理，得到用于表征全局信息的全局特征图。
38.在本发明实施例中，采用大量阴性样本预先训练自编码器(autoencoder)，待自编码器训练完成后，将胸部x射线图像输入自编码器中进行处理，得到用于表征全局信息的全局特征图。
39.自编码器是一种自监督式学习模型。它基于反向传播算法与最优化方法(如梯度下降法)，利用输入数据本身作为监督，使得输出近似等于输入。通过自编码器的自监督式学习，学习到大量阴性样本的特征分布，降低了标注成本。
40.示例性的，如图2b所示，自编码器包含编码器(encoder)和解码器(decoder)两部分。编码器能从输入的阴性样本中提取出最具有代表性的信息或特征，缩减信息量。解码器能够对减缩信息后的特征进行学习，输出用于表征全局信息的全局特征图。这样相较于直接学习原始的阴性样本会节省大量的时间成本。在训练过程中，自编码器的输入为阴性样本，输出为重构的阴性样本，通过比对自编码器的输入与输出的误差，进行反向传播，逐渐提升自编码器的准确性。
41.示例性的，在本发明实施例中，编码器采用densenet-121网络作为骨干网络(backbone)，编码器的最后一层卷积网络特征图大小为1024
×7×
7，解码器采用5层逆卷积上采样。在应用过程中，编码器的输入为一张图像大小为c
×h×
w的胸部x射线图像，其像素值提前进行归一化处理，然后经densenet-121网络下采样、经逆卷积上采样输出和原图(即输入的胸部x射线图像)一样大小全局特征图。
42.s202、对胸部x射线图像进行语义分割，得到包括心肺区域的蒙版图，蒙版图中，心肺区域的元素的值为1，非心肺区域的元素的值为0。
43.语义分割是指对图像中的每一个像素进行分类，将图像中的像素分属到预设的不同类别，从而在图像中得到不同的区域。本发明实施例中，对胸部x射线图像进行语义分割，从而将胸部x射线图像分割为心肺区域和非心肺区域。然后，将心肺区域的像素的像素值设置为1，将非心肺区域的像素的像素值设置为0，得到蒙版图。
44.通过对胸部x射线图像进行语义分割，分割出心肺区域和非心肺区域，由于病理信
息主要集中在心肺区域，因此，可以在后续的处理过程中聚焦心肺区域，避免非心肺区域的信息干扰，提高心肺异常识别结果的准确性。
45.示例性的，如图2b所示，在本发明实施例中，基于预先训练好的u-net模型对胸部x射线图像进行语义分割，得到大小为h
×
w的蒙版图，蒙版图中，心肺区域的元素的值为1，非心肺区域的元素的值为0。
46.u-net模型是一种改进的全连接网络结构，因其结构形似字母u而得名。它由左半边的压缩通道(contracting path)和右半边扩展通道(expansive path)组成。压缩通道是典型的卷积神经网络结构，它重复采用2个卷积层和1个最大池化层的结构，每进行一次池化操作后特征图的维数就增加1倍。在扩展通道，先进行1次反卷积操作，使特征图的维数减半，然后拼接对应压缩通道裁剪得到的特征图，重新组成一个2倍大小的特征图，再采用2个卷积层进行特征提取，并重复这一结构。在最后的输出层，用2个卷积层将64维的特征图映射成2维的输出图。u-net模型的“u形”结构让裁剪和拼接过程更加直观、合理，高层特征图与底层特征图的拼接以及卷积的反复、连续操作，使得模型能够从上下文信息和细节信息由组合得到更加精确的输出特征图。
47.需要说明的是，本发明实施例对于语义分割所采用的分割模型不做限定，例如，也可以是全卷积网络模型、deeplab模型、pspnet或refinenet等。
48.s203、将蒙版图与全局特征图对应元素相乘，得到用于表征心肺区域的信息的局部特征图。
49.在本发明实施例中，如图2b所示，将蒙版图与全局特征图对应元素相乘(element wise multiplication)，全局特征图中心肺区域的元素的值乘以1，被保留，非心肺区域的元素的值乘以0，即被置零，如此，抑制非心肺区域的信息，保留了心肺区域的信息，得到大小为c
×h×
w的局部特征图。
50.s204、对局部特征图进行主成分分析，找出用于表征局部特征图的主成分的主成分特征图。
51.主成分分析(principal component analysis，pca)是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。pca的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。
52.在本发明实施例中，对局部特征图进行主成分分析，找出用于表征局部特征图的主成分的主成分特征图，主成分特征图的维度小于局部特征图的维度。
53.示例性的，在本发明实施例中，对局部特征图进行主成分分析，包括如下子步骤：
54.s2041、计算局部特征图所有元素的协方差矩阵。
55.对于高维数据，我们用协方差来表示数据的分散程度。协方差可以表示两个变量的相关性。为了让两个变量尽可能表示更多的原始信息，我们希望它们之间不存在线性相关性，因为相关性意味着两个变量不是完全独立，必然存在重复表示的信息。
56.协方差矩阵用于表示局部特征图各元素与其他任意元素的相关性。协方差矩阵的计算公式如下：
codebook)。具体的，阴性样本的降维特征图的获取过程可以参考前述胸部x射线图像的降维特征图的获取过程，本发明实施例在此不再赘述。
73.类似的，阴性样本的降维特征图包括8主分量(即k＝8)，每个主分量用128维来表示。假设有阴性样本的总数量为50000张，我们得到的矩阵是50k
×8×
128。接着对8主分量分别进行50000个阴性样本的聚类，假设聚类簇数为256，将会得到256个簇心(即n＝256)，即得到8
×
256
×
128的聚类编码本。这个聚类编码本表示了阴性样本在8个主分量都有256个簇心，每个簇心用128维表示。
74.计算降维特征图的每个主分量与聚类编码本中256个簇心的相似度，即每个主分量得到256个相似度值。具体的，相似度可以是consine相似度，相似度越大，表示性异常识别结果为阴性的概率越大。
75.s207、取每个主分量对应的n个相似度值中的最大值作为中间相似度值，得到k个主分量对应的k个中间相似度值。
76.示例性的，对于每一主分量，取256个相似度值中的最大值作为中间相似度值，如此，得到8个主分量对应的8个中间相似度值。
77.s208、取k个中间相似度值中的最小值作为目标相似度值。
78.示例性的，取8个中间相似度值中的最小值作为目标相似度值。
79.s209、判断目标相似度值是否小于预设值。若是，则执行s210；若否，则执行s211。
80.示例性的，将目标相似度值与预设值进行比较，判断目标相似度值是否小于预设值。示例性的，预设值可根据任务设定，通常设定为0.5。
81.s210、确定心肺异常识别结果为阳性。
82.若目标相似度值小于预设值，则认为心肺异常识别结果为阳性。即只要任意一个主分量与其中一个簇心的相似度小于预设值，则认为心肺异常识别结果为阳性。
83.s211、确定心肺异常识别结果为阴性。
84.若目标相似度值大于或等于预设值，则认为心肺异常识别结果为阴性。
85.本发明实施例提供的心肺异常识别方法，通过对全局特征图中非心肺区域的元素进行抑制，抑制非心肺区域的信息传递，避免非心肺区域的信息对心肺异常识别结果的干扰，提高了心肺异常识别的准确率和识别效率。通过预先基于阴性样本构建聚类编码本，并将降维特征图输入聚类编码本中进行检索，确定心肺异常识别结果，解决了阳性样本稀缺，导致无法开展有效的监督训练的问题，降低了标注成本，同时，采用从聚类编码本中检索的方式确定心肺异常识别结果，提高了识别效率。通过自编码器的自监督式学习，学习到大量阴性样本的特征分布，降低了标注成本。对局部特征图进行主成分分析和白化，实现对局部特征图的降维，在保留了局部特征图的有效信息的前提下，降低了在后续在聚类编码本中进行检索时的工作量，节约了计算资源，提高了检索效率。
86.实施例三
87.图3为本发明实施例三提供的一种心肺异常识别装置的结构示意图，如图3所示，该装置包括：
88.全局特征图提取模块301，用于从获取的胸部x射线图像中提取用于表征全局信息的全局特征图。
89.全局特征图提取模块301通过对获取的胸部x射线图像进行处理，例如，将胸部x射
线图像输入预先训练好的全局网络模型中进行处理，提取出用于表征全局信息的全局特征图。全局特征图是指用胸部x射线图像的全部特征来表征胸部x射线图像，它是图像的整体属性。常见的全局特征图包括颜色特征、纹理特征和形状特征。由于全局特征图是像素级的低层可视特征，因此，全局特征图具有良好的不变性、计算简单、表示直观等特点。
90.需要说明的是，本发明实施例对于提取全局特征图所采用的网络模型不做限定，只要能够得到表征全局信息全局特征图的即可。
91.局部特征图提取模块302，用于对所述全局特征图中非心肺区域的元素进行抑制，得到用于表征心肺区域的信息的局部特征图。
92.在本发明实施例中，心肺区域即x射线图像中心脏、左肺和右肺所在的区域，非心肺区域即为x射线图像中心肺区域之外的区域。由于心肺异常的病灶主要集中在心肺区域，因此，在本发明实施例中，局部特征图提取模块302对全局特征图中非心肺区域的元素进行抑制，得到用于表征心肺区域的信息的局部特征图。通过对全局特征图中非心肺区域的元素进行抑制，抑制非心肺区域的信息传递，避免非心肺区域的信息对心肺异常识别结果的干扰，提高了心肺异常识别的准确率和识别效率。
93.需要说明的是，本发明实施例中，对全局特征图中非心肺区域的元素进行抑制的具体抑制方式不做限定，例如，可以赋予非心肺区域的元素相对于心肺区域的元素更小的权重，或直接将非心肺区域的元素置零，只要能够实现对全局特征图中非心肺区域的元素进行抑制即可。
94.降维处理模块303，用于对所述局部特征图进行降维处理，得到用于表征所述局部特征图的有效信息的降维特征图。
95.在对全局特征图中非心肺区域的元素进行抑制，得到用于表征心肺区域的信息的局部特征图之后，得到的局部特征图的维度非常高，在后续在聚类编码本中进行检索时，检索工作量非常大，检索效率较低。本发明实施例中，降维处理模块303对高维的局部特征图进行降维处理，得到用于表征局部特征图的有效信息的降维特征图，在保留了局部特征图的有效信息的前提下，降低了在后续在聚类编码本中进行检索时的工作量，节约了计算资源，提高了检索效率。
96.识别结果确定模块304，用于将所述降维特征图输入预先基于阴性样本训练好的聚类编码本中进行检索，确定心肺异常识别结果，所述心肺异常识别结果包括阳性和阴性。
97.在本发明实施例中，预先采用大量阴性样本(即心肺正常的胸部x射线图像)进行聚类编码，得到基于阴性样本的聚类编码本。由于现实的临床场景中，阳性样本偏少、甚至某种疾病是缺少的，且阳性样本的标注需要依赖专业人员对病灶的具体位置、异常类别等信息进行详细标注，这往往需要大量的时间，导致无法开展有效的监督训练。本发明实施例预先采用大量阴性样本进行聚类编码，得到基于阴性样本的聚类编码本。然后，识别结果确定模块304将降维特征图输入预先基于阴性样本训练好的聚类编码本中进行检索，确定心肺异常识别结果。解决了阳性样本稀缺，导致无法开展有效的监督训练的问题，降低了标注成本。
98.具体的，首先获取大量的阴性样本，从每一阴性样本中提取用于表征全局信息的全局特征图。接着，对阴性样本的全局特征图中非心肺区域的元素进行抑制，得到用于表征阴性样本的局部特征图的有效信息的降维特征图。然后对大量阴性样本的降维特征图进行
聚类编码，得到基于阴性样本的聚类编码本。在本发明实施例中，聚类编码算法可以采用k-means聚类算法或其他的聚类算法，本发明实施例在此不做限定。
99.通过聚类编码对大量阴性样本进行聚类，得到包括多个类别的聚类编码本，每一类别的阴性样本具有相似的特征，用簇来表示。然后将得到的降维特征图输入聚类编码本中进行检索，计算降维特征图与各簇心的相似度，并基于相似度确定心肺异常识别结果，心肺异常识别结果包括阳性和阴性。其中，相似度越大，表示胸部x射线图像的心肺异常识别结果为阴性的概率越大。示例性的，若降维特征图与各簇心的相似度均大于或等于预设值，则认为心肺异常识别结果为阴性。或者说，若降维特征图与任意一个簇心的相似度小于预设值，则认为心肺异常识别结果为阳性。
100.本发明实施例提供的心肺异常识别装置，全局特征图提取模块从获取的胸部x射线图像中提取用于表征全局信息的全局特征图，局部特征图提取模块对全局特征图中非心肺区域的元素进行抑制，得到用于表征心肺区域的信息的局部特征图，降维处理模块对局部特征图进行降维处理，得到用于表征局部特征图的有效信息的降维特征图，识别结果确定模块将降维特征图输入预先基于阴性样本训练好的聚类编码本中进行检索，确定心肺异常识别结果，心肺异常识别结果包括阳性和阴性。通过对全局特征图中非心肺区域的元素进行抑制，抑制非心肺区域的信息传递，避免非心肺区域的信息对心肺异常识别结果的干扰，提高了心肺异常识别的准确率和识别效率。通过预先基于阴性样本构建聚类编码本，并将降维特征图输入聚类编码本中进行检索，确定心肺异常识别结果，解决了阳性样本稀缺，导致无法开展有效的监督训练的问题，降低了标注成本，同时，采用从聚类编码本中检索的方式确定心肺异常识别结果，提高了识别效率。
101.在本发明的一些实施例中，全局特征图提取模块301用于将胸部x射线图像输入预先训练好的自编码器中进行处理，得到用于表征全局信息的全局特征图。
102.在本发明实施例中，采用大量阴性样本预先训练自编码器(autoencoder)，待自编码器训练完成后，将胸部x射线图像输入自编码器中进行处理，得到用于表征全局信息的全局特征图。
103.自编码器是一种自监督式学习模型。它基于反向传播算法与最优化方法(如梯度下降法)，利用输入数据本身作为监督，使得输出近似等于输入。通过自编码器的自监督式学习，学习到大量阴性样本的特征分布，降低了标注成本。
104.示例性的，自编码器包含编码器(encoder)和解码器(decoder)两部分。编码器能从输入的阴性样本中提取出最具有代表性的信息或特征，缩减信息量。解码器能够对减缩信息后的特征进行学习，输出用于表征全局信息的全局特征图。这样相较于直接学习原始的阴性样本会节省大量的时间成本。在训练过程中，自编码器的输入为阴性样本，输出为重构的阴性样本，通过比对自编码器的输入与输出的误差，进行反向传播，逐渐提升自编码器的准确性。
105.示例性的，在本发明实施例中，编码器采用densenet-121网络作为骨干网络(backbone)，编码器的最后一层卷积网络特征图大小为1024
×7×
7，解码器采用5层逆卷积上采样。在应用过程中，编码器的输入为一张图像大小为c
×h×
w的胸部x射线图像，其像素值提前进行归一化处理，然后经densenet-121网络下采样、经逆卷积上采样输出和原图(即输入的胸部x射线图像)一样大小全局特征图。
106.在本发明的一些实施例中，局部特征图提取模块302包括：
107.语义分割子模块，用于对所述胸部x射线图像进行语义分割，得到包括心肺区域的蒙版图，所述蒙版图中，心肺区域的元素的值为1，非心肺区域的元素的值为0。
108.语义分割是指对图像中的每一个像素进行分类，将图像中的像素分属到预设的不同类别，从而在图像中得到不同的区域。本发明实施例中，对胸部x射线图像进行语义分割，从而将胸部x射线图像分割为心肺区域和非心肺区域。然后，将心肺区域的像素的像素值设置为1，将非心肺区域的像素的像素值设置为0，得到蒙版图。
109.通过对胸部x射线图像进行语义分割，分割出心肺区域和非心肺区域，由于病理信息主要集中在心肺区域，因此，可以在后续的处理过程中聚焦心肺区域，避免非心肺区域的信息干扰，提高心肺异常识别结果的准确性。
110.示例性的，在本发明实施例中，基于预先训练好的u-net模型对胸部x射线图像进行语义分割，得到大小为h
×
w的蒙版图，蒙版图中，心肺区域的元素的值为1，非心肺区域的元素的值为0。
111.u-net模型是一种改进的全连接网络结构，因其结构形似字母u而得名。它由左半边的压缩通道(contracting path)和右半边扩展通道(expansive path)组成。压缩通道是典型的卷积神经网络结构，它重复采用2个卷积层和1个最大池化层的结构，每进行一次池化操作后特征图的维数就增加1倍。在扩展通道，先进行1次反卷积操作，使特征图的维数减半，然后拼接对应压缩通道裁剪得到的特征图，重新组成一个2倍大小的特征图，再采用2个卷积层进行特征提取，并重复这一结构。在最后的输出层，用2个卷积层将64维的特征图映射成2维的输出图。u-net模型的“u形”结构让裁剪和拼接过程更加直观、合理，高层特征图与底层特征图的拼接以及卷积的反复、连续操作，使得模型能够从上下文信息和细节信息由组合得到更加精确的输出特征图。
112.需要说明的是，本发明实施例对于语义分割所采用的分割模型不做限定，例如，也可以是全卷积网络模型、deeplab模型、pspnet或refinenet等。
113.元素乘积子模块，用于将所述蒙版图与所述全局特征图对应元素相乘，得到用于表征心肺区域的信息的局部特征图。
114.在本发明实施例中，元素乘积子模块将蒙版图与全局特征图对应元素相乘(element wise multiplication)，全局特征图中心肺区域的元素的值乘以1，被保留，非心肺区域的元素的值乘以0，即被置零，如此，抑制非心肺区域的信息，保留了心肺区域的信息，得到大小为c
×h×
w的局部特征图。
115.在本发明的一些实施例中，降维处理模块303包括：主成分分析子模块和白化处理子模块。
116.主成分分析子模块，用于对所述局部特征图进行主成分分析，找出用于表征所述局部特征图的主成分的主成分特征图，所述主成分特征图的维度小于所述局部特征图的维度。
117.主成分分析(principal component analysis，pca)是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。pca的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。
118.在本发明实施例中，主成分分析子模块对局部特征图进行主成分分析，找出用于表征局部特征图的主成分的主成分特征图，主成分特征图的维度小于局部特征图的维度。
119.在本发明的一些实施例中，主成分分析子模块包括：
120.协方差矩阵计算单元，用于计算所述局部特征图所有元素的协方差矩阵。
121.对于高维数据，我们用协方差来表示数据的分散程度。协方差可以表示两个变量的相关性。为了让两个变量尽可能表示更多的原始信息，我们希望它们之间不存在线性相关性，因为相关性意味着两个变量不是完全独立，必然存在重复表示的信息。
122.协方差矩阵用于表示局部特征图各元素与其他任意元素的相关性。协方差矩阵的计算公式如下：
[0123][0124]
其中，m为局部特征图中元素的总数量，xi为局部特征图中第i个元素，(xi)
t
为xi的转置。
[0125]
奇异值分解单元，用于对所述协方差矩阵进行奇异值分解，得到所述协方差矩阵的多个特征分量。
[0126]
在求出协方差矩阵后，奇异值分解单元对协方差矩阵进行奇异值分解，得出的u向量中的每一列就是协方差矩阵的特征分量。具体的，分解过程如下：
[0127][0128]
其中，u为正交矩阵，u1…
un为特征分量。
[0129]
主分量确定单元，用于选择前k个特征分量作为主分量。
[0130]
具体的，主分量确定单元将排在前面的k个特征分量(u1…
uk)作为主分量。
[0131]
投影单元，用于将所述局部特征图中各元素的值投影至所述主分量，得到用于表征所述局部特征图的主成分的主成分特征图。
[0132]
具体的，投影单元将局部特征图中各元素的值投影至主分量，实现对局部特征图的降维，得到用于表征局部特征图的主成分的主成分特征图。
[0133]
白化处理子模块，用于对所述主成分特征图进行白化处理，得到用于表征所述局部特征图的有效信息的降维特征图。
[0134]
由于胸部x射线图像各相邻像素是相关的，也即主成分特征图中各元素是相关的，所以主成分特征图中一些信息是冗余的，白化就是要降低输入的冗余性。具体的，在本发明实施例中，对主成分特征图进行白化(whitening)处理。
[0135]
在本发明的一些实施例中，白化处理子模块包括：
[0136]
标准差归一化单元，用于对所述局部特征图的k个主分量中每一主分量的数据进行标准差归一化处理，得到用于表征所述局部特征图的有效信息的降维特征图。
[0137]
数据的白化必须满足两个条件：一是不同特征间相关性最小，接近0；二是所有特征的方差相等(不一定为1)。
[0138]
如前文所述，经pca处理后，得到主成分特征图，主成分特征图包括k个主分量，各
主分量之间是独立的，不相关。满足白化的第一个条件，因此，只需要将主成分特征图中的每一主分量都除以标准差就得到了每一主分量的方差为1，也就是说方差相等。因此，标准差归一化单元对局部特征图的k个主分量中每一主分量的数据进行标准差归一化处理，得到用于表征局部特征图的有效信息的降维特征图。
[0139]
示例性的，降维特征图总维度为8
×
128维，即局部特征图的有效信息可以用8
×
128维来表示。我们可以理解为降维特征图包括8主分量(即k＝8)，每个主分量用128维来表示。
[0140]
在本发明的一些实施例中，所述降维特征图包括k个主分量，识别结果确定模块304包括：
[0141]
相似度计算子模块，用于计算所述降维特征图的每个所述主分量与聚类编码本中n个簇心的相似度，得到每个所述主分量对应的n个相似度值。
[0142]
在本发明实施例中，预先采用大量阴性样本(即心肺正常的胸部x射线图像)进行聚类编码，得到基于阴性样本的聚类编码本。具体的，首先获取大量的阴性样本，从每一阴性样本中提取用于表征全局信息的全局特征图。接着，对阴性样本的全局特征图中非心肺区域的元素进行抑制，得到用于表征阴性样本的局部特征图的有效信息的降维特征图。然后对大量阴性样本的降维特征图进行聚类编码，得到基于阴性样本的聚类编码本(pq codebook)。具体的，阴性样本的降维特征图的获取过程可以参考前述胸部x射线图像的降维特征图的获取过程，本发明实施例在此不再赘述。
[0143]
类似的，阴性样本的降维特征图包括8主分量(即k＝8)，每个主分量用128维来表示。假设有阴性样本的总数量为50000张，我们得到的矩阵是50k
×8×
128。接着对8主分量分别进行50000个阴性样本的聚类，假设聚类簇数为256，将会得到256个簇心(即n＝256)，即得到8
×
256
×
128的聚类编码本。这个聚类编码本表示了阴性样本在8个主分量都有256个簇心，每个簇心用128维表示。
[0144]
相似度计算子模块计算降维特征图的每个主分量与聚类编码本中256个簇心的相似度，即每个主分量得到256个相似度值。具体的，相似度可以是consine相似度，相似度越大，表示性异常识别结果为阴性的概率越大。
[0145]
中间相似度值选取子模块，用于取每个所述主分量对应的n个相似度值中的最大值作为中间相似度值，得到k个所述主分量对应的k个中间相似度值。
[0146]
示例性的，对于每一主分量，中间相似度值选取子模块取256个相似度值中的最大值作为中间相似度值，如此，得到8个主分量对应的8个中间相似度值。
[0147]
目标相似度值选取子模块，用于取k个所述中间相似度值中的最小值作为目标相似度值。
[0148]
示例性的，目标相似度值选取子模块取8个中间相似度值中的最小值作为目标相似度值。
[0149]
判断子模块，用于判断所述目标相似度值是否小于预设值。
[0150]
示例性的，判断子模块将目标相似度值与预设值进行比较，判断目标相似度值是否小于预设值。示例性的，预设值可根据任务设定，通常设定为0.5。
[0151]
阳性结果确定子模块，用于在所述目标相似度值小于所述预设值时，确定所述心肺异常识别结果为阳性。
[0152]
若目标相似度值小于预设值，阳性结果确定子模块确定心肺异常识别结果为阳性。即只要任意一个主分量与其中一个簇心的相似度小于预设值，则认为心肺异常识别结果为阳性。
[0153]
阴性结果确定子模块，用于在所述目标相似度值大于或等于所述预设值时，确定所述心肺异常识别结果为阴性。
[0154]
若目标相似度值大于或等于预设值，阴性结果确定子模块确定心肺异常识别结果为阴性。
[0155]
本发明实施例提供的心肺异常识别装置，通过对全局特征图中非心肺区域的元素进行抑制，抑制非心肺区域的信息传递，避免非心肺区域的信息对心肺异常识别结果的干扰，提高了心肺异常识别的准确率和识别效率。通过预先基于阴性样本构建聚类编码本，并将降维特征图输入聚类编码本中进行检索，确定心肺异常识别结果，解决了阳性样本稀缺，导致无法开展有效的监督训练的问题，降低了标注成本，同时，采用从聚类编码本中检索的方式确定心肺异常识别结果，提高了识别效率。通过自编码器的自监督式学习，学习到大量阴性样本的特征分布，降低了标注成本。对局部特征图进行主成分分析和白化，实现对局部特征图的降维，在保留了局部特征图的有效信息的前提下，降低了在后续在聚类编码本中进行检索时的工作量，节约了计算资源，提高了检索效率。
[0156]
实施例四
[0157]
本发明实施例四提供了一种计算机设备，图4为本发明实施例四提供的一种计算机设备的结构示意图，如图4所示，该计算机设备包括：
[0158]
处理器401、存储器402、通信模块403、输入装置404和输出装置405；计算机设备中处理器401的数量可以是一个或多个，图4中以一个处理器401为例；计算机设备中的处理器401、存储器402、通信模块403、输入装置404和输出装置405可以通过总线或其他方式连接，图4中以通过总线连接为例。上述处理器401、存储器402、通信模块403、输入装置404和输出装置405可以集成在计算机设备上。
[0159]
存储器402作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如上述实施例中的心肺异常识别方法对应的模块。处理器401通过运行存储在存储器402中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的心肺异常识别方法。
[0160]
存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据微型计算机的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器402可进一步包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0161]
通信模块403，用于与外界设备(例如智能终端)建立连接，并实现与外界设备的数据交互。输入装置404可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。
[0162]
本实施例提供的计算机设备，可执行本发明上述任意实施例提供的心肺异常识别
方法，具有相应的功能和有益效果。
[0163]
实施例五
[0164]
本发明实施例五提供了一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明上述任意实施例提供的心肺异常识别方法，该方法包括：
[0165]
从获取的胸部x射线图像中提取用于表征全局信息的全局特征图；
[0166]
对所述全局特征图中非心肺区域的元素进行抑制，得到用于表征心肺区域的信息的局部特征图；
[0167]
对所述局部特征图进行降维处理，得到用于表征所述局部特征图的有效信息的降维特征图；
[0168]
将所述降维特征图输入预先基于阴性样本训练好的聚类编码本中进行检索，确定心肺异常识别结果，所述心肺异常识别结果包括阳性和阴性。
[0169]
需要说明的是，对于装置、计算机设备和存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0170]
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的心肺异常识别方法。
[0171]
值得注意的是，上述装置中，所包括的各个模块、子模块、单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0172]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0173]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0174]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行
了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。