一种肺炎CT影像的病灶实例分割方法及装置

一种肺炎ct影像的病灶实例分割方法及装置
技术领域
1.本技术涉及图像识别技术领域，尤其是涉及一种肺炎ct影像的病灶实例分割方法及装置。


背景技术：

2.计算机断层扫描（ct）技术具有简便、快捷、显示病变敏感和适于动态观察等优势，可以获取患者胸部的精确图像，因此在对肺炎（例如，新冠肺炎）进行诊断和治疗的过程中，患者的ct影像起着重要的作用。
3.然而，单纯依靠医生对ct影像进行人工诊断耗费医疗资源。而目前在基于深度学习技术检测和分割肺炎病灶时，现有技术中往往基于传统的语义分割模型分割出肺炎病灶，但传统的语义分割模型对病灶区域，尤其是小病灶区域的检测精度不高，且无法区分出不同的单个病灶，因此不适用于后续更精细化的对单个病灶的分析。


技术实现要素：

4.有鉴于此，本技术的目的在于提供一种肺炎ct影像的病灶实例分割方法及装置，通过对mask r-cnn模型中的mask分支模块进行改进得到病灶实例分割模型，使得结合了多尺度特征融合、通道注意力和亚像素卷积上采样机制的病灶实例分割模型具有更好的病灶实例分割能力，能够分割出更精准的各个病灶实例，尤其能够提升对于病灶边缘及肺部小病灶的分割效果。
5.本技术实施例提供了一种肺炎ct影像的病灶实例分割方法，所述方法包括：获取患者待分割的肺炎ct影像；将所述肺炎ct影像输入预先训练好的病灶实例分割模型，得到患者的肺炎病灶实例分割结果；其中，所述病灶实例分割模型以mask r-cnn模型为基础构建；所述病灶实例分割模型中的mask分支模块包括特征提取单元、多尺度特征融合单元、通道注意力单元和亚像素卷积上采样单元。
6.进一步的，所述将所述肺炎ct影像输入预先训练好的病灶实例分割模型，得到患者的肺炎病灶实例分割结果，包括：将所述肺炎ct影像输入所述病灶实例分割模型中的特征提取模块，确定所述肺炎ct影像的特征图；将所述肺炎ct影像的特征图输入所述病灶实例分割模型中的候选区域生成模块，确定所述肺炎ct影像的特征图中的目标候选区域；将所述肺炎ct影像的特征图和所述目标候选区域输入所述病灶实例分割模型中的roi align模块，得到roi特征图；将所述roi特征图输入所述病灶实例分割模型中的检测分支模块和mask分支模块，得到所述检测分支模块输出的检测结果和所述mask分支模块输出的mask结果；将所述检测结果和所述mask结果相结合，得到所述肺炎病灶实例分割结果。
7.进一步的，将所述roi特征图输入所述病灶实例分割模型中的mask分支模块，得到所述mask分支模块输出的mask结果，包括：将roi特征图输入所述特征提取单元中的卷积层进行特征提取，得到第一特征图；将所述第一特征图分别输入所述多尺度特征融合单元中多个膨胀因子不同的空洞卷积层以提取多尺度特征，得到每个空洞卷积层输出的第二特征图；针对每个空洞卷积层输出的第二特征图，将该第二特征图输入所述多尺度特征融合单元中与该空洞卷积层对应的分组卷积层进行特征升维，并拼接进行特征升维后的每个第二特征图得到融合特征图；将所述融合特征图输入所述通道注意力单元进行特征层加权处理，得到加权特征图；将所述加权特征图输入所述亚像素卷积上采样单元进行多倍亚像素卷积上采样处理，得到上采样特征图；压缩所述上采样特征图的特征通道数，并基于压缩后的上采样特征图对所述肺炎ct影像中的每个病灶实例进行逐像素预测，得到所述mask分支模块输出的mask结果。
8.进一步的，所述病灶实例分割模型通过以下步骤被训练得到：将多个样本肺炎ct影像中每个样本肺炎ct影像中的玻璃阴影区域和实变区域合并为病变区域，并将所述病变区域中每个像素点的像素值设置为预设像素值；根据每个样本肺炎ct影像中像素点的平均像素值，从多个样本肺炎ct影像中筛选出多个目标肺炎ct影像；针对每个目标肺炎ct影像，基于该目标肺炎ct影像的语义分割真值图，标记出该目标肺炎ct影像中的每个病灶实例；其中，每个目标肺炎ct影像的语义分割真值图中第一真值的每个点表示该目标肺炎ct影像中该点对应位置属于正常肺部组织，第二真值的每个点表示该目标肺炎ct影像中该点对应位置属于病灶；从所述多个目标肺炎ct影像筛选出病灶实例的实例边界点数量大于预设数量阈值的多个原始肺炎ct影像；其中，所述预设数量阈值通过在多次实验中分别筛选出实例边界点数量大于不同数量阈值的多批原始肺炎ct影像，将多批原始肺炎ct影像分别用于病灶实例分割模型的训练并比对训练效果而确定；对多个原始肺炎ct影像进行训练数据增强，扩充得到多个训练肺炎ct影像，并将每个训练肺炎ct影像转换为与所述病灶实例分割模型匹配的数据格式；基于所述多个训练肺炎ct影像对初始病灶实例分割模型进行多轮迭代训练，得到所述病灶实例分割模型。
9.进一步的，所述对多个原始肺炎ct影像进行训练数据增强，扩充得到多个训练肺炎ct影像，包括：将正常肺部ct影像输入肺分割模型，分割出所述正常肺部ct影像中的肺部组织影像；针对每个原始肺炎ct影像，对该原始肺炎ct影像中的病灶实例进行图像变换，并将图像变换后的病灶实例随机粘贴到所述肺部组织影像，得到多个增强肺炎ct影像；根据每个增强肺炎ct影像中病灶实例与肺部组织的重合程度，从所述多个增强肺炎ct影像中筛选出多个训练肺炎ct影像。
10.进一步的，所述根据每个增强肺炎ct影像中病灶实例与肺部组织的重合程度，从所述多个增强肺炎ct影像中筛选出多个训练肺炎ct影像，包括：针对每个增强肺炎ct影像，确定该增强肺炎ct影像与所述肺部组织影像之间的交集影像，并确定所述交集影像与该增强肺炎ct影像的影像比值；其中，所述影像比值用于表征该增强肺炎ct影像中病灶实例与肺部组织的重合程度；从所述多个增强肺炎ct影像中去除所述影像比值小于预设比值阈值的增强肺炎ct影像，得到多个训练肺炎ct影像。
11.进一步的，在从所述多个增强肺炎ct影像中去除所述影像比值小于预设比值阈值的增强肺炎ct影像，得到多个训练肺炎ct影像之后，所述根据每个增强肺炎ct影像中病灶实例与肺部组织的重合程度，从所述多个增强肺炎ct影像中筛选出多个训练肺炎ct影像，还包括：针对所述影像比值小于预设比值阈值的每个增强肺炎ct影像，确定该增强肺炎ct影像与所述肺部组织影像之间的交集影像中病灶实例的实例边界点数量是否大于所述预设数量阈值；若大于，则将该交集影像确定为一个训练肺炎ct影像。
12.本技术实施例还提供了一种肺炎ct影像的病灶实例分割装置，所述装置包括：获取模块，用于获取患者待分割的肺炎ct影像；输入模块，用于将所述肺炎ct影像输入预先训练好的病灶实例分割模型，得到患者的肺炎病灶实例分割结果；其中，所述病灶实例分割模型以mask r-cnn模型为基础构建；所述病灶实例分割模型中的mask分支模块包括特征提取单元、多尺度特征融合单元、通道注意力单元和亚像素卷积上采样单元。
13.本技术实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的一种肺炎ct影像的病灶实例分割方法的步骤。
14.本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的一种肺炎ct影像的病灶实例分割方法的步骤。
15.本技术实施例提供的一种肺炎ct影像的病灶实例分割方法及装置，包括：获取患者待分割的肺炎ct影像；将所述肺炎ct影像输入预先训练好的病灶实例分割模型，得到患者的肺炎病灶实例分割结果；其中，所述病灶实例分割模型以mask r-cnn模型为基础构建；所述病灶实例分割模型中的mask分支模块包括特征提取单元、多尺度特征融合单元、通道注意力单元和亚像素卷积上采样单元。
16.这样，通过对mask r-cnn模型中的mask分支模块进行改进得到病灶实例分割模型，使得结合了多尺度特征融合、通道注意力和亚像素卷积上采样机制的病灶实例分割模型具有更好的病灶实例分割能力，能够分割出更精准的各个病灶实例，尤其能够提升对于病灶边缘及肺部小病灶的分割效果。
17.为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
18.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
19.图1示出了本技术实施例所提供的一种肺炎ct影像的病灶实例分割方法的流程图；图2示出了本技术实施例所提供的一种病灶实例分割模型的结构示意图；图3示出了本技术实施例所提供的一种mask分支模块的结构示意图；图4示出了本技术实施例所提供的一种训练数据增强方法的示意图；图5示出了本技术实施例所提供的一种肺炎ct影像的病灶实例分割装置的结构示意图；图6示出了本技术实施例所提供的一种电子设备的结构示意图。
具体实施方式
20.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本技术保护的范围。
21.经研究发现，计算机断层扫描（ct）技术具有简便、快捷、显示病变敏感和适于动态观察等优势，可以获取患者胸部的精确图像，因此在对肺炎（例如，新冠肺炎）进行诊断和治疗的过程中，患者的ct影像起着重要的作用。
22.然而，单纯依靠医生对ct影像进行人工诊断耗费医疗资源。而目前在基于深度学习技术检测和分割肺炎病灶时，现有技术中往往基于传统的语义分割模型分割出肺炎病灶，但传统的语义分割模型对病灶区域，尤其是小病灶区域的检测精度不高，且无法区分出不同的单个病灶，因此不适用于后续更精细化的对单个病灶的分析。
23.基于此，本技术实施例提供了一种肺炎ct影像的病灶实例分割方法及装置，以通过对mask r-cnn模型中的mask分支模块进行改进得到病灶实例分割模型，使得结合了多尺度特征融合、通道注意力和亚像素卷积上采样机制的病灶实例分割模型具有更好的病灶实例分割能力，能够分割出更精准的各个病灶实例，尤其能够提升对于病灶边缘及肺部小病灶的分割效果。
24.请参阅图1，图1为本技术实施例所提供的一种肺炎ct影像的病灶实例分割方法的流程图。如图1中所示，本技术实施例提供的方法，包括：s101、获取患者待分割的肺炎ct影像。
25.需要说明的是，本技术实施例所提供的方法除了适用于由新冠病毒引起的肺炎病灶实例分割之外，也适用于其他由其他原因引起并导致肺部ct影像改变的肺炎病灶实例分
割。以新冠肺炎为例，受累程度不同的新冠肺炎患者，其肺炎ct影像病灶的大小和数量往往不同，但感染区域往往具有随机性以及病灶尺寸具有多样性等特点。
26.s102、将所述肺炎ct影像输入预先训练好的病灶实例分割模型，得到患者的肺炎病灶实例分割结果。
27.其中，实例分割目的是将输入图像中的目标检测出来，并且对目标的每个像素分配类别标签。实例分割能够对前景语义类别相同的不同实例进行区分。因此，根据病灶实例分割模型输出的肺炎病灶实例分割结果能够划分出肺炎ct影像中存在的不同肺炎病灶实例。
28.请参阅图2，图2为本技术实施例所提供的一种病灶实例分割模型的结构示意图。如图2中所示，病灶实例分割模型以mask r-cnn模型为基础构建，病灶实例分割模型包括特征提取模块、候选区域生成模块、roi align模块、检测分支模块和mask分支模块；其中，特征提取模块采用残差网络resnet fpn结构作为骨干网络，用于从肺炎ct影像中提取特征图feature maps；候选区域生成模块（rpn网络）通过二分类对所有生成的候选框进行评分和筛选，以获得目标候选区域proposals；roi align模块通过执行roi align操作以将不同尺寸的目标特征固定到相同尺寸，得到roi（感兴趣区域，region of interest）特征图；检测分支模块用于对每个roi特征图进行分类class和坐标回归box；mask分支模块用于得到每个roi特征图对应的二值mask结果（掩膜结果），以在像素级别上对于每个roi预测语义掩码；最后，将所述检测结果和所述mask结果相结合，得到实例分割结果。
29.具体的，步骤s102可包括：s1021、将所述肺炎ct影像输入所述病灶实例分割模型中的特征提取模块，确定所述肺炎ct影像的特征图。s1022、将所述肺炎ct影像的特征图输入所述病灶实例分割模型中的候选区域生成模块，确定所述肺炎ct影像的特征图中的目标候选区域。s1023、将所述肺炎ct影像的特征图和所述目标候选区域输入所述病灶实例分割模型中的roi align模块，得到roi特征图。s1024、将所述roi特征图输入所述病灶实例分割模型中的检测分支模块和mask分支模块，得到所述检测分支模块输出的检测结果和所述mask分支模块输出的mask结果。s1025、将所述检测结果和所述mask结果相结合，得到所述肺炎病灶实例分割结果。
30.需要说明的是，由于肺炎病灶实例大小不等，原有mask r-cnn模型中的mask分支28
×
28大小的输出针对较大的实例病灶分割效果不好，但是过大的mask分支会忽略小面积的病灶，因此综合考虑，本技术实施例将mask分支模块的输出结果调整到56
×
56大小。
31.进一步的，请参阅图3，图3为本技术实施例所提供的一种mask分支模块的结构示意图。示例性的，如图3中所示，mask分支模块包括特征提取单元310、多尺度特征融合单元320、通道注意力单元330和亚像素卷积上采样单元340；其中，亚像素卷积上采样可以将分辨率低的特征层通过像素重组方式上采样到高分辨率特征，避免了线性插值上采样造成的特征损失的问题，该方法仅需要在低分辨率特征层上对特征进行重组，故可以通过牺牲显存的方式提高模型计算速度，并且亚像素卷积上采样对小病灶、病灶边缘和病灶空洞都具有更好的实例分割效果。因此，本技术实施例中使用四倍的亚像素卷积上采样来获得更好的特征表示。即将16个特征层的相同位置拼接成4
×
4大小的特征块，但是这16个特征具有相同大小的感受野，为了提高重建后mask结果的精确度，使用改进的空洞卷积空间金字塔模块作为多尺度特征融合单元320以捕获不同大小感受野的特征，使用通道注意力机制以
获得更好的特征表示。
32.具体的，特征提取单元310包括4层卷积核大小为3
×
3的特征提取的卷积层（3*3 conv feature extraction）；多尺度特征融合单元320由空洞卷积空间金字塔的基本结构改进而来，包括膨胀因子分别为0、1、2和3的空洞卷积核以提取多尺度特征，还包括卷积核大小为1
×
1的分组卷积层（1*1 gconv prelu）将特征通道数升维至1024，再拼接（concat）成4096维度的特征层，有效避免了特征重组时相同位置具有固定尺寸感受野的问题；为防止4096维度特征冗余导致上采样后的特征混乱，通道注意力单元330通过通道注意力机制对4096维度的特征层加权，其中，通道注意力单元330包括：全局平均池化gap、全连接层fc1、prelu激活函数、全连接层fc2以及sigmoid激活函数；最后亚像素卷积上采样单元340对加权后4096维度的特征层进行四倍的亚像素卷积上采样（upsample），得到256维56
×
56大小的特征层，再使用1
×
1的卷积核将特征层通道数压缩至80；最后将80维度对应每个病灶实例的特征层进行逐像素预测，得到肺炎ct影像中的每个病灶实例。
33.在具体实施时，在步骤s1024中将所述roi特征图输入所述病灶实例分割模型中的mask分支模块，得到所述mask分支模块输出的mask结果，可包括：步骤1、将roi特征图输入所述特征提取单元中的卷积层进行特征提取，得到第一特征图；步骤2、将所述第一特征图分别输入所述多尺度特征融合单元中多个膨胀因子不同的空洞卷积层以提取多尺度特征，得到每个空洞卷积层输出的第二特征图；步骤3、针对每个空洞卷积层输出的第二特征图，将该第二特征图输入所述多尺度特征融合单元中与该空洞卷积层对应的分组卷积层进行特征升维，并拼接进行特征升维后的每个第二特征图得到融合特征图；步骤4、将所述融合特征图输入所述通道注意力单元进行特征层加权处理，得到加权特征图；步骤5、将所述加权特征图输入所述亚像素卷积上采样单元进行多倍亚像素卷积上采样处理，得到上采样特征图；步骤6、压缩所述上采样特征图的特征通道数，并基于压缩后的上采样特征图对所述肺炎ct影像中的每个病灶实例进行逐像素预测，得到所述mask分支模块输出的mask结果。
34.这样，通过对mask r-cnn模型中的mask分支模块进行改进得到病灶实例分割模型，使得结合了多尺度特征融合、通道注意力和亚像素卷积上采样机制的病灶实例分割模型具有更好的病灶实例分割能力，能够分割出更精准的各个病灶实例，其中的亚像素卷积上采样机制在亚像素级别上对于图像细节有更好的处理能力，尤其能够提升对于病灶边缘、病灶空洞以及肺部小病灶的分割效果。
35.下面将介绍本技术实施例中病灶实例分割模型的具体训练步骤。
36.首先需要说明的是，通常医学图像分割的训练数据集的数据量相对较少，因为对医学图像的标注需要专业的医生，而且医学图像多数为灰度图像本身的病灶区域观察相对较难，因此每一个训练数据集的标定都非常耗时耗力。以新冠肺炎为例，目前还没有开源的新冠肺炎的实例分割数据集。目前covid-19 ct开源数据集中有四个数据集是相对数据质量较好，使用较多，表1显示了这四个数据集的详细信息。第一个数据集由意大利医疗和介入放射协会收集，包含超过40名covid-19患者的100张ct图像。由于第一个数据集样本较少，且ct图像经过人工裁剪，本技术实施例在实验中将该数据集作为迁移学习的训练样本。第二个数据集由生物信息中心提供，来自150例患者的共750张ct切片手动标注。该数据集图像大小均为512*512，但病灶尺寸较小。第三个数据集由uetc医疗智能实验室提供，包含两个部分共120例covid-19的患者的三维ct扫描。其中第一部分包含70例的非专家注释，且
病灶标签包含一些噪声；第二部分包含50例的专家注释，病灶标签不包含噪声。本技术实施例在实验中使用第二部分的uestc-covid-19 dataset。第四个数据集由ictcf提供，主要用于covid-19图像分类，包含4001张阳性和9979张阴性以及非信息切片5705张。本技术实施例在实验中使用该数据集中的9979张阴性图像作为数据增强过程中的待粘贴图像。
37.表1数据集及相关描述序号数据集名称数据集规模数据集用途1covid-19ctsegmentation100pic迁移学习2cc-ccii750pic训练&测试3uestc-covid-19120volume训练&测试4hust-199979pic数据增强因此，在训练病灶实例分割模型时，本技术实施例首先从现有的语义数据集出发，通过数据清洗等处理步骤生成可用于实例分割模型训练的实例分割训练数据集；进而考虑到丰富的训练数据有助于提升模型训练的训练效果，通过数据增强策略对训练数据集进行数据扩充，从而得到更丰富的训练样本来训练病灶实例分割模型。
38.在一种可能的实施方式中，所述病灶实例分割模型可通过以下步骤被训练得到：第一步：将多个样本肺炎ct影像中每个样本肺炎ct影像中的玻璃阴影区域和实变区域合并为病变区域，并将所述病变区域中每个像素点的像素值设置为预设像素值。
39.该步骤中，可根据样本肺炎ct影像的语义分割标签，将玻璃阴影区域和实变区域合并为病变区域，并将病变区域中每个像素点的像素值设置为预设像素值，例如255。
40.进一步的，在第一步之前，考虑到现有数据集中通常存在一些影响深度学习训练的无效数据，通过适当的预处理方法将其去除可以提高训练模型的精度，例如由于三维标签影像切片后存在许多像素值为0或者平均像素值极小的图像，可首先将平均像素值小于预设像素阈值的ct影像从数据集中去除。
41.第二步：根据每个样本肺炎ct影像中像素点的平均像素值，从多个样本肺炎ct影像中筛选出多个目标肺炎ct影像。
42.该步骤中，根据样本肺炎ct影像中每个像素点的像素值，确定样本肺炎ct影像中像素点的平均像素值，并从多个样本肺炎ct影像中筛选出平均像素值大于预设像素阈值的多个目标肺炎ct影像。
43.在具体实施时，经过该步骤的数据清洗之后，上表1中第二个数据集剩余388个样本肺炎ct影像，第三个数据集剩余3047个样本肺炎ct影像，实验中将这两个数据集按照6.5:1比例划分为训练数据集和测试数据集。
44.第三步：针对每个目标肺炎ct影像，基于该目标肺炎ct影像的语义分割真值图，标记出该目标肺炎ct影像中的每个病灶实例。
45.其中，每个目标肺炎ct影像的语义分割真值图中第一真值的每个点表示该目标肺炎ct影像中该点对应位置属于正常肺部组织，第二真值的每个点表示该目标肺炎ct影像中该点对应位置属于病灶。
46.示例性的，语义分割真值图可表示为矩阵形式，矩阵中的元素可以为第一真值0或第二真值1；第一真值0表示目标肺炎ct影像中该元素对应位置属于正常肺部组织；第二真值1表示目标肺炎ct影像中该元素对应位置属于一个病灶实例。
47.该步骤中，基于每个目标肺炎ct影像的语义分割真值图，可将真值不同的连通域的标注转化为不同的病灶实例标注，从而将不连通的两个病灶定义为不同的病灶实例。
48.第四步：从所述多个目标肺炎ct影像筛选出病灶实例的实例边界点数量大于预设数量阈值的多个原始肺炎ct影像。
49.其中，所述预设数量阈值通过在多次实验中分别筛选出实例边界点数量大于不同数量阈值的多批原始肺炎ct影像，再将多批原始肺炎ct影像分别用于病灶实例分割模型的训练并比对训练效果而确定。具体的，在多次实验中，可分别筛选出实例边界点数量大于不同数量阈值n1、n2、
……
、ni（n1、n2、
……
、ni均为正整数）的多批原始肺炎ct影像；分别使用每批原始肺炎ct影像对原始病灶实例分割模型进行训练，得到相应的病灶实例分割模型；通过dice、map等指标比较多个病灶实例分割模型的模型分割性能和训练效果，从而确定出使得训练效果最好的数量阈值。这是因为原始数据集中面积较小的病灶实例可能是数据噪声，而非真实有效的病灶区域，因而会对模型训练过程造成干扰。
50.在具体实验中，在去除实例边界点数量为14-16的肺炎ct影像后，模型的总体分割效果明显提升，因此，该步骤中，可将预设数量阈值设置为15。
51.第五步：对多个原始肺炎ct影像进行训练数据增强，扩充得到多个训练肺炎ct影像，并将每个训练肺炎ct影像转换为与所述病灶实例分割模型匹配的数据格式。
52.这里，由于医学图像分割的标注有限，神经网络模型又依赖于大规模数据的训练，因此有必要利用数据增强方法提升模型的鲁棒性。
53.此外，2014年微软提出了可用于目标检测、实例分割以及关键点检测等研究普遍基准的coco数据集，其数据格式中最重要的是实例标记（annotations键），包含每个实例的标签、面积、检测框和边界点列表等信息。因此该步骤中，可利用pycococreator工具生成每个病灶实例的一系列边界点列表，并分别计算出每个病灶实例对应的边界框和面积，以将每个训练肺炎ct影像转换为与所述病灶实例分割模型匹配的coco数据格式。
54.第六步：基于所述多个训练肺炎ct影像对初始病灶实例分割模型进行多轮迭代训练，得到所述病灶实例分割模型。
55.该步骤中，在得到构成实例分割训练数据集的多个训练肺炎ct影像之后，可基于现有技术中的任何训练方式对初始病灶实例分割模型进行多轮迭代训练，以得到所述病灶实例分割模型。
56.在一种可能的实施方式中，请参阅图4，图4为本技术实施例所提供的一种训练数据增强方法的示意图。如图4所示，第五步中对多个原始肺炎ct影像进行训练数据增强，扩充得到多个训练肺炎ct影像，可包括：步骤1、将正常肺部ct影像输入肺分割模型，分割出所述正常肺部ct影像中的肺部组织影像。
57.需要说明的是，肺部ct影像中除了肺部组织，还会包括胸腔、骨骼等其他人体组织，肺分割模型可以从肺部ct影像中分割出仅包括肺部实质组织的肺部组织影像。
58.步骤2、针对每个原始肺炎ct影像，对该原始肺炎ct影像中的病灶实例进行图像变换，并将图像变换后的病灶实例随机粘贴到所述肺部组织影像，得到多个增强肺炎ct影像。
59.其中，图像变换包括复制原始肺炎ct影像中的病灶实例，对病灶实例的大小尺寸和空间位置进行随机图像变换，并将随机图像变换后的病灶实例随机粘贴到所述肺部组织
影像上。随机图像变换可以包括随机大小变换、随机空间变换、gamma变换以及模糊变换等方式。在具体实施时，也可以在粘贴前通过改变肺部组织影像的相对尺寸来达到缩放病灶实例大小的效果。需要说明的是，原始肺炎ct影像中可能包括一个或多个病灶实例，在对病灶实例进行随机复制时，可以随机选取其中的一个或多个病灶实例进行复制。
60.步骤3、根据每个增强肺炎ct影像中病灶实例与肺部组织的重合程度，从所述多个增强肺炎ct影像中筛选出多个训练肺炎ct影像。
61.其中，将病灶实例随机粘贴到肺部组织影像的方法可能会出现病灶实例未粘贴到肺部组织影像中的肺实质，从而导致生成的增强肺炎ct影像不合格的问题。因此该步骤中，可根据每个增强肺炎ct影像中病灶实例与肺部组织的重合程度，从所述多个增强肺炎ct影像中筛选出病灶实例与肺部组织的重合程度高的多个训练肺炎ct影像。
62.在具体实施时，步骤3可包括：（1）针对每个增强肺炎ct影像，确定该增强肺炎ct影像与所述肺部组织影像之间的交集影像，并确定所述交集影像与该增强肺炎ct影像的影像比值。其中，所述影像比值用于表征该增强肺炎ct影像中病灶实例与肺部组织的重合程度。
63.（2）从所述多个增强肺炎ct影像中去除所述影像比值小于预设比值阈值的增强肺炎ct影像，得到多个训练肺炎ct影像。
64.具体的，可通过以下公式根据重合程度从所述多个增强肺炎ct影像中筛选出多个训练肺炎ct影像：其中，表示预设比值阈值；表示肺部组织影像的影像掩膜；表示增强肺炎ct影像的影像掩膜。这里，影像掩膜可以表示为矩阵的形式，矩阵中每个元素的不同取值（例如0和1）用于表征相应影像中该点对应的位置的影像类别，例如是否属于正常肺实质（如，1表示属于正常肺实质，0表示不属于正常肺实质），是否属于粘贴有病灶实例的肺实质（如，1表示属于粘贴有病灶实例的肺实质，0表示不属于粘贴有病灶实例的肺实质）等；影像掩膜之间取交集可将两个掩膜矩阵按位进行与运算。可表示相应区域的面积或相应区域的掩膜矩阵中为1的元素数量等。
65.进一步的，在（2）从所述多个增强肺炎ct影像中去除所述影像比值小于预设比值阈值的增强肺炎ct影像，得到多个训练肺炎ct影像之后，步骤3还可包括：（3）针对所述影像比值小于预设比值阈值的每个增强肺炎ct影像，确定该增强肺炎ct影像与所述肺部组织影像之间的交集影像中病灶实例的实例边界点数量是否大于所述预设数量阈值。
66.（4）若大于，则将该交集影像确定为一个训练肺炎ct影像。
67.（5）若小于，则舍弃该交集影像，即不将其作为一个训练肺炎ct影像。
68.这里，为了提高通过病灶实例粘贴得到有效训练肺炎ct影像的效率，对于影像比值小于预设比值阈值的每个增强肺炎ct影像，还可以进一步确定该增强肺炎ct影像与肺部组织影像之间的交集影像中病灶实例的实例边界点数量是否大于所述预设数量阈值；若大于，则将该交集影像确定为一个训练肺炎ct影像。也就是，去除病灶实例中粘贴到肺实质之外的那一部分，同时保证保留下来的那一部分病灶实例的实例边界点数量应大于在前述步
骤设置的预设数量阈值，确保保留下来的那一部分病灶实例对于模型训练来说是真实有效的病灶区域。
69.在一个实验中，本技术实施例采用4块高性能计算机图形显卡nvidai gpu tesla k80，操作系统ubuntu 18.04 lts、编程语言为python 3.6.0以及深度学习框架为pytorch 1.1.0；mask r-cnn基线网络的骨干采用resnet-101结构和特征金字塔模块，学习率初始为0.0025，最大迭代次数为10000次，在迭代5000次后学习率开始衰减，衰减系数为0.00001。输出置信度为0.7。实验使用迁移学习加载指定的预训练权重获得更快的训练结果，值得注意的是，实验先通过在ms-coco 2017的预训练权重基础上，训练covid-19 ct segmentation dataset得到covid-19分割任务上的训练权重，最后将该训练权重迁移到后续实验中。
70.实验中，将本技术实施例提供的病灶实例分割模型与u-net，attention u-net，pranet，inf-net，bdfnet语义分割模型，以及未进行数据增强的mask r-cnn基线模型，point rend以及bmask r-cnn实例分割模型进行了比较。实验结果表明本技术实施例提供的病灶实例分割模型无论在语义分割指标还是在实例分割指标上的分割效果好于其他分割模型。
71.本技术实施例提供的一种肺炎ct影像的病灶实例分割方法，包括：获取患者待分割的肺炎ct影像；将所述肺炎ct影像输入预先训练好的病灶实例分割模型，得到患者的肺炎病灶实例分割结果；其中，所述病灶实例分割模型以mask r-cnn模型为基础构建；所述病灶实例分割模型中的mask分支模块包括特征提取单元、多尺度特征融合单元、通道注意力单元和亚像素卷积上采样单元。
72.这样，通过对mask r-cnn模型中的mask分支模块进行改进得到病灶实例分割模型，使得结合了多尺度特征融合、通道注意力和亚像素卷积上采样机制的病灶实例分割模型具有更好的病灶实例分割能力，能够分割出更精准的各个病灶实例，尤其能够提升对于病灶边缘及肺部小病灶的分割效果。
73.请参阅图5，图5为本技术实施例所提供的一种肺炎ct影像的病灶实例分割装置的结构示意图。如图5中所示，所述装置500包括：获取模块510，用于获取患者待分割的肺炎ct影像；输入模块520，用于将所述肺炎ct影像输入预先训练好的病灶实例分割模型，得到患者的肺炎病灶实例分割结果；其中，所述病灶实例分割模型以mask r-cnn模型为基础构建；所述病灶实例分割模型中的mask分支模块包括特征提取单元、多尺度特征融合单元、通道注意力单元和亚像素卷积上采样单元。
74.进一步的，所述获取模块在用于将所述肺炎ct影像输入预先训练好的病灶实例分割模型，得到患者的肺炎病灶实例分割结果时，所述获取模块用于：将所述肺炎ct影像输入所述病灶实例分割模型中的特征提取模块，确定所述肺炎ct影像的特征图；将所述肺炎ct影像的特征图输入所述病灶实例分割模型中的候选区域生成模块，确定所述肺炎ct影像的特征图中的目标候选区域；将所述肺炎ct影像的特征图和所述目标候选区域输入所述病灶实例分割模型中的roi align模块，得到roi特征图；
将所述roi特征图输入所述病灶实例分割模型中的检测分支模块和mask分支模块，得到所述检测分支模块输出的检测结果和所述mask分支模块输出的mask结果；将所述检测结果和所述mask结果相结合，得到所述肺炎病灶实例分割结果。
75.进一步的，所述获取模块在用于将所述roi特征图输入所述病灶实例分割模型中的mask分支模块，得到所述mask分支模块输出的mask结果时，所述获取模块用于：将roi特征图输入所述特征提取单元中的卷积层进行特征提取，得到第一特征图；将所述第一特征图分别输入所述多尺度特征融合单元中多个膨胀因子不同的空洞卷积层以提取多尺度特征，得到每个空洞卷积层输出的第二特征图；针对每个空洞卷积层输出的第二特征图，将该第二特征图输入所述多尺度特征融合单元中与该空洞卷积层对应的分组卷积层进行特征升维，并拼接进行特征升维后的每个第二特征图得到融合特征图；将所述融合特征图输入所述通道注意力单元进行特征层加权处理，得到加权特征图；将所述加权特征图输入所述亚像素卷积上采样单元进行多倍亚像素卷积上采样处理，得到上采样特征图；压缩所述上采样特征图的特征通道数，并基于压缩后的上采样特征图对所述肺炎ct影像中的每个病灶实例进行逐像素预测，得到所述mask分支模块输出的mask结果。
76.进一步，所述装置还包括训练模块；所述训练模块用于通过以下步骤训练得到所述病灶实例分割模型：将多个样本肺炎ct影像中每个样本肺炎ct影像中的玻璃阴影区域和实变区域合并为病变区域，并将所述病变区域中每个像素点的像素值设置为预设像素值；根据每个样本肺炎ct影像中像素点的平均像素值，从多个样本肺炎ct影像中筛选出多个目标肺炎ct影像；针对每个目标肺炎ct影像，基于该目标肺炎ct影像的语义分割真值图，标记出该目标肺炎ct影像中的每个病灶实例；其中，每个目标肺炎ct影像的语义分割真值图中第一真值的每个点表示该目标肺炎ct影像中该点对应位置属于正常肺部组织，第二真值的每个点表示该目标肺炎ct影像中该点对应位置属于病灶；从所述多个目标肺炎ct影像筛选出病灶实例的实例边界点数量大于预设数量阈值的多个原始肺炎ct影像；其中，所述预设数量阈值通过在多次实验中分别筛选出实例边界点数量大于不同数量阈值的多批原始肺炎ct影像，将多批原始肺炎ct影像分别用于病灶实例分割模型的训练并比对训练效果而确定；对多个原始肺炎ct影像进行训练数据增强，扩充得到多个训练肺炎ct影像，并将每个训练肺炎ct影像转换为与所述病灶实例分割模型匹配的数据格式；基于所述多个训练肺炎ct影像对初始病灶实例分割模型进行多轮迭代训练，得到所述病灶实例分割模型。
77.进一步的，所述训练模块在用于对多个原始肺炎ct影像进行训练数据增强，扩充得到多个训练肺炎ct影像时，所述训练模块用于：将正常肺部ct影像输入肺分割模型，分割出所述正常肺部ct影像中的肺部组织影像；
针对每个原始肺炎ct影像，对该原始肺炎ct影像中的病灶实例进行图像变换，并将图像变换后的病灶实例随机粘贴到所述肺部组织影像，得到多个增强肺炎ct影像；根据每个增强肺炎ct影像中病灶实例与肺部组织的重合程度，从所述多个增强肺炎ct影像中筛选出多个训练肺炎ct影像。
78.进一步的，所述训练模块在用于根据每个增强肺炎ct影像中病灶实例与肺部组织的重合程度，从所述多个增强肺炎ct影像中筛选出多个训练肺炎ct影像时，所述训练模块用于：针对每个增强肺炎ct影像，确定该增强肺炎ct影像与所述肺部组织影像之间的交集影像，并确定所述交集影像与该增强肺炎ct影像的影像比值；其中，所述影像比值用于表征该增强肺炎ct影像中病灶实例与肺部组织的重合程度；从所述多个增强肺炎ct影像中去除所述影像比值小于预设比值阈值的增强肺炎ct影像，得到多个训练肺炎ct影像。
79.进一步的，在从所述多个增强肺炎ct影像中去除所述影像比值小于预设比值阈值的增强肺炎ct影像，得到多个训练肺炎ct影像之后，所述训练模块在用于根据每个增强肺炎ct影像中病灶实例与肺部组织的重合程度，从所述多个增强肺炎ct影像中筛选出多个训练肺炎ct影像时，所述训练模块还用于：针对所述影像比值小于预设比值阈值的每个增强肺炎ct影像，确定该增强肺炎ct影像与所述肺部组织影像之间的交集影像中病灶实例的实例边界点数量是否大于所述预设数量阈值；若大于，则将该交集影像确定为一个训练肺炎ct影像。
80.请参阅图6，图6为本技术实施例所提供的一种电子设备的结构示意图。如图6中所示，所述电子设备600包括处理器610、存储器620和总线630。
81.所述存储器620存储有所述处理器610可执行的机器可读指令，当电子设备600运行时，所述处理器610与所述存储器620之间通过总线630通信，所述机器可读指令被所述处理器610执行时，可以执行如上述图1以至图4所示方法实施例中的一种肺炎ct影像的病灶实例分割方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
82.本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1至图4所示方法实施例中的一种肺炎ct影像的病灶实例分割方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
83.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
84.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
85.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显
示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
86.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
87.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
88.最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。