基于Unet的多任务气胸医学图像语义分割模型系统及其方法

基于unet的多任务气胸医学图像语义分割模型系统及其方法
技术领域
1.本发明属于气胸图像分析技术领域，具体涉及一种基于unet的多任务气胸医学图像语义分割模型系统和一种基于unet的多任务气胸医学图像语义分割模型方法。


背景技术：

2.气胸是指气体进入胸膜腔，造成积气状态，气胸对于人类的生命是很大的危险，一般判断正确率都在50％，对人类的威胁很大，其中通常的方法是通过x光片进行诊断，但是x光片须有丰富经验的医生才能判断，当前随着深度学习技术的不断发展，通过深度学习模型就可以很快的识别出是否患有气胸疾病，并且能够判断出病灶的位置，而且通过网络模型预测病人是否患有气胸也将很大程度上减轻医生的负担，可以提供有效的辅助手段。
3.在使用传统unet模型进行语义分割的过程中，遇到的第一个问题是，正样本召回率低，x光片有气胸病灶，但是通过语义分割模型预测的过程中，没有识别出来；第二个问题是，能否在原有的基础上，设计更好的网络结构，进一步提高语义分割的精度。
4.因此，针对上述问题，予以进一步改进。


技术实现要素：

5.本发明的主要目的在于提供基于unet的多任务气胸医学图像语义分割模型系统及其方法，对传统的unet语义分割进行改进，编码阶段采用resnet34作为框架，对图像特征信息，引入scse模块进行修正，从空间和通道两个方向获取图像的全局信息，损失函数采用“分类”和“分割”融合的多任务策略进行学习，对气胸医学图像进行语义分割，实际表明该语义分割方法比传统的unet语义分割方法在分割精度上有一定的优势。
6.为达到以上目的，本发明提供一种基于unet的多任务气胸医学图像语义分割模型方法，用于对气胸医学图像进行语义分割，包括以下步骤：
7.步骤s1：获取气胸ct图像并且对气胸ct图像通过第一模型(以resnet34为框架的带预训练参数的unet模型)和第二模型(scse模块结构)进行编码处理，从而获得图像二分类；
8.步骤s2：在解码处理时融合编码处理阶段的各层特征信息并且进行上采样，并且结合第二模型对上采样的各层信息进行不断融合，以获得语义分割图像；
9.步骤s3：对图像二分类的损失函数和语义分割图像的损失函数进行融合，并且损失函数采用分类和分割融合的多任务策略进行学习，从局部像素点和全局像素点的分类上进行融合，在调整权重关系后获得全局损失函数，进而实现对气胸ct图像的语义分割。
10.作为上述技术方案的进一步优选的技术方案，步骤s1具体实施为以下步骤：
11.步骤s1.1：第一模型作为气胸ct图像的基础特征提取网络并且通过在网络中增加残差网络的方法进行基础特征提取；
12.步骤s1.2：第二模型通过空间压缩模块和通道压缩模块对提取的基础特征进行修正处理，从而获得第一模型对应的每一层的修正数据；
13.步骤s1.3：通过第一模型和第二模型对气胸ct图像进行编码处理，从而获得图像二分类。
14.作为上述技术方案的进一步优选的技术方案，步骤s2具体实施为以下步骤：
15.步骤s2.1：编码处理中的第一模块(64，32，32)对编码处理中的最大池化处理所在的模块进行上采样(bn1 relu maxpool)，以获得第一特征图并且通过第二模型对第一特征图进行第一修正处理，以获得第一修正数据；
16.步骤s2.2：编码处理中的第二模块(64，64，64)对第一模块获得的第一修正数据进行上采样并且融合编码处理中的第一模型的第五层所在的模块对应的修正数据，以获得第二特征图并且通过第二模型对第二特征图进行第二修正处理，以获得第二修正数据；
17.步骤s2.3：编码处理中的第三模块(64，128，128)对第二模块获得的第二修正数据进行上采样并且融合编码处理中的第一模型的第四层所在的模块对应的修正数据，以获得第三特征图并且通过第二模型对第三特征图进行第三修正处理，以获得第三修正数据；
18.步骤s2.4：编码处理中的第四模块(64，256，256)对第三模块获得的第三修正数据进行上采样并且融合编码处理中的第一模型的第三层所在的模块对应的修正数据，以获得第四特征图并且通过第二模型对第四特征图进行第四修正处理，以获得第四修正数据；
19.步骤s2.5：编码处理中的第五模块(64，512，512)对第四模块获得的第四修正数据进行上采样并且融合编码处理中的第一模型的第二层所在的模块对应的修正数据，以获得第五特征图并且通过第二模型对第五特征图进行第五修正处理，以获得第五修正数据；
20.步骤s2.6：对编码处理中的各个模块获得的对应的修正数据进行融合，从而完成编码处理，进而获得语义分割图像。
21.作为上述技术方案的进一步优选的技术方案，步骤s1和步骤s2中的通过第二模型的空间压缩模块和通道压缩模块进行修正的处理为：
22.假设输入的气胸ct图像为x∈rh×w×c，假设编码处理中获得的基础特征或者解码处理中获得的特征图(为了方面描述统称为特征图)为u∈rh×w×
c'
，h和w表示图像的空间高度和宽度，c和c'表示输入和输出的通道数量，通过卷积和非线性变换操作后，u中包含了x中空间和通道的信息，在每次编码或解码处理后，引入第二模型，将u修正为u’，
23.对于空间压缩模块，假设输入特征图u＝[u1,u2,
…
uc]，其中ui∈rh×w代表每个通道的特征图，通过全局平均池化(global average pooling，gap)操作，得到向量z∈r1×1×c，对于第k个通道特征图变换如下：
[0024][0025]
该变换在z中引入了全局空间特征信息，再通过z'＝w1(δ(w2z))，得到z’，其中为两个全连接网络，δ(
·
)为relu操作,再通过sigmod变换，得到归一化修正系数σ(z')∈[0,1]，最终通过修正系数乘以输入特征图u，得到u
′
cse
，
[0026]u′
cse
＝[σ(z
′1)u1,σ(z
′2)u2,
…
σ(z
′c)uc]；
[0027]
(通过该空间压缩模块，不重要的通道内的信息会减小，被抑制，而重要通道内的信息会几乎保持不变，从而变相得到增强；
[0028]
上述通过空间压缩信息，从而获得衡量通道重要性的指标，也可以通过压缩通道
信息，获取衡量空间位置重要性的指标)
[0029]
对于通道压缩模块，假设输入特征图u＝[u1,u2,
…
uc]，通过转换得到u＝[u
1,1
,u
1,1
…ui,j
…uh,w
]，其中u
i,j
∈r1×1×c代表对应的空间位置(i,j),通过q＝w
sq
*u卷积操作实现空间挤压操作，再通过sigmod变换，得到归一化修正系数σ(q)∈[0,1]，最终通过修正系数乘以输入特征图u，得到u
′
sse
，
[0030]u′
sse
＝[σ(q
1,1
)u
1,1
,σ(q
1,2
)u
1,1
,
…
σ(q
h,w
)u
h,w
]；
[0031]
最后得到通过相加得到两者的融合信息，对空间信息和通道信息重要性均进行权重处理的输出，u
′
scse
＝u
′
cse
u
′
sse
。
[0032]
为达到以上目的，本发明还提供一种基于unet的多任务气胸医学图像语义分割模型系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于unet的多任务气胸医学图像语义分割模型方法的步骤。
附图说明
[0033]
图1是本发明的基于unet的多任务气胸医学图像语义分割模型系统及其方法的示意图。
[0034]
图2是本发明的基于unet的多任务气胸医学图像语义分割模型系统及其方法的第二模型的结构图。
[0035]
图3是本发明的基于unet的多任务气胸医学图像语义分割模型系统及其方法的多任务学习结构图。
具体实施方式
[0036]
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
[0037]
在本发明的优选实施例中，本领域技术人员应注意，本发明所涉及的气胸ct图像等可被视为现有技术。
[0038]
优选实施例。
[0039]
本发明公开了一种基于unet的多任务气胸医学图像语义分割模型方法，用于对气胸医学图像进行语义分割，包括以下步骤：
[0040]
步骤s1：获取气胸ct图像并且对气胸ct图像通过第一模型(以resnet34为框架的带预训练参数的unet模型)和第二模型(scse模块结构)进行编码处理，从而获得图像二分类；
[0041]
步骤s2：在解码处理时融合编码处理阶段的各层特征信息并且进行上采样，并且结合第二模型对上采样的各层信息进行不断融合，以获得语义分割图像；
[0042]
步骤s3：对图像二分类的损失函数和语义分割图像的损失函数进行融合，并且损失函数采用分类和分割融合的多任务策略进行学习，从局部像素点和全局像素点的分类上进行融合，在调整权重关系后获得全局损失函数，进而实现对气胸ct图像的语义分割。
[0043]
具体的是，步骤s1具体实施为以下步骤：
[0044]
步骤s1.1：第一模型作为气胸ct图像的基础特征提取网络并且通过在网络中增加残差网络的方法进行基础特征提取；
[0045]
步骤s1.2：第二模型通过空间压缩模块和通道压缩模块对提取的基础特征进行修正处理，从而获得第一模型对应的每一层的修正数据；
[0046]
步骤s1.3：通过第一模型和第二模型对气胸ct图像进行编码处理，从而获得图像二分类。
[0047]
更具体的是，步骤s2具体实施为以下步骤：
[0048]
步骤s2.1：编码处理中的第一模块(64，32，32)对编码处理中的最大池化处理所在的模块进行上采样(bn1 relu maxpool)，以获得第一特征图并且通过第二模型对第一特征图进行第一修正处理，以获得第一修正数据；
[0049]
步骤s2.2：编码处理中的第二模块(64，64，64)对第一模块获得的第一修正数据进行上采样并且融合编码处理中的第一模型的第五层所在的模块对应的修正数据，以获得第二特征图并且通过第二模型对第二特征图进行第二修正处理，以获得第二修正数据；
[0050]
步骤s2.3：编码处理中的第三模块(64，128，128)对第二模块获得的第二修正数据进行上采样并且融合编码处理中的第一模型的第四层所在的模块对应的修正数据，以获得第三特征图并且通过第二模型对第三特征图进行第三修正处理，以获得第三修正数据；
[0051]
步骤s2.4：编码处理中的第四模块(64，256，256)对第三模块获得的第三修正数据进行上采样并且融合编码处理中的第一模型的第三层所在的模块对应的修正数据，以获得第四特征图并且通过第二模型对第四特征图进行第四修正处理，以获得第四修正数据；
[0052]
步骤s2.5：编码处理中的第五模块(64，512，512)对第四模块获得的第四修正数据进行上采样并且融合编码处理中的第一模型的第二层所在的模块对应的修正数据，以获得第五特征图并且通过第二模型对第五特征图进行第五修正处理，以获得第五修正数据；
[0053]
步骤s2.6：对编码处理中的各个模块获得的对应的修正数据进行融合，从而完成编码处理，进而获得语义分割图像。
[0054]
进一步的是，步骤s1和步骤s2中的通过第二模型的空间压缩模块和通道压缩模块进行修正的处理为：
[0055]
假设输入的气胸ct图像为x∈rh×w×c，假设编码处理中获得的基础特征或者解码处理中获得的特征图(为了方面描述统称为特征图)为u∈rh×w×
c'
，h和w表示图像的空间高度和宽度，c和c'表示输入和输出的通道数量，通过卷积和非线性变换操作后，u中包含了x中空间和通道的信息，在每次编码或解码处理后，引入第二模型，将u修正为u’，
[0056]
对于空间压缩模块，假设输入特征图u＝[u1,u2,
…
uc]，其中ui∈rh×w代表每个通道的特征图，通过全局平均池化(global average pooling，gap)操作，得到向量z∈r1×1×c，对于第k个通道特征图变换如下：
[0057][0058]
该变换在z中引入了全局空间特征信息，再通过z'＝w1(δ(w2z))，得到z’，其中为两个全连接网络，δ(
·
)为relu操作,再通过sigmod变换，得到归一
化修正系数σ(z')∈[0,1]，最终通过修正系数乘以输入特征图u，得到u
′
cse
，
[0059]u′
cse
＝[σ(z
′1)u1,σ(z
′2)u2,
…
σ(z
′c)uc]；
[0060]
(通过该空间压缩模块，不重要的通道内的信息会减小，被抑制，而重要通道内的信息会几乎保持不变，从而变相得到增强；
[0061]
上述通过空间压缩信息，从而获得衡量通道重要性的指标，也可以通过压缩通道信息，获取衡量空间位置重要性的指标)
[0062]
对于通道压缩模块，假设输入特征图u＝[u1,u2,
…
uc]，通过转换得到u＝[u
1,1
,u
1,1
…ui,j
…uh,w
]，其中u
i,j
∈r1×1×c代表对应的空间位置(i,j),通过q＝w
sq
*u卷积操作实现空间挤压操作，再通过sigmod变换，得到归一化修正系数σ(q)∈[0,1，最终通过修正系数乘以输入特征图u，得到u
′
sse
，
[0063]u′
sse
＝[σ(q
1,1
)u
1,1
,σ(q
1,2
)u
1,1
,
…
σ(q
h,w
)u
h,w
]；
[0064]
最后得到通过相加得到两者的融合信息，对空间信息和通道信息重要性均进行权重处理的输出，u
′
scse
＝u
′
cse
u
′
sse
。
[0065]
本发明还公开了一种基于unet的多任务气胸医学图像语义分割模型系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于unet的多任务气胸医学图像语义分割模型方法的步骤。
[0066]
优选地，对于背景技术中的第一个问题，原因在于unet是针对点对点的像素级别的语义分割模型，不能从全局的角度进行是否有无病灶的判断，因此对于小的病灶，单纯的使用unet网络进行分割，无法得到很好的预测结果，本发明在经典unet网络的基础上做了改进，引入“分类”和“分割”多任务策略进行学习，通过对不同的图像在全局上进行有无病灶二分类学习，再对每个图像上的单个像素进行语义分割，将两者的损失函数进行融合，通过这种方法可以提高正样本预测的准确率。对于第二个问题，传统的解决方式是增加网络的体积，但是调大神经元的数量来设计更深层次的网络结构，将会导致占用非常大的硬件资源，而且也会使得训练变得非常困难，本发明在网络结构的改进上，采用resnet34作为编码框架，引入空间通道压缩与激发(scse)模块进行修正，提高训练预测的精度。
[0067]
优选地，如图1所示，本发明公开了一种针对气胸ct图像的端到端语义分割模型，采用编码、解码的网络结构，在设计二分类网络和语义分割网络时，其中编码阶段的基础特征提取网络是很重要的一部分，由于获取海量气胸ct图像的难度比较大，本发明采用以resnet34为框架的带预训练参数的unet模型作为特征提取网络，因为它在网络中增加残差网络的方法，解决了网络深度到一定程度，误差升高，效果变差，梯度消失现象越明显，使得网络反向传播求最小损失难以实现的问题。在编码阶段，引入scse模块结构，得到图像二分类损失，解码时融合编码阶段各层特征信息，进行上采样，对上采样的各层特征信息再进行融合，得到语义分割图像，再对图像二分类和图像语义分割两者的损失函数进行融合，调整权重关系，得到全局损失函数再进行优化。
[0068]
图1中，conv表示求卷积，bn1表示batch normalization，relu表示激活函数，resnet_l1表示resnet34第一层，scse表示空间通道压缩与激发模块(spatial-channel sequeeze&excitation)，upsampling表示上采样操作。
[0069]
优选地，如图3所示，在对气胸ct图像进行语义分割时，为了减少噪声干扰，当分割
得到的图像像素点求和小于一定数量时，我们预测该图像为无病灶特征，因此相当于用语义分割算法做了二分类操作，但是语义分割模型以及损失函数只考虑了单个像素点的分类，没有考虑整张图片所有像素点求和的整体分类
[8-9]
，因此在优化的过程中只是针对局部优化，没有考虑到对整体优化，针对这个问题，我们引入了多任务学习策略，在保证整个网络结构不变的情况下，设置多个任务“分类”和“分割”，对于二分类，引入逻辑斯特损失函数loss1，对于分割任务，我们引入交叉熵损失函数loss2，最终得到融合的损失函数loss＝a*loss1 b*loss2。其中a，b为两者的权重值。
[0070]
优选地，本发明在设计相关实验时，采用pytorch框架进行设计，实验所用图形工作站配置为：4核cpu，内存16g，geforcegtx1080ti gpu，显存16g，操作系统ubuntu 16.04，网络模型配置如下：优化器采用随机梯度下降，momentum＝0.9，weight_decay＝0.0001，learningrate＝0.002，分类loss权重a＝0.1，语义分割loss权重b＝0.9，由于单张图片为512*512，图片较大，批处理大小设置为4，为了增加批处理大小，本发明采用梯度累加实现“显存扩大"，每次获取1个批处理的数据，通过梯度下降法，计算梯度，梯度不清空，不断累加，累加一定次数后，根据累加的梯度更新网络参数，然后清空梯度，进行下一次循环。一定条件下，batchsize越大训练效果越好，梯度累加则实现了批处理量的变相扩大，本发明设置累加次数为4倍，相当于将批处理大小设置为16。
[0071]
优选地，本发明设计的模型在预测气胸ct图像时，其中dice相似系数得分达到85.3％，以3个病人为例预测。
[0072]
对不同网络模型对比分析结果可知，采用resnet34作为编码框架，引入scse模块将比单unet网络提高约4％，采用二分类和语义分割双任务进行预测比单任务进行预测在预测精度上也提高1.2％。
[0073]
优选地，深度学习模型是医学图像的检测领域非常强大的工具，使用语义分割预测气胸ct图像病灶位置对医生判别疾病将起到很好的辅助作用，本发明设计的语义分割模型采用resnet34作为框架，解决了网络深度到一定程度，梯度消失的问题，引入scse模块，从空间和通道两个方向获取图像的信息，提高了语义分割的精度，损失函数采用“分类”和“分割”多任务策略进行学习，从局部像素点和全局图像的分类上进行融合，进一步提高了语义分割的精度。
[0074]
值得一提的是，本发明专利申请涉及的气胸ct图像等技术特征应被视为现有技术，这些技术特征的具体结构、工作原理以及可能涉及到的控制方式、空间布置方式采用本领域的常规选择即可，不应被视为本发明专利的发明点所在，本发明专利不做进一步具体展开详述。
[0075]
对于本领域的技术人员而言，依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围。