基于Swin-Unet和形态学处理的气胸病灶分割方法及相关设备

基于swin-unet和形态学处理的气胸病灶分割方法及相关设备
技术领域
1.本发明属于医学图像处理技术领域，具体涉及一种基于swin-unet和形态学处理的气胸病灶分割方法及相关设备。


背景技术：

2.气胸(pneumothorax)是指气体进入胸膜腔，造成积气状态，是一种常见的呼吸系统疾病，病变轻者多气急、呼吸受影响，重者呼吸困难、缺氧，甚至呼吸衰竭而致死。计算机断层扫描(computed tomography，ct)等医学影像为诊断气胸提供了重要的参考信息。将基于人工智能的方法应用于医学影像诊断中，可以提高医生工作效率及诊断准确率，以便于对病灶进行定位和定量的分析。
3.目前，也有不少气胸分割算法，具体可以分为以下几类：
4.第一、利用专用的软件或者传统数学模型。例如，陈奕课题组[1]利用 itk-snap软件实现气胸的分割，成员通过人工方法对x射线图像进行分段，然后用软件的标注模块自动显示区域以实现病灶的标记。占梦军等人[2]利用 mimics软件自带的半自动分割法对气胸肺组织进行定位。刘雷等人提出一种基于边缘感知的x光片气胸分割及评估方法(cn112802040a[p].2021)。赵静等人设计了测量一种测量气胸x射线ct装置和方法(cn102240212b[p]. 2015)。这些方法往往需要人工干预，难以实现全自动的分割，且其速度和精度都存在一定的局限性。
[0005]
第二、基于卷积神经网络及其变体。近几年随着计算机性能的提高，深度学习方法得到了前所未有的发展。深度学习可以自动学习图像的特征，并且还能够将简单的低层特征，通过多层卷积操作组成更加抽象的高层特征。其中在图像处理领域，最具代表性的模型就是卷积神经网络(convolutionalneural network,cnn)，其变体模型在气胸分割中也有应用，例如，abedalla 等人[3]提出了一种两阶段训练网络来分割气胸图像，第一阶段算法设置较低的分辨率训练网络，第二阶段利用更高的分辨率的图像更新网络的权重。由于气胸病灶的形状存在不规律性，cnn-based的模型效果有限。luo等人[4] 用多尺度全卷积神经网络实现了x-ray胸片中气胸病灶的分割。但是这类方法往往需要大量带标签的数据集。然而，医学图像的标记必须是富有经验的医生来操作，耗时费力，获取困难，且标记质量参差不一。
[0006]
第三、基于u-net模型及其变体。u-net利用对称的编码器-解码器形态，有利于小训练数据量的分割，因此在医学图像分割上的效果更好。例如，龚安等人[5]就改进了u-net模型，并实现了气胸病灶的分割。wang等人[6]开发了deepsdm网络将标签距离函数融入u-net网络以提升气胸病灶的分割精度。jakhar等人[7]采用以resnet-unet架构实现气胸病灶区域的分割，并取得了良好的效果。li等人[8]利用u-net 完成气胸区域的分割。
[0007]
基于深度学习的分割算法具有分割速度快，精度高等优点，然而，随着网络层数的加深，模型的特征会缺乏长程依赖，从而导致分割的效果精度不足，尤其是应对，病灶形状
不规则、个体差异大、小的气胸难以识别等情况。


技术实现要素：

[0008]
本发明针对气胸病灶形态不规则，少量气胸病灶容易漏诊的技术问题，目的在于提供一种基于swin-unet和形态学处理的气胸病灶分割方法及相关设备。
[0009]
一种基于swin-unet和形态学处理的气胸病灶分割方法，包括：
[0010]
获取待分割的ct图像，对待分割的所述ct图像进行预处理；
[0011]
采用预设的图像分割模型对经预处理后的所述ct图像分割气胸区域，得到二值分割结果；
[0012]
基于形态学处理方式对所述二值分割结果进行后处理，得到去除毛边后的气胸区域。
[0013]
作为优选方案，所述采用预设的图像分割模型对经预处理后的所述ct 图像分割气胸区域之前，还包括对所述图像分割模型进行训练：
[0014]
获取肺部ct数据，对气胸病灶区域进行标记，得到若干标记后的肺部 ct图像，建立气胸专病数据库；
[0015]
对所述肺部ct图像进行预处理；
[0016]
构建图像分割模型，利用所述气胸专病数据库对所述图像分割模型进行训练，得到训练好的图像分割模型作为预设的图像分割模型。
[0017]
作为优选方案，所述图像分割模型采用基于swin-unet网络构建的图像分割模型。
[0018]
作为优选方案，所述图像分割模型由编码器、瓶颈层(bottleneck layer)、解码器和跳跃连接构建组成，所述编码器、瓶颈层和解码器均是基于连续的两个swintransformer块构造；
[0019]
连续的两个所述swintransformer块由级联的ln层(layernorm层)、 w-msa模块(基于窗口的多头自注意模块)、ln层、mlp层、ln层、sw-msa 模块(位移的基于窗口的多头自注意模块)、ln层和mlp层构成，并用加和的方式实现每个ln层之间的特征图与ln层之后的特征图的跳跃连接。
[0020]
作为优选方案，对待分割的所述ct图像进行预处理或对所述肺部ct 图像进行预处理时，对ct图像采用图像尺寸归一化处理方式以及窗口技术进行预处理。
[0021]
作为优选方案，所述图像尺寸归一化处理方式为将ct图像修改为预设大小；
[0022]
所述窗口技术的公式为：
[0023][0024]
其中，f(x,y)代表原始ct图像的ct值；g(x,y)代表处理后的图像灰度值； wc为预设的窗位；ww为预设的窗宽。
[0025]
作为优选方案，所述基于swin-unet网络构建的图像分割模型对预处理后的所述
ct图像进行分割，包括：
[0026]
所述图像分割模型采用swin transformer块结构，在编码器中实现了从局部到全局的自注意机制；在解码器中，将全局特征向上采样到输入分辨率，达到像素级分割预测；
[0027]
所述图像分割模型使用patch扩展层，无需卷积与差值操作，即可实现上采样和特征维数的增加；
[0028]
所述图像分割模型采用纯基于transformer的u型编解码结构，能够达到跳跃连接的效果。
[0029]
作为优选方案，所述基于形态学处理方式对所述二值分割结果进行后处理，得到去除毛边后的气胸区域，包括：
[0030]
对所述二值分割结果进行腐蚀操作，具体公式为：
[0031]
r1＝r0θt1[0032]
其中，θ表示腐蚀运算；t1为模板，是3x3大小的全1矩阵；r0为所述二值分割结果；r1为腐蚀操作结果；
[0033]
对腐蚀操作结果进行膨胀操作，具体公式为：
[0034][0035]
其中，表示膨胀运算；r2为膨胀操作结果；
[0036]
膨胀操作结果即为去除毛边后的气胸区域。
[0037]
一种基于swin-unet和形态学处理的气胸病灶分割装置，包括：
[0038]
预处理模块，用于获取待分割的ct图像，对待分割的所述ct图像进行预处理；
[0039]
图像分割模块，用于采用预设的图像分割模型对经预处理后的所述ct 图像分割气胸区域，得到二值分割结果；
[0040]
后处理模块，用于基于形态学处理方式对所述二值分割结果进行后处理，得到去除毛边后的气胸区域。
[0041]
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述基于swin-unet和形态学处理的气胸病灶分割方法的步骤。
[0042]
一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述基于swin-unet和形态学处理的气胸病灶分割方法的步骤。
[0043]
本发明的积极进步效果在于：本发明采用基于swin-unet和形态学处理的气胸病灶分割方法及相关设备，具有如下有点：
[0044]
1、针对不规则、少量型气胸病灶，能够在ct图像中精准分割出气胸区域，能够为后续计算机辅助手术，计算机辅助诊断、影像组学分析、图像配准等任务提供有利的帮助，以期达到精准定位、早期发现、尽早治疗目的。
[0045]
2、建立swin-unet模型并利用训练数据集进行训练，并利用训练好的模型对测试集进行分割，利用transformer机制改进了u-net，能够很好地实现特征的长程依赖，在编码器中，实现从局部到全局的自关注；在解码器中，将全局特征向上采样到输入分辨率，以进行相应的像素级分割预测，大量的特征可以被复用，使得算法使用少量的卷积核就可以得到较多的特征，有效提高模型的分割性能。
[0046]
3、利用形态学操作，对模型的分割结果进行边缘平滑处理，使得分割结果更加符合实际情况且更加精确。
附图说明
[0047]
图1为本发明方法的一种流程图；
[0048]
图2为本发明图像分割模型的模型结构图；
[0049]
图3为本发明连续的两个swintransformer块的结构图。
具体实施方式
[0050]
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示进一步阐述本发明。
[0051]
参照图1，一种基于swin-unet和形态学处理的气胸病灶分割方法，包括如下步骤：
[0052]
s1，ct图像预处理：获取待分割的ct图像，对待分割的ct图像进行预处理。
[0053]
本发明的ct图像是肺部ct横截面图像。由于ct图像可能来自不同型号的机器，参数不同会导致图像的差异，以及尺寸大小的差异。除此之外， ct值的分度一般为-1000hu到 1000hu，在计算机显示上存在对比度低的情况。因此本发明在获取了ct图像后，首先对其进行预处理。
[0054]
在一些实施例中，对待分割的ct图像进行预处理时，采用图像尺寸归一化处理方式以及窗口技术进行预处理。
[0055]
对图像尺寸归一化处理方式为将ct图像修改为预设大小。例如对待分割的ct图像改为512*512的大小。
[0056]
窗口技术的公式为：
[0057][0058]
其中，f(x,y)代表原始ct图像的ct值；g(x,y)代表处理后的图像灰度值；wc为预设的窗位，例如设定窗位wc＝-600；ww为预设的窗宽，例如设定窗宽ww＝1000。
[0059]
s2，ct图像分割：采用预设的图像分割模型对经预处理后的ct图像分割气胸区域，得到二值分割结果。
[0060]
本发明基于图像分割模型对ct图像进行分割，得到分割后的气胸区域，该气胸区域是一种二值分割结果。在采用图像分割模型进行图像分割之前，本发明还对图像分割模型进行训练。
[0061]
在一些实施例中，对图像分割模型进行训练的过程如下：
[0062]
s201，获取肺部ct数据，对气胸病灶区域进行标记，得到若干标记后的肺部ct图像，建立气胸专病数据库。
[0063]
本发明的数据可从多中心、多设备来源的肺部ct数据，这些肺部ct 数据是大量的
原始的肺部ct图像。可利用3d slicer的segment editor模块对气胸病灶区域进行标记，用于模型的训练与测试。标记后的肺部ct图像存储在一起作为气胸专病数据库。
[0064]
s202，对肺部ct图像进行预处理。
[0065]
由于肺部ct数据来自不同型号的机器，参数不同会导致图像的差异，以及尺寸大小的差异。除此之外，ct值的分度一般为-1000hu到 1000hu，在计算机显示上存在对比度低的情况。因此本发明还对气胸专病数据库中的肺部ct图像进行预处理，该预处理过程与步骤s1中对待分割的ct图像进行预处理的过程相同，即也采用图像尺寸归一化处理方式以及窗口技术进行预处理，在此不在赘述。
[0066]
s203，构建图像分割模型，利用气胸专病数据库对图像分割模型进行训练，得到训练好的图像分割模型作为预设的图像分割模型。
[0067]
本发明在训练时，可随机抽取若干气胸专病数据库内的肺部ct图像作为训练集，对图像分割模型进行训练训，练好的图像分割模型能够自动、精准地在ct图像中检测并分割出气胸区域。
[0068]
在一些实施例中，图像分割模型采用基于swin-unet网络构建的图像分割模型。
[0069]
参照图2，swin-unet网络是采用纯基于transformer的u型编解码结构，能够达到跳跃连接的效果，其由编码器、瓶颈层(bottleneck layer)、解码器和跳跃连接组成，并且编码器、瓶颈层和解码器都是基于swin transformer 块而构建。模型使用带移位窗口的分层swin transformer作为编码器来提取上下文特征，在编码器中实现了从局部到全局的自注意机制；在解码器中，将全局特征向上采样到输入分辨率，达到像素级分割预测。并且设计了一种基于对称swin transformer的带patch expanding layer的解码器，在解码器中，将全局特征向上采样到输入分辨率，达到像素级分割预测，通过上采样恢复特征地图的空间分辨率。swin-unet网络使用patch扩展层，无需卷积与差值操作，即可实现上采样和特征维数的增加。
[0070]
对于编码器，为了将输入转换为序列嵌入，将ct图像分割成大小为4
×ꢀ
4的非重叠patch。通过这种划分方法，每个patch的特征维数变为4
×4×ꢀ
3＝48。此外，将投影的特征维度应用线性嵌入层(以c表示)，转换后的补丁标记经过几个swin transformer块和补丁合并层生成分层特征表示。其中，补丁合并层负责下采样和增加维度，swin transformer块负责特征表示学习。
[0071]
对于解码器，是一种基于对称transformer的解码器。该解码器由swintransformer块和补丁扩展层组成。提取的上下文特征通过跳跃连接与编码器的多尺度特征融合，以弥补降采样造成的空间信息丢失。与补丁合并层不同，补丁扩展层被专门设计用于执行上采样。补丁扩展层通过2
×
上采样分辨率将相邻维度的特征地图重塑为一个大的特征地图。最后，利用最后一个补丁扩展层进行4
×
上采样，将特征映射的分辨率恢复到输入分辨率(w
×
h)，然后在这些上采样特征上应用线性投影层输出像素级分割预测。
[0072]
在一些实施例中，图像分割模型由编码器、瓶颈层(bottleneck layer)、解码器和跳跃连接构建组成，编码器、瓶颈层和解码器均是基于连续的两个 swintransformer块构造。
[0073]
参照图3，连续的两个swintransformer块由级联的ln层(layernorm 层)、w-msa模块(基于窗口的多头自注意模块)、ln层、mlp层、ln 层、sw-msa模块(位移的基于窗口的多头
自注意模块)、ln层和mlp层构成，并用加和的方式实现每个ln层之间的特征图与ln层之后的特征图的跳跃连接。基于这种窗口划分机制，连续的两个swintransformer块可表示为：
[0074][0075][0076][0077][0078]
s3，基于形态学的图像后处理：基于形态学处理方式对二值分割结果进行后处理，得到去除毛边后的气胸区域。
[0079]
通过于形态学的图像后处理方式可对图像分割模型得到的二值分割结果进行边缘平滑处理，得到精确的气胸区域。
[0080]
在一些实施例中，步骤s3包括进行腐蚀操作和进行膨胀操作两个步骤，具体为：
[0081]
对二值分割结果进行腐蚀操作，具体公式为：
[0082]
r1＝r0θt1[0083]
其中，θ表示腐蚀运算；t1为模板，是3x3大小的全1矩阵；r0为二值分割结果；r1为腐蚀操作结果。
[0084]
上述腐蚀操作是利用t1与其覆盖的二值图像进行卷积运算，扫描图像中的每一个点，并将模板中的点与二值图像做“与”操作，如果结果为1，则该像素为1，否则为0。
[0085]
随后再对腐蚀操作结果进行膨胀操作，具体公式为：
[0086][0087]
其中，表示膨胀运算；r2为膨胀操作结果。
[0088]
上述膨胀操作中，t1依然为模板，是3x3大小的全1矩阵，用t1的模板元素与其覆盖的二值图像做“或”操作，如果结果为1，则该像素为1，否则为0。
[0089]
经膨胀操作后，可以去除气胸区域的毛糙边缘，膨胀操作结果即为去除毛边后的气胸区域。
[0090]
在一些实施例中，本发明采用图像分割精度dice系数来验证方法的有效性，本发明可在气胸专病数据库中随机抽取若干肺部ct图像作为测试集。采用本发明的步骤s1至s3，验证分割精度。
[0091]
图像分割精度dice系数的公式如下：
[0092][0093]
其中，a为标记的气胸病灶区域，b为经本发明步骤s1至s3得到的气胸区域。
[0094]
对比例为现有技术中u-net，u-net 和medt模型，将本发明的步骤s2 和s3替换为上述现有技术中模型得到气胸区域。
[0095]
通过图像分割精度dice系数进行比较的结果如下表所示：
[0096]
u-netu-net medt本发明
0.730.770.820.87
[0097] 可见，通过本发明的步骤s2和s3的结合，能够得到更高的分割精度，能够在ct图像中精确分割出气胸区域，能够为后续计算机辅助手术，计算机辅助诊断、影像组学分析、图像配准等任务提供有利的帮助。
[0098]
在一些实施例中，本发明提出了一种基于swin-unet和形态学处理的气胸病灶分割装置，包括：
[0099]
预处理模块，用于获取待分割的ct图像，对待分割的ct图像进行预处理；
[0100]
图像分割模块，用于采用预设的图像分割模型对经预处理后的ct图像分割气胸区域，得到二值分割结果；
[0101]
后处理模块，用于基于形态学处理方式对二值分割结果进行后处理，得到去除毛边后的气胸区域。
[0102]
在一些实施例中，本发明提出了一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例基于swin-unet和形态学处理的气胸病灶分割方法中的步骤。
[0103]
在一些实施例中，本发明提出了一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例基于swin-unet和形态学处理的气胸病灶分割方法中的步骤。
[0104]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，read only memory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。其中，存储介质可以为非易失性存储介质。
[0105]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。