基于CT影像的肾脏组织分割方法及装置

基于ct影像的肾脏组织分割方法及装置
技术领域
1.本发明涉及医学图像处理的技术领域，尤其涉及一种基于ct影像的肾脏组织分割方法，以及基于ct影像的肾脏组织分割装置。


背景技术：

2.肾脏ct即肾脏的ct检查，是通过ct影像对肾脏进行检查的一种方法。
3.其具有如下意义：
4.1.能查明肿块的位置、大小、形态、侵犯范围；可识别肿块为囊性、实质性、脂肪性或钙化性病变，以至做出定性诊断。
5.2.当静脉尿路造影检查显示为失功能肾时，ct可确定病变的部位、性质或先天性发育异常。
6.3.能查出普通x线检查不能显影的细小钙化、结石或阴性结石。
7.4.对肾结核的诊断有较大价值，可显示肾内破坏、病源钙化及肾周脓肿等情况。
8.5.可判断肾脏损伤的部位、范围和肾周血肿，以及术后并发症。
9.但是，肾脏、肾部动脉血管、肾部静脉血管、肾部肿瘤的ct影像的分割精度却难以提高。


技术实现要素：

10.为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于ct影像的肾脏组织分割方法，其能够提升肾脏、肾部动脉血管、肾部静脉血管、肾部肿瘤分割的精度。
11.本发明的技术方案是：这种基于ct影像的肾脏组织分割方法，其包括以下步骤：
12.(1)获取待分割的图像；
13.(2)对待分割图像进行切片；
14.(3)对切片后的图像进行预处理；
15.(4)图像输入到预先训练好的感兴趣区域提取模型，获得感兴趣区域；
16.(5)将感兴趣区域内的图像输入到预先训练好的分割模型；
17.(6)对分割结果进行处理，去掉一些错误的分片；
18.(7)分割结果进行三维可视化；
19.所述步骤(5)中，分割模型为多尺度融合attention-denseunet网络，该网络架构分为两个部分：编码下采样路径和解码上采样路径，下采样路径包含4个稠密连接模块，从上至下，每个稠密连接模块的大小分别是6层、12层、16层、24层；在稠密连接模块中，每一层的输入不止与i
–
1层的输出有关，还与之前所有层的输出相关，为公式(1)：
20.x
l
＝h
l
([x0,x1,
…
x
l-1
])
ꢀꢀꢀꢀꢀꢀꢀ
(1)
[0021]
其中[]代表将x0到x
l-1
层的所有输出按照通道组织在一起，h
l
代表非线性变换，此网络结构采用batchnorm relu conv1
×
1 conv3
×
3的组合进行非线性变换。
[0022]
本发明的感兴趣区域提取模型为resunet网络，该网络能够精确捕捉到ct影像上
肾脏部分的特征，输出一个包含了整个肾脏部分结构的包围盒的八个顶点坐标。本发明的分割模型为多尺度融合attention-denseunet模型，将感兴趣区域提取的结果输入到分割模型中进行精细分割。分割模型中使用的多尺度特征融合机制是提高网络性能的重要方法，低层特征包含更多的位置信息，高层特征存在信息丢失的现象，对细节的感知能力降低。所以将低层特征和高层特征进行融合，可以有效的利用多尺度的空间信息来提高分割的精度。该模型进行4次上采样，每次上采样之后都会输出一个特征图，每层特征图像经过卷积核大小为1*1的卷积之后，得到通道数相同的特征，相加得到最终的特征图。最后的特征图经过sigmoid函数激活，得到最终的分割结果。在分割完成后，需要对分割结果进行形态学后处理，去掉一些错误的分片，再分割结果进行三维可视化，能够进一步提升肾脏、肾部动脉血管、肾部静脉血管、肾部肿瘤分割的精度。
[0023]
还提供了基于ct影像的肾脏组织分割装置，其包括：
[0024]
获取模块，其配置来获取待分割的图像；
[0025]
切片模块，其配置来对待分割图像进行切片；
[0026]
预处理模块，其配置来对切片后的图像进行预处理；
[0027]
感兴趣区域提取模块，其配置来图像输入到预先训练好的感兴趣区域提取模型，获得感兴趣区域；
[0028]
分割模块，其配置来将感兴趣区域内的图像输入到预先训练好的分割模型；
[0029]
后处理模块，其配置来对分割结果进行处理，去掉一些错误的分片；
[0030]
显示模块，其配置来执行分割结果的三维可视化；
[0031]
所述分割模块中，分割模型为多尺度融合attention-denseunet网络，该网络架构分为两个部分：编码下采样路径和解码上采样路径，下采样路径包含4个稠密连接模块，从上至下，每个稠密连接模块的大小分别是6层、12层、16层、24层；在稠密连接模块中，每一层的输入不止与i
–
1层的的输出有关，还与之前所有层的输出相关，为公式(1)：
[0032]
x
l
＝h
l
([x0,x1,
…
x
l-1
])
ꢀꢀꢀꢀꢀꢀꢀ
(1)
[0033]
其中[]代表将x0到x
l-1
层的所有输出按照通道组织在一起，h
l
代表非线性变换，此网络结构采用batchnorm relu conv1
×
1 conv3
×
3的组合进行非线性变换；
[0034]
在下采样层与上采样层之间的跳连接层加入空间注意力模块，进一步提升分割精度；
[0035]
在解码部分采用多尺度融合策略，模型进行4次上采样，每次上采样之后都输出一个特征图，每层特征图像经过卷积核大小为1*1的卷积之后，得到通道数相同的特征，相加得到最终的特征图；最后的特征图经过sigmoid函数激活，得到最终的分割结果。
附图说明
[0036]
图1是根据本发明的基于ct影像的肾脏组织分割方法的流程图。
[0037]
图2示出了用于感兴趣区域提取的resunet。
[0038]
图3示出了一个6层稠密连接模块(dense block)。
[0039]
图4示出了整个attention模块的结构。
[0040]
图5是多尺度融合attention-denseunet网络结构图。
具体实施方式
[0041]
如图1所示，这种基于ct影像的肾脏组织分割方法，其包括以下步骤：
[0042]
(1)获取待分割的图像；
[0043]
(2)对待分割图像进行切片；
[0044]
(3)对切片后的图像进行预处理；
[0045]
(4)图像输入到预先训练好的感兴趣区域提取模型，获得感兴趣区域；
[0046]
(5)将感兴趣区域内的图像输入到预先训练好的分割模型；
[0047]
(6)对分割结果进行处理，去掉一些错误的分片；
[0048]
(7)分割结果进行三维可视化；
[0049]
如图2所示，所述步骤(5)中，分割模型为多尺度融合attention-denseunet网络，该网络架构分为两个部分：编码下采样路径和解码上采样路径，下采样路径包含4个稠密连接模块，从上至下，每个稠密连接模块的大小分别是6层、12层、16层、24层；在稠密连接模块中，每一层的输入不止与i
–
1层的的输出有关，还与之前所有层的输出相关，为公式(1)：
[0050]
x
l
＝h
l
([x0,x1,
…
x
l-1
])
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0051]
其中[]代表将x0到x
l-1
层的所有输出按照通道组织在一起，h
l
代表非线性变换，此网络结构采用batchnorm relu conv1
×
1 conv3
×
3的组合进行非线性变换。
[0052]
本发明的感兴趣区域提取模型为resunet网络，该网络能够精确捕捉到ct影像上肾脏部分的特征，输出一个包含了整个肾脏部分结构的包围盒的八个顶点坐标。本发明的分割模型为多尺度融合attention-denseunet模型，将感兴趣区域提取的结果输入到分割模型中进行精细分割。分割模型中使用的多尺度特征融合机制是提高网络性能的重要方法，低层特征包含更多的位置信息，高层特征存在信息丢失的现象，对细节的感知能力降低。所以将低层特征和高层特征进行融合，可以有效的利用多尺度的空间信息来提高分割的精度。该模型进行4次上采样，每次上采样之后都会输出一个特征图，每层特征图像经过卷积核大小为1*1的卷积之后，得到通道数相同的特征，相加得到最终的特征图。最后的特征图经过sigmoid函数激活，得到最终的分割结果。在分割完成后，需要对分割结果进行形态学后处理，去掉一些错误的分片，再分割结果进行三维可视化，能够进一步提升肾脏、肾部动脉血管、肾部静脉血管、肾部肿瘤分割的精度。
[0053]
如图5所示，所述步骤(5)中，分割模型为多尺度融合attention-denseunet。再该模型的编码器部分，加入了四个dense块，从上到下分别为6层、12层、36层和24层。dense块保证了层间的最大信息流，改善了梯度流，从而减轻了在极深神经网络中寻找最优解的负担。为了减少计算量并增加感受野，在每个密集块之后使用一个向下过渡层。每个过渡层均是由relu激活函数、批量归一化(bn)、瓶颈层(即1
×
1的卷积)和平均池化层(2
×
2)组成。该模型的解码阶段进行了多尺度融合，解码器中上采样部分由低分辨率恢复到高分辨率肯定会丢失一些细节信息，影响最终的分割结果，通过在解码端加入多尺度融合模块，可以有效的利用多尺度的空间信息来提高分割的精度，多尺度融合分割模型中解码器每一层的特征进行上采样恢复到高分辨率后进行融合。这样并行的将提取到的特征信息叠加起来，实现多个特征信息的互补，使分割更加准确。该模型进行4次上采样，每次上采样之后都会输出一个特征图，每层特征图像经过卷积核大小为1
×
1的卷积之后，得到通道数相同的特征，相加得到最终的特征图。最后的特征图经过sigmoid函数激活，得到最终的分割结果。在传统
的unet结构中，下采样编码部分和上采样解码部分的连接常常是通过concatenate机制直接将前后特征进行拼接，因此存在拼接过程中下采样部分特征提取不充分的问题。本模型使用注意力模块来接连上采样和下采样的部分。能够进一步提高分割精度。
[0054]
优选地，所述步骤(2)中，将三维的待分割图像在冠状面方向上分解为单张的二维切片，并保存为矩阵文件。
[0055]
优选地，所述步骤(3)中，使用双线性插值法将单张切片的尺寸固定为512
×
512，再将切片的灰度值hounsfield单元值调整到范围[-1024,600]hu，然后将数据归一化为零均值和单位方差。
[0056]
优选地，所述步骤(4)中，模型采用交叉熵损失函数，将肿瘤和肾部分的标签合并为一类进行计算。
[0057]
优选地，如图3所示，所述步骤(5)中，每个稠密连接模块(dense)之间使用一个transition层进行连接，transition层由一个conv(1
×
1)和一个maxpool组成。
[0058]
优选地，所述步骤(5)中，上采样路径包含空间注意力和密集监督机制，空间注意力模块为网络增大目标区域的权重，提升分割精度；密集监督将每个上采样的特征图通道转换为3
×1×
1卷积，根据目标图像的尺寸减小计算损耗；这样每次上采样都将尽可能地与目标相似，整个attention-denseunet的结构如图5所示。
[0059]
其中，空间注意力机制由空间注意力模块进行实现的，如图4所示。下采样层同层特征图gi进行1*1*1卷积运算，上采样层上一层的特征图也同样进行1*1*1卷积；将两个特征图进行相加后进行relu，随后再通过1*1*1卷积和sigmoid函数得到最终的注意力权重；在每个上采样模块中对特征图进行1*1卷积，转化为三通道的矩阵进行loss计算，使得每次上采样都尽量与目标相似。
[0060]
优选地，所述步骤(6)中，对于血管的分割结果，先进行形态学闭操作，再进行先膨胀后腐蚀的操作，以便连上一些分割的断开处；使用3d连接组件法对肾脏和肿瘤的分割结果进行处理，去掉一些错误的分片。
[0061]
优选地，所述步骤(7)中，采用vtk开源框架对分割结果进行三维建模，以便医生直接观察。
[0062]
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于ct影像的肾脏组织分割装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包获取模块，其配置来获取待分割的图像；
[0063]
获取模块，其配置来获取待分割的图像；
[0064]
切片模块，其配置来对待分割图像进行切片；
[0065]
预处理模块，其配置来对切片后的图像进行预处理；
[0066]
感兴趣区域提取模块，其配置来图像输入到预先训练好的感兴趣区域提取模型，获得感兴趣区域；
[0067]
分割模块，其配置来将感兴趣区域内的图像输入到预先训练好的分割模型；
[0068]
后处理模块，其配置来对分割结果进行处理，去掉一些错误的分片；
[0069]
显示模块，其配置来执行分割结果的三维可视化；
[0070]
所述分割模块中，分割模型为多尺度融合attention-denseunet网络，该网络架构分为两个部分：编码下采样路径和解码上采样路径，下采样路径包含4个稠密连接模块，从上至下，每个稠密连接模块的大小分别是6层、12层、16层、24层；在稠密连接模块中，每一层的输入不止与i
–
1层的的输出有关，还与之前所有层的输出相关，为公式(1)：
[0071]
x
l
＝h
l
([x0,x1,
…
x
l-1
])
ꢀꢀꢀꢀꢀꢀ
(1)
[0072]
其中[]代表将x0到x
l-1
层的所有输出按照通道组织在一起，h
l
代表非线性变换，此网络结构采用batchnorm relu conv1
×
1 conv3
×
3的组合进行非线性变换；
[0073]
在下采样层与上采样层之间的跳连接层加入空间注意力模块，进一步提升分割精度；
[0074]
在解码部分采用多尺度融合策略，模型进行4次上采样，每次上采样之后都输出一个特征图，每层特征图像经过卷积核大小为1*1的卷积之后，得到通道数相同的特征，相加得到最终的特征图；最后的特征图经过sigmoid函数激活，得到最终的分割结果。
[0075]
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。