一种基于改进U形网络的CT图像中的胰腺分割网络的制作方法

一种基于改进u形网络的ct图像中的胰腺分割网络
技术领域
1.本发明涉及一种基于改进u形网络的ct图像中的胰腺分割网络，属于图像处理技术领域。


背景技术：

2.胰腺是人体第二大外分泌器官，也是人体重要的内分泌腺。胰腺可分为胰头、胰颈、胰体、胰尾。胰腺癌是消化系统常见的恶性肿瘤之一，临床发现晚，恶性程度高，预后差。胰腺癌的5年相对生存率低于10％，是常见恶性肿瘤中最严重的，且呈逐年恶化的趋势。胰腺癌的早期发现是胰腺癌根治性切除和生存的关键。计算机断层扫描(ct)是胰腺疾病最重要的成像方法，具有高密度分辨率和可重复性等优点。在腹部ct图像中自动分割胰腺可以为胰腺癌的诊断和治疗提供更准确的信息。
3.近年来，卷积神经网络已经迅速证明是处理各种医学图像的最先进的工具。特别是u-net网络在医学图像像素级分割任务上表现优异。但是，由于胰腺占整个图像的比例小，其大小、形状、位置和结构在不同患者之间差异大、边缘不清晰，并且胰腺炎、胰腺癌等疾病会极大地改变胰腺的外观，而原始u-net 只采用简单的编码器、解码器和跳跃连接，易丢失小目标信息和边缘信息，对胰腺的分割效果不理想。


技术实现要素：

4.本发明的目的在于提供一种基于改进u形网络的ct图像中的胰腺分割网络，用于解决现有技术中存在的问题。
5.为达到上述目的，本发明提供如下技术方案：
6.根据第一方面，本发明实施例提供了一种基于改进u形网络的ct图像中的胰腺分割网络，所述胰腺分割网络包括：编码器支路、解码器支路、对比增强模块ceb以及反向注意力模块rab；
7.所述对比增强模块ceb设置于所述编码器支路之后，用于提取所述编码器支路特征图中胰腺的边缘细节信息；
8.所述反向注意力模块rab设置于所述编码器支路与所述解码器支路之间，利用所述解码器支路每一层的输出特征来挖掘前一层的互补特征。
9.可选的，所述编码器支路包括四个由两次3
×
3卷积、批归一化、relu激活函数构成的卷积块，每个卷积块后设置最大池化层，第四个最大池化层后设置卷积块用于连接所述编码器支路和所述解码器支路。
10.可选的，所述对比增强模块ceb设置在所述编码器支路中第二、三、四层卷积块之后，用于提取所述编码器支路的特征图中胰腺的边缘细节信息。
11.可选的，所述解码器支路包括四个由两次3
×
3卷积、批归一化、relu激活函数构成的卷积块，每个卷积块前设置卷积核大小为2
×
2且步长为2的反卷积层，最后一个卷积块之后接1
×
1的卷积和sigmoid激活函数并得到预测概率图，所述编码器支路的每一层通过跳
跃连接与所述解码器支路的对应层进行连接。
12.可选的，所述反向注意力模块rab设置于每层编码器支路的卷积块与每层解码器支路的卷积块之间，利用所述解码器支路的每一层的输出特征挖掘前一层编码器层特征间的互补特征。
13.可选的，所述对比增强块ceb的输出特征图为：
14.output＝(1 g1)
×
input (1-g1)
×
(g2×deem
)；
15.其中，deem是边缘细节信息特征图，g1和g2是门控特征图。
16.可选的，所述反向注意力模块rab的输出为：
17.output＝σ1(f1(input_1))
×
wr input_1；
18.其中，f1(
·
)为卷积运算，σ1(
·
)为relu激活函数，wr＝σ2(-f2(input_2))，f2(
·
)为反卷积运算，σ2(
·
)为sigmoid激活函数。
19.可选的，所述胰腺分割网络的损失函数为dice损失函数。
20.第二方面，提供了一种胰腺分割网络训练方法，所述方法包括：
21.获取样本胰腺ct图像；
22.根据所述样本胰腺ct图像训练如第一方面所述的胰腺分割网络。
23.第三方面，提供了一种基于改进u形网络的ct图像中的胰腺分割方法，所述方法包括：
24.获取目标胰腺ct图像；
25.根据训练后的胰腺分割网络对所述目标胰腺ct图像进行分割；训练后的胰腺分割网络为通过第二方面所述的方法训练得到的网络。
26.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
27.图1为本发明一个实施例提供的基于改进u形网络的ct图像中的胰腺分割网络的网络结构图；
28.图2为本发明一个实施例提供的对比增强模块ceb的结构示意图；
29.图3为本发明一个实施例提供的反向注意力模块rab的结构示意图；
30.图4为本发明一个实施例提供的胰腺分割网络训练方法的方法流程图；
31.图5为本发明一个实施例提供的于改进u形网络的ct图像中胰腺分割方法的方法流程图；
32.图6为本发明一个实施例提供的胰腺分割方法与现有方案的分割结果的对比图。
具体实施方式
33.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了
便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
35.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
36.此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
37.请参考图1，其示出了本技术一个实施例提供的一种基于改进u形网络的 ct图像中的胰腺分割网络的网络结构图，如图1所示，所述胰腺分割网络包括：编码器支路、解码器支路、对比增强模块(contrast enhancement block，ceb) 以及反向注意力模块(reverse attention block，rab)；
38.所述对比增强模块ceb设置于所述编码器支路之后，用于提取所述编码器支路特征图中胰腺的边缘细节信息；
39.所述反向注意力模块rab设置于所述编码器支路与所述解码器支路之间，利用所述解码器支路每一层的输出特征来挖掘前一层的互补特征。
40.本技术使用u-net作为胰腺分割网络的基础框架。并且：
41.所述编码器支路包括四个由两次3
×
3卷积、批归一化、relu激活函数构成的卷积块，每个卷积块后设置最大池化层，第四个最大池化层后设置卷积块作为编码底层结构单元，用于连接所述编码器支路和所述解码器支路。
42.所述解码器支路包括四个由两次3
×
3卷积、批归一化、relu激活函数构成的卷积块，每个卷积块前设置卷积核大小为2
×
2且步长为2的反卷积层，最后一个卷积块之后接1
×
1的卷积和sigmoid激活函数并得到预测概率图，所述编码器支路的每一层通过跳跃连接与所述解码器支路的对应层进行连接。
43.请参考图2，所述对比增强模块ceb设置在所述编码器支路中第二、三、四层卷积块之后，用于提取所述编码器支路的特征图中胰腺的边缘细节信息。
44.对比增强模块ceb的输出为：
45.output＝(1 g1)
×
input (1-g1)
×
(g2×deem
)
46.其中，d
eem
是边缘提取模块通过输入特征图减去由平均池化得到的局部平均信息特征图可以得到边缘细节信息特征图。input为输入的特征图，g1和g2是门控特征图。它们通过1
×
1卷积和sigmoid激活函数分别对输入特征图和得到的边缘细节信息特征图进行计算，代表了输入特征图和边缘细节信息特征图各位置的确定性特征图，输入特征图的不确定位置可通过(1-g1)得到。对于输入特征图中不确定性位置，通过计算得到的确定性的边缘信息可以对编码器特征图的信息进行详细的补充和增强。
47.所述反向注意力模块rab设置于每层编码器支路的卷积块与每层解码器支路的卷积块之间，利用所述解码器支路的每一层的输出特征挖掘前一层编码器层特征间的互补特征。
48.请参考图3，反向注意力模块rab的输入为解码器层的输入input_2和上一层解码器的输入input_1，反向注意力模块rab的输出为：
49.output＝σ1(f1(input_1))
×
wr input_1；
50.其中，f1(
·
)为卷积运算，σ1(
·
)为relu激活函数，wr＝σ2(-f2(input_2))， f2(
·
)为反卷积运算，σ2(
·
)为sigmoid激活函数。将反卷积得到的粗糙特征图进行求反，与前一层编码器层的特征图相乘，可以将不准确的粗糙估计细化为准确完整的预测图。
51.可选的，在本技术中，所述胰腺分割网络的损失函数为dice损失函数。假设给定预测图y’和真值y，dice损失为：
[0052][0053]
综上所述，通过提供一种基于改进u形网络的ct图像中的胰腺分割网络，所述胰腺分割网络包括：编码器支路、解码器支路、对比增强模块ceb以及反向注意力模块rab；所述对比增强模块ceb设置于所述编码器支路之后，用于提取所述编码器支路特征图中胰腺的边缘细节信息；所述反向注意力模块rab 设置于所述编码器支路与所述解码器支路之间，利用所述解码器支路每一层的输出特征来挖掘前一层的互补特征。使得可以提取得到边缘细节信息，并对特征进行互补挖掘，解决了现有方案中易丢失小目标信息和边缘信息、对胰腺的分割效果不理想的问题，达到了可以提高胰腺的分割精度的效果。
[0054]
请参考图4，其示出了本技术一个实施例提供的胰腺分割网络训练方法的方法流程图，如图4所示，所述方法包括：
[0055]
步骤401，获取样本胰腺ct图像；
[0056]
本发明使用的数据采集自患有胰腺癌的病人。该数据集由106个带有医生标注的三维(3d)ct图像组成。每个3d ct图像的图像大小为512
×
512
×
l， l为沿体长轴的切片数，l∈[174,376]。本发明使用其中63个用作训练。
[0057]
并且，实际实现时，在训练胰腺分割网络之前，可以先对样本胰腺ct图像进行图像预处理，将每张样本胰腺ct图像的原始强度值截断为[-100,240]，以增强胰腺细节的显示。然后，我们将每个原始ct数据归一化为均值为0、方差为1，以减少医学图像采集过程造成的数据差异。为了防止胰腺分割网络受到背景的严重影响，本发明在胰腺占至少50个像素的切片上训练模型。为了在不增加计算量的情况下获取三维图像中的空间信息，将这些三维图像的三个连续的切片连接起来作为输入。
[0058]
步骤402，根据所述样本胰腺ct图像训练如上实施例所述的胰腺分割网络。
[0059]
本发明在一台配备12g内存的nvidia tesla k40m gpu的工作设备上训练，在训练过程中，使用初始学习率为10-4
的adam优化器来优化网络的权值。每次送入网络的样本胰腺ct图像数量设置为3，总迭代次数为20次。该胰腺分割网络基于tensorflow框架实现。由于胰腺是一个完整的器官，为了进一步提高分割精度，提取三维最大连通域作为最终的胰腺分割结果。
[0060]
综上所述，通过获取样本胰腺ct图像，根据所述样本胰腺ct图像训练如以上所述的胰腺分割网络。使得训练得到的胰腺分割网络可以提取得到边缘细节信息，并对特征进行互补挖掘，解决了现有方案中易丢失小目标信息和边缘信息、对胰腺的分割效果不理想
的问题，达到了可以提高胰腺的分割精度的效果。
[0061]
请参考图5，其示出了本技术一个实施例提供的基于改进u形网络的ct图像中的胰腺分割方法的方法流程图，如图5所示，所述方法包括：
[0062]
步骤501，获取目标胰腺ct图像；
[0063]
步骤501，根据训练后的胰腺分割网络对所述目标胰腺ct图像进行分割；训练后的胰腺分割网络为通过通过上述实施例所述的方法训练得到的网络。
[0064]
为了定量评估本发明提出的方法的性能，根据以下四个指标将分割结果与金标准进行了比较：dice系数(dice similarity coefficient)，交并比iou(intersection over union)，精确率(precision)和召回率(recall)。dsc计算分割结果和金标准之间的重叠率，并定义为：
[0065][0066]
其中tp是真阳性的分割像素数量，fp是假阳性的分割像素数量，fn是假阴性的分割像素数量。交并比、精确率和召回率指标计算公式为：
[0067][0068][0069][0070]
本发明将分割结果与现有的方法进行了比较，如表1所示。
[0071]
表1本发明将分割结果与他人的方法进行了比较
[0072][0073]
如图6所示，为不同方法的分割结果图，其中。第一列是原始ct图片。第二列是对应的金标准。接下来的是u-net,attention u-net的分割结果图。最后一列是本发明的方法的分割结果图。结合表1和图6，本领域技术人员可以很明确的得知本技术所述的胰腺分割网络的分割精度高于现有方案。
[0074]
综上所述，获取目标胰腺ct图像；根据训练后的胰腺分割网络对所述目标胰腺ct图像进行分割；训练后的胰腺分割网络为通过上述实施例所述的方法训练得到的网络。解决了现有方案中易丢失小目标信息和边缘信息、对胰腺的分割效果不理想的问题，达到了可以提高胰腺的分割精度的效果。
[0075]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0076]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。