基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法与流程

1.本发明涉及图像处理技术领域，尤其涉及一种基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法。


背景技术：

2.核磁共振图像（mri）中肝脏肿瘤的分割对于肿瘤的准确诊断和后续治疗具有重要的临床应用价值。通常肝脏肿瘤图像分割是由放射科医生使用专业软件逐层手动分割完成，不仅效率低而且耗时，因此临床上需要一种全自动分割肝脏肿瘤的方法。mri图像中肝脏肿瘤区域和正常肝组织之间的界限模糊，和临近器官组织灰度上非常接近，肿瘤区域与周围组织之间的对比度差，灰度不均匀，导致伪影和边界模糊等不良影响。肝脏肿瘤的位置、大小变化很大，使得肝脏肿瘤的全自动分割仍然是一个复杂而困难的问题。
3.在图像分割研究方面，long等人提出了全卷积网络，它的编码器在不同阶段提取了粗糙程度不同的高层语义信息，通过反卷积将图像大小恢复到原始图像分辨率，解码器通过跳跃连接将高层语义特征和编码器不同阶段不同分辨率的空间信息融合，用来优化分割结果。pspnet和deeplab在保持图像一定分辨率的同时，利用丰富的上下文信息可以获得更好的性能，但有时这种类型的上下文信息是包含各种层次信息的混合体，从上下文信息中学习的知识对于像素级别分类是有限的。cnn网络中抽象出来的高层次的语义特征对于目标分类识别非常有效，但是对于像素分类和原始分辨率的重建而言相对较差，将高层特征和低层特征进行融合会提升分割效果。u
‑
net的编码器和解码器呈对称的u形结构，通过跳跃连接结构融合了高、低层特征，提高了分割效果。jegou等人在densenet网络的基础上提出了类似的工作，将高、低层特征融合的方法，在图像分割领域取得了较好的结果。但是上述这些方法只涉及简单的高、低层特征拼接，而没有考虑高、低层特征之间的相关性。


技术实现要素：

4.由于现有的图像分割网络忽略了高、低层特征之间的相关性，为了解决该技术问题，本发明提供了一种基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法，通过利用高低层特征之间的相关性，可以有效提升肝脏肿瘤图像的分割精度。
5.本发明提供一种基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法，包括：步骤1：采集肝脏肿瘤病人的核磁图像组成数据集，并将所述数据集划分为训练集和测试集；步骤2：构造基于高低层特征融合的肝脏肿瘤图像分割模型，所述分割模型选取密集连接网络作为框架，所述密集连接网络包括编码器、解码器和位于所述编码器和所述解码器之间的全局注意力模块；其中，所述全局注意力模块将所述肝脏肿瘤图像的低层特征和所述肝脏肿瘤图像的高层特征进行特征融合，学习自动评估高层特征的重要性，以供所
述解码器利用重要的高层语义特征所包含的分类信息指导低层特征恢复图像细节；步骤3：使用训练集中的图像数据训练所述分割模型，然后采用训练好的分割模型对测试集中的图像数据进行测试，得到肝脏肿瘤图像的分割结果。
6.进一步地，所述编码器和所述解码器均各自包括级联的4个密集块；在所述编码器中的每两个所述密集块之间设置有用于进行下采样操作的第一过渡层，在所述解码器中的每两个所述密集块之间设置有用于进行上采样操作的第二过渡层；在所述编码器中的最后一个密集块和所述解码器的第一个密集块之间还连接有一个密集块，该密集块与所述编码器中的最后一个密集块之间设置有所述第一过渡层，该密集块与所述解码器的第一个密集块之间设置有所述第二过渡层。
7.进一步地，所述第一过渡层具体为步长为2的3
×
3卷积。
8.进一步地，所述分割模型包括4个全局注意力模块；其中3个所述全局注意力模块将所述编码器的第i个密集块输出的低层特征和所述解码器的第4
‑
i个密集块输出的高层特征进行特征融合，并将特征融合结果作为所述解码器的第5
‑
i个密集块的输入；其中，i=1,2,3；另一个所述全局注意力模块将所述编码器的第4个密集块输出的低层特征和位于所述编码器和所述解码器之间的密集块输出的高层特征进行特征融合，并将特征融合结果作为所述解码器的第1个密集块的输入。
9.进一步地，所述全局注意力模块的网络结构包括3
×
3卷积、全局平均池化、两个全连接层和位于两个所述全连接层之间的relu函数；通过所述3
×
3卷积减少输入的高层特征的个数，使得高层特征的个数与输入的低层特征的个数相一致；使用所述全局平均池化将所述3
×
3卷积输出的高层特征进行压缩，获得所有高层特征的权重；两个所述全连接层和所述relu函数构成门控机制以实现注意力函数，利用所述注意力函数学习高层特征之间的非线性相互作用；将压缩后的高层特征权重与低层特征进行相乘得到特征融合结果。
10.本发明的有益效果：高层语义特征的优势在于分类，但在像素分类和高分辨率的预测恢复方面相对较弱，而低层特征的优势在于细节信息和高分辨率图像特征的恢复，本发明结合了多尺度信息和高、低层特征之间的相关性，构建了一个全局注意力模块，利用高层特征中所包含的分类信息去指导低层特征恢复高分辨率的图像细节，做到真正意义上的高、低层特征融合。利用全局注意模块gam模块学习自动评估高层特征通道的重要性，获得通道间的相关性，对最有效的特征通道进行加权，使得高层次特征的重要性可以用来指导低层次细节信息的恢复，可以很好的提升肝脏肿瘤图像的分割精度。
附图说明
11.图1为本发明实施例提供的基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法的流程示意图；图2为本发明实施例提供的基于高低层特征融合的密集连接网络的肝脏肿瘤图像
分割模型的结构示意图；图3为本发明实施例提供的全局注意力模块gam的结构示意图。
具体实施方式
12.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
13.如图1所示，本发明实施例提供一种基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法，包括：s101：采集肝脏肿瘤病人的核磁图像组成数据集，并将所述数据集划分为训练集和测试集；s102：构造基于高低层特征融合的肝脏肿瘤图像分割模型，所述分割模型选取密集连接网络作为框架，所述密集连接网络包括编码器、解码器和位于所述编码器和所述解码器之间的全局注意力模块（global attention module，gam）；其中，所述全局注意力模块将所述肝脏肿瘤图像的低层特征和所述肝脏肿瘤图像的高层特征进行特征融合，学习自动评估高层特征的重要性，以供所述解码器利用重要的高层语义特征所包含的分类信息指导低层特征恢复图像细节；具体地，如图2所示，所述编码器和所述解码器均各自包括级联的4个密集块（dense block）；在所述编码器中的每两个所述密集块之间设置有用于进行下采样操作的第一过渡层，在所述解码器中的每两个所述密集块之间设置有用于进行上采样操作的第二过渡层；作为一种可实施方式，所述第一过渡层具体为步长为2的3
×
3卷积。本实施例中，密集块的宽度控制在12，下采样率控制在16。图2中，符号
⊕
表示级联操作。
14.在所述编码器中的最后一个密集块和所述解码器的第一个密集块之间还连接有一个密集块，该密集块与所述编码器中的最后一个密集块之间设置有所述第一过渡层，该密集块与所述解码器的第一个密集块之间设置有所述第二过渡层。
15.作为一种可实施方式，如图2所示，所述分割模型包括4个全局注意力模块；其中3个所述全局注意力模块将所述编码器的第i个密集块输出的低层特征和所述解码器的第4
‑
i个密集块输出的高层特征进行特征融合，并将特征融合结果作为所述解码器的第5
‑
i个密集块的输入；其中，i=1,2,3；另一个所述全局注意力模块将所述编码器的第4个密集块输出的低层特征和位于所述编码器和所述解码器之间的密集块输出的高层特征进行特征融合，并将特征融合结果作为所述解码器的第1个密集块的输入。
16.作为一种可实施方式，如图3所示，所述全局注意力模块的网络结构包括3
×
3卷积、全局平均池化（global pooling）、两个全连接层fc和位于两个所述全连接层之间的relu函数；通过所述3
×
3卷积减少输入的高层特征的个数，使得高层特征的个数与输入的低层特征的个数相一致；使用所述全局平均池化将所述3
×
3卷积输出的高层特征进行压缩，获得所有高层特征的权重；两个所述全连接层和所述relu函数构成门控机制以实现注意力函数，利用所述注意力函数学习高层特征之间的非线性相互作用；将压缩后的高层特
征权重与低层特征进行相乘得到特征融合结果。
17.s103：使用训练集中的图像数据训练所述分割模型，然后采用训练好的分割模型对测试集中的图像数据进行测试，得到肝脏肿瘤图像的分割结果。
18.本发明在编码器和解码器之间加入全局注意力模块gam，用于融合高层次和低层次的特征，高层次的特征可以通过自己在分类上的优势来引导低层次细节信息的恢复，从而提供全局的上下文信息。
19.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。