一种基于自编码器和生成对抗网络的医学图像分割方法

1.本发明属于深度学习图像分割领域，更具体地，涉及一种基于自编码器和生成对抗网络的医学图像分割方法。


背景技术：

2.医学图像的器官/病灶分割在临床应用上是很重要的一步，通过图像分割技术可以提取医学图像中的器官或病灶所在的区域，以辅助医学专家做出相应的医疗诊断。
3.现有医学图像的器官/病灶分割方法通常采用unet、unet 等深度网络模型，图像分割结果的精度有待提高。


技术实现要素：

4.针对现有技术的以上缺陷或改进需求，本发明提供了一种基于自编码器和生成对抗网络的医学图像分割方法，由此解决现有的分割方法精度不高的技术问题。
5.为实现上述目的，按照本发明的第一方面，提供了一种基于自编码器和生成对抗网络的医学图像分割方法，包括：
6.训练阶段：
7.以医学图像为训练样本，以所述医学图像的病灶或器官分割图像为标签，对分割模型以及判别器进行训练；
8.其中，所述分割模型包括编码器、第一解码器、第二解码器，所述编码器包括依次交替连接的卷积层和高斯下采样层，所述解码器包括依次交替连接的上采样层和卷积层；
9.所述编码器中各阶段对应尺度的特征通过跳跃连接层输入到所述第一解码器中对应阶段及所述对应阶段的上一阶段的网络层；所述第一解码器中各阶段对应尺度的特征通过跳跃连接层输入到所述各阶段的后两个阶段的网络层；所述第二解码器中各阶段对应尺度的特征，通过跳跃连接层输入到所述第一解码器对应阶段的网络层；其中，在所述编码器中各阶段以下采样层划分，所述第一解码器和第二解码器中各阶段以上采样层划分；
10.所述训练阶段的损失函数包括所述第二解码器生成的所述医学图像的重构图像的重构误差函数、所述第一解码器生成的所述医学图像的病灶或器官分割图像的分割误差函数及所述判别器真假值预测的损失函数；其中，在所述训练阶段，所述判别器与所述分割模型共同组成生成对抗网络；
11.应用阶段：
12.将待分割的医学图像输入至训练好的分割模型，得到分割结果。
13.优选地，所述卷积层为加入注意力机制的深度可分离卷积层。
14.优选地，在训练阶段，采用反向传播算法对所述分割模型的参数进行更新。
15.优选地，所述判别器包括依次交替连接的卷积层和高斯下采样层，以及全局池化层和全连接层。
16.优选地，所述上采样层和下采样层的数量均为4。
17.优选地，以所述编码器的第5个阶段为中心，所述编码器与所述第一解码器、第二解码器为对称结构。
18.按照本发明的第二方面，提供了一种基于自编码器和生成对抗网络的医学图像分割系统，其特征在于，包括：计算机可读存储介质和处理器；
19.所述计算机可读存储介质用于存储可执行指令；
20.所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如第一方面所述的方法。
21.总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
22.1、本发明提供的基于自编码器和生成对抗网络的医学图像分割方法，通过设置包括编码器和第二解码器的自编码器重构输入图像，为分割模型提供额外的一份多尺度的特征图；通过采用跳跃连接层可以为分割图片的生成提供更丰富的多尺度特征；使用生成对抗网络可以为生成的分割图片引入额外的损失，使得网络可以生成更好的分割图片，使得生成的分割图片质量更高，从而进一步提高医学图像分割的精度。
23.2、本发明提供的基于自编码器和生成对抗网络的医学图像分割方法，使用深度可分离卷积和注意力机制构建的编码器，可以在使用更少的参数量和计算量的情况下提取更加丰富的特征。
附图说明
24.图1为本发明实施例提供的分割模型的网络架构图；
25.图2为本发明实施例提供的编码器的网络层信息；
26.图3为本发明实施例提供的解码器的网络层信息。
具体实施方式
27.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
28.近年来，基于深度学习的自动化分割模型已经有了不俗的表现，深度卷积神经网络发展出了很多种encoder-decoder结构的分割模型，例如fcns、unet、unet 、unet 3 等，特别是unet在医学图像处理方面有着广泛的应用。这些网络有着相似的关键结构——编码解码的架构和skip connections，前者结构保证了模型可以提取丰富的不同尺度的特征，并能重建和原图类似的分割结果；后者能够将编码器和解码器中不同层不同尺度的特征进行联合应用。
29.为了更有效的提取和使用不同尺度的特征,需要使用更强的主干网络。同时，可使用深度可分离卷积来减少网络的参数量和计算量；相较于标准卷积，深度可分离卷积在损失少量精度的同时可大幅降低网络的参数量和计算量，另外使用注意力机制来增强网络的性能。自编码器(autoencoder)和生成对抗网络(gan)均为图像生成方向的主流方法，医学图像分割中的分割图像也可看做一种生成的图像。和unet等网络类似，自编码器和生成对
抗网络也均存在着编码器和解码器(生成对抗网络中称为生成器)结构。自编码器和生成对抗网络均为无监督学习方法，即不需要引入额外的标注数据，但可以为生成分割图片提供额外有效信息。使用自编码器重构输入图像，则额外的编码器可以提供一份多尺度的特征图。使用生成对抗网络的策略，可以为生成的分割图片引入额外的损失，使得网络可以生成更好的分割图片。基于此，本发明实施例提供一种基于自编码器和生成对抗网络的医学图像分割方法，包括：
30.训练阶段：
31.以医学图像为训练样本，以所述医学图像的病灶或器官分割图像为标签，对分割模型以及判别器进行训练；
32.其中，所述分割模型包括编码器、第一解码器、第二解码器，所述编码器包括依次交替连接的卷积层和高斯下采样层，所述解码器包括依次交替连接的上采样层和卷积层；
33.所述编码器中各阶段对应尺度的特征通过跳跃连接层输入到所述第一解码器中对应阶段及所述对应阶段的上一阶段的网络层；所述第一解码器中各阶段对应尺度的特征通过跳跃连接层输入到所述各阶段的后两个阶段的网络层；所述第二解码器中各阶段对应尺度的特征，通过跳跃连接层输入到所述第一解码器对应阶段的网络层；其中，在所述编码器中各阶段以下采样层划分，所述第一解码器和第二解码器中各阶段以上采样层划分；
34.所述训练阶段的损失函数包括所述第二解码器生成的所述医学图像的重构图像的重构误差函数、所述第一解码器生成的所述医学图像的病灶或器官分割图像的分割误差函数及所述判别器真假值预测的损失函数；其中，在所述训练阶段，所述判别器与所述分割模型(即作为生成器)共同组成生成对抗网络；
35.应用阶段：
36.将待分割的医学图像输入至训练好的分割模型，得到分割结果。
37.优选地，所述卷积层为加入注意力机制的深度可分离卷积层。
38.优选地，在训练阶段，采用反向传播算法对所述分割模型的参数进行更新。
39.优选地，所述上采样层和下采样层的数量均为4，即编码器进行4次上采样，第一解码器和第二解码器均进行4次下采样。
40.优选地，以所述编码器的第5个阶段为中心，所述编码器与所述第一解码器、第二解码器为对称结构。
41.具体地，本发明提供的分割网络架构(即分割模型)包括一个主网络和一个判别器网络:主网络由深度可分离卷积构建的一个编码器和两个解码器组成；判别器则使用和主网络编码器相同的网络结构，另外增加了一层全局池化层和全连接层。
42.进一步地，本发明提供的网络架构包含两个子网络，如图1所示，左侧网络(主网络，即分割模型)由一个编码器和两个解码器组成，右侧网络为一个编码器(或称判别器)。主网络的编码器用来提取多尺度特征，上侧解码器(即第一解码器)则用来生成分割图片；下侧解码器(即第二解码器)和编码器共同构成一个自编码器，用来重构输入图片，其中下侧解码器可以为分割图片的生成提供额外的多尺度特征。主网络生成分割图片以及重构图片，因此主网络可以作为一个生成器(可以生成图片的网络)和判别器构成一个生成对抗网络(gan)，判别器用来判断所述分割图片是生成的假图片还是来自数据集的真实图片，这为主网络(即分割模型)引入了额外的无监督误差，以辅助主网络的训练过程。也即，判别器仅
在训练时使用，训练结束后，在实际的应用中不再使用判别器。该网络架构的设计方法，具体包括以下步骤：
43.(1)使用深度可分离卷积和注意力机制构建主网络
44.使用深度可分离卷积和注意力机制构建主网络构建主网络的编码器，以下采样操作为分割点，共有5个阶段。使用卷积构建解码器，同样以上采样操作为分割，共有4个阶段(下采样的第5个阶段和上采样的第1个阶段是同一个)。以编码器第5个阶段为中心，解码器和编码器为对称结构。
45.(2)使用自编码器提供额外多尺度特征
46.自编码器是一种生成网络架构，常以重构误差作为损失进行无监督训练，可生成逼真的图片。本架构中，使用第二个解码器和主网络的编码器构成自编码器结构，以输入的待分割图片的重构误差作为损失。第二个解码器同样具有4个阶段，和第一个解码器一一对应；第二个解码器在重构输入图片的同时会生成多尺度的特征图，这些特征可以输入到第一个解码器中以提供更加丰富的特征。
47.(3)使用更好的skip connections
48.在unet以及后续的改进网络中，skip connections用来为生成分割图片提供多尺度的特征。本架构中，我们使用了设计更加精巧的连接来为生成分割图片的解码器提供特征：
49.1)使用skip connections将主网络的5个阶段生成的特征图输入到第一个解码器中。如图1所示，编码器每个阶段的特征仅输入到解码器对应的阶段和对应阶段的上一阶段；
50.2)第一解码器本身每个阶段的输入特征使用skip connections输入到后两个阶段的输出层中；
51.3)自编码器的解码器(即第二解码器)每个阶段的特征使用skip connections输入到第一个解码器的对应阶段中。
52.4)使用生成对抗网络引入无监督误差
53.生成对抗网络是生成图片最逼真的网络架构。为了提高主网络生成的分割图片的质量，如图1所示，将主网络作为生成器和右侧判别器作为生成对抗网络架构，为生成的分割图片引入额外的损失。
54.下面以一个具体的例子对本发明提供的方法进行进一步说明：
55.s1:使用交替连接的深度可分离卷积层和高斯下采样层构建主网络的编码器，注意编码器中的深度可分离卷积中加入了squeeze-and-excitation注意力机制，其顺序和网络层数如图2所示；使用交替连接的卷积层和上采样层构建两个解码器，其顺序和网络层数如图3所示；判别器使用和主网络编码器相同的网络结构，并增加一层全局池化层和全连接层。
56.可以理解的是，两个解码器的网络结构是相同的，但是每一层的通道数不同，优选的，上解码器的通道数是下编码器的两倍。
57.s2：将待分割图像输入所述主网络中，得到分割图片，包括：
58.s21：在编码器中以下采样层划分阶段，在第一解码器和第二解码器中以上采样层划分阶段；利用所述主网络的编码器提取到5个阶段对应尺度的特征；
59.s22：将5个阶段特征以及第二个解码器的中间特征输入到第一个解码器对应尺度的网络层，即按照图1所示的skip connections将5个阶段特征以及第二个解码器的中间特征输入到第一个解码器对应的阶段的网络层中；
60.s23：主网络的第一个解码器输出为分割图片，第二解码器输出为重构图片；
61.s3：将输入图片和生成的分割图片一起输入到判别器中，判别器应当判别为假；将输入图片和对应的真实分割图片(即训练标签)一起输入到判别器中，判别器应当判别为真；
62.s4：网络的损失由分割图片的误差、重构图片的误差和判别器损失共同组成，并使用反向传播算法进行参数更新；
63.s5：对数据集中所有图片重复以上步骤，训练模型完毕(训练目标为第一解码器生成与标签相似度最高的分割图像，第二解码器生成的重构图像与训练集中的医学图像的重构误差最小)；
64.s6：使用训练完成的主网络进行医学图像的分割，分割结果包括目标病灶/器官的分割区域。
65.本发明实施例提供一种基于自编码器和生成对抗网络的医学图像分割系统，包括：计算机可读存储介质和处理器；
66.所述计算机可读存储介质用于存储可执行指令；
67.所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如上述任一实施例所述的方法。
68.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。