面向分割任务的融合SwinTransformer与UNet的迁移学习方法和系统与流程

技术特征：
1.一种面向分割任务的融合swin transformer与unet的迁移学习方法，其特征在于，包括如下步骤：步骤1、将待分割图像数据输入到特征提取网络f，所述特征提取网络f是采用swin transformer的多尺度多窗口的注意力机制作为骨干网络，提取不同尺度的特征矢量，输入的待分割图像包含nc个通道；步骤2、将所述特征提取网络f获取的不同尺度的特征矢量复原为不同尺度的特征图；步骤3、将不同尺度的特征图输入到分割网络s中，获得源域与目标域两个域的所需分割对象的分割结果，所述分割网络s是加入空间注意力机制的unet解码网络；步骤4、将不同尺度的特征图输入到域判别网络d中，判断特征图来自于源域还是目标域，并给出相应的标签，所述域判别网络d包括结合unet跳跃链接方式的改进unet编码网络，以及两级全连接层与输出层；步骤5、将源域训练样本经过所述特征提取网络f、所述分割网络s得到的源域所需分割对象结果计算源域分割损失部分，将目标域训练样本经过所述特征提取网络f、所述分割网络s得到的目标域所需分割对象结果计算目标域分割损失部分，将源域和目标域训练样本经过所述特征提取网络f、所述域判别网络d获得域标签结果计算域判别损失部分，将源域分割损失部分、目标域分割损失部分、域判别损失部分加权叠加为整体损失；步骤6、通过最小化整体损失，迭代优化所述特征提取网络f、所述分割网络s、所述域判别网络d中的参数，直到整体损失达到要求为止，完成迁移学习过程。2.根据权利要求1所述的一种面向分割任务的融合swin transformer与unet的迁移学习方法，其特征在于，所述特征提取网络f是采用swin transformer的多尺度多窗口的注意力机制作为骨干网络，所述特征提取网络f采用子块融合方式是将需要融合子块的特征矢量的最大池化结果与平均池化结果链接而成。3.根据权利要求1所述的一种面向分割任务的融合swin transformer与unet的迁移学习方法，其特征在于，所述步骤1进一步包括：步骤1.1、所述特征提取网络f首先利用划分子块模块，将输入的每一张尺寸为h
×
w的输入图像划分成np
×
np大小的子块，np为子块的宽度，每个子块数据各自展开成一维矢量，一维矢量尺寸为16n＝np
×
np
×
nc；nc表示输入图像的通道数，共计生成个矢量，ns为不同尺度的数目，h、w为图像的像素高度和像素宽度；步骤1.2、经过线性嵌入模块利用共享的线性变换矩阵w
c
×
16n
与子块划分的矢量相乘，将所有矢量变换成长度为c的一组新的矢量，所述特征提取网络f利用swin transformer模块在ns个不同尺度上进行特征提取，每一个尺度上采用2个连续的swin transformer模块计算，swin transformer输入是一组矢量，输出也是一组矢量；首先在层内做矢量归一化处理，在每一个矢量利用该矢量所在位置所处标准窗口内进行多头自注意力模块处理，处理结果与输入结果相加；接着进入第二个swin transformer模块，第二个swin transformer模块是循环移动窗口内的多头自注意力模块，其他部分与第一个swin transformer模块相同。4.根据权利要求3所述的一种面向分割任务的融合swin transformer与unet的迁移学习方法，其特征在于，所述步骤1.2进一步包括：
一个尺度的swin transformer生成的一组矢量经过子块融合将临近的2
×
2空间范围内的4个矢量合并成一个新的矢量，合并过程计算这四个矢量的最大池化和平均池化结果，并将这两个池化结果连接在一起生成长度为原来输入矢量2倍的新矢量，同时输出矢量的个数减少为输入矢量个数的四分之一。5.根据权利要求1所述的一种面向分割任务的融合swin transformer与unet的迁移学习方法，其特征在于，所述分割网络s采用了结合空间注意力机制的unet解码网络，其中空间注意力机制是利用输入特征图x的各个通道之间的最大池化、最小池化以及1*1卷积结果叠加后，再经过1*1卷积、批归一化、sigmoid激活后获得空间权重，将此权重作用于输入的特征图的各通道，使得获取的特征结果更加突出与需要分割对象相关的空间位置上的信息，抑制与需要分割对象不相关的空间位置上的信息。6.根据权利要求1所述的一种面向分割任务的融合swin transformer与unet的迁移学习方法，其特征在于，所述域判别网络d将不同尺度的特征图作为输入，其结构包括基于unet跳跃链接的改进unet编码网络，两级全连接层和输出层。7.根据权利要求1所述的一种面向分割任务的融合swin transformer与unet的迁移学习方法，其特征在于，所述步骤1中，输入的图像数据划分为四种类型，分别是：源域有标注数据其中下标l表示有标记，下标s表示源域，上标i表示第i个样本，取从1到n
sl
之间的整数，表示源域有标记的第i个待分割图像，表示源域有标记第i个待分割图像对应的需要分割对象的分割标记，能够用来表示一个分割对象的分割标记，或表示多个分割对象的分割标记；源域未标注数据其中下标u表示无标记，表示第i个源域无标记的待分割图像；目标域有标注数据下标t表示目标域，表示目标域有标记的第i个待分割图像，表示目标域有标记第i个待分割图像对应的需要分割对象的分割标记，能够用原来表示一个分割对象的分割标记，或表示多个分割对象的分割标记；目标域未标注数据其中表示第i个目标域无标记的待分割图像；每一批次输入的图像数据中均需要包含等数量的源域已标注数据和目标域已标注数据，如果目标域数据量小于源域，需要通过扩增处理将目标域数据样本扩增到与源域目标数据样本数量相同；每一批次中输入的源域、目标域的未标注数据的数目不做要求。8.根据权利要求7所述的一种面向分割任务的融合swin transformer与unet的迁移学习方法，其特征在于，所述步骤1中，如果有源域和目标域的未标注数据，每一批次用于选用相同数量的源域和目标域未标注数据专门用于训练域判别网络d；当一个域有未标注数据，另一个域没有时，没有未标注数据使用标注数据替代未标注数据使用；为了使得每次加载的当作未标注数据使用源域和目标域样本数量相同，也需要对其一个域的数据做扩增处理。9.根据权利要求1所述的一种面向分割任务的融合swin transformer与unet的迁移学习方法，其特征在于，所述步骤3具体包括如下步骤：步骤3.1、分割网络采用unet网络中的解码器结构；对于特征提取网络输出的一组矢量，需要经过子块复原操作，将其恢复成不同尺度的图像，按照矢量对应的空间位置，将m
×
n个矢量重新排布，得到m
×
n
×
c的图像序列，字母c表示输入矢量的长度，也表示恢复成图
后的通道数量；步骤3.2、恢复的图像序列与低级尺度特征线性上采样的序列连接后，经过卷积，空间注意力模块以及卷积操作，获得当前尺度的特征结果，经过上采样后送入高级尺度进行处理；步骤3.3、最后一个尺度特征进行了4*4的线性上采样，恢复到了输入图像尺寸，经过两次卷积操作后，最后经由sigmoid层生成最终分割结果，分割包含源域的分割结果和目标域分割结果。10.根据权利要求9所述的一种面向分割任务的融合swin transformer与unet的迁移学习方法，其特征在于，所述步骤3.2进一步包括：所述分割网络中所引入的空间注意力模块在空间上判断哪些区域与待分割目标有关，有关的区域的特征会被大的空间注意力权重强化，而与待分割区域无关的位置上的特征会被小的空间注意力权重弱化；空间注意力模块将输入的k个通道的特征进行了最大和最小池化处理，同时将经过1*1卷积处理获得用于估计空间权重的另外2通道特征连接后，再经由一组1*1卷积处理获得了单通道的空间权重，该空间权重结果与输入的每一个通道的特征进行逐点相乘获得了空间注意力已加权后的特征结果。11.根据权利要求1所述的一种面向分割任务的融合swin transformer与unet的迁移学习方法，其特征在于，所述步骤4具体包括如下步骤：步骤4.1、域判别网络d将子块恢复后得到的不同尺度的特征作为输入，首先经过梯度反转层，梯度反转层正向传播的时候，数据乘以1保持不变；反向传播中，需要乘以-λ，λ是一个正实数，作为超参数用于控制域辨别器梯度对特征提取网络参数优化的影响；步骤4.2、高级别尺度的输入特征经过两次卷积操作后，由最大池化层处理为低级别尺度的特征后，再与低级别的输入特征进行连接，连接后进入下一级别的卷积操作，经过四个不同尺度的处理后的特征，经过展开和动态平均池化操作形成长度为l1的矢量，经过两级全连接层和输出层后得出域标签结果。12.一种基于迁移学习的图像分割方法，其特征在于，包括如下步骤：步骤1、利用前述权利要求1-11中任一项的迁移学习方法训练好的特征提取网络f与分割网络s组合成能够分割出目标域所需分割对象的目标域分割网络；步骤2、将目标域待分割图像输入所述特征提取网络f；步骤3、将所述特征提取网络f获取的多尺度特征矢量复原为多尺度特征图；步骤4、将多尺度特征图输入所述分割网络s，得到分割结果，剔除源域所需分割对象的分割结果，即可获得目标域分割对象的分割结果。13.一种面向分割任务的融合swin transformer与unet的迁移学习系统，其特征在于，包括：输入模块，用于将待分割图像数据输入到特征提取网络f，所述特征提取网络f是采用swin transformer的多尺度多窗口的注意力机制作为骨干网络，提取不同尺度的特征矢量，输入的待分割图像包含nc个通道；复原模块，用于将所述特征提取网络f获取的不同尺度的特征矢量复原为不同尺度的特征图；对象分割模块，用于将不同尺度的特征图输入到分割网络s中，获得源域与目标域两个
域的所需分割对象的分割结果，所述分割网络s是加入空间注意力机制的unet解码网络；域判断模块，用于将不同尺度的特征图输入到域判别网络d中，判断特征图来自于源域还是目标域，并给出相应的标签，所述域判别网络d包括结合unet跳跃链接方式的改进unet编码网络，以及两级全连接层与输出层；整体损失计算模块，用于将源域训练样本经过所述特征提取网络f、所述分割网络s得到的源域所需分割对象结果计算源域分割损失部分，将目标域训练样本经过所述特征提取网络f、所述分割网络s得到的目标域所需分割对象结果计算目标域分割损失部分，将源域和目标域训练样本经过所述特征提取网络f、所述域判别网络d获得域标签结果计算域判别损失部分，将源域分割损失部分、目标域分割损失部分、域判别损失部分加权叠加为整体损失；优化模块、用于通过最小化整体损失，迭代优化所述特征提取网络f、所述分割网络s、所述域判别网络d中的参数，直到整体损失达到要求为止，完成迁移学习过程。14.一种基于迁移学习的图像分割系统，其特征在于，包括：目标域分割网络组合构建模块，用于利用前述权利要求1-11中任一项的迁移学习方法训练好的特征提取网络f与分割网络s组合成可分割出目标域所需分割对象的目标域分割网络；输入模块，用于将目标域待分割图像输入所述特征提取网络f；所述特征提取网络f是采用swin transformer的多尺度多窗口的注意力机制作为骨干网络，提取不同尺度的特征矢量，输入的待分割图像包含nc个通道；复原模块，用于将所述特征提取网络f获取的多尺度特征矢量复原为多尺度特征图；对象分割模块，用于将多尺度特征图输入所述分割网络s，获得源域与目标域两个域的所需分割对象的分割结果，所述分割网络s是加入空间注意力机制的unet解码网络得到分割结果；剔除模块，用于剔除源域所需分割对象的分割结果，即可获得目标域分割对象的分割结果。

技术总结
本发明涉及一种面向分割任务的融合Swin Transformer与UNet的迁移学习方法和系统，包括：步骤1、将包含Nc个通道待分割图像输入到特征提取网络F；步骤2、将所述特征提取网络F提取的不同尺度的矢量化特征复原为不同尺度特征图；步骤3、将不同尺度的特征图输入到分割网络S中，获得源域与目标域两个域所需分割对象的分割结果；步骤4、将不同尺度的特征图输入到域判别网络D中，判断特征是来自于源域还是目标域，并给出相应的标签；步骤5、计算源域训练样本分割损失部分、目标域训练样本分割损失部分、域判别网络的判别损失部分，并将上述三个部分加权叠加获得整体损失；步骤6、通过最小化整体损失，迭代优化直至整体损失达到要求为止，完成迁移学习过程。完成迁移学习过程。完成迁移学习过程。


技术研发人员：王少彬 白璐 陈颀 陈宇
受保护的技术使用者：苏州医智影科技有限公司
技术研发日：2022.01.21
技术公布日：2022/5/17