面向分割任务的融合SwinTransformer与UNet的迁移学习方法和系统与流程

transformer的多尺度多窗口的注意力机制作为骨干网络，提取不同尺度的特征矢量，输入的待分割图像可包含nc个通道；
11.步骤2、将特征提取网络获取的不同尺度的特征矢量复原为不同尺度的特征图；
12.步骤3、将不同尺度的特征图输入到分割网络中，获得源域与目标域两个域的所需分割对象的分割结果，所述分割网络s是加入空间注意力机制的unet解码网络；
13.步骤4、将不同尺度的特征图输入到域判别网络中，判断特征图是来自于源域还是目标域，并给出相应的标签，所述域判别网络d包括结合unet跳跃链接方式的改进unet编码网络，以及两级全连接层与输出层；
14.步骤5、将源域训练样本经过所述特征提取网络f、所述分割网络s得到的源域所需分割对象结果计算源域分割损失部分，将目标域训练样本经过所述特征提取网络f、所述分割网络s得到的目标域所需分割对象结果计算目标域分割损失部分，将源域和目标域训练样本经过所述特征网络f、所述域判别网络d获得域标签结果计算域判别损失部分，将源域分割损失部分、目标域分割损失部分、域判别损失部分加权叠加为整体损失；
15.步骤6、通过最小化整体损失，迭代优化所述特征提取网络f、所述分割网络s、所述域判别网络d中的参数，直到整体损失达到要求为止，完成迁移学习过程。
16.根据本发明的另一方面，还提出一种基于迁移学习的图像分割方法，包括如下步骤：
17.步骤1、利用前述的迁移学习方法训练好的特征提取网络f与所述分割网络s组合成可分割出目标域所需分割对象的目标域分割网络；
18.步骤2、将目标域待分割图像输入所述特征提取网络f；
19.步骤3、将所述特征提取网络f获取的多尺度特征矢量复原为多尺度特征图；
20.步骤4、将多尺度特征图输入所述分割网络s，得到分割结果，剔除源域所需分割对象的分割结果，即可获得目标域分割对象的分割结果。
21.根据本发明的另一方面，还提出一种面向分割任务的融合swin transformer与unet的迁移学习系统，包括：
22.输入模块，用于将待分割图像数据输入到特征提取网络，所述特征提取网络f是采用swin transformer的多尺度多窗口的注意力机制作为骨干网络，提取不同尺度的特征矢量，输入的待分割图像包含nc个通道；
23.复原模块，用于将特征提取网络获取的不同尺度的特征矢量复原为不同尺度的特征图；
24.对象分割模块，用于将不同尺度的特征图输入到分割网络s中，获得源域与目标域两个域的所需分割对象的分割结果，所述分割网络s是加入空间注意力机制的unet解码网络；
25.域判断模块，用于将不同尺度的特征图输入到域判别网络中，判断特征图是来自于源域还是目标域，并给出相应的标签，所述域判别网络d包括结合unet跳跃链接方式的改进unet编码网络，以及两级全连接层与输出层；
26.整体损失计算模块，用于将源域训练样本经过所述特征提取网络f、所述分割网络s得到的源域所需分割对象结果计算源域分割损失部分，将目标域训练样本经过所述特征提取网络f、所述分割网络s得到的目标域所需分割对象结果计算目标域分割损失部分，将
源域和目标域训练样本经过所述特征网络f、所述域判别网络d获得域标签结果计算域判别损失部分，将源域分割损失部分、目标域分割损失部分、域判别损失部分加权叠加为整体损失；
27.优化模块，用于通过最小化整体损失，迭代优化所述特征提取网络f、所述分割网络s、所述域判别网络d中的参数，直到整体损失达到要求为止，完成迁移学习过程。
28.根据本发明的另一方面，还提出一种基于迁移学习的图像分割系统，包括：
29.目标域分割网络组合构建模块，用于利用前述的迁移学习方法训练好的特征提取网络f与所述分割网络s组合成可分割出目标域所需分割对象的目标域分割网络；
30.输入模块，用于将目标域待分割图像输入所述特征提取网络f；所述特征提取网络f是采用swin transformer的多尺度多窗口的注意力机制作为骨干网络，提取不同尺度的特征矢量，输入的待分割图像包含nc个通道；
31.复原模块，用于将所述特征提取网络f获取的多尺度特征矢量复原为多尺度特征图；
32.对象分割模块，用于将多尺度特征图输入所述分割网络s，获得源域与目标域两个域的所需分割对象的分割结果，所述分割网络s是加入空间注意力机制的unet解码网络得到分割结果；
33.剔除模块，用于剔除源域所需分割对象的分割结果，即可获得目标域分割对象的分割结果。
34.有益效果
35.1、本发明所提及的迁移学习方法，可处理源域和目标域图像采集对象存在明显差异，且源域和目标域需要分割的目标不同的情况，例如源域是由大量成人肠系膜标注ct数据构成，而目标域仅包含十几例儿童ct图像肝脏标注数据。本发明可以将源域数据知识迁移到任务差异更大的目标域中，改善和提高目标域的分割效果。
36.2、本发明为了保证不同尺度上源域与目标域都能提取的公共特征空间(域不变特征)，因此本发明的方法将不同尺度特征都作为了域判别网络输入，借鉴了unet不同尺度特征处理方式设计了域判别网络结构。
37.3、本发明采用了梯度反转层和域鉴别网络部分对特征差异描述，利用最小化域鉴别器的分类损失实现公共特征空间的获取。
38.4、源域和目标域完全公用网络提取域不变特征，直到最后输出层才基于共有特征生成源域与目标域的各自的分割结果，因而源域和目标域分割的器官可不同。
39.5、分割网络采用swin transformer作为编码器，获取感受野更大的特征；添加空间注意力机制的解码部分，除了利用多尺度信息，可以抑制非感兴趣区域出现分割结果情况。
40.6、域判别网络将多尺度的特征作为输入，并采用了类似unet编码器网络设计，增加了域判别网络的网络复杂度，使其更加灵敏。
41.7、本发明通过目标域数据扩增，使得每一轮次用于训练的源域和目标域样本相同，抑制样本不均衡造成的目标域分割效果改善有限的问题。
附图说明
42.图1a：本发明的一种面向分割任务的融合swin transformer与unet的迁移学习方法流程图；
43.图1b：本发明的一种基于迁移学习的图像分割方法流程图；
44.图2：本发明的系统的网络结构示意图；
45.图3：每个矢量标号与子块的对应关系图；
46.图4：swin transformer模块的组成；
47.图5：池化与位置关系示意图；
48.图6：子块融合操作示意图；
49.图7：子块恢复操作；
50.图8：第一尺度复原特征过程示意图；
51.图9：空间注意力模块示意图；
52.图10a：本发明的一种面向分割任务的融合swin transformer与unet的迁移学习系统框图；
53.图10b：一种基于迁移学习的图像分割系统示意图；
54.图11：目标域儿童肝脏迁移学习模型dice略低病例示意图；(a)liver，(b)unet-liver，(c)dann-liver；
55.图12：目标域儿童肝脏测试数据分割结果对照图。
具体实施方式
56.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
57.根据本发明的一个实施例，如图1a所示，针对源域具备大量已经标注的某一部位某种器官的数据(未标注数据可有可无)，目标域需要具备少量的另一种器官的已标注数据(未标注数据可有可无)的情况，本发明提出一种面向分割任务的融合swin transformer与unet的迁移学习方法，包括如下步骤：
58.步骤1、将待分割图像数据输入到特征提取网络，所述特征提取网络f是采用swin transformer的多尺度多窗口的注意力机制作为骨干网络，提取不同尺度的特征矢量，输入的待分割图像可包含nc个通道；
59.步骤2、将特征提取网络获取的不同尺度的特征矢量复原为不同尺度的特征图；
60.步骤3、将不同尺度的特征图输入到分割网络中，获得源域与目标域两个域的所需分割对象的分割结果，所述分割网络s是加入空间注意力机制的unet解码网络；
61.步骤4、将不同尺度的特征图输入到域判别网络中，判断特征图是来自于源域还是目标域，并给出相应的标签，所述域判别网络d的结构包括结合unet跳跃链接方式的改进unet编码网络，以及两级全连接层与输出层；
62.步骤5、将源域训练样本经过所述特征提取网络f、所述分割网络s得到的源域所需分割对象结果计算源域分割损失部分，将目标域训练样本经过所述特征提取网络f、所述分
割网络s得到的目标域所需分割对象结果计算目标域分割损失部分，将源域和目标域训练样本经过所述特征提取网络f、所述域判别网络d获得域标签结果计算域判别损失部分，将源域分割损失部分、目标域分割损失部分、域判别损失部分加权叠加为整体损失；
63.步骤6、通过最小化整体损失，迭代优化所述特征提取网络f、所述分割网络s、所述域判别网络d中的参数，直到整体损失达到要求为止，完成迁移学习过程；
64.步骤7、网络训练完毕后，所述特征提取网络f与所述分割网络s组合成可分割出目标域所需分割对象的目标域分割网络，将目标域待分割图像按照步骤一输入所述特征提取网络f，按照步骤二将所述特征提取网络f获取的多尺度特征矢量复原为多尺度特征图、按照该步骤三将多尺度特征图输入所述分割网络s，得到分割结果，剔除源域所需分割对象的分割结果，即可获得目标域分割对象的分割结果。
65.根据本发明的一个实施例，所述步骤1中特征提取网络f选用swin transformer的多尺度多窗口的注意力机制作为骨干网络，并在子块融合方面改用最大最小池化的方式实现；
66.所述分割网络s采用unet的解码器的结构，考虑到多数的人体解剖结构是相似的，因而引入了空间注意力模块用于加强分割部位可能出现的部分的特征，抑制待分割部分不可能出现的部分的特征，最终获得了源域与目标域两个器官的分割结果；
67.域判别网络部分采用梯度反转层，以及unet和swin transformer中的多尺度方法，将特征提取网络获取的不同尺度的特征信息作为输入，判断特征是来自于源域还是目标域，并给出相应的标签。
68.由于医学图像分割临近的器官解剖结构对待分割的器官也有重要的参考意义，因而本发明的实施例中，输入的图像可以是不是一张图像，而是待分割图像临近的n张图像。如图2所示，特征提取网络f首先利用划分子块模块，将输入的每一张图像划分成4
×
4大小的子块，每个子块数据各自展开成一维矢量，共计生成个矢量。然后，经过线性嵌入模块利用共享的线性变换矩阵wc×
16n
与子块划分的矢量相乘，将所有矢量变换成长度为c的一组新的矢量。特征提取网络在4个不同尺度上进行特征提取，每一个尺度上采用2个连续的swin transformer模块进行计算，h和w分别为图像的像素高度和宽度。图2中，
69.根据本发明的一个实施例，可选的，关于每一个尺度上swin transformer模块应用的次数不仅仅限制为2次，可以根据需要进行调整。
70.swin transformer输入是一组矢量z1(z1是由m1×
n1个长度均相同的矢量构成，具体表示为)，输出也是一组矢量z
l 1
(z
l 1
是由m1×
n1个矢量构成，每个矢量的长度与输入z1中矢量长度一致，的具体表示为)。每个矢量标号与子块的对应关系如图3所示。
71.如图4所示，swin transformer模块的示意图，swin transformer首先在层内做矢量归一化处理，再每一个矢量利用该矢量所在位置所处标准窗口内(将全图划分维若干)进行多头自注意力模块处理，处理结果与输入结果相加；接着进入第二个transformer模块，这个模块是循环移动窗口内的多头自注意力模块，其他组成部分与第一个transformer模
块相同。
72.本发明的一个实施例中，一个尺度的swin transformer生成的一组矢量经过子块融合可以将临近的2
×
2空间范围内的4个矢量合并成一个新的矢量，如图5所示的矩形框就将需要进行子块融合的临近的4个矢量圈了起来，不失一般性的设将每个框内对应左上子图的矢量表示为右上表示为左下表示为右下表示为如图6所示，合并过程计算需要融合的矢量的最大池化(保存四个矢量中相同位置的最大值)和平均池化结果(保存四个矢量中相同位置的平均值)，并将这两个池化结果连接在一起生成长度为原来输入矢量2倍的新矢量，同时输出矢量的个数减少为输入矢量个数的四分之一。此处的子块合并操作与经典的swin transformer网络处理采用的降维采样不同。引入两种池化的目的是为了更加全面的描述用于合并的4个特征矢量的差异。代替了原有将需要融合的子块的特征矢量全部链接的子块融合方式，从而实现减小子块融合后特征矢量的长度，减少swin transformer参数数量的目的。
73.根据本发明的一个实施例，所述的分割网络s借鉴了unet网络中的解码器的结构，由于特征提取网络输出的是一组矢量，需要经过如图7所示的子块复原操作，将其恢复成不同尺度的图像。按照矢量对应的空间位置，将m
×
n个矢量重新排布，得到了m
×n×
c的图像序列。m表示当前尺度下，图像高度方向上划分子块的个数，n表示当前尺度下图像宽度方向划分子块的个数，以第一尺度为例说明，如图8所示：此时c是当前特征矢量的长度，也是复原的特征图的通道数目。因为子块复原操作不会改变原有特征矢量总的参数个数，个c
×
1矢量，参数总数目复原成c张尺寸为的特征图。字母c表示输入矢量的长度，也表示恢复成图后的通道数量。恢复的图像序列与低级尺度特征线性上采样的序列连接后，经过卷积，空间注意力模块以及卷积操作，获得当前尺度的特征结果，经过上采样后送入高级尺度进行处理。最后一个尺度特征进行了4*4的线性上采样，恢复到了输入图像尺寸，经过两次卷积操作后，最后经由sigmoid层生成最终分割结果，分割包含源域的分割结果和目标域分割结果。
74.关于分割网络中所引入的空间注意力模块，是空间上判断哪些区域与待分割目标有关，有关的区域的特征会被大的空间注意力权重强化，而与待分割区域无关的位置上的特征会小的空间注意力权重弱化。
75.如图9所示，空间注意力模块将输入的k个通道的特征进行了最大和最小池化处理，同时将经过1*1卷积处理获得用于估计空间权重的另外2通道特征连接后，再经由一组1*1卷积处理获得了单通道的空间权重，该权重结果与输入的每一个通道的特征进行逐点相乘获得了空间注意力已加权后的特征结果。
76.根据本发明的一个实施例，域判别网络d也同样借鉴了多尺度特征处理思想，将子块恢复后得到的不同尺度的特征作为输入，首先经过梯度反转层。梯度反转层正向传播的时候，数据乘以1保持不变；反向传播中，需要乘以-λ(λ为超参数用于控制域辨别器梯度对特征提取网络参数优化的影响)。由于特征提取网络是要混淆域辨别网络，使其无法正确分辨特征是属于源域还是目标域，其参数优化目标是增大域辨别网络的损失函数，与域辨别网络目标相反。因而，该处理称为梯度反转层，即在反向传播过程中需要将梯度反向处理。
高级别尺度的输入特征经过两次卷积操作后，由最大池化层处理为低级别尺度的特征后，再与低级别的输入特征进行连接，连接后进入下一级别的卷积操作。经过四个不同尺度的处理后的特征，经过展开和动态平均池化操作形成长度为l1的矢量，经过两级全连接网络后输出域标签结果。
77.输入的图像数据划分为四种类型，分别是源域有标注数据(其中下标l表示有标记；下标s表示源域；上标i表示第i各样本，取从1到n
sl
之间的整数；表示源域有标记的第i个待分割图像，表示源域有标记第i个待分割图像对应的需要分割对象的分割标记，可以表示一个分割对象的分割标记，也可表示多个分割对象的分割标记)，源域未标注数据(其中下标u表示无标记；表示第i个源域无标记的待分割图像)，目标域有标注数据(下标t表示目标域；表示目标域有标记的第i个待分割图像，表示目标域有标记第i个待分割图像对应的需要分割对象的分割标记，可以是一个分割对象的分割标记，也可表示多个分割对象的分割标记)和目标域未标记数据(表示第i个目标域无标记的待分割图像)；
78.为了确保网络能从源域和目标域数据中提取公共特征空间，因此每一批次数据中均需要包含等数量的源域标注已数据和目标域已标注数据，由于目标域数据量非常小，因此需要扩增处理将目标域数据样本扩增到与源域目标数据样本数量相同。如果有源域和目标域的未标注数据，每一批次用于选用相同数量的源域和目标域未标注数据专门用于训练域判别网络；当一个域有未标注数据，另一个域没有，没有未标注数据可使用标注数据替代未标注数据使用；为了使得每次加载的当作未标注数据使用源域和目标域样本数量相同，也需要对做一些扩增处理。
79.一个批次所有训练样本可表示为有标记样本和无标记样本其中ds表示源域特征的域标记，可设置为0，d
t
表示目标域特征的域标记，可设置为1，空集φ表示无对应的分割标记，由于迁移学习分割网络会同时输出源域分割结果和目标域分割结果，因此样本需要包含两组分割标签用于训练。由于源域有标记样本计算分割网络的源域损失，目标域样本计算分割网络中目标域损失；所有的样本均具备域标签，因此均可用于计算域辨别网络的损失。
80.本发明的迁移学习网络模型的优化目标是最小化总损失，包含源域分割损失，目标域分割损失，以及域判别网络分类损失：
[0081][0082]
l
total
表示总损失，l
seg
(x
sl
，y
sl
)表示源域分割损失，l
seg
(x
tl
，y
tl
)目标域分割损失，l
domain
表示域判别网络分类损失；其中超参数λ用于控制域判别网络损失与分割损失之间的比重的正实数，该数值设置可参考两部分分割损失与域判别网络分类损失的量级来设置，目前实验中使用λ＝0.2。其中，分割损失可采用binary cross entropy(bce)损失，dice损失，focal loss等等，或者多种损失函数的加权组合。域判别网络的分类损失可采用bce计算。
[0083][0084]
源域的分割损失函数中上标0表示取源域分割通道结果，根据源域样本分割结果与源域标记计算bce损失l
bce
，dice结果以及focal loss损失l
focal
。w
bce
，w
dice
，w
focal
分别表示各种损失分配的权重，是超参数根据实际训练进行选择。其中符号以函数形式表示分割网络，θs表示分割网络所需要优化的参数；符号以函数形式表示特征提取网络，表示特征提取网络所需要优化的参数；表示样本x
sl
经过特征提取网络获得特征图；特征图经过分割网络得到源域和目标域所有待分割对象的分割结果，从中取出源域待分割对象通道的结果。
[0085]
l
bce
的定义为：
[0086][0087]
表示p(x)输入样本x经过网络p估计的标签结果；字母y表示真实标签，由于是二值结果，所以y取0或者1；n表示总样本的个数，符号i表示样本标号，l
bce
是一个所有样本估计标签域真实标签差异的平均统计结果，l
bce
越小表示估计的标签与真实标签越接近。
[0088]
l
focal
是一种为了抑制正负样本不均衡影响的损失，它一种改进的bce损失：
[0089][0090]
γ称为focusing parameter，是一个非负实数；α
t
也是一个非负实数。
[0091]
dice是一种标记图之间相似度度量函数，其值范围为[0，1]，dice值越大表示两个集合越相似：
[0092][0093]
表示g(x)输入样本x经过网络g估计的分割结果，分割结果每个像素位置都有一个标签结果；字母y表示真实标记的分割结果，每个像素都有一个真实的标签。g(x)
·
y表示分割结果与真实标记逐像素位置对应数据相乘的结果，其结果仍然是图。||表示逐点像素位置上数据取模后累加的结果，是一个非负实数。
[0094]
目标域的分割损失函数：
[0095][0096]
其中上标1表示取目标域分割通道结果，其他参数含义域源域分割损失中定义相同。
[0097][0098]
其中符号以函数形式表示域判别网络，θd符号表示域判别网络所需要优化的参数。是特征图经过域判别网络得域标签的结果。域判别网络的损失
函数是综合了源域有标记数据，目标域有标记数据，源域无标记数据，目标域无标记数据各类样本的l
bce
分类损失。
[0099]
由于每一个批次同时加载相同数量的源域和目标域数据进行参数训练，可确保网络能在两个域中寻找到公共特征，使得分割网络可同时在源域和目标域得到较好的分割结果。
[0100]
本发明的一个实施例中，一个批次用于训练的源域和目标域样本数量相同，一致样本不均衡问题；同时输出源域与目标域分割结果，源域样本仅描述源域分割损失，目标域样本仅描述目标域分割损失；源域样本目标域分割器官结果，目标域样本的源域分割器官结果不用于计算分割损失。
[0101]
根据本发明的另一个实施例，提出一种基于迁移学习的图像分割方法，如图1b所示，包括如下步骤：
[0102]
步骤1、利用前述的迁移学习方法训练好的特征提取网络f与所述分割网络s组合成可分割出目标域所需分割对象的目标域分割网络；
[0103]
步骤2、将目标域待分割图像输入所述特征提取网络f；
[0104]
步骤3、将所述特征提取网络f获取的多尺度特征矢量复原为多尺度特征图；
[0105]
步骤4、将多尺度特征图输入所述分割网络s，得到分割结果，剔除源域所需分割对象的分割结果，即可获得目标域分割对象的分割结果。
[0106]
根据本发明的另一个实施例还提出一种面向分割任务的融合swin transformer与unet的迁移学习系统，如图10a所示，包括：
[0107]
输入模块，用于将待分割图像数据输入到特征提取网络，所述特征提取网络f是采用swin transformer的多尺度多窗口的注意力机制作为骨干网络，提取不同尺度的特征矢量，输入的待分割图像包含nc个通道；
[0108]
复原模块，用于将特征提取网络获取的不同尺度的特征矢量复原为不同尺度的特征图；
[0109]
对象分割模块，用于将不同尺度的特征图输入到分割网络s中，获得源域与目标域两个域的所需分割对象的分割结果，所述分割网络s是加入空间注意力机制的unet解码网络；
[0110]
域判断模块，用于将不同尺度的特征图输入到域判别网络中，判断特征图是来自于源域还是目标域，并给出相应的标签，所述域判别网络d包括结合unet跳跃链接方式的改进unet编码网络，以及两级全连接层与输出层；
[0111]
整体损失计算模块，用于将源域训练样本经过所述特征提取网络f、所述分割网络s得到的源域所需分割对象结果计算源域分割损失部分，将目标域训练样本经过所述特征提取网络f、所述分割网络s得到的目标域所需分割对象结果计算目标域分割损失部分，将源域和目标域训练样本经过所述特征网络f、所述域判别网络d获得域标签结果计算域判别损失部分，将源域分割损失部分、目标域分割损失部分、域判别损失部分加权叠加为整体损失；
[0112]
优化模块，用于通过最小化整体损失，迭代优化所述特征提取网络f、所述分割网络s、所述域判别网络d中的参数，直到整体损失达到要求为止，完成迁移学习过程。
[0113]
根据本发明的另一个实施例，如图10b所示，还提出一种基于迁移学习的图像分割
系统，包括：
[0114]
目标域分割网络组合构建模块，用于利用前述的迁移学习方法训练好的特征提取网络f与所述分割网络s组合成可分割出目标域所需分割对象的目标域分割网络；
[0115]
输入模块，用于将目标域待分割图像输入所述特征提取网络f；所述特征提取网络f是采用swin transformer的多尺度多窗口的注意力机制作为骨干网络，提取不同尺度的特征矢量，输入的待分割图像包含nc个通道；
[0116]
复原模块，用于将所述特征提取网络f获取的多尺度特征矢量复原为多尺度特征图；
[0117]
对象分割模块，用于将多尺度特征图输入所述分割网络s，获得源域与目标域两个域的所需分割对象的分割结果，所述分割网络s是加入空间注意力机制的unet解码网络得到分割结果；
[0118]
剔除模块，用于剔除源域所需分割对象的分割结果，即可获得目标域分割对象的分割结果。
[0119]
为了验证本方案所提出的面向医学影像分割的融合transformer和unet的迁移学习方法，利用成人的ct标记腹膜腔数据作为源域，将儿童ct标记肝脏数据作为目标域，实验该方法从腹膜腔分割模型知识迁移到肝脏的分割中的效果。本次实验中源域与目标域均没有未标记数据参与训练。源于成人腹膜腔数据来自于73例病人，共计生成6990个样本。目标域的儿童肝脏数据包含20例数据，共计1772个样本。另外来自于另外的10例的儿童肝脏数据作为测试集，分析迁移模型分割效果。首先将儿童数据样本经过随机平移，旋转和缩放处理后扩增到7088样本后抽取与源域腹膜腔样本相同数量，用于迁移学习的网络训练。每一轮训练按照9∶1的方式将数据划分为训练样本和验证样本，训练样本用于优化网络参数，验证样本用于评价当前模型的性能，从而找到当前最优估计。考虑到利用周围组织解剖结构信息，将相邻的连续三层ct图像作为输入，估计中间层的分割结果。
[0120]
在特征提取网络中，采用参数与swin transformer网络基本一致，通道数c＝96，多头自注意力模块中头设置为32，窗口尺寸设置为7，多层感知的扩展层设置为4，只是子块融合时候采用了两种池化方法再连接的方式。网络的分割损失由bce损失和dice损失的平均值组成，一个批次共载入4个源域样本4个目标域样本，并对样本进行小范围的随机旋转、平移和缩放处理。网络训练的优化器为adam，初始的学习率设置为10-4
，后续采用exponential衰减方式更新，共计训练了100个轮次，得到了最终的分割模型参数。在分割网络和域判别网络中，卷积操作均采用3
×
3窗口，dropout层概率值p＝0.2。
[0121]
硬件训练环境cpu为intel(r)core(tm)i9-10900k主频3.7ghz，搭载了两块nvidia titan rtx，操作系统。
[0122]
为了对比分析迁移学习对目标域分割效果的改善，直接利用扩增后的目标域的肝脏数据训练了经典的unet分割模型作为基准，将unet模型以及迁移学习模型应用在目标域的10例测试数据上分割结果进行了评估。从表1所示目标域10例测试集上不同模型的肝脏分割效果的3d dice结果看，有6例病人迁移学习肝脏分割模型dice更高，有4例分割结果略低。图11中给出了迁移学习模型3d dice值略低的分割效果图(此病例肝脏整体体积比较小)，图中(a)liver，(b)unet-liver，(c)dann-liver；迁移学习模型结果(c)与医生标注(a)也非常接近，但是dice结果会略低。表1平均dice来看，迁移学习模型统计结果高于目标域
的结果。从图12所示的大肝脏分割对照图观察发现，迁移学习模型分割轮廓( 号标记点划线)更加接近于医生手动标注的实线轮廓。
[0123]
表1 目标域测试集上不同模型分割结果的dice值
[0124][0125]
综上所述，迁移学习可以将源域不同形态器官的分割所提供的知识用于改善小样本目标域训练新器官的分割效果。
[0126]
根据本发明的一个实施例，可选的，利用半监督技术，将现有模型应用到未标注的目标域数据上，从中筛选复合要求的标记结果作为伪标记，扩充目标域训练样本，反复这样自学习，从而获得目标域的模型。但伪标注筛选过程中可能存在错误，导致训练效果不及有监督的方法。
[0127]
根据本发明的一个实施例，可选的，利用配准技术将参考少量的标注映射到未标注的目标域数据上，实现目标域标记数据量扩增。但是限于配准精度，无法确保配准得到的标注信息的准确性。
[0128]
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。