一种用于域适应语义分割的联合对抗学习方法和系统

1.本发明涉及图像处理领域，更进一步涉及图像语义分割领域，尤其是一种用于域适应语义分割的联合对抗学习方法和系统。


背景技术：

2.近年来，深度卷积神经网络在计算机视觉的诸多领域上成就卓然，而其成功在很大程度上依赖于包含大量数据的高质量数据集。为了节省人力和时间成本，域适应语义分割采用渲染引擎生成和标注的合成图像训练模型。然而，由于源域（合成）与目标域（真实）直接存在领域偏移，在一般语义分割方法的基础上，域适应方法更注重减小该偏移量，以提高模型在真实场景上的分割效果。
3.域适应的一般方法是通过最小化领域偏移的度量来构建跨域不变性，具体到语义分割领域，就是要保证源域和目标域之间的分布一致性。现有方法大多采用对抗学习的思想在像素空间、特征空间或输出空间内约束上述一致性。在输出空间中，两个域共享的结构信息更多，因此输出空间更适合语义分割任务。目前域适应语义分割主要包括三种方法：有监督域适应、半监督域适应和无监督域适应。有监督域适应需要源域和目标域的图像和对应完整标签，但目标域数据集在规模上通常远小于源域数据集，目标域一般都是真实图像，需要人工给出分割标签，消耗巨大的人力和时间成本；半监督域适应需要源域的完整标签和目标域的部分标签；无监督域适应只需要源域的完整标签。显然，无监督域适应更具有挑战性和研究价值。在专利发明名称为：基于生成对抗和类特征分布的域适应无监督图像分割方法，公开号为：cn 113436197a公开，由主分割网络生成分割图并进行对抗学习，同时利用辅助分割网络获取每个类别的中心特征，通过计算每个像素特征到中心特征的距离优化分割图，也即通过优化特征空间，然而对特征空间进行约束的效果普遍不如直接对输出空间进行约束的效果。在专利发明名称为：一种基于最大二乘损失的无监督域适应语义分割方法，公开号为：cn110222690a，在目标域上使用最大二乘损失无监督地训练语义分割模型，并加入一个额外的分类网络在两个域上训练语义分割模型提取出的第四层的特征，达到对齐特征分布的目的，提高小物体上的分割质量，仅能够针对小物体进行优化，不能避免大场景下出现错误的情况。在专利发明名称为：基于交叉领域类别感知的领域适应语义分割方法及装置，公开号为：cn112016592a，将源图像转换成目标域风格后进行特征提取和分类，并引入交叉域类别感知器对特征图的分类模糊特征点进行调整，得到注意力特征图，进行语义分割，主要是基于像素空间和特征空间进行的处理。然而，上述方法均不是直接针对输出空间处理的，基本以寻找其他约束信息为主，显然，约束信息的选取和学习的准确度都会对特征对齐效果及最终的分割结果产生较大影响。
4.综上所述，现有技术中存在如下问题：1.基本都是基于像素空间及特征空间进行的约束，也即是针对中间过程处理的优化，会对输出空间也即最终的结果的分割结果产生影响；2.使用附加的网络和约束，降低训练效率，提高参数量和训练时间，也即在主网络
上面添加一个新的网络，计算特征到中心的优化距离，最大二乘损失额外的网络，分类网络，增加方案的不稳定性，工作量；3.现有技术过度依赖源域的标签，语义分割算法准确率低。
5.有鉴于此，如何设计一种新的联合对抗学习方法，实现提升语义分割准确率是业内相关技术人员亟待解决的一项课题。


技术实现要素：

6.本发明提出一种新的联合对抗学习方法，首先将图像输入后经过生成器，将源域图像和目标域图像通过第一层编码器和第一层译码器，得到第一层分割图，进行对抗学习，再将第一层特征通过第二层编、第二层译码器进行处理得到第二层分割图，对第二层分割图进行对抗学习，以期使第一层分割图和第二层分割图得到相似的分割结果，从而完成域间的平滑迁移（使用双层的对抗结构可以使得图像的第二层和第一层特征都比较相似，其中第一层特征/分割图是指低层特征/分割图，第二层特征/分割图是高层特征/分割图）；使用高层判别器和低层判别器分别对第二层分割图和第一层分割图进行判别，在此基础上增加权重迁移模块，用于消除分割模型向源域方向的偏移导致的过拟合问题，保证译码器训练不受分割损失影响。本发明中在整个训练过程中，使用的全部监督信息都是基于语义分割图（输出特征），因此避免了引入其他监督时的误差，防止出现负优化的情况。
7.本发明提出一种用于域适应语义分割的联合对抗学习方法，所述方法包括域适应模块根据输入源域图像和目标域图像获得语义分割图以及判别分割图的属性，域适应模块包括一生成器和一判别器，所述生成器输出源域图像和目标域图像对应的语义分割图；其中，所述生成器包含编码器和译码器，所述编码器用于将输入的源域图像和目标域图像编码为不同层次的特征图，所述译码器用于将不同层次的特征图处理为不同层分割图，一权重迁移模块将不同层次的特征图处理为迁移分割图；判断所述语义分割图和所述迁移分割图的属性，所述判别器对所述语义分割图和所述迁移分割图进行鉴别，判断所述语义分割图和所述迁移分割图属于源域或目标域；计算鉴别结果与图像实际所属域的损失函数，根据损失函数更新生成器的参数；其中，所述编码器包括第一层特征编码器和第二层特征编码器，所述译码器包括第一层特征译码器和第二层特征译码器。该方法直接对输出特征空间进行处理，提高结果的准确性。
8.进一步地，该方法还包括不同层次的特征图包括第一特征图和第二特征图，不同层分割图包括第一层分割图和第二层分割图。
9.更进一步地，第一特征图相关于所述第一层特征编码器对源域图像和目标域图像的编码，第二特征图相关于所述第二层特征编码器对源域图像和目标域图像的编码，所述第一特征图输入至所述第一层特征译码器和所述权重迁移模块，所述第二特征图输入至所述第二层特征译码器和所述权重迁移模块。
10.更进一步地，第一层分割图通过所述第一层特征译码器获得，第二层分割图通过所述第二层特征译码器获得。
11.更进一步地，通过第一判别器对所述第一层特征译码器输出的第一层分割图进行判别，判别所述第一层分割图属于源域或目标域；通过第二判别器对所述第二层特征译码器输出的第二层分割图进行判别，判别所述第一层分割图属于源域或目标域。
12.更进一步地，所述方法还包括通过权重迁移模块消除分割模型向源域方向的偏移，所述权重迁移模块包含一第三译码器和一第四译码器。
13.更进一步地，所述权重迁移模块在第一层特征译码器和第二层特征译码器上增加一个卷积层计算权重，其中第一层特征译码器和第二层特征译码器的权重公式如下：其中*代表卷积处理，wym1、wym2是增加的权重迁移模块，、为第一层特征译码器和第二层特征译码器的权重，分别为迁移后第三译码器和第四译码器的权重。
14.更进一步地，所述方法中还包括利用一高层迁移判别器和一低层迁移判别器分别判断权重迁移模块处理后输出的高层迁移分割图和低层迁移分割图。
15.更进一步地，针对所述源域图像，所述生成器输出语义分割图，根据所述语义分割图与分割标签计算两者的差异，所述差异用于计算分割损失。
16.更进一步地，语义分割模型的整体损失函数计算方法如下：其中，λseg表示语义分割损失的权重；λadv表示对抗损失的权重；λadv_wtm迁移对抗损失的权重;l表示损失；g表示生成器；wtmi表示权重迁移模块，i={1,2}。本发明还提出一种用于域适应语义分割的联合对抗学习系统，包括，一生成器，根据输入源域图像和目标域图像输出源域图像和目标域图像对应的语义分割图；一判别器，用于鉴别语义分割图的属性，判断所述语义分割图属于源域或目标域，所述判别器包括第一判别器和第二判别器；其中，所述生成器中包含编码器和译码器，用于将输入的源域图像和目标域图像编码为不同层次的特征和不同层分割图；所述编码器包括第一层特征编码器和第二层特征编码器，所述译码器包括当第一层特征译码器和第二层特征译码器。
17.进一步地，不同层次的特征包括第一特征图和第二特征图，不同层分割图包括第一层分割图和第二层分割图。
18.更进一步地，所述第一层特征编码器对源域图像和目标域图像编码获得第一特征图，所述第二层特征编码器对源域图像和目标域图像编码获得第二特征图。
19.更进一步地，还包括一第一层特征译码器和一第二层特征译码器，其中，所述第一层特征译码器用于对第一特征进行译码获得第一层分割图；所述第二层特征译码器用于对第二特征图进行译码获得第二层分割图。
20.更进一步地，还包括第一判别器和第二判别器，所述第一判别器对所述第一层特征译码器输出的第一层分割图进行判别，判别所述第一层分割图属于源域或目标域；所述第二判别器对所述第二层特征译码器输出的第二层分割图进行判别，判别所述第一层分割图属于源域或目标域。
21.更进一步地，还包括权重迁移模块，消除分割模型向源域方向的偏移，所述权重迁
移模块包括一第三译码器和一第四译码器。
22.更进一步地，还包括一高层迁移判别器和一低层迁移判别器分别判断权重迁移模块处理后输出的高层迁移分割图和低层迁移分割图。
23.本发明提出的一种用于域适应语义分割的联合对抗学习方法和系统，相较于现有技术而言具有如下优势：第一，通过使用联合对抗学习的方法引导训练过程，采用高层编码器、译码器和低层编码器、译码器，使分割模型学习到的特征在不同层次上一致，提升语义分割模型的性能；第二，通过增加权重迁移模块，保证译码器训练不受分割损失影响，能够缓解语义分割模型向源域偏移导致的过拟合问题；第三，本发明提出的方法在整个训练过程中，使用的全部监督信息都是基于分割图的，也即是基于输出特征空间进行的处理，因此避免了引入其他监督时的误差，防止出现负优化的情况。综合而言，本发明在不添加其他约束信息的情况下提升模型整体性能，能够获得更精确的语义分割结果。
24.关于本发明的优点与精神可以通过以下的发明详述及所附附图得到进一步的了解。
附图说明
25.图1为本发明提供的用于域适应语义分割的联合对抗学习模型示意图；图2为本发明提供的域适应模块示意图；图3（a）-3（f）为本发明提供的添加权重迁移模块前后域判别结果及分割结果示意图；图4为本发明提供的用于域适应语义分割的联合对抗学习流程图。
具体实施方式
26.下面结合附图详细说明本发明的具体实施例。然而，应当将本发明理解成并不局限于以下描述的这种实施方式，并且本发明的技术理念可以与其他公知技术或功能与那些公知技术相同的其他技术组合实施。
27.在以下具体实施例的说明中，为了清楚展示本发明的结构及工作方式，将借助诸多方向性词语进行描述，但是应当将“前”、“后”、“左”、“右”、“外”、“内”、“向外”、“向内”、“轴向”、“径向”等词语理解为方便用语，而不应当理解为限定性词语。其中，过拟合是指，由于训练过程中只有源域有对应的分割标签，所以最终的输出结果很大可能更像源域的标签，这样的话会影响最终的效果；源域是指具有图像和对应语义分割标签的图像数据集，通常情况下，源域是使用机器生成的虚拟图像，由于大部分是建模得到的，因此可以简单的得到对应的分割标签；目标域是指只有图像而无语义分割标签的图像数据集（也就是我们最后需要完成语义分割的数据集，应用时候使用的数据集，一般为真实图像），目标域往往是真实场景下的照片等；像素空间：是指输入图像，特征空间：指通过编码器后得到的特征，输出空间：指分割图；本发明中“第一层”是代表“低层”，“第二层”代表“高层”。
28.本发明提供了一种用于域适应语义分割的联合学习方法和系统，域适应语义分割
通过生成对抗网络实现，而本发明在原有对抗生成网络的基础上将生成器和判别器分为不同级别并做相似的训练，提升网络的分割性能。首先输入源域图像和对应的分割标签以及目标域图像，对图像进行常规处理，然后进行生成对抗网络的训练，输出目标域图像的分割图，得到语义分割结果。对抗学习通过生成器输出分割图，判别器分辨生成器输出的分割图是属于源域还是目标域的，在训练过程中，生成器努力去生成判别器无法判别的图，而判别器尽力去分辨这张图所属的域，这个过程就是“对抗”，对抗的结果就是所说的域间迁移；另一方面，使用双层的对抗结构可以使得图像的高层和低层特征都比较相似，从而达到“平滑迁移”的目的，结合图1-图4说明本发明的用于域适应语义分割的联合学习方法。其中，图1中带箭头的实线代表数据的处理方向，带箭头的虚线代表通过损失函数更新参数的过程。
29.首先，步骤1准备训练数据集和测试集，包含源域和目标域的图像和源域图像对应的语义分割标签。通过双线性插值的方式改变图像的空间大小，使得图像高为1024宽为512，然后进行图像归一化处理。
30.步骤2本发明使用深度学习框架，建立基于联合对抗学习的域适应语义分割模型，语义分割模型由生成器、判别器和权重迁移模块构成。其中生成器可以是当前的主流语义分割网络，如deeplab等，在这里采用deeplab-v2作为我们的语义分割网络，语义分割网络包括编码器和译码器，编码器是采用deeplab-v2中通用的结构，译码器在编码器最后一层卷积层后的空洞空间卷积池化金字塔（aspp）形成。对于低层的域适应模块，在语义分割网络的中间卷积层，如vgg16的第五层卷积层或残差网络resnet101的第四层卷积层上添加aspp译码器。对于域判别器，采用深度卷积生成对抗网络（dcgan）的类似结构；而对于wtm模块（权重迁移模块），则在译码器后添加卷积核尺寸为1024*1024*1*1的卷积层。其中，域适应模块包括生成器和判别器。
31.步骤3 输入图像到语义分割模型，分别通过两个不同层次的译码器和两个不同层次的编码器，得到对应的高层分割图和低层分割图，语义编码器enc的多层设置可以获得不同层特征图，不同层特征图可以用高层特征图和低层特征图表示，高层特征图输入至高层译码器和高层迁移译码器中，低层特征图输入至低层译码器和低层迁移译码器中。
32.步骤4 对于源域图像，将对应的语义分割标签与步骤3中输出的高层分割图和低层分割图一起对比，计算分割损失；对于目标域图像，由于没有分割标签，故不进行分割损失的计算。
33.步骤5 将高层分割图输入至高层判别器，低层分割图输入至低层判别器中，对于低层判别器，计算鉴别结果与实际所属域的损失函数；对于高层判别器，在计算鉴别结果与实际所属域的损失函数基础上，添加结合低层结果的联合对抗损失。
34.步骤6 使用权重迁移模块建立新的译码器，并输入高层分割图和低层分割图，将高层分割图和低层分割图分别更新为高层迁移分割图和低层迁移分割图，并输入权重迁移判别器，其中权重迁移判别器包括高层迁移判别器和低层迁移判别器。该判别器输出输入图的域判别结果，据此计算该判别器本身及对应的生成器的损失函数。
35.步骤7 根据上述步骤的损失函数，通过反向传播算法以及梯度下降策略，使得损失函数最小化，更新各个生成器、判别器的权重。
36.步骤8 输入测试数据集，计算模型分割的准确度。
37.本发明另提出一种语义分割的联合对抗学习的系统，所提出的用于域适应语义分
割的联合对抗学习的核心内容系统主要包含两部分：域适应模块和权重迁移模块，如图1所示。域适应均包含低层和高层两个层次的子模块，子模块的结构基本一致，仅在输入输出维度上有一定差别。首先，域适应模块将输入的源域和目标域图像编码成不同层次的特征也即高层特征和低层特征，再分别用高层译码器和低层译码器译码为高层分割图和低层分割图，联合对抗判别器判断分割图所属的域，其中联合对抗判别器包括高层判别器和低层判别器，分别对高层分割图和低层分割图进行判断；然后用权重迁移模块更新译码器的权重，保证其不受源域标签影响。在模型达到平衡后生成器生成的分割图即为该方法的预测结果，也即能够得到效果较好的分割图。
38.所述域适应模块为包含生成器和判别器，其中生成器为语义分割网络，采用编码器-译码器结构，在其上添加一个附加的译码器来完成联合对抗学习的过程。其中，第一层特征编码器和第一层特征译码器采用低层特征编码器和低层特征译码器，第二层特征编码器和第二层特征译码器采用高层特征编码器和高层特征译码器。为了提取和预测不同层次的特征和分割图，将编码器设置为低层特征编码器和高层特征编码器，对应地，有低层特征译码器和高层特征译码器以及第一判别器d1、第二判别器d2对于每个层次，该域适应模块都包含两部分损失：分割损失和输出空间域对抗损失，如图2所示。分割损失的目的是使用源域标注图像学习可区分的表征。具体地，用表示预测的分割图，为图像尺寸，ys为源域标签，ci为类别，共n类，其中h表示图像的高，w表示图像的宽度。分割损失为：输出空间域对抗损失为常规的最大最小问题，包含两阶段的相反优化目标函数。对于每个判别器，输入对应层次的分割图p，输出其属于域的预测，其中0代表分割图属于目标域，而1代表其属于源域。因此，用于训练判别器的损失函数为：对于生成器，在没有联合对抗的情况下，生成器的损失函数为：在使用的联合对抗学习中，分割模型不仅仅需要欺骗高层判别器，也要欺骗低层判别器，也即分割模型生成的分割图尽量与源域相似，使判别器分不出来，低层判别器只需要低层分割图训练，而与高层分割图无关，因此只需要添加一个损失函数：其中，d1表示低层判别器，为通过两个编码器和高层译码器的分割结果，。
39.所述权重迁移模块目的是消除模型向源域方向的偏移，建立一个不受源域分割损失影响的新译码器。由于分割模型只受源域分割标签的影响，其更容易捕获源域的空间和
细节信息，同时，域对抗学习通过将目标域分割图的分布推向源域来减小域间间隙，这将导致模型出现过拟合的问题。在添加了联合对抗损失后，这一情况被加剧了。以往的方法往往使用提前停止来解决这一问题，然而在本发明中应用该方法会导致避免训练不充分，因此提出了权重迁移模块。该权重迁移模块中两个迁移译码器只使用对抗损失来训练的解决方案。由于单一的对抗损失不足以成为强有力的约束，权重迁移模块包含两个译码器，在两个译码器上增加一个简单但有效的卷积层计算权重。
40.新译码器的权重如下：其中*代表卷积操作，wym1、wym2是增加的权重迁移模块，、为原始译码器权重，为迁移后的译码器权重。迁移后的译码器输入与原译码器相同，输出迁移后的分割图。具体表示如下：；其中，。
41.为了进一步约束训练过程，引入第三个域判别器d
wtm
并使用低层迁移译码器输出的分割图训练，其中第三个域判别器包括低层迁移判别器和高层迁移判别器，具体损失函数为：同时，d
wtm
也被应用在低层和高层的对抗学习过程中：。
42.其中i={1,2}。当i=2时，由于使用联合对抗学习方法，域判别器d
wtm
也会训练高层译码器输出的高层迁移分割图。d
wtm
输出的是一个判断所属域的置信概率，我们用这个概率与真实情况做对比，计算这个损失函数，损失函数计算后也会反向传播，更新域适应模型。
43.综上所述，分割模型的整体损失函数计算方法如下：图3（a）-3（f）展示了添加该模块前后判别器的判别结果及对应分割图，其中，图3（a）的图像为需要分割的目标域图像，图3（b）的图像为正确分割标签，图3（c）是现有的基线方法输出的域预测图，即图像上的每个像素所属的域的置信概率（源域1或目标域0），图3（d）的图像是基线方法对应的分割图，图3（e）是本发明对应的域预测图，图3（f）本发明方法对应的分割结果。显然，该模块缓解了分割模型向源域偏移导致的过拟合问题；其三，本发
明提出的方法在整个训练过程中，使用的全部监督信息都是基于分割图的，因此避免了引入其他监督时的误差，防止出现负优化的情况。总体来说，本发明在不添加其他约束信息的情况下提升模型整体性能，输出更精确的分割结果。
44.本说明书中所述的只是本发明的较佳具体实施例，以上实施例仅用以说明本发明的技术方案而非对本发明的限制。凡本领域技术人员依本发明的构思通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在本发明的范围之内。