一种基于风格迁移的图像分割域泛化方法

1.本发明涉及图像处理技术领域，尤其涉及一种基于风格迁移的图像分割域泛化方法。


背景技术：

2.域泛化从不同的训练数据集中学习一个通用模型，该模型可以很好地泛化到任意看不见的目标域，而无需目标数据收集和微调，其中，利用数据生成是下游任务的一种更直观、更有效的方法，因为生成的样本的质量更容易评估。
3.当前基于风格迁移的方法难以在生成多样化风格的同时保留图像的结构信息，从而降低下游任务的性能。例如，利用傅里叶变换得到频域信息，通过交换图像之间的低频分量实现图像风格的转换，这类方法能很好地保留图像的语义信息，但生成的风格并不真实。另一类方法是基于cyclegan 架构来实现数据生成的，能够生成更接近真实场景的图像风格，但经常会在生成过程中改变图像的结构。


技术实现要素：

4.针对现有技术的不足，本发明提供了一种基于风格迁移的图像分割域泛化方法，解决了前基于风格迁移的方法难以在生成多样化风格的同时保留图像的结构信息的技术问题。
5.为解决上述技术问题，本发明提供了如下技术方案：一种基于风格迁移的图像分割域泛化方法，该方法包括以下步骤：s1、从包含多个源域的训练数据集p中提取纹理结构特征，纹理结构特征包括原始图像与生成图像中类别c的局部二值模式特征和；s2、采用训练数据集p训练基于局部不变性的随机风格生成模型，随机风格生成模型采用包含两个生成器、和两个判别器、的循环生成对抗网络；s3、基于风格随机生成模型构建元学习的训练数据集m，训练数据集m包括元训练集和元测试集；s4、采用训练数据集m训练基于元学习范式的泛化模型，通过在训练过程中模拟域偏移来促进鲁棒优化，以得到可以应对不同风格下场景的泛化模型。
6.进一步地，在步骤s1中，具体包括：s11、在训练数据集p中根据标签提取原始图像与生成图像中类别c的局部二值模式特征和；s12、根据局部二值模式特征和计算余弦相似度来构建局部相似损失，其用于使得图像风格生成过程中掩膜区域内的纹理结构保持不变。
7.进一步地，在步骤s12中，局部相似损失的计算公式为：
8.上式中，c表示类别c的数量，和均为原始图像与生成图像中类别c的局部二值模式特征。
9.进一步地，在步骤s2中，两个生成器和分别用于将风格为s的真实图像和风格为t的真实图像转换为中间态风格的生成图像；判别器用于区别真实样本和生成样本，两个判别器和分别来判别图像和图像。
10.进一步地，在步骤s2中，随机风格生成模型的损失函数由对抗损失、循环一致损失和局部相似损失组成，定义为：定义为：；其中，对抗损失定义为：
11.其中，
[0012][0013]
上式中，z表示域无关的随机变量，和分别代表源域和目标域的图片集合，表示计算来自数据集的所有样本的期望值，表示计算来自数据集的所有样本的期望值；循环一致损失定义为：
[0014]
上式中，z表示域无关的随机变量，表示将风格为s的真实图像转换为生成图像的生成器，表示将风格为t的真实图像转换为生成图像的生成器；局部相似损失定义为：
[0015]
上式中，c表示类别c的数量，和均为原始图像与生成图像中类别c的局部二值模式特征。
[0016]
进一步地，域无关的随机变量z∈[0,1]，随机变量z越接近0时，中间态的图片风格越接近原始图像，反之当随机变量z越接近1时，中间态的图片风格越接近风格图像。
[0017]
进一步地，在步骤s3中，具体包括：s31、从源域s中随机选择一个域，并从该域中随机采样n张图像作为元训练集；s32、根据训练好的风格随机生成模型将n张图像的风格由原始图像转换为中间态，将生成图像作为元测试集，原始图像与其对应的生成图像共享相同的语义标签。
[0018]
进一步地，在步骤s4中，泛化模型采用一个基于编码器-解码器的分割网络作为元学习范式中的骨干网络。
[0019]
进一步地，分割网络的损失函数由交叉熵损失和dice损失组成，定义为：，其中；交叉熵损失定义为：
[0020]
dice损失定义为：
[0021]
上式中，m 代表该图像中像素的总和，c 代表类别数量，和分别代表第i个像素的第c个类别的预测概率和真实值。
[0022]
借由上述技术方案，本发明提供了一种基于风格迁移的图像分割域泛化方法，至少具备以下有益效果：1、本发明通过局部纹理不变约束和域无关的随机变量实现图像生成，进而构建模拟域偏移的情景训练方案，使得模型更加关注图像的内容，减少对于风格信息的依赖，能够在生成多样化风格的同时保留图像的结构信息，有效提高了模型在未知域上的分割准确率，提升了模型部署的效率。
[0023]
2、本发明通过计算纹理特征的相似度来保证局部不变性，并在对抗损失函数中添加了一个域无关随机变量，实现在多个源域中构建成对的风格迁移模型，能够在保证掩码区域纹理特征不变的情况下，生成不同角度、光线强度等风格的图像来模拟不同设备及不同拍摄角度的实际场景，大大降低了数据采集及标注的成本。
[0024]
3、本发明能够在未见过的数据集上开发一种可复用的基于卷积神经网络的图像分割方法，该方法能够生成更加真实且多样化的数据，并基于多样化的风格图像设计一个训练范式，使得模型更加关注图像的内容，减少对于风格信息的依赖。
[0025]
4、基于随机风格生成模型，本发明在每次迭代中随机选取一个源域的n张图像作为元训练集，并将元训练集随机生成n张风格图像作为元测试集，其中元训练集和元测试集共享相同的语义标签，通过在训练过程中模拟域偏移来促进鲁棒优化，从而使得模型在未知场景下具有良好的分割能力。
附图说明
[0026]
此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1为本发明图像分割域泛化方法的流程图；图2为本发明基于局部不变性的随机风格生成模型的网络结构图；图3为本发明基于元学习范式的泛化模型的网络结构图。
具体实施方式
[0027]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图 和具体实施方式对本发明作进一步详细的说明。借此对本技术如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
[0028]
深度学习技术在图像分割方面取得了重大进展，然而，这些成就很大程度上依赖于源域数据和目标域数据相同分布的假设，直接应用相关方法而不解决分布偏移会导致实际应用效果的显著退化。在这样的背景下，域泛化成为一个活跃的研究方向，并在图像分析界获得了广泛的兴趣和前景。域泛化从不同的训练数据集中学习一个通用模型，该模型可以很好地泛化到任意看不见的目标域，而无需目标数据收集和微调。
[0029]
现有的域泛化研究一般可分为三类：即域不变表示学习、元学习和数据增强。域不变表示学习执行域之间的显式特征对齐和不变风险最小化以学习域不变表示。元学习通过划分源域来模拟看不见的目标域，从而增加模型的泛化性能。最近，基于数据增强的域泛化方法变得更加流行，该方法侧重于操作输入数据以扩展训练分布并尝试匹配测试分布。其中，利用数据生成是下游任务的一种更直观、更有效的方法，因为生成的样本的质量更容易评估。
[0030]
当前基于风格迁移的方法难以在生成多样化风格的同时保留图像的结构信息，从而降低下游任务的性能。例如，利用傅里叶变换得到频域信息，通过交换图像之间的低频分量实现图像风格的转换，这类方法能很好地保留图像的语义信息，但生成的风格并不真实。另一类方法是基于cyclegan 架构来实现数据生成的，能够生成更接近真实场景的图像风格，但经常会在生成过程中改变图像的结构。
[0031]
请参照图1-图3，示出了本实施例的一种具体实施方式，本实施例利用局部不变性在多个源域中构建成对的随机风格生成模型，在保证掩码区域纹理特征不变的情况下，生成不同角度、光线强度等风格的图像来模拟不同设备及不同拍摄角度的实际场景；随后，在基于元学习范式的泛化模型训练过程中，通过上述预训练的随机风格生成模型分别生成两组图像作为元训练集和元测试集，通过在训练过程中模拟域偏移来促进鲁棒优化，从而使得泛化模型可以应对不同风格下的场景。
[0032]
请参照图1，本实施例提出了一种基于风格迁移的图像分割域泛化方法，该方法包括以下步骤：s1、从包含多个源域的训练数据集p中提取纹理结构特征，纹理结构特征包括原始图像与生成图像中类别c的局部二值模式特征和；在本实施例中，为了对步骤s1的实现方式进行说明，具体过程是通过以下步骤实现的，详细的实施方法如下：s11、在训练数据集p中根据标签提取原始图像与生成图像中类别c的局部二
值模式特征和；s12、根据局部二值模式特征和计算余弦相似度来构建局部相似损失，其用于使得图像风格生成过程中掩膜区域内的纹理结构保持不变。
[0033]
在步骤s12中，局部相似损失的计算公式为：
[0034]
上式中，c表示类别c的数量，和均为原始图像与生成图像中类别c的局部二值模式特征。
[0035]
在该步骤中，对于包含多个源域的训练数据集，如图2所示，根据标签提取原始图像与生成图像中类别c的局部二值模式特征为和，通过计算余弦相似度来构建局部相似损失，局部相似损失保持原始图像与生成图像中局部信息（掩膜区域）的纹理不变以保证掩膜的真实性，使得图像生成过程中只改变风格，而掩膜区域内的纹理结构保持不变。
[0036]
在该步骤中，通过计算纹理特征的相似度来保证局部不变性，并在对抗损失函数中添加了一个域无关随机变量，实现在多个源域中构建成对的风格迁移模型，能够在保证掩码区域纹理特征不变的情况下，生成不同角度、光线强度等风格的图像来模拟不同设备及不同拍摄角度的实际场景，大大降低了数据采集及标注的成本。
[0037]
s2、采用训练数据集p训练基于局部不变性的随机风格生成模型，随机风格生成模型采用包含两个生成器、和两个判别器、的循环生成对抗网络；两个生成器和分别用于将风格为s的真实图像和风格为t的真实图像转换为中间态风格的生成图像；判别器用于区别真实样本和生成样本，两个判别器和分别来判别图像和图像。判别器的输出是一个概率值，用来表示输入图像为真实样本的概率，对于判别器，如果输入的是风格为s的真实样本，则的输出接近1，表示它很有可能是真实样本；如果输入的是风格为s的生成样本，则的输出接近0，表示它很有可能是生成样本。类似地，对于判别器，对风格为t的样本进行判断。
[0038]
循环生成对抗网络可以实现一个源域中的图像与另一个源域中的图像之间的相互转换，在此基础上输入一个域无关的随机变量z，如图2所示，将风格为s的源域图像生成中间态风格的图像，而不仅是另一个源域图像的风格，从而得到多样化的具有随机风格的图像。
[0039]
在步骤s2中，随机风格生成模型的损失函数由对抗损失、循环一致损失和局部相似损失组成，定义为：。
[0040]
其中，对抗损失定义为：
[0041]
其中，
[0042][0043]
上式中，z表示域无关的随机变量，和分别代表源域和目标域的图片集合，表示计算来自数据集的所有样本的期望值，表示计算来自数据集的所有样本的期望值。
[0044]
其中，循环一致损失保证生成后的图像还能重构回原始图像，从而保证生成图像的语义信息没有发生改变，循环一致损失定义为：
[0045]
上式中，表示将风格为s的真实图像转换为生成图像的生成器，表示将风格为t的真实图像转换为生成图像的生成器。
[0046]
局部相似损失保持原始图像与生成图像中局部信息（掩膜区域）的纹理不变以保证掩膜的真实性，局部相似损失定义为：
[0047]
上式中，c表示类别c的数量，和均为原始图像与生成图像中类别c的局部二值模式特征。
[0048]
域无关的随机变量z∈[0,1]，随机变量z越接近0时，中间态的图片风格越接近原始图像，反之当随机变量z越接近1时，中间态的图片风格越接近风格图像。
[0049]
在该步骤中，基于局部不变性的风格随机生成模型的损失函数由对抗损失、循环一致损失和局部相似损失组成，通过随机梯度下降得到能够生成真实且多样化图像的风格转换模型。
[0050]
s3、基于风格随机生成模型构建元学习的训练数据集m，训练数据集m包括元训练集和元测试集；在本实施例中，为了对步骤s3的实现方式进行说明，具体过程是通过以下步骤实现的，详细的实施方法如下：s31、从源域s中随机选择一个域，并从该域中随机采样n张图像作为元训练集；s32、根据训练好的风格随机生成模型将n张图像的风格由原始图像转换为中间态，将生成图像作为元测试集，原始图像与其对应的生成图像共享相同的语义标签。
[0051]
在该步骤中，如图3中的a所示，每次迭代时，先从源域s中随机选择一个域，并从该
域中随机采样n张图像作为元训练集，根据训练好的基于局部不变性的风格随机生成模型将n张图像的风格由原始图像转换为中间态，将生成图像作为元测试集，原始图像与其对应的生成图像共享相同的语义标签。
[0052]
在本实施例中，基于随机风格生成模型，本发明在每次迭代中随机选取一个源域的n张图像作为元训练集，并将元训练集随机生成n张风格图像作为元测试集，其中元训练集和元测试集共享相同的语义标签，通过在训练过程中模拟域偏移来促进鲁棒优化，从而使得模型在未知场景下具有良好的分割能力。
[0053]
s4、采用训练数据集m训练基于元学习范式的泛化模型，通过在训练过程中模拟域偏移来促进鲁棒优化，以得到可以应对不同风格下场景的泛化模型，泛化模型采用一个基于编码器-解码器的分割网络作为元学习范式中的骨干网络；分割网络的损失函数由交叉熵损失和dice损失组成，定义为：，其中；交叉熵损失定义为：
[0054]
dice损失定义为：
[0055]
上式中，m 代表该图像中像素的总和，c 代表类别数量，和分别代表第i个像素的第c个类别的预测概率和真实值。
[0056]
如图3中的b所示，上述得到的元训练集通过骨干网络训练得到元训练损失，元训练损失的表达式为：
[0057]
上式中，为分割网络的损失函数，为元训练集，为关于权重的函数，表示梯度。
[0058]
基于随机梯度下降更新元优化器的权重并获得更新后的权重，，，随后在元测试集上基于更新后的权重计算元测试损失，元测试损失的表达式为：
[0059]
上式中，为元测试集，为关于权重的函数，表示梯度。
[0060]
最终通过随机梯度下降更新权重，，其中，是元测试阶段的学习率，是元测试阶段的学习率。
[0061]
在此过程中，每次迭代中源域的随机选择以及域无关的随机变量z的随机取值保
证了元训练阶段中的元训练集和元测试阶段中的元测试集风格的差异化，同时由于局部不变性保证了目标区域的真实性，从而经过训练迭代之后，泛化模型可以提升对图像风格的鲁棒性，从而实现对不可见域中图像的精准分割。
[0062]
本实施例多提出的基于风格迁移的图像分割域泛化方法，通过局部纹理不变约束和域无关的随机变量实现图像生成，进而构建模拟域偏移的情景训练方案，使得模型更加关注图像的内容，减少对于风格信息的依赖，能够在生成多样化风格的同时保留图像的结构信息，有效提高了模型在未知域上的分割准确率，提升了模型部署的效率。
[0063]
本发明能够在未见过的数据集上开发一种可复用的基于卷积神经网络的图像分割方法，该方法能够生成更加真实且多样化的数据，并基于多样化的风格图像设计一个训练范式，使得模型更加关注图像的内容，减少对于风格信息的依赖。
[0064]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0065]
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。