一种区分简单与困难样本的无监督域适应方法

1.本发明属于迁移学习中的域适应技术领域，涉及一种区分简单与困难样本的无监督域适应方法。


背景技术：

2.无监督域适应，主要解决的问题是具有数据分布相似以及类别相同，但是数据特征分布不同的源域和目标域。通过将源域的知识迁移到目标域中，解决目标域任务。目前，域适应已经应用在诸多领域并取得了成功。例如，在人脸识别方面，传统的人脸识别利用标注好的人脸图片数据集作为训练集，实现现实世界中的人脸识别等问题。但是，采集这些人脸图片并手动赋予标签是一件耗时耗力的事情，因此研究者们引入域适应方法，以其他场景的人脸图片作为训练集(其分布与待完成任务的图像分布相似但不相同，例如不同背景、不同光照下的人脸图片)，并取得了良好的效果。
3.无监督域适应的目的是将有标签的源域样本中所学知识传递给无标签的目标域样本。无监督域适应能利用现有的源域带标签数据和网络模型以及相关的目标域无标签数据学习得到适用于目标域数据分类的网络模型。传统的无监督域适应方法通常利用相关距离度量等措施去对齐深层网络输出的源域和目标域的数据分布。近年来许多对抗性域适应的方法也被提出，并取得了较为显著的成果，这些方法大多是基于生成对抗网络。主要做法是训练鉴别器鉴别采样特征是来自于源域还是目标域，同时训练特征提取器欺骗鉴别器，以此使得源域和目标域特征分布对齐，无法区分。这些方法大多侧重于将目标域视为一个整体，将源域和目标域进行域对齐来提取域不变特征。即使有些方法在类级别上实现了类对齐，但目标域样本的区分度不够显著，因此，分类效果还有待提高。


技术实现要素：

4.解决的技术问题：本发明的目的在于针对上述已有技术方法的不足，提出一种区分简单与困难样本的无监督域适应方法，以解决现有的域适应方法中对于目标域困难样本分类错误的问题。
5.技术方案：。
6.一种区分简单与困难样本的无监督域适应方法，所述无监督域适应方法包括以下步骤：
7.s1，样本区分：依据目标域样本的熵值来对目标域样本进行区分，将熵值大于等于预设熵值阈值的样本定义为简单样本，将熵值小于预设熵值阈值的样本定义为困难样本；
8.s2，简单样本的无监督域适应：对于分类为简单样本的目标域样本，采用源域训练好的分类器对其分配伪标签；
9.s3，困难样本的无监督域适应：对于分类为困难样本的目标域样本，利用步骤s2中分配好伪标签的简单样本将无监督域适应调整为半监督域适应，通过源域标签和目标域简单样本的标签来训练得到更加鲁棒的分类器，计算类中心，分别优化域间对比对齐和实例
对比对齐，以减少域间和域内差异。
10.进一步地，步骤s1中，所述样本区分的过程包括以下子步骤：
11.s11，根据式(1)计算得到目标域样本v的熵值h(v)：
[0012][0013]
其中，vk为分类器输出类k的概率，k是分类器输出总类数。
[0014]
s12，根据式(2)进行样本区分，得到区分后的样本和
[0015][0016]
其中，τ为所设置的阈值，n
t
代表目标域的样本数量，和分别表示简单和困难的目标域样本。
[0017]
进一步地，步骤s2中，简单样本的无监督域适应的过程包括以下子步骤：
[0018]
根据式(3)分配简单样本伪标签
[0019][0020]
其中，f和g分别是源域训练的分类器和特征提取器的函数表示，表示分类为简单样本的目标域样本。
[0021]
进一步地，步骤s3中，困难样本的无监督域适应的过程包括以下子步骤：
[0022]
s31，根据式(4)训练源域和简单目标域样本分类器：
[0023][0024]
其中，(yi)k为第i个样本属于第c类的概率，训练样本集合包括源域样本和目标域简单样本x
l
＝xs∪x
easy
；ns为源域样本总数，n
easy
为简单样本总数；l
sup
是分类损失；
[0025]
s32，根据式(5)计算源域类质心：
[0026][0027]
其中，b为每个训练批次样本数量大小，为源域的第i个样本，为源域(source)第i个样本的标签信息，表示判断是否属于第k个类，将每个类的源域质心存储在内存库
[0028]
s33，根据式(6)对目标域困难样本赋值伪标签来计算对比损失根据式(7)计算目标域样本类质心
[0029]
[0030][0031]
其中，为目标域第i个样本，为目标域(target)第i个样本的标签。
[0032]
s34，基于式(8)，通过最大化源和目标域每个类k的聚类损失来训练模型：
[0033][0034]
其中，q∈{s,t}，是测量余弦相似度的指数，是上式(5)求得源域第i类的质心，是上式(7)求得目标域第i类的质心，是将源和目标域混合后求得的第r类的质心，ω是超参数；
[0035]
s35，通过对目标域困难样本进行样本增强，根据式(9)定义的实例对比损失以确保同一样本的两个变体在特征空间中更接近，且同一批次的其他样本被拉开：
[0036][0037]
其中，是增广后的目标域样本。
[0038]
进一步地，步骤s3中，采用监督损失l
sup
、域间对比对齐损失l
clu
和实例对比对齐损失l
ins
构建总体训练目标的损失函数l
total
：
[0039]
l
total
＝l
sup
αl
clu
βl
ins
[0040]
其中，α,β为超参数，通过交叉验证实验获得具体值。
[0041]
本发明提出一种区分简单与困难样本的无监督域适应方法，首先对依据目标域样本的熵的值对目标域样本进行区分，将其分为简单和困难样本。其次，针对目标域简单样本的无监督域适应，本发明将区分好的目标域简单样本输入到源域数据训练好的分类器中进行标记伪标签。最后，针对目标域困难样本的无监督域适应，本发明利用带标记的源域样本和标记完成的目标域简单样本重新训练，来学习更加鲁棒的分类器，然后，计算源和目标域类中心，分别优化域间对比对齐和实例对比对齐，来减少域间和域内差异。
[0042]
有益效果：
[0043]
本发明的区分简单与困难样本的无监督域适应方法，将无监督域适应中的目标域样本区分为简单和困难样本，针对不同的样本执行不同的标签分配策略，将分配好标签的简单样本拉入到困难样本的学习阶段，以此来促进目标域困难样本的学习；使模型泛化能力更强，分类准确率更高。
附图说明
[0044]
图1是本发明实施例的区分简单与困难样本的无监督域适应方法流程图；
[0045]
图2是本发明实施例的区分简单与困难样本的无监督域适应方法网络的模型结构示意图；
[0046]
图3是本发明实施例的区分简单与困难样本的无监督域适应方法网络中分类器结构示意图；图3是图2网络结构的具体展开，g代表特征提取器，图2中的分类器c对应图3中的分类器c1和分类器c2，q1和q2表示分类器输出的标签信息。
具体实施方式
[0047]
下面的实施例可使本专业技术人员更全面地理解本发明，但不以任何方式限制本发明。
[0048]
图1是本发明实施例的区分简单与困难样本的无监督域适应方法流程图，参见图1-3，该无监督域适应方法包括以下步骤：
[0049]
s1，样本区分：依据目标域样本的熵值来对目标域样本进行区分，将熵值大于等于预设熵值阈值的样本定义为简单样本，将熵值小于预设熵值阈值的样本定义为困难样本。
[0050]
s2，简单样本的无监督域适应：对于分类为简单样本的目标域样本，采用源域训练好的分类器对其分配伪标签。
[0051]
s3，困难样本的无监督域适应：对于分类为困难样本的目标域样本，利用步骤s2中分配好伪标签的简单样本将无监督域适应调整为半监督域适应，通过源域标签和目标域简单样本的标签来训练得到更加鲁棒的分类器，计算类中心，分别优化域间对比对齐和实例对比对齐，以减少域间和域内差异。
[0052]
步骤1：对目标域样本进行分类区分。
[0053]
在无监督域适应问题中，目标域样本的分类难度是不同的，具体而言，当目标域样本背景比较复杂，代表目标域样本的私有信息比较多，这样就不便于源域训练的分类器对其进行分类。这种样本区分度的不同很容易导致训练过程中的模型偏差，从而导致负迁移。
[0054]
为了避免目标域分类区分不同的问题，本实施例对目标域样本进行区分。依据目标域样本熵值的大小将目标域样本区分为简单和困难样本。具体而言，根据式(1)求得目标域样本的熵，根据式(2)得到区分后的目标域样本和
[0055][0056][0057]
其中，vk为分类器输出类k的概率，k是分类器输出总类数，τ为所设置的阈值，n
t
代表目标域的样本数量，和分别表示简单和困难的目标域样本。
[0058]
步骤2：目标域简单样本的无监督域适应。
[0059]
在无监督域适应分类任务中，目标域样本熵值越高表示样本标签的置信度越高，因此通过源域分类器给目标域简单样本分配伪标签具有较高的可行性。
[0060]
根据式(3)分配目标域简单样本伪标签
[0061]
[0062]
其中，f和g分别是源域训练的分类器和特征提取器。
[0063]
步骤3：目标域困难样本的无监督域适应。
[0064]
在无监督域适应分类任务中，目标域样本熵值越低表示样本标签的置信度越低，因此通过源域分类器给目标域困难样本分配伪标签是不太可行。为此，本实施例利用源域样本和目标域简单样本重新训练模型，来获得更加鲁棒的分类器，然后，计算源和目标域类中心，分别优化域间对比对齐和实例对比对齐，来减少域间和域内差异。
[0065]
根据式(4)训练源域和简单目标域样本分类器：
[0066][0067]
其中，(yi)k为第i个样本属于第k类的概率，训练样本集合包括源域样本和目标域简单样本x
l
＝xs∪x
easy
。
[0068]
根据式(5)计算源域类质心：
[0069][0070]
其中，b为每个训练批次样本数量大小，为源域的第i个样本，为源域第i个样本的标签信息，表示判断是否属于第k个类，我们将每个类的源域质心存储在内存库
[0071]
根据式(6)对目标域困难样本赋值伪标签来计算对比损失，类似于式(5)计算目标域样本类质心如式(7)：
[0072][0073][0074]
其中，为目标域第i个样本，为目标域第i个样本的标签。
[0075]
通过最大化源和目标域每个类k的聚类损失来训练该模型，具体形式如式(8)：
[0076][0077]
其中，q∈{s,t}，是测量余弦相似度的指数，是上式(5)求得源域第i类的质心，是上式(7)求得目标域第i类的质心，是将源和目标域混合后求得的第r类的质心，ω是超参数。
[0078]
通过对目标域困难样本进行样本增强，根据式(9)定义的实例对比损失以确保同一样本的两个变体在特征空间中更接近，而对于同一批次的其他样本被拉开：
[0079][0080]
其中，是增广后的目标域样本。
[0081]
本实施例所提的区分简单与困难样本的无监督域适应方法，总体训练目标采用监督损失、域间对比对齐损失和实例对比对齐损失：
[0082]
l
total
＝l
sup
αl
clu
βl
ins
ꢀꢀꢀꢀ
(10)；
[0083]
其中，α,β为超参数，通过交叉验证实验获得具体值。
[0084]
本实施例提供了一种区分简单与困难样本的无监督域适应方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。