基于动态加权学习和元学习的无监督域适应图像分类方法与流程

1.本发明涉及一种基于动态加权学习和元学习的无监督域适应图像分类方法，属于迁移学习中的域适应领域。


背景技术：

2.域适应，主要解决的问题是具有相同特征和类别，但是数据特征分布不同的源域和目标域。通过将源域的知识迁移到目标域中，解决目标域任务。目前，域适应已经应用在诸多领域并取得了成功。例如，在行人重识别方面，传统的行人重识别利用标注好的行人图片数据集作为训练集，实现现实世界中的行人重识别问题。但是，采集这些行人图片并手动赋予标签是一件耗时耗力的事情，因此研究者们引入域适应方法，以其他场景的行人图片作为训练集(其分布与待完成任务的图像分布相似但不相同)，并取得了良好的效果。
3.无监督域适应的目的是将有标签的源域样本中所学知识传递给无标签的目标域样本。无监督域适应能利用现有的源域带标签数据和网络模型以及相关的目标域无标签数据学习得到适用于目标域数据分类的网络模型。传统的无监督域适应方法通常利用相关距离度量等措施去对齐深层网络输出的源域和目标域的数据分布。近年来许多对抗性域适应的方法也被提出，并取得了较为显著的成果，这些方法大多是基于生成对抗网络。主要做法是训练鉴别器鉴别采样特征是来自于源域还是目标域，同时训练特征提取器欺骗鉴别器，以此使得源域和目标域特征分布对齐，无法区分。这些方法大多侧重于测量域级别上的域差异，而不区分来自两个域的样本是否根据所属的类别进行对齐。即便全局域统计数据完全混淆，源域和目标域之间的差距也不一定被减少，甚至还会将不同类别的样本混合到一起，因此，分类效果还有待提高。


技术实现要素：

4.针对现有技术的不足，本发明提出了一种基于动态加权学习和元学习的无监督域适应图像分类方法，以解决现有的域适应方法中域对齐任务和分类任务本身之间的优化不一致性问题。
5.本发明的技术方案：本发明提出一种基于动态加权学习和元学习的无监督域适应图像分类方法，首先对源域和目标域的样本进行加权处理，防止这两个域的样本大小不平衡而造成的模型偏差。其次，计算出域对齐和类判别之间的平衡因子τ来进行动态加权学习。最后，将域对齐放在元训练任务下，将对象分类任务放在元测试任务下，利用这种基于元优化的策略来加强其优化网络参数的一致性。本模型具有泛化能力强，分类准确率高等优点。
6.技术方案：本发明所述的一种基于动态加权学习和元学习的无监督域适应图像分类方法，包括以下步骤：步骤1)样本加权：对源域和目标域的每个样本进行加权处理，每个域中的样本的权重与它们在这两个域的总样本量的比例成反比；
步骤2)构造动态平衡因子：采用最大平均差异(mmd)计算源域和目标域数据分布对齐程度，采用线性判别分析(lda)计算源域和目标域的可判别性，对这两个估计值进行归一化处理，计算平衡因子τ；步骤3)计算域对齐损失：将域对齐任务放在元训练中，计算域对齐损失，更新网络参数；步骤4)计算分类损失：将分类任务放在元测试中，计算分类损失，通过元优化计算模型总损失，更新模型参数。
7.所述基于动态加权学习和元学习的无监督域适应图像分类方法的进一步设计在于，所述步骤1)中源域和目标域样本进行加权的方法：根据式(1)进行样本加权，得到加权后的样本和
8.样本加权算法如下：其中，α∈(0,1]是控制样本加权程度的超参数，n
s
和n
t
分别表示源域和目标域的样本数量，和分别代表源域和目标域的样本。
9.所述基于动态加权学习和元学习的无监督域适应图像分类方法的进一步设计在于，所述步骤2)中构造动态平衡因子具体包括如下步骤：步骤2
‑
1)根据式(2)计算源域和目标域之间的数据分布对齐程度：其中，分别是提取源域和目标域的特征，较小的mmd(d
s
,d
t
)意味着更好的对齐程度。
10.步骤2
‑
2)根据式(3)计算源域和目标域的可识别性：其中，s
b
是类间散射矩阵，s
w
是类内散射矩阵，较大的j(w)意味着更好的可辨别性。
11.步骤2
‑
3)根据式(4)对式(2)和式(3)做归一化处理：其中，式(2)和式(3)计算的值通常不在一个数量级，为了合理的将这两个值规范化，我们将其进行线性变化，并将结果映射到[0,1]范围内。
[0012]
步骤2
‑
4)根据式(5)计算出动态平衡因子τ：其中，较小的表示更好的域对齐，较小的表示更好的可辨
别性。当对齐程度远优于可辨别性时，接近0，接近1，τ接近0。当对齐程度远低于可辨别性时，接近1，接近0，τ接近1。
[0013]
所述基于动态加权学习和元学习的无监督域适应图像分类方法的进一步设计在于，所述步骤3)中计算域对齐损失，根据式(6)更新网络参数θ：其中，θ
m
表示m
th
∈{1,...,m}组的参数。
[0014]
所述基于动态加权学习和元学习的无监督域适应图像分类方法的进一步设计在于，所述步骤4)中计算分类损失，通过元优化计算模型总损失，更新模型参数。有益效果
[0015]
本发明提出了一种基于动态加权学习和元学习的无监督域适应图像分类方法，是一种全新的基于动态加权学习和基于元优化策略的metaalign。首先，通过对两个域的样本进行加权处理，防止这两个域的样本大小不平衡而造成的模型偏差。其次，计算出域对齐和类识别之间的平衡因子τ来进行动态加权学习。最后，将域对齐放在元训练任务下，将对象分类任务放在元测试任务下，利用这种基于元优化的策略来加强其优化网络参数的一致性。通过这种方式可以使的域对齐学习和分类学习这两种学习处于有效的学习状态，两者可以同时向好的方向推进(即域距离小，判别性大)；本发明将无监督域适应中的域对齐学习与分类学习，分别放在元训练和元测试下计算域对齐损失和分类损失，通过计算出的域对齐损失，更新网络参数θ，将θ用于计算分类损失，以此来加强优化网络参数的一致性。使模型泛化能力更强，分类准确率更高。
附图说明
[0016]
图1是基于动态加权学习和元学习的无监督域适应图像分类方法框架图；图2是基于动态加权学习的无监督域适应图像分类方法网络的模型图；图3是基于元学习的无监督域适应图像分类方法网络中分类任务网络模型图。
具体实施方式
[0017]
为了使本领域研究人员更好地理解本技术中的技术问题和技术方案，并实现申请所能达到的技术效果，下面结合附图1
‑
3和具体实施方式对本发明一种全新的基于动态加权学习和元学习的无监督域适应图像分类方法框架作进一步详细说明。
[0018]
本发明提出的一种基于动态加权学习和元学习的无监督域适应图像分类方法包括下述步骤，流程如图1所示：步骤1：对源域和目标域样本加权。
[0019]
在无监督域适应问题中，当一个域的样本量与另一个域的样本量相差很大时，具体而言，具有大样本量的域相当于在训练过程中具有较大的权重。这种不平衡很容易导致训练过程中的模型偏差，并导致较差的域对齐和分类，从而导致负迁移。
[0020]
为了避免两个域的样本量大小不平衡的问题，本发明对源域和目标域的样本进行直观的加权。每个域样本的权重与它们在这两个域的总样本量中的比例成反比。具体而言，
根据式(1)进行样本加权，得到加权后的样本和和其中，α∈(0,1]是控制样本加权程度的超参数，n
s
和n
t
分别代表源域和目标域的样本数量，和分别表示源域和目标域的样本。
[0021]
步骤2：构造动态平衡因子。在无监督域适应图像分类任务中为了避免过度的域对齐或独立的可辨别性，并使两者能同时朝着一个好的方向发展，本发明提出实时测量每次迭代的域对齐度和可判别性，然后构造一个动态平衡因子τ来控制域对齐损失和类可判别损失的权重。
[0022]
最大平均差异(mmd)和线性差异分析(lda)分别用于测量当前跨域特征表示的域对齐程度和类可判别性。
[0023]
根据式(2)计算源域和目标域之间的数据分布对齐程度。其中，分别是提取源域和目标域的特征，较小的mmd(d
s
,d
t
)意味着更好的域对齐程度。
[0024]
根据式(3)计算源域和目标域的可识别性：其中，s
b
是类间散射矩阵，s
w
是类内散射矩阵，较大的j(w)意味着更好的可辨别性。
[0025]
根据式(4)对式(2)和式(3)做归一化处理。其中，式(2)和式(3)计算的值通常不在一个数量级，为了合理的将这两个值规范化，我们将其进行线性变化，并将结果映射到[0,1]范围内。
[0026]
根据式(5)计算出动态平衡因子τ：其中，较小的表示更好的域对齐，较小的表示更好的可辨别性。当对齐程度远优于可辨别性时，接近0，接近1，τ接近0。当对齐程度远低于可辨别性时，接近1，接近0，τ接近1。
[0027]
步骤3：计算域对齐损失。
[0028]
通过学习领域不变特征表示，对抗性学习已成功地引入领域对齐。本发明为了获得域不变的特征表示，输入加权样本和通过特征提取器g提取特征。通过优化式(6)的
域对齐损失，训练特征提取器g的参数θ
g
和域鉴别器d的参数θ
d
。将域对齐任务放在元训练中，计算域对齐损失，通过式(7)更新网络中特征提取器g的参数θ：中，计算域对齐损失，通过式(7)更新网络中特征提取器g的参数θ：其中，θ
m
表示m
th
∈{1,...,m}组的参数。通过元学习将元训练中的域对齐网络所得的特征提取器g的参数θ传到元测试中的分类网络。对抗性学习可以有效地实现领域对齐。
[0029]
步骤4：计算分类损失。
[0030]
通过使分类器c1,c2的差异最大化，以获得强判别特征。通过式(8)优化类鉴别损失，训练特征提取器g的参数θ，分类器c,c1,c2的参数θ
c
,θ
c1
,θ
c2
。
[0031]
参照图2，将无标签的目标域图像和有标签的源域图像进行样本加权处理后输入到元训练中的域对齐网络中。域对齐网络由一个特征提取器和一个判别器组成。特征提取器g用来提取源域和目标域样本的特征，判别器d用来判别源域图像和目标域图像。由元训练中的域对齐网络产生的损失如下式(9)所示：
[0032]
此外，将无标签的目标域图像和有标签的源域图像进行样本加权处理后输入到元训练中的网络中。分类网络由一个特征提取器和三个分类器组成，如图3所示。特征提取器g用来提取源域和目标域样本的特征，然后输入到由源域数据训练好的三个分类器当中。通过最大化c1,c2之间的差异，来获得强的判别性。由元训练中的分类网络产生的损失如下式(10)所示：
[0033]
因此，基于动态加权学习和元学习的无监督域适应图像分类方法的模型总损失定义如下式：
其中，θ
m
表示m
th
∈{1,...,m}组的参数。为了避免损失计算的复杂性，我们在β＝{β
m
}
m
上添加1范数优化:b是超参数。
[0034]
本发明提供了一种基于动态加权学习和元学习的无监督域适应图像分类方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。