一种无监督领域适应分类方法、系统、设备及存储介质与流程

1.本发明涉及深度学习领域，具体地说，涉及一种无监督领域适应分类方法、系统、设备及存储介质。


背景技术：

2.深度神经网络已经成为各种任务的基准模型，代价是费时费力的大规模数据注释。然而，随着数字设备和在线应用的突破性发展，对不断膨胀的多媒体数据进行人工标注已经变得不可能。为了避免高昂的标注成本，无监督领域适应已经被开发出来，以利用先前标记的源领域数据来提高模型在无标签的目标域数据上的性能。
3.主流的无监督领域适应方法致力于通过矩匹配或对抗训练学习领域不变特征。尽管无监督领域适应最近取得了可喜的进展，但在现实的场景中，同时访问源领域数据和目标领域数据的假设可能不成立。访问的限制可能是由于存储的限制和数据隐私的限制，特别是当多媒体数据的存储量越来越大，其传输又受到法律和数据提供者的隐私政策的限制。因此，本文致力于无源域适应，只用目标域的数据来适应预训练的源域模型。无源域适应方法不需要在源模型训练完成后访问源域数据，这消除了大规模数据的存储和传输消耗，同时也不违反数据约束。然而，现有的无源域适应没有考虑无标签目标域数据的两大特点：一是，无论目标域数据是否与分类器对齐，目标域数据都会在特征空间中形成聚类；二是，具有较高置信度的目标域样本更可靠，在领域适应过程中其分类置信度的变动更小。此外，现有的无源域适应方法难以处理具有类不平衡的数据，即同领域内类间样本数差异大，以及不同领域间同类样本数差异大的数据。比如，源领域类1和类2分别具有1000和10个样本，而在目标域类1和类2分别具有10和1000个样本。
4.综上所述，现有的领域适应分类方法没有考虑无标签目标域数据的两大特点，也难以处理类不平衡的数据。


技术实现要素：

5.本发明针对现有的无监督领域适应方法存在的应用设置不合理以及难以处理类不平衡数据的问题，提出一种无监督领域适应分类方法、系统、设备及存储介质，通过构建一个深度卷积网络模型，根据有标签源领域数据训练源域模型，根据源域模型构建目标域模型，训练目标域模型以执行领域适应，根据无标签目标域数据做无监督学习，提取目标域数据的特征和分类概率，并通过计算近邻对齐损失、正则损失、分散损失、跨视图对齐损失和跨视图近邻对齐损失，迭代地提升目标域模型的图像分类能力，消除域偏移和类不平衡所造成的误分类问题，实现了无监督领域适应图像分类。
6.本发明具体实现内容如下：一种无监督领域适应分类方法，包括以下步骤：步骤s1：获取训练数据，收集一批带标签的源领域图像数据，收集一批无标签目标领域图像数据；
步骤s2：构建一个深度卷积网络模型，基于有标签源领域数据做图像分类任务，所述深度卷积网络由特征提取器和线性分类器组成；所述图像分类任务目标函数是最小化交叉熵，训练得到的模型称为源域模型；步骤s3：基于所述源域模型，构建一个深度卷积网络模型，称为目标域模型，以源域模型的参数初始化目标域模型，训练目标域模型以执行领域适应；步骤s4：基于无标签目标域数据做无监督学习，提取目标域数据的特征和分类概率，基于所述目标域数据的特征计算近邻对齐损失，基于所述目标域数据的分类概率计算正则损失和分散损失，基于所述目标域数据的分类概率划分目标域数据集，高置信度样本划入可靠集合，低置信度样本划入弱可靠集合，基于高置信度样本和低置信度样本的分类概率计算跨视图对齐损失和跨视图近邻对齐损失；步骤s5：基于所述近邻对齐损失、正则损失、分散损失、跨视图对齐损失和跨视图近邻对齐损失迭代更新所述目标域模型，训练得到的目标域模型作为无标签目标域数据的图像分类模型。
7.为了更好地实现本发明，进一步地，构建的源领域卷积网络和目标域卷积网络，由特征提取器和线性分类器组成；所述特征提取器提取的特征要经过l2正则化，所述线性分类器的参数向量要经过l2正则化，此时计算得到的分类概率不会偏向具体的类，类边界划分更加均衡，降低同域内类标签分布差异的影响，也降低源领域和目标域之间类标签分布差异的影响。
8.为了更好地实现本发明，进一步地，基于所述源域模型，构建一个深度卷积网络作为目标域模型，以源域模型的参数初始化目标域模型，训练目标域以执行领域适应；不同于过去的无监督领域适应图像分类方法，所述源域模型和目标域模型是用不同领域的训练数据训练得到的，源域模型只作为目标域模型的初始化模型；过去的方法需要同时获取有标签源域数据和无标签目标域数据，并基于这两种数据训练出一个目标域模型。
9.为了更好地实现本发明，进一步地，基于无标签目标域数据做无监督学习，提取目标域数据的特征和分类概率，建立两个固定容量的特征队列和分类概率向量队列；这两个队列的更新方式为，在目标域模型的每次训练迭代中，随机采样一批数据，为这批数据计算新的特征和分类概率，根据这批数据的索引放入队列的相应位置。
10.为了更好地实现本发明，进一步地，基于所述目标域数据的特征，搜索每个样本的近邻特征，取近邻的分类概率作为监督信号，计算近邻对齐损失；所述近邻对齐损失，其目的在于，利用同类样本在特征空间趋于聚集为簇的现象，使每个样本和其近邻的分类概率保持一致，以维持和提高同类样本的聚集程度和分类准确率。
11.为了更好地实现本发明，进一步地，基于所述目标域数据的分类概率计算正则损失；所述正则损失，其目的在于消除近邻对齐损失中潜在噪声的影响，以及强化每个样本自身的分类概率的确信程度。
12.为了更好地实现本发明，进一步地，基于所述目标域数据的分类概率计算分散损失；所述分散损失，其目的在于，阻止分类器简单地把所有样本分类为固定的几个类，避免某些含样本数少的类别完全被忽略，有助于提高符合长尾分布的类别的分类准确率。
13.为了更好地实现本发明，进一步地，基于所述目标域数据的分类概率划分目标域数据集，高置信度样本划入可靠集合，低置信度样本划入弱可靠集合；所述可靠样本和弱可
靠样本集合划分，其目的在于，探索可靠样本的价值，使可靠样本在领域适应过程中发挥领导作用；将具有高置信度的样本定义为可靠样本，因为具有高置信度的样本的分类结果更加准确，在领域适应过程中置信度的变动情况更小；集合划分的具体实现方式为，在每次遍历整个目标域数据集集之前，首先通过目标域模型为每个样本计算分类概率向量以及伪标签，再根据伪标签将样本划分到各个类别对应的集合，然后计算分类概率向量的信息熵，样本的熵越低其分类置信度越高，选择各个类别集合中低熵样本作为高置信度样本，这些高置信度样本组成的集合即为可靠样本集合，剩余的样本组成的集合即为弱可靠样本结合。
14.为了更好地实现本发明，进一步地，基于高可靠样本和弱可靠样本的分类概率计算跨视图对齐损失；所述跨视图对齐损失，其实现方式为，从可靠样本集合采样一批可靠样本，对可靠样本做两种不同的随机数据增强，一种增强方式称为弱增强，包括图片随机翻转、平移和裁剪，另一种增强方式称为强增强，包括图片随机翻转、平移、裁剪、亮度变化、部分遮挡、高斯模糊等；样本经过弱增强和强增强得到的数据分别称为视图1和视图2，视图1和视图2具有天然的联系，即它们应该具有相同的类别，分类概率向量应该趋于一致；强增强样本不一定在弱增强样本的临近区域，而是可能分散在其所属类别的分布的任意一处，因而跨视图对齐损失能够全局地考虑整个类别的分布，不被局部噪声影响；最小化跨视图对齐损失可以使可靠样本发挥领导作用，使得分散在各处的样本聚集到同类的可靠样本附近，进而提升弱可靠样本的分类准确率。
15.为了更好地实现本发明，进一步地，基于高可靠样本和弱可靠样本的分类概率计算跨视图近邻对齐损失；所述跨视图近邻对齐损失，其目的在于，进一步加强可靠样本的领导作用；其实现方式为，在特征队列中搜索可靠样本的近邻，可靠样本的近邻有非常大的概率也是可靠的，因而这些不在当前批次的数据中的近邻也可以被利用，强化可靠样本在领域适应过程中的领导作用。
16.为了更好地实现本发明，进一步地，线性加权近邻对齐损失、正则损失、分散损失、跨视图对齐损失和跨视图近邻对齐损失，得到最终的目标函数；基于目标函数迭代地反向传播更新目标域模型参数；最终训练得到的目标域模型作为无标签目标域数据的图像分类模型。
17.为了更好地实现本发明，进一步地，所述目标域模型作为无标签目标域数据的图像分类模型，包括：所述目标域模型基于待分类的目标域图像提取待分类图像的分类概率向量，取分类概率向量中最大值所对应的类别，将该类别作为该待分类图像的预测类别；所述目标域模型作为无标签目标域数据的图像分类模型，包括：所述目标域模型基于待分类的目标域图像提取待分类图像的分类概率向量，取分类概率向量中最大值所对应的类别，将该类别作为该待分类图像的预测类别。
18.基于上述提出的无监督领域适应分类方法，为了更好地实现本发明，进一步地，提出一种无监督领域适应分类系统，包括成像单元、数据存储单元、神经网络单元、数据处理单元；所述成像单元，用于采集不同领域的图像样本；所述数据存储单元，用于存储所述不同领域的图像样本；所述神经网络单元，包括以有标签源域数据训练的源域模型和以无标签目标域数据训练的目标域模型；
所述数据处理单元，基于所述有标签源域数据训练源域模型，基于所述源域模型构建目标域模型，基于所述目标域模型提取无标签目标域数据的特征和分类概率向量，基于所述特征和分类概率向量计算近邻对齐损失、正则损失、分散损失、跨视图对齐损失和跨视图近邻对齐损失，基于所述所有损失计算最终的目标函数，基于目标函数迭代的反向传播更新目标域模型参数，基于最终训练得到的目标域模型作为无标签目标域数据的图像分类模型。
19.基于上述提出的无监督领域适应分类方法，为了更好地实现本发明，进一步地，提出一种设备，包括处理器、存储器；所述存储器，用于存储计算机程序；所述处理器，用于执行所述计算机程序时实现上述的无监督领域适应分类方法。
20.基于上述提出的无监督领域适应分类方法，为了更好地实现本发明，进一步地，提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的无监督领域适应分类方法。
21.本发明具有以下有益效果：（1）本发明通过计算近邻对齐损失、正则损失、分散损失、跨视图对齐损失和跨视图近邻对齐损失，迭代地提升了目标域模型的图像分类能力，消除域偏移和类不平衡所造成的误分类问题，实现了无监督领域适应图像分类。
22.（2）本发明每当遇到新目标域的数据时，无需像过去的方法一样重新获取源域数据再重新训练，而是基于无标签目标域数据即可完成训练；这种训练方法适应当今数据传输限制和数据隐私保护的显示需求，对于图像分类方法在实际应用方面具有重要作用。
23.（3）本发明通过计算近邻对齐损失，使每个样本和其近邻的分类概率保持一致，以维持和提高同类样本的聚集程度和分类准确率；通过计算正则损失，消除近邻对齐损失中潜在噪声的影响，强化每个样本自身的分类概率的确信程度；通过计算分散损失，阻止分类器简单地把所有样本分类为固定的几个类，避免某些含样本数少的类别完全被忽略，提高了符合长尾分布的类别的分类准确率；计算跨视图近邻对齐损失，进一步加强可靠样本的领导作用。
附图说明
24.图1是本发明方法的简化流程框图；图2是本发明系统的简化单元连接框图；图3是本发明的一优选实施例的源域模型的简化流程图；图4是本发明的一优选实施例的目标域模型的简化流程图。
具体实施方式
25.为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相
连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
27.实施例1：本实施例提出一种无监督领域适应分类方法，包括以下步骤：步骤s1：采集带标签源域图像数据和无标签目标域图像数据，并将采集到的图像数据作为训练数据；步骤s2：建立一个包括特征提取器和线性分类器的深度卷积网络模型，将带标签源域图像数据进行图像分类，根据训练数据训练得到源域模型；步骤s3：根据源域模型，建立目标域模型，并以源域模型的参数初始化目标域模型；步骤s4：提取目标域图像数据的特征，根据提取的特征，搜索每个图像数据的近邻特征，以近邻的分类概率作为监督信号，计算近邻对齐损失；步骤s5：提取目标域图像数据的分类概率，根据目标域图像数据的分类概率计算正则损失和分散损失，并根据分类概率划分目标域图像数据集，将高置信度图像数据划入可靠集合，将低置信度图像数据划入弱可靠集合，并根据高置信度样本和低置信度样本的分类概率计算跨视图对齐损失和跨视图近邻对齐损失；步骤s6：根据步骤s4得到的近邻对齐损失和步骤s5得到的正则损失、分散损失、跨视图对齐损失、跨视图近邻对齐损失，迭代更新目标域模型，将训练得到的目标域模型作为无标签目标域图像数据的图像分类模型。
28.工作原理：本实施例通过构建一个深度卷积网络模型，根据有标签源领域数据训练源域模型，根据源域模型构建目标域模型，训练目标域模型以执行领域适应，根据无标签目标域数据做无监督学习，提取目标域数据的特征和分类概率，并通过计算近邻对齐损失、正则损失、分散损失、跨视图对齐损失和跨视图近邻对齐损失，迭代地提升目标域模型的图像分类能力，消除域偏移和类不平衡所造成的误分类问题，从而实现无监督领域适应图像分类。
29.实施例2：本实施例在上述实施例1的基础上，对实施例1中步骤进行说明。
30.步骤4和步骤s5中提取目标域图像数据的特征和分类概率的提取方式为：建立固定容量的特征队列f和分类概率向量队列p，在目标域模型的每次训练迭代中，随机采样图像数据，计算采样的图像数据的新的特征和新的分类概率，并根据采样的图像数据的索引放入至队列相应的位置。
31.所述步骤s4中计算近邻对齐损失的具体操作为：随机在目标域中选取图像数据样本x
it
，根据图像数据样本x
it
的特征f
it
，从特征队列f中搜索离数据样本x
it
的cosine距离最近的m个近邻，用n
mi
表示存储近邻的索引集合，根据目标域数据样本x
it
的分类概率向量p
it
、加权系数λ、随机采样的目标域数据样本的数量nb、每个近邻的n个近邻在队列p中的分类概率向量pj、pk，计算出近邻对齐损失l
nc
。
32.所述步骤s5中计算正则损失的具体操作为：最小化随机选取的图像数据样本x
it
的
分类概率p
it
和分类概率p
it
处于队列p的分类概率pi的内积，根据随机采样的图像数据样本的数量nb、最小化后的目标域数据样本x
it
，计算出正则损失l
self
。
33.所述步骤s5中计算分散损失的具体操作为：计算随机选取的图像数据样本x
it
的平均分类概率向量，增大平均分类概率向量的熵，根据熵增大后的平均分类概率，计算出分散损失l
div
。
34.所述步骤s5中根据分类概率划分目标域图像数据集的具体操作为：在每次遍历整个目标域图像数据集之前，首先根据目标域模型计算每个图像数据的分类概率向量和伪标签，其次根据伪标签将图像数据划分到各个类别对应的集合，然后计算分类概率向量的信息熵，选择各个类别集合中前r%个低熵图像数据作为高置信度样本，将高置信度样本组成的集合作为可靠样本集合，将剩余的样本组成的集合作为弱可靠样本集合。
35.步骤s5中计算跨视图对齐损失的具体操作为：从可靠样本集合中随机选取可靠样本，将可靠样本进行弱增强和强增强，得到视图1数据和视图2数据，根据索引为i的目标域数据对应的分类概率向量pi、视图1数据在队列p中的分类概率向量、视图2在队列p中的分类概率向量、选取的可靠样本的数量，计算得到跨视图对齐损失l
cv
。
36.所述步骤s5中计算跨视图近邻对齐损失的具体操作为：在队列f中搜索可靠样本的近邻，强化可靠样本在领域适应过程中的领导作用，根据视图1数据在队列p中的分类概率向量、视图2在队列p中的分类概率向量、加权系数λ、选取的可靠样本的数量，计算出跨视图近邻对齐损失l
cvn
。
37.所述步骤s6的具体操作为：线性加权步骤s4得到的近邻对齐损失和步骤s5得到的正则损失、分散损失、跨视图对齐损失、跨视图近邻对齐损失，得到最终的目标函数，根据最终的目标函数迭代地反向传播更新目标域模型参数，将训练得到的目标域模型作为无标签目标域数据的图像分类模型。
38.本实施例的其他部分与上述实施例1相同，故不再赘述。
39.实施例3：本实施例在上述实施例1-2任一项的基础上，如图1、图3、图4所示，以一个具体的实施例进行详细说明。
40.如图1所示，包括步骤1至步骤5：步骤1：获取训练数据，首先收集一批带标签的源领域图像数据：步骤1：获取训练数据，首先收集一批带标签的源领域图像数据：表示第i个数据样本，表示第i个样本的标签，表示源领域数据的标签空间源领域数据总数是；收集一批无标签目标领域图像数据；深度神经网络在各个应用领域大获成功，代价是费时费力的大规模数据注释。然而，随着多媒体数据的爆炸性增长，针对所有数据进行人工标注已经变得不可能。为了避免高昂的标注成本，无监督领域适应方法被提出，通过利用有标签的源领域数据来提高模型在无标签的目标域数据上的性能。然而，传统的无标签领域适应需要同时获取源领域和目标域数据。在实际场景中，同时访问源领域数据和目标领域数据的需求可能。访问的限制可
能是由于存储或者数据隐私的限制，特别是当多媒体数据的存储量越来越大，其传输又受到法律和数据提供者的隐私政策的限制。
41.因而，本实施例致力于无源域适应，只通过目标域的数据来做领域适应，完成无标签目标域图像分类任务。本实施例消除了大规模数据的存储和传输消耗，同时也不违反数据隐私和法律政策。本实施例基于无标签目标域数据的两大特点：一是，无论目标域数据是否与分类器对齐，目标域数据都会在特征空间中形成聚类；二是，具有较高置信度的目标域样本更可靠，在领域适应过程中其分类置信度的变动更小。此外，本实施例能够处理现有方法难以处理的类不平衡数据，即同领域内类间样本数差异大，以及不同领域间同类样本数差异大的数据。
42.步骤2：构建一个深度卷积网络模型，基于有标签源领域数据做图像分类任务；所述深度卷积网络由特征提取器和线性分类器组成；所述图像分类任务目标函数是最小化交叉熵；训练得到的模型称为源域模型。
43.所述源域模型的特征提取器记为fs，分类器记为cs。同理，源域样本xs特征记为，源域样本xs的分类概率向量记为，其中表示softmax归一化函数，d和分别表示特征的维度和类别数目。源域模型的训练目标函数是最小化交叉熵，因此，可以由如下公式计算得到：其中，ds表示源领域数据集，xs和ys表示源领域样本及其标签，q表示标签ys的独热（one-hot）向量，是以系数对q做标签平滑后得到的向量，q
kls
和p
ks
表示向量q
ls
和ps的第k个元素。
44.由于在现实世界的数据集中，样本并不是均匀分布在不同的类中，而是具有不同程度的类别不平衡，所以上述损失函数将不可避免地使得模型偏好拥有大量数据的类别，而忽略拥有少量样本的类别。由于对类别的偏好可以反映在，特征的模和分类器权重向量的模的乘积上，我们提出一个简单的方法来解决这个类别不平衡问题。
45.具体解决方法为，所述特征提取器提取的特征要经过l2正则化，所述线性分类器的参数向量要经过l2正则化，此时计算得到的分类概率不会偏向具体的类，类边界划分更加均衡，降低同域内类标签分布差异的影响，也降低源领域和目标域之间类标签分布差异的影响；以源领域数据为例，其分类概率公式定义如下：其中，τ是缩放参数，wk是线性分类器的第k个参数向量，表示标签ys对应的参
数向量，表示的转置。
46.步骤3：基于所述源域模型，构建一个深度卷积网络模型，称为目标域模型；以源域模型的参数初始化目标域模型，训练目标域模型以执行领域适应。
47.不同于过去的无监督领域适应图像分类方法，本发明致力于无源域适应，只通过目标域的数据来做领域适应，完成无标签目标域图像分类任务。本发明消除了大规模数据的存储和传输消耗，同时也不违反数据隐私和法律政策。具体来说，构造的新的目标域模型以预训练好的源域模型为初始化参数。同样地，本发明采用特征l2正则化和分类器参数向量l2正则化，处理现有方法难以处理的类不平衡数据，即同领域内类间样本数差异大，以及不同领域间同类样本数差异大的数据。
48.所述目标域模型的训练目标函数的设计，基于无标签目标域数据的两大特点：一是，无论目标域数据是否与分类器对齐，目标域数据都会在特征空间中形成聚类；二是，具有较高置信度的目标域样本更可靠，在领域适应过程中其分类置信度的变动更小。
49.步骤4：基于无标签目标域数据做无监督学习，提取目标域数据的特征和分类概率；基于所述目标域数据的特征，为每个样本搜索近邻特征，取近邻的分类概率作为监督信号，计算近邻对齐损失保持近邻的预测一致；基于所述目标域数据的分类概率计算正则损失和分散损失；基于所述目标域数据的分类概率划分目标域数据集，高置信度样本划入可靠集合，低置信度样本划入弱可靠集合，基于高置信度样本和低置信度样本的分类概率计算跨视图对齐损失和跨视图近邻对齐损失。
50.受上述目标域数据的聚类结构特点的启发，利用高维空间中的聚类结构的直接方法是考虑聚集在一起的点之间的内在一致性，这意味着它们有很大概率来自同一类别。为了从整个数据集中获得最近的邻居，并进行小批量随机梯度优化，本发明将所有目标特征和相应的分类概率向量存储在两个队列中。其公式化表述为：值得注意的是，对于、和，所有目标域样本的索引都是一样的。在每次迭代开始时，我们都会更新这些存储库，用对应于当前小批量数据计算得到的新特征和新分类概率向量，来替换旧的特征和分类概率向量，而不需要进行任何额外的计算。
51.给定任意目标域的样本x
it
，我们使用和之间的余弦相似度搜索其最近的m个近邻n
mi
（一个索引集），其中目标域模型的特征提取器f
t
被初始化为源域模型fs。为了更好地利用特征空间的流形，我们还考虑了来自每个近邻的n个近邻的监督，定义为综上，近邻一致损失可以公式化为如下：
其中，是小批量数据的数目，是当前小批量数据的分类概率向量，是目标域模型的分类器，和是近邻在队列中的分类概率向量。λ是固定设为0.1的加权系数。
52.为了减轻n
mi
和e
ni
中潜在噪音的影响，基于分类概率向量计算正则损失和分散损失：失：其中，是小批量数据的分类概率向量的平均向量，表示向量的第k个元素。由于队列中的pi和样本x
it
的分类概率向量在数值上相同，正则损失加强了分类预测的确定性，使其接近独热（one-hot）向量。而分散损失的作用是避免所有样本被归入某些特定类别，使得目标域模型更加公平地对待所有类别。
53.如前所述，无标签目标域数据特点之一，具有较高分类置信度的未标记的目标样本更可靠，在领域适应过程中其分类置信度的变化更小。基于这个特点，在每个训练周期开始之前，本发明提出一个针对性的解决方案，通过在领域适应过程中赋予可靠样本以指导作用来发掘和利用它们的价值。具体来说，我们的方法首先使用前一阶段训练的模型，初始化时，我们使用源模型来估计未标记的目标数据的预测。然后，整个数据集被自适应地划分为可靠集和弱可靠集，其中可靠集包含每个类别中熵最低的r%（0《r《100）个样本，而弱可靠集包含剩余的样本。这种划分方式对估计目标领域的真实标签分布至关重要。
54.发挥可靠样本的指导作用，实现方式为，从可靠样本集合采样一批可靠样本，对可靠样本做两种不同的随机数据增强。一种增强方式称为弱增强，包括图片随机翻转、平移和裁剪，另一种增强方式称为强增强，包括图片随机翻转、平移、裁剪、亮度变化、部分遮挡、高斯模糊等。样本经过弱增强和强增强得到的数据分别称为视图1和视图2，视图1和视图2具有天然的联系，即它们应该具有相同的类别，分类概率向量应该趋于一致。基于这种思想，所述跨视图对齐损失计算公式如下：其中，pi定义和前述一致，为视图1在队列中的分类概率向量，表示视图2的分类概率向量，nr表示当前一批可靠样本的数量。虽然其公式定义与正则损失的公式类似，但两者的作用有关键性不同：强增强样本不一定在弱增强样本的临近区域，而是可能分
散在其所属类别的分布的任意一处，因而跨视图对齐损失能够全局地考虑整个类别的分布，不被局部噪声影响。最小化跨视图对齐损失可以使可靠样本发挥领导作用，使得分散在各处的样本聚集到同类的可靠样本附近，进而提升弱可靠样本的分类准确率。
55.此外，本发明进一步加强可靠样本的引导作用，设计跨视图近邻对齐损失。在队列中搜索可靠样本的近邻，可靠样本的近邻有非常大的概率也是可靠的，因而这些不在当前批次的数据中的近邻也可以被利用，强化可靠样本在领域适应过程中的领导作用；其具体实现公式如下：其中，所有符号全都如前定义，无二意。
56.步骤5：基于所述近邻对齐损失、正则损失、分散损失、跨视图对齐损失和跨视图近邻对齐损失，计算最终的目标函数：基于目标函数迭代更新所述目标域模型。最终训练得到的目标域模型作为无标签目标域数据的图像分类模型。
57.本实施例的其他部分与上述实施例1-2任一项相同，故不再赘述。
58.实施例4：本实施例在上述实施例1-3任一项的基础上，进行实验验证。本实施例采用领域适应领域的六个主流数据集作为训练和测试的数据集，包含无源领域适应任务的三个主流数据集：office，office-home和visda-c，以及类不平衡的无源领域适应任务的三个主流数据集：office-home(rsut)，visda-c(rsut)和domainnet。office是一个小规模数据集，包含三个领域：amazon(a),webcam(w),dslr (d)，共有31类4652张图片。offic-home是一个中等规模的数据集，包含四个领域：artistic(ar),product(pr),clipart(cl)和real world(rw)，共有65类15500张图片。visda-c是一个具有挑战性的大规模数据集，它的源域即合成图像和目标域即真实图像分别包含12个类别的152k和55k图像。
59.对于类不平衡的无源领域适应任务，visda-c (rsut)是visda-c的类不平衡版本。visda-c(rsut)中类不平衡的严重程度由不平衡因子控制，其中n
max
和n
min
分别代表具有最多样本的类别的样本数和具有最少样本的类别的样本数。不平衡系数可以是10、50或100。offic-home (rsut)是offic-home的不平衡版本，其中artistic领域被排除，因为artistic图像太少，无法创建一个不平衡的子集。domainnet包含四个域real(r)、clipart(c)、painting(p)和 sketch(s)和40个类。以上三个数据集visda-c(rsut)，office-home(rsut)和domainnet的数据分布都具有域内类不平衡和域间标签转移的特点。
60.为了公平比较，对于无源领域适应任务，office和office-home使用传统的分类准确率作为指标，而visda-c使用的是按类计算的平均分类准确率；对于类不平衡的无源领域适应任务，三个数据集都使用按类计算的平均分类准确率作为指标。
61.进一步地，基于本实施例所要求保护的系统在本实施例中被定义为icpr，其余领域适应方法都是使用度较高的方法。实验结果如表1、表2、表3、表4、表5、表6、表7、表8所示，本实施例icpr相比于所有现有方法都展现出持续且显著的改进。具体来说，icpr在中等规模的office-home上击败了a2net（73.1% vs. 72.8%）。在大规模的visda-c上，icpr显示出对比较方法的明显改进，与nrc相比绝对提升值高达 3.0%，与shot 相比绝对提升值 1.6%。从visda-c(rsut)和domainnet对比结果中，我们可以看出，即使训练数据中含有严重的域内类不平衡和标签间偏移，icpr的优越性仍然存在。例如，与isfda相比，icpr在visda-c(rsut)和domainnet上分别实现了 2.87%和 1.96%平均分类准确率提升。
62.在无源领域适应和类不平衡的无源领域适应任务中的比较表明了icpr的有效性，这归功于了本发明提出的各种一致性对齐策略和可靠样本挖掘策略。
63.表1：在无源领域适应任务的office-home数据集上的分类准确率的对比结果1表2：在无源领域适应任务的office-home数据集上的分类准确率的对比结果2表3 在无源领域适应任务的visda-c数据集上的对比结果1
表4 在无源领域适应任务的visda-c数据集上的对比结果2表5 在类不平衡的无源领域适应任务的visda-c(rsut)数据集上的对比结果1表6 在类不平衡的无源领域适应任务的visda-c(rsut)数据集上的对比结果2
表7 在类不平衡的无源领域适应任务的domainnet数据集上的对比结果1表8 在类不平衡的无源领域适应任务的domainnet数据集上的对比结果2本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。
64.实施例5：本实施例在上述实施例1-4任一项的基础上，如图2所示提出一种无监督领域适应分类系统。
65.所述无监督领域适应分类系统包括：成像单元，用于采集不同领域的图像样本；数据存储单元，用于存储所述不同领域的图像样本；神经网络单元，包括以有标签源域数据训练的源域模型和以无标签目标域数据训练的目标域模型；数据处理单元，基于所述有标签源域数据训练源域模型，基于所述源域模型构建目标域模型，基于所述目标域模型提取无标签目标域数据的特征和分类概率向量，基于所述特征和分类概率向量计算近邻对齐损失、正则损失、分散损失、跨视图对齐损失和跨视图近邻对齐损失，基于所述所有损失计算最终的目标函数，基于目标函数迭代的反向传播更新目标域模型参数，基于最终训练得到的目标域模型作为无标签目标域数据的图像分类模型。
66.进一步地，所述数据处理单元基于所述目标域数据的特征计算近邻对齐损失，基于所述目标域数据的分类概率计算正则损失和分散损，基于高置信度样本和低置信度样本的分类概率计算跨视角对齐损失和跨视角近邻对齐损失，并基于线性加权的方式加权近邻对齐损失、正则损失、分散损失、跨视图对齐损失和跨视图近邻对齐损失，计算得到最终的目标函数，用于更新目标域模型。
67.以上对本发明实施例所提供的一种无监督领域适应分类系统进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
68.专业人员还可以进一步意识到，结合本实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
69.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（ram）、内存、只读存储器（rom）、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
70.本实施例的其他部分与上述实施例1-4任一项相同，故不再赘述。
71.以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。