基于类一致性结构化学习的跨域图像分类方法和相关装置与流程

1.本技术属于机器学习技术领域，尤其涉及一种基于类一致性结构化学习的跨域图像分类方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.无监督域适应（domain adaptation）是指在含有标签的源域训练出一个模型应用于无标签的目标域的一种机器学习方法。
3.含有标签的源域数据集和不含标签的目标域数据集可能存在着数据分布差异（边缘分布差异和条件分布差异），进而导致在源域训练好的模型应用于目标域时，模型的性能可能出现明显地下降（“过拟合”）。为了缓解源域和目标域之间的数据分布差异，传统无监督域适应方法可以采用基于特征适应的方法，例如，迁移成分分析（transfer component analysis, tca）和联合分布适应（joint distribution adaptation, jda）；也可以采用基于实例权重的方法，例如，迁移联合匹配方法（transfer joint matching, tjm）和偶合知识迁移方法（coupled knowledge transfer，cket）。
4.为了克服源域和目标域的数据分布差异，目前用于处理图像分类的大多数无监督域适应方法引入了边缘分布匹配和条件分布匹配。样本数据经过边缘分布匹配和条件分布匹配后，会出现处于不同域的同一类别的样本点分布疏散的情况，即不同域的类内样本分布疏散，一致性和连续性较差。相同类别的样本簇分布疏散可能极大地降低了模型对目标域样本的分类性能。


技术实现要素：

5.本技术实施例提供一种基于类一致性结构化学习的跨域图像分类方法、装置、电子设备及计算机可读存储介质，可以解决现有无监督域适应方法中由于类内样本一致性和连续性较差，导致模型对目标域样本的分类性能低下的问题。
6.第一方面，本技术实施例提供一种基于类一致性结构化学习的跨域图像分类方法，包括：获取源域数据集和目标域数据集，源域数据集包括源域样本图像和源域样本图像的标签，目标域数据集包括目标域样本图像；基于使用源域数据集训练的第一图像分类器，获得各个目标域样本图像的初始化伪标签；将源域数据集和目标域数据集投映至同一公共空间，获得源域样本点和目标域样本点，并基于初始化伪标签和标签，根据同一类别的源域样本点和目标域样本点进行初始化，获得投影矩阵、权重矩阵、类别权重矩阵、源域的拉普拉斯矩阵及目标域的拉普拉斯矩阵；根据已学习到的权重矩阵、类别权重矩阵、源域的拉普拉斯矩阵及目标域的拉普拉斯矩阵，对投影矩阵进行更新，获得更新后的投影矩阵；
使用更新后的投影矩阵对源域数据集和目标域数据集进行投映学习，获得投映后的源域样本数据和投映后的目标域样本数据；基于使用带标签的投映后的源域样本数据训练的第二图像分类器，对投映后的目标域样本数据进行分类，获得投映后的目标域样本数据的伪标签；当循环次数未达到预设次数，根据标签和伪标签分别对权重矩阵、类别权重矩阵及目标域的拉普拉斯矩阵进行更新，获得更新后的权重矩阵、更新后的类别权重矩阵及更新后的目标域的拉普拉斯矩阵，并基于更新的后权重矩阵、更新后的类别权重矩阵及更新后的目标域的拉普拉斯矩阵，返回根据权重矩阵、类别权重矩阵、源域的拉普拉斯矩阵及目标域的拉普拉斯矩阵，对投影矩阵进行更新，获得更新后的投影矩阵；当循环次数达到预设次数，则获得各个目标域样本图像的分类结果，分类结果为伪标签。
7.由上可见，本技术实施例提供通过学习源域到目标域的拉普拉斯矩阵，以提供领域之间类内样本的一致性和连续性，以进一步提高模型对目标域样本的分类性能，提升源域至目标域的知识迁移。
8.在第一方面的一些可能的实现方式中，根据权重矩阵、类别权重矩阵、源域的拉普拉斯矩阵及目标域的拉普拉斯矩阵，对投影矩阵进行更新，获得更新后的投影矩阵，包括：基于权重矩阵、类别权重矩阵、源域的拉普拉斯矩阵及目标域的拉普拉斯矩阵，通过公式，获得更新后的投影矩阵；其中，，为源域数据集，为目标域数据集，为投影矩阵，为维度为的单位矩阵，为对角元素是拉格朗日乘子的对角矩阵；；为类别权重矩阵，，
；为包含的前个最近邻接点的目标域样本点集合，；为预先设定的邻接因子，为向上取整符号；分别为源域样本点和目标域样本点；为类别为的源域样本点和目标域样本点；，为源域的拉普拉斯矩阵，为目标域的拉普拉斯矩阵；为权重矩阵，，，，且，且；为超参数；，，为投映后的样本点，为投映后的样本点的标签；，为包含的个最近邻接点的目标域样本点集合，，，为预先设定的最近邻接点数目，为源域和目标域共有的类别数目，和分别为源域和目标域类别为的样本数，分别为源域和目标域中类别为的样本点；；，分别为维数为和的单位矩阵，为元素全为1的方阵。
9.在第一方面的一些可能的实现方式中，根据标签和伪标签分别对权重矩阵、类别权重矩阵及目标域的拉普拉斯矩阵进行更新，获得更新后的权重矩阵、更新后的类别权重矩阵及更新后的目标域的拉普拉斯矩阵，包括：通过公式，根据标签和伪标签计算得到更新后的权重矩阵；通过公式
，根据标签和伪标签计算得到更新后的类别权重矩阵；通过公式，根据标签和伪标签计算得到更新后的目标域的拉普拉斯矩阵。
10.在第一方面的一些可能的实现方式中，基于使用带标签的投映后的源域样本数据训练的第二图像分类器，对投映后的目标域样本数据进行分类，获得投映后的目标域样本数据的伪标签，包括：使用带标签的投映后的源域样本数据训练图像分类器，获得第二图像分类器；使用第二图像分类器对投映后的目标域样本数据进行分类，获得各个投映后的目标域样本数据的第一分类结果，第一分类结果为伪标签。
11.在第一方面的一些可能的实现方式中，基于使用源域数据集训练的第一图像分类器，获得各个目标域样本图像的初始化伪标签，包括：使用源域数据集训练图像分类器，获得训练后的第一图像分类器；使用第一图像分类器对各个目标域样本图像进行分类，获得各个目标域样本图像的第二分类结果，第二分类结果为初始化伪标签。
12.第二方面，本技术实施例提供一种基于类一致性结构化学习的跨域图像分类装置，包括：获取模块，用于获取源域数据集和目标域数据集，源域数据集包括源域样本图像和源域样本图像的标签，目标域数据集包括目标域样本图像；伪标签初始化模块，用于基于使用源域数据集训练的第一图像分类器，获得各个目标域样本图像的初始化伪标签；初始化模块，用于将源域数据集和目标域数据集投映至同一公共空间，获得源域样本点和目标域样本点，并基于初始化伪标签和标签，根据同一类别的源域样本点和目标
域样本点进行初始化，获得投影矩阵、权重矩阵、类别权重矩阵、源域的拉普拉斯矩阵及目标域的拉普拉斯矩阵；投影矩阵更新模块，用于根据权重矩阵、类别权重矩阵、源域的拉普拉斯矩阵及目标域的拉普拉斯矩阵，对投影矩阵进行更新，获得更新后的投影矩阵；投映模块，用于使用更新后的投影矩阵对源域数据集和目标域数据集进行投映学习，获得投映后的源域样本数据和投映后的目标域样本数据；伪标签更新模块，用于基于使用带标签的投映后的源域样本数据训练的第二图像分类器，对投映后的目标域样本数据进行分类，获得投映后的目标域样本数据的伪标签；循环模块，用于当循环次数未达到预设次数，根据标签和伪标签分别对权重矩阵、类别权重矩阵及目标域的拉普拉斯矩阵进行更新，获得更新后的权重矩阵、更新后的类别权重矩阵及更新后的目标域的拉普拉斯矩阵，并基于更新的后权重矩阵、更新后的类别权重矩阵及更新后的目标域的拉普拉斯矩阵，返回根据权重矩阵、类别权重矩阵、源域的拉普拉斯矩阵及目标域的拉普拉斯矩阵，对投影矩阵进行更新，获得更新后的投影矩阵；当循环次数达到预设次数，则获得各个目标域样本图像的分类结果，分类结果为伪标签。
13.在第二方面的一些可能的实现方式中，投影矩阵更新模块具体用于：基于所述权重矩阵、所述类别权重矩阵、所述源域的拉普拉斯矩阵及所述目标域的拉普拉斯矩阵，通过公式，获得所述更新后的投影矩阵；其中，，为所述源域数据集，为所述目标域数据集，为所述投影矩阵，为维度为的单位矩阵，为对角元素是拉格朗日乘子的对角矩阵；；为所述类别权重矩阵，，；为包含的前个最近邻接点的目标域样本点集合，；为预先设定的邻接因子，为向上取整符号；分别为源域样本点和目标域样本
点；为类别为的源域样本点和目标域样本点；，为所述源域的拉普拉斯矩阵，为所述目标域的拉普拉斯矩阵；为所述权重矩阵，，，，且，且；为超参数；，，为投映后的样本点，为投映后的样本点的标签；，为包含的个最近邻接点的目标域样本点集合，，，为预先设定的最近邻接点数目，为源域和目标域共有的类别数目，和分别为源域和目标域类别为的样本数，分别为源域和目标域中类别为的样本点；；，分别为维数为和的单位矩阵，为元素全为1的方阵。
14.在第二方面的一些可能的实现方式中，循环模块具体用于：通过公式，根据所述标签和所述伪标签计算得到所述更新后的权重矩阵；通过公式，
根据所述标签和所述伪标签计算得到所述更新后的类别权重矩阵；通过公式，根据所述标签和所述伪标签计算得到所述更新后的目标域的拉普拉斯矩阵。
15.第三方面，本技术实施例提供一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面任一项的方法。
16.第四方面，本技术实施例一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面任一项的方法。
17.第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中任一项所述的方法。
18.可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
19.图1为本技术实施例提供的基于类一致性结构化学习的跨域图像分类方法的一种流程示意图；图2为本技术实施例提供的基于类一致性结构学习的跨域图像分类方法的另一种流程示意框图；图3为本技术实施例提供的基于类一致性结构学习的跨域图像分类装置的结构框图；图4为本技术实施例提供的电子设备的结构示意框图。
具体实施方式
20.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
21.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
22.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下
文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0023]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0024]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0025]
目前，大多数无监督域适应方法没有考虑领域之间同类样本的一致性和连续性，导致经过数次投映学习至收敛后出现类间分布界限模糊和类内样本分布稀疏的情况。
[0026]
为了提高类内样本的一致性和连续性，本技术实施例提供了基于类一致性结构学习的跨域图像分类方法（cross-domain class-wise structure learning， ccsl），以在cket算法的基础上，通过学习源域到目标域的拉普拉斯矩阵，以提升源域到目标域的知识迁移。
[0027]
另外，考虑到目标域学习到的伪标签有一定的不确定性，本技术实施例提供了一种基于样本分布特点的伪标签可信度机制，以提高目标域伪标签的可信度，进而降低源域至目标域的知识负迁移的风险。
[0028]
请参见图1，为本技术实施例提供的一种基于类一致性结构化学习的跨域图像分类方法的一种流程示意图，该方法可以包括以下步骤：步骤s101、获取源域数据集和目标域数据集，源域数据集包括源域样本图像和源域样本图像的标签，目标域数据集包括目标域样本图像。
[0029]
可以理解的是，源域数据集是已标注的数据，目标域数据集是未标注的数据。源域样本图像中的标签可以表征该图像所属的类别。
[0030]
示例性地，源域数据集和目标域数据集可以使用现有公开的数据集，例如， office-caltech (surf)，coil20和pie等。其中，office-caltech (surf)和coil20是用于物品识别的数据集，pie是用于人脸姿势识别数据集。
[0031]
以office-caltech (surf)数据集为例，office-caltech (surf)包括四个子数据集，分别为c（caltech），a(amazon)，w(webcam)和d（dslr）。每个子数据集包括不同数目的图片，4个子数据集之间共有类别数目为10。从4个子数据集中随机选取一个数据集作为上述源域数据集，从剩余3个子数据集中选取一个作为上述目标域数据集。比如，选取caltech子数据集作为源域数据集，选取amazon子数据集作为目标域数据集。 caltech子数据集包含1123张图片，amazon子数据集包含958张图片，每张图片经压缩提取为800维的列向量，最终获得源域数据矩阵，目标域数据矩阵，源域相应的标签信息为每张图片的真实类别信息，因而源域样本图像的标签，中每个具体元素代表该样本的标签信息，由于共有十个类别，故。
[0032]
此外，还需要获取一些相关参数。相关参数可以包括，投映子空间维度，邻接点个数，以及迭代次数。示例性地，，。
[0033]
在获得相关参数之后，可以根据grid search查找法寻找参数的最优数值，示例性地，。
[0034]
具体应用中，可以根据所选取的源域数据和目标域数据集的不同，输入相应的参数值。例如， office-caltech10对应的子空间维度，；coil20对应的，；pie对应的，。
[0035]
步骤s102、基于使用源域数据集训练的第一图像分类器，获得各个目标域样本图像的初始化伪标签。
[0036]
在获得目标域数据集、源域数据集和相关参数之后，可以在原始空间中初始化目标域样本图像的伪标签。其中，原始空间是相对于投映空间来说。示例性地，目标域样本图像的初始化伪标签可以通过以下过程获得：可以先使用含标签的源域样本图像对图像分类器进行训练，以获得训练后的第一图像分类器。该图像分类器可以示例性为k近邻分类器。在获得训练后的第一图像分类器之后，再使用第一图像分类器对每个目标域样本图像进行分类，得到每个目标域样本图像的分类结果，将目标域样本图像的分类结果作为该目标域样本图像的初始化伪标签，目标域样本图像的分类结果用于表征该图像的所属类别。
[0037]
步骤s103、将源域数据集和目标域数据集投映至同一公共空间，获得源域样本点和目标域样本点，并基于初始化伪标签和标签，根据同一类别的源域样本点和目标域样本点进行初始化，获得投影矩阵、权重矩阵、类别权重矩阵、源域的拉普拉斯矩阵及目标域的拉普拉斯矩阵。
[0038]
具体应用中，将源域数据集中的每个样本图像和目标域数据集中的每个样本图像投映到同一个公共空间，进而获得每个源域样本图像对应的源域样本点和每个目标域样本图像对应的目标域样本点。也即，源域样本点是源域样本图像投映到公共空间中的样本点，目标域样本点是目标域样本图像投映到公共空间中的样本点。
[0039]
可以理解的是，公共空间中的源域样本点对应有相应标签，并且，公共空间中的源域样本点的标签和原始空间中源域样本图像的标签相同。同理，目标域样本点也对应有相应的伪标签，且与原始空间中的目标域样本图像的伪标签相同。基于此，投映之后，可以根据标签确定每个源域样本点的所属类别，根据伪标签确定每个目标域样本点的所属类别，进而可以确定出同属于一个类别的目标域样本点和源域样本点。
[0040]
根据同属于一个类别的目标域样本点和源域样本点，可以获得初始化投影矩阵。然后，再根据初始化投影矩阵、标签和伪标签等信息，通过公式，计算得到初始化的权重矩阵。其中，公式
的获取过程可以如下所示：首先，为了通过增强相同类别的样本簇紧凑性，进而提升目标域图像的分类性能，可以获得如下的数学表达式：（1）。
[0041]
为需要学习的投影矩阵，为源域和目标域共有的类别数目，和分别为源域和目标域类别为的样本数，分别为源域和目标域类别为的样本点。为基于样本分布特点给目标域样本重新赋值的权重，，其赋值规则由以下信任度机制确定：当投映后的目标域样本点位于投映后源域样本点的前k个最近邻接点之中则赋值为1，否则为0。表达为：。是包含的k个最近邻接点的目标域样本点集合，其中，，k为预先设定的最近邻接点数目。
[0042]
基于此，可以将上式1重写成以下式子：（2）为原始的源域和目标域数据集，为源域数据集，为目标域数据集，，，，为投映后的样本点，分别为样本点的标签值，, , ，分别为两个对角矩阵, ，。
[0043]
在获得初始化投影矩阵之后，再根据初始化投影矩阵、标签和伪标签等信息，通过公式，计算得到初始化的类别权重矩阵。
[0044]
并且，根据初始化投影矩阵、标签和伪标签等信息，通过公式
，计算得到初始化的源域的拉普拉斯矩阵和目标域的拉普拉斯矩阵。
[0045]
其中，公式和的获取过程可以如下所示：首先，为实现源域和目标域的全局匹配，引入边缘分布匹配和条件分布匹配，具体表达式为：（3）其中，，；，分别为源域和目标域样本点的下标；分别为源域样本点和目标域样本点；分别为类别为的源域样本点和目标域样本点。
[0046]
然后，在源域和目标域中分别加入局部流形学习，具体表达式如下：
（4）其中，，。
[0047]
为确保同一类别的样本点分布更紧凑，对目标域样本的权重系数用下式进行重新分配：（5）为预先设定的邻接因子，为向上取整符号，为包含的前个最近邻接点的目标域样本点集合。
[0048]
基于此，目标域样本点的权重系数可定义为如下：（6）至此，上式（3）和式（4）可以分别重写为以下表达式：（7）其中，，，赋值同上式（3）。
[0049]
（8）其中，，，，分别为源域和目标域的拉普拉斯矩阵，，，为对角矩阵，求解过程类似。
[0050]
通过上述步骤可以获得初始化的目标域伪标签、初始化的权重矩阵，初始化的类别权重矩阵，初始化的源域的拉普拉斯矩阵，以及初始化的目标域的拉普拉斯矩阵。
[0051]
步骤s104、根据权重矩阵、类别权重矩阵、源域的拉普拉斯矩阵及目标域的拉普拉斯矩阵，对投影矩阵进行更新，获得更新后的投影矩阵。
[0052]
在获得初始化的权重矩阵、类别权重矩阵、源域的拉普拉斯矩阵以及目标域的拉普拉斯矩阵后，通过公式，计算更新后的投影矩阵。
[0053]
其中，为维度为的单位矩阵，为对角元素是拉格朗日乘子的对角矩阵；。
[0054]
公式的获取过程可以如下所示：首先，联合上式（2）、式（7）和式（8），并加入正则项，则可以得到ccsl的最终目标函数：（9）其中，约束项为主成分分析技术（principal components analysis，pca)推导而来以极大化数据方差，，分别为维数为和的单位矩阵，的单位矩阵，为
元素全为1的方阵，为4个预先设定的超参数。
[0055]
上式（9）为非线性函数，故使用拉格朗日乘子进行求解，拉格朗日函数如下所示：（10）最后，对式（10）的进行求导并令其为0，可以得到下式：（11）选取前个最小的特征向量构成投影矩阵。
[0056]
也就是说，基于上式（11），根据矩阵、矩阵、源域的拉普拉斯矩阵以及目标域的拉普拉斯矩阵，计算出投影矩阵，该投影矩阵即为更新后的投影矩阵。
[0057]
步骤s105、使用更新后的投影矩阵对源域数据集和目标域数据集进行投映学习，获得投映后的源域样本数据和投映后的目标域样本数据。
[0058]
在根据上式（11）获得更新后的投影矩阵后，使用更新后的投影矩阵分别将源域数据集中的每个源域样本图像和目标域数据集中的每个目标域样本图像投映到同一公共空间，获得投映后的源域样本数据和投映后的目标域样本数据。
[0059]
步骤s106、基于使用带标签的投映后的源域样本数据训练的第二图像分类器，对投映后的目标域样本数据进行分类，获得投映后的目标域样本数据的伪标签。
[0060]
在一些实施例中，使用带标签的投映后的源域样本数据对图像分类器进行训练，获得训练后的第二图像分类器。该图像分类器可以示例性为k近邻分类器。然后再使用第二图像分类器对投映后的目标域样本数据进行分类，获得每个投映后的目标域样本数据的分类结果，并将该分类结果作为投映后的目标域样本数据的伪标签。也即，对上述初始化伪标签进行更新，获得更新后的目标域伪标签。
[0061]
步骤s107、判断循环次数是否达到预设次数，当循环次数未达到预设次数，则进入步骤s108，反之，当循环次数达到预设次数，则进入步骤s109。
[0062]
具体应用中，循环执行上述步骤s104~步骤s108，即不断更新投影矩阵，并使用更新后的投影矩阵，对目标域的伪标签进行更新。若在执行步骤s106之后，当前时刻的累积循环次数已经大于或等于预设次数，则进入步骤s109，即将当次循环过程中上述步骤s106计算的伪标签作为最终的图像分类结果，并输出当次循环过程中上述步骤s104得到的更新后的投影矩阵；反之，若当前时刻的累积循环次数没有达到预设次数，则进入步骤s108，然后再返回步骤s104。
[0063]
步骤s108、根据标签和伪标签分别对权重矩阵、类别权重矩阵及目标域的拉普拉斯矩阵进行更新，获得更新后的权重矩阵、更新后的类别权重矩阵及更新后的目标域的拉普拉斯矩阵，再返回步骤s104。
[0064]
具体应用中，可以根据标签和伪标签等信息，依据上式（2）更新矩阵，依据上式（7）更新矩阵，依据上式（8）更新目标域的拉普拉斯矩阵。然后再根据源域的拉普拉斯
矩阵、步骤s108中获得的更新后的矩阵、矩阵以及目标域的拉普拉斯矩阵，对投影矩阵进行更新，获得更新后的投影矩阵。接着，再使用更新后的投影矩阵对源域数据集和目标域数据集中的每个数据进行投映学习，获得投映后的源域样本数据和投映后的目标域样本数据，并使用投映后的源域样本数据训练图像分类器，获得训练后的图像分类器，再使用训练后的图像分类器对投映后的目标域样本数据进行分类，获得投映后的目标域样本数据的伪标签。最后判断当前累积循环次数是否达到预设次数，如果循环次数达到预设次数，则将伪标签作为最终的图像分类结果；如果循环次数没有达到预设次数，则更新矩阵、矩阵以及目标域的拉普拉斯矩阵。依次循环，直到循环次数达到预设次数。
[0065]
步骤s109、获得各个目标域样本图像的分类结果，分类结果为伪标签。
[0066]
可以理解的是，每个目标域样本图像的伪标签可以表征目标域样本图像的所属类别。在另一些实施例中，除了可以输出伪标签之外，还可以输出投影矩阵p。
[0067]
需要说明的是，cket在学习投影矩阵的同时，根据投映空间中目标域样本的分布稀疏性对目标域样本权重进行重新分配。而本技术实施例在cket的基础上，学习相同类别中的源域到目标域的拉普拉斯矩阵，以进一步提升领域之间类内样本的一致性和连续性，进而提升源域到目标域的知识迁移。
[0068]
由上可见，本技术实施例提供通过学习源域到目标域的拉普拉斯矩阵，以提供领域之间类内样本的一致性和连续性，以进一步提高模型对目标域样本的分类性能，提升源域至目标域的知识迁移。
[0069]
为了更好地介绍本技术实施例提供的ccsl方法，需要结合图2示出的基于类一致性结构学习的跨域图像分类方法的另一种流程示意框图进行介绍说明。此时，图像分类器具体为k近邻分类器，预设次数为10。
[0070]
如图2所示，首先初始化循环次数t=1，并根据不同数据集输入等参数的相应参数值，以及投映子空间维度和领接点个数k。即根据选取的源域数据集和目标域数据集的不同，输入相应的参数值。
[0071]
然后再使用源域数据集训练k近邻分类器，获得训练后的k近邻分类器。
[0072]
接着，使用训练后的k近邻分类器对目标域数据集中的每个样本进行分类，以初始化每个目标域样本图像的伪标签。并根据上式（2）计算权重矩阵，根据上式（7）计算类别权重矩阵，根据上式（8）计算目标域的拉普拉斯矩阵和源域的拉普拉斯矩阵，以对矩阵、矩阵、目标域的拉普拉斯矩阵、以及源域的拉普拉斯矩阵进行初始化。
[0073]
之后，根据上式（11）计算投影矩阵p，以对初始化的投影矩阵进行更新，获得更新后的投影矩阵。并使用更新后的投影矩阵对源域数据和目标域数据进行投映学习，获得投映后的源域数据和投映后的目标域数据。再使用投映后的源域数据训练k近邻分类器，获得训练后的k近邻分类器，并使用训练后的k近邻分类器对投映后的目标域数据进行分类，得到分类结果，并将该分类结果作为目标域伪标签。
[0074]
判断循环次数t是否小于或等10，如果是，则返回根据上式（2）计算矩阵，根据上
式（7）计算矩阵，根据上式（8）更新目标域的拉普拉斯矩阵和源域的拉普拉斯矩阵的步骤，如果否，则输出目标域伪标签和投影矩阵p，该目标域伪标签则为最终的图像分类结果。
[0075]
应当理解的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0076]
对应于上文实施例所述的基于类一致性结构学习的跨域图像分类方法，图3示出了本技术实施例提供的基于类一致性结构学习的跨域图像分类装置的结构框图，为了便于说明，仅示出了与本技术实施例相关的部分。
[0077]
参照图3，该装置包括：获取模块31，用于获取源域数据集和目标域数据集，源域数据集包括源域样本图像和源域样本图像的标签，目标域数据集包括目标域样本图像；伪标签初始化模块32，用于基于使用源域数据集训练的第一图像分类器，获得各个目标域样本图像的初始化伪标签；初始化模块33，用于将源域数据集和目标域数据集投映至同一公共空间，获得源域样本点和目标域样本点，并基于初始化伪标签和标签，根据同一类别的源域样本点和目标域样本点进行初始化，获得投影矩阵、权重矩阵、类别权重矩阵、源域的拉普拉斯矩阵及目标域的拉普拉斯矩阵；投影矩阵更新模块34，用于根据权重矩阵、类别权重矩阵、源域的拉普拉斯矩阵及目标域的拉普拉斯矩阵，对投影矩阵进行更新，获得更新后的投影矩阵；投映模块35，用于使用更新后的投影矩阵对源域数据集和目标域数据集进行投映学习，获得投映后的源域样本数据和投映后的目标域样本数据；伪标签更新模块36，用于基于使用带标签的投映后的源域样本数据训练的第二图像分类器，对投映后的目标域样本数据进行分类，获得投映后的目标域样本数据的伪标签；循环模块37，用于当循环次数未达到预设次数，根据标签和伪标签分别对权重矩阵、类别权重矩阵及目标域的拉普拉斯矩阵进行更新，获得更新后的权重矩阵、更新后的类别权重矩阵及更新后的目标域的拉普拉斯矩阵，并基于更新的后权重矩阵、更新后的类别权重矩阵及更新后的目标域的拉普拉斯矩阵，返回根据权重矩阵、类别权重矩阵、源域的拉普拉斯矩阵及目标域的拉普拉斯矩阵，对投影矩阵进行更新，获得更新后的投影矩阵；当循环次数达到预设次数，则获得各个目标域样本图像的分类结果，分类结果为伪标签。
[0078]
在一些可能的实现方式中，投影矩阵更新模块具体用于：基于权重矩阵、类别权重矩阵、源域的拉普拉斯矩阵及目标域的拉普拉斯矩阵，通过公式，获得更新后的投影矩阵；其中，，为源域数据集，为目标域数据集，为投影矩阵，为维度为的单位矩阵，为对角元素是拉格朗日乘子的对角矩阵；；为类别权重矩阵，
，；为包含的前个最近邻接点的目标域样本点集合，；为预先设定的邻接因子，为向上取整符号；分别为源域样本点和目标域样本点；为类别为的源域样本点和目标域样本点；，为源域的拉普拉斯矩阵，为目标域的拉普拉斯矩阵；为权重矩阵，，，，且，且；为超参数；，，为投映后的样本点，为投映后的样本点的标签；，为包含的个最近邻接点的目标域样本点集合，，，为预先设定的最近邻接点数目，为源域和目标域共有的类别数目，和分别为源域和目标域类别为的样本数，分别为源域和目标域中类别为的样本点；；，分别为维数为和的单位矩阵，为元素全为1的方阵。
[0079]
在一些可能的实现方式中，循环模块具体用于：通过公式
，根据标签和伪标签计算得到更新后的权重矩阵；通过公式，根据标签和伪标签计算得到更新后的类别权重矩阵；通过公式，根据标签和伪标签计算得到更新后的目标域的拉普拉斯矩阵。
[0080]
在一些可能的实现方式中，伪标签更新模块具体用于：使用带标签的投映后的源域样本数据训练图像分类器，获得第二图像分类器；使用第二图像分类器对投映后的目标域样本数据进行分类，获得各个投映后的目标域样本数据的第一分类结果，第一分类结果为伪标签。
[0081]
在一些可能的实现方式中，伪标签初始化模块具体用于：使用源域数据集训练图像分类器，获得训练后的第一图像分类器；使用第一图像分类器对各个目标域样本图像进行分类，获得各个目标域样本图像的第二分类结果，第二分类结果为初始化伪标签。
[0082]
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本技术实施例方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0083]
图4为本技术一实施例提供的电子设备的结构示意图。如图4所示，该实施例的电子设备4包括：至少一个处理器40（图4中仅示出一个）、存储器41以及存储在所述存储器41中并可在所述至少一个处理器40上运行的计算机程序42，所述处理器40执行所述计算机程序42时实现上述任意各个目标跟踪方法实施例中的步骤。
[0084]
所述电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该电子设备可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅
access memory）、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0092]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0093]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0094]
在本技术所提供的实施例中，应该理解到，所揭露的装置、电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0095]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0096]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。