基于异构迁移学习的特征增强方法、装置及存储介质与流程

1.本发明涉及人工智能技术领域，尤其是基于异构迁移学习的特征增强方法、装置及存储介质。


背景技术：

2.随着中国社会经济的飞速发展，科学技术日新月异。深度学习技术在越来越多的应用场景中发挥着重要的作用。无论是大家所熟悉的面部识别还是近些年比较流行的无人驾驶和比较前沿的基于图片的意图推理等等，这些成果都离不开深度学习技术。比如计算机视觉中的图像识别技术已经超越了人类，越来越多的优秀的算法和模型在逐渐的崭露头角。这些技术的是现实需要依靠比较昂贵的成本，且技术的自适应性比较差。这就导致了训练好的模型只能在单一的任务或者特定的数据集上表现良好。目前需要解决的问题是怎么样将这些已经训练好了的模型或者算法应用到其他领域。这样不仅可以节省计算资源，而且可以减少用户的使用等待时间，这是一项非常必要的且具有很大的价值。
3.从相关的背景技术介绍可以得知，目前的迁移学习主要有以下几种：基于样本的迁移学习方法，基于特征的迁移学习方法，基于关系的迁移学习方法以及基于模型的迁移学习方法。基于样本的迁移学习主要是从样本的角度出发，迁移数据之间的特性，从而在目标任务中取得比较好的成果。基于特征的迁移学习方法主要是从样本数据的内在特征出发，将样本特征的共性和差异性表示出来，从而实现更好的泛化性能。基于关系的迁移学习方法更多的是站在整体的角度出发，对于多个数据集之间的关系进行很好的评估，从而找到相似之处。基于模型的迁移学习方法，主要是对于那些已经训练好了的模型，在另外的数据集上的应用已经是达到了比较好的效果，在相似的数据集上只需要进行一定的参数调整即可获得比较好的效果。
4.基于增强特征映射的异构迁移学习中仍然面临着负迁移的风险，尤其是在异构域相关程度不高的情况下。
5.现有的很多方法包含很多的基于隐空间的特征学习方法，根据给定的源域和目标域观察到的特征表示，提取源域和目标域可迁移的隐变量，这种方法通过将目标域映射到可迁移的隐变量张成的隐空间中，利用这些隐变量对一个或者多个源域的知识进行编码，通过这种方法丰富目标域的特征表示，进而提高各种任务中的性能。但是这种单纯的依赖映射的做法会导致负迁移问题，从而影响最终的结果。


技术实现要素：

6.有鉴于此，本发明实施例提供基于异构迁移学习的特征增强方法、装置及存储介质，以解决负迁移的问题。
7.本发明的一方面提供了一种基于异构迁移学习的特征增强方法，包括：
8.从多个源域进行第一特征提取，得到第一特征集合；
9.从目标域进行第二特征提取，得到第二特征集合；
10.根据预设的原始特征、所述第一特征集合和所述第二特征集合，在异构特征空间进行所述源域和所述目标域之间的迁移学习，构建得到基于迁移学习的异构特征空间；
11.其中，所述基于迁移学习的异构特征空间用于进行特征提取。
12.可选地，所述根据预设的原始特征、所述第一特征集合和所述第二特征集合，在异构特征空间进行所述源域和所述目标域之间的迁移学习，构建得到基于迁移学习的异构特征空间，包括：
13.将所述源域和所述目标域的隐空间映射到一个共享隐空间中，所述共享隐空间中还包括所述原始特征。
14.可选地，所述将所述源域和所述目标域的隐空间映射到一个共享隐空间中，包括：
15.根据所述共享隐空间，构造第一投影矩阵和第二投影矩阵；
16.根据所述第一投影矩阵，将所述源域的原始特征合并到所述源域的第一特征集合中；
17.根据所述第二投影矩阵，将所述目标域的原始特征合并到所述目标特征的第二特征集合中。
18.可选地，所述将所述源域和所述目标域的隐空间映射到一个共享隐空间中，还包括：
19.采取监督或者半监督学习方式进行性能最大化的分类。
20.本发明实施例的另一方面提供了一种基于异构迁移学习的特征增强装置，包括：
21.第一模块，用于从多个源域进行第一特征提取，得到第一特征集合；
22.第二模块，用于从目标域进行第二特征提取，得到第二特征集合；
23.第三模块，用于根据预设的原始特征、所述第一特征集合和所述第二特征集合，在异构特征空间进行所述源域和所述目标域之间的迁移学习，构建得到基于迁移学习的异构特征空间；
24.其中，所述基于迁移学习的异构特征空间用于进行特征提取。
25.可选地，所述第三模块，包括：
26.第一单元，用于根据所述共享隐空间，构造第一投影矩阵和第二投影矩阵；
27.第二单元，用于根据所述第一投影矩阵，将所述源域的原始特征合并到所述源域的第一特征集合中；
28.第三单元，用于根据所述第二投影矩阵，将所述目标域的原始特征合并到所述目标特征的第二特征集合中。
29.可选地，所述第三模块，还包括：
30.第四单元，用于采取监督或者半监督学习方式进行性能最大化的分类。
31.本发明实施例的另一方面提供了一种电子设备，包括处理器以及存储器；
32.所述存储器用于存储程序；
33.所述处理器执行所述程序实现如前面所述的方法。
34.本发明实施例的另一方面提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
35.本发明实施例的另一方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如前面所述的方法。
36.本发明的实施例从多个源域进行第一特征提取，得到第一特征集合；从目标域进行第二特征提取，得到第二特征集合；根据预设的原始特征、所述第一特征集合和所述第二特征集合，在异构特征空间进行所述源域和所述目标域之间的迁移学习，构建得到基于迁移学习的异构特征空间；其中，所述基于迁移学习的异构特征空间用于进行特征提取。本发明将原始特征与源域和目标域中提取的特征进行结合，能够在提高迁移学习性能的基础上解决负迁移的问题。
附图说明
37.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为本发明实施例的整体步骤流程图。
具体实施方式
39.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
40.针对现有技术存在的问题，本发明实施例提供了一种基于异构迁移学习的特征增强方法，如图1所示，包括：
41.从多个源域进行第一特征提取，得到第一特征集合；
42.从目标域进行第二特征提取，得到第二特征集合；
43.根据预设的原始特征、所述第一特征集合和所述第二特征集合，在异构特征空间进行所述源域和所述目标域之间的迁移学习，构建得到基于迁移学习的异构特征空间；
44.其中，所述基于迁移学习的异构特征空间用于进行特征提取。
45.可选地，所述根据预设的原始特征、所述第一特征集合和所述第二特征集合，在异构特征空间进行所述源域和所述目标域之间的迁移学习，构建得到基于迁移学习的异构特征空间，包括：
46.将所述源域和所述目标域的隐空间映射到一个共享隐空间中，所述共享隐空间中还包括所述原始特征。
47.可选地，所述将所述源域和所述目标域的隐空间映射到一个共享隐空间中，包括：
48.根据所述共享隐空间，构造第一投影矩阵和第二投影矩阵；
49.根据所述第一投影矩阵，将所述源域的原始特征合并到所述源域的第一特征集合中；
50.根据所述第二投影矩阵，将所述目标域的原始特征合并到所述目标特征的第二特征集合中。
51.可选地，所述将所述源域和所述目标域的隐空间映射到一个共享隐空间中，还包括：
52.采取监督或者半监督学习方式进行性能最大化的分类。
53.本发明实施例的另一方面提供了一种基于异构迁移学习的特征增强装置，包括：
54.第一模块，用于从多个源域进行第一特征提取，得到第一特征集合；
55.第二模块，用于从目标域进行第二特征提取，得到第二特征集合；
56.第三模块，用于根据预设的原始特征、所述第一特征集合和所述第二特征集合，在异构特征空间进行所述源域和所述目标域之间的迁移学习，构建得到基于迁移学习的异构特征空间；
57.其中，所述基于迁移学习的异构特征空间用于进行特征提取。
58.可选地，所述第三模块，包括：
59.第一单元，用于根据所述共享隐空间，构造第一投影矩阵和第二投影矩阵；
60.第二单元，用于根据所述第一投影矩阵，将所述源域的原始特征合并到所述源域的第一特征集合中；
61.第三单元，用于根据所述第二投影矩阵，将所述目标域的原始特征合并到所述目标特征的第二特征集合中。
62.可选地，所述第三模块，还包括：
63.第四单元，用于采取监督或者半监督学习方式进行性能最大化的分类。
64.本发明实施例的另一方面提供了一种电子设备，包括处理器以及存储器；
65.所述存储器用于存储程序；
66.所述处理器执行所述程序实现如前面所述的方法。
67.本发明实施例的另一方面提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
68.本发明实施例的另一方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如前面所述的方法。
69.下面结合说明书附图对本发明的具体实现原理进行详细说明：
70.需要说明的是，异构迁移学习的特征增强方法是基于隐空间隐向量的一种应用，但是单一的特征增强方法会使得负迁移的可能性增加。因此本发明提出来一种特征增强的方法来解决负迁移问题。
71.现有技术提及到的异构迁移学习主要有以下特点：1)异构迁移学习解决特征空间不匹配时的知识迁移问题和不同域的标签空间下不一致的知识迁移问题。2)大多数异构特征空间都是基于不同特征空间的域之间的知识迁移。3)通过单层映射来对其异构域，其中可以是样本映射，也可以是特征映射。
72.相较于现有技术，本发明具有以下特点：1)可以利用大量的无标签的不相关的数据帮助图像更好的聚类。在文本文档的帮助下对于图像的聚类问题进行一定的特征迁移帮助学习更好的模型。2)利用原始特征增强映射，并不是单纯的依赖映射来增强映射。
73.本发明的技术方案如下：1)异构迁移学习的数据特征提取方法与特征表示方法；2)异构特征空间的单层对齐；3)基于隐变量分析的原始特征提取与增强；4)矩阵分解法提取隐变量分析问题；5)通过原始特征的映射来增强映射，并不仅仅单纯的依赖于映射来增强映射。
74.下面对本发明涉及的相关技术原理进行解释说明：
75.1、基于迁移学习的异构特征空间：异构迁移学习分为特征空间不匹配和不同域的
标签空间不一致时的知识迁移。现在几乎所有的异构迁移学习都是在不同特征空间之间进行知识迁移。迁移方法主要有单层对齐法和多层对齐法。单层对齐法是指通过单层映射来对齐异构域，多层对齐法执行多个层次的映射来使之不同的域对齐。基于隐空间学习法，学习由多个域构成的共享隐变量张成的隐空间；基于翻译的方法，直接从源于特征空间翻译到目标域特征空间。进一步解释来说，基于隐空间的对齐策略可以通过隐式语义分析技术来实现，其中也有利用字典学习，流形学习和深度学习等方法。
76.2、隐式变量分析：隐式变量分析作为一种统计方法，它利用较少数量的未观察到的成为隐式因子的变量来描述观察到的变量及其关系。给定源域和目标域观察到的特征表示，提取源域和目标域可迁移的隐变量，将目标域映射到有可迁移的隐变量张成的隐空间中，利用这些隐变量对一个或者多个源域的知识进行编码，从而获得比较丰富的表示，进而在各种任务中提高性能。隐式变量分析的关键点在怎么样提取到信息量比较大或者具有表示性的特征，这些特征的提取直接决定了后续隐空间的效率。
77.3、概率隐式语义分析：概率隐式语义分析方法的核心在于运用多模态的数据，一部分有标记的数据，另一部分未标记的数据。利用有标记的数据区辅助另外一个域没有标记的数据更好的聚类。这种方法利用共同的隐式应用空间中，决定底层数据的底层特征分布的隐变量始终以聚类的形式输出。其中包含两个阶段，第一个阶段是从辅助标签中依据对数似然目标函数，通过em算法对概率值进行估计，刻画出数据和底层数据特征之间的相关性，并且同时可以得到关联矩阵。
78.4、矩阵分解提取隐变量：矩阵分解可以作为提取隐变量的一种方式被广泛的采纳，基于矩阵因子分解的思想来学习共享隐空间。目标是学习目标样本xt在隐空间中最优映射zt以及源实例xs在隐空间中的最优映射zs。具体的优化目标可以表示为如下的表达：
[0079][0080]
其中，第一个损失项l(zs,xs)保证了原样本在潜在空间中的映射尽可能地保留原始结构。第二个损失l(zt,xt)和第一个损失项具有同样的作用。第三个损失项l(zs,zt)可以衡量并且缩小两个映射之间的差异。很显然投影矩阵在语义上是相似的，因此他们的映射在语义上也应该是相似的。显然，矩阵分解提取隐变量并不需要源域和目标域之间有任何对应关系的数据。但是矩阵分解的性能高度依赖于高质量的数据，只有当来自于源域和目标域的数据在语义上足够接近时才能够学习一个有效的隐空间，才可以对来自两个域的共享语义知识进行编码。
[0081]
5、基于异构特征增强的异构迁移学习：矩阵分解提取隐变量对于数据本身的要求比较高，如果当源域的数据和目标域的数据之间的语义相似性并不是很相关的时候，就会出现一系列的问题，而且这些问题是不能被解决的。因此就需要对于数据依赖并不是非常高的方法——协同矩阵分解方法。协同矩阵分解方法抽取推荐领域中多个关系之间的共享隐变量。协同矩阵分解方法同时分解具有行或列对应关系的多个矩阵，分解后使得它们的隐变量是相同。
[0082]
基于协同矩阵分解的方法的异构迁移学习从足够的无标签的源域向目标域中迁移知识，为了缩小域之间的差距。xt被用作是目标域，xs被用作是源域，假设源域和目标域不存在对应关系，所以要充分利用在线资源有源域数据辅助的目标域的
有标签的数据，其中与具有相同的表示结构，为目标域数据对应的ds维标签向量。在此基础之上构造两个列对齐的矩阵，这些矩阵进而联合进行协同矩阵分解。表征a中底层的数据特征域标签之间的相关关系来构建关联矩阵，关系矩阵定义：
[0083][0084]
另一个矩阵获取无标签的数据和a中的标签之间的关系，定义为可以通过xs和x
as
中推理得到。已经构造的g和f都是按照列对齐的，它们都位于源域的特征空间中。通过对两个矩阵进行联合隐变量分解，得到目标函数
[0085][0086]
其中，g被分解为底层数据特征与隐变量的相关矩阵u和ds维数据标签与因变量的相关矩阵v，同样的方法可以将f分解为源于数据在隐空间的表示w和v。从而保证了标签与从两侧的隐变量之间的相关矩阵是相同的，当需要处理一个训练集外的目标样本时，这个样本在隐空间的于一表示可以通过学习到的u推理得到，比如
[0087]
协同矩阵分解可以增强数据的映射，但是同时面临着负迁移的问题。如果映射的异构域非常的不相关，那么映射得到的共享隐空间在分类或者聚类方面可能表现的不尽人意。
[0088]
协同矩阵分解方法是一个很了不起的方法，但是面临着负迁移的问题，从而可能不能在异构域很不相关的时候起作用。协同矩阵分解法依赖映射来增强映射，但是忽略了数据本身的特征结构。可以利用原始数据对特征进行一定的保留，然后将源域和目标域的隐空间映射到同一个隐空间中，这样不仅可以避免了负迁移的问题，而且使得特征增强了。
[0089]
本发明将两个增强特征表示为和将源域和目标域分别映射到共享隐空间。可以构造两个投影矩阵a和b中，将源域和目标域分别映射到隐空间中。接着将源域的原始特征合并到中，可以有零向量填补空缺，同样的方法对目标与进行。
[0090]
本发明可以采取监督或者半监督学习方式进行性能最大化的分类，得到源域的投影矩阵ps和目标域的投影矩阵p
t
。本发明的损失定义为结构风险最小化，实现目标的公式：
[0091][0092][0093][0094][0095]
其中，b是一个平衡参数，μ
p
和μq是两个预定的参数，并且规定都是非负数，主要目的是控制好ps和p
t
的复杂度。上述方法需要一定的有标签的数据，但是保留原始结构的做法很好的解决了负迁移问题。这种负迁移问题是通过原始数据特征结构的保存来实现的，可以实现源域和目标域之间很好的迁移学习。
[0096]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体
上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0097]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
[0098]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0099]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0100]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0101]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0102]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0103]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
[0104]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。