信息迁移方法和装置与流程

摘要: 本技术涉及人工智能(artificialintelligence,ai)技术,尤其涉及一种信息迁移方法和装置。背景技术:1、神经网络迁移学习是将一个在数据集上训...
信息迁移方法和装置与流程

本技术涉及人工智能(artificial intelligence,ai)技术,尤其涉及一种信息迁移方法和装置。

背景技术:

1、神经网络迁移学习是将一个在数据集上训练好的神经网络模型通过一些调整移动到另一个数据集上。迁移学习(transfer learning,tl)是机器学习(machine learning,ml)技术的一种,把已训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大多数任务存在相关性,因此通过迁移学习可以将已经学到的模型参数(亦可以理解为模型学到的知识)通过某种方式分享给新模型,例如,如果模型可以识别狗的图像,则可以使用较小的图像集来训练出识别猫的新模型,该图像集只需要突出狗和猫之间的特征差异。由此可以加快并优化新模型的学习效率。

2、将多个模型的任务集成起来则可以得到一个多任务模型,顾名思义多任务模型可以同时处理多个任务,其实现了任务间信息共享,并且可以采用预先设定的方式实现任务间顺序依赖关系,进而完成任务间信息迁移。但是这种任务间信息迁移方法限制了模型的灵活性和广泛适用性。

技术实现思路

1、本技术提供一种信息迁移方法和装置,以增加模型的灵活性和广泛适用性,提高模型的学习效率和性能。

2、第一方面,本技术提供一种信息迁移方法,包括:获取数据集,所述数据集用于描述多个任务对应的用户交互行为;根据所述数据集获取所述多个任务之间的依赖关系;根据所述多个任务之间的依赖关系完成所述多个任务之间的信息迁移。

3、本技术通过描述多个任务的数据集获取该多个任务之间的依赖关系,并基于该依赖关系实现任务间高效的信息迁移,提高模型的学习效率和性能,此外基于任务数据集的依赖关系还可以增加模型的灵活性和广泛适用性。

4、本技术中可以将所有用户在某一应用场景(例如,音乐流媒体服务)下交互行为样本组成数据集x,y=[(x1,y1,1,y1,2,y1,3,y1,4),(x2,y2,1,y2,2,y2,3,y2,4),(x3,y3,1,y3,2,y3,3,y3,4),…,(xn,yn,1,yn,2,yn,3,yn,4)],其中,(xi,yi,1,yi,2,yi,3,yi,4)代表一条样本,i∈[1,n],该数据集中共有n条样本;标签可以代表不同的任务,例如,下载、转化、付费、激活等,yi,j代表第i个样本中第j个标签对应的任务数据,j∈[1,4],由此该数据集的第i个样本中包含四个任务数据,分别是yi,1,yi,2,yi,3,yi,4。需要说明的是,本技术获取的数据集基于应用场景采用相应的表达方式、数据内容等,因此数据集的表示方式可以有多种,本技术对此也不做具体限定。

5、在一种可能的实现方式中,先根据数据集获取多个任务之间的潜在关系,该潜在关系包括相似性、互补性或因果关系中的至少之一;再根据潜在关系获取多个任务之间的依赖关系。

6、本技术可以根据数据标签构建图网络,通过分析上述数据集中的标签信息,识别出不同任务之间的潜在关系,该潜在关系可以包括任务之间的相似性、互补性或因果关系中的至少之一。示例性的,以上文数据集为例,识别两个任务之间的潜在关系,例如,识别j=1和j=2的标签对应的任务之间的潜在关系,其中,j=1的标签对应的任务数据包括{y1,1,y2,1,y3,1,…,yn,1},j=2的标签对应的任务数据包括{y1,2,y2,2,y3,2,…,yn,2},根据前述两个任务数据集获取二者的相似性、互补性或因果关系,可以得到这两个任务的潜在关系。例如,两个任务之间的相似性,可以通过前述数据集计算方差以得到二者的误差,该误差越小,表示两个任务的相似性越高,则这两个任务中,一个任务的信息(源域的知识)可以帮助另一个任务的学习(目标域的学习任务),因此实现高质量的信息迁移。又例如,两个任务之间的互补性,可以通过前述数据集中数据分布或模态得到,则这两个任务中,有一个任务的信息可以补充另一个任务,提升模型鲁棒性,因此可以实现高质量的信息迁移。又例如,两个任务之间的因果关系,可以通过前述数据集中数据间的函数调用关系,或者,前述数据集中数据的函数调用顺序,等方式得到,则这两个任务中,前序任务的信息对于后序任务的执行非常有用,因此可以实现高质量的信息迁移。

7、可选的,多个任务之间的依赖关系采用贝叶斯关系网络表示。基于上述潜在关系可以得到任务键的依赖关系,例如,基于任务a和任务b的因果关系可知任务a的完成有助于任务b的成功,则可以建立到任务b对任务a的依赖关系,从而在图网络中建立从任务a到任务b的箭头。例如,注册任务发生了10次,付费发生了5次,付费依赖于注册,则可以基于这两个任务的发生概率计算两者间的权重。

8、贝叶斯网络是一种基于概率推理的图模型,用于表示变量间的依赖关系。贝叶斯网络包括有向无环图和条件概率表,其中,有向无环图由节点(变量)和带箭头的边(依赖关系)组成,无循环结构,条件概率表是针对每个节点存储其父节点条件下的概率分布。

9、需要说明的是,本技术除了贝叶斯网络,还可以采用其他图网络表示多个任务之间的依赖关系,对此不做具体限定。

10、如上所述,本技术基于数据集建立多个任务之间的依赖关系,该依赖关系可以反应任务间的相似性、互补性或因果关系中的至少之一,从而实现任务间高效的信息迁移,提高模型的学习效率和性能,并且摒弃人为设定任务间依赖关系的方式,基于任务数据集的依赖关系可以增加模型的灵活性和广泛适用性。

11、本技术中,可以先根据多个任务之间的依赖关系获取在信息迁移中多个任务的权重;再根据多个任务的权重完成多个任务之间的信息迁移。

12、在一种可能的实现方式中,可以根据多个任务之间的依赖关系获取多个任务之间的条件概率和/或互信息,该条件概率用于表示任意两个具备依赖关系的任务中一个任务在特定状态下,另一个任务处于特定状态的概率,该互信息用于表示任意两个具备依赖关系的任务之间的依赖程度;根据多个任务之间的条件概率和/或互信息获取多个任务的权重。

13、条件概率的定义为:假设有两个任务a和b,任务b发生的条件下任务a发生的概率称为条件概率,记作p(a|b),其定义公式为:

14、p(a|b)=p(a∩b)/p(b)

15、其中,p(a∩b)表示任务a和任务b同时发生的概率,p(b)表示任务b发生的概率。

16、上述任务a和任务b具备依赖关系,是指该两个任务之间具有相似度高、相互互补或者因果关系中的至少一种潜在关系,用条件概率表表示的话,就是该两个任务的条件概率不为0,用图网络表示的话,就是该两个任务对应的节点之间有带箭头的边,用于表示二者的依赖关系。

17、特定状态可以是指任务发生,例如,上述任务b发生,任务a发生,则条件概率用于表示具备依赖关系的任务a和任务b中,当任务b发生,任务a发生的概率。或者,特定状态可以是指任务完成,例如,任务a完成和任务b完成,则条件概率用于表示具备依赖关系的任务a和任务b中,当任务a完成,任务b完成的概率。需要说明的是,特定状态还可以包括其他任务状态,本技术对此不做具体限定。

18、权重反映了任务之间的依赖关系,可以使得信息迁移更加自适应和准确。例如,在处理多个并行任务时,根据权重智能地调度这些任务,以确保所有任务都能按照正确的流程串行执行,从而提高整体效率和任务完成的准确性。

19、在一种可能的实现方式中,可以根据第一任务的权重和第一任务的输出向量得到第二任务的输入向量,并经过多层感知机mlp对所述第二任务的输入向量处理后得到第二任务的输出向量,第一任务是第二任务的前序任务。

20、可选的,信息迁移包括多个任务之间的特征向量迁移。在特征向量迁移中,可以采用向量函数单元(vector fuction unit,vfu)改进方法。即,利用多层感知机(multi-layerperceptron,mlp)作为骨干网络(backbone),将前序任务(例如上文的任务a)的输出向量作为后序任务(例如上文的任务b)输入向量,通过mlp处理后得到后序任务的输出向量。后序任务的输出向量捕捉了多任务的深层特征,有助于更好地进行信息迁移。例如,在自然语言处理任务中,前序任务的输出向量可以包含词汇、句法和语义信息,这些信息对于后序任务的执行很重要。通过这种方式,可以改进信息迁移的效果,使得任务之间的信息传递更加高效和准确。

21、在一种可能的实现方式中,可以根据第一任务的权重和第一任务的预测值获取第二任务的预测值,第一任务是第二任务的前序任务。

22、可选的,信息迁移包括多个任务之间的预测值迁移。可以使用预测值(logits信息)进行迁移。即,根据构建的贝叶斯网络,计算任务之间的条件概率和互信息等。然后使用任务的权重作为加权的依据。logits是任务信息的集中表示,包含了任务的深层特征和预测信息,作为模型预测的中间结果,常用于后续的概率转换或知识迁移。通过使用logits进行迁移,能够实现更稳定高效的迁移。例如,在图像分类任务中,logits可以表示图像的深层特征和分类概率,这些信息可以迁移至后序图像子类分类任务,利用共享的分类概率空间实现图像子类分类任务。又例如,在自然语言识别任务中,logits可以表示图像的深层特征和语义特征,这些信息可以迁移至后序语音识别任务,利用共享的语义特征空间实现语音识别。加权衡量了任务之间的依赖强度,使得迁移效果更加显著,提高了任务间的协同效率。

23、机器学习中的信息迁移的关键是减小源域和目标域之间的条件概率分布差异,从而实现知识的有效迁移,本技术利用任务间的依赖关系可以达到这一目标,例如,用于表示任务间的依赖关系的贝叶斯网络可以高效地计算复杂任务的条件概率。

24、第二方面,本技术提供一种信息迁移装置,包括:获取模块,用于获取数据集,所述数据集用于描述多个任务对应的用户交互行为;根据所述数据集获取所述多个任务之间的依赖关系;处理模块,用于根据所述多个任务之间的依赖关系完成所述多个任务之间的信息迁移。

25、在一种可能的实现方式中,所述处理模块,具体用于根据所述多个任务之间的依赖关系获取在信息迁移中所述多个任务的权重;根据所述多个任务的权重完成所述多个任务之间的信息迁移。

26、在一种可能的实现方式中,所述处理模块,具体用于根据所述多个任务之间的依赖关系获取所述多个任务之间的条件概率和/或互信息,所述条件概率用于表示任意两个具备依赖关系的任务中一个任务在特定状态下,另一个任务处于所述特定状态的概率,所述互信息用于表示任意两个具备依赖关系的任务之间的依赖程度;根据所述多个任务之间的条件概率和/或互信息获取所述多个任务的权重。

27、在一种可能的实现方式中,所述信息迁移包括所述多个任务之间的特征向量迁移;或者,所述信息迁移包括所述多个任务之间的预测值迁移。

28、在一种可能的实现方式中,所述处理模块,具体用于根据第一任务的权重和所述第一任务的输出向量获取第二任务的输入向量,并经过多层感知机mlp对所述第二任务的输入向量处理后得到所述第二任务的输出向量,所述第一任务是所述第二任务的前序任务。

29、在一种可能的实现方式中,所述处理模块,具体用于根据第一任务的权重和所述第一任务的预测值获取第二任务的预测值,所述第一任务是所述第二任务的前序任务。

30、在一种可能的实现方式中,所述获取模块,具体用于根据所述数据集获取所述多个任务之间的潜在关系,所述潜在关系包括相似性、互补性或因果关系中的至少之一;根据所述潜在关系获取所述多个任务之间的依赖关系。

31、在一种可能的实现方式中,所述获取模块,具体用于通过分析所述数据集中的标签信息识别得到所述多个任务之间的潜在关系。

32、在一种可能的实现方式中,所述多个任务之间的依赖关系采用贝叶斯关系网络表示。

33、第三方面,本技术提供一种计算机设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述第一方面中任一项所述的方法。

34、第四方面,本技术提供一种计算机可读存储介质,包括计算机程序,所述计算机程序在计算机上被执行时,使得所述计算机执行上述第一方面中任一项所述的方法。

35、第五方面,本技术提供一种计算机程序产品,所述计算机程序产品包括计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行上述第一方面中任一项所述的方法。