数据推荐及分类方法、特征融合模型及电子设备与流程

1.本技术涉及计算机技术领域，尤其涉及一种数据推荐及分类方法、特征融合模型及电子设备。


背景技术：

2.数据推荐，如文本推荐、视频推荐、音乐推荐等等，现已被广泛应用。目前，数据推荐通常是根据用户历史数据分析用户喜好，然后基于用户喜好为用户推荐。或者是，根据用户当前浏览的文本、观看的视频或播放的音乐等，给用户推荐与当前浏览的文本、观看的视频或播放的音乐相关的文本、视频或音乐。
3.现有技术中，数据推荐方案只会给用户推荐相近的数据，推荐多样性不足。


技术实现要素：

4.本技术提供一种解决上述问题或至少部分地解决上述问题的一种数据推荐及分类方法、特征融合模型及电子设备。
5.在本技术的一个实施例中，提供了一种数据推荐方法。该方法包括：
6.确定目标数据；
7.根据数据间的关联信息，确定多个数据中与所述目标数据相关的至少一个关联数据；
8.融合所述目标数据的特征信息及所述至少一个关联数据的特征信息，得到所述目标数据的融合特征；
9.基于所述目标数据的融合特征，为用户推荐至少一个推荐数据。
10.在本技术的另一个实施例中，也提供了一种数据推荐方法。该方法包括：
11.响应于用户在交互界面上的操作，输出第一多媒体数据；
12.确定与所述第一多媒体数据相关的至少一个第二多媒体数据；
13.融合所述第一多媒体数据的特征信息及所述至少一个第二多媒体数据的特征信息，得到所述第一多媒体数据的融合特征；
14.基于所述第一多媒体数据的融合特征，确定推荐数据；
15.待输出条件满足时，为所述用户输出所述推荐数据。
16.在本技术的又一个实施例中，还提供了一种数据分类方法。该方法包括：
17.确定与第一多媒体数据相关的至少一个第二多媒体数据；
18.融合所述第一多媒体数据的特征信息及所述至少一个第二多媒体数据的特征信息，得到所述第一多媒体数据的融合特征；
19.根据所述第一多媒体数据的融合特征，确定所述第一多媒体数据所属的分类。
20.在本技术的又一个实施例中，提供了一种基于关系图的特征融合模型。该基于关系图的特征融合模型包括：
21.节点采样模块，用于针对关系图中的第一节点，对所述关系图中的节点进行采样，
以得到与所述第一节点相关的至少一个第二节点；
22.节点特征信息确定模块，用于根据所述第一节点的多模态信息、所述至少一个第二节点的多模态信息以及所述第一节点与所述至少一个第二节点间的边信息，分别为所述第一节点及所述至少一个第二节点配置相应的嵌入特征；根据所述第一节点的多模态信息及所述第一节点对应的嵌入特征，确定所述第一节点的特征信息；根据所述至少一个第二节点的多模态信息及所述至少一个第二节点对应的嵌入特征，确定所述至少一个第二节点的特征信息；
23.特征融合模块，用于将所述第一节点的特征信息及所述至少一个第二节点的特征信息输入特征融合模型，执行所述特征融合模型得到所述第一节点的融合特征；
24.优化模块，用于根据所述第一样本节点的融合特征，执行图重构任务及掩蔽节点特征重建任务，得到各任务对应的执行结果；根据各任务对应的执行结果，优化所述特征融合模型中的参数。
25.在本技术的又一个实施例中，还提供一种电子设备。该电子设备包括存储器及处理器；其中，所述存储器用于存储程序；所述处理器与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述各数据推荐方法中的步骤；或实现上述短视频推荐方法中的步骤。
26.本技术实施例还提供了一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各数据推荐方法中的步骤；或实现上述短视频推荐方法中的步骤。
27.本技术实施例还提供了一种计算机程序产品。该计算机程序产品包括计算机程序，当所述计算机程序被计算机执行时，致使所述计算机能够实现上述各数据推荐方法中的步骤；或实现上述短视频推荐方法中的步骤。
28.本技术各实施例提供的技术方案中，将目标数据的特征信息融合至少一个关联数据的特征信息，得到所述目标数据的融合特征，然后基于融合有其他关联数据的特征信息的融合特征，来为用户推荐数据，有助于提升推荐的多样性，且带来后验信息的融入。
附图说明
29.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要利用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1示出了本技术一实施例提供数据推荐方法的流程示意图；
31.图2示出了本实施例中提及的用户点击视频c进行全屏播放，并通过相应操作显示出推荐视频的示意图；
32.图3示出了本技术实施例中提及的关系图实例以及节点采样示意图；
33.图4示出了本技术实施例中节点特征信息确定过程的原理性示意图；
34.图5示出了本技术实施例中提及的编码模块的一示例图；
35.图6示出了图5中的一层编码器encoder的原理性示意图；
36.图7示出了pmgt的训练过程示意图；
37.图8示出了本技术另一实施例提供的数据推荐方法的流程示意图；
38.图9a示出了本技术另一实施例提供的短视频推荐方法的流程示意图；
39.图9b示出了本技术一实施例提供的数据分类方法的流程示意图；
40.图10示出了本技术一实施例提供的特征融合模型的结构示意图；
41.图11示出了本技术一实施例提供的特征融合模型的训练方法的流程示意图；
42.图12示出了本技术一实施例提供的数据推荐系统的结构示意图；
43.图13示出了本技术一实施例提供的数据推荐装置的结构示意图；
44.图14示出了本技术另一实施例提供的数据推荐装置的结构示意图；
45.图15示出了本技术一实施例提供的短视频推荐装置的结构示意图；
46.图16示出了本技术一实施例提供的电子设备的结构示意图。
具体实施方式
47.在介绍本技术各实施例的内容之前，对下文中会出现的名词或概念进行简要说明，以帮助理解。
48.多媒体(multimedia)数据，是指将多个媒体类型(如文本、图形、图像、声音、视频等)相结合的数据。
49.模态(modality/modal)，每一种信息的来源或形式，都可以称为一种模态。例如，人的触觉、听觉、视觉、嗅觉；信息的媒介有声音、视频、文字等；多种多样的传感器，如雷达、红外、加速度计等，以上的每一种都可以称为一种模态。同时，模态也可以有非常广泛的定义，比如可以把两种不同的语言当做是两种模态，甚至在两种不同情况下采集到的数据集亦可认为是两种模态，等等。在本文中模态具有两种含义：一指特征；二指媒体类型。多模态信息(multimodality side information)指的是：包含多个特征表示或包含多种媒体类型的数据。比如，短视频的多模态信息可包括但不限于：视觉信息(例如视频的帧信息)、文本信息(例如视频标题)、音频信息(例如视频的背景音乐)。网页的多模态信息可包括：文本信息和图片信息(文本中的插图)等。
50.关系图(或称为同构图，homogeneous graph)，关系图中的节点代表一个数据(短视频、网页、音乐、文章等)，关系图中的边表示节点与节点存在相关性，边的权重表示相关性的大小，节点的特征为多种模态特征。
51.预训练(pre-training)，使用训练样本和训练任务对模型进行训练的过程，然后保存训练好的模型或者模型输出的表征，将其用到下游任务。
52.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。在本技术的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的模块、模型、设备等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。此外，下述的各实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有
其他实施例，都属于本技术保护的范围。
53.目前短视频应用较为流行，用户可通过客户端应用上传自己制作的短视频，也可通过客户端应用观看其他用户的短视频。短视频的内容可以是用户自行制作的搞笑视频、商品推介视频、知识分享视频等等。用户在观看短视频时，服务端会为用户推荐其他的短视频，这样在当前短视频播放完后，便会自动播放推荐的短视频。用户不关闭短视频播放界面，客户端应用便会不断的播放服务端推荐给用户的短视频。但现有技术中，是基于当前播放短视频为用户推荐下一短视频。现有技术只会推荐与当前播放短视频相近的短视频，例如，用户会发现：当前看了“彩泥手工制作短视频”，在后需推荐的短视频大概率是手工制作短视频，或是彩泥产品推介短视频等等，其实用户还想看看其他内容的短视频。此时，用户就对推荐的短视频不感兴趣了，可见现有技术提供的技术方案的推荐多样性低。
54.本技术为提升推荐多样性提供了如下各实施例中的技术方案。这里是以短视频推荐举例来引出本技术实施例技术方案提出的原因，实质上本技术实施例提供的技术方案除可应用在短视频推荐外，还可应用在商品推荐、文本推荐、音乐推荐、图片推荐等等。进一步的，本技术如下各实施例提供的技术方案的核心在于：除目标数据(比如用户当前观看的短视频、当前听的音乐等)的特征外，还融合有其他与目标数据相关的数据(如用户历史上观看的短视频、以前听过的音乐、同样观看过相同短视频的其他用户历史上观看的短视频等等)，将融合后得到的特征作为目标数据的融合特征，该目标数据的融合特征，可用作数据推荐，还可用于数据分类(如商品分类、短视频分类、文本分类、音乐分类等)。
55.图1示出了本技术一实施例提供的数据推荐方法的流程示意图。本实施例提供的所述方法的执行主体可以服务端，也可以是客户端，本实施例对此不做具体限定。如图12所示的实施例中服务端22可以是服务器、服务器集群、建立在服务器或集群上的虚拟服务器或云端等等。当然，本实施例提供的所述方法中的部分步骤的执行主体可以是服务端，部分步骤的执行主体可以是客户端(如图12所示实施例中标号21对应的客户端)，例如，下述步骤101和102对应的执行主体可以是客户端，步骤103和104对应的执行主体可以是服务端。又或者，下述步骤101对应的执行主体可以是客户端，步骤102～104对应的执行主体可以是服务端。又或者，下述步骤101～103对应的执行主体为客户端，步骤104对应的执行主体可以是服务端；等等。具体的，所述数据推荐方法包括：
56.101、确定目标数据；
57.102、根据数据间的关联信息，确定多个数据中与所述目标数据相关的至少一个关联数据；
58.103、融合所述目标数据的特征信息及所述至少一个关联数据的特征信息，得到所述目标数据的融合特征；
59.104、基于所述目标数据的融合特征，为用户推荐至少一个推荐数据。
60.上述101中，目标数据可以是用户通过客户端浏览的文本、图像、视频、音频中的任一种数据或任意多种数据的组合，本实施例对此不作限定。比如，图2所示的场景，用户打开一应用的数据页，该数据页中展示有多个短视频。用户点击打开其中一个短视频，跳转至该短视频的播放界面，如全屏播放视频c。此时，正在全屏播放的短视频c即本确定为本实施例中目标数据。
61.上述102中，所述多个数据可以根据与用户相关的历史数据来确定。比如，用户历
史上浏览、播放、点评、收藏、加入购物车或加入歌单中的数据，等等。本实施例中的多个数据可包括用户历史上浏览、播放、点评、收藏、加入购物车或加入歌单等的所有数据；或者所述多个数据仅包括从所述用户历史上浏览、播放、点评、收藏、加入购物车或加入歌单等的所有数据中选出的部分数据。其中，本实施例对选择规则不作具体限定。
62.进一步的，所述多个数据也可根据与所述用户存在关联的其他用户的历史数据来确定。其中，存在关联的多个用户可以是：浏览过同一视频、同一网页等的多个用户、播放过同一音乐的多个用户、均对同一数据(如视频、网页、音乐、图片)做出相同或相似评价的多个用户、收藏了相同视频或商品的多个用户等等，本实施例对此不作限定。比如，可以从与所述用户存在关联的至少一个关联用户的历史数据确定所述多个数据。从所述至少一个关联用户历史上浏览、播放、点评、收藏等的所有数据中抽取部分数据，作为所述多个数据。
63.当然，所述多个数据也可综合与所述用户相关的历史数据以及与所述用户存在关联的至少一个关联用户的历史数据来确定，本实施例对此不作限定。
64.存在关联关系的两个数据存在所述关联信息。在一种可实现的实例中，两个数据间存在相同的标签时，说明两个数据关联。此时，数据间的关联信息可包括：两个数据存在相同标签及相同标签的数量。两个数据存在用户行为顺序关系，例如，用户先看了第一个短视频，随后点击观看了第二个短视频，说明两个短视频关联。此时，数据间的关联信息还可以包括：表征两个数据存在连续播放的关系标识。又例如，两个数据存在相同的用户行为，例如，用户收藏了第一个音频，还收藏了第二个音频，说明两个音频关联。此时，数据间的关联信息还可包括：表征两个数据存在用户行为相同的关系标识及用户行为标识；等等。本实施例中还可继续挖掘其他角度的关联，本文不一一列举。在具体实施时，可根据实际场景确定。
65.上述103中，不同类型的数据其对应的特征信息也会不同。比如，目标数据仅包含有文本数据，则该目标数据的特征信息可仅包括从文本数据中提取出的文本特征。若目标数据仅包括音频数据，则该目标数据的特征信息可仅包括从音频数据中提取出的音频特征。又比如，目标数据仅包括图像数据，则该目标数据的特征信息可仅包含从图像数据中提取出的图像特征。但在所述目标数据为多媒体数据时，如短视频、电影类的视频、该类型数据可包括但不限于：文本信息(如短视频标题、电影名称等)、视频信息、音频信息等等。对于多媒体数据，其特征信息需融合分别从上述各模态信息中提取出的特征得到。
66.同理，在关联数据仅包含一种模态的数据时，其特征信息即从该模态数据中提取出的特征；但当关联数据包含有多种模态数据时，其特征信息需融合分别从各模态信息中提取出的特征得到。
67.可见，在目标数据和关联数据包含有多种模态数据时，本实施例中103步骤中的“融合”包括两个步骤：一个步骤是目标数据的多模态特征的融合、关联数据的多模态特征的融合；另一个步骤是目标数据的特征信息及至少一个关联数据的特征信息的融合。
68.本实施例中将至少一个关联数据的特征信息融入目标数据的特征信息，目的是：让目标数据具有自己的特征外，还能带有关联数据的特征，以带来后验信息的融入，从而更好的服务于数据推荐。
69.这里需要说明的是：为了更好的融合，在上述“融合”步骤中还可融合有表征目标数据与各关联数据关系的特征，使得目标数据不仅具有自己的特征、带有关联数据的特征
外，还隐含带有表征目标数据与各关联数据关系的特征，比如基于位置以及基于角色的嵌入特征。这部分内容将在下文中会做更为详尽的说明，可参见下文中的相应内容。
70.如上文可知，步骤104中的目标数据的融合特征中具有自己的特征外，还能带有关联数据的特征，再进一步的还可带有表征目标数据与各关联数据关系的特征。在步骤104中，基于该融合特征做数据推荐，显然能有效提升推荐的多样性，不仅可推荐出与目标数据特征相近的数据，还可推荐与关联数据相近的数据。
71.在具体实施时，可将目标数据的融合特征作为推荐模型的输入，执行推荐模型。推荐模型具有两个阶段，一是召回阶段，在召回阶段可直接基于目标数据的融合特征召回至少一个候选数据；二是排序阶段，可基于目标数据的融合特征与各候选数据的特征，执行排序操作。进一步的，所述推荐模型包括两个分别对应不同阶段的模型，比如对应召回阶段的召回模型、以及对应排序阶段的排序模型。目标数据的融合特征先输入召回模型，以执行召回模型召回至少一个候选数据；然后将目标数据的融合特征及至少一个候选数据的特征作为排序模型的输入，执行排序模型以得到排序结果。排序结果中排在前n个的候选数据，可作为推荐给用户的推荐数据。其中，n可以是1、2、5、10或更多，本实施例对此不作限定。
72.综上，本实施例提供的技术方案中，先根据数据间的关联信息，确定出与目标数据相关的至少一个关联数据；然后再将目标数据的特征信息与至少一个关联数据的特征信息融合，将融合后的特征作为目标数据的融合特征，以基于该融合特征为用户推荐数据；可见，本实施例中在基于目标数据推荐时，因为融合特征中不仅具有目标数据的特征，还带有关联数据的特征，更进一步的还可带有目标数据与各关联数据关系的特征，这样在推荐时作为推荐参照的特征不是单一的目标数据的特征，推荐结果可包含与目标数据相似的推荐数据，还可包含有与关联数据相似的数据等等，所以本实施例提供的方案能有效提升推荐多样性。
73.参见图3所示的一种可实现的技术方案，在确定出多个数据后，可根据数据间的关联信息构建关系图，然后基于关系图进行节点采样，来采样出所述至少一个关联数据。例如，本实施例中步骤102“根据数据间的关联信息，确定多个数据中与所述目标数据相关的至少一个关联数据”、可采用如下步骤实现：
74.1021、根据数据间的关联信息，构建关系图；其中，所述关系图包括多个节点及反映节点间关系的边信息；不同节点对应不同的数据，所述目标数据在所述关系图中对应的节点为目标节点；
75.1022、针对所述目标节点，对所述关系图中的节点进行采样，以采样出与所述目标节点相关的至少一个关联节点；其中，关联节点对应的数据即与所述目标数据相关的关联数据。
76.参见图3所示的关系图，假设关系图中节点h0对应本实施例中的目标数据。h1～h
16
为本实施例中的多个数据。关系图中的边，即连接两个节点的连线，表征两个节点之间存在关系，边信息可包括两个节点分别对应数据间的关联信息。以关联图中各节点分别对应不同短视频为例，短视频具有标签信息；若两个节点分别对应的两个短视频拥有一定数量(如1个、2个、5个或更多)的相同标签，则说明这两个节点关联，在两个节点之间建立“边”，边信息可以是边的权重，边的权重与两个节点分别对应的两个短视频的共同标签的数量相关。节点的特征即节点对应的短视频的特征，如短视频的多模态特征。这里需要补充的是：为了
缓解标签数量方差较大问题，本实施例中可加入缩放操作。
77.上述1022中可采用相应的采样算法来实现。如下例举一种采样算法，即“针对所述目标节点，对所述关系图中的节点进行采样，以采样出与所述目标节点相关的至少一个关联节点”，包括：
78.s1、获取目标次数及采样数量；
79.s2、在一次采样过程中，将所述目标节点作为采样原点，采样所述关系图中与所述原点相邻的至少一个邻居节点；
80.s3、判定采样次数是否达到所述目标次数；
81.s4、在采样次数不大于所述目标次数时，进入下一次采样迭代；在下一次采样迭代中，以所述至少一个邻居节点中任一邻居节点为采样原点，采样所述关系图中与所述原点相邻的至少一个邻居节点；
82.s5、在采样次数大于所述目标次数时，从所述目标次数的采样迭代中采样到的邻居节点中，确定出所述采样数量个邻居节点作为关联节点。
83.本实施例提出了一种高效并行的采样算法。具体来说，从目标节点出发，迭代地采样固定数量固定深度的节点集，其中，节点被采样的采样概率正比于边的权重。以图3所示关系图为例，对上述过程进行说明以方便理解。
84.如图3所示的关系图，假设目标节点＝h0，目标次数(同采样深度)为2次，采样数量为4个。
85.步骤11、一次采样迭代，b＝1；采样原点＝h0。
86.步骤12、获取采样原点的邻居节点，得到邻居节点集
87.其中，hi为采样原点。例如，图3中，当采样原点＝h0时，h0的邻居节点包括：h
8 h
9 h
1 h
4 h
14
，得到邻居节点集
88.步骤13、下一次采样迭代，b＝b 1。
89.步骤14、判定b不大于2，进入第二次采样迭代，将目标节点替换为步骤14、判定b不大于2，进入第二次采样迭代，将目标节点替换为中的各节点作为采样原点，采样关系图中与各采样原点相邻的至少一个邻居节点，或者，从随机抽样部分节点，如抽样h9,h1,h4，将三个节点作为采样原点，采样关系图中与各采样原点相邻的至少一个邻居节点，以得到邻居节点集并返回步骤13，直至b大于目标次数(即2)。
90.下面以将目标节点替换为中的各节点为例，具体的得到的各邻居节点集为：
91.目标节点＝h8，获取到的邻居节点得到的
92.目标节点＝h9，获取到的邻居节点得到的
93.目标节点＝h1，获取到的邻居节点得到的
94.目标节点＝h4，获取到的邻居节点得到的
95.步骤15、在b大于2时，从两次采样迭代中采样到的所有邻居节点中，确定出所述采样数量(如4)个邻居节点作为关联节点。
96.即从以及中，抽样出4个邻居节点作为关联节点，比如，h1、h2、h3和h4。
97.从上面的例子可以看出，获取得到的邻居节点集中不可避免地会出现重复节点。如以及中的h4、h6及h
14
均被采样过两次。在一可实现的技术方案中，上述步骤s5和上述步骤15，关联节点可基于各邻居节点的出现次数(或出现频率)以及各邻居节点距目标节点的距离来确定。即，本实施例中步骤s5中“从所述目标次数的采样迭代中采样到的邻居节点中，确定出所述采样数量个邻居节点作为关联节点”可包括：
98.s51、获取各采样迭代中采集到的邻居节点集中各邻居节点的出现次数；
99.s52、获取各采样迭代中采集到的邻居节点集中各邻居节点距所述目标节点的距离；
100.s53、根据各邻居节点的出现次数及各邻居节点距所述目标节点的距离，从所述目标次数的采样迭代中采样到的邻居节点中，确定出所述采样数量个邻居节点作为关联节点。
101.更具体的，可计算邻居节点的出现次数(或出现频率)与该邻居节点距目标节点的距离的乘积，将乘积指作为重要度。按照各邻居节点的重要度，对从所述目标次数的采样迭代中采样到的所有邻居节点进行排序。
102.比如，取排序在top-k个节点作为目标节点的关联节点。其中，top-k等于采样数量。
103.再次以上述图3所示的例子举例，从所述目标次数的采样迭代中采样到的所有邻居节点包括：h8,h9,h1,h4，h
14
，h7,h6,h3，h
10
,h
2 h
15
,h
16
,h
14
,h
13
,h
12
。其中，
104.h8出现次数为1次，距h0＝1跳；相应的，h8的重要度＝1*1跳；
105.h4出现次数为2次，距h0＝1跳；相应的，h4的重要度＝2*1跳；
106.h2出现次数为1次，距h0＝2跳；相应的，h4的重要度＝1*2跳；等等
107.同理，可依次计算其他各邻居节点的重要性分数。
108.这里需要说明的，上文中每个节点均对应有一个数据。通过上述方法采样到的关联节点对应有一关联数据。
109.即基于上文中的内容，在采样出多个与所述目标数据相关的关联数据时，本实施例提供的所述方法还可包括如下步骤：
110.s6、确定多个关联数据的重要度；
111.s7、按照重要度，分别为所述多个关联数据配置对应的嵌入特征；
112.s8、为所述目标数据配置嵌入特征；
113.s9、获取所述目标数据的至少一种模态的特征及所述多个关联数据中任一关联数据的至少一种模态的特征；
114.s10、根据所述目标数据的至少一种模态的特征及所述目标数据对应的嵌入特征，确定所述目标数据的特征信息；
115.s11、根据所述多个关联数据中任一关联数据的至少一种模态的特征及该关联数据对应的嵌入特征，确定所述关联数据的特征信息。
116.上述s6中，关联数据的重要度的计算可参见上文中的内容。
117.上述s7中，可按照各关联数据的重要度，对多个关联数据进行排序。本实施例在具体实施时，为各关联数据配置的嵌入特征可包括位置特征及角色特征。例如，可根据关联数据在排序中的位置标识(比如第一、第二或第三等)，为该关联数据配置基于该位置标识的位置特征。相对目标数据来说，关联数据扮演的角色是关联角色，而非主角色，因此，可为关联数据配置基于“关联角色”的角色特征。多个关联数据的角色特征可相同，均为“关联角色”。具体实施时，可将第一角色标识(如1)与主角色(即目标数据对应的角色)对应，可将第二角色标识(如0)与关联角色(即非主角色)对应。
118.上述s8中，为了方便后续计算，本实施例此处可将目标数据的特征信息与多个关联数据的特征信息进行拼接，拼接为一个组合特征。通过上文可知，按照各关联数据的重要度对多个关联数据进行排序，可得到数据序列，该数据序列中的多个关联数据按照排序结果顺序排列。在拼接时，可将目标数据添加在数据序列中，该目标数据可排在队头或队尾。此时，在数据序列中，目标数据就有了位置标识(如第一、或末尾(如第5)；这样便可为目标数据配置基于其所在位置对应位置标识的位置特征。进一步的，本步骤中还可为目标数据配置基于“主角色”的角色特征。
119.上述s9中，多模态信息(包括多种模态的特征)可参见上文中的解释。比如，短视频蕴含着丰富的模态信息，包括但不限于：视频帧信息、标题文本信息和音频帧信息等等，这三种模态的信息。使用多模态信息可以带来多种好处，例如，多模态信息可以挖掘数据的内容表征，提升召回相关性；在用户历史行为较为稀疏的场景，多模态信息可以有效拉动冷门数据的曝光。因此，有效的将多模态信息融入推荐场景具有非常高的应用价值。
120.上文中提及的多模态特征是从所述多模态信息中提取出的。以短视频为例，比如，可从短视频的标题信息中提取标题特征；从短视频的视频帧中提取短视频帧特征；从短视频的音频信息中提取音频帧特征。其中，从短视频标题中提取的标题特征可视为为第一种模态对应的特征；从短视频帧中提取的视频帧特征可视为第二种模态对应的特征；从短视频的音频帧提取的音频帧特征可视为第三种模态对应的特征。实际实施时，可使用tf-idf方法或使用bert网络从短视频的标题信息中提取标题特征；可使用inception-v4网络提取视频每帧的特征，然后对所有帧特征取均值得到短视频的视觉特征。
121.在一种具体实施方案中，上述中提及的为目标数据配置的嵌入特征、以及为所述至少一个关联数据配置的嵌入特征，可包括但不限于：位置特征及角色特征。在本实施例中的目标数据具有多模态特征时，相应的，本实施例中的步骤s10中“根据所述目标数据的多模态特征及所述目标数据对应的嵌入特征，确定所述目标数据的特征信息”，可包括：
122.s1001、为所述目标数据的多模态特征中的每种模态的特征确定相应的权重；
123.s1002、根据所述目标数据的多模态特征及所述多模态特征中每种模态特征的权重，确定所述目标数据的内容特征；
124.s1003、将所述目标数据的内容特征以及所述目标数据对应的位置特征与角色特征聚合，得到所述目标数据的特征信息。
125.上述s1001中，可先计算目标数据不同模态对应的特征对所述目标数据的影响比重；然后，根据不同模态对应的特征对所述目标数据的影响比重，来确定所述目标数据的多模态特征中的每种模态对应特征的权重。其中，本实施例对于计算影响比重的算法不作限定，可结合用户的行为数据来确定，或通过分析所述目标数据的多模态特征与所述至少一
个关联数据的多模态特征来确定不同模态的特征对目标数据的影响比重。或者，本实施例可采用注意力机制(self-attention)为目标数据的每个模态特征计算一个分数，可将每个模态特征对应的分数作为其权重，也可基于每个模态特征对应的分数确定其权重。此处，有关注意力机制的内容，可参见相关文献，本实施例不作赘述。
126.上述s1002中，可通过加权相加所述目标数据的所有模态的特征，得到目标数据的内容特征。
127.基于上文中提及的嵌入特征包括位置特征与角色特征的内容，本实施例s1003中，可将目标数据的内容特征、位置特征及角色特征相加聚合，得到所述目标数据的特征信息。
128.为了方便理解，下面结合图4所示的例子对上述过程进行说明。图4示出的是目标数据为t；目标数据t的多模态特征包括：第一模态特征第二模态特征第三模态特征通过注意力机制可确定出各模态特征对应的权重，比如：第一模态特征对应的权重为第二模态特征对应的权重第三模态特征对应的权重目标数据t的内容特征m
t
：
[0129][0130]
图4中示出的p
t
为目标数据t的位置特征，r
t
为目标数据的t的角色特征。目标数据t的特征信息
[0131][0132]
同理，关联数据的特征信息也可采用上述方法确定。
[0133]
进一步的，本实施例中的步骤103“融合所述目标数据的特征信息及所述至少一个关联数据的特征信息，得到所述目标数据的融合特征”，可具体包括：
[0134]
1031、确定所述目标数据的特征信息与所述至少一个关联数据的特征信息的特征相似度；
[0135]
1032、基于特征相似度，确定所述至少一个关联数据对应的注意力权重；
[0136]
1033、根据所述至少一个关联数据对应的注意力权重，对所述目标数据的特征信息及所述至少一个关联数据的特征信息进行融合编码，得到所述目标数据的融合特征。
[0137]
上述步骤1031中的确定两个数据的特征信息的相似度的方法，本实施例不作限定，比如，可通过计算两个数据的特征信息的距离(如余弦距离)等，来确定两个数据的特征相似度。
[0138]
本实施例中之所以在步骤1032中基于特征相似度来确定各关联数据对应的注意力权重，是为了在特征融合时，通过注意力机制去关注那些注意力权重高的关联节点。通常情况下，较容易关注那些与目标节点较为相似的关联节点，这样的话，就会降低后续推荐的多样性。为了提高多样性，本实施例中增加了提升多样性的注意力机制，即提高那些特征相似度低的关联节点的注意力权重。即本实施例1032可具体为：根据多个关联数据各自对应的特征相似度，降序排列所述多个关联数据；按照降序排列的多个关联数据，顺次为各关联数据配置注意力权重，其中，排在后面的关联数据对应的注意力权重高于排在前面的关联数据对应的注意力权重。
[0139]
进一步的，本实施例提供的方案可使用transformer(可翻译为变形器、变换器或
转换器)。transformer为以注意力为主要部件的模型。比如，图5所示，所述transformer可包括编码模块。编码模块包括多个编码层(encoder),每一层里面有2个子层(如图6所示)。例如，图5中所示的例子，transformer可包括6层encoder。如图6所示，上文中提及的注意力机制即可以设置在每一层encoder中，也可以是部分层encoder中的注意力机制为上文中提及的内容，即提高那些特征相似度低的关联节点的注意力权重。多头注意力机制(multi-head attention)是由多个self-attention(自注意力机制)组成的。从图6可以看出，encoder block包含一个multi-head attention，还有add&norm层，add表示残差连接(residual connection)用于防止网络退化；norm表示layer normalization,用于对每一层的激活值进行归一化。其中，本实施例对于图6中的前馈网络的具体结构不作限定，可参见相关文献。本实施例中步骤103“融合所述目标数据的特征信息及所述至少一个关联数据的特征信息，得到所述目标数据的融合特征”，可使用transformer来实现。具体实施时，在transformer的注意力机制中，增加了多样性提升的注意力机制，即提高特征不相似的数据之间的注意力权重。由此通过transformer中的编码模块，可以提高表征的多样性和丰富性。
[0140]
如图6所示，上述步骤中注意力权重的确定可由transformer中编码层中的多头注意力机制(multi-head attention)来实现。multi-head attention的概念，其实很简单，可定义多组q、k、v多组，让它们分别关注不同的特征相似度低的关联数据。如图6所示，所述多头注意力机制可在transformer中的一个编码层encoder中。包含有多个编码层encoder的编码模块，即下文中即将提及的特征融合模型。
[0141]
即本技术实施例步骤103“融合所述目标数据的特征信息及所述至少一个关联数据的特征信息，得到所述目标数据的融合特征”，可包括如下步骤：
[0142]
1034、获取特征融合模型；
[0143]
1035、将所述目标数据的特征信息及所述至少一个关联数据的特征信息输入所述特征融合模型，执行所述特征融合模型得到所述目标数据的融合特征；
[0144]
其中，所述特征融合模型经预训练过程得到。通过上文可知，上述步骤1034中的特征融合模型可以是transformer，更具体的是transformer中的编码模块。
[0145]
进一步的，本实施例提供的所述方法还可包括：特征融合模型的预训练步骤。即本实施例提供的所述方法还可包括如下步骤：
[0146]
105、获取样本图，其中，所述样本图包括样本节点及反映样本节点间关系的边信息；
[0147]
106、针对所述样本图中的第一样本节点，对所述样本图中的样本节点进行采样，以采样出与所述第一样本节点相关的至少一个第二样本节点；
[0148]
107、根据所述第一样本节点的至少一种模态的特征及至少一个第二样本节点的至少一种模态的特征，分别确定所述第一样本节点的特征信息及所述至少一个第二样本节点的特征信息；
[0149]
108、将所述第一样本节点的特征信息及所述至少一个第二样本节点的特征信息输入所述特征融合模型，得到所述第一样本节点的融合特征及所述至少一个第二样本节点的融合特征；
[0150]
109、基于所述第一样本节点的融合特征及所述至少一个第二样本节点的融合特
征，执行图重构任务及掩蔽样本节点特征重建任务，得到各任务对应的执行结果；
[0151]
110、根据各任务对应的执行结果，优化所述特征融合模型中的参数。
[0152]
如图7所示，本实施例提供一种基于关系图的特征融合系统的框架结构图。参见图7所示，该特征融合系统包括：节点采样层、节点特征信息确定层、特征融合层及优化层。其中，本实施例中的特征融合模型可包括图7中的特征融合层。该特征融合层可为图5所示的多层，即多层编码层，每层编码层有包括有图6中所示的多个子层。
[0153]
参见图7所示，本实施例上述训练过程可包括但不限于如下四个部分：
[0154]
部分(1)、关系图的构建
[0155]
部分(2)、节点采样及节点特征信息的确定
[0156]
部分(3)、特征融合模型
[0157]
部分(4)、基于重建任务对特征融合模型中的参数进行优化。
[0158]
部分(1)中关系图的构建过程，本实施例不作限定。比如，可基于所有样本节点对应数据包括的标签，在两个数据包含有1个、2个、3个或更多相同标签时，建立两个数据分别对应节点的边信息(如图7中的两个节点间的连线)；边信息可包括边权重，边权重可为共同标签的数量。通过上述过程，便可建立出如图7中所示的关系图。该关系图用于特征融合模型的训练，为了区别上文中的“关系图”，将此处的为了训练的关系图称为“样本图”。这里需要补充的是：在实际应用中，还可基于用户的历史行为数据，如用户浏览的数据a,还浏览了数据b，则说明数据a和数据b关联，可建立两个数据分别对应节点的边信息，以构建出关系图。
[0159]
部分(2)中，样本图构建完成后，针对样本图中的第一样本节点h0(即样本图中的任一样本节点)，采样得到与该第一样本节点h0相关的至少一个第二样本节点。例如图7中所示的例子，与第一样本节点h0相关的第二样本节点有：h
1 h
2 h
3 h4。
[0160]
将第一样本节点与至少一个第二样本节点，组成节点序列。其中，至少一个第二样本节点在节点序列中的位置(或排列的顺序)，可基于重要度来确定。比如，各第二样本节点的重要度，可根据第二样本节点被采集到的频率以及第二样本节点距离第一样本节点的距离(如1跳或2跳)来计算。具体的，第二样本节点的采样频率及重要度的计算内容，可参见上文中的相关内容，此处不作赘述。
[0161]
第一样本节点在有序节点中的顺序可以排头，也可以是末尾。例如图7所示的例子，节点序列为{h
0 h
1 h
2 h
3 h4}。
[0162]
在组成完节点序列后，便可基于节点序列中各节点在序列中的位置及各节点对应的角色属性(如第一样本节点为主角属性，第二样本节点为与第一样本节点相关的关联属性)，为节点序列中的各节点(如第一样本节点及至少一个第二样本节点)配置相应的嵌入特征。这里需要说明的是：嵌入特征的配置可参见上文中的相关内容。
[0163]
随后，便可基于第一样本节点的至少一个模态的特征以及该第一样本节点对应的嵌入特征，确定出第一样本节点的特征信息。即，第一样本节点的特征信息中除含有至少一个模态的特征对应的特征项外，还含有嵌入特征。同理，根据关联数据的至少一个模态特征以及关联数据对应的嵌入特征，确定出关联数据的特征信息。有关样本节点的特征信息的确定可参见上文中的相应内容以及图4，此次不作赘述。
[0164]
部分(3)中，将部分(2)中得到的第一样本节点的特征信息及至少一个第二样本节
点的特征信息输入特征融合模型，执行该特征融合模型后得到第一样本节点的融合特征。除此之外，该特征融合模型还可得到第二样本节点的融合特征。
[0165]
部分(4)中，部分(3)得到的第一样本节点的融合特征、第二样本节点的融合特征用于执行重建任务。重建任务可包括：图结构重建任务(即图7中的gsr)及掩蔽节点的特征重建任务(即图7中的nfr)。其中，图结构重建任务可简单理解为：根据部分(3)得到各样本节点的融合特征重构出的图结构，与样本图的图结构的差异，通过这个重建差异来优化特征融合模型中的参数。掩蔽节点的特征重建任务可简单理解为：将节点序列中的部分节点掩蔽(如1个节点掩蔽)，通过解码过程以解码出被掩蔽节点的特征信息；根据解码出的被掩蔽节点的特征信息及被掩蔽的节点实际的特征信息的差异，来优化特征融合模型中的参数。其中，节点序列中的被掩蔽的节点的特征信息可设置为0。在具体训练优化过程，上述图结构重建任务及掩蔽节点的特征重建任务可分别采用相应的目标函数来表征；可基于部分(3)得到的各样本节点的融合特征，分别计算图结构重建任务及掩蔽节点的特征重建任务分别对应的目标函数的值；综合这两任务分别对应的目标函数的值，对特征融合模型中的参数进行优化。
[0166]
本实施例中对各任务分别对应的目标函数，在一些具体实施例中可称为损失函数。其中，有关目标函数的具体表达，本实施例不作限定。下文中将会结合具体场景，列举出具体的函数表达。另外，特征融合模型中参数的优化过程，本实施例也不作具体限定，可参见相应文献中的内容实现。
[0167]
重复上述部分(2)、部分(3)和部分(4)的过程，直至训练完成。例如，执行部分(4)中的重建任务后，重建出的图结构与样本图的图结构差异满足第一预设要求，重建出的掩蔽节点的特征信息与该节点实际的特征信息差异满足第一预设要求时，可确定训练完成。实质上，就是要最小化上述图结构差异以及被掩蔽节点特征信息的差异。达到差异最小化目标，便可完成训练。
[0168]
数据的多模态信息，已被证明在推荐场景中提高准确性方面是有效的。比如短视频，其包括视频帧特征、短视频标题特征及音频帧特征等，在推荐场景中使用多模态信息可挖掘短视频的内容表征，提升召回相关性。在用户行为较为稀疏的场景下，多模态信息可以有效拉动冷门短视频鞥的曝光。本实施例中，如图7所示的基于关系图的特征融合系统的训练过程可理解为是：通过考虑样本节点(即数据)的多模态特征和节点之间的关系(如边信息)，来学习节点表征的过程。
[0169]
下面将结合具体的实现方案对本实施例提供的技术方案进行说明。本文中提及的关系图可表示为：g＝(ν，ξ)，以提供节点的多模态特征及其关系的统一视图。这里，ν表示节点，ξ表示每个节点h的多模态特征。用表示节点h的第i个模态特征，节点h具有m个模态的特征。下文中使用h代表采样是针对的目标节点，目标节点是在一次采样过程中作为采样基准的节点，一次采样过程中均是在采样目标节点的邻居节点。
[0170]
上文中提及的mcn算法可表示为如下：
[0171]
输入:关系图g，采样步骤b，采样深度k，采样大小关联节点的数量s；
[0172]
输出:采样出的关联节点序列cb；
[0173][0174]
在每一次采样过程中，仅采样相对于目标节点h处于同一深度的邻居节点；那么上述采样深度k等同于上文中提及的目标次数。又或者，在另一可实现的例子中，在每一次采样过程中，采样距所述目标节点h的采样深度k内(包括深度k)的邻居节点。比如，采样深度k＝2，则采样出的邻居节点集中包含有：与目标节点h距离1跳的邻居节点，以及与目标节点h距离2跳的邻居节点。在关系图g中，用nh表示h的单跳邻居节点(或称为单跳关联节点)，并用ω
ht
表示节点h和t之间的边信息(如边的权重，其中ω
ht
》0。对于节点h，使用ch来表示由mcn采样算法采样出的关联节点。给定关系图g和每个节点的关联节点，基于关系图的特征融合系统的目标是获得能够捕获节点的多模态特征和节点关系的节点表示。然后，可以直接将学习到的节点表示应用到下游任务中。其中，下游任务可以包括但不限于：数据推荐、数据分类(如视频分类、图片分类等)等等。
[0175]
本实施例中的基于关系图的特征融合系统，如图7所示的系统框架例子，其中，参与融合的节点的特征信息中可包含有节点的多模态信息。因此，本实施例中的基于关系图的特征融合系统，也可称为“利用多模态信息的预训练图转换器，对应英文：pre-training graph transformer with multimodal side information for recommendation，缩写pmgt。
[0176]
对于关系图g中每个节点h，关系图g中都存在与该节点h相关的关联节点，可能是一个，也可能是多个。在本实施例中，在节点h的特征信息中融合与其关联的关联节点的特征信息，有助于丰富节点h的表示，即节点h的融合特征。
[0177]
上文中提及的mcn算法中包含有多次采样迭代过程，每次采样迭代过程都是针对原点节点以预定义的采样深度k采样与目标节点相关的关联节点。设表示在第(k-1)步采样迭代过程中采样到关联节点集。对于中的每个节点t，在第k步采样迭代过程中，将节点t的单跳邻居替换为nt。节点t’∈nt被采样的概率与节点t与t’的边信息ω
tt
，成正比。
值得注意的是，一个节点可能在中出现多次。在mcn采样算法中，从多次采样迭代过程采样出的关联节点集中选择关联节点，可结合以下两点来考虑：1)节点的采样频率；2)目标节点h与关联节点集中节点之间的采样步数(或距离)，即关联节点集中节点与目标节点h之间的经过几跳。
[0178]
对于每个节点t∈v\h，在具体实施时，可采用如下公式(1)计算t到目标节点h在第k个采样步骤(k≤k)的重要度如下：
[0179][0180]
其中，表示t出现在中的次数。为节点t在第k个采样步骤的重要度。也就是说，节点t被认为与目标节点h更相关，如果t被更频繁地采样并且它有一个更小的采样步骤到目标节点h。节点t到目标节点h的重要度，定义为如下公式(2)：
[0181][0182]
其中，s
t
为节点t到目标节点h的重要度。然后，便可根据各采样到的节点t分别对应的重要度，对v\h中的所有节点进行排序，按降序排列；并选择排名前s(如2、5、6或更多个)的节点，作为与目标节点h的关联节点。
[0183]
关联节点采样到后，可连接(concatenate)目标节点h及其关联节点ch,可表示为节点序列：ih＝[h，h1，h2，...hs]。hj是第j个关联节点，且1≤j≤s。为每个节点t∈ih，对应的内容特征m
t
：
[0184][0185][0186]
α
t
＝softmax[tanh(x
t
)ws bs]
[0187][0188]
和分别表示节点序列ih中节点t的第i个模态的权重矩阵和偏差项。和bs∈r1×m表示注意机制(attention)的权重矩阵和偏差项。是聚合操作。表示节点t的第i个模态的特征。
[0189]
一个节点在节点序列ih中的位置反映了其对目标节点h的重要性。由上文内容可知，与目标节点h相关的多个关联节点，是基于各关联节点的重要度进行排序得到的。因此，可以认为节点在ih中的顺序在学习节点表示是很重要的。以下被嵌入的位置id(即顺序标p
t
＝p-embedding[p(t)]，
ꢀꢀꢀꢀ
(4)
[0190]
识)被用来标识节点在节点序列ih的顺序信息。
[0191]
其中，p(t)表示节点t在节点序列ih中的位置id。表示节点t的基于位置id嵌入的位置特征。
[0192]
因为训练pmgt的目的是能基于输入的一个节点的特征信息及与其相关的关联节点的特征信息，得出该节点的融合特征(即该节点的表示)。直观的，目标节点及其相关的关
联节点应该在预训练中扮演不同的角色。为了识别角色差异，本实施例中将以下基于角色的嵌入添加到每个节点t∈ih。
[0193]rt
＝r-embedding[r(t)]，
ꢀꢀꢀꢀ
(5)
[0194]
其中，r(t)表示节点t对应角色，表示节点t的基于自身角色嵌入的角色特征。具体实施时，可将目标节点的角色设置为“主角色”或“目标”，将关联节点的角色设置为“关联角色”、“上下文”或“非主角色”等等，本实施例对此不作限定。
[0195]
本技术中涉及到的第二个算法是：模型训练算法或模型优化算法。具体内容可参见如下内容：
[0196]
还是以上文中提及的pmgt为例，算法表示为如下内容：
[0197]
输入：样本图(如关系图g)，图g中所有节点的多模态特征
[0198]
输出：pmgt的参数集θ以及预训练的节点表示
[0199][0200][0201]
如图7所示，上述训练过程更具体的是训练transformer中的编码模块。主要目的是优化编码模块(每个编码层encoder中的参数)。在pmgt中编码模块可称为基于转换器的图形编码器。
[0202]
实质上就是使用转换器(transformer)来模拟节点与关联节点之间的相互影响。给定一个第(l-1)层的节点融合特征h
l-1
，转换器的第l层的输出，定义如下：
[0203][0204]
其中，表示权重矩阵，ffn(.)是前馈网络。这里，为了方便，在公式(7)中省略了其他网络。
[0205]
对于目标节点h，可能存在一些采样节点在ch中，其表示(representation)类似于
h的表示(representation)。假设所有采样到的关联节点均与目标节点相关。期望本实施例中的图形编码器可以捕获到关联节点的多样性，为此需要专注于与目标节点相关但不是很相似的关联节点。为实现这个目标，本实施例中设计了一个促进多样性的注意力机制并将其纳入转换器的网络框架中。
[0206][0207][0208][0209][0210]
其中，是权重矩阵。e∈r
(s 1)
×
(s 1)
是一个矩阵，其中，它的所有元素都是1。||s||2∈r
(s 1)
×1表示s的l2行范数，并且i∈r
(s 1)
×
(s 1)
表示身份矩阵。其中，两个不同节点之间的相似性越大，在u1中，它们之间的注意力权重更小。在u1的定义中添加i的目的是使其包含有节点的自身信息。β是常数(0≤β≤1)平衡两个注意力权重的贡献。
[0211]
在编码器的最后一层获得输出h
l
之后，可获得作为目标节点h的表示(即目标节点h的融合特征)，为简单起见用h表示。然后，h
l
将被使用在后续预训练工作中，即在优化过程中被使用。
[0212]
在优化过程中，本实施例通过重建任务来实现优化。pmgt模型通过以下两个目标进行了预训练:1)图结构重建和2)掩蔽节点特征重建。为了确保学习的节点表示可以捕获图结构，本实施例定义了以下损失函数：
[0213][0214]
其中σ(
·
)是sigmoid函数，pn和q分别表示负采样分布和负样本的数量。
[0215]
掩蔽节点特征重建任务侧重于捕获学习的节点表示中的多模态特征。本技术实施例中设计了一个掩蔽节点特征重建任务，旨在通过节点序列ih中的其他非掩蔽节点重建掩蔽节点的特征。
[0216]
在本实施例中，没有对目标节点h应用掩蔽操作。而是随机选择列表ih\h中的20％个节点进行掩蔽。如果选择了节点t，将t替换为：1)80％的时间是[掩码]节点，(2)10％的时间是随机节点，以及(3)10％的时间是不变的节点t。将[掩码]节点的特征设置为0。然后，被掩蔽了节点后的节点序列ih中的非掩蔽节点的融合特征及掩蔽节点的特征(被设置为0)输入到transformer中的decoder(解码器)以输出节点序列中被掩蔽节点的重建特征信息。针对掩蔽节点特征重建任务，本技术实施例定义了相应的特征重建损失函数，如下：
[0217][0218]
其中，mh表示节点序列ih中的掩蔽节点集，为h
l
中的节点t的融合特征(node representation)，是第i个模态的特征重建的权重矩阵；是节点t的第i个模态的特征。
[0219]
pmgt的模型参数可以通过最小化组合目标函数来学习，即通过最小化如下公式(11)所示的组合目标函数来学习。
[0220][0221]
当在下游任务(如数据推荐任务、数据分类(如视频分类、图片分类等)等)中应用预先训练的pmgt时，通过pmgt输出的数据的融合特征，可直接输入至下游任务中；或者为了适用于下游任务对应的场景，使用该场景的样本数据对预先训练的pmgt进行调整训练。
[0222]
具体的，本实施例中的重建任务是为了进一步捕捉关系图的拓扑关系和节点特征信息而设计的。重建任务可包含有两个，一个是图结构重建任务，这个任务是为了：让上述编码模块得到的目标节点的融合特征中，相邻的节点的融合特征(或称为节点表示，对应英文：representation)相近，不相邻的节点的融合特征相远。另一个是掩蔽节点特征重建任务，这个任务是为了：让上述编码模块得到的节点的融合特征，可以通过解码模块恢复出节点的各个模态特征，从而让预训练的短视频表征蕴含模态信息。
[0223]
这里需要补充的是：有关解码模块(decoder)的内容，可参见相应文献，本文不作限定。
[0224]
本实施例的预训练的pmgt可接入到推荐场景的推荐模型中，使用用户的行为数据，进一步的对pmgt进行训练，以达到效果的最大提升。或者，利用预训练的pmgt输出目标数据的融合特征后，将目标数据的融合特征输入至推荐模型中，以通过所述推荐模型得到相应的推荐数据。
[0225]
传统的融合多模态信息的方法，仅提取目标数据(如短视频)自身的各个模态表征，然后拼接融合。而基于这种表征进行召回，只会召回和自身模态相似的数据。而本技术不仅要融合目标数据的多模态特征，还要融合与目标数据相关的至少一个关联数据的多模态特征，这样在根据融合了其他数据特征的融合特征进行召回，不仅能召回和目标数据相似的数据，还能召回与目标数据相关的数据。
[0226]
基于上文中的内容，可总结出本技术的核心是：使用关系图的形式建立数据之间的相关性，指导数据融合自身的多模态信息，同时捕捉关系图的拓扑关系来进一步融合关系数据的特征，从而帮助推荐。
[0227]
实际上，引申到具体的推荐场景，可以通过建立用户和短视频之间、用户和用户之间、短视频和短视频之间的多关系图，直接捕捉其多种相关性信息，可对特征融合模型(如pmgt)进行多维度预训练。
[0228]
上述实施例提供的数据推荐方法可应用在多媒体数据推荐场景中。比如，社交应用中短视频的推荐、音乐类app中的歌曲推荐、音乐类app中的音乐视频推荐、电商app中的商品推荐、电商app中商品推介视频的推荐等等。多媒体数据可包括：文本、图片、音频、视频
等数据。即，如图8所示，本技术另一实施例提供了一种数据推荐方法，该方法包括：
[0229]
201、响应于用户在交互界面上的操作，输出第一多媒体数据；
[0230]
202、确定与所述第一多媒体数据相关的至少一个第二多媒体数据；
[0231]
203、融合所述第一多媒体数据的特征信息及所述至少一个第二多媒体数据的特征信息，得到所述第一多媒体数据的融合特征；
[0232]
204、基于所述第一多媒体数据的融合特征，确定推荐数据；
[0233]
205、待输出条件满足时，为所述用户输出所述推荐数据。
[0234]
本实施例提供的所述方法的各步骤的执行主体可以是如图12所示实施例中的服务端22；或方法中的部分步骤的执行主体可以是如图12中的服务端22，部分步骤的执行主体可以是图12中的客户端21。
[0235]
上述201中，用户在交互界面上的操作可以是针对界面上一短视频播放控件的“点击”操作，或“滑动”操作等等，本实施例对此不作限定。
[0236]
在一种可实现的技术方案中，本实施例中的步骤202“确定与所述第一多媒体数据相关的至少一个第二多媒体数据”可包括：
[0237]
2021、根据与所述用户相关的历史数据，确定至少一个第二多媒体数据；
[0238]
2022、获取所述第一多媒体数据的多模态特征、所述至少一个第二多媒体数据的多模态特征以及所述用户的行为数据；
[0239]
2023、根据所述第一多媒体数据的多模态特征、所述至少一个第二多媒体数据的多模态特征以及所述用户的行为数据，确定多媒体数据间的关联信息；
[0240]
2024、根据所述多媒体数据间的关联信息，构建关系图；其中，所述关系图中包括多个节点及反映节点间关系的边信息；所述关系图中包含有：与所述第一多媒体数据对应的第一节点，以及与所述至少一个第二多媒体数据对应的至少一个第二节点；
[0241]
2025、针对所述第一节点，对所述关系图中的节点进行采样，以采样出与所述第一节点相关的至少一个关联节点，其中，关联节点对应的数据即与所述第一多媒体数据相关的第二多媒体数据。
[0242]
在一具体的可实现的实施例中，本实施例中步骤203“融合所述第一多媒体数据的特征信息及所述至少一个第二多媒体数据的特征信息，得到所述第一多媒体数据的融合特征”，包括：
[0243]
2031、分别为所述第一多媒体数据及所述至少一个第二多媒体数据配置相应的嵌入特征；
[0244]
2032、根据所述第一多媒体数据的多模态特征及所述第一多媒体数据对应的嵌入特征，确定所述第一多媒体数据的特征信息；
[0245]
2033、根据所述至少一个第二多媒体数据的多模态特征及所述至少一个第二多媒体数据对应的嵌入特征，确定所述至少一个第二多媒体数据的特征信息；
[0246]
2034、将所述第一多媒体数据的特征信息及所述至少一个第二多媒体数据的特征信息输入特征融合模型，执行所述特征融合模型得到所述第一多媒体数据的融合特征；
[0247]
其中，所述特征融合模型经预训练过程得到。
[0248]
具体的，上述特征融合模型可以是上文中pmgt中的编码模块。更进一步的，上述步骤2025，以及步骤2031～2034，可由pmgt来实现。通过上文中有关pmgt的内容及图7所示的
结构可知，将构建好的关系图及目标节点(即第一多媒体数据对应的节点)输入至pmgt后，pmgt便可完成关联节点(即相关的至少一个第二多媒体数据)的采集，第一多媒体数据及至少一个第二多媒体数据特征信息的确定，第一多媒体数据及至少一个第二多媒体数据特征信息的融合，最后输出第一多媒体数据的融合特征。
[0249]
上述204中，由于第一多媒体数据的融合特征不仅融合有自身特征对应的信息外，还融合有至少一个第二多媒体数据的特征对应的信息，所以在基于融合特征进行推荐时，除了可召回与所述第一多媒体数据相似的推荐数据外，还可召回与第一多媒体数据不相似但相关的推荐数据。可见，采用本实施例提供的方法，能有效提高数据推荐的多样性。
[0250]
上述205中，可以包括但不限于：第一多媒体数据播放完成时输出条件满足、监听到用户触发切换操作时输出条件满足等。比如，用户选择一个短视频进行全屏播放，该短视频播放完后，即输出条件满足。又或者，用户在一短视频全屏播放界面上“上滑”操作(如图2所示)后，即输出条件满足。
[0251]
输出条件满足后，确定出的推荐数据便可在用户的客户端设备上输出，比如屏幕上显示、播放、扬声器播放等等。
[0252]
下面将本技术提供的技术方案应用在短视频推荐场景及多媒体数据分类为场景中。例如图9a示出了一针对短视频推荐场景的实施例的流程示意图。如图9a所示，所述短视频推荐方法包括：
[0253]
301、显示第一短视频；
[0254]
302、确定与所述第一短视频相关的至少一个第二短视频；
[0255]
303、融合所述第一短视频的特征信息及所述至少一个第二短视频的特征信息，得到所述第一短视频的融合特征；
[0256]
304、根据所述第一短视频的融合特征，确定推荐对象；
[0257]
305、待显示条件满足时，显示所述推荐对象。
[0258]
又例如，图9b所示的数据分类方法的实施例。如图9b所示，所述数据分类方法包括：
[0259]
301’、确定与第一多媒体数据相关的至少一个第二多媒体数据；
[0260]
302’、融合所述第一多媒体数据的特征信息及所述至少一个第二多媒体数据的特征信息，得到所述第一多媒体数据的融合特征；
[0261]
303’、根据所述第一多媒体数据的融合特征，确定所述第一多媒体数据所属的分类。
[0262]
图9b所示的实施例的各步骤的执行主体可以是如图12所示实施例中的服务端22；或方法中的部分步骤的执行主体可以是如图12中的服务端22，部分步骤的执行主体可以是图12中的客户端21；又或者方法的全部步骤的执行主体是客户端。由客户端对多媒体数据进行分类。
[0263]
多媒体数据所属的分类，可在数据的搜索、应用首页推荐时使用。在一可实现的方案中，上述303’中可将所述第一多媒体数据的融合特征输入分类模型中，执行该分类模型便可得到相应的分类。该分类模型可以是深度神经网络模型、卷积神经网络模型等等，本实施例对此不做限定。
[0264]
上述各步骤的具体实现可参见上文中的相应内容，此次不作赘述。
[0265]
如图10所示，本技术另一实施例提供一种基于关系图的特征融合模型。该基于关系图的特征融合模型可包括：采样模块11、特征信息确定模块12、特征融合模块13及优化模块14。其中，采样模块11，用于针对关系图中的第一节点，对所述关系图中的节点进行采样，以得到与所述第一节点相关的至少一个第二节点。特征信息确定模块12，用于根据所述第一节点的多模态信息、所述至少一个第二节点的多模态信息以及所述第一节点与所述至少一个第二节点间的边信息，分别为所述第一节点及所述至少一个第二节点配置相应的嵌入特征；根据所述第一节点的多模态信息及所述第一节点对应的嵌入特征，确定所述第一节点的特征信息；根据所述至少一个第二节点的多模态信息及所述至少一个第二节点对应的嵌入特征，确定所述至少一个第二节点的特征信息。特征融合模块13，用于将所述第一节点的特征信息及所述至少一个第二节点的特征信息输入特征融合模型，执行所述特征融合模型得到所述第一节点的融合特征。优化模块14，用于根据所述第一样本节点的融合特征，执行图重构任务及掩蔽节点特征重建任务，得到各任务对应的执行结果；根据各任务对应的执行结果，优化所述特征融合模型中的参数。
[0266]
相应的，本技术还提供一个实施例，一种基于关系图的特征融合模型的训练方法。本实施例提供的方法的各步骤的执行主体可以是服务端或客户端。因模型训练过程对设备的性能要求较高，本实施例的执行主体为服务端会比较常见。如图11所示，所述方法，包括：
[0267]
401、获取样本图，其中，所述样本图包括样本节点及反映样本节点间关系的边信息；
[0268]
402、针对所述样本图中的第一样本节点，对所述样本图中的样本节点进行采样，以采样出与所述第一样本节点相关的至少一个第二样本节点；
[0269]
403、根据所述第一样本节点的多模态特征及至少一个第二样本节点的多模态特征，分别确定所述第一样本节点的特征信息及所述至少一个第二样本节点的特征信息；
[0270]
404、将所述第一样本节点的特征信息及所述至少一个第二样本节点的特征信息输入所述特征融合模型，得到所述第一样本节点的融合特征；
[0271]
405、基于所述第一样本节点的融合特征，执行图重构任务及掩蔽样本节点特征重建任务，得到各任务对应的执行结果；
[0272]
406、根据各任务对应的执行结果，优化所述特征融合模型中的参数。
[0273]
本技术实施例提供的方案可应用在如图12所示的系统架构中。如图12所示，本实施例提供的一种服务系统。该服务系统包括：客户端21和服务端22。其中，服务端22可以是服务器、多个服务器组成的服务器集群、或是服务器集群上的虚拟服务器等等，本实施例对此不作限定。具体的，
[0274]
所述客户端21，用于显示或输出目标数据，并基于所述目标数据向服务端发送推荐请求，其中，该推荐请求中可携带有用户标识。
[0275]
所述服务端22，可具有三块儿任务，一个任务是用于构建关系图，比如以一个用户为主，构建与该用户相关的关系图，这个关系图中包含有用户历史上浏览、收藏、点赞、打赏、关注等的数据(如视频、音乐、文本等)对应的节点。或者是以平台上属于同一类用户为主，构建的与该类用户相关的关系图。这个关系图中包含有同属该类用户历史上浏览、收藏、点赞、打赏、关注等的数据(如视频、音乐、文本等)对应的节点。又或者以平台上的所有数据为主，构建包含有平台上所有数据分别对应节点的关系图。其中，关系图中通过边连接
的两个数据可存在：具有相同标签的关系、存在用户顺序行为关系、具有相同用户行为(比如这两个数据，均被用户打赏)的关系等等。第二个任务是模型训练任务，如上文中提及的pmgt预训练过程。第三个任务是推荐任务，用于接收客户端发送的推荐请求，基于所述推荐请求中携带的用户标识及目标数据，获取相应的关系图；然后调取预训练的pmgt，将关系图及目标数据输入至pmgt，输出目标数据的融合特征；随后，基于目标数据的融合特征，执行推荐任务得到至少一个推荐数据；并将所述至少一个推荐数据反馈至客户端设备。
[0276]
图13示出了本技术一实施例提供的数据推荐装置的结构实施例。如图所示，所述数据推荐装置包括：确定模块31、融合模块32及推荐模块33。其中，确定模块31用于确定目标数据，还用于根据数据间的关联信息，确定多个数据中与所述目标数据相关的至少一个关联数据。所述融合模块32用于融合所述目标数据的特征信息及所述至少一个关联数据的特征信息，得到所述目标数据的融合特征。所述推荐模块33用于基于所述目标数据的融合特征，为用户推荐至少一个推荐数据。
[0277]
进一步的，所述确定模块31在根据数据间的关联信息，确定多个数据中与所述目标数据相关的至少一个关联数据时，具体用于：
[0278]
根据数据间的关联信息，构建关系图；其中，所述关系图包括多个节点及反映节点间关系的边信息；不同节点对应不同的数据，所述目标数据在所述关系图中对应的节点为目标节点；
[0279]
针对所述目标节点，对所述关系图中的节点进行采样，以采样出与所述目标节点相关的至少一个关联节点；其中，关联节点对应的数据即与所述目标数据相关的关联数据。
[0280]
再进一步的，所述确定模块在针对所述目标节点，对所述关系图中的节点进行采样，以采样出与所述目标节点相关的至少一个关联节点时，具体用于：
[0281]
获取目标次数及采样数量；
[0282]
在一次采样过程中，将所述目标节点作为采样原点，采样所述关系图中与所述采样原点相邻的至少一个邻居节点；
[0283]
判定采样次数是否达到所述目标次数；
[0284]
在采样次数不大于所述目标次数时，进入下一次采样迭代；在下一次采样迭代中，以所述至少一个邻居节点中任一邻居节点为采样原点，采样所述关系图中与所述采样原点相邻的至少一个邻居节点；
[0285]
在采样次数大于所述目标次数时，从所述目标次数的采样迭代中采样到的邻居节点中，确定出所述采样数量个邻居节点作为关联节点。
[0286]
再进一步的，所述确定模块在采样出多个与所述目标数据相关的关联数据时，还用于：确定多个关联数据的重要度；按照重要度，分别为所述多个关联数据配置对应的嵌入特征；为所述目标数据配置嵌入特征；获取所述目标数据的至少一种模态的特征及所述多个关联数据中任一关联数据的多模态特征；根据所述目标数据的至少一种模态的特征及所述目标数据对应的嵌入特征，确定所述目标数据的特征信息；根据所述多个关联数据中任一关联数据的至少一种模态的特征及该关联数据对应的嵌入特征，确定所述关联数据的特征信息。
[0287]
进一步的，所述嵌入特征包括位置特征及角色特征，所述目标数据具有多模态特征，所述多模态特征包括多种模态的特征。相应的，所述确定模块31在根据所述目标数据的
多模态特征及所述目标数据对应的嵌入特征，确定所述目标数据的特征信息时，具体用于：
[0288]
为所述目标数据的多模态特征中的每种模态的特征确定相应的权重；
[0289]
根据所述目标数据的多模态特征及所述多模态特征中每种模态的特征的权重，确定所述目标数据的内容特征；
[0290]
将所述目标数据的内容特征以及所述目标数据对应的位置特征与角色特征聚合，得到所述目标数据的特征信息。
[0291]
进一步的，所述融合模块32在融合所述目标数据的特征信息及所述至少一个关联数据的特征信息，得到所述目标数据的融合特征时，用于：
[0292]
确定所述目标数据的特征信息与所述至少一个关联数据的特征信息的特征相似度；
[0293]
基于特征相似度，确定所述至少一个关联数据对应的注意力权重；
[0294]
根据所述至少一个关联数据对应的注意力权重，对所述目标数据的特征信息及所述至少一个关联数据的特征信息进行融合编码，得到所述目标数据的融合特征。
[0295]
或者，所述融合模块32在融合所述目标数据的特征信息及所述至少一个关联数据的特征信息，得到所述目标数据的融合特征时，用于：
[0296]
获取特征融合模型；
[0297]
将所述目标数据的特征信息及所述至少一个关联数据的特征信息输入所述特征融合模型，执行所述特征融合模型得到所述目标数据的融合特征；
[0298]
其中，所述特征融合模型经预训练过程得到。
[0299]
进一步的，本实施例提供的数据推荐装置还可包括训练模块。其中，训练模型用于：
[0300]
获取样本图，其中，所述样本图包括样本节点及反映样本节点间关系的边信息；
[0301]
针对所述样本图中的第一样本节点，对所述样本图中的样本节点进行采样，以采样出与所述第一样本节点相关的至少一个第二样本节点；
[0302]
根据所述第一样本节点的至少一种模态的特征及至少一个第二样本节点的至少一种模态的特征，分别确定所述第一样本节点的特征信息及所述至少一个第二样本节点的特征信息；
[0303]
将所述第一样本节点的特征信息及所述至少一个第二样本节点的特征信息输入所述特征融合模型，得到所述第一样本节点的融合特征及所述至少一个第二样本节点的融合特征；
[0304]
基于所述第一样本节点的融合特征及所述至少一个第二样本节点的融合特征，执行图重构任务及掩蔽样本节点特征重建任务，得到各任务对应的执行结果；
[0305]
根据各任务对应的执行结果，优化所述特征融合模型中的参数。
[0306]
这里需要说明的是：本实施例提供的所述数据推荐装置中各模块未尽详述的内容可参见上述各实施例中的相应内容，此处不再作赘述。此外，本实施例提供的所述数据推荐装置中除了具有上文中描述的各功能外，还可包括上述各实施例中其他部分或全部步骤对应的功能，具体可参见上述各实施例相应内容，在此不再赘述。
[0307]
图14示出了本技术另一实施例提供的数据推荐装置的结构图。如图14所示，所述数据推荐装置包括：输出模块41、确定模块42、融合模块43及推荐模块44。其中，输出模块41
用于响应于用户在交互界面上的操作，输出第一多媒体数据。所述确定模块42用于确定与所述第一多媒体数据相关的至少一个第二多媒体数据。所述融合模块43用于融合所述第一多媒体数据的特征信息及所述至少一个第二多媒体数据的特征信息，得到所述第一多媒体数据的融合特征。所述推荐模块44用于根据所述第一多媒体数据的融合特征，确定推荐数据。所述输出模块还用于在待输出条件满足时，为所述用户输出所述推荐数据。
[0308]
进一步的，所述确定模块42在确定与所述第一多媒体数据相关的至少一个第二多媒体数据时，具体用于：
[0309]
根据与所述用户相关的历史数据，确定至少一个第二多媒体数据；获取所述第一多媒体数据的多模态特征、所述至少一个第二多媒体数据的多模态特征以及所述用户的行为数据；根据所述第一多媒体数据的多模态特征、所述至少一个第二多媒体数据的多模态特征以及所述用户的行为数据，确定多媒体数据间的关联信息；根据所述多媒体数据间的关联信息，构建关系图；其中，所述关系图中包括多个节点及反映节点间关系的边信息；所述关系图中包含有：与所述第一多媒体数据对应的第一节点，以及与所述至少一个第二多媒体数据对应的至少一个第二节点；针对所述第一节点，对所述关系图中的节点进行采样，以采样出与所述第一节点相关的至少一个关联节点，其中，关联节点对应的数据即与所述第一多媒体数据相关的第二多媒体数据。
[0310]
进一步的，所述融合模块43在融合所述第一多媒体数据的特征信息及所述至少一个第二多媒体数据的特征信息，得到所述第一多媒体数据的融合特征时，具体用于：
[0311]
分别为所述第一多媒体数据及所述至少一个第二多媒体数据配置相应的嵌入特征；根据所述第一多媒体数据的多模态特征及所述第一多媒体数据对应的嵌入特征，确定所述第一多媒体数据的特征信息；根据所述至少一个第二多媒体数据的多模态特征及所述至少一个第二多媒体数据对应的嵌入特征，确定所述至少一个第二多媒体数据的特征信息；将所述第一多媒体数据的特征信息及所述至少一个第二多媒体数据的特征信息输入特征融合模型，执行所述特征融合模型得到所述第一多媒体数据的融合特征；其中，所述特征融合模型经预训练过程得到。
[0312]
这里需要说明的是：本实施例提供的所述数据推荐装置中各模块未尽详述的内容可参见上述各实施例中的相应内容，此处不再作赘述。此外，本实施例提供的所述数据推荐装置中除了具有上文中描述的各功能外，还可包括上述各实施例中其他部分或全部步骤对应的功能，具体可参见上述各实施例相应内容，在此不再赘述。
[0313]
图15示出了本技术一实施例提供的短视频推荐装置的结构示意图。如图15所示，所述装置包括：显示模块51、确定模块52、融合模块53及推荐模块54。其中，显示模块51用于显示第一短视频。所述确定模块52用于确定与所述第一短视频相关的至少一个第二短视频。所述融合模块53用于融合所述第一短视频的特征信息及所述至少一个第二短视频的特征信息，得到所述第一短视频的融合特征。所述推荐模块54用于根据所述第一短视频的融合特征，确定推荐对象。所述显示模块还用于待显示条件满足时，显示所述推荐对象。
[0314]
这里需要说明的是：本实施例提供的所述短视频推荐装置中各模块未尽详述的内容可参见上述各实施例中的相应内容，此处不再作赘述。此外，本实施例提供的所述短视频推荐装置中除了具有上文中描述的各功能外，还可包括上述各实施例中其他部分或全部步骤对应的功能，具体可参见上述各实施例相应内容，在此不再赘述。
[0315]
图16示出了本技术一实施例提供一个电子设备的结构示意图。如图16所示，所述电子设备包括：存储器61以及处理器62。存储器61可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器61可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0316]
所述存储器61，用于存储一条或多条计算机指令；
[0317]
所述处理器62，与所述存储器61耦合，用于执行所述存储器61中存储的一条或多条计算机指令，以实现上述各实施例提供的数据推荐方法或短视频推荐方法中的步骤。
[0318]
进一步，如图16所示，电子设备还包括：通信组件63、电源组件65及显示器66等其它组件。图16中仅示意性给出部分组件，并不意味着电子设备只包括图16所示组件。
[0319]
相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例提供的数据推荐方法或短视频推荐方法中的步骤或功能。
[0320]
本技术实施例还提供一种计算机程序产品，包括计算机程序，当所述计算机程序被处理器执行时，致使所述处理器能够实现上述各实施例提供的数据推荐方法或短视频推荐方法中的步骤或功能。
[0321]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0322]
通过以上实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0323]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。