基于注意力机制的深度学习方法、装置、设备及存储介质与流程

1.本发明涉及智能决策技术领域，尤其涉及一种基于注意力机制的深度学习方法、装置、设备及存储介质。


背景技术：

2.随着信息技术的不断发展，信息量的增长趋势逐渐扩大，对人们的生活也带来了巨大的影响，一方面，可以提供越来越多的信息供人们使用，另一方面，如何在庞大的信息中查找到需要的信息，也越来越困难，如何解决这一问题，成为目前亟待解决的问题。
3.在此前景下，推荐系统应运而生，通过将用户和商品转化为空间中的向量，并通过空间之间的远近关系，确定现实中的相似性关系，即可确定用户需要的商品，每个商品都有明确的物理属性、标签、描述等，但是对于一些虚拟的业务服务，比如，金融领域的业务服务，通过业务服务本身的特征确定的特征向量并不是很好的选择，可能会出现失效的情况出现。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种注意力机制的深度学习方法、装置、计算机设备及存储介质，以解决现有技术中，通过业务服务本身的特征确定的特征向量并不是很好的选择，可能会出现失效的情况出现的问题。
5.第一方面，提供了一种注意力机制的深度学习方法方法，包括：
6.获取业务服务属性、用户属性以及当前使用业务服务上下文属性；
7.对用户属性中的不同的用户本身特征以及用户行为特征赋予不同的权重，以获取用户属性的特征向量；
8.获取业务服务属性的特征向量以及当前使用业务服务上下文属性的特征向量；
9.将用户行为特征向量、业务服务属性的特征向量以及当前使用业务服务的上下文属性的特征向量进行拼接，以获取组合特征向量；
10.通过预设激活函数对组合特征向量中的每个特征向量进行处理，以获取业务服务的特征向量，并根据业务服务的特征向量执行对应的处理。
11.在一实施例中，用户行为特征包括用户行为上下文特征，对用户属性中的不同的用户本身特征以及用户行为特征赋予不同的权重，以获取用户属性的特征向量，包括：
12.获取用户特征以及用户行为的上下文特征的特征向量。
13.按照预设规则，对用户行为特征以及用户行为上下文特征的特征向量赋予不同的权重；
14.根据权重，确定用户属性的特征向量。
15.在一实施例中，获取业务服务属性的特征向量以及当前使用业务服务上下文属性的特征向量，包括：
16.对业务服务属性进行编码，以获取第一初始向量；
17.对当前使用业务服务上下文属性进行编码，以获取第二初始向量；
18.分别对第一初始向量以及第二初始向量进行降维处理，以获取业务服务属性的特征向量以及当前使用业务服务上下文属性的特征向量。
19.在一实施例中，分别对第一初始向量以及第二初始向量进行降维处理，包括：
20.将第一初始向量转换为第一初始矩阵；
21.将第二初始向量转换为第二初始矩阵；
22.分别将第一初始矩阵以及第二初始矩阵，与预设矩阵进行相乘。
23.在一实施例中，根据业务服务的特征向量执行对应的处理，包括：
24.根据业务服务特征向量，获取与业务服务的相似度高于预设相似度的相关业务服务；
25.将与业务服务的相似度高于预设相似度的相关业务服务，按照相似度从高到低的顺序进行排列；
26.根据排列顺序，依次将相似度高于预设相似度的相关业务服务推荐给用户。
27.在一实施例中，根据业务服务的特征向量执行对应的处理，包括：
28.获取用户使用业务服务的历史信息以及对业务服务的评价信息；
29.根据历史信息以及评价信息，获取用户对符合用户兴趣的业务服务的关注度；
30.根据关注度，对符合用户兴趣的推荐业务服务进行筛选，以获取用户关注度最高的业务服务，并推送给用户。
31.第二方面，提供了一种注意力机制的深度学习装置，包括：
32.获取单元，用于获取业务服务属性、用户属性以及当前使用业务服务上下文属性；
33.权重分配单元，用于对用户属性中的不同的用户本身特征以及用户行为特征赋予不同的权重，以获取用户属性的特征向量；
34.特征向量获取单元，用于获取业务服务属性的特征向量以及当前使用业务服务上下文属性的特征向量；
35.组合特征向量获取单元，用于将用户行为特征向量、业务服务属性的特征向量以及当前使用业务服务的上下文属性的特征向量进行拼接，以获取组合特征向量；
36.业务服务的特征向量获取单元，用于通过预设激活函数对组合特征向量中的每个特征向量进行处理，以获取业务服务的特征向量，并根据业务服务的特征向量执行对应的处理。
37.在一实施例中，权重分配单元，还用于：
38.获取用户特征以及用户行为的上下文特征的特征向量。
39.按照预设规则，对用户行为特征以及用户行为上下文特征的特征向量赋予不同的权重；
40.根据权重，确定用户属性的特征向量。
41.第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现上述注意力机制的深度学习方法。
42.第四方面，提供了一个或多个存储有计算机可读指令的可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述注意力机制的深度
学习方法。
43.上述基于注意力机制的深度学习方法、装置、设备及存储介质，其方法实现包括：获取业务服务属性、用户属性以及当前使用业务服务上下文属性；对用户属性中的不同的用户本身特征以及用户行为特征赋予不同的权重，以获取用户属性的特征向量。获取业务服务属性的特征向量以及当前使用业务服务上下文属性的特征向量；将用户行为特征向量、业务服务属性的特征向量以及当前使用业务服务的上下文属性的特征向量进行拼接，以获取组合特征向量；通过预设激活函数对组合特征向量中的每个特征向量进行处理，以获取业务服务的特征向量，并根据业务服务的特征向量执行对应的处理。通过对用户属性加入注意力机制，对用户本身特征以及用户行为特征分配不同的权重，以便确定用户兴趣的表达，进而使得业务服务的表达不但覆盖了喜欢它的用户，也覆盖了在时间序列上该业务服务的特性，使得获取的业务服务的特征向量更加符合业务服务的属性，更为精确。
附图说明
44.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
45.图1是本发明一实施例中基于注意力机制的深度学习方法的一流程示意图；
46.图2是本发明一实施例中基于注意力机制的深度学习装置的一结构示意图；
47.图3是本发明一实施例中计算机设备的一示意图。
具体实施方式
48.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.在一实施例中，如图1所示，提供一种基于注意力机制的深度学习方法，包括如下步骤：
50.步骤s110中，获取业务服务属性、用户属性以及当前使用业务服务上下文属性；
51.在本技术实施例中，该业务服务属性、用户属性以及当前使用业务服务的上下文属性，可通过用户在移动终端提供的业务服务软件或者小程序使用对应业务服务时，所实时采集的。
52.其中，业务服务属性为业务服务本身的属性，示例性的，包括功能描述、产品类型、适用人群，风险等级等。该业务服务可为金融业务服务，比如基金、保险等业务服务，也可为听歌服务、购买服务等。
53.其中，用户属性为用户使用业务服务的过程中产生的相关属性，主要为用户的特征属性，示例性的，包括年龄、职业、性别、财富水平、兴趣等；此外，也可包含用户在使用当前业务服务时产生的行为属性，比如，使用时间、使用时长、操作区域等。
54.其中，当前使用业务服务的上下文属性为用户在使用当前业务服务前后使用的其
他业务服务、产品、页面的属性。该产品的属性包括产品类型、风险等级、产品描述等。该页面属性包括题目、正文、标签等。
55.步骤s120中，对用户属性中的不同的用户本身特征以及用户行为特征赋予不同的权重，以获取用户属性的特征向量。
56.在本技术实施例中，用户属性包括不同的用户以及不同的用户行为特征，不同的用户对业务服务影响不同，不同用户的用户行为特征对业务服务的影响也不同，比如，用户的浏览行为明显对业务服务的影响要高于点击行为。
57.在本技术实施例中，将用户属性的各用户本身特征以及用户行为特征均通过embedding(特征向量表示)转换为特征向量后，通过activation(注意力机制)对embedding表达之后的用户属性的各用户本身特征向量以及用户行为特征向量赋予不同的权重，并对用户属性的各用户特征以及用户行为特征分配了对应权重后，通过激活单元(activation unit)提供的激活函数获取该用户的特征向量。
58.其中，用户行为特征包括用户当前行为特征以及用户当前行为的上下文特征，比如，用户点击该业务服务之前或者之后的行为特征，如，浏览、购买等行为。
59.本技术实施例中，通过注意力机制对不同的用户赋予不同的权重，在时间序列上不同远近程度的用户上下文特征赋予了不同的权重，使得获取的用户属性特征向量更加符合用户使用习惯，在做推荐时，更加符合用户的兴趣，推荐更为准确。
60.步骤s130中，获取业务服务属性的特征向量以及当前使用业务服务上下文属性的特征向量；
61.在本技术实施例中，将该业务服务属性以及当前使用业务服务的上下文属性通过one
‑
hot编码方法或者multi
‑
hot编码方法进行编码，比如，可将产品的风险等级划分为c1
‑
c5级，采用one
‑
hot编码，则c2的编码可为(0，1，0，0，0)，编码完成后，通过降维的方式，将上述编码转换为维度相同的向量，以实现将业务服务属性以及当前使用业务服务的上下文属性转换为特征向量。
62.步骤s140中，将用户行为特征向量、业务服务属性的特征向量以及当前使用业务服务的上下文属性的特征向量进行拼接，以获取组合特征向量；
63.在本技术实施例中，可通过concat函数将用户行为特征向量、业务服务属性的特征向量以及当前使用业务服务的上下文属性的特征向量拼接到一起，以形成组合特征向量。
64.步骤s150中，通过预设激活函数对组合特征向量中的每个特征向量进行处理，以获取业务服务的特征向量，并根据业务服务的特征向量执行对应的处理。
65.其中，预设激活函数可为线性整流函数(rectified linear unit，relu)。
66.在本技术实施例中，通过上述relu函数对组合特征向量中的每个向量进行处理后，并通过输出层的softmax激励函数对处理后的各个向量再次进行处理，并输出，输出的向量作为该业务服务的特征向量并根据该业务服务的特征向量执行对应处理，比如，向用户推荐用户感兴趣的业务服务，进一步，可将该业务服务的特征向量进行存储，以便后续使用。
67.本技术实施例中，采用了业务服务属性、用户属性以及当前使用业务服务上下文属性三种数据源，其中用户属性以及当前使用业务服务上下文属性都是动态变化的，使得
业务服务的向量也是动态变化的，更符合个性化推荐场景的要求，比如，推荐一首歌曲时，不仅要根据歌曲的本身属性，如歌词、作者、曲风等，还要考虑结合此歌曲的受众群体，比如青年、老年、儿童等，以及用户在听这首歌时前后听的歌曲，只有这样最终得到的业务服务向量表达不但覆盖了喜欢它的用户，也覆盖了在时间序列上服务的其他特性，真正的表达了兴趣，提高了后续的业务服务的推荐准确率。
68.本技术实施例中，提供了一种注意力机制的深度学习方法，包括获取业务服务属性、用户属性以及当前使用业务服务上下文属性；对用户属性中的不同的用户本身特征以及用户行为特征赋予不同的权重，以获取用户属性的特征向量。获取业务服务属性的特征向量以及当前使用业务服务上下文属性的特征向量；将用户行为特征向量、业务服务属性的特征向量以及当前使用业务服务的上下文属性的特征向量进行拼接，以获取组合特征向量；通过预设激活函数对组合特征向量中的每个特征向量进行处理，以获取业务服务的特征向量，并根据业务服务的特征向量执行对应的处理。通过对用户属性加入注意力机制，对用户本身特征以及用户行为特征分配不同的权重，以便确定用户兴趣的表达，进而使得业务服务的表达不但覆盖了喜欢它的用户，也覆盖了在时间序列上该业务服务的特性，使得获取的业务服务的特征向量更加符合业务服务的属性，更为精确。
69.在一实施例中，提供一种基于注意力机制的深度学习方法，包括如下步骤：
70.步骤s110中，获取业务服务属性、用户属性以及当前使用业务服务上下文属性；
71.在本技术实施例中，该业务服务属性、用户属性以及当前使用业务服务的上下文属性，可通过用户在移动终端提供的业务服务软件或者小程序使用对应业务服务时，所实时采集的。
72.其中，业务服务属性为业务服务本身的属性，示例性的，包括功能描述、产品类型、适用人群，风险等级等。该业务服务可为金融业务服务，比如基金、保险等业务服务，也可为听歌服务、购买服务等。
73.其中，用户属性为用户使用业务服务的过程中产生的相关属性，主要为用户的特征属性，示例性的，包括年龄、职业、性别、财富水平、兴趣等；此外，也可包含用户在使用当前业务服务时产生的行为属性，比如，使用时间、使用时长、操作区域等。
74.其中，当前使用业务服务的上下文属性为用户在使用当前业务服务前后使用的其他业务服务、产品、页面的属性。该产品的属性包括产品类型、风险等级、产品描述等。该页面属性包括题目、正文、标签等。
75.用户行为特征包括用户行为上下文特征，步骤s120包括：
76.获取用户特征以及用户行为的上下文特征的特征向量。
77.按照预设规则，对用户行为特征以及用户行为上下文特征的特征向量赋予不同的权重；
78.根据权重，确定用户属性的特征向量。
79.在本技术实施例中，该预设规则可为根据用户特征以及用户行为上下文特征对业务服务特征的影响进行权重的分配，比如，使用了当前业务服务10分钟的用户比使用了10秒钟的用户，给该业务服务带来的特征影响更大，即分配的权重更大。在时间序列上，距离当前业务服务使用时间越近的上下文特征，比距离当前业务服务使用时间更久的上下文特征更重要，即权重更大。比如1分钟内，用户浏览了该业务服务，比1天前用户浏览了该业务
服务对该业务服务带来的特征影响更大，即分配的权重更大。
80.在本技术实施例中，对用户行为特征以及用户行为上下文特征的特征向量赋予不同的权重之后，该用户属性的特征向量可通过如下公式获取：
[0081][0082]
其中，v
u
表示用户行为的特征向量表示，v
a
表示用户行为上下文的特征向量表示，v
i
表示用户行为序列中某个单个相位上下文的特征向量表示，比如，浏览、点击、购买等行为，w
i
表示用户行为序列上各个行为的权重，g(v
i
，v
b
)表示拟合，v
b
表示用户固有的物理属性，即，一个行为的权重不但取决于这个行为是什么，也取决于这个用户是谁，例如，购买行为的权重应该比浏览行为的权重大，高净值客户或者深度客户的权重应该比低净值客户或者沉默客户的权重大。
[0083]
在本技术一实施例中，当用户属性中包括多个用户的用户特征时，通过上述公式分别获取每个用户的特征向量，并将获取的各个用户的特征向量进行拼接，并通过sumpooling(池化方法)将拼接后的用户特征向量转换为固定长度的用户属性的特征向量，以便进行后续处理。
[0084]
在一实施例中，步骤s130，包括:
[0085]
对业务服务属性进行编码，以获取第一初始向量；
[0086]
对当前使用业务服务上下文属性进行编码，以获取第二初始向量；
[0087]
分别对第一初始向量以及第二初始向量进行降维处理，以获取业务服务属性的特征向量以及当前使用业务服务上下文属性的特征向量。
[0088]
在本技术实施例中，可通过one
‑
hot或者multi
‑
hot对上述业务服务属性以及当前使用业务服务上下文属性分别进行编码，比如，以业务服务属性为例，业务服务属性中的risk属性，即产品的风险等级，可从c1
‑
c5进行取值，通过one
‑
hot编码方式进行编码，则c2可以表示为(0，1，0，0，0)，同理，用户属性中的职业属性以及用户行为属性中的浏览、点击等属性也可通过one
‑
hot编码方式进行编码，对于枚举值较多的属性或者存在连续值的属性，可采用multi
‑
hot编码方法进行编码。以将业务服务属性以及当前使用业务服务上下文属性转换为向量。
[0089]
在本技术实施例中，编码完成后，可通过pooling(降采样)方式，对第一初始向量以及第二初始向量进行降维处理，以将第一初始向量以及第二初始向量分别转换为维度相同的特征向量。
[0090]
在一实施例中，分别对第一初始向量以及第二初始向量进行降维处理，包括：
[0091]
将第一初始向量转换为第一初始矩阵；
[0092]
将第二初始向量转换为第二初始矩阵；
[0093]
分别将第一初始矩阵以及第二初始矩阵，与预设矩阵进行相乘。
[0094]
在本技术一实施例中，第一初始向量包括多个业务服务属性的向量，比如向量a以及向量b，则将第一初始向量转换为第一初始矩阵，则可表示为第一初始矩阵c＝(a；b)，中间分号可表示换行。同理，第二初始向量也可通过上述方式转换为第二初始矩阵。
[0095]
本实施例一实施场景中，比如，可将多个属性对应的初始向量为0
‑
1的向量进行拼接，以形成m*n的向量矩阵，乘以预设矩阵n*1，则变成m*1，并将m*1通过softmax(逻辑回归)函数进行pooling(降采样)，以将业务服务属性以及当前使用业务服务上下文属性转换为特征向量。
[0096]
步骤s140中，将用户行为特征向量、业务服务属性的特征向量以及当前使用业务服务的上下文属性的特征向量进行拼接，以获取组合特征向量；
[0097]
在本技术实施例中，可通过concat函数将用户行为特征向量、业务服务属性的特征向量以及当前使用业务服务的上下文属性的特征向量拼接到一起，以形成组合特征向量。
[0098]
步骤s150中，通过预设激活函数对组合特征向量中的每个特征向量进行处理，以获取业务服务的特征向量，并根据业务服务的特征向量执行对应的处理。
[0099]
其中，预设激活函数可为线性整流函数(rectified linear unit，r吗elu)。在本技术实施例中，通过上述relu函数对组合特征向量中的每个向量进行处理后，并通过输出层的softmax激励函数对处理后的各个向量再次进行处理，并输出，输出的向量作为该业务服务的特征向量并根据该业务服务的特征向量执行对应处理，比如，向用户推荐用户感兴趣的业务服务，进一步，可将该业务服务的特征向量进行存储，以便后续使用。
[0100]
在一实施例中，根据业务服务特征向量表示执行对应的处理，包括：
[0101]
根据业务服务特征向量，获取与业务服务的相似度高于预设相似度的相关业务服务；
[0102]
将与业务服务的相似度高于预设相似度的相关业务服务，按照相似度从高到低的顺序进行排列；
[0103]
根据排列顺序，依次将相似度高于预设相似度的相关业务服务推荐给用户。
[0104]
在本技术实施例中，获取与业务服务的相似度高于预设相似度的相关业务服务可通过计算业务服务与候选业务服务之间的多维空间距离获取，比如可通过余弦距离、海明距离、欧式距离等方式计算，以欧式距离计算方法为例，比如，业务服务的特征向量为(x1，y1)，候选业务服务的特征向量为(x2，y2)，则业务服务与候选业务服务之间的距离为(x1‑
x2)2 (y1‑
y2)2，得到的欧式距离越小，则说明业务服务与候选业务服务之间的相似度越高
[0105]
进一步，可结合性能优化，采用k
‑
dimensional树型结构，或者balltree(球树)计算业务服务与候选业务服务之间的距离。
[0106]
在一实施例中，根据业务服务特征向量表示执行对应的处理，包括：
[0107]
获取用户使用业务服务的历史信息以及对业务服务的评价信息；
[0108]
根据历史信息以及评价信息，获取用户对符合用户兴趣的业务服务的关注度；
[0109]
根据关注度，对符合用户兴趣的推荐业务服务进行筛选，以获取用户关注度最高的业务服务，并推送给用户。
[0110]
在本技术实施例中，该关注度为用户对业务服务的兴趣程度，具体可通过用户对该业务服务的评价、使用频率、浏览时长等确定。比如，用户对该业务服务的评价比较高，且浏览该业务服务页面的时长超过预设时间，比如10分钟，则可认为该用户对该业务服务的关注度较高。
[0111]
在本技术实施例中，获取用户对符合用户兴趣的推荐业务服务的关注度之后，可
根据该关注度的高低，获取关注度最高的推荐业务服务，并推送给用户，以便推荐的业务服务符合用户的兴趣，提高推荐的准确性。
[0112]
本技术实施例中，通过对用户属性加入注意力机制，对用户本身特征以及用户行为特征分配不同的权重，以便确定用户兴趣的表达，进而使得业务服务的表达不但覆盖了喜欢它的用户，也覆盖了在时间序列上该业务服务的特性，使得获取的业务服务的特征向量更加符合业务服务的属性，更为精确。
[0113]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0114]
在一实施例中，提供一种基于注意力机制的深度学习装置，该基于注意力机制的深度学习装置与上述实施例中基于注意力机制的深度学习方法一一对应。如图2所示，该基于注意力机制的深度学习装置包括：获取单元10、权重分配单元20、特征向量获取单元30、组合特征向量获取单元40、业务服务的特征向量获取单元50。各单元详细说明如下：
[0115]
获取单元10，用于获取业务服务属性、用户属性以及当前使用业务服务上下文属性；
[0116]
在本技术实施例中，该业务服务属性、用户属性以及当前使用业务服务的上下文属性，可通过用户在移动终端提供的业务服务软件或者小程序使用对应业务服务时，所实时采集的。
[0117]
其中，业务服务属性为业务服务本身的属性，示例性的，包括功能描述、产品类型、适用人群，风险等级等。该业务服务可为金融业务服务，比如基金、保险等业务服务，也可为听歌服务、购买服务等。
[0118]
其中，用户属性为用户使用业务服务的过程中产生的相关属性，主要为用户的特征属性，示例性的，包括年龄、职业、性别、财富水平、兴趣等；此外，也可包含用户在使用当前业务服务时产生的行为属性，比如，使用时间、使用时长、操作区域等。
[0119]
其中，当前使用业务服务的上下文属性为用户在使用当前业务服务前后使用的其他业务服务、产品、页面的属性。该产品的属性包括产品类型、风险等级、产品描述等。该页面属性包括题目、正文、标签等。
[0120]
权重分配单元20，用于对用户属性中的不同的用户本身特征以及用户行为特征赋予不同的权重，以获取用户属性的特征向量；
[0121]
在本技术实施例中，用户属性包括不同的用户以及不同的用户行为特征，不同的用户对业务服务影响不同，不同用户的用户行为特征对业务服务的影响也不同，比如，用户的浏览行为明显对业务服务的影响要高于点击行为。
[0122]
在本技术实施例中，将用户属性的各用户本身特征以及用户行为特征均通过embedding(特征向量表示)转换为特征向量后，通过activation(注意力机制)对embedding表达之后的用户属性的各用户本身特征向量以及用户行为特征向量赋予不同的权重，并对用户属性的各用户特征以及用户行为特征分配了对应权重后，通过激活单元(activation unit)提供的激活函数获取该用户的特征向量。
[0123]
其中，用户行为特征包括用户当前行为特征以及用户当前行为的上下文特征，比如，用户点击该业务服务之前或者之后的行为特征，如，浏览、购买等行为。
[0124]
本技术实施例中，通过注意力机制对不同的用户赋予不同的权重，在时间序列上不同远近程度的用户上下文特征赋予了不同的权重，使得获取的用户属性特征向量更加符合用户使用习惯，在做推荐时，更加符合用户的兴趣，推荐更为准确。
[0125]
在一实施例中，权重分配单元20，还用于：
[0126]
获取用户特征以及用户行为的上下文特征的特征向量。
[0127]
按照预设规则，对用户行为特征以及用户行为上下文特征的特征向量赋予不同的权重；
[0128]
根据权重，确定用户属性的特征向量。
[0129]
在本技术实施例中，该预设规则可为根据用户特征以及用户行为上下文特征对业务服务特征的影响进行权重的分配，比如，使用了当前业务服务10分钟的用户比使用了10秒钟的用户，给该业务服务带来的特征影响更大，即分配的权重更大。在时间序列上，距离当前业务服务使用时间越近的上下文特征，比距离当前业务服务使用时间更久的上下文特征更重要，即权重更大。比如1分钟内，用户浏览了该业务服务，比1天前用户浏览了该业务服务对该业务服务带来的特征影响更大，即分配的权重更大。
[0130]
在本技术实施例中，对用户行为特征以及用户行为上下文特征的特征向量赋予不同的权重之后，该用户属性的特征向量可通过如下公式获取：
[0131][0132]
其中，v
u
表示用户行为的特征向量表示，v
a
表示用户行为上下文的特征向量表示，v
i
表示用户行为序列中某个单个相位上下文的特征向量表示，比如，浏览、点击、购买等行为，w
i
表示用户行为序列上各个行为的权重，g(v
i
，v
b
)表示拟合，v
b
表示用户固有的物理属性，即，一个行为的权重不但取决于这个行为是什么，也取决于这个用户是谁，例如，购买行为的权重应该比浏览行为的权重大，高净值客户或者深度客户的权重应该比低净值客户或者沉默客户的权重大。
[0133]
在本技术一实施例中，当用户属性中包括多个用户的用户特征时，通过上述公式分别获取每个用户的特征向量，并将获取的各个用户的特征向量进行拼接，并通过sumpooling(池化方法)将拼接后的用户特征向量转换为固定长度的用户属性的特征向量，以便进行后续处理。
[0134]
特征向量获取单元30，用于获取业务服务属性的特征向量以及当前使用业务服务上下文属性的特征向量；
[0135]
在本技术实施例中，将该业务服务属性以及当前使用业务服务的上下文属性通过one
‑
hot编码方法或者multi
‑
hot编码方法进行编码，比如，可将产品的风险等级划分为c1
‑
c5级，采用one
‑
hot编码，则c2的编码可为(0，1，0，0，0)，编码完成后，通过降维的方式，将上述编码转换为维度相同的向量，以实现将业务服务属性以及当前使用业务服务的上下文属性的特征向量。
[0136]
在一实施例中，特征向量获取单元30，还用于：
[0137]
对业务服务属性进行编码，以获取第一初始向量；
[0138]
对当前使用业务服务上下文属性进行编码，以获取第二初始向量；
[0139]
分别对第一初始向量以及第二初始向量进行降维处理，以获取业务服务属性的特征向量以及当前使用业务服务上下文属性的特征向量。
[0140]
在本技术实施例中，可通过one
‑
hot或者multi
‑
hot对上述业务服务属性以及当前使用业务服务上下文属性分别进行编码，比如，以业务服务属性为例，业务服务属性中的risk属性，即产品的风险等级，可从c1
‑
c5进行取值，通过one
‑
hot编码方式进行编码，则c2可以表示为(0，1，0，0，0)，同理，用户属性中的职业属性以及用户行为属性中的浏览、点击等属性也可通过one
‑
hot编码方式进行编码，对于枚举值较多的属性或者存在连续值的属性，可采用multi
‑
hot编码方法进行编码。以将业务服务属性以及当前使用业务服务上下文属性转换为向量。
[0141]
在本技术实施例中，编码完成后，可通过pooling(降采样)方式，对第一初始向量以及第二初始向量进行降维处理，以将第一初始向量以及第二初始向量分别转换为维度相同的特征向量。
[0142]
在一实施例中，特征向量获取单元30，还用于：
[0143]
将第一初始向量转换为第一初始矩阵；
[0144]
将第二初始向量转换为第二初始矩阵；
[0145]
分别将第一初始矩阵以及第二初始矩阵，与预设矩阵进行相乘。
[0146]
在本技术一实施例中，第一初始向量包括多个业务服务属性的向量，比如向量a以及向量b，则将第一初始向量转换为第一初始矩阵，则可表示为第一初始矩阵c＝(a；b)，中间分号可表示换行。同理，第二初始向量也可通过上述方式转换为第二初始矩阵。
[0147]
本实施例一实施场景中，比如，可将多个属性对应的初始向量为0
‑
1的向量进行拼接，以形成m*n的向量矩阵，乘以预设矩阵n*1，则变成m*1，并将m*1通过softmax(逻辑回归)函数进行pooling(降采样)，以将业务服务属性以及当前使用业务服务上下文属性转换为特征向量。
[0148]
组合特征向量获取单元40，用于将用户行为特征向量、业务服务属性的特征向量以及当前使用业务服务的上下文属性的特征向量进行拼接，以获取组合特征向量；
[0149]
在本技术实施例中，可通过concat函数将用户行为特征向量、业务服务属性的特征向量以及当前使用业务服务的上下文属性的特征向量拼接到一起，以形成组合特征向量。
[0150]
业务服务的特征向量获取单元50，用于通过预设激活函数对组合特征向量中的每个特征向量进行处理，以获取业务服务的特征向量，并根据业务服务的特征向量执行对应的处理。
[0151]
其中，预设激活函数可为线性整流函数(rectified linear unit，relu)。
[0152]
在本技术实施例中，通过上述relu函数对组合特征向量中的每个向量进行处理后，并通过输出层的softmax激励函数对处理后的各个向量再次进行处理，并输出，输出的向量作为该业务服务的特征向量并根据该业务服务的特征向量执行对应处理，比如，向用户推荐用户感兴趣的业务服务，进一步，可将该业务服务的特征向量进行存储，以便后续使用。
[0153]
在一实施例中，业务服务的特征向量获取单元50，还用于：
[0154]
根据业务服务特征向量，获取与业务服务的相似度高于预设相似度的相关业务服务；
[0155]
将与业务服务的相似度高于预设相似度的相关业务服务，按照相似度从高到低的顺序进行排列；
[0156]
根据排列顺序，依次将相似度高于预设相似度的相关业务服务推荐给用户。
[0157]
在本技术实施例中，获取与业务服务的相似度高于预设相似度的相关业务服务可通过计算业务服务与候选业务服务之间的多维空间距离获取，比如可通过余弦距离、海明距离、欧式距离等方式计算，以欧式距离计算方法为例，比如，业务服务的特征向量为(x1，y1)，候选业务服务的特征向量为(x1，y2)，则业务服务与候选业务服务之间的距离为(x1‑
x2)2 (y1‑
y2)2，得到的欧式距离越小，则说明业务服务与候选业务服务之间的相似度越高
[0158]
进一步，可结合性能优化，采用k
‑
dimensional树型结构，或者balltree(球树)计算业务服务与候选业务服务之间的距离。
[0159]
在一实施例中，业务服务的特征向量获取单元50，还用于：
[0160]
获取用户使用业务服务的历史信息以及对业务服务的评价信息；
[0161]
根据历史信息以及评价信息，获取用户对符合用户兴趣的业务服务的关注度；
[0162]
根据关注度，对符合用户兴趣的推荐业务服务进行筛选，以获取用户关注度最高的业务服务，并推送给用户。
[0163]
在本技术实施例中，该关注度为用户对业务服务的兴趣程度，具体可通过用户对该业务服务的评价、使用频率、浏览时长等确定。比如，用户对该业务服务的评价比较高，且浏览该业务服务页面的时长超过预设时间，比如10分钟，则可认为该用户对该业务服务的关注度较高。
[0164]
在本技术实施例中，获取用户对符合用户兴趣的推荐业务服务的关注度之后，可根据该关注度的高低，获取关注度最高的推荐业务服务，并推送给用户，以便推荐的业务服务符合用户的兴趣，提高推荐的准确性。
[0165]
本技术实施例中，采用了业务服务属性、用户属性以及当前使用业务服务上下文属性三种数据源，其中用户属性以及当前使用业务服务上下文属性都是动态变化的，使得业务服务的向量也是动态变化的，更符合个性化推荐场景的要求，比如，推荐一首歌曲时，不仅要根据歌曲的本身属性，如歌词、作者、曲风等，还要考虑结合此歌曲的受众群体，比如青年、老年、儿童等，以及用户在听这首歌时前后听的歌曲，只有这样最终得到的业务服务向量表达不但覆盖了喜欢它的用户，也覆盖了在时间序列上服务的其他特性，真正的表达了兴趣，为后续的业务服务的推荐提高了准确率。
[0166]
本技术实施例中，通过对用户属性加入注意力机制，对用户本身特征以及用户行为特征分配不同的权重，以便确定用户兴趣的表达，进而使得业务服务的表达不但覆盖了喜欢它的用户，也覆盖了在时间序列上该业务服务的特性，使得获取的业务服务的特征向量更加符合业务服务的属性，更为精确。
[0167]
关于基于注意力机制的深度学习装置的具体限定可以参见上文中对于基于注意力机制的深度学习方法的限定，在此不再赘述。上述基于注意力机制的深度学习装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，
以便于处理器调用执行以上各个模块对应的操作。
[0168]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质。该可读存储介质存储有计算机可读指令。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种基于注意力机制的深度学习方法。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。
[0169]
一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机可读指令，其特征在于，处理器执行计算机可读指令时实现如上述基于注意力机制的深度学习方法的步骤。
[0170]
一个或多个可读存储介质，可读存储介质存储有计算机可读指令，其特征在于，计算机可读指令被处理器执行时实现如上述基于注意力机制的深度学习方法的步骤。
[0171]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一非易失性可读取存储介质或易失性可读存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0172]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
[0173]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。