一种基于用户兴趣演变的广告点击率预估方法与流程

1.本技术涉及广告点击率预估技术领域，具体涉及一种基于用户兴趣演变的广告点击率预估方法。


背景技术：

2.广告点击率是指在互联网在线广告展示中广告被用户点击的概率。广告点击率预估是指根据用户数据和广告数据来预估目标广告被点击的概率。随着互联网技术的快速发展，广告由过去的“粗放式”投放向“精准化”投放转变。在线广告以精准度高、性价比高和媒体质量优等优势获得广告商的青睐，在线广告也成为互联网公司的主要收入来源之一，到2013年已经发展成了几十亿美元的产业。在广告需求方的程序化购买和在线投放过程中需要预先评估用户对广告的偏好程度，而衡量这一重要指标的过程就是广告点击率预估。广告点击率预估是互联网计算广告中的关键环节，广告点击率预估的准确度不仅影响广告产品的收益，同时也影响用户的体验度和满意度。
3.目前的广告点击率预估方法主要分为基于机器学习的方法和基于深度学习的方法。虽然当前的广告点击率预估方法已经有个别方法考虑了用户的兴趣，但它们没有考虑用户兴趣的演变。然而，用户的兴趣是不断发展演变的，如何建模用户兴趣的演变，对提升广告点击率预估的准确性具有重要意义。


技术实现要素：

4.本发明的目的在于，提供一种基于用户兴趣演变的广告点击率预估方法，可以有效建模用户兴趣的演变，提高广告点击率预估的准确性。
5.本发明采取的技术方案是：一种基于用户兴趣演变的广告点击率预估方法，包括以下步骤：
6.s1：获取用户历史点击序列特征的独热向量、目标广告特征的独热向量、上下文特征的独热向量和用户画像特征的独热向量；
7.s2：将所述用户历史点击序列特征的独热向量、目标广告特征的独热向量、上下文特征的独热向量和用户画像特征的独热向量分别输入到嵌入层，通过嵌入层的embedding技术得到对应的嵌入向量，即用户历史点击序列嵌入向量、目标广告嵌入向量、上下文嵌入向量和用户画像嵌入向量；
8.s3：将所述用户历史点击序列嵌入向量输入到兴趣抽取层，通过使用前向全连接子层增强改进的transformer网络训练得到用户历史兴趣向量；
9.s4：将所述用户历史兴趣向量输入到兴趣演变层，通过双向lstm网络训练得到用户历史兴趣演变向量；
10.s5：将所述用户历史兴趣演变向量输入到注意力层，建立用户历史兴趣演变向量和所述目标广告嵌入向量之间的关联，得到经目标广告嵌入向量加权后的用户历史兴趣演变向量；
11.s6：将所述目标广告嵌入向量、上下文嵌入向量和用户画像嵌入向量进行拼接，得到静态特征向量，将步骤s3中的到的用户历史兴趣向量和步骤s5中得到的加权后的用户历史兴趣演变向量输入到拼接层，并与用户的静态特征向量进行拼接，得到拼接后的结果向量；
12.s7：将所述结果向量输入到多层感知机层，通过softmax激活函数得到最终预估的广告点击概率。
13.进一步地，所述步骤s1的具体方法为：获取用户历史点击序列特征、目标广告特征、上下文特征和用户画像特征，将所述用户历史点击序列特征、目标广告特征、上下文特征和用户画像特征分别进行独热编码，转换为对应的独热向量，具体表示为用户历史点击序列特征的独热向量vu＝{t1,t2,...,ti,...,tn}，目标广告特征的独热向量va、上下文特征的独热向量vc和用户画像特征的独热向量v
p
，其中ti为经过独热编码后该用户第i个时刻点击的商品向量，1≤i≤n，n为用户点击序列中商品的个数，即点击商品时刻的个数。
14.进一步地，所述步骤s2的具体方法为：将步骤s1得到的用户历史点击序列特征的独热向量vu、目标广告特征的独热向量va、上下文特征的独热向量vc、用户画像特征的独热向量v
p
输入到嵌入层，通过嵌入层的embedding技术得到对应的嵌入向量，分别表示为用户历史点击序列嵌入向量xu，xu∈rn×k，xu＝{x1,x2,...,xi,...,xn}，其中r表示实数集，xi为用户点击序列中第i时刻的商品嵌入向量，n为用户点击序列中商品的个数即点击商品时刻的个数，k为嵌入向量的维度，目标广告嵌入向量上下文嵌入向量和用户画像嵌入向量其中r表示实数集，fa表示目标广告特征域的数量，fc表示上下文特征域的数量，f
p
表示用户画像特征域的数量。
15.进一步地，所述步骤s3的具体方法为：
16.s31：将所述用户历史点击序列嵌入向量xu输入到兴趣抽取层；
17.s32：结合用户点击序列中各商品的位置编码向量pe，改进用户历史点击序列嵌入向量xu，得到融合了商品位置向量的用户历史点击序列嵌入向量zu，公式表示如下：
18.zu＝xu pe
19.s33：通过多头自注意力子层建模用户点击序列中商品之间的关联；将步骤s32输出的向量zu进行多头自注意力计算，即将自注意力进行h次并行拼接，得到该多头自注意力子层的输出向量v
′u；
20.s34：通过归一化和残差连接子层加快模型收敛；对多头自注意力子层的输出向量v
′u采用归一化和残差连接层加快模型收敛速度及防止模型过拟合，得到输出向量v
″u；
21.s35：通过多头注意力子层建模用户历史点击序列和目标广告之间的相似度；将步骤s34输出的向量v
″u进行多头注意力计算，得到所述多头注意力子层的输出向量v
″′u；
22.s36：通过前向全连接子层增强改进transformer网络的非线性能力，得到用户历史兴趣向量ou；计算公式如下：
[0023][0024]
其中，ou为用户历史兴趣向量，v
″′u为步骤s35得到的多头注意力子层的输出向量，relu为激活函数，和分别表示relu的权重和偏置，和分别表示dropout的权重和偏置，layernorm表示层归一化，dropout表示随机失活；
[0025]
s37、通过另一个归一化和残差连接子层再次加快模型的收敛速度及防止模型过拟合，得到最终的用户历史兴趣向量o
′u＝{o1,o2,...,oi,...,on}，n为用户点击序列中商品的个数，oi代表基于用户点击的前面i个商品预测出来的用户兴趣。
[0026]
进一步地，所述步骤s32中采用正余弦位置编码对用户点击序列中的商品位置进行编码，编码公式如下：
[0027]
pe
(pos_index,2j)
＝f(pos_index/10000
2j/d
)
[0028]
pe
(pos_index,2j 1)
＝f(pos_index/10000
(2j 1)/d
)
[0029]
其中，pe表示用户点击序列中各商品的位置编码向量，pos_index为用户点击序列中商品的位置，2j表示偶数位置，此时f为余弦函数，2j 1表示奇数位置，此时f为正弦函数，d表示位置编码的维度。
[0030]
进一步地，所述步骤s33的具体计算方法为：
[0031][0032][0033][0034][0035]
headk＝multiselfheadk(zu)＝attention(queryk,keyk,valuek)
[0036]v′u＝concat(head1,head2,...,headh)*wc[0037]
其中，queryk为多头自注意力子层的第k个查询向量，keyk为多头自注意力子层的第k个键向量、valuek为多头自注意力子层的第k个值向量，为keyk的转置，为第k个查询权重，为第k个键权重，为第k个值权重，为缩放因子，headi为第k个自注意力向量(1≤k≤h)，多头自注意力向量v
′u为h个自注意力向量的拼接，wc为拼接权重；
[0038]
第k个自注意力向量计算过程如下：将查询向量queryk和键向量keyk进行点积，然后除以缩放因子最后经过softmax函数得到相似度，将相似度加权到值向量valuek后得到第k个自注意力向量headk。
[0039]
进一步地，所述步骤s4具体方法为：将步骤s3得到的最终的用户历史兴趣向量o
′u输入到兴趣演变层，通过双向lstm网络训练得到用户历史兴趣演变向量yu；具体计算公式如下：
[0040]ai
＝f1(w1oi w2a
i-1
)
[0041]a′i＝f2(w3oi w4a
′
i 1
)
[0042]
yi＝g(w5ai w6a
′i)
[0043]yu
＝{y1,y2,...,yi,...,yn}
[0044]
其中，ai为第i时刻的正向lstm网络的输出；f1表示正向lstm网络；a
′i为第i时刻的反向lstm网络的输出；f2表示反向lstm网络；yi为同时结合了正向lstm网络和反向lstm网络的第i时刻输出，表示用户第i时刻的用户兴趣演变；i为用户点击序列的第i时刻；0≤i≤n，n为用户点击序列中商品的个数，即点击商品时刻的个数；g表示双向lstm网络，w1、w2分别为正向lstm网络f1中oi和a
i-1
的权重，w3、w4分别为反向lstm网络f2中oi和a
′
i 1
的权重，w5、w6分
别为双向lstm网络g中ai和ai′
的权重。
[0045]
进一步地，所述步骤s5中将目标广告嵌入向量与用户兴趣演变向量的加权计算公式如下：
[0046][0047][0048]
其中，si为第i时刻经目标广告嵌入向量xa加权过后的用户兴趣演变向量，yi为第i时刻双向lstm网络的输出向量，0≤i≤n，n为用户点击序列中商品的个数即点击商品时刻的个数，w为权重，xa为目标广告嵌入向量，su为用户点击序列所有时刻的兴趣经注意力加权后的用户兴趣演变向量。
[0049]
进一步地，所述步骤s7的具体方法为：将步骤s6得到的结果向量hu输入到多层感知机层进一步加强特征组合；所述多层感知机层设为3层深度神经网络，即dnn网络，最后一层dnn网络的隐节点个数设为2，表示广告点击率预估的二分类，将多层感知机层的输出通过softmax激活函数转化为最终预估的广告点击概率p，计算公式如下：
[0050]hl
＝relu(w
lh(l-1)
b
l
)
[0051]
p＝softmax(w
yhl
by)
[0052]
其中，h
l
为多层感知机第l层的输出向量；l＞＝1；w
l
为多层感知机第l-1层到第l层的权重；r表示实数集，n
l-1
和n
l
分别为第l-1、l层的隐节点个数；b
l
为多层感知机第l-1层到第l层的偏置；wy为多层感知机倒数第二层到最后一层的权重，by为多层感知机倒数第二层到最后一层的偏置；通过softmax激活函数将二分类的输出向量转化为最终预估的广告点击概率p。
[0053]
本发明的有益效果在于：
[0054]
(1)与现有技术相比，本发明在广告点击率预估中充分挖掘了用户的历史兴趣与目标广告的关联，既建模了用户的历史兴趣序列，又建模了用户历史兴趣的演变序列，从而使得广告点击率预估更加精准；
[0055]
(2)增加用户历史兴趣的演变层，从而可以在抽取出用户历史兴趣的同时进一步捕捉用户历史兴趣的演变信息；
[0056]
(3)将用户的动态历史兴趣演变信息和静态特征交叉进行结合，进一步提升了广告点击率预估的精准度。
附图说明
[0057]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0058]
图1为本发明实施例的方法流程图。
[0059]
图2为本发明实施例的模型结构示意图。
具体实施方式
[0060]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。
[0061]
除非另作定义，此处使用的技术术语或者科学术语应当为本技术所述领域内具有一般技能的人士所理解的通常意义。本专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。
[0062]
如图1～图2所示，一种基于用户兴趣演变的广告点击率预估方法，包括以下步骤：
[0063]
s1：获取用户历史点击序列特征的独热向量、目标广告特征的独热向量、上下文特征的独热向量和用户画像特征的独热向量；
[0064]
具体方法为：获取用户的历史点击商品记录构建用户历史点击序列，同时得到用户历史点击序列特征、目标广告特征、上下文特征和用户画像特征，将所述用户历史点击序列特征、目标广告特征、上下文特征和用户画像特征分别进行独热编码，转换为对应的独热向量，具体表示为用户历史点击序列特征的独热向量vu＝{t1,t2,...,ti,...,tn}，目标广告特征的独热向量va、上下文特征的独热向量vc和用户画像特征的独热向量v
p
，其中ti为经过独热编码后该用户第i个时刻点击的商品向量，1≤i≤n，n为用户点击序列中商品的个数，即点击商品时刻的个数。具体地，n可设置为100，如果用户的点击商品序列长度超过100，即采取截断方式，取其前100个，如序列长度不足100，对不足部分补0处理。
[0065]
s2：将所述用户历史点击序列特征的独热向量、目标广告特征的独热向量、上下文特征的独热向量和用户画像特征的独热向量分别输入到嵌入层，通过嵌入层的embedding技术得到对应的嵌入向量，即用户历史点击序列嵌入向量、目标广告嵌入向量、上下文嵌入向量和用户画像嵌入向量；
[0066]
具体方法为：将步骤s1得到的用户历史点击序列特征的独热向量vu、目标广告特征的独热向量va、上下文特征的独热向量vc、用户画像特征的独热向量v
p
输入到嵌入层，通过嵌入层的embedding技术得到对应的嵌入向量，分别表示为用户历史点击序列嵌入向量xu，xu∈rn×k，xu＝{x1,x2,...,xi,...,xn}，其中r表示实数集，xi为用户点击序列中第i时刻的商品嵌入向量，n为用户点击序列中商品的个数即点击商品时刻的个数，k为嵌入向量的维度，目标广告嵌入向量上下文嵌入向量和用户画像嵌入向量其中r表示实数集，fa表示目标广告特征域的数量，fc表示上下文特征域的数量，f
p
表示用户画像特征域的数量。
[0067]
s3：将所述用户历史点击序列嵌入向量输入到兴趣抽取层，通过使用前向全连接子层增强改进的transformer网络训练得到用户历史兴趣向量；具体方法为：
[0068]
s31：将所述用户历史点击序列嵌入向量xu输入到兴趣抽取层；
[0069]
s32：结合用户点击序列中各商品的位置编码向量pe，改进用户历史点击序列嵌入向量xu，得到融合了商品位置向量的用户历史点击序列嵌入向量zu；
[0070]
具体地，对用户点击序列中的商品位置进行编码；为了表示用户点击序列中商品向量的不同位置，采用正余弦位置编码，公式表示如下：
[0071]
pe
(pos_index,2j)
＝f(pos_index/10000
2j/d
)
[0072]
pe
(pos_index,2j 1)
＝f(pos_index/10000
(2j 1)/d
)
[0073]
其中，pe表示用户点击序列中各商品的位置编码向量，pos_index为用户点击序列中商品的位置，2j表示偶数位置，此时f为余弦函数，2j 1表示奇数位置，此时f为正弦函数，d表示位置编码的维度；
[0074]
将用户历史点击序列嵌入向量xu加上用户点击序列中各商品的位置编码向量pe，得到融合了商品位置向量的用户历史点击序列嵌入向量zu，公式表示如下：
[0075]zu
＝xu pe
[0076]
s33：通过多头自注意力子层建模用户点击序列中商品之间的关联；将步骤s32输出的向量zu进行多头自注意力计算，即将自注意力进行h次并行拼接，得到该多头自注意力子层的输出向量v
′u；
[0077]
s34：通过归一化和残差连接子层加快模型收敛；为防止由于参数多导致模型收敛速度慢及容易过拟合的问题，对多头自注意力子层的输出向量v
′u采用归一化和残差连接层加快模型收敛速度及防止模型过拟合，得到输出向量v
″u；具体计算过程如下所示：
[0078][0079][0080][0081][0082]
headk＝multiselfheadk(zu)＝attention(queryk,keyk,valuek)
[0083]v′u＝concat(head1,head2,...,headh)*wc[0084]
其中，queryk为多头自注意力子层的第k个查询向量，keyk为多头自注意力子层的第k个键向量、valuek为多头自注意力子层的第k个值向量，为keyk的转置，为第k个查询权重，为第k个键权重，为第k个值权重，为缩放因子，headi为第k个自注意力向量(1≤k≤h)，多头自注意力向量vu′
为h个自注意力向量的拼接，wc为拼接权重。具体地，h可设置为5，wc可设置为[0.2,0.2,0.2,0.2,0.2]
t
，t表示转置。
[0085]
第k个自注意力向量计算过程如下：将查询向量queryk和键向量keyk进行点积，然后除以缩放因子最后经过softmax函数得到相似度，将相似度加权到值向量valuek后得到第k个自注意力向量headk。
[0086]
s35：通过多头注意力子层建模用户历史点击序列和目标广告之间的相似度；将步骤s34输出的向量v
″u进行多头注意力计算，得到所述多头注意力子层的输出向量v
″′u；
[0087]
s36：通过前向全连接子层增强改进transformer网络的非线性能力，得到用户历史兴趣向量ou；计算公式如下：
[0088][0089]
其中，ou为用户历史兴趣向量，v
″′u为步骤s35得到的多头注意力子层的输出向量，relu为激活函数，和分别表示relu的权重和偏置、和分别表示dropout的权重和偏置，layernorm表示层归一化，dropout表示随机失活；
[0090]
s37、通过另一个归一化和残差连接子层再次加快模型的收敛速度及防止模型过拟合，得到最终的用户历史兴趣向量o
′u；即将步骤s36得到的用户历史兴趣向量ou分别通过dropout和layernorm得到归一化后的用户历史兴趣向量o
′u。计算公式如下所示：
[0091]o′u＝layernorm(v
″′u dropout(ou))
[0092]
其中，用户历史兴趣向量o
′u＝{o1,o2,...,oi,...,on}，n为用户点击序列中商品的个数，oi代表基于前面i个用户点击商品预测出来的用户兴趣，v
″′
为步骤s35得到的输出向量，ou为步骤s34得到的用户历史兴趣向量，dropout表示随机失活，layernorm表示层归一化。
[0093]
s4：将步骤s3得到的用户历史兴趣向量o
′u输入到兴趣演变层，通过双向lstm网络训练得到用户历史兴趣演变向量yu；具体计算公式如下：
[0094]ai
＝f1(w1oi w2a
i-1
)
[0095]a′i＝f2(w3oi w4ai′
1
)
[0096]
yi＝g(w5ai w6ai′
)
[0097]yu
＝{y1,y2,...,yi,...,yn}
[0098]
其中，ai为第i时刻的正向lstm网络的输出；f1表示正向lstm网络；a
′i为第i时刻的反向lstm网络的输出；f2表示反向lstm网络；yi为同时结合了正向lstm网络和反向lstm网络的第i时刻输出，表示用户第i时刻的用户兴趣演变；i为用户点击序列的第i时刻；0≤i≤n，n为用户点击序列中商品的个数，即点击商品时刻的个数；g表示双向lstm网络，w1、w2分别为正向lstm网络f1中oi和a
i-1
的权重，w3、w4分别为反向lstm网络f2中oi和a
′
i 1
的权重，w5、w6分别为双向lstm网络g中ai和a
′i的权重。
[0099]
s5：将步骤s4得到的用户历史兴趣演变向量yu输入到注意力层，建模用户历史兴趣演变向量和目标广告嵌入向量之间的关联，得到经目标广告嵌入向量加权过后的用户兴趣演变向量su；具体计算公式如下：
[0100][0101][0102]
其中，si为第i时刻经目标广告嵌入向量xa加权过后的用户兴趣演变向量，yi为第i时刻双向lstm网络的输出向量，0≤i≤n，n为用户点击序列中商品的个数即点击商品时刻的个数，w为权重，si越大说明第i时刻用户兴趣演变向量和目标广告嵌入向量越相似。su为用户点击序列所有时刻的兴趣经注意力加权后的用户兴趣演变向量。
[0103]
s6：将所述目标广告嵌入向量、上下文嵌入向量和用户画像嵌入向量进行拼接，得到静态特征向量，将步骤s3中的到的用户历史兴趣向量和步骤s5中得到的加权后的用户历史兴趣演变向量输入到拼接层，并与用户的静态特征向量进行拼接，得到拼接后的结果向
量；具体方法为：
[0104]
s61：将目标广告嵌入向量xa、上下文嵌入向量xc、用户画像嵌入向量x
p
进行拼接，得到静态特征向量y
st
；具体计算公式如下：
[0105]yst
＝concat(xa xc x
p
)
[0106]
s62：步骤s5得到的加权后的用户兴趣演变向量su、静态特征向量y
st
和步骤s3得到的用户历史兴趣向量o
′u进行拼接，得到拼接后的结果向量hu；具体计算公式如下：
[0107]hu
＝concat(su,y
st
,o
′u)
[0108]
s7：将所述结果向量输入到多层感知机层，通过softmax激活函数得到最终预估的广告点击概率。具体方法为：将步骤s6得到的结果向量hu输入到多层感知机层进一步加强特征组合；所述多层感知机层设为3层深度神经网络，即dnn网络，最后一层dnn网络的隐节点个数设为2，表示广告点击率预估的二分类，将多层感知机层的输出通过softmax激活函数转化为最终预估的广告点击概率p，计算公式如下：
[0109]hl
＝relu(w
lh(l-1)
b
l
)
[0110]
p＝softmax(w
yhl
by)
[0111]
其中，h
l
为多层感知机第l层的输出向量；l＞＝1；w
l
为多层感知机第l-1层到第l层的权重；r表示实数集，n
l-1
和n
l
分别为第l-1、l层的隐节点个数；b
l
为多层感知机第l-1层到第l层的偏置；wy为多层感知机倒数第二层到最后一层的权重，by为多层感知机倒数第二层到最后一层的偏置；通过softmax激活函数将二分类的输出向量转化为最终预估的广告点击概率p。
[0112]
本发明实施例采用改进的transformer网络捕捉用户的历史兴趣，将改进transformer网络的结果输入到双向的lstm网络学习用户历史兴趣的演变信息，并将用户的动态历史兴趣演变信息和静态特征交叉进行结合。与现有技术相比，本发明实施例在广告点击率预估中充分挖掘了用户的历史兴趣与目标广告的关联，既建模了用户的历史兴趣序列，又建模了用户历史兴趣的演变序列，从而使得广告点击率预估更加精准。本发明实施例增加了用户历史兴趣的演变层，从而可以在抽取出用户历史兴趣的同时进一步捕捉用户历史兴趣的演变信息；同时将用户的动态历史兴趣演变信息和静态特征交叉进行结合，进一步提升了广告点击率预估的精准度。
[0113]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。