基于实例权重平衡和双重注意力的点击率预测方法及系统与流程

1.本发明涉及领域，特别是涉及一种基于实例权重平衡和双重注意力的点击率预测方法及系统。


背景技术：

2.随着移动互联时代的飞速发展，海量信息产生于各大应用平台之中。用户在面对繁多的推送信息当中，无法获取感兴趣的信息。如何将用户感兴趣的信息精准推送给用户，提高用户对应用的满意度和黏性进而带来收益，成为了各大平台和广告商面临的问题。
3.在计算广告领域，点击预测率(click
‑
through rate，简称ctr)即广告点击与广告曝光的比率作为衡量广告收益的评测指标，是广告商们研究的主要方向。高点击预测率的广告能够为广告商节省大量无效广告投放的成本，带来整体收益的提高。另一方面，定向广告(targeted advertising)面对不同的受众群体，进行不同类别的广告进行投送的方式。将广告主从面向广告商变相面向广告受众群体，提高广告点击概率，带来了广告主，广告商和广告受众的三赢局面。
4.在计算广告和推荐系统中，通常将用户的统计学信息、历史行为信息和话题信息转换为具有对应特征属性的一条实例，根据用户的行为了话题的不同，一个用户会产生多条实例，通过实例来预测用户的点击率。逻辑回归(logistic regression，lr)模型能够将特征属性建模，学习特征之间的线性联系，从而得到准确的点击率预测。然而，lr无法学习特征之间的非线性联系，导致模型的性能瓶颈。因子分解机(factorization machine，fm)提出了特征组合的概念，将两两特征组合成交互特征来学习特征之间的非线性联系。fm突破了lr的性能瓶颈，成为了最流行的通用预测模型，被广泛的应用于不同的领域。尽管fm的性能得到了验证，fm仍然存在着不足之处。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种基于实例权重平衡和双重注意力的点击率预测方法及系统，解决现有点击率预测模型中忽略特征表示在不同实例上下文的差异以及忽略不同交互特征的重要性而导致的模型点击率预测准确率瓶颈。
6.为实现上述目的，本发明采用如下技术方案：
7.一种基于实例权重平衡和双重注意力的点击率预测方法，包括以下步骤：
8.步骤s1:获取用户行为信息数据的若干个原始数据组；
9.步骤s2:将若干个原始数据组通过数据预处理成多类别的特征数据；
10.步骤s3:构建实例权重平衡的双重注意力因子分解机模型；
11.步骤s4:根据多类别的特征数据，基于实例权重平衡的双重注意力因子分解机模型得到用户点击率预测结果；
12.步骤s5:根据用户点击率预测结果将对应商品推荐给用户。
13.进一步的，所述原始数据组包括用户统计学信息，行为信息和话题信息原始数据
组。
14.进一步的，所述实例权重平衡的双重注意力因子分解机模型包括依次连接的输入层、嵌入层、实例感知层、交互层、交互注意力层、交互量化层和输出层。
15.进一步的，所述步骤s4具体为：
16.步骤s41:将多类别的特征数据输入到输入层，得到表示特征的高维稀疏的向量；
17.步骤s42:将表示特征的高维稀疏向量输入到嵌入层中，得到表示特征的低维的实值特征向量；
18.步骤s43:将低维的实值向量输入到实例感知层，得到实例权重平衡的特征向量；
19.步骤s44:通过交互层，得到实例权重平衡的特征向量之间的特征交互向量；
20.步骤s45:将特征交互向量输入到交互注意力层，得到特征交互向量注意力权重；
21.步骤s46:输出层根据实例权重平衡的特征向量、特征交互向量以及特征交互向量注意力权重得到用户的点击率预测结果。
22.进一步的，所述步骤s41中输入层的输出层为高维稀疏特征向量x，x＝[x1，...，x
i
，...，x
n
],n为特征类别的个数；
[0023]
其中x
i
为第i类特征的数据，对于第i类特征，如果第i类特征为离散型特征，则x
i
为二值向量，其中只有一个维度激活，用于表示该类特征中对应的特征，所有离散型特征的特征权值为1；
[0024]
如果第i类特征为实数型特征，则通过分桶技术，将实数型特征映射到不同的桶实现离散化，特征权值为对应的原始取值。
[0025]
进一步的，所述s42中嵌入层具体为:输入高维稀疏向量x，得到低维实值向量e＝[e1，...，e
i
，...，e
n
]
[0026]
其中e
i
＝w
i
x
i
，为嵌入权重矩阵，k为向量e
i
的维度，n
i
为第i类特征的数量。
[0027]
进一步的，所述s43中感知层输入输出关系公式如下：
[0028]
a1＝σ1(w1e b1)
[0029]
u
x
＝a
l
＝σ
l
(w
l
a
l
‑1 b
l
)
[0030][0031]
e
x，i
＝(1 m
x，i
)*e
i
[0032]
e
x
＝[e
x，1
，...，e
x，i
，...，e
x，n
]
[0033]
其中，e为嵌入层输出的低维实值向量，w
l
和b
l
分别是实例感知层中神经网络的权重参数和偏置系数，l代表神经网络的层数。p
x
是维数转换矩阵，将神经网络得到的实例权重信息向量u
x
的维度转换为特征类别个数的维度；σ
x
是sigmoid激活函数，将特征实例权重注意力因子m
x，i
的取值空间转成[0,1]之间；e
x，i
是经过实例权重注意力因子量化过的特征向量；x表示当前参数与输入实例相关，最后得到实例权重平衡的低维实值向量e
x
。
[0034]
进一步的，所述s45中双重交互注意层的输入输出表达为：
[0035]
att＝σ(att
vec
att
bit
)
[0036]
att
vec，ij
＝e
x，it
w
vec
e
x，j
[0037]
att
bit，1
＝σ1(w
bit，1
e
x
b
bit，1
)
[0038]
att
bit
＝σ
l
(w
bit，l
att
bit，l
‑1 b
bit，l
)
[0039][0040]
其中，att为基于向量的交互注意力向量和基于比特位的交互注意力向量之和，σ为sigmoid激活函数；w
vec
为向量交互矩阵，用矩阵乘积得到特征表示i和特征表示j的特征交互注意力权重；w
bit，l
和b
bit，l
分别是比特位交互注意力模块中感知机的参数权重和偏置系数，l为感知机的层数；p
bit
为比特交互注意力向量的维数转换矩阵；q为交互特征的个数，q＝n*(n
‑
1)/2。
[0041]
进一步的，所述s46中用户点击率预测结果计算公式如下：
[0042][0043]
其中，为点击率预测结果，w
x，i
为特征i的权重系数，x
i
为特征i的特征权值，e
x，ij
，att
ij
分别是特征i与特征j的特征交互向量和特征交互向量注意力权重，w0为全局的偏置系数。
[0044]
一种基于实例权重平衡和双重注意力的点击率预测方法，包括
[0045]
特征收集模块：该模块用于收集用户信息，其中包括用户统计学信息、用户行为信息和与用户相关的话题信息；用户统计学信息在用户注册应用账号时需要用户提供，存储在对应的数据库当中；用户行为信息和相关话题信息在用户使用应用的过程中产生，通常以日志系统的形式存储；将数据库中的统计学信息与日志系统中的用户行为信息以及话题信息输入特征收集模块，得到用户相关特征以及点击行为，将特征与点击行为存储到数据库当中；
[0046]
点击率预测模块：根据历史用户特征以及点击行为训练点击率预测模型，将当前用户的行为数据输入到点击率预测模型当中，得到当前用户对于商品的点击率。点击率预测模型需要经过训练之后才能得到准确的点击率预测值；
[0047]
推荐模块：根据点击率预测模块得到的用户点击率，依据点击率将推荐商品进行排序，优先推荐点击率高的商品。
[0048]
一种基于矩阵运算的移动社会网络图修改系统,包括处理器、存储器以及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时，具体执行如上所述的移动社会网络图修改方法中的步骤。
[0049]
本发明与现有技术相比具有以下有益效果：
[0050]
本发明解决现有点击率预测模型中忽略特征表示在不同实例上下文的差异以及忽略不同交互特征的重要性而导致的模型点击率预测准确率瓶颈，有效提高模型点击率预测的准确度。
附图说明
[0051]
图1是本发明方法流程图；
[0052]
图2是本发明一实施例中的实例感知平衡的双重注意力因子分解机的结构示意图；
[0053]
图3是本发明一实施例中的实例感知平衡模块示意图；
[0054]
图4是本发明一实施例中的双重注意力模块示意图。
具体实施方式
[0055]
下面结合附图及实施例对本发明做进一步说明。
[0056]
参考图1，本发明提出了一种基于实例权重平衡的双重注意力因子分解机的点击率预测方法，一种基于实例权重平衡和双重注意力的点击率预测方法，包括以下步骤：
[0057]
步骤s1:获取用户行为信息数据的若干个原始数据组；
[0058]
步骤s2:将若干个原始数据组通过数据预处理成多类别的特征数据；
[0059]
步骤s3:构建实例权重平衡的双重注意力因子分解机模型；
[0060]
步骤s4:根据多类别的特征数据，基于实例权重平衡的双重注意力因子分解机模型得到用户点击率预测结果；
[0061]
步骤s5:根据用户点击率预测结果将对应商品推荐给用户。
[0062]
在本实施例中，优选的，步骤s4包括以下步骤：
[0063]
步骤a1、将多类别的特征数据输入到输入层，得到表示特征的高维稀疏的向量；
[0064]
步骤a2、将表示特征的高维稀疏向量输入到嵌入层中，得到表示特征的低维的实值特征向量；
[0065]
步骤a3、将低维的实值向量输入到实例感知层，得到实例权重平衡的特征向量；
[0066]
步骤a4、通过交互层，得到实例权重平衡的特征向量之间的特征交互向量；
[0067]
步骤a5、将特征交互向量输入到交互注意力层，得到特征交互向量注意力权重；
[0068]
步骤a6、输出层根据实例权重平衡的特征向量、特征交互向量以及特征交互向量注意力权重得到用户的点击率预测结果。
[0069]
在本实施例中，优选的，步骤a1包括以下步骤：
[0070]
将多类别的特征数据输入到输入层，输入层的输出为高维稀疏特征向量x，x＝[x1，...，x
i
，...，x
n
],n为特征类别的个数。其中x
i
为第i类特征的数据，对于第i类特征，如果第i类特征为离散型特征，则x
i
为二值向量，其中只有一个维度激活，用于表示该类特征中对应的特征，所有离散型特征的特征权值为1。如果第i类特征为实数型特征，则通过分桶技术，将实数型特征映射到不同的桶实现离散化，特征权值为对应的原始取值。
[0071]
在本实施例中，优选的，步骤a2包括以下步骤：
[0072]
输入高维稀疏向量x，得到低维实值向量e＝[e1，...，e
i
，...，e
n
]，其中e
i
＝w
i
x
i
，为嵌入权重矩阵，k为向量e
i
的维度，n
i
为第i类特征的数量。
[0073]
在本实施例中，优选的，步骤a3包括以下步骤：
[0074]
如图3所示，输入低维实值向量e，输出实例感知的低维实值向量e
x
，关系公式如下：
[0075]
a1＝σ1(w1e b1)
[0076]
u
x
＝a
l
＝σ
l
(w
l
a
l
‑1 b
l
)
[0077][0078]
e
x，i
＝(1 m
x，i
)*e
i
[0079]
e
x
＝[e
x，1
，...，e
x，i
，...，e
x，n
]
[0080]
其中，e为嵌入层输出的低维实值向量，w
l
和b
l
分别是实例感知层中神经网络的权重参数和偏置系数，l代表神经网络的层数。p
x
是维数转换矩阵，将神经网络得到的实例权重信息向量u
x
的维度转换为特征类别个数的维度。σ
x
是sigmoid激活函数，将特征实例权重注意力因子m
x，i
的取值空间转成[0,1]之间。e
x，i
是经过实例权重注意力因子量化过的特征向量。x表示当前参数与输入实例相关，最后得到实例权重平衡的低维实值向量e
x
。
[0081]
在本实施例中，优选的，步骤a4包括以下步骤：
[0082]
输入实例权重平衡的低维实值向量e
x
，得到特征交互向量，关系公式如下：
[0083]
e
x，ij
＝(e
x，i
⊙
e
x，j
)
[0084]
其中
⊙
表示两个向量之间对应维度的相乘，输出e
x，ij
是特征向量i与特征向量j交互所得到交互向量。
[0085]
在本实施例中，优选的，步骤a5包括以下步骤：
[0086]
如图4所示，输入实例权重平衡的低维实值向量e
x
，得到特征交互向量的注意力权重，关系公式如下：
[0087]
att＝σ(att
vec
att
bit
)
[0088]
att
vec，ij
＝e
x，it
w
vec
e
x，j
[0089]
att
bit，1
＝σ1(w
bit，1
e
x
b
bit，1
)
[0090]
att
bit
＝σ
l
(w
bit，l
att
bit，l
‑1 b
bit，l
)
[0091][0092]
其中，att为基于向量(vector
‑
wise)的交互注意力向量和基于比特位(bit
‑
wise)的交互注意力向量之和，σ为sigmoid激活函数。w
vec
为向量交互矩阵，用矩阵乘积得到特征表示i和特征表示j的特征交互注意力权重。w
bit，l
和b
bit，l
分别是比特位交互注意力模块中感知机的参数权重和偏置系数，l为感知机的层数。p
bit
为比特交互注意力向量的维数转换矩阵。q为交互特征的个数，q＝n*(n
‑
1)/2。
[0093]
在本实施例中，优选的，步骤a6包括以下步骤：
[0094]
输入步骤a3、a4、a5所得的实例权重平衡的低维实值向量e
x
、特征交互向量和特征交互向量注意力权重，输出点击率预测值，关系公式如下：
[0095][0096]
其中，为点击率预测结果，w
x，i
为特征i的权重系数，x
i
为特征i的特征权值，e
x，ij
，att
ij
分别是特征i与特征j的特征交互向量和特征交互向量注意力权重，w0为全局的偏置系数。
[0097]
在本实施例中，优选的，得到模型预测值后，采用以下损失函数对模型进行训练：
[0098][0099]
其中，y
i
表示对第i个实例的真实点击情况，表示模型预测的点击率，n为样本的总
数。
[0100]
采用公开数据集criteo和avazu对本发明的模型进行测试，并将其与现有的基线模型进行对比实验。本发明采用点击率预测中两种常用的评价指标logloss和auc(areaunder curve)，其具体定义如下：
[0101]
logloss：logloss用于测量两个分布之间的距离，具体表示为，本发明模型预测的点击率分布与真实点击率分布之间的距离，losloss的值越小，表示预测的点击率分布越接近真实点击率分布，意味着模型的效果越好，其下限为0。
[0102]
auc：auc是roc曲线下的面积，用于衡量正向实例的排名高于随机选择的负向实例的概率，auc的值越大，表示模型的效果越好，其上限为1。
[0103]
表一、对比实验结果：
[0104][0105]
本实施例中，还提供一种基于实例权重平衡和双重注意力的点击率预测系统，采用基于实例权重平衡和双重注意力的点击率预测方法，包括特征收集模块、点击率预测模块、推荐模块；具体为：
[0106]
特征收集模块：该模块用于收集用户信息，其中包括用户统计学信息、用户行为信息和与用户相关的话题信息。用户统计学信息在用户注册应用账号时需要用户提供，存储在对应的数据库当中；用户行为信息和相关话题信息在用户使用应用的过程中产生，通常以日志系统的形式存储。通常需要将数据库中的统计学信息与日志系统中的用户行为信息以及话题信息输入特征收集模块，得到用户相关特征以及点击行为，将特征与点击行为存储到数据库当中。
[0107]
点击率预测模块：根据历史用户特征以及点击行为训练点击率预测模型，将当前
用户的行为数据输入到点击率预测模型当中，得到当前用户对于商品的点击率。点击率预测模型需要经过训练之后才能得到准确的点击率预测值。本发明采用离线训练的方式，先通过系统的历史数据训练得到可用的预测模型，再应用到线上推荐模块。
[0108]
推荐模块：根据点击率预测模块得到的用户点击率，依据点击率将推荐商品进行排序，优先推荐点击率高的商品。用户接收的商品窗口大小要远小于用户感兴趣的商品数量，所以需要对商品进行筛选，尽可能的将用户最可能点击的商品推荐给用户。
[0109]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0110]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0111]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0112]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0113]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。