基于实例权重平衡和双重注意力的点击率预测方法及系统与流程

技术特征：
1.一种基于实例权重平衡和双重注意力的点击率预测方法，其特征在于，包括以下步骤：步骤s1:获取用户行为信息数据的若干个原始数据组；步骤s2:将若干个原始数据组通过数据预处理成多类别的特征数据；步骤s3:构建实例权重平衡的双重注意力因子分解机模型；步骤s4:根据多类别的特征数据，基于实例权重平衡的双重注意力因子分解机模型得到用户点击率预测结果；步骤s5:根据用户点击率预测结果将对应商品推荐给用户。2.根据权利要求1所述的基于实例权重平衡和双重注意力的点击率预测方法，其特征在于，所述原始数据组包括用户统计学信息，行为信息和话题信息原始数据组。3.根据权利要求1所述的基于实例权重平衡和双重注意力的点击率预测方法，其特征在于，所述实例权重平衡的双重注意力因子分解机模型包括依次连接的输入层、嵌入层、实例感知层、交互层、交互注意力层、交互量化层和输出层。4.根据权利要求3所述的基于实例权重平衡和双重注意力的点击率预测方法，其特征在于，所述步骤s4具体为：步骤s41:将多类别的特征数据输入到输入层，得到表示特征的高维稀疏的向量；步骤s42:将表示特征的高维稀疏向量输入到嵌入层中，得到表示特征的低维的实值特征向量；步骤s43:将低维的实值向量输入到实例感知层，得到实例权重平衡的特征向量；步骤s44:通过交互层，得到实例权重平衡的特征向量之间的特征交互向量；步骤s45:将特征交互向量输入到交互注意力层，得到特征交互向量注意力权重；步骤s46:输出层根据实例权重平衡的特征向量、特征交互向量以及特征交互向量注意力权重得到用户的点击率预测结果。5.根据权利要求4所述的基于实例权重平衡和双重注意力的点击率预测方法，其特征在于，所述步骤s41中输入层的输出层为高维稀疏特征向量x，x＝[x1，...，x
i
，...，x
n
],n为特征类别的个数；其中x
i
为第i类特征的数据，对于第i类特征，如果第i类特征为离散型特征，则x
i
为二值向量，其中只有一个维度激活，用于表示该类特征中对应的特征，所有离散型特征的特征权值为1；如果第i类特征为实数型特征，则通过分桶技术，将实数型特征映射到不同的桶实现离散化，特征权值为对应的原始取值。6.根据权利要求4所述的基于实例权重平衡和双重注意力的点击率预测方法，其特征在于，所述s42中嵌入层具体为:输入高维稀疏向量x，得到低维实值向量e＝[e1，...，e
i
，...，e
n
]其中e
i
＝w
i
x
i
，为嵌入权重矩阵，k为向量e
i
的维度，n
i
为第i类特征的数量。7.根据权利要求4所述的基于实例权重平衡和双重注意力的点击率预测方法，其特征在于，所述s43中感知层输入输出关系公式如下：a1＝σ1(w1e b1)
u
x
＝a
l
＝σ
l
(w
l
a
l
‑1 b
l
)e
x，i
＝(1 m
x，i
)*e
i
e
x
＝[e
x，1
，...，e
x，i
，...，e
x，n
]其中，e为嵌入层输出的低维实值向量，w
l
和b
l
分别是实例感知层中神经网络的权重参数和偏置系数，l代表神经网络的层数。p
x
是维数转换矩阵，将神经网络得到的实例权重信息向量u
x
的维度转换为特征类别个数的维度；σ
x
是sigmoid激活函数，将特征实例权重注意力因子m
x，i
的取值空间转成[0,1]之间；e
x，i
是经过实例权重注意力因子量化过的特征向量；x表示当前参数与输入实例相关，最后得到实例权重平衡的低维实值向量e
x
。8.根据权利要求4所述的基于实例权重平衡和双重注意力的点击率预测方法，其特征在于，所述s45中双重交互注意层的输入输出表达为：att＝σ(att
vec
att
bit
)att
vec，ij
＝e
x，it
w
vec
e
x,j
att
bit，1
＝σ1(w
bit，1
e
x
b
bit，1
)att
bit
＝σ
l
(w
bit，l
att
bit，l
‑1 b
bit，l
)其中，att为基于向量的交互注意力向量和基于比特位的交互注意力向量之和，σ为sigmoid激活函数；w
vec
为向量交互矩阵，用矩阵乘积得到特征表示i和特征表示j的特征交互注意力权重；w
bit，l
和b
bit，l
分别是比特位交互注意力模块中感知机的参数权重和偏置系数，l为感知机的层数；p
bit
为比特交互注意力向量的维数转换矩阵；q为交互特征的个数，q＝n*(n
‑
1)/2。9.根据权利要求4所述的基于实例权重平衡和双重注意力的点击率预测方法，其特征在于，所述s46中用户点击率预测结果计算公式如下：其中，为点击率预测结果，w
x，i
为特征i的权重系数，x
i
为特征i的特征权值，e
x，ij
，att
ij
分别是特征i与特征j的特征交互向量和特征交互向量注意力权重，w0为全局的偏置系数。10.一种基于实例权重平衡和双重注意力的点击率预测方法，其特征在于，包括特征收集模块：该模块用于收集用户信息，其中包括用户统计学信息、用户行为信息和与用户相关的话题信息；用户统计学信息在用户注册应用账号时需要用户提供，存储在对应的数据库当中；用户行为信息和相关话题信息在用户使用应用的过程中产生，通常以日志系统的形式存储；将数据库中的统计学信息与日志系统中的用户行为信息以及话题信息输入特征收集模块，得到用户相关特征以及点击行为，将特征与点击行为存储到数据库当中；点击率预测模块：根据历史用户特征以及点击行为训练点击率预测模型，将当前用户的行为数据输入到点击率预测模型当中，得到当前用户对于商品的点击率。点击率预测模
型需要经过训练之后才能得到准确的点击率预测值；推荐模块：根据点击率预测模块得到的用户点击率，依据点击率将推荐商品进行排序，优先推荐点击率高的商品。

技术总结
本发明涉及一种基于实例权重平衡和双重注意力的点击率预测方法，包括以下步骤：步骤S1:获取用户行为信息数据的若干个原始数据组；步骤S2:将若干个原始数据组通过数据预处理成多类别的特征数据；步骤S3:构建实例权重平衡的双重注意力因子分解机模型；步骤S4:根据多类别的特征数据，基于实例权重平衡的双重注意力因子分解机模型得到用户点击率预测结果；步骤S5:根据用户点击率预测结果将对应商品推荐给用户。本发明能够有效提高模型点击率预测的准确度。预测的准确度。预测的准确度。


技术研发人员：程永利 吴文雄 余晶
受保护的技术使用者：福州大学
技术研发日：2021.09.24
技术公布日：2021/12/14