一种基于神经网络和移动上下文的兴趣点推荐方法与流程

技术特征：
1.基于神经网络和移动上下文的兴趣点推荐方法，其特征在于，包括如下步骤：s100：构建训练数据集ds，训练数据集ds中训练样本是第i个用户u
i
和第j个地点l
j
构成的数据组；定义用户集合，地点集合和用户地点矩阵，其中用户集合表示为u＝{u1，u2，u3，...，u
m
}，m表示用户数量，地点集合表示为l＝{l1，l2，l3，...，l
n
}，n表示地点的数量，用户地点矩阵表示为r：u
×
l，r
ij
表示了用户u
i
和地点l
j
之间的原始联系，即用户u
i
访问地点l
j
的次数；s110：建立联合神经网络模型，并对联合神经网络模型进行训练，计算用户访问未知地点的预测概率值；s120：建立移动上下文的兴趣点推荐模型，计算用户访问未知地点的预测得分；s200：进行联合神经网络模型和移动上下文的兴趣点推荐模型的融合，计算用户访问未知地点的预测分数，根据所述预测分数由大到小排序，得到该用户对未知地点感兴趣程度的推荐列表；进行联合神经网络模型和移动上下文的兴趣点推荐模型的融合的过程如公式(1)所示：其中，final
ij
是模型融合后的预测分数，nor是归一化函数，β是控制基于联合神经网络的推荐算法的混合权重，union
ij
是联合神经网络模型得到预测概率值，是移动上下文的兴趣点推荐模型得到的预测得分。2.如权利要求1所述的基于神经网络和移动上下文的兴趣点推荐方法，其特征在于，所述s110建立联合神经网络模型，建立联合神经网络模型计算用户访问未知地点的预测概率值的过程如下：s111：构建特征提取网络对每个训练样本进行特征的提取，得到每个样本的用户初级特征向量和地点初级特征向量；s112：构建降维网络对每个训练样本的用户初级特征向量和地点初级特征向量分别进行向量降维处理，得到每个训练样本对应的用户高级特征向量和地点高级特征向量，且用户高级特征向量和地点高级特征向量的维数相等；s113：针对每个训练样本将对应的用户高级特征向量和地点高级特征向量进行拼接得到每个训练样本高阶的特征组合信息；s114：构建关系挖掘网络，将每个训练样本高阶的特征组合信息作为输入，输出每个训练样本中用户与配对的地点之间的预测结果co
ij
；s115：构建用户隐因子矩阵u
lf
和地点隐因子矩阵l
lf
，计算矩阵分解的预测结果mf
ij
；s116：构建联合神经网络，根据预测结果co
ij
和矩阵分解的预测结果mf
ij
计算最终预测结果union
ij
，并采用sigmoid函数将union
ij
转化为预测概率值；s117：计算损失，计算u
i
对l
j
是否感兴趣的真实概率值与u
i
对l
j
是否感兴趣的预测概率值之间的损失，根据损失值更新特征提取网络、降维网络，关系挖掘网络，隐因子矩阵u
lf
和地点隐因子矩阵l
lf
和联合神经网络的参数，再将所有训练样本依次输入更新参数后的特征提取网络、降维网络和关系挖掘网络进行继续训练；当损失不在下降时，特征提取网络、降维网络和关系挖掘网络训练完成；
s118：对于用户集合中的任一用户，预测该用户对多个未知地点是否感兴趣，将该用户和多个地点输入训练好的特征提取网络、降维网络和关系挖掘网络，得到该用户对多个位置地点的预测概率值。3.如权利要求2所述的基于神经网络和移动上下文的兴趣点推荐方法，其特征在于，所述s111构建特征提取网络为局部特征提取层，具体如下：用户u
i
的原始向量以表示，地点l
j
的原始向量以表示，定义一个局部窗口window大小的数值，将输入或按照该局部窗口window大小划分为若干局部模块，同时，根据局部窗口的数量将第一层神经网络划分为不同的部分，输入或的每个局部模块与第一层神经网络的每个部分对应；表示用户向量或地点向量的输入层如公式(3)所示，进行局部特征提取的第一层神经网络如公式(4)所示。网络如公式(4)所示。其中，w_n是根据局部窗口大小得到的局部窗口个数，和in1分别是第一层神经网络中第一个局部窗口对应的网络权重和输入，是第一个局部窗口的网络偏置项，和in2分别是第一层神经网络中第二个局部窗口对应的网络权重和输入，是第二个局部窗口的网络偏置项，和in
w_n
分别是是第一层神经网络中第w_n个局部窗口对应的网络权重和输入，第w_n个局部窗口的网络偏置项，con表示拼接操作，即将所有局部学习的结果整合在一起作为第一层网络的输出，f是激活函数，采用relu形式，如公式(5)所示：f(x)＝max(0，x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)。4.如权利要求2后3所述的基于神经网络和移动上下文的兴趣点推荐方法，其特征在于，所述s112构建的降维网络具体如下：设包含局部特征提取层在内的降维神经网络一共有m层，如公式(6)所示：layer
k
＝f(w
k
layer
k
‑1 b
k
)，k＝2，3...，m
ꢀꢀꢀꢀ
(6)其中，w
k
和b
k
分别是第k层网络的权重和偏置，layer
k
‑1是k
‑
1层的输出结果，当k＝2时，输入来自于局部特征提取层的结果，f采用relu激活函数；在每一层神经网络发挥非线性作用之前，先将中间输入拉回到标准的正态分布，如(7)所示：layer
k
＝f(bn
k
(w
k
layer
k
‑1 b
k
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)(7)其中，bn
k
是第k层的批量归一化处理，γ和β是需要训练得到的参数，∈是极小量参数，bn
k
在单个神经元上的计算形式，如公式(8)所示，neu
mid
代表了未经激活函数处理的单个神经元的中间输出值，如公式(9)所示，和分别是该神经元在层权重w
k
和层偏置b
k
的对应部分，是该神经元在输入layer
k
‑1的对应部分，μ(neu
mid
)计算的是一个批次的训练数据集在该神经元上的平均值，σ(neu
mid
)2计算的是方差；
μ(neu
mid
)和σ(neu
mid
)2分别如公式(10)和公式(11)所示：μ(neu
mid
)＝1/|batch|∑
z
x
z
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)σ(neu
mid
)2＝1/|batch|∑
z
(x
z
‑
μ(neu
mid
))2ꢀꢀꢀꢀꢀꢀ
(11)其中，batch代表了一个训练批次，x
z
代表了训练批次中的单个输入数据，每层网络中的每一个神经元都在激活函数之前执行批量归一化处理，将数据分布进行重新调整，之后才让激活函数执行非线性映射操作；构建两个结构完成相同的降维降维网络，即用户降维降维网络和地点降维降维网络，经过向量降维网络后，用户向量和地点向量的新表达分别如公式(12)和公式(13)所示：的新表达分别如公式(12)和公式(13)所示：其中，是用户降维降维网络的批量归一化、神经网络权重和偏置，是用户降维降维网络的批量归一化、神经网络权重和偏置，是面向地点降维降维网络的批量归一化、神经网络权重和偏置，和分别是降维后的用户高级特征向量和地点高级特征向量。5.如权利要求4所述的基于神经网络和移动上下文的兴趣点推荐方法，其特征在于：所述s114构建关系挖掘网络，具体公式(15)所示，同时加入了drop
‑
out来缓解关系挖掘网络的过拟合现象，如公式(16)所示：的过拟合现象，如公式(16)所示：其中，关系挖掘网络的层数为n，w
k
和b
k
是每一层网络的权重和偏置，f是relu激活函数，是由drop计算得到的由0或1表示的向量，其维度和所在层的神经元个数保持一致，drop函数在生成向量的时候，每一个维度取决于bernoulli(p)，而bernoulli(p)会按照概率p生成为1或0。6.如权利要求4所述的基于神经网络和移动上下文的兴趣点推荐方法，其特征在于，所述s115构建用户隐因子矩阵u
lf
和地点隐因子矩阵l
lf
，计算矩阵分解的预测结果mf
ij
的过程为：构建用户隐因子矩阵u
lf
和地点隐因子矩阵l
lf
，并初始化；矩阵分解的预测结果如公式(17)所示：其中，是用户u
i
在u
lf
中的对应向量，是地点l
j
在l
lf
中的对应向量。7.如权利要求4所述的基于神经网络和移动上下文的兴趣点推荐方法，其特征在于，在构建联合神经网络，如公式(18)所示：union
ij
＝f(w
co
co
ij
w
mf
mf
ij
b)
ꢀꢀꢀꢀꢀꢀꢀ
(18)其中，w
co
和w
mf
分别为co
ij
和mf
ij
对应的网络权重，b是网络的偏置。8.如权利要求3所述的基于神经网络和移动上下文的兴趣点推荐方法，其特征在于，所述s120移动上下文的兴趣点推荐模型的过程如下：设所有的地点类别构成了类别集合c＝{c1，c2，c3，...，c
s
}，其类别总数为s；
s121：通过聚类算法，同时结合地点自身的流行度，计算用户u
i
在区域条件下访问地点l
j
的概率s122：构建距离偏好模型，计算用户u
i
访问地点l
j
地点上的距离得分s123：构建类别偏好模型，计算用户u
i
访问地点l
j
地点上的类别得分s124：将区域概率、距离分数、类别分数进行融合构建移动上下文的兴趣点推荐模型，如公式(25)所示：其中，α是控制距离分数的权重系数。9.如权利要求3所述的基于神经网络和移动上下文的兴趣点推荐方法，其特征在于，所述s121计算用户u
i
在区域条件下访问地点l
j
的概率的过程如下：采用k
‑
means聚类方法将所述地点进行聚类并划分为re区域，如公式(26)所示：其中，区域集合为region＝{r1，r2，r3，...，r
re
}，区域个数为re，l
j
是属于区域r
k
的兴趣点，μ(r
k
)表示的是区域的聚类中心，dis计算的是地点l
j
到μ(r
k
)的距离；随机选取区域的区域中心作为初始中心，计算每个地点到re个初始中心的加权距离，若第j个地点与第t个初始中心距离最小，则将第j个地点化为第t个初始中心所在的区域，再次随机选取区域中心更新初始中心，并计算每个地点与更新后的re个区域中心的加权距离，若第j个地点与t个更新后的区域中心距离最小，则将第j个地点化为第t个区域中心所在的区域，如此循环，直至区域中心和化入区域内的地点不再变化，则区域划分完成；用户u
i
的原始向量以转换为基于区域的用户向量使用协同过滤技术来对未知的区域进行填充，如公式(27)所示：其中，是用户u
i
的区域向量中未知的第z个维度，即代表了没有访问过的区域，group(i)是用户的相似用户群体，sim
i，p
计算的是用户u
i
与他们用户之间的相似度，表示的是相似用户的区域向量中的第z个维度，相似度的计算方式如公式(28)所示：公式4.5采用的是余弦相似度，得到用户u
i
与其他用户的相似度后，确定相似用户群体group(i)；兴趣点的公众流行度，如公式(29)所示：兴趣点的公众流行度，如公式(29)所示：p
jpop
＝(pop(l
j
) 1)/pop(r
z
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(31)
其中，是用户u
i
在区域条件下访问地点l
j
的概率，是用户u
i
自身的初始区域访问概率，p
jpop
是根据公众流行度计算的热度访问概率，r
z
是地点l
j
所属的区域，计算的是用户区域向量之和，pop(l
j
)代表的是地点的访问人数，pop(r
z
)代表的是区域的访问人数。10.如权利要求3所述的基于神经网络和移动上下文的兴趣点推荐方法，其特征在于，所述s122构建距离偏好模型，计算用户u
i
访问地点l
j
地点上的距离得分的过程如下：所述距离偏好模型如公式(32)所示：γ(x，θ)＝a
′
bx
′ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(32)log pro(l
j
，l
v
)＝loga blog dis(l
j
，l
v
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(33)pro(l
j
，l
v
)＝a
×
dis(l
j
，l
v
)
b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(34)其中，x表示的是l
j
和l
v
之间的距离，x
′
是距离的对数值，θ是未知参数集合，a
′
表示log a，γ(x，θ)＝logpro(l
j
，l
v
)，l
j
是未知地点，l
v
是用户u
i
曾经访问过的某个地点，a和b分别是幂律分布的参数，dis表示的是两个地点之间的距离，log是以2为底数的对数计算；采取基础的最小二乘法来获取目标参数a和b，通过寻找最优的a
′
和b，来使得损失函数最小化，所述损失函数如公式(35)所示：min
θ
1/2∑
x∈ds
(γ(x，θ)
‑
ρ(x))2 δ||θ||2ꢀꢀꢀꢀꢀꢀꢀꢀ
(35)其中，ds是训练数据集，x是训练数据集中真实存在的相邻签到地点之间的距离，ρ(x)是该距离的真实发生概率的对数值，δ为权重系数，通过寻找最优的a
′
和b，来使得损失函数最小化，最终，将a
′
还原成a，基于幂律分布的公式(34)便就得到了确认。设用户u
i
的历史地点集合为l(u
i
)，那么未知地点l
j
相对于用户的地点访问概率如公式(36)所示：对地点访问概率进行归一化来表示用户u
i
在该地点上的距离得分如公式(37)所示：其中，min
geo
(u
i
)表示对于用户u
i
而言所有未知地点中的最小访问概率，max
geo
(u
i
)表示对于用户u
i
而言所有未知地点中的最大访问概率。11.如权利要求8所述的基于神经网络和移动上下文的兴趣点推荐方法，其特征在于，所述s123构建类别偏好模型，计算用户u
i
访问地点l
j
地点上的类别得分的过程如下：设包含m个用户的集合u和包含s个类别的集合c共同组成了原始用户类别矩阵uc：u
×
c，其中每个元素代表了用户访问某个类别的次数；设原始用户类别矩阵uc的用户隐因子矩阵和类别隐因子矩阵分别为u
lf
和c
lf
，用户u
i
对于特定类别c
v
的预测如公式(38)所示：
其中，和分别是用户u
i
和类别c
v
对应的隐因子向量；设对于用户u
i
而言，c
v
是已经观测的类别，即正例，c
z
是未观测类别，即负例，正例和负离之间的差值如公式(39)所示：其中，是未观测类别cz对应的隐因子向量，采用sigmoid函数将所述差值转化为概率值，如公式(40)所示：通过对训练数据集中的真实类别访问情况进行统计，每个用户的正负类别配对情况都能够被计算，设目标函数如公式(41)所示：goal
cate
＝∏
u，v，z
pro(c
v
＞c
z
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(41)其中，u、v和z代表了数据集中用户u的正负类别配对情况；采用梯度下降法来迭代更新u
lf
和c
lf
，会目标函数(41)逐渐收敛；用户u
i
在地点l
j
上的类别偏好分数进行归一化计算，如公式(42)所示：其中，c
v
是地点l
j
的对应类别，min
cate
(u
i
)表示对于用户u
i
而言所有类别中的最小值，max
cate
(u
i
)则表示对于用户u
i
而言所有类别中的最大值。

技术总结
本发明公开了基于神经网络和移动上下文的兴趣点推荐方法，该方法包括两个步骤：S100建立联合神经网络模型，并对联合神经网络模型进行训练，计算用户访问未知地点的预测概率值；建立移动上下文的兴趣点推荐模型，计算用户访问未知地点的预测得分；S200进行联合神经网络模型和移动上下文的兴趣点推荐模型的融合，计算用户访问未知地点的预测分数，根据所述预测分数由大到小排序，得到该用户对未知地点感兴趣程度的推荐列表。本发明将联合神经网络和移动上下文进行结合，神经网络能够挖掘用户和地点之间的深层潜在关联，移动上下文能够在显式偏好的条件下增强推荐的合理性和解释性，两者模型相辅相成实现更精准和全面的综合推荐。推荐。推荐。


技术研发人员：曾骏 唐浩然 姚娟 于扬 周魏
受保护的技术使用者：重庆大学
技术研发日：2021.06.01
技术公布日：2021/10/23