一种基于人群移动模式先验的兴趣点推荐方法

1.本发明涉及推荐系统技术领域，具体涉及一种基于人群移动模式先验的兴趣点推荐方法。


背景技术：

2.由于移动定位设备(智能手机)的普及，基于位置的社交网络(location-based social network，lbsns)快速发展，用户能够在社交网络上通过在兴趣点(point of interest，poi)签到共享定位数据。大量的兴趣点定位数据能够反映出用户群体的偏好。兴趣点推荐是辅助用户探索周围环境以提升用户体验的重要方式。兴趣点推荐方法通过学习用户历史数据，为用户提供个性化推荐服务。
3.poi推荐系统的发展可以简单地分为两条路径。一条路为数据的融合方式的不断创新：从地理位置信息，到用户社交关系，再到城市的时空模式，越来越多的关键要素被研究人员发掘出来，作为推荐系统的新特征。另一条路则与推荐技术本身的演变密不可分，从经典的机器学习方法，到后来的图学习技术，再到最近大放异彩的注意力机制的引入。任何在推荐系统上，乃至深度学习领域起到关键作用的技术方法，只要运用得当就有可能在poi推荐上取得意料之外的成果。从使用数据的演变来看，早期的兴趣点推荐方法使用用户的签到频率进行推荐，在数据融合方式中，先后引入地理数据、社交数据和时间数据。
4.但是目前的兴趣点推荐系统还存在着以下的缺陷：即推荐的目标偏向于拟合用户个体的历史签到行为。这一做法虽然在离线的实验上可以取得不错的指标，但是由于兴趣点推荐系统的反馈并不及时，所以无法学习到城市中人群的出行规律，最终得到不符合常识的推荐结果，例如在非工作日的晚上推荐商业区的咖啡厅。


技术实现要素：

5.针对现有技术的上述缺点，本发明提出一种基于人群移动模式先验的兴趣点推荐方法。立足于城市多源异构数据，通过时空图构建及图神经网络算法和注意力机制等手段，探究人群移动模式提取方法，并以此为根据设计基于人群移动模式的兴趣点推荐方法。
6.本发明是通过以下技术方案达到上述目的：一种基于人群移动模式先验的兴趣点推荐方法，包括如下步骤：
7.(1)获取同一时空的城市交通数据、poi数据和用户签到数据，进行数据处理。
8.(2)提取城市中的人群移动模式，设计下游任务对人群移动模式提取模块进行预训练。
9.(3)在深层模型中加入步骤(2)中提取的人群移动模式先验特征。
10.(4)把原始wide&deep模型的wide部分更改为cross网络，在线性模型部分加入特征交叉层。
11.(5)连接步骤(3)中的deep网络和步骤(4)中的cross网络输出，将拼接向量输入到最后的单层感知机中，对最终的目标做拟合，输出用户j在兴趣点i签到的预测分数p。
12.其中，所述步骤(1)具体包括如下步骤：
13.11).获取源数据，进行数据预处理，如gps坐标墨卡托投影。
14.12).使用城市交通数据集和兴趣点数据集构建时空图。将城市选定范围栅格划分为r
×
r个区域，每一个轨迹点和poi点映射到划分好的栅格中，按照一定的时间间隔对城市的交通流量数据进行采集，并对每一个间隔内的数据进行时间上的聚合，把人群移动流量构造为时空图g
t
(v
t
，e
t
，a
t
)。
15.其中|v
t
|＝r
×
r，表明城市中划分的所有区域构成了时空图的节点e
t
＝{(u，v)u，v∈v
t
}，表示城市中任意两个区域的人群移动关系，使用w
u，v
表示边(u，v)的权重，即在时间片t内从区域u到区域v的人流量。a
t
为节点属性矩阵，表示每个节点范围内的兴趣点分布。
16.13).生成兴趣点特征向量，表现功能属性分布。设有k类不同的兴趣点类型，对每一个区域i构建其中其中表示i区域内第j类兴趣点的个数。
17.14).处理用户签到数据。分别处理类别型特征和数值型特征，包括使用one-hot编码将类别型特征转换到数值型特征、采用归一化的方式处理数值型特征以及将分布不均匀的数值特征转换为类别特征。
18.其中，所述步骤(2)中人群移动模式提取框架有三个主要部分：人群移动模式提取模块，基于多头注意力机制的编码解码模块，适配下游任务的上采样模块。具体包括如下步骤：
19.21).从人群移动模式提取模块提取出人群移动模式特征。先从步骤12)构建的时空图获取该模块的输入：节点属性和邻接矩阵序列。输入经由图神经网络和前馈网络模块，得到人群移动模式的特征。
20.图神经网络构建的具体步骤如下：
21.首先获得图g的拉普拉斯矩阵l＝d-a，对l进行特征值分解得l＝uλu
t
。其中d为图g的度矩阵，d＝diag(d1，d2，
…
，dn)，di是节点i在图g中的度，a为图g的邻接矩阵。
22.其次，假设由13)获得的功能属性分布向量为x，由其傅里叶变换相应的逆变换得到图信号x与卷积核h在图g上的卷积形式将上述的替换为其中是可学习的参数。
23.最后获得图神经网络框架为：
[0024][0025]
其中为城市功能属性矩阵，为流量邻接矩阵，为流量邻接矩阵，是对应的度矩阵，是待学习的网络参数。xw将节点的特征向量进行了线性变化，将变换的节点特征传播至邻居，对节点接收到的特征进行归一化处理。σ为非线性激活函数，本发明使用了relu。为图卷积神经网络的输出结果矩阵，代表了信息传递后的节点特征。
[0026]
训练好一个图神经网络后，对每一个时间片所属的图卷积神经网络共享参数权重，对不同时间片的输入的反向传播梯度采用加和平均处理。
[0027]
最后引入前馈网络部分。首先将单个时间片的节点特征拉平，接着输入多层感知机进行降维操作，得到某个时间片的城市人群移动模式表征向量。
[0028]
22).引入多头注意力机制。使用人群移动模式的表征向量序列作为输入表征，使用下游任务的目标数据表征作为输出表征。注意力机制可以由以下公式表示：
[0029][0030]
设原始注意力模块复制h次，即h头注意力。对多头注意力模块输入相同的数据得到h个单头注意力的结果。将多头结果拼接，并经过线性层转换得到融合的特征输出。多头注意力公式如下：
[0031][0032]
23).上采样模块：使用反卷积神经网络将预测的表征向量还原为与真实数据相同的结构。
[0033]
其中，所述步骤(3)具体包括如下步骤：
[0034]
31).将步骤14)中离散特征表征转为稠密特征：
[0035][0036]
其中，f
sk
为离散特征，为稠密特征。
[0037]
32).加入步骤(2)中提取的人群移动模式先验特征，并拼接所有稠密特征：
[0038][0039]
其中，fh为城市人群移动模式特征。
[0040]
33).利用deep网络融合32)中获得的稠密特征：h0＝relu(w0fd b0)
[0041]
34).将步骤33)中融合结果经过两层的全连接层(激活函数使用relu)，得到稠密特征h，公式为：
[0042]hl 1
＝relu(w
lhl
b
l
)
ꢀꢀ
6)
[0043]
其中，所述步骤(4)具体包括：
[0044]
把原始wide&deep模型的wide部分更改为cross网络，利用多个交叉层(cross layer)进行特征交叉得到离散特征的高阶表示x。若第l个交叉层的输出向量为x
l
，那么第l 1层的输出为
[0045][0046]
其中，所述步骤(5)具体包括如下步骤：
[0047]
51).连接步骤(3)deep网络的输出和步骤(4)cross网络的输出，获得拼接向量xc＝cat(h，x)。
[0048]
52).将51)获得的拼接向量输入到最后的单层感知机中，输出用户j在兴趣点i签
到的预测分数p，公式如下：
[0049]
p＝sigmoid(wxc b)
ꢀꢀ
8)
[0050]
本发明包括：1)数据获取与处理：使用同一时空的城市交通数据、poi数据和用户签到数据，利用城市交通和兴趣点数据集构建时空图，对原始数据的特征进行处理。2)提出人群移动模式提取框架：利用图神经网络作为人群移动模式的提取器，引入注意力机制捕获城市交通模式的时空信息。制定下游任务，设计上采样模块将表征向量还原为任务目标，实现端到端的框架学习训练，完成人群移动模式提取器的预训练。3)引入人类模式的先验知识：在深层模型中加入步骤2)中提取的人群移动模式先验特征，使得推荐结果更符合城市中的人类出行规律。4)特征交叉：将wide部分更改为cross网络，在线性模型部分加入特征交叉层。5)输出结果：连接步骤3)和4)的网络输出，将拼接向量输入到最后的单层感知机中，输出用户在兴趣点签到的预测分数。以纽约为例进行的兴趣点推荐实验表明，本发明对处理该问题具有出色表现。
[0051]
本发明的创新之处在于：
[0052]
(1)提出了人群移动模式提取架构。该架构使用下游任务的预测来对人群移动模式提取模块进行预训练，使得人群移动模式提取模块获得特定城市数据分布下的时空模式提取能力。
[0053]
(2)对wide&deep模型提出改进。在线性模型部分加入了特征交叉层，在深层模型中加入了人群移动模式先验特征。
[0054]
本发明的优点是：
[0055]
针对目前的兴趣点推荐结果偏离出行规律的问题，本发明提出一种基于人群移动模式先验的兴趣点推荐方法。充分利用人群移动模式先验知识，使用图神经网络作为人群移动模式的提取器，引入注意力机制捕获城市交通模式的时空信息，并改进广度模型的特征交叉方式。对比实验结果显示出本发明提出的算法表现优于基线算法模型，验证了人群移动模式先验知识在兴趣点推荐系统中的有效性。本发明的推荐结果更加符合人类出行意愿，解决了由大量充斥在社交网络上的推广信息给人们出行带来的选择困难问题。
附图说明
[0056]
图1是本发明的整体框架图。
[0057]
图2是本发明的时空图结构图。
[0058]
图3是本发明的人群移动模式提取模块图。
[0059]
图4是本发明的多头注意力机制图。
[0060]
图5是本发明中适配下游任务的上采样模块图。
[0061]
图6(a)和图6(b)是本发明实例中本发明与其他方法实验结果对比图，其中，图6(a)是各模型roc曲线对比图，图6(b)是各模型pr曲线对比图。
具体实施方式
[0062]
下面将结合纽约市的出行数据和签到数据兴趣点推荐实例对本发明进行进一步描述。
[0063]
本实例中的基于人群移动模式先验的兴趣点推荐方法整体框架如图1所示，具体
包括以下步骤：
[0064]
(1)获取同一时空的城市交通数据、poi数据和用户签到数据，进行数据处理：
[0065]
a).获取纽约市2012年5月和6月的yellow出租车数据、poi数据以及签到数据。其中，yellow出租车数据如下表1所示，poi数据见下表2，签到数据见下表3。
[0066]
表1
[0067][0068]
表2
[0069][0070]
表3
[0071]
[0072][0073]
使用墨卡托投影将数据集中的经纬度变换为以米为单位的东北方向坐标。
[0074]
b).使用纽约交通数据集和兴趣点数据集构建时空图，时空图结构如图2所示。首先将纽约数据集划分成了16*16的栅格，出租车轨迹数据的起始点和下车点映射到16*16矩阵中的两个矩形区域。其次，将数据按照1小时的间隔划分，使用(16*16)*(16*16)的矩阵即可表示在某个时间片城市范围内人群移动模式。最后对这一小时的数据进行时间上的聚合，由这一个小时的聚合数据可以得到时空图在时间间隔上的一个切片g
t
，把人群移动流量构造为时空图g
t
(v
t
，e
t
，a
t
)。
[0075]
其中|v
t
|＝r
×
r，表明城市中划分的所有区域构成了时空图的节点e
t
＝{(u，v)u，v∈v
t
}，表示城市中任意两个区域的人群移动关系，使用w
u，v
表示边(u，v)的权重，既在时间片t内从区域u到区域v的人流量。a
t
为节点属性矩阵，表示每个节点范围内的兴趣点分布。
[0076]
c).生成兴趣点特征向量，表现功能属性分布。本发明引入了兴趣点分布向量。具体为，设有k类不同的兴趣点类型，对每一个区域i构建其中其中表示i区域内第j类兴趣点的个数。
[0077]
d).处理用户签到数据。分别处理类别型特征和数值型特征，具体地，使用one-hot编码将类别型特征和id特征转换为数值型特征；采用归一化的方式处理数值型特征；对于分布不均匀的数值特征，比如在本发明采用的数据集中，签到数据往往产生在早上八点到晚上十一点之间，而凌晨的数据很少，本发明采用分桶策略，将特征值排序，之后按照桶数量找到分位数将样本分桶，最后用桶id作为特征值。
[0078]
对于兴趣点的地理位置特征(经度，纬度)，本发明将每一次的签到数据都映射到唯一的城市区块中。对于签到的时间信息，本发明按照小时聚合，得到了1464个时间片的签到数据。按照时间顺序将签到数据进行排列，取前70％的数据作为训练集，从剩余的30％数据中剔除用户已经签到的兴趣点作，得到测试集。
[0079]
(2)提取城市中的人群移动模式，设计下游任务对人群移动模式提取模块进行预训练：
[0080]
a).从人群移动模式提取模块提取出人群移动模式特征，人群移动模式提取模块如图3所示。先从步骤(1)之b)构建的时空图获取该模块的输入：节点属性和邻接矩阵序列。
输入经由图神经网络和前馈网络模块，得到人群移动模式的特征。
[0081]
图神经网络构建的具体步骤如下：
[0082]
首先获得图g的拉普拉斯矩阵l＝d-a，对l进行特征值分解得l＝uau
t
。其中d为图g的度矩阵，d＝diag(d1，d2，
…
，dn)，di是节点i在图g中的度，a为图g的邻接矩阵。
[0083]
其次，假设由(1.c)获得的兴趣点特征向量为x，由其傅里叶变换相应的逆变换得到图信号x与卷积核h在图g上的卷积形式将上述的替换为其中是可学习的参数。
[0084]
最后获得图神经网络框架为：
[0085][0086]
其中为城市功能属性矩阵，为流量邻接矩阵，为流量邻接矩阵，是对应的度矩阵，是待学习的网络参数。xw将节点的特征向量进行了线性变化，将变换的节点特征传播至邻居，对节点接收到的特征进行归一化处理。σ为非线性激活函数，本发明使用了relu。为图卷积神经网络的输出结果矩阵，代表了信息传递后的节点特征。
[0087]
对每一个时间片所属的图卷积神经网络共享参数权重，本发明仅训练和维护一个图神经网络，对于不同时间片的输入的反向传播梯度，采用了加和平均处理。
[0088]
最后引入前馈网络部分。首先将单个时间片的节点特征拉平，接着输入多层感知机进行降维操作，得到某个时间片的城市人群移动模式表征向量。
[0089]
b).引入多头注意力机制。头注意力机制框架如图4所示。该模块使用人群移动模式的表征向量序列作为输入表征，使用下游任务的目标数据表征作为输出表征。注意力机制可以由以下公式表示：
[0090][0091]
设原始注意力模块复制h次，即h头注意力。对多头注意力模块输入相同的数据得到h个单头注意力的结果。将多头结果拼接，并经过线性层转换得到融合的特征输出。多头注意力公式如下：
[0092][0093]
c).上采样模块：使用反卷积神经网络将预测的表征向量还原为与真实数据相同的结构。适配下游任务的上采样模块如图5所示。
[0094]
由预测的表征向量生成城市交通拥堵情况地图，记计算得到r
×
r个节点在时间段内的平均车速，每一个时间片内的节点平均速度可以视为一张城市交通拥堵状态的地图快照，记时间片t对应的城市交通拥堵状态快照为由此，公式化
地描述城市交通拥堵状态评估任务，给定交通流时空图序列g
seq
＝{g1，g2，
…
，g
t
}，每个区域对应的功能分布城市交通拥堵状态序列s
seq
＝{s1，s2，
…
，s
t-1
}，来预测时间片t的城市交通拥堵状态s
t
。设由整体框架输出的结果为期望与s
t
尽可能地接近，则整体框架的优化目标是：
[0095][0096]
(3)在深层模型中加入步骤(2)中提取的人群移动模式先验特征：
[0097]
a).将步骤(1)之d)中离散特征表征转为稠密特征，将类别以及id特征经过embedding层得到表征向量：
[0098][0099]
其中，f
sk
为离散特征，为稠密特征。
[0100]
b).加入步骤(2)中提取的人群移动模式先验特征，拼接所有稠密特征，涵盖兴趣点的地理位置特征、时间特征、兴趣点类别特征、用户和兴趣点的id类特征等：
[0101][0102]
其中，fh为城市人群移动模式特征。
[0103]
c).利用deep网络融合b)中获得的稠密特征：h0＝relu(w0fd b0)
[0104]
d).将c)中融合结果经过两层的全连接层(激活函数使用relu)，得到稠密特征h，公式为：
[0105]hl 1
＝relu(w
lhl
b
l
)
ꢀꢀ
6)
[0106]
(4)把原始wide&deep模型的wide部分更改为cross网络，在线性模型部分加入特征交叉层。
[0107]
a).把原始wide&deep模型的wide部分更改为cross网络，cross模型的输入是用户id、兴趣点id以及兴趣点类别，利用多个交叉层(cross layer)进行特征交叉得到离散特征的高阶表示x。若第l个交叉层的输出向量为x
l
，那么第l 1层的输出为
[0108][0109]
(5)连接步骤(3)中的deep网络和步骤(4)中的cross网络输出，将拼接向量输入到最后的单层感知机中，对最终的目标做拟合，输出用户j在兴趣点i签到的预测分数p。
[0110]
a).连接步骤(3)deep网络的输出和步骤(4)cross网络的输出，获得拼接向量xc＝cat(h，x)。
[0111]
b).将步骤a)获得的拼接向量输入到最后的单层感知机中，输出用户j在兴趣点i签到的预测分数p，公式如下：
[0112]
p＝sigmoid(wxc b)
ꢀꢀ
8)
[0113]
(*)通过对比其他基线模型，包括深度因子分解机(deepfm)、表征多层感知机(embeddingmlp)、基于深度学习的协同过滤模型(neuralcf)、wide&deep模型、双塔模型。在兴趣点推荐模型对比实验中，采用准确率(acc)和两种auc值(roc和pr)作为实验的指标。图6是推荐方法实验结果的roc和pr曲线对比图。结果表明本发明提出的hmrec方法在准确率
和受试者工作特征曲线(roc)两个指标上取得了超过所有基线模型的结果，这证明了人群移动模式这种城市时空属性对于兴趣点推荐起到了一定的作用。