一种基于手机数据的共享时空注意力卷积网络人口数量预测方法与流程

1.本发明属于人口数据信息分析技术领域，具体涉及一种基于手机数据的共享时空注意力卷积网络人口数量预测方法。


背景技术：

2.随着社会的不断发展，镇化进程的加快，人口活动的空间范围增大，人口流动的数量与速度均在迅速扩张，人口的迅速集聚、无序蔓延同时带来了交通拥堵、城市安全等一系列问题，为城市管理增加了难度。掌握区域活跃人口数据，动态监测人流分布能够实现问题区域的提前预警，同时为城市设施供给提供量化依据，有效的辅助城市精细化管理。
3.手机数据是用户在使用手机过程中所产生的数据，该数据具有很强的周期性，可以反映出用于的活动规律以及相应的信息，因此基于手机数据的人口数量预测在对时空数据挖掘、常住人口分析、智慧交通系统等领域具有重要作用。传统人口数据预测方法有很多，例如使用如差分整合移动平均自回归(arima)和支持向量机(svm)等模型提取人流的时序特征；使用lstm预测时序数据；在卷积神经网络的基础上提出了st-resnet残差结构，通过该网络结构提取网格间的局部空间关联信息；使用3d卷积在时间维、空间维和特征维上同时提取局部关联；将长短期记忆网络中的矩阵乘法改为卷积运算，在学习局部空间关联的同时捕捉长期和短期时间关联等等；上述提到的方法中可以清楚明白的表示出区域间的关系；但是不能处理复杂的拓扑结构。
4.基于上述问题，提出了一种基于谱域的图卷积计算方法，用图的拉普拉斯矩阵实现图上的傅里叶变换，再通过样条插值的方法近似求解，实现基于谱域的图卷积；但是上述方法中的由于谱域图卷积运算复杂度较高，因此又有学者提出了使用基于邻接矩阵或转移矩阵的空间域图卷积方法简化图神经网络中的传播、聚集过程，并使用门控机制调整时间、空间模块，提取复杂的时空关联。例如wu等人提出的graph wavenet网络结构，该网络结构引入图编码模块改进了图邻接矩阵的空间关联表示能力。但是上述方法中均存在一下问题：
5.1、由于人的活动是基于道路网络，而现有方法中的通过预定义道路网络图，并基于预定义道路网络图来求取人的活动时空特征；但是道路网络会随着道路交通、限行等变化而不断变化的，使得人的活动也会随之变化，从而导致现有方法中提取到的时空特征不准确，造成预测结果的精确度低的问题。
6.2、图结构是需要路网属性、结点自相关性、自适应图学习多种方式产生，其中，路网属性缺乏对长距离关联的捕捉，结点自相关性需要更多的时间开销；而现有的方法中对于图结构的学习中只涉及到图的全局关联性，而造成不能充分挖掘数据中存在的空间和时间特征，导致不能长期预测人口数量。


技术实现要素：

7.针对以上现有技术存在的问题，本发明提出了一种基于手机数据的共享时空注意力卷积网络人口数量预测方法，该方法包括：构建路网结构图；获取道路交通数据，对道路交通数据进行预处理，得到手机数据和路网数据；将路网数据和手机数据进行匹配映射，得到路网人口数据，根据路网人口数据构建路网人口图；将路网人口图输入到人口数量预测模型中，得到人口数量预测结果；人口数量预测模型为共享时空注意力卷积网络，该网络包括至少由两层共享时空卷积层组成，每层共享时空卷积层包括优化图模块和多个共享时空卷积块；共享时空卷积层之间进行残差连接，共享时空卷积块之间进行残差连接。
8.优选的，采用人口数量预测模型对路网人口图进行处理的过程包括：
9.s1：设置模型的训练迭代次数；
10.s2：采用nodevec算法提取路网人口图中每个节点的初始特征；
11.s3：构建路网人口图的邻接矩阵；
12.s4：将构建的邻接矩阵和节点的初始特征输入到第一共享时空卷积层中进行时空特征提取，得到路网人口图的第一时空特征图；
13.s5：将第一时空特征图与邻接矩阵卷积后作为下一层共享时空卷积层的输入，得到第n个时空特征图；直到所有的共享时空卷积层均处理完数据；
14.s6：计算最后一层时空特征图中各个节点的相似度，构建相似度矩阵；
15.s7：对相似度矩阵进行归一化处理，将归一化后的相似度矩阵与初始特征进行聚合，得到新的初始特征，并返回步骤s4；
16.s8：当模型达到迭代次数后，将所有的时空特征图进行融合，得到人口数量预测结果。
17.进一步的，共享时空卷积层对输入数据进行处理的过程包括：
18.s41：将邻接矩阵和初始特征输入到第一共享时空卷积块中进行初始时空特征提取，得到第一初始时空特征图；
19.s42：将第一初始时空特征图与初始特征进行残差卷积，将残差卷积结果作为下一个共享时空卷积块的输入，直到所有的共享时空卷积块处理完数据；
20.s43：将所有的初始时空特征图进行融合，得到时空特征图。
21.进一步的，共享时空卷积块对输入数据进行处理的过程包括：
22.s411：将邻接矩阵输入到优化图卷积网络中进行优化处理；
23.s412：采用共享空间注意力机制提取优化后的邻接矩阵的空间特征；
24.s413：采用时间扩张卷积对输入数据进行时间扩张卷积处理；
25.s414：采用共享时间注意力机制对经过扩张卷积处理后的数据进行时间特征提取，得到时间特征；
26.s415：采用共享注意力机制对时间特征和空间特征进行融合，得到初始时空特征。
27.进一步的，对图结构的邻接矩阵进行优化的公式包括：
[0028][0029]
tk(ao)＝2aot
k-1
(ao)-t
k-2
(ao)
[0030][0031]
t1＝softmax(e)
[0032]
其中，g
θ
(.)表示关于l特征值的函数，l表示归一化的图拉普拉斯矩阵，k表示阶数，θk表示可学习的参数，tk(.)表示切比雪夫多项式，根据l的最大特征值和单位矩阵进行重新缩放，x表示输入数据，ao表示优化后的图邻接矩阵，e表示计算t1的中间状态，relu表示激活函数，是a0的转置矩阵，t0表示单位矩阵，t1表示对e进行归一化，softmax表示归一化函数。
[0033]
进一步的，共享空间注意力机制采用多头注意力机制，其表达包括：
[0034][0035][0036][0037][0038]
其中，表示优化图卷积和时间扩张卷积的输出和，b表示当前经过第几块，l表示当前在神经网络的第几层，gcn表示优化图卷积神经网络，x表示输入数据，tdc表示时间扩张卷积，query表示查询矩阵，cat表示连接多个矩阵的操作，split会将输入分开为多个矩阵，q表示可学习参数，bq表示可学习参数，key表示被查询信息与其它信息的相关性矩阵，k表示可学习参数，bh表示可学习参数，value表示被查询信息的矩阵，v表示可学习参数，bv表示可学习参数。
[0039]
优选的，时空特征图中各个节点的相似度计算公式为：
[0040][0041][0042]
其中，表示节点i和节点j之间第p个相似度向量，cossimilarity表示两个向量的余弦相似度，w
p
表示加权参数向量，
⊙
表示hadamard乘积，veci表示节点i的特征向量，vecj表示节点j的特征向量，s
i,j
表示节点i和节点j之间的相似度矩阵，m表示加权参数向量的个数，p表示当前是第几个相似度向量。
[0043]
本发明的有益效果：
[0044]
本发明设计了一种共享时空注意力卷积网络，该网络中通过将多个时空卷积模块进行残差连接，构成时空卷积层，在将多个时空卷积层残差连接，构成了共享时空注意力卷积网络，能够更好的捕获数据的时空特征；本发明设计了一种共享时空注意力机制，能够自适应地提取数据中的时间和空间关联信息，提高了人口预测的准确度；本发明设计了一种节点嵌入学习优化图结构，采用nodevec算法提取节点的嵌入特征，同时利用自注意力机制学习节点间的关联关系，提高了模型预测的准确度。
附图说明
[0045]
图1为本发明的基于手机数据的共享时空注意力卷积网络人口数量预测方法的流程图；
[0046]
图2为本发明的共享时空注意力卷积网络结构示意图；
[0047]
图3为本发明的共享时空注意力卷积块结构示意图；
[0048]
图4为本发明的共享注意力机制结构图。
具体实施方式
[0049]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0050]
一种基于手机数据的共享时空注意力卷积网络人口数量预测方法，如图1所示，该方法包括：构建路网结构图；获取道路交通数据，对道路交通数据进行预处理，得到手机数据和路网数据；将路网数据和手机数据进行匹配映射，得到路网人口数据，根据路网人口数据构建路网人口图；将路网人口图输入到人口数量预测模型中，得到人口数量预测结果；人口数量预测模型为共享时空注意力卷积网络，该网络包括至少由两层共享时空卷积层组成，每层共享时空卷积层包括优化图模块和多个共享时空卷积块；共享时空卷积层之间进行残差连接，共享时空卷积块之间进行残差连接。
[0051]
将路网数据和手机数据进行匹配映射包括：获取该区域的路网结构，该路网结构包括道路信息、道路相交的节点信息、道路交通数据以及周围环境信息；获取手机数据，手机数据包括用户的基础信息、用户的驻留地点以及用户的运行轨迹等等。将获取的手机数据映射到路网结构中，得到路网人口数据图。
[0052]
可选的，获取的数据为三大运营商公开的metr-la和pems-bay公开数据集，通过交通数据按照1:1.5映射路网人口数据。
[0053]
在本实施例中，采用人口数量预测模型对路网人口图进行处理，其中人口数量预测模型的结构如图2所示，其处理数据的过程包括：
[0054]
s1：设置模型的训练迭代次数；
[0055]
s2：采用nodevec算法提取路网人口图中每个节点的初始特征；
[0056]
s3：构建路网人口图的邻接矩阵；
[0057]
s4：将构建的邻接矩阵和节点的初始特征输入到第一共享时空卷积层中进行时空特征提取，得到路网人口图的第一时空特征图；
[0058]
s41：将邻接矩阵和初始特征输入到第一共享时空卷积块中进行初始时空特征提取，得到第一初始时空特征图；如图2所示，共享时空卷积块对输入数据进行处理的过程包括：
[0059]
s411：将邻接矩阵输入到优化图卷积网络中进行优化处理；
[0060]
s412：采用共享空间注意力机制提取优化后的邻接矩阵的空间特征；
[0061]
s413：采用时间扩张卷积对输入数据进行时间扩张卷积处理；
[0062]
s414：采用共享时间注意力机制对经过扩张卷积处理后的数据进行时间特征提
取，得到时间特征；
[0063]
s415：采用共享注意力机制对时间特征和空间特征进行融合，得到初始时空特征。其中共享注意力机制的结构框图如图4所示。
[0064]
s42：将第一初始时空特征图与初始特征进行残差卷积，将残差卷积结果作为下一个共享时空卷积块的输入，直到所有的共享时空卷积块处理完数据；
[0065]
s43：将所有的初始时空特征图进行融合，得到时空特征图。
[0066]
s5：将第一时空特征图与邻接矩阵卷积后作为下一层共享时空卷积层的输入，得到第n个时空特征图；直到所有的共享时空卷积层均处理完数据；
[0067]
s6：计算最后一层时空特征图中各个节点的相似度，构建相似度矩阵；
[0068]
s7：对相似度矩阵进行归一化处理，将归一化后的相似度矩阵与初始特征进行聚合，得到新的初始特征，并返回步骤s4；
[0069]
s8：当模型达到迭代次数后，将所有的时空特征图进行融合，得到人口数量预测结果。
[0070]
在本实施例中，如图3所示，每个共享时空注意力卷积块的结构相同，包括gcn、时间扩展卷积以及各层之间的共享时间注意力和空间注意力。该层的输入，经过时间膨胀卷积后，时间维度不等于输入时间维度，因此使用全连接层来改变维度。
[0071]
一种基于共享时空注意力卷积网络的人口预测方法的具体实施方式，该方法包括：总体结构由共享的时空注意力卷积层组成，每个层都具有共享的时空注意卷积块和优化图模块。共享时空注意力卷积层将优化的邻接矩阵和历史交通数据作为输入，并在层之间添加残差连接，以确保每个层可以学习复杂的时空相关性。每个共享时空注意力卷积块具有不同的图卷积层和不同的时间膨胀卷积层，其中膨胀卷积层的膨胀因子高达2，用于控制时间维度上的感受野大小。每个层中的所有块共享相同的空间注意力和时间注意力，使得每个层可以学习不同的时空依赖模式。由图优化模块学习的邻接矩阵将用作gcn(图卷积神经网络)的输入。图优化模块的关键思想是使用更好的节点嵌入来学习更好的图结构。为了获得良好的初始节点嵌入，本发明提出可以使用nodevec算法提取节点的嵌入特征。
[0072]
在本实施例中，由于手机数据和道路网络的人口状况具有较强的周期性，因此，在连续工作日，早晚高峰时段的交通状况可能相似，此外，较低的温度或节假日可能会导致早晨高峰时间推迟；本发明设计的时间膨胀卷积使用四个二维卷积来提取不同尺度的时间特征；为了进一步提高提取全局时间特征的能力，采用膨胀因子对输入数据进行采样。由于当膨胀因子增加时，它会填充数据的时间维度，增加序列的长度，这使得大量无用的噪声数据进入网络进行训练，降低模型性能；因此在本实施例中，将膨胀因子限制为1和2。并根据当前层数确定膨胀因子的值；其公式为：
[0073]
dilation factor＝number of layers％2
[0074]
其中，dilation factor表示膨胀因子，number of layer表示网络层数，％表示取余。
[0075]
在本实施例中，通过增加输入数据序列的层数和长度，扩展因子的值随着序列的变化而变化，从而提高模型提取全局时间特征的能力。由于四个卷积核的大小不同，它们分别是1x2、1x3、1x6和1x7，因此以最大的内核为标准，将四个输出切割为相同长度，并跨通道连接。然后，全连接层将输入序列长度更改为与gcn的输出序列长度一致，并将其添加到gcn
的输入。其表达式为：
[0076][0077]
其中，tdc表示时间扩张卷积，表示第l层第b个块的输入，cat表示把前面计算结果的矩阵分为多个矩阵的函数，truncation表示在多个矩阵中按照某一个维度截断矩阵，表示二维扩张卷积操作，w表示可学习参数，b表示可学习参数。
[0078]
在本实施例中，共享注意力由共享空间注意力和共享时间注意力组成，它可以进一步了解每一层时间特征和空间特征的全局相关性，并捕获交通数据的时空相关性。
[0079]
共享空间注意力机制；路段的人流量状况反映了人口数量，同时将受到其他路段人流量状况的影响，且相互影响。为了建模动态全局空间特征，设计了共享空间注意力，以自适应地提取道路网络之间的相关性。为了提高稳定性，共享空间注意力机制采用多头注意力机制，其表达包括：
[0080][0081][0082][0083][0084]
其中，表示优化图卷积和时间扩张卷积的输出和，b表示当前经过第几块，l表示当前在神经网络的第几层，gcn表示优化图卷积神经网络，x表示输入数据，tdc表示时间扩张卷积，query表示查询矩阵，cat表示连接多个矩阵的操作，split会将输入分开为多个矩阵，q表示可学习参数，bq表示可学习参数，key表示被查询信息与其它信息的相关性矩阵，k表示可学习参数，bh表示可学习参数，value表示被查询信息的矩阵，v表示可学习参数，bv表示可学习参数。
[0085]
使用query和key来计算注意力得分，其表达式为：
[0086][0087][0088]
其中，score表示空间注意力得分，matmul表示矩阵乘法运算，t表示矩阵转置操作，表示空间注意力，value表示被查询信息的矩阵。
[0089]
图结构中顶点vi与顶点vj的相关性为：
[0090][0091][0092]
其中
·
表示向量内积运算，n表示节点数量，d＝hid/heads，hid表示隐藏状态的维
数，heads表示把一个矩阵分为多个矩阵后的个数。
[0093]
在本实施例中，heads＝8；并通过共享注意机制来进一步提高动态建模时空依赖性的能力，即每个层使用的结构相同，但每个层处理的数据不同，每个层中所有块的输出都将通过相同的共享注意层。这种机制使网络能够学习每个层中不同的信息模式。
[0094]
共享时间注意力；共享时间注意力和共享空间注意力的结构是相同的，但主要区别在于，在计算注意力时，计算时间轴而不是空间轴。因此，共享时间注意力可以提取交通道路网络的全局时间特征，然后将其与共享空间注意力的输出融合，如下所示：
[0095][0096]
其中，output
att
表示初始时空特征，gelu表示激活函数，表示空间特征，表示时间特征。
[0097]
优化图模块从数据中自适应地学习优化图邻接矩阵，可以有效地捕捉道路网络的动态空间特征。其核心思想是通过使用优化的节点特征向量来优化图的邻接矩阵。在模型训练过程中，将节点特征向量封装为网络参数，因此节点特征向量与其他网络参数一起训练和更新，然后使用加权余弦相似度来计算节点之间的相似度，如下所示：
[0098][0099][0100]
其中，表示节点i和节点j之间第p个相似度向量，cossimilarity表示两个向量的余弦相似度，w
p
表示加权参数向量，
⊙
表示hadamard乘积，veci表示节点i的特征向量，vecj表示节点j的特征向量，s
i,j
表示节点i和节点j之间的相似度矩阵，m表示加权参数向量的个数，p表示当前是第几个相似度向量。
[0101]
为了获得良好的初始节点特征，在预定义的邻接矩阵上使用了nodevec算法。nodevec的p值设置为1，q值设置为2。图2显示了相似性矩阵将被输入到双门控聚合机制，该机制用于控制学习图结构中有多少可以更新到当前图。因此，可以保留原始图形结构的一部分的状态，并且可以学习深层隐藏关系：
[0102][0103]ao
＝μ(λa (1-λ)as) (1-μ)a
(1)
[0104]
通过相似度矩阵的线性归一化获得as，a是预定义的图，并且在模型初始化时通过余弦相似度和归一化来计算a
(1)
。λ和μ是超参数，用于控制当前优化的图结构在图邻接矩阵中的比例。
[0105]
在本实施例中，对图结构的邻接矩阵进行优化的公式包括：
[0106]
[0107]
tk(ao)＝2aot
k-1
(ao)-t
k-2
(ao)
[0108][0109]
t1＝softmax(e)
[0110]
其中，g
θ
(.)表示关于l特征值的函数，l表示归一化的图拉普拉斯矩阵，k表示阶数，θk表示可学习的参数，tk(.)表示切比雪夫多项式，根据l的最大特征值和单位矩阵进行重新缩放，x表示输入数据，ao表示优化后的图邻接矩阵，e表示计算t1的中间状态，relu表示激活函数，是a0的转置矩阵，t0表示单位矩阵，t1表示对e进行归一化，softmax表示归一化函数。
[0111]
模型在所有训练数据上执行一遍梯度下降算法被称为一轮，每一轮都会对模型的参数进行更新，最大轮数被设置为100轮。在训练模型的100轮迭代过程中，在验证数据集上取得最小误差的模型及其参数被保存起来，用来产生测试集上的评价指标。
[0112]
评价指标：采用平均绝对误差(mae)、均方根误差(rmse)和平均绝对百分比误差(mape)三种评价指标；其表达式为：
[0113][0114][0115][0116]
其中，x表示输入的数据，表示输出的数据，n表示数据的数量。
[0117]
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。