一种基于Transformer网络的时空交通状态预测方法与流程

一种基于transformer网络的时空交通状态预测方法
技术领域
1.本发明涉及公共交通信息处理技术领域，更具体的说是涉及一种基于transformer网络的时空交通状态预测方法。


背景技术：

2.目前，随着经济的不断发展以及城镇化的不断推进，城市内的汽车保有量进一步提升，使得原有城市道路上的车流量超出了预先设计的道路交通量，从而导致交通拥堵现象越来越严重，使得城市内部的交通运输效率下降，服务水平下降。时空交通状态预测，能够为相关部门提前进行拥堵现象的管理和控制提供依据；并且时空交通状态预测还能够揭示和反应交通网络设计中的关键点与不足，为交通规划提供参考；此外，时空交通状态预测还是多个智能交通系统(its)应用的基石。因此，准确、可靠的时空交通状态预测对于交通管理、交通规划以及智能交通系统都是不可或缺的一个关键环节。
3.然而，现有的时空交通状态预测方法存在着以下不足：(1)利用栅格化技术转化交通状态的方法，丢失了大量的信息，在同一栅格内的交通状态完全无法分析；(2)基于图神经网络的方法，太过依赖邻接矩阵，从而忽视了交通状态空间关系的动态性和层次性，且必须依赖邻接矩阵，使得这类方法必须费时费力的构建邻接矩阵。由于以上不足，使得这些预测方法不够准确和可靠。
4.因此，如何提供一种准确、可靠的时空交通态势预测方法是本领域技术人员亟需解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种基于transformer网络的时空交通状态预测方法，该方法通过对数据进行编码嵌入，分别进行全局空间特征提取与局部空间特征信息提取，并进行全局
‑
局部的特征融合，最终实现单步的时空交通状态预测。解决了现有的交通状态预测方法准确度、可靠度不高的问题，并具有解释性，能够揭示现有交通系统的空间关系，为城市交通分析与规划提供依据。
6.为了实现上述目的，本发明采用如下技术方案：
7.一方面，本发明提供了一种基于transformer网络的时空交通状态预测方法，该方法包括：
8.数据编码嵌入：获取交通网络的状态数据，并对所述交通网络状态数据进行处理，编码和嵌入后得到向量化数据；
9.全局空间特征提取：根据所述的向量化交通网络状态数据，提取交通网络中不同空间位置之间的全局关联关系特征；
10.局部空间特征信息提取：根据所述的向量化交通网络状态数据，结合已有的邻接矩阵信息，提取交通网络中限定范围的空间位置之间的局部关联关系特征；
11.全局
‑
局部特征融合：根据所述的全局空间特征和局部空间特征，融合两部分提取
到的特征，实现全局
‑
局部特征的加权融合；
12.单步交通状态预测：根据所述的全局
‑
局部特征，单步地一次预测多个未来时刻的时空交通网络状态。
13.进一步地，所述数据编码嵌入的步骤中，对所述交通网络状态数据进行编码嵌入的过程，具体包括：
14.步骤1：将交通网络的状态数据处理为时空交通状态预测问题的定义的形式。时空交通状态可以自然的被表示为时空图的形式，网络层面的时空交通网络状态预测可以看作通过靠前的若干个时间的时空图状态，预测靠后的若干个时间的时空图状态。
15.所述时空图可以表示为：
[0016][0017]
其中，代表了n个节点组成的集合，这些节点通常表示了交通系统中提前设置的检测器；ε代表了连通这些节点的边所组成的集合，且a
n
×
n
表示了这些边所构成的邻接矩阵；在t个间隔为δt的离散时间步内的交通状态的变化可由特征张量x表示；时间步t时节点i的特征向量表示为其中代表实数域，c代表了c个不同的交通状态特征，例如速度、流量和密度。
[0018]
所述通过靠前的若干个时间的时空图状态，预测靠后的若干个时间的时空图状态可以表示为：
[0019][0020]
其中，x
m
×
n
×
c
代表了时空图中，靠前的m个时间步的特征张量，代表了模型的输入；x
n
×
n
×
c
，代表了时空图中，靠后的n个时间步的特征张量，代表了模型的输出。
[0021]
步骤2：将所述交通网络状态数据按照时间维度提取特征，进行时间维度上的嵌入；
[0022]
该步骤通过循环神经网络的方式，具体而言是长短期记忆神经网络，将交通网络状态数据视为按照时间轴排布的序列进行处理，得到交通网络状态数据的时间维度数据嵌入；
[0023]
所述长短期记忆神经网络可表示为：
[0024]
f
t
＝σ(w
f
(h
t
‑1，x
t
) b
f
)
[0025]
i
t
＝σ(w
i
(h
t
‑1，x
t
) b
i
)
[0026][0027][0028]
o
t
＝σ(w
o
(h
t
‑1，x
t
) b
o
)
[0029]
h
t
＝o
t
*tanh(c
t
)
[0030]
其中，f
t
代表了长短期记忆神经网络的遗忘门；i
t
、表示了输入门；c
t
表示了细胞状态；o
t
表示了输出门；h
t
表示了隐藏状态；以上符号中，t代表了对应的第t步顺序编号；σ为sigmoid激活函数；w和b分别表示了对应层的权重参数和偏置。每一个时间步骤的输入都会被嵌入到一个隐藏状态{h1，h2，...，h
t
‑1，h
t
}中，仅最后一个隐藏状态h
t
会被选择使用。
[0031]
步骤3：将所述进行时间维度嵌入后的数据，重新按照空间维度排布为按照固定顺
序排列的序列，进行位置上的编码和嵌入；
[0032]
该步骤可分为以下两个部分：(1)位置编码；(2)位置嵌入。
[0033]
其中，位置编码表示为函数pe
(pos，2i)
和pe
(pos，2i 1)
：
[0034][0035][0036]
其中，pos代表了序列中的位置；i代表了向量的维度；d
model
代表了向量总的维度数。
[0037]
其中，位置嵌入可表示为：
[0038][0039]
其中，n代表了序列的总长度；代表了可学习的参数矩阵。
[0040]
进一步地，所述全局空间特征提取步骤，具体包括：
[0041]
步骤1：基于所述编码嵌入后的数据，通过多头注意力方法，数据驱动地获取空间维度上，两两节点之间的空间特征，并进行加权平均；
[0042]
所述多头注意力方法可以表示为：
[0043][0044][0045][0046]
multihead(q，k，v)＝concat(head1，...，head
h
)w
o
[0047]
其中，x代表了输入的特征张量，w
q
，w
k
，w
v
各自代表了不同的可学习的前馈神经网络的参数矩阵；d
k
代表了张量k的维度；代表了张量k的维度；各自代表了不同的可学习的参数；softmax表示了softmax函数；concat表示了张量的拼接操作。此外，为了维持梯度稳定，多头注意力方法还应用了残差链接和层正则化操作；
[0048]
所述残差链接可以表示为函数res(x；f(x))：
[0049]
res(x；f(x))＝f(x) x
[0050]
其中，f(x)表示任意映射关系，x代表了输入张量。
[0051]
所述层正则化可以表示为函数layernorm(x)：
[0052][0053]
其中，e[x]和var[x]分别表示x的数学期望与方差；γ、β分表表示了可学习的参数；∈表示了预先设置的一个较小的参数，用于避免分母为零，x代表了输入张量。
[0054]
步骤2：对所述多头注意力机制的输出，使用全连接神经网络进一步处理，进一步提升神经网络模型对于非线性关系的拟合能力；
[0055]
所述全连接神经网络可以表示为函数ffn(x)：
[0056]
ffn(x)＝relu(xw1)w2[0057]
其中，w1，w2代表了可学习的参数矩阵；relu代表了线性整流(reluctant)函数，x代表了输入张量。
[0058]
该全局空间特征提取步骤中，输入的向量化交通网络状态数据首先由多头注意力进行处理；经多头注意力处理后的数据与向量化交通网络状态数据进行加和，以实现上述残差链接操作；之后，残差连接操作后的输出作为所述层正则化操作的输入，计算得到步骤1的最终输出。步骤2中，步骤1的最终输出作为步骤2的输入，输入数据首先由全连接神经网络进行处理；经全连接神经网络处理后的数据与步骤2的输入数据进行加和，以实现上述残差链接操作；之后，残差连接操作后的输出作为所述层正则化操作的输入，计算得到步骤2的最终输出，即所述全局空间特征提取步骤的最终输出。
[0059]
进一步地，所述局部空间特征信息提取步骤，具体包括：
[0060]
基于所述编码嵌入后的数据，通过带蒙版的多头注意力方法，数据驱动地获取局部的空间维度上，两两节点之间的空间特征，并进行加权平均；
[0061]
所述的带蒙版的多头注意力方法可以表示为：
[0062][0063][0064][0065]
其中，a表示预先定义的邻接矩阵；则m代表了k跳邻接矩阵；其余部分与所述全局空间特征提取步骤中多头注意力方法相同，即：该局部空间特征信息提取步骤中，输入的向量化交通网络状态数据首先由带蒙版的多头注意力进行处理；经带蒙版的多头注意力处理后的数据与原始输入的向量化交通网络状态数据进行加和，以实现上述残差链接操作；之后，残差连接操作后的输出作为所述层正则化操作的输入，计算得到所述局部空间特征信息提取步骤的最终输出。
[0066]
进一步地，所述全局
‑
局部特征融合步骤，具体包括：
[0067]
步骤1：基于所述全局空间特征信息和局部空间特征信息，通过多头注意力方法，将全局与局部空间特征信息进行加权平均；
[0068]
所述多头注意力方法可以表示为：
[0069]
multihead(q
local
，k
global
，v
global
)＝concat(head1，...，head
h
)w
o
[0070]
其中q
local
代表了所述局部空间特征信息；k
global
，v
global
代表了所述全局空间特征信息；其余部分与上文所述全局空间特征提取步骤中多头注意力方法相同。
[0071]
步骤2：对所述多头注意力机制的输出，使用全连接神经网络进一步处理；与所述
全局空间特征提取步骤中所述全连接神经网络保持一致，即：该全局
‑
局部特征融合步骤中，输入数据包括了局部空间特征信息、全局空间特征信息。两者输入数据首先按步骤1所述多头注意力方法进行处理；经多头注意力处理后的数据与原始输入数据中局部空间特征信息进行加和，以实现上述残差链接操作；之后，残差连接操作后的输出作为所述层正则化操作的输入，计算得到步骤1的最终输出。步骤2中，步骤1的最终输出作为步骤2的输入，输入数据首先由全连接神经网络进行处理；经全连接神经网络处理后的数据与步骤2输入数据进行加和，以实现上述残差链接操作；之后，残差连接操作后的输出作为所述层正则化操作的输入，计算得到步骤2的最终输出，即所述全局
‑
局部特征融合步骤的最终输出。
[0072]
进一步地，所述单步交通状态预测步骤，具体包括：
[0073]
根据上文所述全局
‑
局部融合特征，通过线性全连接神经网络，一次预测多个未来时间的交通状态。
[0074]
所述线性全连接神经网络可以表示为函数lffn(x)：
[0075]
lffn(x)＝xw1[0076]
其中，w1表示可学习的线性全连接神经网络参数，x代表输入张量。
[0077]
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于transformer网络的时空交通状态预测方法，该方法充分考虑到了交通状态在空间上依赖关系的动态性，并层次化的进行分步的特征提取与建模，使得该方法的预测更精确；该方法提取的动态交通空间依赖关系能够显式表达，具有可解释性，可以为交通规划提供参考；且该方法能够纯数据驱动地提取和构建交通网络的全局空间特征，在缺少交通网络空间特征数据的情况下依然得到较好的预测结果，具有可靠性。因此，该方法对交通状态预测更精确、更可靠，具有可解释性，对数据的要求更低，更适合推广应用。
附图说明
[0078]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0079]
图1为本发明提供的一种基于transformer网络的时空交通状态预测方法的流程示意图；
[0080]
图2为本发明实施例中基于transformer网络的时空交通状态预测方法具体实现流程示意图；
[0081]
图3为本发明实施例中基于transformer网络的时空交通状态预测方法中交通网络的示意图。
具体实施方式
[0082]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0083]
一方面，参见附图1，本发明实施例公开了一种基于transformer网络的时空交通状态预测方法，包括：
[0084]
s1：数据编码嵌入：获取交通网络的状态数据，并对交通网络状态数据进行处理，编码和嵌入后得到向量化交通网络状态数据；
[0085]
s2：全局空间特征提取：根据向量化交通网络状态数据，提取交通网络中不同空间位置之间的全局关联关系特征；
[0086]
s3：局部空间特征信息提取：根据向量化交通网络状态数据，结合已有的邻接矩阵信息，提取交通网络中限定范围的空间位置之间的局部关联关系特征；
[0087]
s4：全局
‑
局部特征融合：根据全局空间特征和局部空间特征，融合两部分提取到的特征，实现全局
‑
局部特征的加权融合；
[0088]
s5：单步交通状态预测：根据全局
‑
局部特征，单步地一次预测多个未来时刻的时空交通网络状态。
[0089]
下面以北京市作为预测范围，通过具体的实例并结合附图2，对上述方法进行具体说明。
[0090]
本实施例提取2015年6月1日到2015年8月31日，基于北京市约10000辆匿名出租车的移动定位，数据处理后得到的北京市路网速度数据作为范例。
[0091]
时空交通网络状态预测主要包括以下几步：
[0092]
1、数据预处理
[0093]
数据预处理主要分为以下两个部分：(1)划定研究范围并筛选数据；(2)将数据转化为时空图定义形式。第一部分主要目的是从原先过于庞大的整体数据中拆分出感兴趣的研究范围内的数据。本实例选择研究北京市二环的时空交通状态，因此，对于与北京市二环道路直线距离大于50m的数据点的数据不在研究范围内，均予以去除。第二部分将数据转化为时空图定义形式，主要目的是将原始数据转化为定义的张量形式用于神经网络的训练，本实施例中将时间片大小设置为5分钟，输入的时间范围为60分钟，即12个时间片；输出的时间范围同样为60分钟，即12个时间片。并根据地理位置上的上下游关系与距离生成邻接矩阵a。最终，数据转化为时空图标准定义形式：
[0094][0095]
其中，236是因为本实施例中选取的二环范围共包含了236个不同的节点。
[0096]
2.搭建神经网络并进行训练。
[0097]
本实施例通过神经网络的方法，实现图1中s1～s5步骤。更具体的神经网络的结构如图2所示。其中，具体的参数设置如下：
[0098][0099][0100]
此外，预处理后的数据按照时间顺序进行排序，前70％的数据用于训练神经网络；70％～80％的数据用于验证神经网络训练有效性；后20％的数据用于测试最终神经网络的性能。
[0101]
本实施例采用三种评价指标，评估时空交通状态预测的效果好坏：(1)均绝对误差(mae)；(2)均绝对百分比误差(mape)；(3)均标准误差(rmse)均绝对误差、均绝对百分比误差、均标准误差可分别表示为：
[0102][0103][0104][0105]
其中，v
t，k
、分别代表了时间步t时节点k的速度真实值和预测值。
[0106]
选取短期(15分钟)、中期(30分钟)、长期(60分钟)的预测结果分别计算三种评价指标，可以得到结果：
[0107][0108]
可以看出，本方法的预测在多个评价指标、多个维度的预测都表现出了准确、可靠
的特点。
[0109]
综上所述，本发明实施例公开的上述基于transformer网络的时空交通状态预测方法中，方法功能核心是通过transformer网络，实现全局空间特征提取、局部空间特征提取以及全局
‑
局部特征融合。对此首先要获取交通网络的状态数据，并对所述交通网络状态数据进行处理，编码和嵌入后得到向量化数据。本实施例通过transformer网络结构及其多头注意力方法，分别提取了全局空间特征提取、局部空间特征提取，并进行了全局与局部特征融合。最终通过线性神经网络单步预测结果。
[0110]
本发明实施例提供的基于transformer网络的时空交通状态预测方法，与现有技术相比，具有如下的优点：
[0111]
1、该方法充分考虑到了交通状态在空间上依赖关系的动态性，并层次化的进行分步的特征提取与建模，使得该方法的预测更精确，具有准确性；
[0112]
2、该方法提取的动态交通空间依赖关系能够显式表达，可以为交通规划提供参考，具有可解释性；
[0113]
3、该方法能够纯数据驱动地提取和构建交通网络的全局空间特征，在缺少交通网络空间特征数据的情况下依然得到较好的预测结果，具有可靠性；
[0114]
4、该方法对于不同的时空交通状态特征(如速度、流量)，以及不同的交通网络系统(如道路网、轨道网)均可以适用，具有可推广性；
[0115]
5、该方法的神经网络框架具有框架性和模块化的特点，可以根据实际情况增减模块，以及与其他应用连接，具有可拓展性。
[0116]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0117]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。