一种基于多注意力因果关系的交通预测方法及系统与流程

1.本发明涉及智能交通、机器学习领域，特别是涉及一种基于多注意力因果关系的交通预测方法及系统。


背景技术：

2.交通预测旨在根据历史观测值来预测道路网络中的未来交通状况，交通系统组成元素之间以及系统和环境之间存在依赖、竞争、关联等复杂的相互作用。系统之所以“复杂”，是因为在这些相互作用中会产生如非线性、涌现、自发秩序、适应性以及反馈回路等特殊性质。随着物联网技术的发展，可以获得大量的关于交通系统各要素的观测值，利用获取的历史观测数据，可以对交通系统元素在未来不同空间和时间的行为进行预测，进而根据预测值，对交通系统进行更有效的人工干预。
3.通常，观测交通系统各要素的传感器分布于不同的空间，因此交通系统各要素的观测值是具有时间和空间两个维度的。因此，观测值往往内嵌于连续空间，并随着时间的动态变化，具有很大程度的特殊性和复杂性。
4.目前面向时空预测的方法主要有时间序列方法和图像化方法，时间序列方法单纯使用时间序列模型进行预测，不考虑外界因素对预测对象的影响，使得其预测结果与实际状况严重不符；图像化方法首先对空间进行网格划分，将传感器数据栅格化成图像，利用卷积神经网络进行建模，在建模时容易因丢失部分细节信息，从而造成预测误差。
5.基于上述问题，亟需一种新的交通预测方法以提高交通预测的精确度。


技术实现要素：

6.本发明的目的是提供一种基于多注意力因果关系的交通预测方法及系统，可提高交通预测的精准度。
7.为实现上述目的，本发明提供了如下方案：
8.一种基于多注意力因果关系的交通预测方法，所述基于多注意力因果关系的交通预测方法包括：
9.获取历史交通数据；所述历史交通数据包括多组在相邻两时段内的第一历史观测数据和第二历史观测数据；
10.基于多注意力因果网络模型，根据各所述第一历史观测数据和第二历史观测数据，得到交通预测模型；
11.基于所述交通预测模型，根据当前时段内的观测数据，预测在下一时段内的交通预测值。
12.可选地，所述第一历史观测数据和第二历史观测数据均包括多个在不同历史观测点及历史时间步长下的历史观测值；其中，待测路段内布置有多个观测点，每一时段分为多个时间步长；
13.所述多注意力因果网络模型包括子图划分单元、时空嵌入单元、编码器、注意力转
换层、解码器以及第一全连接层；所述子图划分单元与所述时空嵌入单元及所述编码器连接，所述时空嵌入单元与所述编码器、注意力转换层及解码器连接，所述编码器、注意力转换层及解码器依次连接，所述解码器与第一全连接层连接；
14.所述基于多注意力因果网络模型，根据各所述第一历史观测数据和第二历史观测数据，得到交通预测模型，具体包括：
15.采用收敛交叉映射算法，通过时空嵌入单元计算各组中的第一历史观测数据和第二历史观测数据的相关性值；
16.根据各相关性值，通过子图划分单元将各第一历史观测数据划分为多个子图；
17.针对任一子图，通过时空嵌入单元根据所述子图中各第一历史观测数据对应的相关性值，确定所述子图的相关性矩阵；
18.根据所述子图的相关性矩阵以及各历史时间步长，确定时空嵌入特征；
19.编码器根据所述时空嵌入特征，采用空间注意力机制和时间注意力机制，确定第一时空状态；
20.采用转换注意力机制，通过注意力转换层将所述第一时空状态转换为第二时空状态；
21.根据所述第二时空状态，通过解码器以及全连接层，确定历史交通预测值；
22.获取所述历史交通预测值与第二历史观测数据之间的平均绝对误差；
23.根据所述平均绝对误差进行迭代训练，直到平均绝对误差达到最小值或迭代次数达到迭代阈值时，得到交通预测模型。
24.可选地，所述采用收敛交叉映射算法，通过时空嵌入单元计算各组中的第一历史观测数据和第二历史观测数据的相关性值，具体包括：
25.针对每组第一历史观测数据和第二历史观测数据，根据以下公式，计算历史观测点p和历史观测点q在t
‑
1个时间步长中的相关性值：
[0026][0027]
其中，e
p,q
为历史观测点p和历史观测点q在t
‑
1个时间步长中的相关性值，t
‑
1为历史时间步长的数量，f
c
()为收敛交叉映射算法函数，为历史观测点p在第t
‑
1个历史时间步长下的历史观测值，为历史观测点q在第t
‑
1个历史时间步长下的历史观测值，v为历史观测点集合。
[0028]
可选地，所述时空嵌入单元包括多个第二全连接层；
[0029]
所述根据所述子图的相关性矩阵以及各历史时间步长，确定时空嵌入特征，具体包括：
[0030]
将所述相关性矩阵经过两个第二全连接层，得到空间嵌入特征；
[0031]
采用独热编码方法，对每个历史时间步长进行时间编码，并经过两个第二全连接层，得到时间嵌入特征；
[0032]
根据所述空间嵌入特征以及所述时间嵌入特征，确定时空嵌入特征。
[0033]
可选地，所述编码器包括多个注意力模块，各注意力模块均包括多个时间注意力单元、多个空间注意力单元以及门控融合单元；
[0034]
所述编码器根据所述时空嵌入特征，采用空间注意力机制和时间注意力机制，确定第一时空状态，具体包括：
[0035]
针对每一历史时间步长，根据各历史观测点在所述历史时间步长下的时空嵌入特征以及历史观测值，采用缩放点积方法，确定各注意力模块中各空间注意力单元中历史观测点集合对各历史观测点的第一影响力得分；
[0036]
针对每一注意力模块，根据所述注意力模块中各空间注意力单元中的各历史观测点在所述历史时间步长下的时空嵌入特征、历史观测值及第一影响力得分，采用空间注意力机制，确定所述注意力模块中各历史观测点在所述历史时间步长下的第一空间隐藏状态；
[0037]
根据各注意力模块中各历史观测点在所述历史时间步长下的第一空间隐藏状态，确定第二空间隐藏状态；
[0038]
针对每一历史观测点，根据所述历史观测点在各历史时间步长下的时空嵌入特征，采用缩放点积方法，确定各注意力模块中各空间注意力单元中在所述历史观测点下历史时间步长集合对各历史时间步长的第二影响力得分；
[0039]
针对每一注意力模块，根据所述注意力模块中各时间注意力单元中的各历史时间步长在所述历史观测点下的时空状态、历史观测值及第二影响力得分，确定所述注意力模块中在所述历史观测点下各历史时间步长的第一时间隐藏状态；
[0040]
根据各注意力模块中在所述历史观测点下各历史时间步长的第一时间隐藏状态，确定第二时间隐藏状态；
[0041]
通过门控融合单元根据所述第二空间隐藏状态及所述第二时间隐藏状态，确定第一时空状态。
[0042]
可选地，根据以下公式，计算第k个注意力模块中第w个空间注意力单元中历史观测点集合v对历史观测点vi在历史时间步长tj下的第一影响力得分：
[0043][0044][0045]
其中，为第w个空间注意力单元中历史观测点集合v对历史观测点vi在历史时间步长tj下的第一影响力得分，f
n
()为池化函数，()为第w个空间注意力单元中不同的非线性投影relu激活函数，c＝1，2，为第k
‑
1个注意力模块中历史观测点vi在历史时间步长tj处的第一空间隐藏状态，e
vi,tj
为历史观测点vi在历史时间步长tj下的时空嵌入特征，为第k
‑
1个注意力模块中历史观测点集合v在历史时间步长tj处的第一空间隐藏状态，e
v,tj
为历史观测点集合v在历史时间步长tj下的时空嵌入特征，w为第k个注意力模块中空间注意力单元的数量，||为向量的拼接，x
vi,tj
为历史观测点vi在历史时间步长tj下的历史观测值，f
d
()为求向量维数的函数，[，]为内积运算符。
[0046]
可选地，根据以下公式，计算第k个注意力模块中历史观测点vi在历史时间步长tj下的第一空间隐藏状态：
[0047][0048]
其中，为第k个注意力模块中历史观测点vi在历史时间步长tj下的第一空间隐藏状态，tj为历史时间步长，vi为历史观测点，k为注意力模块的序号，||为向量的拼接，w为第k个注意力模块中空间注意力单元的数量，v为历史观测点集合，α
vi,v,tj
为历史观测点集合v对历史观测点vi在历史时间步长tj下的第一影响力得分，为第w个空间注意力单元中三个不同的非线性投影relu激活函数，为第k
‑
1个注意力模块中历史观测点集合v在历史时间步长tj下的第一空间隐藏状态，h
(k
‑
1)
为第k个注意力模块的输入，第1个注意力模块的输入为历史观测点vi在历史时间步长tj下的观测值x
vi,tj
，第一空间隐藏状态为
[0049]
可选地，根据以下公式，计算第k个注意力模块中第b个时间注意力单元中在历史观测点vi下历史时间步长集合t对历史时间步长tj的第二影响力得分：
[0050][0051]
其中，为第k个注意力模块中第b个时间注意力单元中在历史观测点vi下历史时间步长集合t对历史时间步长tj的第二影响力得分，f
n
()为池化函数，为第b个时间注意力单元中不同的非线性投影relu激活函数，c＝1，2，为第k
‑
1个注意力模块中历史观测点vi在历史时间步长tj下的第一时间隐藏状态，为第k
‑
1个注意力模块中历史观测点vi在历史时间步长集合t下的第一时间隐藏状态，e
vi,tj
为历史观测点vi在历史时间步长tj下的的时空嵌入特征，e
vi,t
为历史观测点vi在历史时间步长集合t下的时空嵌入特征，||为向量的拼接，f
d
()为求向量维数的函数，b为第k个注意力模块中时间注意力单元的数量。
[0052]
可选地，根据以下公式，计算第k个注意力模块中在历史观测点vi下历史时间步长tj的第一时间隐藏状态：
[0053][0054]
其中，为第k个注意力模块中在历史观测点v
i
下历史时间步长tj的第一时间隐藏状态，b为第k个注意力模块中时间注意力单元的数量，t为历史时间步长集合，为第b个时间注意力单元中在历史观测点vi下历史时间步长集合t对历史时间步长tg的第
二影响力得分，为第b个时间注意力中不同的非线性投影relu激活函数为第k
‑
1个注意力模块中在历史观测点vi下历史时间步长集合t的第一时间隐藏状态。
[0055]
为实现上述目的，本发明还提供了如下方案：
[0056]
一种基于多注意力因果关系的交通预测系统，所述基于多注意力因果关系的交通预测系统包括：
[0057]
数据获取单元，用于获取历史交通数据；所述历史交通数据包括多组在相邻两时段内的第一历史观测数据和第二历史观测数据；
[0058]
训练单元，与所述数据获取单元连接，用于基于多注意力因果网络模型，根据各所述第一历史观测数据和第二历史观测数据，得到交通预测模型；
[0059]
预测单元，与所述训练单元连接，用于基于所述交通预测模型，根据当前时段内的观测数据，预测在下一时段内的交通预测值。
[0060]
根据本发明提供的具体实施例，本发明公开了以下技术效果：通过获取多组在相邻两时段内的第一历史观测数据和第二历史观测数据，根据各第一历史观测数据和第二历史观测数据，对多注意力因果网络模型进行训练，得到交通预测模型，再基于交通预测模型，根据当前时段内的观测数据，预测在下一时段内的交通预测值，通过多注意力因果网络模型预测下一时段内的交通预测值，可降低预测误差，提高交通预测的精准度。
附图说明
[0061]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0062]
图1为本发明基于多注意力因果关系的交通预测方法的流程图；
[0063]
图2为本发明多注意力因果网络模型总体框架示意图；
[0064]
图3为交通预测模型训练方法的流程图；
[0065]
图4为子图划分单元的示意图；
[0066]
图5为时空嵌入单元的结构示意图；
[0067]
图6为编码器
‑
解码器架构示意图；
[0068]
图7为本发明基于多注意力因果关系的交通预测系统的模块结构示意图。
[0069]
符号说明：
[0070]
数据获取单元
‑
1，训练单元
‑
2，预测单元
‑
3。
具体实施方式
[0071]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0072]
本发明的目的是提供一种基于多注意力因果关系的交通预测方法及系统，通过获
取多组在相邻两时段内的第一历史观测数据和第二历史观测数据，根据各第一历史观测数据和第二历史观测数据，对多注意力因果网络模型进行训练，得到交通预测模型，再基于交通预测模型，根据当前时段内的观测数据，预测在下一时段内的交通预测值，通过多注意力因果网络模型预测下一时段内的交通预测值，可降低交通预测误差，提高了交通预测的精准度。
[0073]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0074]
如图1所示，本发明基于多注意力因果关系的交通预测方法包括：
[0075]
s1：获取历史交通数据；所述历史交通数据包括多组在相邻两时段内的第一历史观测数据和第二历史观测数据。具体地，所述历史交通数据主要来自于收费卡口、环形感应线圈、车载gps等等。将采集到的历史交通数据进行抽取，持久化存储于数据库中。
[0076]
s2：基于多注意力因果网络模型，根据各所述第一历史观测数据和第二历史观测数据，得到交通预测模型。
[0077]
s3：基于所述交通预测模型，根据当前时段内的观测数据，预测在下一时段内的交通预测值。
[0078]
由于数据采集过程中的特殊因素导致采集的数据会产生较大偏差，从而导致数据不平滑，所以为了提高交通预测的准确度，本发明基于多注意力因果关系的交通预测方法还包括：
[0079]
判断所述历史交通数据中的各时间步长下各历史观测值是否为0；
[0080]
若所述历史交通数据中的历史时间步长tj下的历史观测值为0时，将所述历史观测值替换为x
l
≠0其中，r为设定的时间间隔，x
l
为第l个历史时间步长下的历史观测值，t为历史时间步长集合。
[0081]
进一步地，所述第一历史观测数据和第二历史观测数据均包括多个在不同历史观测点及历史时间步长下的历史观测值；其中，待测路段内布置有多个观测点，每一时段分为多个时间步长。将交通系统中的时空以及各节点间信息联系结合起来，进而提高交通预测的准确度。
[0082]
如图2所示，所述多注意力因果网络模型包括子图划分单元、时空嵌入单元、编码器、注意力转换层、解码器以及第一全连接层；所述子图划分单元与所述时空嵌入单元及所述编码器连接，所述时空嵌入单元与所述编码器、注意力转换层及解码器连接，所述编码器、注意力转换层及解码器依次连接，所述解码器与第一全连接层连接。
[0083]
时空嵌入单元将图结构和时空信息纳入到多注意机制中，在各模块的共同作用下，得到最后的预测结果。编码器、解码器经过k层时空建模，从而可以转换为输出至注意力转换层。注意力转换层作为解码器的输入，用于模拟历史与未来时间步长之间的直接关系，可以通过转换编码的流量特征来生成未来的表达形式。
[0084]
如图3所示，s2：基于多注意力因果网络模型，根据各所述第一历史观测数据和第二历史观测数据，得到交通预测模型，具体包括：
[0085]
s21：采用收敛交叉映射算法，通过时空嵌入单元计算各组中的第一历史观测数据和第二历史观测数据的相关性值。
[0086]
s22：根据各相关性值，通过子图划分单元将各第一历史观测数据划分为多个子图。具体地，采用基于因果相关性的收敛交叉(convergent cross mapping，ccm)映射子图划分方法将各第一历史观测数据划分为多个子图。
[0087]
如图4所示，为了减少预测值获得的时间，本发明根据相关性值将因果相关性高的节点划分为一个子图，使得每一个子图内部的相关性较高，而子图与子图之间的因果相关性较低。由于深度学习的模型训练是极为耗时的，尤其是对于较为复杂的网络模型。虽然使用训练好的模型进行预测时不需要考虑训练时间，但由于网络参数量是固定的，因此在预测时计算时间同样受到网络复杂度的影响。因此，本发明通过子图划分提高了模型训练的速度，进而提高交通预测的实时性。
[0088]
s23：针对任一子图，通过时空嵌入单元根据所述子图中各第一历史观测数据对应的相关性值，确定所述子图的相关性矩阵。
[0089]
s24：根据所述子图的相关性矩阵以及各历史时间步长，确定时空嵌入特征。
[0090]
为了获得更加精确的交通系统各要素的预测信息，本发明通过时空嵌入的方法，将交通系统数据各观测点之间的静态相关性的空间嵌入与动态相关性的时间嵌入分别以向量形式融合起来，得到时空嵌入特征。
[0091]
s25：编码器根据所述时空嵌入特征，采用空间注意力机制和时间注意力机制，确定第一时空状态。
[0092]
s26：采用转换注意力机制，通过注意力转换层将所述第一时空状态转换为第二时空状态。
[0093]
s27：根据所述第二时空状态，通过解码器以及全连接层，确定历史交通预测值。
[0094]
为了更好地对观测点的交通系统各要素进行预测，本发明引入了注意力机制，并将其分为时间注意力单元与空间注意力单元。
[0095]
在时间注意力单元中，对于某一个历史观测点，其前一段时间的观测值会影响其之后一段时间的观测值。例如在早高峰时间段，某一观测点的交通拥堵情况可能会持续减小。时间注意力单元自适应地对某一观测点不同时间步长之间的非线性相关性进行建模，从而衡量不同时间段的相关性。
[0096]
除时间影响外，某个观测点的观测值也会受到其他不同观测点的影响，且不同观测点的影响大小不一。确切地来说，与其相关性越高的对其影响越大。因此本发明在预测下一时间段的观测值时着重考虑与其相关度高的观测点的影响，降低或忽略与其相关度低的观测点的影响。
[0097]
除时空注意力机制外，为了减小长时间范围内逐步预测的累计误差，本发明在编码器和解码器之间添加了注意力转换层。注意力转换层对每个未来时间步长和每个历史时间步长之间的直接关系进行建模，以转换编码流量特征生成将来的表示形式用作解码器的输入。
[0098]
编码器用于处理输入序列并将序列信息压缩成固定长度的上下文向量。期望这个向量能够较好地表示输入序列的信息。解码器则利用上下文向量初始化解码器得到变换后的目标序列输出。
[0099]
s28：获取所述历史交通预测值与第二历史观测数据之间的平均绝对误差。
[0100]
s29：根据所述平均绝对误差进行迭代训练，直到平均绝对误差达到最小值或迭代
次数达到迭代阈值时，得到交通预测模型。
[0101]
本发明采用平均绝对误差(mae)作为损失函数，初始学习率为0.001的adam optimizer优化器对编码器、注意力转换层以及解码器进行多次训练，直到历史交通预测值与地面真实情况之间的平均绝对误差(mae)达到最小值，达到最小值时的参数即为最佳参数，最佳参数对应的模型作为交通预测模型。
[0102]
优选地，s21：采用收敛交叉映射算法，通过时空嵌入单元计算各组中的第一历史观测数据和第二历史观测数据的相关性值，具体包括：
[0103]
针对每组第一历史观测数据和第二历史观测数据，根据以下公式，计算历史观测点p和历史观测点q在t
‑
1个时间步长中的相关性值：
[0104][0105]
其中，e
p,q
为历史观测点p和历史观测点q在t
‑
1个时间步长中的相关性值，t
‑
1为历史时间步长的数量，f
c
()为收敛交叉映射算法函数，为历史观测点p在第t
‑
1个历史时间步长下的历史观测值，为历史观测点q在第t
‑
1个历史时间步长下的历史观测值，v为历史观测点集合。
[0106]
通过历史观测点集合v中任意两两观测点在t
‑
1个时间步长中的相关性值，得到相关性矩阵e，利用收敛交叉映射算法计算得到的相关性矩阵能较好的表示观测点间的相关性，从而达到降低误差的目的。
[0107]
进一步地，所述时空嵌入单元包括多个第二全连接层。
[0108]
如图5所示，s24：根据所述子图的相关性矩阵以及各历史时间步长，确定时空嵌入特征，具体包括：
[0109]
将所述相关性矩阵经过两个第二全连接层，得到空间嵌入特征；
[0110]
采用独热编码方法，对每个历史时间步长进行时间编码，并经过两个第二全连接层，得到时间嵌入特征。
[0111]
具体地，独热编码方法将每个时间步长中的每个时间点所属的星期数和一天中的哪个时刻进行时间编码，编码为和并将它们连接为多个向量各向量经过两层全连接层，得到时间嵌入特征。
[0112]
根据所述空间嵌入特征以及所述时间嵌入特征，确定时空嵌入特征。对于历史时间步长tj处的历史观测点vi的时空嵌入特征为e
vi,
t
j
＝es
vi
et
tj
。
[0113]
其中，es
vi
为历史观测点vi的空间嵌入特征，vi∈v，et
tj
为历史时间步长tj处的时间嵌入特征.
[0114]
更进一步地，如图6所示，所述编码器包括多个注意力模块，各注意力模块均包括多个时间注意力单元、多个空间注意力单元以及门控融合单元。
[0115]
在本实施例中，所述编码器包括计算模块及k个依次连接的注意力模块，各注意力模块均与计算模块连接，计算模块与注意力转换层连接。第k个注意力模块的输入为h
(k
‑
1)
，第k个注意力模块的输出为h
(k)
，第k个注意力模块中时间注意力单元的输出为空间注意力单元的输出为第1个注意力模块的输入h
(0)
为历史观测点vi在历史时间步长tj下
的观测值x
vi,tj
。通过计算模块将各注意力模块的输出累加，得到第一时空状态h
(k)
，输出至注意力转换层。
[0116]
s25：编码器根据所述时空嵌入特征，采用空间注意力机制和时间注意力机制，确定第一时空状态，具体包括：
[0117]
s251：针对每一历史时间步长，根据各历史观测点在所述历史时间步长下的时空嵌入特征以及历史观测值，采用缩放点积方法，确定各注意力模块中各空间注意力单元中历史观测点集合对各历史观测点的第一影响力得分。由于在某个历史时间步长上，各观测点之间的联系也受当前状况影响，因此，本发明采用了缩放点积方法来计算各历史观测点与历史观测点集合的影响力得分。
[0118]
s252：针对每一注意力模块，根据所述注意力模块中各空间注意力单元中的各历史观测点在所述历史时间步长下的时空嵌入特征、历史观测值及第一影响力得分，采用空间注意力机制，确定所述注意力模块中各历史观测点在所述历史时间步长下的第一空间隐藏状态。
[0119]
s253：根据各注意力模块中各历史观测点在所述历史时间步长下的第一空间隐藏状态，确定第二空间隐藏状态。
[0120]
s254：针对每一历史观测点，根据所述历史观测点在各历史时间步长下的时空嵌入特征，采用缩放点积方法，确定各注意力模块中各空间注意力单元中在所述历史观测点下历史时间步长集合对各历史时间步长的第二影响力得分。
[0121]
s255：针对每一注意力模块，根据所述注意力模块中各时间注意力单元中的各历史时间步长在所述历史观测点下的时空状态、历史观测值及第二影响力得分，确定所述注意力模块中在所述历史观测点下各历史时间步长的第一时间隐藏状态。
[0122]
s256：根据各注意力模块中在所述历史观测点下各历史时间步长的第一时间隐藏状态，确定第二时间隐藏状态。
[0123]
s257：通过门控融合单元根据所述第二空间隐藏状态及所述第二时间隐藏状态，确定第一时空状态。
[0124]
具体地，根据以下公式，计算第k个注意力模块中第w个空间注意力单元中历史观测点集合v对历史观测点vi在历史时间步长tj下的第一影响力得分：
[0125][0126][0127][0128]
其中，为第w个空间注意力单元中历史观测点集合v对历史观测点vi在历史时间步长tj下的第一影响力得分，f
n
()为池化函数，为第w个空间注意力单元中
不同的非线性投影relu激活函数，c＝1，2，为第k
‑
1个注意力模块中历史观测点vi在历史时间步长tj处的第一空间隐藏状态，e
vi,tj
为历史观测点vi在历史时间步长tj下的时空嵌入特征，为第k
‑
1个注意力模块中历史观测点集合v在历史时间步长tj处的第一空间隐藏状态，e
v,tj
为历史观测点集合v在历史时间步长tj下的时空嵌入特征，w为第k个注意力模块中空间注意力单元的数量，||为向量的拼接，x
vi,tj
为历史观测点vi在历史时间步长tj下的历史观测值，f
d
()为求向量维数的函数，[，]为内积运算符。池化函数将变量进行标准化操作。
[0129]
根据以下公式，计算第k个注意力模块中历史观测点v
i
在历史时间步长t
j
下的第一空间隐藏状态：
[0130][0131]
其中，为第k个注意力模块中历史观测点vi在历史时间步长tj下的第一空间隐藏状态，tj为历史时间步长，vi为历史观测点，k为注意力模块的序号，||为向量的拼接，w为第k个注意力模块中空间注意力单元的数量，v为历史观测点集合，α
vi,v,tj
为历史观测点集合v对历史观测点vi的在历史时间步长tj下的第一影响力得分，为第w个空间注意力单元中三个不同的非线性投影relu激活函数，为第k
‑
1个注意力模块中历史观测点集合v在历史时间步长tj下的第一空间隐藏状态，h
(k
‑
1)
为第k个注意力模块的输入，第1个注意力模块的输入为历史观测点vi在历史时间步长tj下的观测值x
vi,tj
，第一空间隐藏状态为
[0132]
根据第一影响力得分计算第一空间隐藏状态，进行空间注意力层的隐藏状态的更新。经过k个注意力模块得到hs
(k)
，k为注意力模块的数量。
[0133]
根据以下公式，计算第k个注意力模块中第b个时间注意力单元中在历史观测点vi下历史时间步长集合t对历史时间步长tj的第二影响力得分：
[0134][0135]
其中，为第k个注意力模块中第b个时间注意力单元中在历史观测点vi下历史时间步长集合t对历史时间步长tj的第二影响力得分，f
n
()为池化函数，为第b个时间注意力单元中不同的非线性投影relu激活函数，c＝1，2，为第k
‑
1个注意力模块中历史观测点vi在历史时间步长tj下的第一时间隐藏状态，为第k
‑
1个注意力模块中历史观测点vi在历史时间步长集合t下的第一时间隐藏状态，e
vi,tj
为历史观测点vi在历史时间步长tj下的的时空嵌入特征，e
vi,t
为历史观测点vi在历史时间步长集合t下的时空嵌入
特征，||为向量的拼接，f
d
()为求向量维数的函数，b为第k个注意力模块中时间注意力单元的数量。
[0136]
根据以下公式，计算第k个注意力模块中在历史观测点vi下历史时间步长tj的第一时间隐藏状态：
[0137][0138]
其中，为第k个注意力模块中在历史观测点vi下历史时间步长tj的第一时间隐藏状态，b为第k个注意力模块中时间注意力单元的数量，t为历史时间步长集合，为第b个时间注意力单元中在历史观测点vi下历史时间步长集合t对历史时间步长tg的第二影响力得分，为第b个时间注意力中不同的非线性投影relu激活函数，为第k
‑
1个注意力模块中在历史观测点vi下历史时间步长集合t的第一时间隐藏状态。
[0139]
具体地，时间注意力单元的初始输入为历史时间步长tj处的历史观测值x
tj
。
[0140]
根据第二影响力得分计算第二空间隐藏状态，进行时间注意力层的隐藏状态的更新。经过k个注意力模块得到ht
(k)
，k为注意力模块的数量。
[0141]
本发明通过k个注意力模块得到的hs
(k)
、ht
(k)
经过门控融合单元得到注意力模块的输出第一时空状态h
(k)
。
[0142]
在本实施例中，根据第一时空状态h
(k)
及以下公式，计算第w个空间注意力单元中历史时间步长tj与历史时间步长集合t之间的注意力分数：
[0143][0144]
其中，为第w个空间注意力单元中历史时间步长tj与历史时间步长t之间的注意力分数，为第w个空间注意力单元中不同的非线性投影relu激活函数，c＝1，2，e
vi,tj
为历史观测点vi在历史时间步长tj下的时空嵌入特征，e
vi,t
为历史观测点vi在历史时间步长集合t下的时空嵌入特征，w为第k个注意力模块中空间注意力单元的数量，h
(k)
为第一时空状态，f
d
()为求向量维数的函数。
[0145]
根据注意力分数及以下公式，确定第二时空状态：
[0146][0147]
其中，为第k个注意力模块中历史观测点vi在历史时间步长tj下的第二时空状态，为第w个空间注意力单元中非线性投影relu激活函数，为第w个空
间注意力单元中历史时间步长tj与历史时间步长t之间的注意力分数，为第k
‑
1个注意力模块中历史观测点vi在历史时间步长集合t下的第二时空状态。
[0148]
根据以上公式自适应地选择跨越所有历史时间步长的相关特征将编码的特征直接转换到解码器，输出为h
(k 1)
。通过注意力转换层避免了由于长时间范围内逐步预测的累计误差。
[0149]
本实施例中，解码器与编码器类似，注意力转换层的输出h
(k 1)
作为解码器的输入，通过解码器生成h
(2k 1)
，最后，通过第一全连接层产生n个时间步长，得到预测值γ，其中，s为观测值中交通系统各要素(例如交通量、交通速度等)的数量。
[0150]
本发明的研究目的是对于给定历史时间步长在多个观测点的观测值预测下一个相邻时间步长的交通状况。
[0151]
以下为对本发明建立的交通预测模型进行多种性能评估：
[0152]
(1)平均绝对误差(mean absolute error，mae)预测值y
k
与真实值x
k
偏差的平方与观测次数n比值，可通过以下公式进行评估：
[0153][0154]
(2)均方根误差(root mean squared error，rmse)是预测值y
k
与真实值x
k
偏差的平方与观测次数n比值的平方根。可通过以下公式进行评估：
[0155][0156]
(3)平均绝对百分误差(mean absolute percentage error，mape)用于预测值y
k
与真实值x
k
的和除以真实值x
k
。可通过以下公式进行评估：
[0157][0158]
本发明分别计算预测值与观测值间平均绝对误差、均方根误差、平均绝对百分误差值，并以这些值作为评价指标来对比和判定预测方法优劣。
[0159]
本发明将多注意力模型与收敛交叉映射算法用于道路网络的交通量预测。具体来说，采用收敛交叉映射算法计算道路中传感器的因果关系。在此基础上，采用多注意力模型自适应地关注最相关的特征，对复杂的时空相关性进行了建模。针对现实世界中诸如交通速度预测任务中，结果证明了本发明在同时考虑准确度和时效性时优于已有的其它模型。
[0160]
如图7所示，本发明基于多注意力因果关系的交通预测系统包括：数据获取单元1、训练单元2及预测单元3。
[0161]
其中，所述数据获取单元1用于获取历史交通数据。所述历史交通数据包括多组在相邻两时段内的第一历史观测数据和第二历史观测数据。
[0162]
所述训练单元2与所述数据获取单元1连接，所述训练单元2用于基于多注意力因果网络模型，根据各所述第一历史观测数据和第二历史观测数据，得到交通预测模型。
[0163]
所述预测单元3与所述训练单元2连接，所述预测单元3用于基于所述交通预测模型，根据当前时段内的观测数据，预测在下一时段内的交通预测值。
[0164]
相对于现有技术，本发明基于多注意力因果关系的交通预测系统与上述基于多注意力因果关系的交通预测方法的有益效果相同，在此不再赘述。
[0165]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0166]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。