基于核化时序注意力和拓扑增强空间的交通流预测方法

摘要: 本发明涉及交通流预测,尤其是涉及基于核化时序注意力和拓扑增强空间的交通流预测方法。背景技术:1、现有交通流预测方法主要包括基于图神经网络的方法和基于transf...
基于核化时序注意力和拓扑增强空间的交通流预测方法

本发明涉及交通流预测,尤其是涉及基于核化时序注意力和拓扑增强空间的交通流预测方法。

背景技术:

1、现有交通流预测方法主要包括基于图神经网络的方法和基于transformer的方法。基于图神经网络的方法通常依赖道路网络的邻接矩阵、扩散图卷积、自适应图或时空图卷积,用于捕获道路节点之间的空间依赖关系。该类方法能够处理局部空间关系,但受限于图神经网络的感受野,难以充分建模远距离节点之间的长程依赖。

2、基于transformer的交通流预测方法通过注意力机制建模长程依赖,在时空建模方面表现出较强能力。然而,现有transformer类方法仍至少存在以下问题。

3、第一,时序注意力建模存在过度集中问题。标准softmax自注意力会放大注意力logits的差异,使注意力权重集中在少数显著时间步上。交通时间序列中通常同时存在周期性变化、缓慢趋势变化和突发异常变化,过度集中的注意力分布会削弱模型对多类时间模式的综合利用能力。

4、第二,空间关系建模存在刚性问题。现有方法多使用预定义静态图、训练后固定的自适应图或基于二值掩码的语义关系。实际交通网络中的空间相关性会随拥堵、事故、天气、管制或出行需求变化而变化,固定空间结构难以反映输入样本对应的实时交通拓扑关系。

5、第三,语义空间关系表达不够细粒度。功能相似但地理距离较远的节点可能具有相近的交通变化模式。现有方法常使用基于动态时间规整距离的top-k二值语义掩码,只保留“相似/不相似”的硬判定,丢失连续相似度信息,降低了对功能相似节点的区分能力。

技术实现思路

1、本发明的目的是提供基于核化时序注意力和拓扑增强空间的交通流预测方法,解决现有技术中交通预测流时序注意力过度集中、空间拓扑静态刚性和语义关系二值化问题。

2、为实现上述目的,本发明提供了基于核化时序注意力和拓扑增强空间的交通流预测方法,包括以下步骤:

3、s1、获取历史交通状态数据,并构造输入张量,输入张量包括交通流量、速度、占有率、网格流入量、网格流出量或其他交通特征;

4、s2、对输入张量进行嵌入,得到基础隐藏表示,嵌入信息包括但不限于数值token嵌入、时间位置编码、日期或星期嵌入、图拉普拉斯位置编码、节点位置编码或其组合;

5、s3、将隐藏表示输入多层时空编码器,每个编码器层包括并行的核化时序注意力分支和拓扑增强空间注意力分支;

6、s4、在核化时序注意力分支中,用非负核映射替代标准softmax时序注意力,获得更平滑的时间依赖建模结果;

7、s5、在拓扑增强空间注意力分支中,分别通过动态拓扑生成模块和语义软偏置交互模块增强空间注意力;

8、s6、将时序分支输出和空间分支输出进行拼接、线性投影、残差连接和前馈网络处理;

9、s7、对多个编码器层的跳跃连接输出进行聚合,并通过预测层输出未来交通状态。

10、优选的,s4中采用非负核映射替代softmax归一化,核映射为:

11、

12、对于第个时间位置,其核化时序注意力输出可表示为:

13、

14、其中,表示第个时间位置对应的查询向量,和分别表示第个时间位置对应的键向量和值向量,为向量转置。

15、优选的,s5中拓扑增强空间注意力模块包括动态拓扑生成子模块和语义软偏置交互子模块;

16、动态拓扑生成子模块给定编码器层中的隐藏表示h,对其沿时间维度进行均值池化,得到每个节点的聚合表示,通过两个线性投影得到动态查询表示和动态键表示:

17、

18、根据和的缩放点积生成输入条件动态拓扑矩阵:

19、

20、其中,为动态拓扑生成空间的维度,表示在当前输入样本下不同节点之间的动态相关性。

21、优选的,s5中将动态拓扑矩阵映射至域后注入地理空间注意力:

22、

23、其中,为可学习缩放参数,为防止数值溢出的极小正数。

24、优选的,s5中语义软偏置交互子模块根据历史交通序列预先计算节点间动态时间规整距离,并将该距离转换为连续语义相似度,包括以下步骤:通过高斯核将距离转换为相似度:

25、

26、其中,取所有节点对dtw距离的中位数;

27、通过温度锐化增强相似度差异:

28、

29、其中,为温度锐化参数,控制之间差异被放大的程度;

30、进行行归一化得到随机矩阵:

31、

32、将其映射至log域形成语义软偏置:

33、。

34、优选的,s5中语义空间注意力logits计算为:

35、

36、其中,可学习缩放参数,可初始化为0,使模型训练初期先依赖基础空间注意力,随后逐步学习引入语义软偏置,降低由预计算语义关系带来的早期训练不稳定风险。

37、优选的,s5中空间注意力采用多头结构,一部分注意力头作为地理空间注意力头,另一部分注意力头作为语义空间注意力头;地理空间注意力头同时使用静态地理掩码和动态拓扑偏置,建模邻近道路节点或网格单元之间的空间传播关系;语义空间注意力头使用连续语义软偏置,建模交通模式相近节点之间的功能相关关系。

38、优选的,s7中聚合结果输入预测层,预测层由一个或多个1×1卷积层、全连接层或等价线性映射层构成。

39、因此,本发明采用上述基于核化时序注意力和拓扑增强空间的交通流预测方法,具有以下有益效果:

40、(1)缓解softmax时序注意力过度集中问题,核化时序注意力通过非负核映射和共享累积项计算注意力输出,使时间注意力分布更加平滑,有利于综合利用周期性、趋势性和突发性交通模式。

41、(2)增强空间关系的输入自适应能力,动态拓扑生成子模块能够根据当前历史交通状态生成样本级动态拓扑,使空间注意力不再局限于训练后固定的静态图或自适应图。

42、(3)提高语义空间关系表达精度,语义软偏置交互子模块用连续相似度替代二值语义掩码,保留节点间功能相似性的细粒度差异。

43、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。

1.基于核化时序注意力和拓扑增强空间的交通流预测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于核化时序注意力和拓扑增强空间的交通流预测方法,其特征在于:s4中采用非负核映射替代softmax归一化,核映射为:

3.根据权利要求2所述的基于核化时序注意力和拓扑增强空间的交通流预测方法,其特征在于:s5中拓扑增强空间注意力模块包括动态拓扑生成子模块和语义软偏置交互子模块;

4.根据权利要求3所述的基于核化时序注意力和拓扑增强空间的交通流预测方法,其特征在于:s5中将动态拓扑矩阵映射至域后注入地理空间注意力:

5.根据权利要求4所述的基于核化时序注意力和拓扑增强空间的交通流预测方法,其特征在于:s5中语义软偏置交互子模块根据历史交通序列预先计算节点间动态时间规整距离,并将该距离转换为连续语义相似度,包括以下步骤:通过高斯核将距离转换为相似度:

6.根据权利要求5所述的基于核化时序注意力和拓扑增强空间的交通流预测方法,其特征在于:s5中语义空间注意力logits计算为:

7.根据权利要求6所述的基于核化时序注意力和拓扑增强空间的交通流预测方法,其特征在于:s5中空间注意力采用多头结构,一部分注意力头作为地理空间注意力头,另一部分注意力头作为语义空间注意力头;地理空间注意力头同时使用静态地理掩码和动态拓扑偏置,建模邻近道路节点或网格单元之间的空间传播关系;语义空间注意力头使用连续语义软偏置,建模交通模式相近节点之间的功能相关关系。

8.根据权利要求7所述的基于核化时序注意力和拓扑增强空间的交通流预测方法,其特征在于:s7中聚合结果输入预测层,预测层由一个或多个1×1卷积层、全连接层或等价线性映射层构成。