公交线路调度优化方法、装置及设备与流程

摘要: 本发明涉及线路调度,尤其涉及一种公交线路调度优化方法、装置及设备。背景技术:1、高效可靠的公交服务是城市可持续发展的基础。公交运行调度是公交系统运营的核心环节,...
公交线路调度优化方法、装置及设备与流程

本发明涉及线路调度,尤其涉及一种公交线路调度优化方法、装置及设备。

背景技术:

1、高效可靠的公交服务是城市可持续发展的基础。公交运行调度是公交系统运营的核心环节,其主要目的是在考虑乘客需求和服务水平的前提下,合理确定公交车辆的发车间隔和运行计划,以最小化系统总成本(包括乘客候车成本和运营商运营成本)。然而,实际公交运营过程中,车辆运行时间受到交通拥堵、恶劣天气、突发事件等多种不确定因素的影响,呈现出显著的随机性。这种运行时间的不确定性会导致公交车串车、延误、乘客分布不均以及相应的候车时间增加等问题,严重影响公交系统的效率和服务质量。因此,如何在不确定的运行环境下实现鲁棒、自适应的公交调度,是当前公交运营优化领域亟待解决的关键问题。

2、目前国内外关于公交运行调度理论研究和实践方法主要包括以下几类:确定性调度方法无法应对实际运营中运行时间的随机波动,所得调度方案在不确定环境下的性能往往严重退化;随机优化方法大多针对单一线路、需求相对固定的场景,且随机扰动范围较为有限,难以适用于多线路、复杂实际场景;鲁棒优化方法通常依赖预先定义的确定性不确定集合,难以自适应地应对实际运行中复杂多变的扰动模式;元启发式算法通常需要较长的计算时间,难以满足实际公交调度对实时性的要求,而离线启发式方法,其在面对实时变化的运行环境和乘客需求时,缺乏自适应调整能力;强化学习调度方法大多未充分考虑运行时间的不确定性,在面临非常规扰动时,其决策性能往往显著下降。

3、因此,如何在多线路环境中实现应对运行时间随机扰动的鲁棒自适应公交调度优化是亟需解决的问题。

技术实现思路

1、本发明提供一种公交线路调度优化方法、装置及设备,基于防守者-攻击者马尔可夫决策博弈理论框架,利用双深度q网络算法,在多线路环境中实现应对运行时间随机扰动的鲁棒自适应公交调度优化。

2、为了实现上述目的,本发明实施例提供了一种公交线路调度优化方法,包括:

3、获取公交系统的实时运行数据和运营约束;根据所述实时运行数据构建所述公交系统的实时系统状态向量;根据所述运营约束生成所述公交系统的动作掩码矩阵;

4、根据所述实时系统状态向量和预设调度智能体,生成所述公交系统全动作空间对应的原始q值;其中,所述预设调度智能体通过基于防守者-攻击者马尔可夫决策博弈框架采用两阶段对抗训练方式训练对决双深度q网络得到;

5、采用所述动作掩码矩阵对全部原始q值进行过滤处理,从过滤后的有效q值中选取最大值对应的动作作为最优调度动作;

6、解析所述最优调度动作对应的发车间隔和线路分配信息,生成所述公交系统的多线路公交调度指令,以完成公交线路调度优化。

7、作为上述方案的改进,所述预设调度智能体的获取方法,包括:

8、根据多线路公交系统动力学模型、防守者马尔可夫决策过程和攻击者马尔可夫决策过程,构建防守者-攻击者马尔可夫决策博弈框架;

9、构建防守者对决双深度q网络和攻击者对决双深度q网络,并为两类对决双深度q网络配置优先经验回放缓冲区、自适应ε-贪婪探索机制以及状态依赖动作掩码机制;

10、根据所述防守者-攻击者马尔可夫决策博弈框架,采用两阶段对抗训练方式对所述防守者对决双深度q网络和攻击者对决双深度q网络进行迭代训练,直到所述防守者对决双深度q网络和攻击者对决双深度q网络均收敛,将收敛后的防守者对决双深度q网络作为预设调度智能体。

11、作为上述方案的改进,所述防守者-攻击者马尔可夫决策博弈框架中的防守者以最小化乘客候车成本和运营商运营成本加权总成本为优化目标,对应动作包含发车间隔和线路分配;

12、所述防守者-攻击者马尔可夫决策博弈框架中的攻击者以最大化所述加权总成本为优化目标,对应动作为各公交线路运行时间扰动率。

13、作为上述方案的改进,所述根据所述防守者-攻击者马尔可夫决策博弈框架,采用两阶段对抗训练方式对所述防守者对决双深度q网络和攻击者对决双深度q网络进行迭代训练,直到所述防守者对决双深度q网络和攻击者对决双深度q网络均收敛,将收敛后的防守者对决双深度q网络作为预设调度智能体,包括:

14、采用公交系统的客流与基准行驶数据训练所述防守者对决双深度q网络,直至所述防守者对决双深度q网络损失函数收敛,得到预训练防守者对决双深度q网络;

15、根据所述防守者-攻击者马尔可夫决策博弈框架和预训练防守者对决双深度q网络,对所述防守者对决双深度q网络和攻击者对决双深度q网络进行交替对抗迭代训练,直到所述防守者对决双深度q网络和攻击者对决双深度q网络均收敛,将收敛后的防守者对决双深度q网络作为预设调度智能体。

16、作为上述方案的改进,每一次交替对抗迭代训练,包括:

17、固定所述预训练防守者对决双深度q网络,持续更新所述攻击者对决双深度q网络的参数;

18、固定更新后的攻击者对决双深度q网络,根据更新后的攻击者对决双深度q网络输出的各类随机和极端路况扰动样本更新所述防守者对决双深度q网络,优化防守者在扰动场景下的发车调度策略。

19、作为上述方案的改进,所述防守者马尔可夫决策过程和攻击者马尔可夫决策过程,包括:

20、所述防守者马尔可夫决策过程的状态向量包括各线路车辆站点到离站时间、全线站点实时滞留乘客数量、当前发车计数与运营终止标识,动作包含全局下一班发车间隔、发车线路分配,优化目标为最小化乘客候车成本与运营商运营成本加权和;

21、所述攻击者马尔可夫决策过程的状态向量包含各攻击区间内发车总数、区间累计候车客流、区间结束站点滞留乘客数量,动作为每条公交线路的运行时间扰动率,优化目标为最大化乘客候车成本与运营商运营成本加权和。

22、作为上述方案的改进,所述构建防守者对决双深度q网络和攻击者对决双深度q网络,并为两类对决双深度q网络配置优先经验回放缓冲区、自适应ε-贪婪探索机制以及状态依赖动作掩码机制,包括:

23、构建防守者对决双深度q网络和攻击者对决双深度q网络;

24、分别为所述防守者对决双深度q网络和攻击者对决双深度q网络建立对应的优先经验回放缓冲区,以存储时序状态、动作、优化目标;

25、为所述防守者对决双深度q网络和攻击者对决双深度q网络分别配置对应的自适应ε-贪婪探索机制,用于在训练周期内探索概率由最大值随累计衰减因子指数下降至预设最小值,每轮决策后更新衰减系数,交替对抗训练轮次重置探索概率;

26、为所述防守者对决双深度q网络和攻击者对决双深度q网络分别设计对应的状态依赖动作掩码机制,用于依据当前系统状态对应的发车间隔、线路可行约束,将所有违规动作对应的原始q值赋值负无穷,保留合规动作参与最优动作筛选。

27、作为上述方案的改进,所述根据多线路公交系统动力学模型、防守者马尔可夫决策过程和攻击者马尔可夫决策过程,构建防守者-攻击者马尔可夫决策博弈框架,包括:

28、建立统一离散时间索引时序协调机制,定义全局统一时间步作为攻防双方同步推演基准,分别设置发车倒计时计数器、攻击区间计数指示器,区分防守者发车决策时序和攻击者扰动施加时序;

29、根据多线路公交系统动力学模型构建系统状态转移函数,基于所述统一离散时间索引时序协调机制与所述系统状态转移函数耦合防守者马尔可夫决策过程和攻击者马尔可夫决策过程;

30、根据所述防守者马尔可夫决策过程和攻击者马尔可夫决策过程构建防守者-攻击者马尔可夫决策博弈框架。

31、为了实现上述目的,本发明实施例提供了一种公交线路调度优化装置,包括:

32、相关数据获取模块,用于获取公交系统的实时运行数据和运营约束;根据所述实时运行数据构建所述公交系统的实时系统状态向量;根据所述运营约束生成所述公交系统的动作掩码矩阵;

33、原始动作生成模块,用于根据所述实时系统状态向量和预设调度智能体,生成所述公交系统全动作空间对应的原始q值;其中,所述预设调度智能体通过基于防守者-攻击者马尔可夫决策博弈框架采用两阶段对抗训练方式训练对决双深度q网络得到;

34、调度动作确定模块,用于采用所述动作掩码矩阵对全部原始q值进行过滤处理,从过滤后的有效q值中选取最大值对应的动作作为最优调度动作;

35、调度指令生成模块,用于解析所述最优调度动作对应的发车间隔和线路分配信息,生成所述公交系统的多线路公交调度指令,以完成公交线路调度优化。

36、为了实现上述目的,本发明实施例对应提供了一种公交线路调度优化设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现上述公交线路调度优化方法。

37、与现有技术相比,本发明实施例公开的一种公交线路调度优化方法、装置及设备,通过获取公交系统的实时运行数据和运营约束;根据所述实时运行数据构建所述公交系统的实时系统状态向量;根据所述运营约束生成所述公交系统的动作掩码矩阵;根据所述实时系统状态向量和预设调度智能体,生成所述公交系统全动作空间对应的原始q值;其中,所述预设调度智能体通过基于防守者-攻击者马尔可夫决策博弈框架采用两阶段对抗训练方式训练对决双深度q网络得到;采用所述动作掩码矩阵对全部原始q值进行过滤处理,从过滤后的有效q值中选取最大值对应的动作作为最优调度动作;解析所述最优调度动作对应的发车间隔和线路分配信息,生成所述公交系统的多线路公交调度指令,以完成公交线路调度优化。能够基于防守者-攻击者马尔可夫决策博弈理论框架,利用双深度q网络算法,在多线路环境中实现应对运行时间随机扰动的鲁棒自适应公交调度优化。