一种基于分层决策图强化学习的电动公交充电调度方法

摘要: 本发明属于城市公共交通运营管理领域,具体涉及一种应用于城市电动公交系统的、能够平衡运营成本与服务质量的智能充电调度方法。背景技术:1、电动公交车作为零尾气排放的...
一种基于分层决策图强化学习的电动公交充电调度方法

本发明属于城市公共交通运营管理领域,具体涉及一种应用于城市电动公交系统的、能够平衡运营成本与服务质量的智能充电调度方法。

背景技术:

1、电动公交车作为零尾气排放的公共交通工具,在城市交通系统中的部署规模迅速扩大。然而,电动公交车受限于有限的续驶里程与较长的充电时间,通常需要在日间运营过程中进行多次机会充电以维持全天服务。尤其对于那些采用高能耗双层车型的车队,日间充电需求更为频繁,对充电基础设施与配电网造成了一定的压力。

2、在现有技术中,电动公交充电调度问题通常被建模为混合整数线性规划问题或鲁棒优化问题。例如,中国发明专利cn 122198547a提出了一种考虑非线性充电与电池衰减的电动公交充电调度方法,通过建立混合整数非凸非线性规划模型并线性化求解,以最小化固定成本、充电成本及电池衰减成本;又如cn 120782054a公开了一种充电站设施配置与电动公交充电调度的协同优化方法,构建多站点光伏储能配置与充电调度的联合优化模型并采用遗传算法求解。然而,这类方法往往基于确定性假设,将行程时间、能耗等关键参数视为预先已知且固定不变的常量。而在实际运营中,行程时间受交通拥堵、天气条件、乘客需求波动等因素影响呈现显著随机性;能耗则受温度、车速、道路坡度及车辆负载影响而高度不确定。在确定性假设下生成的充电计划,在实际执行中极易因能耗超预期或行程延误而导致电量不足,进而引发服务延误甚至班次取消,产生级联运营中断。

3、此外,现有研究大多假设充电桩以固定功率运行,且忽略配电网容量约束,或仅考虑充电桩数量约束而未考虑总功率上限。例如,中国发明专利 cn 122198547a、cn120782054a及cn 118690917a等方法均未充分考虑智能充电桩的动态功率调节能力与电网容量限制。近年来,基于动态负荷管理的智能充电桩系统逐渐投入应用,该系统通过能源管理系统实时调节各充电桩输出功率,使得安装充电桩的总额定功率可超过电网容量限制,从而在不升级电网的前提下提升基础设施利用效率。然而,智能充电桩的引入使得充电调度从简单的“插拔竞争”转变为复杂的“连续功率分配竞争”,传统优化方法难以在合理时间内求解此类高维混合离散-连续决策问题。

4、强化学习作为一种适用于序贯决策的机器学习范式,在应对不确定性环境方面具有天然优势。例如,中国发明专利cn 120806572b提出了一种基于多任务头多智能体深度强化学习的混合供电电动公交充电调度方法,针对“光-储-网”场景同时优化充电成本与co2排放;中国发明专利cn 118690917a公开了一种基于td3算法的电动公交混合充电方案优化方法,采用多智能体框架处理离散-连续混合动作空间;中国发明专利cn 122288289a则提出了一种基于双sac组合训练框架的电动公交车队充电与运营混合调度方法,实现运营与充电的闭环协同。然而,上述基于强化学习的方法仍存在明显不足:多数研究仅针对单辆公交车或单一站点进行充电决策,忽略了车队层面的资源竞争;现有方法通常采用固定维度的状态向量输入,难以灵活处理动态变化的候选车辆数量;动作空间设计多为简单的二元充电决策、离散方式选择或固定功率选择,无法充分利用智能充电桩的连续功率调节能力;更重要的是,现有方法大多仅考虑单一不确定性来源(如仅行程时间或仅能耗不确定),难以应对实际运营中双重不确定性的耦合影响。

5、因此,亟需一种能够同时处理行程时间与能耗双重不确定性、充分利用智能充电桩连续功率调节能力、严格满足充电桩数量与电网容量约束、并具备实时响应能力的电动公交充电调度方法。

技术实现思路

1、针对上述现有技术中存在的缺陷,本发明提供一种基于分层决策图强化学习的电动公交充电调度方法,通过构建事件驱动的马尔可夫决策过程与异构图状态表示,设计结构化混合动作策略与安全投影机制,并基于近端策略优化(proximal policyoptimization, ppo)算法进行训练,生成能够动态适应随机运营环境的帕累托最优充电策略,解决现有技术中确定性模型鲁棒性差、动作空间设计粗糙、系统约束处理不足等问题。

2、为了实现上述目的,本发明提供如下技术方案:

3、一种基于分层决策图强化学习的电动公交充电调度方法,应用于配备智能充电桩与动态负荷管理系统的电动公交场站,包括以下步骤:

4、步骤s1:构建电动公交系统充电调度的马尔可夫决策过程。

5、将充电决策过程建模为事件驱动的序贯决策问题。定义包含车辆状态、充电系统状态、行程状态及全局环境状态的状态空间;定义包含期望充电功率向量的动作空间;定义融合充电成本与服务延误的奖励函数;并建立考虑行程时间与能耗双重不确定性的状态转移机制。

6、步骤s2:构建异构图状态表示学习模块。

7、将所述状态空间中的多车辆系统状态建模为异构图,所述异构图包含候选充电车辆节点与非候选车辆节点两种节点类型,以及候选至非候选影响边、非候选至候选影响边、候选间竞争边三种边类型。通过多层感知机对原始观测进行初始嵌入,再通过堆叠的异构图卷积网络进行消息传递与特征聚合,生成具有上下文感知能力的节点表示与全局状态嵌入。

8、步骤s3:构建结构化混合动作策略网络(actor network)。

9、基于所述异构图编码输出的节点表示与全局状态嵌入,通过参数共享的多层感知机并行生成三组策略输出:计数头输出各可行车辆数量的对数几率,经掩码截断与softmax归一化后得到待充电车辆数量的类别概率分布;子集选择头为每个候选车辆输出选择对数几率,用于在给定数量的条件下构造固定基数子集分布;功率均值头为每个候选车辆输出潜在高斯功率变量的均值参数,其中被选中车辆的潜在变量经采样及sigmoid缩放后构成期望充电功率向量,未被选中的车辆功率置零。上述三个策略头在一次前向传播中并行求值,但由于子集选择以已采样的数量为条件,且潜在功率变量仅对被选中的子集进行采样,对应的动作分量按顺序依次采样生成,从而实现离散选择与连续功率分配的混合动作输出。

10、步骤s4:构建确定性安全投影机制。

11、接收所述期望充电功率向量,以最小化欧氏距离为目标,在单桩功率上限、充电桩数量及剩余电网容量约束下,将期望功率向量投影为可执行充电动作,确保未选中车辆的充电功率置为零,且所有执行动作严格满足系统级功率约束。

12、步骤s5:构建价值网络(critic network)与近端策略优化训练框架。

13、所述价值网络采用门控池化机制聚合候选与非候选车辆节点信息并输出状态价值估计。基于广义优势估计(generalizedadvantageestimation, gae)计算策略梯度,通过带熵正则化的裁剪目标函数更新策略网络参数,通过huber回归损失更新价值网络参数,迭代训练直至收敛。通过多次训练得到多个收敛策略,从中筛选出非支配策略构成经验帕累托前沿,为运营者提供充电成本与服务延误之间的定量权衡工具。

14、作为本发明的进一步方案,所述步骤s1具体包括:

15、步骤s101:定义事件驱动的时间步机制。

16、决策时刻由以下五类触发事件之一激活:(i)车辆到达终点站;(ii)计划班次发车时刻到来;(iii)班次发生延误;(iv)车辆达到最大荷电状态;(v)某车辆已连续充电达到最小充电时长(单位:分钟)。仅在存在需要充电决策的候选车辆且存在可用充电资源时,才执行充电决策动作。该事件驱动结构区别于固定时间间隔方法,使智能体能够在系统状态发生实质性变化时精确响应。

17、步骤s102:定义状态空间。

18、状态由四个主成分构成:

19、车辆状态:针对候选充电车辆(在站、未充电且soc低于,或已连续充电达到最小时长),状态包括当前soc、当前充电功率、已连续充电时长及soc缺口(与当前soc之差)。针对非候选车辆中的在站车辆,状态包括当前soc、当前充电功率、已连续充电时长、是否达到及位置标识。针对非候选车辆中的在途车辆,状态包括上次离站soc、位置标识、已行驶时间、服务线路距离、线路能耗上下界及线路行程时间上下界。在途车辆的实时soc视为不可观测,基于离站记录与已行驶时间推断。

20、充电系统状态:包括剩余可用充电桩数量、剩余可用电网功率、当前分时电价、下一分时电价时段剩余时长及该时段的电价水平与持续时长。

21、行程状态:包括下一班次发车剩余时间、下一请求班次的总里程、剩余未服务班次数量、剩余总服务里程及剩余班次的平均发车间隔。

22、全局状态:包括当前时刻、车队总规模、在途车辆数、在站车辆数及运营线路总数。

23、步骤s103:定义动作空间与约束条件。

24、动作为分配给各候选充电车辆的充电功率向量。动作需满足以下约束:

25、

26、

27、

28、其中,为单桩最大充电功率。

29、步骤s104:定义奖励函数。

30、奖励函数定义为充电成本与服务延误成本的负加权和:

31、

32、其中,为当前决策时段内所有充电车辆根据分时电价(time-of-use,tou)计算的充电成本;若该时段跨越多个电价区间,则在电价变化点进行分段计算。为当前时段内所有延误班次的累计延误时长,具体为各延误班次在内处于系统中的时长总和。为用于平衡充电成本与延误重要性的单位延误惩罚系数。若在运营日终止时仍存在未服务班次,则施加服务失败惩罚。

33、步骤s105:建立状态转移与不确定性模型。

34、系统状态转移由行程时间与能耗的双重不确定性驱动。对于线路,其行程时间与能耗服从联合分布,边际分布分别为与。不同线路可具有不同的联合分布特征。智能体执行充电动作后,系统根据实际运营决策、行程时间与能耗进行随机演化,直至下一触发事件激活新的决策时刻。

35、作为本发明的进一步方案,所述步骤s2具体包括:

36、步骤s201:异构图建模。

37、将系统状态显式建模为异构图。节点集合,其中为候选充电车辆节点集合,为非候选车辆节点集合。当为空时,引入全零观测的虚拟节点以保持图结构。

38、边集合,其中:

39、:从候选节点指向非候选节点的有向边,建模候选车辆对非候选车辆未来资源占用的影响;

40、:从非候选节点指向候选节点的有向边,建模在途车辆即将到站对当前充电资源的预期竞争;

41、:仅连接候选节点间的无向边,直接建模候选车辆间对充电桩与电网功率的直接竞争。

42、步骤s202:初始嵌入生成。

43、通过独立参数的多层感知机(multi-layer perceptron, mlp)算子分别生成候选节点初始嵌入、非候选节点初始嵌入及全局状态嵌入。所述mlp算子采用leakyrelu激活函数与层归一化(layer normalization)处理隐藏层变换,最终线性层映射至指定输出维度。

44、步骤s203:图卷积消息传递。

45、采用层堆叠的异构图卷积网络(graph convolutional network, gcn)进行消息传递。在第层,各关系类型的消息同步计算:

46、对于非候选节点,接收来自候选邻居的消息为:

47、

48、对于候选节点,接收来自非候选邻居的消息为:

49、

50、接收来自其他候选邻居的竞争消息为:

51、

52、候选节点的聚合表示为两种 incoming 消息的算术平均:

53、

54、非候选节点的聚合表示为其单一 incoming 消息:

55、

56、最终通过残差连接、层归一化及leakyrelu激活函数更新节点嵌入:

57、

58、步骤s204:编码算子形式化。

59、将上述编码流程形式化为状态编码算子,对于给定系统状态观测,输出所有车辆节点的上下文表示集合及处理后的全局状态向量。在策略网络与价值网络中分别实例化为与,具有独立可训练参数。

60、作为本发明的进一步方案,所述步骤s3具体包括:

61、步骤s301:策略特征生成。

62、actor网络的状态编码算子输出候选节点表示与全局状态。对于每个候选节点,拼接其节点表示与全局状态嵌入,通过共享mlp映射为actor侧策略特征:

63、

64、步骤s302:计数头。

65、计算均值池化的候选策略特征。计数头输出计数对数几率。

66、根据当前最大可行选择数量对计数分布进行掩码截断:

67、

68、经softmax归一化后的计数类别概率为:

69、

70、步骤s303:固定基数子集选择头(subset head)。

71、子集选择头为每个候选节点输出优先级对数几率。需说明的是,该得分并非各车辆独立bernoulli选择的对数几率,而是在给定选择数量条件下,用于构造固定基数子集分布的优先级参数。在给定条件下,子集的固定基数分布为:

72、

73、其中归一化常数通过对数空间动态规划计算,时间复杂度为,避免了对所有子集的显式枚举。具体地,定义为从前个候选节点中选择个的log-sum-exp分数,通过递推:

74、

75、初始化,,。则。

76、基于保留的动态规划表,通过后向采样精确抽取子集:从、剩余计数开始,候选节点被包含的条件概率为:

77、

78、步骤s304:功率均值头(power-mean head)。

79、功率均值头为每个候选节点输出潜在高斯功率变量的均值。需说明的是,该均值并非实际充电功率的数学期望,而是潜在功率变量的分布参数。对于被选中节点,采样潜在功率变量,其中为预设的全局标准差超参数。通过sigmoid函数缩放构建完整期望充电功率向量:

80、

81、该期望功率向量还需经步骤s4所述确定性安全投影机制映射为满足单桩功率上限、充电桩数量及电网容量约束的可执行充电动作。

82、步骤s305:联合对数概率。

83、结构化随机变量的联合对数概率为三层概率的对数和:

84、

85、其中连续功率分量对潜在变量的对数密度为:

86、

87、作为本发明的进一步方案,所述步骤s4具体包括:

88、步骤s401:安全投影算子定义。

89、由于采样得到的子集已满足充电桩数量约束,但期望功率向量仍可能超出剩余电网容量,因此应用确定性安全投影算子获取可执行动作:

90、

91、约束条件为:

92、

93、

94、步骤s402:投影特性说明。

95、所述安全投影为凸二次规划问题,具有解析解或可通过标准凸优化器高效求解。投影过程仅对已被子集选中的车辆分配正功率,未选中车辆的充电功率强制置零。在策略优化过程中,概率比率仅针对结构化随机变量计算,期望功率变换与安全投影为确定性过程,执行动作由投影后的可行功率构成。

96、作为本发明的进一步方案,所述步骤s5具体包括:

97、步骤s501:价值网络结构。

98、价值网络通过状态编码算子生成节点表示与全局状态。对候选节点,拼接表示后输入得到候选价值特征。通过注意力门控计算权重:

99、

100、加权聚合得到候选池化表示。类似地,通过非候选节点门控得到非候选池化表示。最终拼接三类特征输入价值头:

101、

102、步骤s502:广义优势估计。

103、在策略推出过程中,记录转移样本,其中为终止指示符。计算时序差分残差:

104、

105、广义优势估计递归计算为:

106、

107、其中为折扣因子,为广义优势估计平滑参数。价值目标值为。

108、步骤s503:策略网络损失函数。

109、从采样轨迹缓冲区中采样小批量,计算概率比率:

110、

111、计数-子集离散策略的精确熵通过动态规划计算:

112、

113、

114、策略网络的裁剪损失为:

115、

116、其中为ppo裁剪阈值,为熵正则化系数。熵正则仅应用于可训练的离散计数-子集部分;连续潜在功率分量的探索由预设标准差控制。

117、步骤s504:价值网络损失函数。

118、价值网络通过最小化huber回归损失更新:

119、

120、采用adam优化器分别更新策略网络与价值网络参数,并应用梯度裁剪阈值 保证数值稳定性。

121、步骤s505:多目标帕累托前沿训练。

122、通过调节单位延误惩罚系数的取值及其他参数,训练一系列策略网络,生成覆盖不同成本-延误偏好的帕累托最优策略前沿。各策略在相同的不确定性环境下独立训练,最终为运营者提供定量化的成本-延误权衡工具,支持其根据财务约束与服务承诺选择适宜的调度策略。