一种ETC轨迹重构的强化学习高速公路移动补能调度方法

本发明属于智慧交通，尤其涉及一种etc轨迹重构的强化学习高速公路移动补能调度方法。

背景技术：

1、随着电动汽车在高速公路长距离出行场景中的应用比例不断提高，高速公路服务区的充电需求呈现出明显的时空不均衡特征。尤其在节假日、周末返程、恶劣天气或局部交通拥堵等场景下，部分服务区容易出现短时充电需求集中、排队车辆快速累积、固定充电桩利用率接近饱和等问题；而在常规时段或低负荷服务区，又可能存在充电设施闲置、资源利用效率不足的情况。传统依靠固定充电桩扩建的方式虽然能够在一定程度上提高服务能力，但难以兼顾高峰保障能力与常态运行经济性，且受限于服务区场地、电网容量、建设周期和投资成本，难以灵活响应高速公路沿线充电需求的动态变化。

2、为缓解固定充电设施在局部高峰场景下的供给不足问题，移动充电车作为一种可跨服务区转移的弹性补能资源，能够在不大规模扩建固定充电桩的前提下，对突发排队、局部高负荷和临时补能需求进行动态支援。然而，现有移动充电车调度方法多依赖当前排队长度、固定路径规则或人工经验进行决策，在复杂高速公路场景下，容易出现调度滞后、重复派车、空驶距离过长、服务区排队预测不足等情形。

3、现有技术针对高速公路服务区电动汽车充电需求存在难以及时感知、移动补能资源跨区调度缺少前瞻性、移动充电车动作可执行性难以保证等问题。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种etc轨迹重构的强化学习高速公路移动补能调度方法，该方法通过etc需求推演、动态服务区分组、eta匹配、任务电量账户和综合动作掩码，提升了移动补能调度的提前性、可执行性和连续运行能力。

2、第一方面，本发明提供了一种etc轨迹重构的强化学习高速公路移动补能调度方法，所述方法包括：

3、s1获取etc门架数据，基于etc门架数据在时间窗内进行出行轨迹重构和运行状态提取，计算服务区未来充电需求到达率；

4、s2基于服务区未来充电需求到达率，通过静态候选支援关系预构建与预测风险动态激活，建立动态支援组内跨区补能优先级排序，得到动态支援组、服务区补能缺口和动态支援组内支援优先级；

5、s3将动态支援组、服务区补能缺口和动态支援组内支援优先级转化为强化学习智能体可使用的候选动作空间约束，所述候选动作空间约束包括时间有效性掩码；

6、s4基于候选移动充电车和候选目标服务区构建移动充电车任务电量账户，基于移动充电车任务电量账户与时间有效性掩码构建综合合法动作掩码，并筛选候选补能节点集合；

7、s5基于服务区未来充电需求到达率、服务区补能缺口、动态支援组、移动充电车任务电量账户和候选补能节点集合构建马尔可夫状态空间，基于服务区补能缺口、实际服务量和运行成本定义奖励函数；

8、s6基于马尔可夫状态空间、车辆级动作空间、综合合法动作掩码和奖励函数构建移动充电车调度策略，实现高速公路移动补能调度。

9、根据本发明的一个实施例，所述获取etc门架数据，基于etc门架数据在时间窗内进行出行轨迹重构和运行状态提取，计算服务区未来充电需求到达率，包括：

10、获取etc门架数据，生成脱敏车辆标识；

11、以脱敏车辆标识为索引，将同一车辆在连续etc门架处形成的通行记录按照时间戳升序排列，构建车辆etc门架出行轨迹；

12、基于车辆etc门架出行轨迹，计算各车辆的区间平均速度；

13、对所有车辆的区间平均速度进行聚合，得到门架区间宏观运行速度；

14、基于门架区间宏观运行速度，计算各车辆到达服务区的预计时间；

15、基于各车辆到达目标服务区的预计时间，计算服务区未来充电需求到达率。

16、根据本发明的一个实施例，所述基于服务区未来充电需求到达率，通过静态候选支援关系预构建与预测风险动态激活，建立动态支援组内跨区补能优先级排序，得到动态支援组、服务区补能缺口和动态支援组内支援优先级，包括：

17、基于服务区未来充电需求到达率，计算服务区补能缺口；

18、根据服务区行驶方向、沿线距离和移动充电车可接受支援距离，构建服务区之间的静态候选支援关系；

19、基于服务区补能缺口、当前排队车辆数和固定充电桩占用率计算服务区支援风险值；

20、基于服务区支援风险值，建立动态支援组内跨区补能优先级排序，得到动态支援组和动态支援组内支援优先级。

21、根据本发明的一个实施例，所述将动态支援组、服务区补能缺口和动态支援组内支援优先级转化为强化学习智能体可使用的候选动作空间约束，所述候选动作空间约束包括时间有效性掩码，包括：

22、基于动态支援组、动态支援组内支援优先级和移动充电车实时状态，对可参与当前调度的移动充电车进行初步筛选，得到候选车辆集合；

23、基于门架区间宏观运行速度，对候选车辆集合中的每个候选移动充电车从当前位置驶向目标服务区的预计到达时间进行动态估计，得到候选车辆集合的动态eta；

24、基于服务区补能缺口和服务区支援风险值计算补能缺口触发时刻，将补能缺口触发时刻与候选车辆集合的动态eta进行匹配，得到eta匹配关系；

25、基于eta匹配关系，构建候选动作空间约束，所述候选动作空间约束包括时间有效性掩码。

26、根据本发明的一个实施例，所述基于候选移动充电车和候选目标服务区构建移动充电车任务电量账户，基于移动充电车任务电量账户与时间有效性掩码构建综合合法动作掩码，并筛选候选补能节点集合，包括：

27、基于候选移动充电车和候选目标服务区构建移动充电车任务电量账户；

28、获取移动充电车在当前决策时刻的当前电量；

29、基于移动充电车在当前决策时刻的当前电量与移动充电车任务电量账户的预留总电量的关系构建能量可执行性动作掩码；

30、将时间有效性掩码与能量可执行性动作掩码进行相乘得到综合合法动作掩码，并筛选候选补能节点集合。

31、根据本发明的一个实施例，所述移动充电车调度策略为基于actor-critic架构的分布式策略，包括策略网络和状态价值网络，所述策略网络和状态价值网络参数的更新过程包括：

32、通过异步并行采样收集并存储完整的历史运行轨迹片段，构建时序轨迹采样缓存区；

33、引入广义优势估计算法对时序轨迹采样缓存区中每个时间步的动作优劣程度进行量化，计算时序差分残差并累积得到广义优势函数估计值；

34、基于ppo裁剪目标函数和广义优势函数估计值联合更新策略网络与状态价值网络参数，得到更新后的策略网络和状态价值网络参数。

35、根据本发明的一个实施例，所述移动充电车调度策略基于滚动时域控制机制进行在线闭环动态指派调度控制，所述滚动时域控制机制包括：

36、在当前时刻，触发s1至s5，将状态张量输入actor网络中执行前向传播，移动充电车调度策略针对每辆移动充电车分别输出车辆级单车动作，经综合合法动作掩码过滤后，组合形成当前时域内的全局联合调度指令下发至各移动充电车终端执行；

37、在时间轴向前推移一个标准决策步长之后，重新跳转触发s1。

38、第二方面，本发明提供了一种etc轨迹重构的强化学习高速公路移动补能调度装置，所述装置包括：

39、获取模块，用于s1获取etc门架数据，基于etc门架数据在时间窗内进行出行轨迹重构和运行状态提取，计算服务区未来充电需求到达率；

40、第一处理模块，用于s2基于服务区未来充电需求到达率，通过静态候选支援关系预构建与预测风险动态激活，建立动态支援组内跨区补能优先级排序，得到动态支援组、服务区补能缺口和动态支援组内支援优先级；

41、第二处理模块，用于s3将动态支援组、服务区补能缺口和动态支援组内支援优先级转化为强化学习智能体可使用的候选动作空间约束，所述候选动作空间约束包括时间有效性掩码；

42、第三处理模块，用于s4基于候选移动充电车和候选目标服务区构建移动充电车任务电量账户，基于移动充电车任务电量账户与时间有效性掩码构建综合合法动作掩码，并筛选候选补能节点集合；

43、第四处理模块，用于s5基于服务区未来充电需求到达率、服务区补能缺口、动态支援组、移动充电车任务电量账户和候选补能节点集合构建马尔可夫状态空间，基于服务区补能缺口、实际服务量和运行成本定义奖励函数；

44、第五处理模块，用于s6基于马尔可夫状态空间、车辆级动作空间、综合合法动作掩码和奖励函数构建移动充电车调度策略，实现高速公路移动补能调度。

45、第三方面，本发明提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的etc轨迹重构的强化学习高速公路移动补能调度方法。

46、第四方面，本发明提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的etc轨迹重构的强化学习高速公路移动补能调度方法。

47、第五方面，本发明提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的etc轨迹重构的强化学习高速公路移动补能调度方法。

48、第六方面，本发明提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的etc轨迹重构的强化学习高速公路移动补能调度方法。

49、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

50、本发明提供的一种etc轨迹重构的强化学习高速公路移动补能调度方法，相对于现有技术具有以下有益效果：

51、（1）本发明通过利用etc门架已有通行数据重构服务区未来充电需求，使系统能够在车辆实际进入服务区前识别潜在充电需求。相比仅依赖服务区当前排队长度或充电桩占用率的响应式调度方式，本发明能够提前获取上游车辆流向、到达时间窗和潜在充电需求，从而提高移动补能调度的前瞻性，提高了高速公路服务区充电需求预测的前置性和针对性。

52、（2）本发明通过静态候选支援关系+动态风险激活的方式构建服务区动态支援组，减少固定分组无法适应节假日潮汐车流和局部需求突变的问题。系统能够根据预测补能缺口、当前排队状态和固定桩占用率动态确定支援范围，使移动充电车优先服务于风险更高、缺口更明显的服务区组，提高了移动补能资源跨服务区支援的组织效率。

53、（3）本发明通过将服务区补能缺口触发时刻与移动充电车动态eta进行匹配，只有能够在缺口爆发前或超过阈值前到达的车辆—服务区组合才进入ppo候选动作空间。由此可减少移动充电车虽然最终能够到达、但到达时已错过有效支援窗口的问题，减少调度滞后、重复派车和无效跨区移动，降低移动充电车无效和滞后派遣的概率。

54、（4）本发明通过任务电量账户同时考虑车辆到达目标服务区、对外放电服务、任务后转移和自身安全保底等需求。相比仅以soc是否足以到达目标服务区作为判断条件的方法，本发明能够减少移动充电车到达后服务电量不足、服务后无法转移或自身电量低于安全约束边界的问题，提高移动充电车调度动作的能量可执行性和连续运行能力。

55、（5）本发明通过不让ppo在动作空间中盲目探索，而是在etc需求重构、动态支援组、eta匹配和任务电量账户约束后，形成综合合法动作掩码并输入ppo策略网络。该方式能够减少无效动作和低价值动作探索，提高策略训练效率，同时通过自补能触发机制保证移动充电车长期连续调度能力，提高ppo强化学习调度策略的稳定性和工程可落地性。