基于坡段牵引与速度曲线回接的列车轨迹优化方法及系统

摘要: 本发明属于轨道交通智能控制与列车运行优化,特别涉及基于坡段牵引与速度曲线回接的列车轨迹优化方法及系统。背景技术:1、列车站间运行需要同时满足线路限速、坡度条件、...
基于坡段牵引与速度曲线回接的列车轨迹优化方法及系统

本发明属于轨道交通智能控制与列车运行优化,特别涉及基于坡段牵引与速度曲线回接的列车轨迹优化方法及系统。

背景技术:

1、列车站间运行需要同时满足线路限速、坡度条件、牵引与制动能力、计划运行时间及运行平稳性等约束。现有列车运行轨迹优化方法主要包括解析优化方法、动态规划、遗传算法、模型预测控制以及强化学习方法等。传统解析方法和智能优化算法通常需要根据具体线路及列车参数设置优化变量和控制规则,当线路坡度、限速分布或计划运行时间发生变化时,需要重新进行搜索或求解;模型预测控制则需要在运行过程中不断进行滚动优化,计算过程相对复杂。

2、现有技术采用列车动力学模型构建运行环境,并利用强化学习方法获得连续牵引控制策略,其中近端策略优化算法(proximal policy optimization,ppo)可通过连续动作策略网络输出列车控制参数。该类方法仍存在以下不足:第一,现有方法多按照固定时间步或固定空间步组织强化学习决策,线路较长时容易产生较长的动作序列,未充分利用线路坡度分段形成的天然结构边界;第二,部分连续控制方法主要输出单一牵引或制动比例,对一个坡段内部不同位置的牵引变化描述能力有限,难以利用一个结构化动作同时确定牵引切换位置以及切换前、切换后的不同牵引比例;第三,策略对当前区段进行局部速度调整后,新的速度轨迹可能与原参考节能速度曲线产生偏差,若直接沿后续线路继续传播,该局部偏差会进一步影响后续运行时间和能耗评价,现有方法缺少根据实际动力学过程使调整后的轨迹重新衔接参考速度曲线的处理方式;第四,列车轨迹优化同时涉及牵引能耗、计划运行时间和运行平稳性等指标,单独强化其中某一指标容易造成不同优化目标之间的冲突,尤其可能出现以延长运行时间换取较低能耗或者以增加牵引能耗换取准点性的情况;第五,在列车尚未运行至线路终点时,当前候选轨迹中的后续部分尚未完全受到策略动作作用,此时直接依据整条轨迹计算时间和能耗评价具有一定不完整性,不同位置采用相同评价强度会影响强化学习训练信号的有效性。

3、因此,需要一种能够利用线路坡度分段降低强化学习决策复杂度、提高坡段内部牵引控制表达能力,并能够限制局部速度调整向后续线路持续传播的列车运行轨迹优化方法;同时,使其能够在列车动力学和速度边界约束下协调牵引能耗、准点性与运行平稳性,并利用ppo连续动作强化学习实现坡段控制参数的稳定优化。

4、需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、为了解决或至少缓解以上问题中的一个或多个,提供了一种基于坡段牵引与速度曲线回接的列车轨迹优化方法及系统,以线路坡度分段作为强化学习决策单元,通过三维连续动作同时确定坡段内牵引切换位置、切换前牵引比例和切换后牵引比例,并结合列车动力学约束进行逐米速度推进;当局部轨迹偏离参考节能速度曲线时,通过牵引追赶或惰行方式实现后续轨迹平稳回接;同时综合考虑运行能耗、计划运行时间误差及速度变化平稳性构造奖励机制,并采用ppo连续动作强化学习算法进行策略训练,从而提高列车运行轨迹优化的精细性、稳定性及节能准点协同能力。

2、为实现上述目的,按照本发明的第一方面,提供基于坡段牵引与速度曲线回接的列车轨迹优化方法,包括以下步骤:

3、s1、获取线路坡度分段、限速分段、列车动力学参数及计划运行时间并建立逐位置线路属性;

4、s2、生成满足计划运行时间约束的参考节能速度曲线、最短运行时间曲线及速度边界;

5、s3、以相邻坡度边界之间的线路区间作为当前决策坡段,根据列车运行状态及前方坡段的长度和坡度构建坡段状态,输入连续动作策略网络得到三维连续动作,分别用于确定当前坡段内的牵引切换位置、所述牵引切换位置之前的第一牵引比例和所述牵引切换位置之后的第二牵引比例;

6、s4、在当前坡段内按预设空间步长逐位置执行列车动力学递推,根据当前位置与所述牵引切换位置的关系选择所述第一牵引比例或所述第二牵引比例,结合最大可用牵引加速度、线路坡度附加作用和基本运行阻力递推下一位置速度并更新运行时间和牵引能耗,并依据所述最短运行时间曲线和所述速度边界修正候选速度;

7、s5、从当前坡段末端起将候选速度与所述参考节能速度曲线逐位置比较,存在偏差时执行参考速度曲线回接,使候选速度轨迹重新与所述参考节能速度曲线衔接;

8、s6、根据回接后的候选速度轨迹的运行时间、牵引能耗及平稳性指标形成准点性评价和能耗评价,经节能—准点门控并结合位置可信度权重得到综合奖励,采用连续动作策略优化算法更新所述连续动作策略网络,返回步骤s3直至到达线路终点并输出优化后的列车运行轨迹。

9、进一步地,生成满足计划运行时间约束的参考节能速度曲线、最短运行时间曲线及速度边界,包括:

10、基于列车牵引能力上限和最大制动能力分别进行正向递推和反向递推,并逐位置结合线路限速,生成满足列车牵引能力、终点制动要求和线路限速的最短运行时间曲线;

11、将所述最短运行时间曲线中高于候选巡航速度的部分限制为所述候选巡航速度,得到巡航速度候选曲线并计算其运行时间,通过二分搜索调整所述候选巡航速度,使所述巡航速度候选曲线的运行时间逼近所述计划运行时间;

12、设置多个候选速度比例和多个惰行切入位置,对每一候选速度比例生成对应的候选参考曲线,并在所述惰行切入位置之后将实际牵引控制加速度置零,按照列车动力学关系递推得到惰行速度,当所述惰行速度达到所述候选参考曲线对应位置的速度时将剩余曲线恢复为所述候选参考曲线,当所述惰行速度在终点前下降至零时移动所述惰行切入位置并重新递推;

13、对每一候选速度比例和每一惰行切入位置对应的候选轨迹分别计算运行时间误差和牵引能耗,先筛选出运行时间误差满足预设条件的候选轨迹,再从筛选结果中选择牵引能耗最低的候选轨迹作为所述参考节能速度曲线;

14、对筛选出的多条候选轨迹逐位置取速度最大值和速度最小值,对取值结果进行插值,并采用所述最短运行时间曲线对插值结果进行裁剪,得到所述速度边界。

15、进一步地,输入连续动作策略网络得到三维连续动作,分别用于确定当前坡段内的牵引切换位置、所述牵引切换位置之前的第一牵引比例和所述牵引切换位置之后的第二牵引比例,包括:

16、将所述连续动作策略网络输出的三个动作分量分别限制在预设取值范围[0,1]内;

17、根据第一动作分量与当前坡段长度的乘积确定所述牵引切换位置,所述牵引切换位置位于当前坡段的起点位置与终点位置之间;

18、将第二动作分量确定为所述牵引切换位置之前的第一牵引比例,将第三动作分量确定为所述牵引切换位置之后的第二牵引比例;

19、在当前坡段内逐位置推进时,当当前位置不晚于所述牵引切换位置时,将所述第一牵引比例与当前位置的最大可用牵引加速度相乘得到实际牵引控制加速度;当当前位置晚于所述牵引切换位置时,将所述第二牵引比例与当前位置的最大可用牵引加速度相乘得到实际牵引控制加速度。

20、进一步地,根据列车运行状态及前方坡段的长度和坡度构建坡段状态,包括:

21、在列车进入当前坡段时,获取当前坡段的运行时间、计划运行时间误差、当前累计牵引能耗、剩余参考能耗、列车当前位置、当前速度、下一坡段交接速度以及维持当前速度所需的牵引信息;

22、获取当前坡段前方多个坡段的长度信息和坡度信息;

23、将获取的上述信息以及线路状态信息分别进行归一化处理,拼接形成当前坡段对应的状态向量,并将所述状态向量输入所述连续动作策略网络。

24、进一步地,在当前坡段内按预设空间步长逐位置执行列车动力学递推,包括:

25、根据上一位置的列车速度确定当前位置的最大可用牵引加速度,当所述上一位置的列车速度为零时,取列车牵引能力上限作为所述最大可用牵引加速度;当所述上一位置的列车速度大于零时,取所述列车牵引能力上限与牵引功率约束加速度中的较小值作为所述最大可用牵引加速度;

26、根据当前位置与所述牵引切换位置的关系确定实际牵引控制加速度,并计算当前位置的线路坡度附加加速度和基本运行阻力加速度;

27、根据列车车长在相邻坡度分段中的覆盖长度对所述线路坡度附加加速度进行加权,并在列车完全进入下一坡度分段后采用该坡度分段对应的坡度值;

28、由所述实际牵引控制加速度扣除所述线路坡度附加加速度和所述基本运行阻力加速度,得到列车净加速度,并根据当前位置速度、所述列车净加速度和所述预设空间步长递推下一位置速度,同步累计运行时间和正向牵引能耗。

29、进一步地,依据所述最短运行时间曲线和所述速度边界修正候选速度,包括:

30、将当前位置的候选速度分别与所述最短运行时间曲线和所述速度边界在对应位置的速度值进行比较;

31、当所述候选速度超过所述最短运行时间曲线在对应位置的可达速度时,将所述候选速度修正为所述可达速度,并根据列车动力学关系反算相应的实际牵引控制量;

32、当所述速度边界在当前位置的上边界与下边界重合、且该位置的边界速度相对于前一位置呈上升趋势时,采用最大可用牵引加速度进行提速;

33、当列车进入预设巡航区间或惰行区间、且所述速度边界未形成刚性重合约束时,将实际牵引控制量置零,使列车进入惰行状态;

34、当修正后的列车速度低于预设低速阈值时,施加保护性牵引控制,使列车脱离低速运行区域。

35、进一步地,执行参考速度曲线回接,使候选速度轨迹重新与所述参考节能速度曲线衔接,包括:

36、从当前坡段末端开始逐位置比较候选速度与所述参考节能速度曲线在对应位置的参考速度;

37、当所述候选速度低于所述参考速度时,采用当前位置的最大可用牵引加速度进行牵引追赶,并在根据列车动力学关系计算得到的下一位置候选速度不低于下一位置参考速度时,将所述下一位置候选速度修正为所述下一位置参考速度;

38、当所述候选速度不低于所述参考速度时,将实际牵引控制加速度置零,使列车在坡度附加作用和基本运行阻力作用下惰行,直至候选速度下降至对应位置的参考速度;

39、当候选速度与参考速度相等时,判定回接完成并终止回接,未受当前坡段动作影响的后续区间继续采用所述参考节能速度曲线;

40、当候选速度与参考速度重新相等之前列车到达线路终点时,终止回接。

41、进一步地,形成准点性评价和能耗评价,经节能—准点门控并结合位置可信度权重得到综合奖励,包括:

42、根据回接后的候选速度轨迹的总运行时间与所述计划运行时间之间的绝对误差形成准点性评价,当所述绝对误差不超过预设时间误差分界值时,所述准点性评价为正且随所述绝对误差的增大而减小,当所述绝对误差超过所述预设时间误差分界值时,所述准点性评价为负并随所述绝对误差的增大而减小;

43、根据回接后的候选速度轨迹的累计正向牵引能耗与所述参考节能速度曲线对应的总牵引能耗之间的差值形成能耗评价,当候选轨迹牵引能耗不低于参考牵引能耗时给予负向评价,当候选轨迹牵引能耗低于参考牵引能耗时根据节能量给予正向评价并限制评价上限;

44、当候选轨迹牵引能耗不低于参考牵引能耗且所述准点性评价为正时,将所述准点性评价置零;当候选轨迹牵引能耗低于参考牵引能耗且所述准点性评价不为正时,将所述能耗评价置零;并将门控后的准点性评价与能耗评价构建为联合评价项;

45、根据回接后的候选速度轨迹的速度变化平稳性指标形成平稳性惩罚项,并根据列车当前位置确定位置可信度权重,以所述位置可信度权重对所述平稳性惩罚项与所述联合评价项之和进行加权,得到用于策略更新的综合奖励。

46、进一步地,采用连续动作策略优化算法更新所述连续动作策略网络,包括:

47、将当前坡段的状态、所述三维连续动作、动作对数概率、状态价值、所述综合奖励、终止标志及当前候选速度轨迹写入轨迹缓存,并将下一坡段状态作为后续策略决策的输入;

48、当所述轨迹缓存中的样本数量达到预设更新条件时,从轨迹末端向前计算折扣回报,并根据所述折扣回报与采样时保存的状态价值计算优势值;

49、根据当前策略网络与采样时的旧策略网络对同一采样动作的对数概率之比构造策略概率比,并以所述策略概率比的裁剪项、价值函数误差项及策略分布熵正则项构造优化目标,更新所述连续动作策略网络和价值网络;

50、将更新后的策略网络参数同步至所述旧策略网络,使下一阶段轨迹采样采用更新后的策略参数;

51、当列车到达线路终点时,将所述终止标志置为真并结束当前训练回合,使当前线路任务的折扣回报在终点处截断。

52、为实现上述目的,按照本发明的第二方面,提供基于坡段牵引控制的列车运行轨迹优化系统,包括:

53、线路与列车数据处理模块,用于获取线路坡度分段、限速分段、线路总长度、列车动力学参数及计划运行时间,建立逐位置线路属性;

54、参考轨迹生成模块,用于生成满足计划运行时间约束的参考节能速度曲线、最短运行时间曲线及速度边界;

55、坡段状态构建与动作输出模块,用于以相邻坡度边界之间的线路区间作为当前决策坡段,根据列车运行状态及前方坡段的长度和坡度构建坡段状态,输入连续动作策略网络得到三维连续动作,分别用于确定当前坡段内的牵引切换位置、所述牵引切换位置之前的第一牵引比例和所述牵引切换位置之后的第二牵引比例;

56、动力学推进与边界修正模块,用于在当前坡段内按预设空间步长逐位置执行列车动力学递推,根据当前位置与所述牵引切换位置的关系选择所述第一牵引比例或所述第二牵引比例,结合最大可用牵引加速度、线路坡度附加作用和基本运行阻力递推下一位置速度并更新运行时间和牵引能耗,并依据所述最短运行时间曲线和所述速度边界修正候选速度;

57、参考速度曲线回接模块,用于从当前坡段末端开始将候选速度与所述参考节能速度曲线逐位置比较,当存在偏差时执行参考速度曲线回接,使候选速度轨迹重新与所述参考节能速度曲线衔接;

58、综合评价与策略更新模块,用于根据回接后的候选速度轨迹计算总运行时间、累计正向牵引能耗及速度变化平稳性指标,形成准点性评价和能耗评价,经节能—准点门控并结合位置可信度权重得到综合奖励,采用连续动作策略优化算法更新所述连续动作策略网络,返回所述坡段状态构建与动作输出模块执行下一坡段,直至列车到达线路终点,输出优化后的列车运行轨迹。

59、采用上述技术方案后,本发明与现有技术相比具有以下有益效果。

60、本发明以相邻坡度边界形成的线路坡段作为策略决策单元,相较于逐位置进行动作决策,有效减少了长线路运行过程中的决策次数和动作序列长度,同时保留不同坡度区段之间的控制差异,降低了长线路轨迹优化的决策复杂度。

61、本发明采用坡段连续牵引控制,通过三个连续动作分量同时确定牵引切换位置、切换前牵引比例和切换后牵引比例,使单次坡段决策能够表示不同牵引时机和牵引强度组合,提高了坡段内部牵引控制的表达能力。

62、本发明在坡段内部按照空间步长执行列车动力学递推,并综合考虑牵引能力、功率约束、基本运行阻力、线路坡度以及列车跨越坡段边界时的车长影响,同时利用最短运行时间曲线、速度边界及低速保护条件对候选速度和牵引控制量进行修正,提高了候选运行轨迹的物理可行性。

63、本发明通过参考速度曲线回接机制,在候选速度低于参考速度时执行牵引追赶、在候选速度不低于参考速度时执行惰行回接,使局部调整后的轨迹在满足动力学约束的条件下重新衔接参考节能速度曲线,抑制了局部轨迹调整向后续线路持续传播。

64、本发明通过节能—准点门控机制限制以明显增加牵引能耗换取准点或以明显延长运行时间换取节能的控制方式,并引入随列车运行位置变化的位置可信度权重,使完整运行轨迹对策略更新具有更高影响,协调了节能、准点和平稳性之间的优化关系。

65、本发明采用ppo连续动作策略对坡段控制参数进行优化,通过新旧策略概率比裁剪限制单次策略更新幅度,并结合价值函数估计及熵正则保持动作探索能力,提高了连续牵引策略更新过程的稳定性。

66、下面结合附图对本发明的具体实施方式作进一步详细的描述。