一种面向多车协同的运行图自动调整方法及装置与流程

1.本发明涉及铁路运输调度领域，具体而言，涉及一种面向多车协同的运行图自动调整方法及装置。


背景技术：

2.随着智能化科技的不断发展，人们的生活、工作、学习之中越来越多地用到了智能化设备，使用智能化科技手段，提高了人们生活的质量，增加了人们学习和工作的效率。
3.随着中国铁路运营里程的不断增长，铁路运输调度指挥系统面临数字化、智能化开发的迫切需求。当铁路线路上风、雨、雪、异物侵限和客流异动等不同类型突发事件的发生时，列车经常遭遇不同程度的晚点，调度员在分散自律调度集中系统(centralized traffic control，ctc)监督下负责列车晚点后的恢复调整。在列车运行图调整过程中，目前以单一调整列车的到站发车时间为主，各列车运行线之间的时间协同关系尚未充分考虑，基于列车的区间最小运行时分、列车运行线之间的追踪列车间隔时间、区间缓冲时间和列车最大牵引制动能力等指标，协同调整列车运行图的理论方法较少。故在多列车晚点场景下，面向多车协同的运行图自动调整方法亟待研究。
4.本发明提供了一种面向多车协同的运行图自动调整方法，一方面，以列车总晚点时间最小为优化目标，基于深度强化学习调整列车区间运行时分，以及在车站的发车时间。另一方面，在连续发车间隔时间不变的前提下，减小列车在各临时限速区段的最小追踪列车间隔时间，恢复区间缓冲时间，减小线路上的晚点传播。
5.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

6.本发明实施例提供了一种面向多车协同的运行图自动调整方法及装置，以至少解决现有技术中以单一调整列车的到站发车时间为主，各列车运行线之间的时间协同关系尚未充分考虑，基于列车的区间最小运行时分、列车运行线之间的追踪列车间隔时间、区间缓冲时间和列车最大牵引制动能力等指标，协同调整列车运行图的理论方法较少的技术问题。
7.根据本发明实施例的一个方面，提供了一种面向多车协同的运行图自动调整方法，包括：获取线路限速信息；根据所述线路限速信息，计算获得列车运行分析结果；根据所述列车运行分析结果，进行多车协同调整操作，并生成调度信息；根据所述调度信息调整列车运行图。
8.可选的，所述线路限速信息包括：临时限速信息、行车许可最大长度。
9.可选的，所述根据所述线路限速信息，计算获得列车运行分析结果包括：根据所述线路限速信息，划分各区间得到临时限速区段；以所述临时限速区段的左、右边界点为起点，在预设条件下基于所述临时限速区段的最大牵引、最大制动曲线计算所述列车运行分析结果。
10.可选的，在所述根据所述列车运行分析结果，进行多车协同调整操作，并生成调度信息之后，所述方法还包括：根据所述调度信息进行强化学习训练，得到训练模型。
11.根据本发明实施例的另一方面，还提供了一种面向多车协同的运行图自动调整装置，包括：获取模块，用于获取线路限速信息；计算模块，用于根据所述线路限速信息，计算获得列车运行分析结果；生成模块，用于根据所述列车运行分析结果，进行多车协同调整操作，并生成调度信息；调整模块，用于根据所述调度信息调整列车运行图。
12.可选的，所述线路限速信息包括：临时限速信息、行车许可最大长度。
13.可选的，所述计算模块包括：划分单元，用于根据所述线路限速信息，划分各区间得到临时限速区段；计算单元，用于以所述临时限速区段的左、右边界点为起点，在预设条件下基于所述临时限速区段的最大牵引、最大制动曲线计算所述列车运行分析结果。
14.可选的，所述装置还包括：训练模块，用于根据所述调度信息进行强化学习训练，得到训练模型。
15.根据本发明实施例的另一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，所述程序运行时控制非易失性存储介质所在的设备执行一种面向多车协同的运行图自动调整方法。
16.根据本发明实施例的另一方面，还提供了一种电子装置，包含处理器和存储器；所述存储器中存储有计算机可读指令，所述处理器用于运行所述计算机可读指令，其中，所述计算机可读指令运行时执行一种面向多车协同的运行图自动调整方法。
17.在本发明实施例中，采用获取线路限速信息；根据所述线路限速信息，计算获得列车运行分析结果；根据所述列车运行分析结果，进行多车协同调整操作，并生成调度信息；根据所述调度信息调整列车运行图的方式，解决了现有技术中以单一调整列车的到站发车时间为主，各列车运行线之间的时间协同关系尚未充分考虑，基于列车的区间最小运行时分、列车运行线之间的追踪列车间隔时间、区间缓冲时间和列车最大牵引制动能力等指标，协同调整列车运行图的理论方法较少的技术问题。
附图说明
18.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
19.图1是根据本发明实施例的面向多车协同的运行图自动调整方法流程示意图；
20.图2是根据本发明实施例的面向多车协同的运行图自动调整的系统结构及数据流示意图；
21.图3是根据本发明实施例的列车运行工况分析场景示意图；
22.图4是根据本发明实施例的区间缓冲时间示意图；
23.图5是根据本发明实施例的多车协同自动调整场景示意图；
24.图6是根据本发明实施例的“折线”列车运行图示意图；
25.图7是根据本发明实施例的基于深度强化学习面向多车协同的列车运行图自动调整方法示意图；
26.图8是根据本发明实施例的一种面向多车协同的运行图自动调整方法的流程图；
27.图9是根据本发明实施例的一种面向多车协同的运行图自动调整装置的结构框
图。
具体实施方式
28.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
29.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
30.根据本发明实施例，提供了一种面向多车协同的运行图自动调整方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
31.实施例一
32.图8是根据本发明实施例的一种面向多车协同的运行图自动调整方法的流程图，如图8所示，该方法包括如下步骤：
33.步骤s802，获取线路限速信息。
34.步骤s804，根据所述线路限速信息，计算获得列车运行分析结果。
35.步骤s806，根据所述列车运行分析结果，进行多车协同调整操作，并生成调度信息。
36.步骤s808，根据所述调度信息调整列车运行图。
37.可选的，所述线路限速信息包括：临时限速信息、行车许可最大长度。
38.可选的，所述根据所述线路限速信息，计算获得列车运行分析结果包括：根据所述线路限速信息，划分各区间得到临时限速区段；以所述临时限速区段的左、右边界点为起点，在预设条件下基于所述临时限速区段的最大牵引、最大制动曲线计算所述列车运行分析结果。
39.可选的，在所述根据所述列车运行分析结果，进行多车协同调整操作，并生成调度信息之后，所述方法还包括：根据所述调度信息进行强化学习训练，得到训练模型。
40.具体的，本发明实施例提出一种面向多车协同的运行图自动调整方法，其流程示意图如图1所示，其系统结构及数据流示意图如图2所示，步骤s1具体分为如下5步：
41.s1
‑
1线路上的风、雨、雪和设备故障等突发事件导致线路区间某区段临时限速，行车调度台集中管理临时限速信息，并下达临时限速命令给临时限速服务器(temporary speed limit server，tsrs)。
42.s1
‑
2临时限速信息经由tsrs、无线闭塞中心(radio block center，rbc)传递给rbc数据库中的多车协同自动调整模块。
43.s1
‑
3 rbc发送控车和限速信息给列车。
44.s1
‑
4 rbc获取其管辖范围内的线路及列车运行数据(位置、速度)和行车许可(movement authority，ma)请求等信息，再根据联锁发送的前方进路信息和列车被允许的最大ma长度，为列车分配更多的空闲进路。
45.s1
‑
5 rbc转发更新的线路及列车运行数据给rbc数据库，作为多车协同自动调整模块的输入信息。
46.步骤s1对rbc数据库功能进行扩展。其一，实时收集线路及列车运行数据、临时限速信息；其二，增加的多车协同自动调整模块用于步骤s3列车在各临时限速区段边界点到达时间、速度的计算，为列车运行图调整提供到站时间预测。
47.步骤s2列车运行工况分析和步骤s3多车协同自动调整均在rbc数据库的多车协同自动调整模块中计算，步骤s2的场景示意图如图3所示，具体计算过程如下：
48.s2
‑
1临时限速区段划分：设车站i和i 1之间的区间(i,i 1)存在m个临时限速区段边界点：m
i,1
,m
i,2
,
…
,m
i,q
,m
i,q 1
,
…
,m
i,m
‑1,m
i,m
，则区间(i,i 1)存在m
‑
1个临时限速区段：(m
i,1
,m
i,2
),
…
,(m
i,q
,m
i,q 1
),
…
,(m
i,m
‑1,m
i,m
)。
49.s2
‑
2临时限速等级划分：根据tsrs的8个临时限速等级，设列车限速值为v
l
。当l＝1，2，3，4，5，6，7，8时，v
l
＝250，200，160，120，100，80，60，45(单位：km/h)。故设区间(i,i 1)第q个临时限速区段为(m
i,q
,m
i,q 1
,v
l
)，q∈{1,2,
…
,m
‑
1}。
50.s2
‑
3最大牵引和最大制动曲线计算：以各临时限速区段左、右分界点为起点分别绘制列车最大牵引和最大制动曲线，表达式如式(1)和式(2)所示。
[0051][0052][0053]
其中，f
max
、b
max
分别表示最大牵引力和最大制动力，α1,α2,v1,v2,v3,v4是与列车车型有关的常数。最大牵引和最大制动下列车g在临时限速区段边界点q和q 1的速度分别为和设列车g在临时限速区段边界点q和q 1的实际速度为则
[0054][0055][0056]
s2
‑
4区间最小运行时分计算：列车g在各临时限速区段运行时的速度应取最大牵引、最大制动和临时限速下的速度最小值，则列车g在区间(i,i 1)的最小运行时分为
[0057][0058]
另外，步骤s3多车协同自动调整的基本原则是在两列列车连续发车间隔时间不变的条件下，保证各临时限速区段的多列车保持最小追踪列车间隔时间协同运行，本质在于
尽可能多地恢复区间缓冲时间，补充线路上故障引起的晚点时间，减小晚点传播。区间缓冲时间的定义为在两列列车连续发车间隔时间不变的情况下，两列列车的连续发车间隔时间与追踪列车间隔时间之差，如图4所示，其作用是抑制列车之间的晚点传播。根据图4，缓冲时间与晚点传播的关系如下：若两列列车之间的缓冲时间大于等于后车的晚点时间，则后车可利用缓冲时间“赶点”运行，彻底消除晚点对其造成的影响。反之，若两列列车之间的缓冲时间小于后车的晚点时间，则缓冲时间可消除一部分晚点，但后车即使利用全部的缓冲时间加速运行，也无法彻底消除晚点影响。另一部分晚点时间会传播至下一列车，后续两列列车利用缓冲时间继续消除晚点在剩余区间的影响，直至线路上的晚点完全消除，后续列车可正点运行。基于上述的讨论，关键在于根据线路上列车晚点大小，将区间缓冲时间合理准确地分配给晚点列车，计算各列车在区间各临时限速区段的实际运行时分，在最小追踪列车间隔时间约束下以多车协同运行的方式运行，计算列车在各临时限速区段边界点的到达时间、速度和到达各车站的时间，用于列车运行图的自动调整。
[0059]
步骤s3基本流程示意图如图5所示，具体为：
[0060]
s3
‑
1缓冲时间与晚点时间初始统计
[0061]
s3
‑1‑
1晚点时间初始化：设线路某故障影响b
‑
1个区间，分别为：(1,2),(2,3),
…
,(i,i 1),
…
,(b
‑
1,b)，影响列车总数为n，总晚点时间为w，则发生晚点时，第g列列车在区间(i,i 1)的第q个临时限速区段为(m
i,q
,m
i,q 1
,v
l
)晚点时间为其中区间i∈{1,2,
…
,b
‑
1}，临时限速区段q∈{1,2,
…
,m
‑
1}，列车g∈{1,2,
…
,n}。设列车g在区间(i,i 1)的晚点时间为若列车g为故障列车，设其自身的初始晚点时间为
[0062]
s3
‑1‑
2缓冲时间初始化：设n列列车总缓冲时间为b，则存在n
‑
1个缓冲时间，另设列车g和g 1在区间(i,i 1)缓冲时间为则最小追踪列车间隔时间为连续发车间隔时间为则三者的关系如下：
[0063][0064]
且
[0065][0066]
其中，是列车g在车站i 1和i的发车时间。
[0067]
s3
‑
2缓冲时间分配；s3
‑2‑
1晚点传播分析。
[0068]
需要说明的是，由图4的讨论，需要在初始晚点时间和缓冲时间条件下，优化后车的晚点时间，消除后续列车受到晚点的影响。发生故障时，晚点从故障前的第一列列车开始向后续列车传播，前后车之间的缓冲时间用于补充后车的晚点时间，则列车在区间(i,i 1)运行时：若即前车g的晚点时间大于前后车之间的缓冲时间，列车g的晚点将影响列车g 1的运行，则列车g 1的晚点时间如下：
[0069][0070]
其中，表示列车g 1的初始晚点时间。
[0071]
若即后车g的晚点时间不大于前后车之间的缓冲时间，列车g的晚点不会影响列车g 1的运行，后车g 1的晚点在区间(i,i 1)通过赶点运行可被缓冲时间消除，后续列车将恢复正点。因此，线路上区间(i,i 1)的晚点传播方程如下：
[0072][0073]
s3
‑2‑
2区间的总运行时分计算：设线路上某列车的晚点值等于0时，则晚点不再向后续列车传播，则晚点从故障前第一列车g＝1开始到最后一列车g＝c结束，整理等式(3)、(4)、(5)、(8)、(9)，线路上所有列车g＝{1,2,
…
,c}在所有区间(1,2),(2,3),
…
,(i,i 1),
…
,(b
‑
1,b)的总运行时分
[0074][0075]
其中，是列车g的在其所在区间(i,i 1)的最小运行时分，是列车g在其所在区间(i,i 1)的晚点时间。
[0076]
s3
‑2‑
3各临时限速区段运行时分分配：以区间(i,i 1)的各临时限速区段为例，设μ＝[μ1,μ2,
…
,μ
m
‑1]是各临时限速区段运行时分在区间总运行时分的占比，第q个临时限速区段(m
i,q
,m
i,q 1
,v
l
)的区段运行时分为：
[0077][0078]
μ由各临时限速区段计划运行时分与晚点之后的实际运行时分之比，即
[0079]
[0080]
s3
‑
3临时限速区段边界点的时间和速度计算：设列车在车站i和i 1的到站和发车时间分别为a
g,i
，d
g,i
和a
g,i 1
，d
g,i 1
，考虑缓冲时间消除晚点的条件下，列车在临时限速边界点q的时间和速度为：
[0081][0082][0083]
s3
‑
4最小追踪列车间隔时间下多车协同运行：在各临时限速区段运行的多列车需要在临时限速下运行，表示相邻两列列车g和g 1所在临时限速区段(m
i,q
,m
i,q 1
,v
l
)的任意相邻两个位置，且二者距离很近，则该临时限速区段在最小追踪列车间隔时间下相邻两列列车应满足以下约束条件：
[0084][0085][0086][0087]
(很小的常数)(18)
[0088][0089]
其中，表示相邻两个位置和的对应时刻，表示同一时间下两列列车g和g 1的实时位置，表示该临时限速区段下两列车的最小追踪列车间隔时间。式(18)说明任意相邻两个位置之间的距离η很小，作用在于用该小段时间来逼近运行列车的实时时刻，该段平均速度即为列车的实时速度。式(19)是保证两列列车之间的实时追踪距离大于安全制动距离s。列车在位置p和p 1的速度和应满足：
[0090][0091][0092]
s3
‑
5列车到站时间计算：整理式(10)、(11)、(12)，列车g到达车站i 1的时间a
g,i 1
表示如下：
[0093][0094]
其中，s
g,i
是列车g在车站i的停站时间。
[0095]
s3
‑
6“折线”列车运行图生成：“折线”列车运行图示意图如图6所示。根据临时限速区段边界点的时间和速度，将原来“直线”列车运行图转化成“折线”列车运行图。一方面，列车可根据边界点的时间和速度实时在线生成所需的驾驶策略；另一方面，列车调度员可实时根据“折线”列车运行图获知多列车在区间的速度和位置信息，有利于调度员为区间运行的列车下达加减速的调度命令。此外，保证多列车在区间各临时限速区段保持最小追踪列车间隔时间协同运行，最大程度上恢复区间缓冲时间，抑制线路晚点传播。多车协同自动调整模块将线路静态信息、列车状态信息与“折线”列车运行图经由rbc发给行车调度台。步骤s4在步骤s3列车实际到站时间已知的基础上，以列车总晚点时间最小为优化目标，基于深度强化学习方法一方面决定线路上晚点列车在车站的发车时间，另一方面保证列车在区间各临时限速区段保持最小追踪列车间隔时间协同运行。本发明基于深度强化学习面向多车协同的列车运行图自动调整方法示意图如图7所示，智能体和环境设置如下：环境包括状态空间、动作空间、状态转移概率、奖励函数。
[0096]
其中，状态空间s包括2种：
[0097]
区间状态空间变量设置为各临时限速区段的追踪列车间隔时间在步骤s2最小运行时间、步骤s3临时限速区段边界点的速度、时间下，自动调整列车在区段内的追踪列车间隔时间。
[0098]
车站状态空间变量设置为列车发车时间d
g,i
，g∈{1,2,
…
,n}，i∈{1,2,
…
,b
‑
1}，在步骤3
‑
5列车到站时间和3
‑
6“折线”列车运行图的基础上，调整各列车在各车站的发车时间。
[0099]
动作空间a根据状态空间s设置为区间上减小或者增大追踪列车间隔时间，车站内提前或者推迟发车，即改变和d
g,i
的大小。
[0100]
状态转移概率p表示当前状态
‑
动作转移到下一状态的概率集合p(s
′
|s,a)＝p[s
t 1
＝s
′
|s
t
＝s,a
t
＝a]，即当前车站调整到下一车站的概率。
[0101]
奖励函数r即运行图自动调整的优化目标，设置为线路上列车总晚点时间最小，表现为2种：列车在车站的总晚点时间最小、列车在区段临时限速下追踪列车间隔时间最小，设置方法如下：
[0102]
车站总晚点时间最小，设置车站奖励函数r
station
如下：
[0103][0104]
其中表示列车计划到站和发车时间。
[0105]
区段追踪列车间隔时间最小，设置区间奖励函数r
block
如下：
[0106][0107]
式(23)和式(24)表明强化学习的奖励函数越大，各列车在各车站的总晚点时间越小，在各临时限速区段的追踪列车间隔时间越小，线路上列车总晚点时间越小。
[0108]
智能体即多车协同下列车运行图自动调整的决策单元，深度强化学习离线训练的过程如下：在多列车晚点场景的环境下，以线路上列车总晚点时间最小为优化目标，基于深度强化学习对环境学习。环境对多列车晚点场景准确模拟，设置状态空间、动作空间、状态转移概率和奖励函数，并将当前状态传递给智能体，智能体更新其值函数，进行策略评估和改进，生成最大奖励值、最优动作给环境。智能体与环境不断交互学习、推演，生成全局的最优目标。步骤s4离线训练过程在行车调度台的后台进行。
[0109]
步骤s5在步骤s4离线训练生成最优化目标后，存储训练模型的参数，用于列车运行图的在线自动调整，自动调整结果在行车调度台的盯控调整界面上显示。
[0110]
综上，本发明中行车调度台下达临时限速命令和临时限速信息经tsrs给rbc，rbc发送限速、控车信息以及ma长度给列车。rbc数据库接收临时限速信息、线路及列车运行数据，设计多车协同自动调整模块，计算区间最小运行时分。根据晚点影响分配区间缓冲时间，采用多车协同的运行方式计算出各列车在各区间各临时限速区段边界点的时间和速度信息，以及在车站的到站时间，上述信息传送至行车调度台。最后基于深度强化学习生成面向多车协同的运行图调整结果，减小线路上列车总晚点时间。
[0111]
通过上述实施例，解决了现有技术中以单一调整列车的到站发车时间为主，各列车运行线之间的时间协同关系尚未充分考虑，基于列车的区间最小运行时分、列车运行线之间的追踪列车间隔时间、区间缓冲时间和列车最大牵引制动能力等指标，协同调整列车运行图的理论方法较少的技术问题。
[0112]
实施例二
[0113]
图9是根据本发明实施例的一种面向多车协同的运行图自动调整装置的结构框图，如图9所示，该装置包括：
[0114]
获取模块90，用于获取线路限速信息。
[0115]
计算模块92，用于根据所述线路限速信息，计算获得列车运行分析结果。
[0116]
生成模块94，用于根据所述列车运行分析结果，进行多车协同调整操作，并生成调度信息。
[0117]
调整模块96，用于根据所述调度信息调整列车运行图。
[0118]
可选的，所述线路限速信息包括：临时限速信息、行车许可最大长度。
[0119]
可选的，所述计算模块包括：划分单元，用于根据所述线路限速信息，划分各区间得到临时限速区段；计算单元，用于以所述临时限速区段的左、右边界点为起点，在预设条件下基于所述临时限速区段的最大牵引、最大制动曲线计算所述列车运行分析结果。
[0120]
可选的，所述装置还包括：训练模块，用于根据所述调度信息进行强化学习训练，得到训练模型。
[0121]
具体的，本发明实施例提出一种面向多车协同的运行图自动调整方法，其流程示意图如图1所示，其系统结构及数据流示意图如图2所示，步骤s1具体分为如下5步：
[0122]
s1
‑
1线路上的风、雨、雪和设备故障等突发事件导致线路区间某区段临时限速，行
车调度台集中管理临时限速信息，并下达临时限速命令给临时限速服务器(temporary speed limit server，tsrs)。
[0123]
s1
‑
2临时限速信息经由tsrs、无线闭塞中心(radio block center，rbc)传递给rbc数据库中的多车协同自动调整模块。
[0124]
s1
‑
3 rbc发送控车和限速信息给列车。
[0125]
s1
‑
4 rbc获取其管辖范围内的线路及列车运行数据(位置、速度)和行车许可(movement authority，ma)请求等信息，再根据联锁发送的前方进路信息和列车被允许的最大ma长度，为列车分配更多的空闲进路。
[0126]
s1
‑
5 rbc转发更新的线路及列车运行数据给rbc数据库，作为多车协同自动调整模块的输入信息。
[0127]
步骤s1对rbc数据库功能进行扩展。其一，实时收集线路及列车运行数据、临时限速信息；其二，增加的多车协同自动调整模块用于步骤s3列车在各临时限速区段边界点到达时间、速度的计算，为列车运行图调整提供到站时间预测。
[0128]
步骤s2列车运行工况分析和步骤s3多车协同自动调整均在rbc数据库的多车协同自动调整模块中计算，步骤s2的场景示意图如图3所示，具体计算过程如下：
[0129]
s2
‑
1临时限速区段划分：设车站i和i 1之间的区间(i,i 1)存在m个临时限速区段边界点：m
i,1
,m
i,2
,
…
,m
i,q
,m
i,q 1
,
…
,m
i,m
‑1,m
i,m
，则区间(i,i 1)存在m
‑
1个临时限速区段：(m
i,1
,m
i,2
),
…
,(m
i,q
,m
i,q 1
),
…
,(m
i,m
‑1,m
i,m
)。
[0130]
s2
‑
2临时限速等级划分：根据tsrs的8个临时限速等级，设列车限速值为v
l
。当l＝1，2，3，4，5，6，7，8时，v
l
＝250，200，160，120，100，80，60，45(单位：km/h)。故设区间(i,i 1)第q个临时限速区段为(m
i,q
,m
i,q 1
,v
l
)，q∈{1,2,
…
,m
‑
1}。
[0131]
s2
‑
3最大牵引和最大制动曲线计算：以各临时限速区段左、右分界点为起点分别绘制列车最大牵引和最大制动曲线，表达式如式(1)和式(2)所示。
[0132][0133][0134]
其中，f
max
、b
max
分别表示最大牵引力和最大制动力，α1,α2,v1,v2,v3,v4是与列车车型有关的常数。最大牵引和最大制动下列车g在临时限速区段边界点q和q 1的速度分别为和设列车g在临时限速区段边界点q和q 1的实际速度为则
[0135][0136][0137]
s2
‑
4区间最小运行时分计算：列车g在各临时限速区段运行时的速度应取最大牵引、最大制动和临时限速下的速度最小值，则列车g在区间(i,i 1)的最小运行时分为
[0138][0139]
另外，步骤s3多车协同自动调整的基本原则是在两列列车连续发车间隔时间不变的条件下，保证各临时限速区段的多列车保持最小追踪列车间隔时间协同运行，本质在于尽可能多地恢复区间缓冲时间，补充线路上故障引起的晚点时间，减小晚点传播。区间缓冲时间的定义为在两列列车连续发车间隔时间不变的情况下，两列列车的连续发车间隔时间与追踪列车间隔时间之差，如图4所示，其作用是抑制列车之间的晚点传播。根据图4，缓冲时间与晚点传播的关系如下：若两列列车之间的缓冲时间大于等于后车的晚点时间，则后车可利用缓冲时间“赶点”运行，彻底消除晚点对其造成的影响。反之，若两列列车之间的缓冲时间小于后车的晚点时间，则缓冲时间可消除一部分晚点，但后车即使利用全部的缓冲时间加速运行，也无法彻底消除晚点影响。另一部分晚点时间会传播至下一列车，后续两列列车利用缓冲时间继续消除晚点在剩余区间的影响，直至线路上的晚点完全消除，后续列车可正点运行。基于上述的讨论，关键在于根据线路上列车晚点大小，将区间缓冲时间合理准确地分配给晚点列车，计算各列车在区间各临时限速区段的实际运行时分，在最小追踪列车间隔时间约束下以多车协同运行的方式运行，计算列车在各临时限速区段边界点的到达时间、速度和到达各车站的时间，用于列车运行图的自动调整。
[0140]
步骤s3基本流程示意图如图5所示，具体为：
[0141]
s3
‑
1缓冲时间与晚点时间初始统计
[0142]
s3
‑1‑
1晚点时间初始化：设线路某故障影响b
‑
1个区间，分别为：(1,2),(2,3),
…
,(i,i 1),
…
,(b
‑
1,b)，影响列车总数为n，总晚点时间为w，则发生晚点时，第g列列车在区间(i,i 1)的第q个临时限速区段为(m
i,q
,m
i,q 1
,v
l
)晚点时间为其中区间i∈{1,2,
…
,b
‑
1}，临时限速区段q∈{1,2,
…
,m
‑
1}，列车g∈{1,2,
…
,n}。设列车g在区间(i,i 1)的晚点时间为若列车g为故障列车，设其自身的初始晚点时间为
[0143]
s3
‑1‑
2缓冲时间初始化：设n列列车总缓冲时间为b，则存在n
‑
1个缓冲时间，另设列车g和g 1在区间(i,i 1)缓冲时间为则最小追踪列车间隔时间为连续发车间隔时间为则三者的关系如下：
[0144][0145]
且
[0146][0147]
其中，是列车g在车站i 1和i的发车时间。
[0148]
s3
‑
2缓冲时间分配；s3
‑2‑
1晚点传播分析。
[0149]
需要说明的是，由图4的讨论，需要在初始晚点时间和缓冲时间条件下，优化后车的晚点时间，消除后续列车受到晚点的影响。发生故障时，晚点从故障前的第一列列车开始
向后续列车传播，前后车之间的缓冲时间用于补充后车的晚点时间，则列车在区间(i,i 1)运行时：若即前车g的晚点时间大于前后车之间的缓冲时间，列车g的晚点将影响列车g 1的运行，则列车g 1的晚点时间如下：
[0150][0151]
其中，表示列车g 1的初始晚点时间。
[0152]
若即后车g的晚点时间不大于前后车之间的缓冲时间，列车g的晚点不会影响列车g 1的运行，后车g 1的晚点在区间(i,i 1)通过赶点运行可被缓冲时间消除，后续列车将恢复正点。因此，线路上区间(i,i 1)的晚点传播方程如下：
[0153][0154]
s3
‑2‑
2区间的总运行时分计算：设线路上某列车的晚点值等于0时，则晚点不再向后续列车传播，则晚点从故障前第一列车g＝1开始到最后一列车g＝c结束，整理等式(3)、(4)、(5)、(8)、(9)，线路上所有列车g＝{1,2,
…
,c}在所有区间(1,2),(2,3),
…
,(i,i 1),
…
,(b
‑
1,b)的总运行时分
[0155][0156]
其中，是列车g的在其所在区间(i,i 1)的最小运行时分，是列车g在其所在区间(i,i 1)的晚点时间。
[0157]
s3
‑2‑
3各临时限速区段运行时分分配：以区间(i,i 1)的各临时限速区段为例，设μ＝[μ1,μ2,
…
,μ
m
‑1]是各临时限速区段运行时分在区间总运行时分的占比，第q个临时限速区段(m
i,q
,m
i,q 1
,v
l
)的区段运行时分为：
[0158][0159]
μ由各临时限速区段计划运行时分与晚点之后的实际
运行时分之比，即
[0160][0161]
s3
‑
3临时限速区段边界点的时间和速度计算：设列车在车站i和i 1的到站和发车时间分别为a
g,i
，d
g,i
和a
g,i 1
，d
g,i 1
，考虑缓冲时间消除晚点的条件下，列车在临时限速边界点q的时间和速度为：
[0162][0163][0164]
s3
‑
4最小追踪列车间隔时间下多车协同运行：在各临时限速区段运行的多列车需要在临时限速下运行，表示相邻两列列车g和g 1所在临时限速区段(m
i,q
,m
i,q 1
,v
l
)的任意相邻两个位置，且二者距离很近，则该临时限速区段在最小追踪列车间隔时间下相邻两列列车应满足以下约束条件：
[0165][0166][0167][0168]
(很小的常数)(18)
[0169][0170]
其中，表示相邻两个位置和的对应时刻，表示同一时间下两列列车g和g 1的实时位置，表示该临时限速区段下两列车的最小追踪列车间隔时间。式(18)说明任意相邻两个位置之间的距离η很小，作用在于用该小段时间来逼近运行列车的实时时刻，该段平均速度即为列车的实时速度。式(19)是保证两列列车之间的实时追踪距离大于安全制动距离s。列车在位置p和p 1的速度和应满足：
[0171][0172][0173]
s3
‑
5列车到站时间计算：整理式(10)、(11)、(12)，列车g到达车站i 1的时间a
g,i 1
表示如下：
[0174][0175]
其中，s
g,i
是列车g在车站i的停站时间。
[0176]
s3
‑
6“折线”列车运行图生成：“折线”列车运行图示意图如图6所示。根据临时限速区段边界点的时间和速度，将原来“直线”列车运行图转化成“折线”列车运行图。一方面，列车可根据边界点的时间和速度实时在线生成所需的驾驶策略；另一方面，列车调度员可实时根据“折线”列车运行图获知多列车在区间的速度和位置信息，有利于调度员为区间运行的列车下达加减速的调度命令。此外，保证多列车在区间各临时限速区段保持最小追踪列车间隔时间协同运行，最大程度上恢复区间缓冲时间，抑制线路晚点传播。多车协同自动调整模块将线路静态信息、列车状态信息与“折线”列车运行图经由rbc发给行车调度台。步骤s4在步骤s3列车实际到站时间已知的基础上，以列车总晚点时间最小为优化目标，基于深度强化学习方法一方面决定线路上晚点列车在车站的发车时间，另一方面保证列车在区间各临时限速区段保持最小追踪列车间隔时间协同运行。本发明基于深度强化学习面向多车协同的列车运行图自动调整方法示意图如图7所示，智能体和环境设置如下：环境包括状态空间、动作空间、状态转移概率、奖励函数。
[0177]
其中，状态空间s包括2种：
[0178]
区间状态空间变量设置为各临时限速区段的追踪列车间隔时间在步骤s2最小运行时间、步骤s3临时限速区段边界点的速度、时间下，自动调整列车在区段内的追踪列车间隔时间。
[0179]
车站状态空间变量设置为列车发车时间d
g,i
，g∈{1,2,
…
,n}，i∈{1,2,
…
,b
‑
1}，在步骤3
‑
5列车到站时间和3
‑
6“折线”列车运行图的基础上，调整各列车在各车站的发车时间。
[0180]
动作空间a根据状态空间s设置为区间上减小或者增大追踪列车间隔时间，车站内提前或者推迟发车，即改变和d
g,i
的大小。
[0181]
状态转移概率p表示当前状态
‑
动作转移到下一状态的概率集合p(s
′
|s,a)＝p[s
t 1
＝s
′
|s
t
＝s,a
t
＝a]，即当前车站调整到下一车站的概率。
[0182]
奖励函数r即运行图自动调整的优化目标，设置为线路上列车总晚点时间最小，表现为2种：列车在车站的总晚点时间最小、列车在区段临时限速下追踪列车间隔时间最小，设置方法如下：
[0183]
车站总晚点时间最小，设置车站奖励函数r
station
如下：
[0184][0185]
其中表示列车计划到站和发车时间。
[0186]
区段追踪列车间隔时间最小，设置区间奖励函数r
block
如下：
[0187][0188]
式(23)和式(24)表明强化学习的奖励函数越大，各列车在各车站的总晚点时间越小，在各临时限速区段的追踪列车间隔时间越小，线路上列车总晚点时间越小。
[0189]
智能体即多车协同下列车运行图自动调整的决策单元，深度强化学习离线训练的过程如下：在多列车晚点场景的环境下，以线路上列车总晚点时间最小为优化目标，基于深度强化学习对环境学习。环境对多列车晚点场景准确模拟，设置状态空间、动作空间、状态转移概率和奖励函数，并将当前状态传递给智能体，智能体更新其值函数，进行策略评估和改进，生成最大奖励值、最优动作给环境。智能体与环境不断交互学习、推演，生成全局的最优目标。步骤s4离线训练过程在行车调度台的后台进行。
[0190]
步骤s5在步骤s4离线训练生成最优化目标后，存储训练模型的参数，用于列车运行图的在线自动调整，自动调整结果在行车调度台的盯控调整界面上显示。
[0191]
综上，本发明中行车调度台下达临时限速命令和临时限速信息经tsrs给rbc，rbc发送限速、控车信息以及ma长度给列车。rbc数据库接收临时限速信息、线路及列车运行数据，设计多车协同自动调整模块，计算区间最小运行时分。根据晚点影响分配区间缓冲时间，采用多车协同的运行方式计算出各列车在各区间各临时限速区段边界点的时间和速度信息，以及在车站的到站时间，上述信息传送至行车调度台。最后基于深度强化学习生成面向多车协同的运行图调整结果，减小线路上列车总晚点时间。
[0192]
根据本发明实施例的另一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，所述程序运行时控制非易失性存储介质所在的设备执行一种面向多车协同的运行图自动调整方法。
[0193]
根据本发明实施例的另一方面，还提供了一种电子装置，包含处理器和存储器；所述存储器中存储有计算机可读指令，所述处理器用于运行所述计算机可读指令，其中，所述计算机可读指令运行时执行一种面向多车协同的运行图自动调整方法。
[0194]
通过上述实施例，解决了现有技术中以单一调整列车的到站发车时间为主，各列车运行线之间的时间协同关系尚未充分考虑，基于列车的区间最小运行时分、列车运行线之间的追踪列车间隔时间、区间缓冲时间和列车最大牵引制动能力等指标，协同调整列车运行图的理论方法较少的技术问题。
[0195]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0196]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0197]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0198]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显
示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0199]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0200]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0201]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。