面向列车群组的预屏蔽安全强化学习控制策略合成方法
本发明属于列车协同运行控制,具体涉及一种面向列车群组的预屏蔽安全强化学习控制策略合成方法。
背景技术:
1、列车运行控制系统用于约束列车运行速度、运行间隔和行车许可,是保证列车安全有序运行的核心系统。随着车-车通信、列车自主定位和车载计算能力的发展,多列物理独立的列车可以交换运动状态并建立群组协同关系,从而在既有行车许可和安全防护约束下提高运行协调性。
2、列车群组运行同时包含连续动力学和离散运行模式。列车位置、速度、加速度、实际间隔和制动距离连续变化;牵引、惰行、制动、通信正常、通信降级、通信失效以及群组角色变化属于离散模式。领航列车动作、线路条件、通信时延、丢包和定位误差具有不确定性,控制器必须同时处理连续演化、模式切换和对抗性环境扰动。
3、现有列车跟驰优化方法通常通过预设奖励函数训练学习策略,并利用碰撞惩罚、越界终止或训练后验证处理安全问题。此类方式不能阻止学习器在探索阶段提出不安全动作;当负奖励权重、状态离散精度或训练样本覆盖不足时,仍可能出现触碰安全边界的动作序列。另有方法通过多个间隔目标或多个控制器之间的切换适应不同运行场景,但策略数量增加会扩大待验证状态空间,并引入策略切换边界。对于强调形式化安全和策略合成的控制方法,需要减少间隔目标的自由度,使安全域、动作屏蔽和学习优化之间具有明确对应关系。
技术实现思路
1、本发明的目的是为了解决现有技术的问题,提出了一种面向列车群组的预屏蔽安全强化学习控制策略合成方法。
2、本发明的技术方案为:
3、本发明提供了一种面向列车群组的预屏蔽安全强化学习控制策略合成方法,包括:
4、步骤1:获取列车群组中各列车的运行状态、群组角色、线路约束和通信状态,根据列车间的通信拓扑建立群组状态模型;
5、步骤2:基于所述群组状态模型,设置相邻列车之间的恒定目标间隔,基于所述恒定目标间隔生成可控动作集合,所述可控动作集合包括牵引、惰行、制动、控制器保持及控制参数切换;
6、步骤3:基于所述群组状态模型的连续动力学状态、离散运行模式、环境不确定性以及所述可控动作集合,构建列车群组混杂博弈自动机;
7、步骤4:根据动态安全追踪距离、线路允许速度和列车执行器能力边界构造初始安全状态集合,以所述初始安全状态集合为迭代初始值,对所述列车群组混杂博弈自动机执行受控前驱迭代处理,得到最大受控不变安全域;
8、步骤5:对所述最大受控不变安全域内每一个离散模式-连续状态区间组成的状态,生成对应的安全动作屏蔽集合,所述安全动作屏蔽集合包括在任意允许的环境侧不可控事件下均使列车群组后继状态位于所述最大受控不变安全域内的可控动作;
9、步骤6,以所述群组状态模型中的状态为学习状态,在所述安全动作屏蔽集合限定的动作空间内执行q-learning,以跟踪误差、控制平滑度和能耗的加权组合构造奖励函数进行策略优化,得到预屏蔽安全强化学习控制策略。
10、本发明的有益效果是:
11、1. 本发明的面向列车群组的预屏蔽安全强化学习控制策略合成方法,利用混杂博弈自动机统一表示连续列车动力学、离散控制模式和环境侧不确定事件,能够同时处理连续演化、模式切换和对抗性环境扰动,为安全域计算提供了形式化基础。在强化学习动作选择之前生成安全动作屏蔽集合,使随机探索和贪婪选择均不能主动选择已被形式化验证排除的动作,将形式化安全约束以前置动作屏蔽的方式嵌入强化学习,可避免依赖惩罚项或事后检查来处理不安全探索,解决了现有方法依赖惩罚权重而非形式化保证处理安全的问题。
12、2. 本发明的面向列车群组的预屏蔽安全强化学习控制策略合成方法,仅保留一种等间隔策略作为恒定目标间隔,减少多目标间隔切换产生的验证状态和切换边界,解决了复杂多间隔策略增加验证状态空间的问题。通信和制动条件的变化通过安全域收缩、动作屏蔽和回退控制处理,无需引入多个间隔目标或多个控制器之间的切换逻辑,降低了策略验证的复杂度。
1.一种面向列车群组的预屏蔽安全强化学习控制策略合成方法,其特征在于,包括:
2.根据权利要求1所述的面向列车群组的预屏蔽安全强化学习控制策略合成方法,其特征在于,所述运行状态包括位置、速度、加速度、实际间隔和制动能力;所述通信状态包括通信时延、丢包、通信有效标志和所述通信拓扑;所述线路约束包括线路允许速度、坡度、曲线、隧道和临时限速;所述群组角色包括领航列车和跟随列车。
3.根据权利要求1所述的面向列车群组的预屏蔽安全强化学习控制策略合成方法,其特征在于,所述步骤1中,建立群组状态模型包括:
4.根据权利要求1所述的面向列车群组的预屏蔽安全强化学习控制策略合成方法,其特征在于,所述步骤2包括:
5.根据权利要求1所述的面向列车群组的预屏蔽安全强化学习控制策略合成方法,其特征在于,所述列车群组混杂博弈自动机表示为:
6.根据权利要求1所述的面向列车群组的预屏蔽安全强化学习控制策略合成方法,其特征在于,所述步骤4包括:
7.根据权利要求1所述的面向列车群组的预屏蔽安全强化学习控制策略合成方法,其特征在于,所述安全动作屏蔽集合定义为:
8.根据权利要求1所述的面向列车群组的预屏蔽安全强化学习控制策略合成方法,其特征在于,在q-learning执行过程中,当学习状态位于连续状态区间的边界时,取相邻状态区间的安全动作屏蔽集合的交集作为该学习状态的安全动作屏蔽集合。
9.根据权利要求1所述的面向列车群组的预屏蔽安全强化学习控制策略合成方法,其特征在于,所述q-learning的单步代价函数为:
10.根据权利要求1所述的面向列车群组的预屏蔽安全强化学习控制策略合成方法,其特征在于,还包括:将所述预屏蔽安全强化学习控制策略与所述安全动作屏蔽集合联合部署,运行时审核所述预屏蔽安全强化学习控制策略输出的候选动作,仅在所述候选动作属于当前状态的所述安全动作屏蔽集合时执行,否则拒绝所述候选动作并从所述安全动作屏蔽集合中选择替代动作,若当前状态不存在非回退的安全动作则执行安全回退控制。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com