物理异构编队集中训练分布式执行控制方法、设备及介质与流程

摘要: 本发明实施例涉及智能交通,特别涉及一种物理异构编队集中训练分布式执行控制方法、设备及介质。背景技术:1、车辆编队通过使相邻车辆协调车间距、速度和机动,提高交通安...
物理异构编队集中训练分布式执行控制方法、设备及介质与流程

本发明实施例涉及智能交通,特别涉及一种物理异构编队集中训练分布式执行控制方法、设备及介质。

背景技术:

1、车辆编队通过使相邻车辆协调车间距、速度和机动,提高交通安全性、通行效率和能耗表现。现有方案主要包括自适应巡航控制(adaptive cruise control,acc)、协作式自适应巡航控制(cooperative adaptive cruise control,cacc)、模型预测控制(modelpredictive control,mpc)以及基于多智能体强化学习的集中训练分布式执行(centralized training with decentralized execution,ctde)方法。cacc和mpc通常依赖可建模、可补偿的车辆动力学差异;mappo(multi-agent proximal policyoptimization,多智能体近端策略优化)等ctde 方法在训练阶段利用集中信息,在部署阶段各车辆仅基于局部观测执行,适合车端分布式控制。例如,相关技术中公开了混合交通流多维状态矩阵、动态时空有向图、图注意力特征提取、基于ctde架构的多智能体近端策略优化网络、联合奖励函数以及一步运动学安全监督机制,能够对混合车队进行协同控制。其重点是生成协同控制动作并通过安全监督提高混合交通流控制效果。

2、然而,现有技术存在如下缺点:

3、(1)现有混合交通流ctde控制方案能够输出控制动作,但缺少对物理异构车辆能力包络差异的受控诊断。

4、(2)现有方案通常以奖励、间距误差或碰撞率等结果指标评价控制效果,缺少将结果指标进一步转换为失效机制标签和部署建议的技术手段,难以指导车路云仿真平台进行上线前风险筛查。

5、(3)现有ctde训练流程通常比较不同算法的平均表现,容易把小样本随机优势误判为控制策略优势,不能通过成对种子、最终策略统一评估和定向消融验证优势是否来自物理意义上的异构能力信息。

6、(4)现有通信扰动测试多停留在评价层面,未将丢包、延迟、观测噪声对奖励保持率和碰撞风险膨胀率的影响映射为具体的鲁棒化训练或策略替换规则。

7、因此,本领域亟需解决控制结果可见但失效根因不可分、ctde优势来源不可证、通信退化部署边界不可量化的问题。

技术实现思路

1、本发明的目的在于至少提供一种物理异构编队集中训练分布式执行控制方法、设备及介质,至少可以解决现有方法控制结果可见但失效根因不可分、ctde优势来源不可证、通信退化部署边界不可量化的技术问题。

2、为解决上述技术问题,本技术的至少一个实施例提供了一种物理异构编队集中训练分布式执行控制方法,包括:

3、初始化物理异构编队任务环境,生成每个编队对象的能力包络;

4、在统一的训练条件下训练候选控制策略,所述候选控制策略包括去中心化基线策略和ctde候选策略;

5、基于目标物理异构等级、编队规模、通信质量、预先定义的共享离散动作空间和编队对象排列顺序生成结构化的受控测试场景;

6、使用训练得到的最终策略在各受控测试场景中评估;

7、在保持编队对象的能力包络、状态转移和受控测试场景不变的情况下,执行定向信息消融,在改变编队对象的能力包络和物理异构等级的情况下执行均衡动力学的物理反事实测试;

8、基于定向信息消融和物理反事实测试结果,诊断最终策略并生成诊断标签;

9、基于所述诊断标签生成最终策略的部署策略。

10、本技术的至少一个实施例还提供了一种物理异构编队集中训练分布式执行控制装置,包括:

11、异构编队任务环境模块,用于初始化物理异构编队任务环境,生成每个编队对象的能力包络;

12、候选控制策略统一训练模块,用于在统一的训练条件下训练候选控制策略,所述候选控制策略包括去中心化基线策略和ctde候选策略;

13、多维受控测试场景生成模块,用于基于目标物理异构等级、编队规模、通信质量、预先定义的共享离散动作空间和编队对象排列顺序生成结构化的受控测试场景;

14、最终策略评估模块,用于使用训练得到的最终策略在各受控测试场景中评估;

15、在保持编队对象的能力包络、状态转移和受控测试场景不变的情况下,执行定向信息消融,在改变编队对象的能力包络和物理异构等级的情况下执行均衡动力学的物理反事实测试;

16、机制诊断与策略选型模块,用于基于定向信息消融和物理反事实测试结果,诊断最终策略并生成诊断标签,基于所述诊断标签生成最终策略的部署策略。

17、本技术的至少一个实施例还提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的物理异构编队集中训练分布式执行控制方法。

18、本技术的至少一个实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述的物理异构编队集中训练分布式执行控制方法。

19、本技术的实施例提供的方法,为每个编队对象生成能力包络;在统一的训练条件下训练策略,基于目标物理异构等级、编队规模、通信质量、预先定义的共享离散动作空间和编队对象排列顺序生成结构化的受控测试场景,并使用训练得到的最终策略在各受控测试场景中评估;在保持编队对象的能力包络、状态转移和受控测试场景不变的情况下,执行定向信息消融,在改变编队对象的能力包络和物理异构等级的情况下执行均衡动力学的物理反事实测试;从而诊断最终策略并生成诊断标签,生成最终策略的部署策略。可以解决控制结果可见但失效根因不可分、ctde优势来源不可证、通信退化部署边界不可量化的技术问题。

20、在一些可选的实施例中,所述的物理异构编队集中训练分布式执行控制方法,还包括:计算能力偏移量和内部能力差异量,所述能力包络包括最大正向加速度幅值、最大减速度幅值和最大速度,所述能力偏移量表示编队对象相对参考能力包络的最大能力差异,所述内部能力差异量表示编队对象之间的最大能力差异。

21、在一些可选的实施例中,所述的物理异构编队集中训练分布式执行控制方法,还包括:基于所述内部能力差异量从候选物理异构等级中选择目标物理异构等级;

22、基于所述内部能力差异量从候选物理异构等级中选择目标物理异构等级,包括:若所述内部能力差异量不超过第一阈值,则将第一物理异构等级选择为目标物理异构等级;若所述内部能力差异量大于第一阈值且不超过第二阈值,则将第二物理异构等级选择为目标物理异构等级;若所述内部能力差异量超过第二阈值,则将第三物理异构等级选择为目标物理异构等级,所述第一阈值≥0且小于所述第二阈值。

23、在一些可选的实施例中,所述物理异构编队任务环境包括编队规模、目标间距、目标速度、编队对象类型集合和编队对象排列顺序。

24、在一些可选的实施例中,所述的物理异构编队集中训练分布式执行控制方法,还包括:构造能力感知局部观测向量,所述局部观测向量包括:自身位置或速度、与相邻编队对象的相对距离和相对速度、最大速度代理和动作可行性标志,所述动作可行性标志依据当前速度、预测车间距和能力包络确定,用于使候选控制策略在输出动作时根据该标志识别或屏蔽当前不可执行的动作。

25、在一些可选的实施例中,所述的物理异构编队集中训练分布式执行控制方法,还包括:

26、预先定义共享离散动作空间:所述共享离散动作空间包括三值符号动作集和五值符号动作集中的至少一种,同一符号动作按照能力包络映射为不同加速度,并基于映射结果更新编队对象的速度与位置。

27、在一些可选的实施例中,在统一的训练条件下训练候选控制策略,包括:

28、使用相同观测字段、动作接口、奖励函数、训练步数、随机种子集合、最终策略评估规则和无效运行判定规则,训练候选控制策略。