一种增强交通信号控制鲁棒性的训练环境设计方法与流程

摘要: 本发明涉及城市交通管理与强化学习交叉,尤其涉及一种增强交通信号控制鲁棒性的训练环境设计方法。背景技术:1、随着城市化进程加快,交通流量的动态波动与突发交通事件(...
一种增强交通信号控制鲁棒性的训练环境设计方法与流程

本发明涉及城市交通管理与强化学习交叉,尤其涉及一种增强交通信号控制鲁棒性的训练环境设计方法。

背景技术:

1、随着城市化进程加快,交通流量的动态波动与突发交通事件(如道路施工、事故、极端天气)导致的供给扰动日益频繁,传统固定配时、感应式信号控制方法已难以满足复杂场景下的交通疏导需求。强化学习(reinforcement learning, rl)技术凭借其自主学习、动态适配的优势,逐渐成为交通信号控制的研究热点,通过智能体与交通环境的交互学习最优配时策略,可有效提升交通运行效率。

2、然而,强化学习信号控制智能体的性能高度依赖训练环境的覆盖性与多样性。实际交通系统中,需求侧的 od(origin-destination)流量波动(如早晚高峰流量突变、节假日出行激增)与供给侧的道路中断(如进口道封闭、车道施工)、通行能力下降等扰动具有随机性与不确定性,若智能体仅在固定或单一类型的训练环境中学习,其泛化能力与鲁棒性会受到严重限制,在未经历的扰动场景下易出现配时策略失效,导致车辆延误增加、排队长度过长等交通拥堵问题。

3、无监督环境设计(unsupervised environment design, ued)框架通过动态生成多样化训练环境,为提升智能体鲁棒性提供了新的技术路径。该框架无需人工标注场景,可通过算法自动生成覆盖极端情况的训练环境,已在迷宫导航、自动驾驶仿真等领域得到应用。

4、固定场景训练方案:基于历史交通数据构建单一或少量固定参数的训练环境,如固定 od 流量、无道路扰动的平峰时段场景,智能体在该环境中通过迭代学习优化配时策略。例如,部分研究采用固定周期、固定车流组成的交叉口仿真环境,基于dqn(deep q-network)算法训练信号控制智能体,优化车辆平均延误指标。

5、简单扰动场景训练方案:在固定场景基础上,引入少量可控的扰动参数,如随机调整 od 流量 ±10%至±20%,或模拟单一车道短时间封闭的场景,通过增加场景的轻微变化提升智能体的适应能力。此类方案多采用随机采样生成有限扰动场景,未建立系统的环境多样性度量与筛选机制。

6、现有技术存在如下问题:

7、1)、训练环境覆盖性不足:现有技术多聚焦于单一或少量固定场景,未全面覆盖需求侧的od流量大幅波动(如±30%至±50%)、车流组成剧烈变化,以及供给侧的多车道封闭、长时间道路中断(如3至5min)等极端扰动场景,导致智能体在未经历的扰动场景下泛化能力差,鲁棒性不足。

8、2)、环境多样性缺乏量化与筛选机制:简单扰动场景训练方案仅通过随机调整参数生成场景,未建立科学的多样性度量指标(如场景间的差异量化),易出现训练环境同质化,部分高价值扰动场景(如od 激增+道路中断复合场景)未被重点训练,降低了智能体对复杂扰动的适应能力。

9、如何解决上述技术问题为本发明面临的课题。

技术实现思路

1、本发明的目的在于提供一种增强交通信号控制鲁棒性的训练环境设计方法,克服现有强化学习信号控制智能体训练环境设计中存在的覆盖性不足、多样性缺乏量化、重放机制低效及场景适配性差的技术问题,适用于城市道路交叉口、区域交通网络场景下,强化学习信号控制智能体的鲁棒性训练,尤其适配需求波动、道路供给扰动等复杂交通场景;该方法从环境设计视角出发,基于无监督环境设计框架,通过构建覆盖供需扰动的动态训练场景,让智能体在多样化、高挑战性的环境中学习,从而提升其在未知扰动场景下的鲁棒性与适应能力,解决实际交通中 od 流量波动、道路中断等复杂扰动导致的配时策略失效的技术问题。

2、本发明的发明思想为:本发明基于无监督环境设计框架,从环境设计视角构建动态训练场景,通过融合回放引导的对抗性环境生成与多样性诱导的环境筛选机制,模拟 od需求不确定、道路中断真实交通扰动场景,使强化学习信号控制智能体在多样化且具有挑战性的环境中训练,显著提升其在未经历扰动场景下的鲁棒性和适应能力。

3、为了实现上述发明目的,本发明采用技术方案具体为:一种增强交通信号控制鲁棒性的训练环境设计方法,包括以下步骤:

4、s1:交通扰动场景参数化与初始环境生成,对od流量波动、车流组成、高峰时段、道路中断位置、中断时长、车道封闭数量及基础信号周期进行统一参数化,并通过随机采样形成初始训练环境集合;

5、s2:基于wasserstein(瓦瑟斯坦)距离的环境多样性度量与筛选,利用交通状态占用分布计算环境间差异,并依据多样性阈值剔除同质化环境、构建候选环境池;

6、s3:基于双优先级的环境重放机制设计,融合环境多样性优先级与学习潜力优先级计算重放概率,并采用混合采样策略选择重放环境或生成新环境更新环境池;

7、s4:鲁棒性训练与滚动优化,在选定环境中训练强化学习信号控制智能体,结合信号配时约束更新策略参数,并周期性重算多样性距离、学习潜力及重放概率;

8、s5:鲁棒性验证,构建极端供需扰动验证环境集合,基于平均排队长度、平均车辆延误和最大滞留人数评价智能体鲁棒性,未达标时返回鲁棒性训练与滚动优化步骤继续迭代。

9、进一步地,所述s1包括以下步骤:

10、s11、场景参数定义:

11、明确两类核心扰动参数的具体取值范围与物理含义,确保参数覆盖实际交通扰动的主要模式:交通信号控制场景的核心扰动参数,涵盖需求扰动与供给扰动两类维度:需求扰动包含如下:

12、od流量波动幅度:±20%至±50%,是基于城市主干道历史交通数据的95%置信区间确定流量变异范围;

13、车流组成占比:私家车30%至80%、公交车10%至40%、货车5%至30%,三类车型占比之和为 100%;高峰时段分布:早高峰 7:00-9:00、晚高峰 17:00-19:00、平峰时段(除高峰外的其余时段)。

14、高峰时段分布:早高峰 7:00-9:00、晚高峰 17:00-19:00、平峰时段;

15、供给扰动包含:

16、道路中断位置,即进口道、出口道、交叉口内部(涵盖交叉口关键通行区域)、中断时长是30s至5min(覆盖临时故障、临时施工不同扰动持续时间);车道封闭数量:1~3条(基于城市交叉口常见车道数 3~6条,封闭比例不超过50%);基础信号周期:60s~180s,符合城市道路信号控制的常规周期范围;

17、s12、初始环境生成:

18、基于s11定义的需求扰动参数和供给扰动参数构建场景生成器,采用随机采样方式生成n个初始训练环境,形成初始环境集合,其中,每个环境由参数向量表示,其中:为od流量波动幅度,为车流组成占比向量,为高峰时段类型,为道路中断位置编码(进口道 = 1、出口道 = 2、交叉口内部 = 3),为中断时长,为车道封闭数量,为基础信号周期。

19、s13、环境数据采集:

20、对每个初始环境,部署交通数据采集单元(如地磁检测器、视频监控),采集智能体与环境交互过程中的关键交通状态数据,具体包括:

21、排队长度(单位:辆):每个信号周期内进口道排队车辆的最大数量;

22、车辆平均延误(单位:s):车辆从进入进口道到通过停车线的平均时间;

23、绿灯利用率(无量纲):实际绿灯时间内的车辆通行时长与绿灯总时长的比值;

24、滞留人数(单位:人):基于车流组成占比与车内人数分布(1 人占比 30%、2 人占比 40%、3 人占比 20%、4 人占比 10%)计算得到;数据采集时间间隔为 1s,每个环境的采集时长为 100s,形成 4×100 维数据矩阵:

25、;

26、式中,、、、分别为环境第 j 时刻的排队长度、车辆平均延误、绿灯利用率及滞留人数。

27、s14、数据归一化处理:

28、为消除不同特征量纲差异对后续计算的影响,对数据矩阵的每个特征维度进行线性归一化处理,公式如下:;

29、式中,为原始数据,和分别为特征维度在所有初始环境中的最大值与最小值,归一化后的数据。

30、进一步地,所述s2包括以下步骤:

31、s21、交通状态分布构建:

32、对每个归一化后的环境数据矩阵,构建智能体交互轨迹的占用分布,该分布以排队长度、车辆平均延误、绿灯利用率及滞留人数为特征维度,反映环境对智能体行为的影响模式:

33、

34、式中,为第 j 时刻的交通状态向量,为狄拉克函数;确保分布的概率和为 1。

35、s22、环境多样性距离计算

36、采用wasserstein距离量化两个环境与的多样性差异,该距离能有效衡量两个概率分布的 “运输成本”,更贴合交通场景的连续性特征,计算式如下:

37、;

38、式中,和分别为环境和环境的交通状态占用分布;表示以与为边缘分布的所有联合概率分布集合;表示联合概率分布集合中的任一联合概率分布(即耦合方案);(x,y)表示从ψ中采样的交通状态向量对,其中x来自,y来自;为欧氏距离;表示:在某个联合概率分布下,随机抽取一对交通状态向量,计算它们之间的欧氏距离,然后求这个距离的平均值(即期望)。值越大表示两个环境的交通状态分布差异越大,多样性越高。

39、s23、多样性筛选与环境池构建:

40、设定多样性阈值(取值范围为 0.3-0.5),初始阈值通过以下方法校准:采集100 个历史交通场景数据,计算任意两个场景间的 wasserstein 距离,取距离分布的30%分位数作为初始。

41、对初始环境集合进行两两比对筛选:对任意两个环境,若,则计算两个环境的学习潜力(通过gae 值初步衡量),移除学习潜力较低的环境;若,则均保留至候选环境池;最终保留个(的取值范围为 50-200)多样性满足要求的环境,组成候选环境池。

42、进一步地,所述s3包括以下步骤:

43、s31、学习潜力计算

44、采用广义优势估计gae计算每个候选环境的学习潜力,该指标反映环境对智能体鲁棒性提升的贡献度,计算式如下:

45、;

46、式中,为环境交互时长,为折扣因子(平衡当前与未来奖励),为gae 权重参数(控制优势估计的偏差与方差),为时序差分误差,为第 k+1 时刻的奖励值,定义为:

47、;

48、式中,辆为最大允许排队长度,为最大允许平均延误,人为最大允许滞留人数,奖励值范围为 [0,1];为状态的价值函数估计值,通过神经网络拟合得到。

49、s32、双优先级重放概率计算

50、结合环境的多样性距离与学习潜力,计算每个环境的重放概率,公式如下:

51、;

52、式中,为权重参数(默认取值 0.5,平衡多样性与学习潜力),为多样性优先级,为学习潜力优先级;

53、多样性优先级基于环境与池内其他环境的最小多样性距离计算:

54、;

55、;

56、其中,为环境e与池内其他环境的最小多样性距离,为排序转换函数(此处采用线性函数),为温度参数(控制优先级的集中度);

57、s33、重放环境选择与环境池更新

58、每次训练迭代中,采用混合采样策略选择训练环境:

59、以概率从候选环境池中按重放概率采样重放环境,选择 1个重放环境用于强化训练;

60、以概率生成新环境,计算该新环境的归一化数据矩阵、占用分布及与池内所有环境的 wasserstein 距离,若满足,对所有,且,则将新环境加入,并移除池内重放概率最小的环境,维持池容量为。

61、进一步地,所述s4包括以下步骤:

62、s41、智能体训练过程:

63、将选择的重放环境或新环境作为训练场景,强化学习信号控制智能体在环境中进行交互,通过近端策略优化(proximal policy optimization,ppo)算法更新策略参数,目标函数为:

64、;

65、式中,为经验回放缓冲区(容量设置为 10000 条经验数据),为策略比率,为裁剪参数(避免策略更新幅度过大),为优势函数估计值(通过gae 方法计算);

66、s42、训练约束条件:练过程中需满足信号控制的基础约束,确保配时方案的可行性;

67、s421、绿灯持续时间约束:,其中为最小绿灯时间(保障车辆安全通行),为最大绿灯时间(避免其他相位车辆过度延误),为第i相位的绿灯持续时间;

68、s422、相位周期约束:,其中,为黄灯持续时间,为红灯间隔时间,(避免相位切换时的冲突),为信号周期(60s~180s),为交叉口相位个数(根据实际交叉口结构确定,通常为 4~8 个);

69、s423、扰动合理性约束:道路中断时长不超过5min,车道封闭数量不超过交叉口总车道数的50%;避免生成不符合实际交通场景的极端扰动;

70、s43、滚动优化更新:

71、每完成 100 次训练迭代后,触发滚动优化流程,重新计算候选环境池中所有环境的占用分布、wasserstein 距离及学习潜力;

72、根据智能体当前策略性能调整多样性阈值,调整公式为:

73、;

74、式中,为调整步长,使动态趋近于最优值 0.4,平衡环境多样性与训练难度;基于更新后的多样性距离与学习潜力,重新计算各环境的重放概率,确保训练资源向高价值环境倾斜。

75、进一步地,所述s5包括以下步骤:

76、s51、验证环境构建:

77、构建涵盖10类极端供需扰动的验证环境集合,覆盖单一扰动、复合扰动典型场景,具体包括:

78、场景 1:od流量增加50%,车流组成包括私家车30%、公交车40%、货车30%,早高峰,进口道中断5min,3条车道封闭,基础信号周期180s;

79、场景 2:od流量减少50%,车流组成包括私家车80%、公交车10%、货车10%,平峰,出口道中断30s,1条车道封闭,基础信号周期60s;

80、场景 3:od流量增加40%,车流组成包括私家车50%、公交车30%、货车20%,晚高峰,交叉口内部中断3min,2条车道封闭,基础信号周期120s;

81、场景 4:od 流量减少40%,车流组成包括私家车60%、公交车20%、货车20%,早高峰,进口道中断1min,1 条车道封闭,基础信号周期90s;

82、场景 5~10:涵盖 od 流量 ±20%、±30%、±50% 波动,不同车流组成、高峰时段、中断位置及车道封闭数量的组合,确保覆盖供需扰动的全场景范围。

83、s52、鲁棒性评价指标

84、将训练完成的智能体部署至验证环境集合中,运行10个信号周期后,计算以下 3 项核心指标:

85、平均排队长度:所有验证场景中各进口道排队长度的平均值,要求辆;

86、平均车辆延误:所有验证场景中车辆通过交叉口的平均延误,要求;

87、最大滞留人数:所有验证场景中某一时刻的最大滞留人数,要求人。

88、若上述 3 项指标均满足要求,则判定智能体鲁棒性达到设计标准;否则返回s4,增加训练迭代次数或调整环境池参数(如提高、增加环境池容量),重新进行训练。

89、同时,本发明提出一种增强交通信号控制鲁棒性的训练环境设计系统,应用本发明所述方法的步骤,所述系统包括:

90、交通扰动场景参数化与初始环境生成模块,用于执行s1,对需求扰动参数和供给扰动参数进行配置,生成初始训练环境并采集、归一化交通状态数据;环境多样性度量与筛选模块,用于执行s2,构建各环境的交通状态占用分布,计算环境间wasserstein(瓦瑟斯坦)距离并筛选形成候选环境池;双优先级环境重放模块,用于执行s3,根据环境多样性优先级和学习潜力优先级计算重放概率,完成重放环境选择及候选环境池更新;鲁棒性训练与滚动优化模块,用于执行s4,在选定训练环境中更新强化学习信号控制智能体策略参数,并滚动调整多样性阈值和重放概率;鲁棒性验证模块,用于执行s5,构建极端供需扰动验证环境并根据平均排队长度、平均车辆延误及最大滞留人数判定智能体鲁棒性。

91、同时,本发明提出一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被执行时,实现本发明所述方法的步骤。

92、此外,本发明提出一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序配置为由处理器调用时实现本发明所述方法的步骤。

93、最后,本发明提出一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现本发明所述方法的步骤。

94、与现有技术相比,本发明的有益效果为:

95、1、本发明从训练环境分布层面对强化学习信号控制智能体进行鲁棒性增强,将od流量波动、车流组成变化、高峰时段切换、道路中断位置、中断时长、车道封闭数量以及基础信号周期等需求侧和供给侧扰动统一参数化处理,使训练场景不再局限于固定流量或单一轻微扰动。通过在训练前形成覆盖多种极端组合的初始环境集合,智能体能够在早高峰流量突增、货车占比升高、进口道中断、多车道封闭等复合扰动下反复学习配时策略,从而减少传统固定场景训练中存在的场景盲区,提升其在未知交通扰动条件下维持合理排队长度、车辆延误和滞留人数的能力。

96、2、本发明引入基于wasserstein距离的环境多样性度量与筛选机制,将不同训练环境对智能体产生的交通状态占用分布差异转化为可计算、可比较的距离指标。该机制能够识别并剔除相互接近的同质化环境,同时保留交通状态分布差异较大且具有训练价值的候选环境,避免训练资源被大量重复、低挑战度场景占用。与仅依赖随机扰动采样的训练方式相比,本发明能够使候选环境池长期保持较高覆盖度和代表性,强化智能体对交通状态迁移、排队扩散和绿灯利用率下降等关键运行模式的识别能力,提高训练样本利用效率。

97、3、本发明进一步将环境多样性优先级与学习潜力优先级结合形成双优先级重放概率,使训练过程能够同时关注“不同”与“有用”的环境。学习潜力较高但与已有环境相似的场景不会被过度重复,差异显著但对策略改进贡献较低的场景也不会长期占用训练轮次,由此实现训练难度、样本价值和环境覆盖之间的动态平衡。该重放机制不要求重新设计强化学习智能体的网络结构,可与ppo、dqn、actor-critic等常见信号控制算法兼容,并可通过滚动更新多样性阈值和重放概率适配智能体当前能力,因而具有部署成本低、扩展性强和工程落地性好的技术效果。上述基于供需扰动参数化、多样性筛选和双优先级重放的训练环境更新过程如图1所示。