一种基于强化学习的交通控制方案生成模型优化方法及系统与流程

摘要: 本发明涉及智能交通,具体涉及一种基于强化学习的交通控制方案生成模型优化方法及系统。背景技术:1、随着城市交通流量持续增长,早晚高峰潮汐流量、交通事故、道路施工、...
一种基于强化学习的交通控制方案生成模型优化方法及系统与流程

本发明涉及智能交通,具体涉及一种基于强化学习的交通控制方案生成模型优化方法及系统。

背景技术:

1、随着城市交通流量持续增长,早晚高峰潮汐流量、交通事故、道路施工、极端天气、临时交通管制以及路口设备故障等交通事件频繁发生,交通管理系统需要根据不同交通事件快速生成对应的交通控制方案。交通控制方案通常包括信号配时参数、车道管控策略以及相邻路口协同控制指令,其生成质量直接影响交通事件处置过程中的方案可执行性和管控适配性。

2、现有城市交通控制方式中,部分方案仍依赖交通管理人员依据经验制定。该方式通常需要人工判断交通事件类型、发生位置、持续时间、路网流量状态以及周边路口关联关系,再人工调整信号配时、车道通行方向、限速策略以及诱导信息。由于人工制定过程依赖经验和现场判断,在突发交通事件发生后,难以及时完成候选方案生成、方案比选和参数调整;同时,人工方案难以同时兼顾通行状态、排队状态、安全状态和资源利用状态等多维评价因素,容易出现仅针对局部路段进行调控、而未充分考虑周边路口联动影响的情况。

3、随着智能交通技术的发展,已有技术开始采用交通控制方案生成模型,根据交通事件特征自动生成候选交通控制方案。该类方法通常将交通事件数据输入模型,由模型输出信号配时、车道管控和协同控制等方案内容。然而,现有交通控制方案生成模型多侧重于候选方案的生成过程,缺乏针对生成结果的有效优化机制。生成模型输出的候选方案在格式上可能存在参数单位不统一、相位顺序不规范、控制指令结构不完整等问题;在规则上可能存在相位冲突、绿灯时长不符合规范、车道管控策略不可执行等问题;在质量上也可能出现仿真表现较好但实际交通场景适配性不足的情况。

4、此外,现有交通控制优化方法中,部分方法虽然引入强化学习算法对交通信号控制进行优化,但其优化对象通常是单一路口信号动作、相位切换动作或者交通流预测后的控制动作,未将交通控制方案生成模型整体作为策略网络进行参数更新。该类方法难以对候选交通控制方案的生成过程形成直接约束,也难以将格式约束、交通管控规则约束和仿真评价结果统一转化为生成模型的训练反馈。

5、同时,现有方法在方案评价方面通常侧重于通行效率、平均延误、排队长度等交通运行指标,对方案输出格式、交通行业规则以及实际管控质量之间的关联考虑不足。对于交通控制方案而言,若仅依据通行效率指标进行优化,可能导致方案虽然在局部仿真指标上较优,但在信号相位规则、道路限行要求、车道管控可执行性以及协同控制指令规范性方面存在缺陷,从而影响方案的实际部署。

技术实现思路

1、本发明旨在解决上述技术问题而提供一种基于强化学习的交通控制方案生成模型优化方法及系统,利用交通控制方案生成模型生成候选交通控制方案,并通过交通仿真环境获取方案评价数据,再结合格式约束数据、规则约束数据和方案评价数据构建奖励数据,进一步根据奖励数据对交通控制方案生成模型进行参数更新。

2、本发明的目的可以通过以下技术方案来实现:

3、一种基于强化学习的交通控制方案生成模型优化方法,包括:

4、获取交通事件数据,并对交通事件数据进行特征编码,生成交通事件特征向量;

5、将交通事件特征向量输入交通控制方案生成模型,通过交通控制方案生成模型生成候选交通控制方案;

6、将候选交通控制方案输入交通仿真环境中进行仿真推演,获取候选交通控制方案对应的方案评价数据;

7、根据方案评价数据、格式约束数据以及规则约束数据,构建用于评价候选交通控制方案的奖励数据;

8、根据奖励数据对交通控制方案生成模型进行参数更新,得到优化后的交通控制方案生成模型。

9、进一步的,获取交通事件数据,并对交通事件数据进行特征编码,得到交通事件特征向量,包括:

10、采集多源交通事件数据,并按照触发场景将多源交通事件数据划分为常态事件数据、突发事件数据以及异常事件数据;

11、其中,常态事件数据包括早高峰潮汐流量、晚高峰潮汐流量、常规路段流量波动以及常规天气下的通行状态;

12、突发事件数据包括交通事故、道路施工占道、极端天气、临时交通管制以及突发公共事件;

13、异常事件数据包括路口设备故障、车辆违规以及非机动车和行人占道;

14、多源交通事件数据通过路侧摄像头、毫米波雷达、激光雷达、车载终端、交通管理平台历史数据库以及气象监测站采集得到;

15、对多源交通事件数据进行结构化处理和向量化编码,提取基础属性特征、流量特征、状态特征以及关联特征;

16、对基础属性特征进行one-hot编码和时间戳归一化处理,基础属性特征包括事件标识、发生时间、持续时长、事发位置以及事件类型;

17、对流量特征进行归一化处理,并根据流量特征构建流向分布向量,流量特征包括实时车流量以及流向分布;

18、对状态特征进行分级编码和one-hot编码,状态特征包括天气等级、事故严重程度以及设备故障类型;

19、对关联特征进行图嵌入编码和归一化处理,关联特征包括周边路口关联度、历史同类事件处理方案以及拥堵指数;

20、根据基础属性特征、流量特征、状态特征以及关联特征,生成标准化的交通事件特征向量。

21、进一步的,交通控制方案生成模型为基于注意力机制的序列生成模型,基于注意力机制的序列生成模型采用改进型transformer-gru混合架构,改进型transformer-gru混合架构包括特征提取模块和方案生成模块;

22、特征提取模块通过多头注意力机制对交通事件特征向量进行特征提取,捕捉交通事件特征向量中各特征之间的关联关系,并融合全局上下文特征,生成事件感知深层特征向量;

23、各特征之间的关联关系包括事故严重程度特征与信号灯配时调整幅度之间的关联关系;

24、方案生成模块以事件感知深层特征向量作为生成条件,自回归式生成多个结构化的候选交通控制方案;

25、候选交通控制方案包括信号配时参数、车道管控策略以及协同控制指令;

26、信号配时参数包括相位顺序、相位时长、绿灯间隔、黄灯时长、行人过街信号灯时长以及应急车辆优先插队相位配置;

27、车道管控策略包括潮汐车道切换时机、可变车道方向、禁左实施范围、禁右实施范围、单行实施范围、可变限速值以及占道车辆清退指令;

28、协同控制指令包括相邻路口信号配时偏移量、路侧诱导屏文字信息、路侧诱导屏图像信息以及交通广播指令内容。

29、进一步的,将候选交通控制方案输入交通仿真环境中进行仿真推演,获取候选交通控制方案对应的方案评价数据,包括:

30、获取事发区域的路网数据、车辆轨迹数据以及事件位置信息;

31、根据事发区域的路网数据、车辆轨迹数据以及事件位置信息,基于微观交通仿真软件构建目标交通仿真场景;

32、其中,路网数据包括道路宽度、车道数量、道路限速以及路口相位设计数据;

33、根据事件位置信息,在目标交通仿真场景中设置交通事件节点;

34、根据交通事件节点对应的交通事件类型,在目标交通仿真场景中配置事件仿真状态,事件仿真状态包括事故占道状态、道路施工占道状态、极端天气状态、临时交通管制状态、突发公共事件状态、路口设备故障状态、车辆违规状态以及非机动车和行人占道状态;

35、将候选交通控制方案中的信号配时参数和车道管控策略转换为微观交通仿真软件可识别的仿真控制指令;

36、将仿真控制指令输入目标交通仿真场景,并驱动目标交通仿真场景运行;

37、采集目标交通仿真场景运行过程中产生的交通运行数据,并根据交通运行数据生成方案评价数据。

38、进一步的,方案评价数据包括通行效率指标数据、排队长度指标数据、安全与秩序指标数据、资源利用率指标数据以及管控适配性指标数据;

39、通行效率指标数据包括路口平均通行量、路段平均车速以及路网整体延误时间;

40、排队长度指标数据包括路口各相位最长排队车辆数量、排队消散时间以及排队溢出率;

41、安全与秩序指标数据包括冲突点数量、违章行为发生率以及行人过街等待时间;

42、资源利用率指标数据包括信号灯绿灯时间利用率以及车道通行资源利用率;

43、管控适配性指标数据包括方案执行复杂度以及现有设备兼容性得分;

44、根据通行效率指标数据、排队长度指标数据、安全与秩序指标数据、资源利用率指标数据以及管控适配性指标数据,生成方案性能评估报告,并将方案性能评估报告作为构建奖励数据的输入。

45、进一步的,根据方案评价数据、格式约束数据以及规则约束数据,构建用于评价候选交通控制方案的奖励数据,包括:

46、根据格式约束数据确定格式奖励数据,根据规则约束数据确定规则奖励数据,并根据方案评价数据确定质量奖励数据;

47、根据格式奖励数据、规则奖励数据以及质量奖励数据进行加权求和,得到奖励数据;

48、其中,格式奖励数据的权重系数、规则奖励数据的权重系数以及质量奖励数据的权重系数之和为1;

49、格式奖励数据根据不符合格式规范的方案数量和候选交通控制方案总数量确定,格式规范包括配时参数单位规范、相位顺序规范以及控制指令结构规范;

50、当候选交通控制方案存在配时参数单位错误、相位顺序冲突以及控制指令结构缺失时,根据格式惩罚项修正格式奖励数据;

51、规则奖励数据根据符合交通管控规则的方案数量和候选交通控制方案总数量确定,交通管控规则包括信号灯相位切换规则、车道管控可执行规则以及道路限行规则;

52、信号灯相位切换规则包括信号灯相位满足先停后行原则以及禁止相位冲突;

53、车道管控可执行规则包括禁止设置单向全封闭且无替代路线的车道管控策略;

54、道路限行规则包括信号配时符合城市道路交通信号控制设计规范以及单相位绿灯时长不低于15秒;

55、质量奖励数据根据通行效率指标数据、排队长度指标数据、安全与秩序指标数据以及资源利用率指标数据进行归一化加权求和确定;

56、其中,通行效率指标数据与质量奖励数据正相关,排队长度指标数据与质量奖励数据负相关,安全与秩序指标数据与质量奖励数据负相关,资源利用率指标数据与质量奖励数据正相关。

57、进一步的,根据奖励数据对交通控制方案生成模型进行参数更新,包括:

58、将交通控制方案生成模型定义为策略网络,并将策略网络的模型参数作为待更新参数;

59、其中,模型参数包括注意力机制权重、gru层参数以及全连接层参数;

60、将交通事件特征向量作为策略网络的输入,通过策略网络输出交通控制方案概率分布;

61、根据交通控制方案概率分布生成候选交通控制方案序列;

62、根据候选交通控制方案序列对应的奖励数据,确定累积奖励数据;

63、根据累积奖励数据,采用策略梯度算法计算模型参数对应的策略梯度;

64、根据策略梯度更新模型参数。

65、进一步的,根据累积奖励数据,采用策略梯度算法计算模型参数对应的策略梯度,并根据策略梯度更新模型参数,包括:

66、获取多个交通事件样本;

67、将多个交通事件样本分别输入策略网络,生成各交通事件样本对应的候选交通控制方案序列;

68、将各候选交通控制方案序列输入交通仿真环境,获取各候选交通控制方案序列对应的方案评价数据;

69、根据各候选交通控制方案序列对应的方案评价数据、格式约束数据以及规则约束数据,计算各候选交通控制方案序列对应的奖励值;

70、根据各交通事件样本、各候选交通控制方案序列以及各奖励值,构建状态-动作-奖励三元组;

71、通过蒙特卡洛采样方式,根据状态-动作-奖励三元组估计策略梯度;

72、采用adam优化器根据策略梯度更新模型参数,并按照迭代次数对学习率进行衰减处理;

73、构建价值网络,并通过价值网络拟合各交通事件样本对应的状态价值数据;

74、根据奖励值和状态价值数据,确定优势估计值;

75、根据优势估计值修正策略梯度,并根据修正后的策略梯度更新模型参数。

76、进一步的,在根据修正后的策略梯度更新模型参数之后,还包括:

77、获取每次迭代对应的累积奖励值和仿真指标数据;

78、当连续10次迭代中相邻迭代对应的累积奖励值的变化幅度均小于0.01,且仿真指标数据的变化幅度小于预设指标变化阈值时,判定策略网络满足第一收敛条件;

79、当迭代次数达到预设最大迭代次数时,判定策略网络满足第二收敛条件,预设最大迭代次数为500次;

80、当策略网络满足第一收敛条件时,从多个候选交通控制方案序列中选取奖励值最高的交通控制方案作为最优交通控制方案;

81、当策略网络满足第二收敛条件时,从多个候选交通控制方案序列中选取奖励值最高的交通控制方案作为最优交通控制方案;

82、将最优交通控制方案同步至交通管理平台和交通仿真平台,并通过交通仿真平台对最优交通控制方案进行线下验证,得到验证评价数据;

83、对比验证评价数据和方案评价数据,得到验证误差数据;

84、当验证误差数据不大于预设验证误差阈值时,将最优交通控制方案发送至交通管理平台;

85、当验证误差数据大于预设验证误差阈值时,将验证误差数据反馈至交通控制方案生成模型,并根据验证误差数据重新进行特征编码和模型参数更新;

86、其中,验证误差数据包括通行效率误差数据,预设验证误差阈值包括5%的通行效率误差阈值。

87、一种基于强化学习的交通控制方案生成模型优化系统,包括:

88、数据编码模块,用于采集多源交通事件数据,并对多源交通事件数据进行结构化处理和向量化编码,得到交通事件特征向量;

89、方案生成模块,用于将交通事件特征向量输入交通控制方案生成模型,通过交通控制方案生成模型生成多个结构化的候选交通控制方案;

90、仿真评价模块,用于将候选交通控制方案输入交通仿真环境中进行仿真推演,获取候选交通控制方案对应的方案评价数据;

91、奖励构建模块,用于根据方案评价数据、格式约束数据以及规则约束数据,构建用于评价候选交通控制方案的奖励数据;

92、模型更新模块,用于根据奖励数据对交通控制方案生成模型进行参数更新,得到优化后的交通控制方案生成模型;

93、闭环验证模块,用于获取优化后的交通控制方案生成模型输出的最优交通控制方案,将最优交通控制方案输入验证环境,获取验证评价数据,并根据验证评价数据调整交通控制方案生成模型的模型参数。

94、与现有技术相比,本发明具有以下有益效果:

95、1、本发明通过对交通事件数据进行特征编码,提取基础属性特征、流量特征、状态特征以及关联特征,并生成交通事件特征向量,使交通控制方案生成模型能够基于结构化的交通事件输入生成候选交通控制方案。通过将交通事件的发生时间、持续时长、发生位置、事件类型、交通流量变化、交通状态以及周边路口关联情况纳入模型输入过程,为候选交通控制方案的生成提供统一的数据基础。

96、2、本发明将交通事件特征向量输入交通控制方案生成模型,并通过交通控制方案生成模型生成候选交通控制方案,使候选交通控制方案包括信号配时参数、车道管控策略以及协同控制指令。由此,交通控制方案的生成过程能够覆盖信号配时、车道管控和相邻路口协同控制等多个方案要素,使生成的交通控制方案具备较完整的控制内容。

97、3、本发明将候选交通控制方案输入交通仿真环境中进行仿真推演,并根据仿真运行过程中的交通运行数据生成方案评价数据,使候选交通控制方案在模型参数更新前能够经过仿真评价。通过对候选交通控制方案对应的通行评价数据、排队评价数据、安全评价数据、资源利用评价数据以及管控适配性指标数据进行量化获取,为后续奖励数据构建提供评价依据。

98、4、本发明根据方案评价数据、格式约束数据以及规则约束数据构建奖励数据,并将奖励数据划分为格式奖励数据、规则奖励数据以及质量奖励数据;同时,将交通控制方案生成模型作为策略网络,根据候选交通控制方案对应的奖励数据确定策略优化参数,并采用策略梯度算法更新策略网络的模型参数。由此,强化学习优化过程直接作用于交通控制方案生成模型本身,使交通控制方案生成模型能够基于方案格式、交通管控规则、仿真评价质量以及验证反馈进行参数更新,形成面向交通控制方案生成模型的闭环优化过程。