基于多智能体强化学习的区域交通信号协同控制方法及系统与流程

本发明涉及智能交通控制，更具体地，涉及基于多智能体强化学习的区域交通信号协同控制方法及系统。

背景技术：

1、随着智慧城市建设的加速推进，智慧灯杆作为城市道路基础设施的核心组成部分，已逐步发展为集成照明设备、交通信号灯设备、环境传感器、ai摄像头、广播设备、led显示屏和一键报警按钮等多类设备的综合性路侧智能平台。与此同时，城市交通流量持续增长，对区域交通信号控制的智能化、精细化水平提出了更高要求。多智能体强化学习技术因其在多设备协同决策方面的天然优势，近年来被逐步探索应用于交通信号控制领域，为城市交通管理提供了新的技术路径。

2、然而，现有基于多智能体强化学习的交通信号控制方案中，智能体的控制粒度仅到路口级，以整个交叉路口为决策单元，无法利用灯杆级细粒度感知数据，导致信号配时决策缺乏精确的交通流微观信息支撑。同时，智慧灯杆上集成的多类设备长期处于独立运行状态，彼此之间缺乏协同交互机制，无法形成灯杆内部的联合决策。此外，现有技术方案中交通效率优化与设备能耗优化相互割裂，缺乏统一的多目标优化框架，且云端集中式决策模式通信开销大、响应延迟高，难以满足交通信号控制对实时性的严苛要求。针对上述问题，本发明通过将灯杆级多设备分别抽象为对应的子智能体并构建分层决策机制，实现了灯杆内部署的多设备协同决策与区域交通信号的联合优化控制。

技术实现思路

1、为了克服现有技术存在的智能体粒度过粗无法利用灯杆级细粒度感知数据，多设备独立运行缺乏协同，交通效率与能耗优化割裂，云端决策延迟大等问题，本发明公开基于多智能体强化学习的区域交通信号协同控制方法及系统能有效解决上述技术问题。

2、为解决上述技术问题，本发明的技术方案如下：

3、基于多智能体强化学习的区域交通信号协同控制方法，包括：

4、获取灯杆配置信息以及预设的多智能体协同策略，所述灯杆配置信息记录有预设区域中各个智慧灯杆的灯杆标识和灯杆位置，每个所述智慧灯杆上集成有多个设备，所述多个设备分别被抽象为对应的子智能体；

5、根据当前所处的时间段和/或场景类型，确定所述预设区域中所需激活的灯杆层级；

6、基于所述多智能体协同策略在所述灯杆配置信息中选择所述灯杆层级对应的目标智慧灯杆，并激活所述目标智慧灯杆上的全部或部分子智能体；

7、其中，所述多智能体协同策略包括灯杆内部分层决策机制，所述灯杆内部分层决策机制包括：

8、实时响应层，对延迟敏感的任务由各子智能体独立决策，响应时间小于等于第一预设时间；

9、协同优化层，对需要多设备协同的任务，由灯杆边缘网关发起子智能体间的联合协商，采用基于共识的分布式决策算法在小于等于第二预设时间内达成一致；

10、全局规划层，对需要与相邻灯杆或路口协调器协同的任务，由灯杆边缘网关上报至路口协调器。

11、进一步地，所述根据当前所处的时间段和/或场景类型，确定所述预设区域中所需激活的灯杆层级，包括：

12、在当前时间为设置的路口协调触发时刻时，将预先设置的下一时间段对应的灯杆激活数量作为所需激活的灯杆层级所对应的灯杆数量。

13、进一步地，在所述获取灯杆配置信息以及预设的多智能体协同策略之前，还包括：

14、进行多智能体协同策略的设置，所述多智能体协同策略包括故障优先选择机制和位置优先选择机制。

15、进一步地，在所述多智能体协同策略为故障优先选择机制的情况下，所述多智能体协同策略记录有每个智慧灯杆的故障权重，所述基于所述多智能体协同策略在所述灯杆配置信息中选择所述灯杆层级对应的目标智慧灯杆，包括：

16、根据所述灯杆位置和所述故障权重在所述灯杆配置信息中选择所述灯杆层级对应的目标智慧灯杆。

17、进一步地，所述根据所述灯杆位置和所述故障权重在所述灯杆配置信息中选择所述灯杆层级对应的目标智慧灯杆，包括：

18、根据所述灯杆层级确定相同数量的灯杆位置组，所述灯杆位置组包括多个灯杆位置；

19、在每个灯杆位置组选择故障权重最高的智慧灯杆作为所述目标智慧灯杆。

20、进一步地，在所述多智能体协同策略为位置优先选择机制的情况下，所述多智能体协同策略记录有每个智慧灯杆的位置权重，所述基于所述多智能体协同策略在所述灯杆配置信息中选择所述灯杆层级对应的目标智慧灯杆，包括：

21、根据所述灯杆位置和所述位置权重在所述灯杆配置信息中选择所述灯杆层级对应的目标智慧灯杆。

22、进一步地，所述根据所述灯杆位置和所述位置权重在所述灯杆配置信息中选择所述灯杆层级对应的目标智慧灯杆，包括：

23、基于所述位置权重的大小，由高至低依次进行非相邻的灯杆位置的智慧灯杆的选择直至到达所述灯杆层级所对应的灯杆数量为止。

24、进一步地，所述智慧灯杆上集成的多个设备包括照明设备、交通信号灯设备、环境传感器、ai摄像头、广播设备、led显示屏和一键报警按钮；所述子智能体包括照明子智能体、信号控制子智能体、环境感知子智能体、ai事件监测子智能体、信息发布子智能体和一键报警子智能体。

25、基于多智能体强化学习的区域交通信号协同控制系统，包括：

26、信息获取模块，用于获取灯杆配置信息以及预设的多智能体协同策略，所述灯杆配置信息记录有预设区域中各个智慧灯杆的灯杆标识和灯杆位置，每个所述智慧灯杆上集成有多个设备，所述多个设备分别被抽象为对应的子智能体；

27、层级确定模块，用于根据当前所处的时间段和/或场景类型，确定所述预设区域中所需激活的灯杆层级；

28、灯杆选择模块，用于基于所述多智能体协同策略在所述灯杆配置信息中选择所述灯杆层级对应的目标智慧灯杆，并激活所述目标智慧灯杆上的全部或部分子智能体。

29、与现有技术相比，本发明的有益效果是：本发明通过获取灯杆配置信息以及预设的多智能体协同策略，将每个智慧灯杆上集成的照明设备、交通信号灯设备、环境传感器、ai摄像头、广播设备、led显示屏和一键报警按钮分别抽象为照明子智能体、信号控制子智能体、环境感知子智能体、ai事件监测子智能体、信息发布子智能体和一键报警子智能体，由于建立了灯杆级细粒度的多智能体系统架构，使得各子智能体能够独立感知灯杆级环境状态并进行本地决策，从而将智能体的控制粒度由路口级细化至灯杆-设备级，有效解决了无法利用灯杆级细粒度感知数据的技术难题，为交通信号配时提供了更精确的微观决策依据；在此基础上，由于各子智能体通过灯杆边缘网关进行灯杆内部通信与联合协商，形成了灯杆内部分层决策机制，实时响应层对延迟敏感的任务由各子智能体独立决策且响应时间小于等于第一预设时间、协同优化层对需要多设备协同的任务由灯杆边缘网关发起子智能体间的联合协商并采用基于共识的分布式决策算法在小于等于第二预设时间内达成一致、全局规划层对需要与相邻灯杆或路口协调器协同的任务由灯杆边缘网关上报至路口协调器，使得紧急任务在灯杆边缘端即可完成闭环控制而无需等待路口协调器或云端指令，将协同决策延迟控制在预设时间范围内，同时使得原先孤立运行的照明、信号控制、环境感知、事件监测、信息发布和紧急报警等功能得以统一调度和联动响应，克服了多设备独立运行缺乏协同的缺陷，降低了通信开销和响应延迟，满足了交通信号控制的实时性要求；进一步地，由于灯杆层级是根据当前所处的时间段和/或场景类型动态确定的，且多智能体协同策略中配置了故障优先选择机制和位置优先选择机制并引入了场景自适应的动态权重调整，使得交通效率优化与设备能耗优化被纳入统一的灯杆级多目标优化框架，能够根据不同时段和场景自适应调整优化侧重点，最终实现了区域交通信号协同响应速度的提升、综合能效的提升以及通行效率的提升。