一种基于多智能体协作的多模式交通干线信号协调控制方法及装置与流程

技术特征：

1.一种基于多智能体协作的多模式交通干线信号协调控制方法，其特征在于，包括如下步骤：

(1)获取交通干线交叉口信息和多模式交通流量模式，根据以上数据使用仿真软件对多模式交通干线进行仿真标定，还原多模式交通流量到达率；

(2)对干线中的每个交叉口生成一个信号控制智能体，交通干线n个交叉口对应n个智能体，智能体i读取时刻tk该交叉口包含多模式交通位置、排队长度、速度信息的状态将状态输入智能体i在时刻tk时参数为的神经网络，输出交叉口智能体i在时刻tk的动作相位其中，表示在神经网络参数下，选用动作相位ai且状态为的情况下的价值函数，简称q值，ai表示在交叉口i可以放行的动作相位集和，ai表示ai中的一个动作相位；

(3)初始化干线内所有智能体的神经网络参数和经验回放池，设定训练轮数nepisode；

(4)初始化仿真的多模式交通干线流量到达率，设定初始仿真时间t0，总仿真时间t；

(5)获取交通干线仿真中各智能体的多模式交通状态，对于智能体i，获取其对应第i个交叉口在时刻tk的多模式交通局部观察状态其中，分别表示第i个交叉口在时刻tk的社会车辆状态、公交状态、行人及非机动车状态，状态包括其位置、排队长度、速度信息，表示与第i个交叉口相邻的交叉口在时刻tk的相位状态；

(6)将各智能体的局部观察状态输入其神经网络，对于智能体i，将输入神经网络后返回时刻tk的动作相位同时返回动作相位对应的q值其中，ai表示交叉口i可以放行的动作相位集和，表示智能体i在时刻tk时神经网络的参数，ai表示ai中的一个动作相位，qi(·)表示智能体i对应的神经网络q值函数，表示智能体i的神经网络在时刻tk的参数；

(7)将各智能体返回的动作相位在交通干线仿真的各对应交叉口信号灯中执行δt秒，时刻变为tk 1＝tk δt，仿真环境返回多模式交通干线多智能体在时刻tk的团队奖励值其中，kd、kf、kl分别表示人均延误变化量权衡系数、人流通过量权衡系数和排队长度变化量权衡系数，表示人均延误变化量，其中，和分别表示在时刻tk和时刻tk 1的干线多模式人均延误，表示人流通过量，即在δt期间通过交通干线的总人数，表示排队长度变化量，其中，和分别表示在时刻tk和时刻tk 1的交通干线排队人数；

(8)重复步骤(5)获取时刻tk 1各智能体的多模式交通状态将保存至经验回放池，其中，表示多智能体在时刻tk的团队奖励值，和分别时刻tk和时刻tk 1的全局状态列表，其中，表示第n个智能体在时刻tk执行的状态，其中，表示第n个智能体在时刻tk 1执行的状态，表示在时刻tk所有智能体选择的动作列表，其中，表示第n个智能体在时刻tk执行的动作；

(9)判断是否达到预设仿真时间，若tk 1≥t，进入步骤(10)，否则返回步骤(5)迭代；

(10)从经验回放池中随机采样n对数据，根据损失函数使用梯度下降更新各智能体神经网络参数，其中，θall表示所有智能体的神经网络参数，表示多智能体协作的全局奖励函数，其中，kb表示交叉口b的权衡系数，n表示智能体的个数，θb表示智能体b的神经网络参数，目标奖励值其中，γ表示衰减系数，uall表示所有智能体的动作集合；

(11)判断更新次数否达到预设训练轮数nepisode，如果未达到预设训练轮数nepisode，返回步骤(4)循环迭代，如果达到预设训练轮数nepisode，输出基于多智能体协作训练的多模式交通干线各交叉口的智能体。

2.一种基于多智能体协作的多模式交通干线信号协调控制装置，其特征在于，包括：

多模式交通干线感知模块，包括交通干线数据感知单元、交通干线状态感知单元，交通干线数据感知单元用于获取目标干线各交叉口的渠化设计、进口道数量、路段长度、公交站位置、非机动车道及人行道位置，交通干线状态感知单元用于获取干线上公交的班次及路线、发车间隔、停靠时间、乘客数量和速度，社会车辆、行人及非机动车的乘客数量、速度、在交叉口前的排队长度以及当前交叉口放行的相位；

数据存储模块，包括交通干线交叉口数据单元和交通干线交通流数据单元，分别用于存储多模式交通干线感知模块、交通干线状态感知单元获取的数据；

协作式多模式交通干线信号协调控制智能体计算模块，包括智能体计算和存储单元，分别用于根据如权利要求1中迭代训练协作式干线交叉口智能体的计算和存储，并输出保存多智能体协作训练的多模式交通干线各交叉口的智能体。

3.一种计算机设备，其特征在于，该计算机设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现权利要求1所述的一种基于多智能体协作的多模式交通干线信号协调控制方法的步骤。

4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1所述的一种基于多智能体协作的多模式交通干线信号协调控制方法的步骤。

技术总结
本发明公开了一种基于多智能体协作的多模式交通干线信号协调控制方法及装置，方法包括：多模式交通干线仿真标定与流量生成；干线各交叉口的信号控制多智能体设计；构建协作式值分解的多智能体强化学习框架；训练输出多模式交通干线各交叉口的智能体。本发明提供的方法将每个交叉口的多模式交通信号控制视为一个智能体，综合考虑了交通干线各交叉口的协作，以干线整体的人流量和延误为目标优化训练交通信号控制智能体，为道路交通管理者提供管控依据，实现交通干线整体最优的目标，提升城市道路交通服务水平。

技术研发人员：王昊;王雷震;董长印;杨朝友
受保护的技术使用者：东南大学;扬州市法马智能设备有限公司
技术研发日：2021.03.29
技术公布日：2021.08.24