一种基于车路协同与多智能体强化学习的应急车辆全域协同优先控制系统及方法

本发明属于智能交通系统领域，具体涉及一种基于车路协同与多智能体强化学习的应急车辆全域协同优先控制系统及方法。

背景技术：

1、随着城市交通拥堵加剧，消防车、救护车等应急车辆的通行效率面临严峻挑战。传统依赖警报器、社会车辆被动避让及简单信号优先(如绿灯延长、插入相位)的控制方法效率低下、安全性差，且易引发二次拥堵。

2、现有的先进研究主要集中在两个独立层面：（1)路段协同通行策略：该路径聚焦于应急车辆所在路段，旨在通过车车通信与车路通信，利用协同换道、车速引导等模型，动态协调社会车辆的行驶轨迹，在既有物理车道内为应急车辆让出一条连续的“虚拟应急车道”。这类研究通过优化社会车辆的速度与位置，旨在减少应急车辆的行程延误；（2)交叉口信号优先策略，该路径聚焦于单个或多个关联交叉口，利用检测器获取的应急车辆位置、速度信息，通过基于预设规则的算法或基于强化学习（reinforcement learning, rl）的自适应控制模型，动态调整信号灯的相位、时序与周期，为目标方向的应急车辆提供绿灯窗口。

3、尽管上述研究取得了积极进展，但现有方法在实际应用中仍存在以下不足之处：（1）路段控制与交叉口控制相互独立。现有系统或专注于路段车辆引导，或专注于交叉口信号优化，二者在决策时序、控制目标和执行机构上缺乏深度融合。例如，“虚拟应急车道”策略可能在路段上成功引导车辆让行，但若下游交叉口信号未协同匹配，应急车辆仍将在交叉口遭遇红灯排队。（2）车辆引导与信号控制相互独立。在控制决策层面，车辆速度引导与交通信号配时通常被建模为两个独立或串联的优化问题，分别由不同的模型或算法处理。这种独立导致控制指令可能不协同甚至冲突，无法实现时空资源的一体化精细调度。（3）单点局部优化与网络全局优化相互独立。大多数基于强化学习的信号控制研究以单个交叉口为智能体，其优化目标局限于本交叉口的交通指标。在多交叉口场景中，极易陷入局部最优而无法实现网络全局效益最优。虽然已有部分多智能体强化学习（multi-agent rl, marl）的探索，但在应急车辆优先场景下，如何将应急车辆的全局路径意图有效分解并转化为驱动每个交叉口智能体进行前瞻性、差异化协同的决策信号，仍是现有研究未充分解决的难题。

4、因此，亟需一种能够实现全域要素协同、具备前瞻性决策能力、并能对时空资源进行精细化联合调控的系统性解决方案。

技术实现思路

1、本发明要解决的技术问题：

2、（1）路段与交叉口控制缺乏一体化协同：车辆的路径引导与交叉口的信号控制在执行时序与优化目标上缺乏协同，无法实现应急车辆“路段-交叉口”连续优先通行。

3、（2）车辆与信号控制指令缺乏协同联动：面向网联车辆的连续速度引导指令，与面向信号灯的离散相位及连续时长控制指令，由相互独立的模型生成，无法对道路的时空资源进行统一决策与精细分配。

4、（3）局部决策与全局路径间缺乏协同：以单点或局部区域为优化目标的决策模式，不满足应急车辆的全局通行路径及其动态需求，无法依据全局路径信息对路网交通流进行主动动态规划与协同调度。

5、针对现有技术的上述问题，提供一种基于车路协同与多智能体强化学习的应急车辆全域协同优先控制系统及方法，能够实现全域要素协同、具备前瞻性决策能力、并能对时空资源进行精细化联合调控。

6、为了解决上述技术问题，本发明采用的技术方案为：

7、一种基于车路协同与多智能体强化学习的应急车辆全域协同优先控制方法，所述方法应用于包括云端和多个智能体的应急车辆全域协同优先控制系统，所述智能体与路网的交叉口一一对应并部署于对应的交叉口，所述方法包括以下步骤：

8、云端实时获取路网交通流数据，各个智能体均按照指定周期获取所在交叉口的交通流数据并进行特征提取；

9、触发应急任务时，云端基于实时获取的路网交通流数据，通过分布式路径规划算法计算应急车辆最优路径，生成路径节点序列及包含预计到达时间与下一目标节点的路径意图，将路径意图下发至路径节点序列中各节点对应的智能体；

10、收到路径意图的智能体根据接收的路径意图与所在交叉口的位置关系确定自身角色标签，构建包含特征提取结果与自身标签的状态向量，然后将所述状态向量输入本地分支策略网络，生成包含信号灯相位、绿灯时长以及网联车辆推荐速度的混合动作，以控制所在交叉口的信号灯和网联车辆；

11、混合动作被执行后，云端或智能体根据智能体的角色标签，计算包括基础奖励、当前域通行奖励以及下一目标域清空奖励的差异化即时奖励，将差异化即时奖励与对应的状态向量、混合动作组成交互经验存入中心经验回放池，云端从中心经验回放池中采样经验数据并通过梯度方法更新策略网络的参数，将更新后的参数下发至各智能体以更新各智能体的本地分支策略网络。

12、进一步的，各个智能体均按照指定周期获取所在交叉口的交通流数据并进行特征提取时，对于任一交叉口智能体，在每个控制周期内，执行以下特征提取：

13、对于每个进口道，统计在停车线上游指定检测区域内，处于静止状态的车辆数量，得到排队长度；

14、对于每个进口道，估算该车道上所有排队车辆在检测区域内的平均滞留时间，得到平均等待时间；

15、若控制域内存在应急车辆，则获取应急车辆到交叉口停车线的实时距离以及瞬时速度，并定义存在情况；若控制域内不存在应急车辆则，设，，0，表示最大感知距离；

16、计算路径意图指定的下游关键路段的时间占有率，数学表达式如下：

17、

18、其中，为统计周期，为该周期内检测断面被车辆占用的总时间。

19、进一步的，云端基于实时获取的路网交通流数据，通过分布式路径规划算法计算应急车辆最优路径时，具体是针对路网中的每个节点，维护从该节点到应急车辆目的地的最优预估时间以及车辆离开该节点后的最优相邻节点；各节点周期性地基于实时路段行程时间及相邻节点的最优预估时间迭代更新自身的最优预估时间与最优相邻节点；从应急车辆当前所在节点开始，沿各节点的最优相邻节点逐节点追踪得到最优路径的路径节点序列；将应急车辆当前所在节点的最优预估时间作为预计到达时间，并将应急车辆当前所在节点的最优相邻节点信息作为下一目标节点。

20、进一步的，各节点周期性地基于实时路段行程时间及相邻节点的最优预估时间迭代更新自身的最优预估时间与最优相邻节点时，包括以下步骤：

21、当前节点从所有相邻节点接收其最新传达的最优预估时间，基于实时交通流数据，估算从相邻节点到当前节点的路段行程时间，数学表达式如下：

22、

23、其中，为路段长度，为该路段的平均车速；

24、根据所述路段行程时间进行本地交通状态最优值计算，数学表达式如下：

25、

26、

27、其中，为最优预估时间，为最优相邻节点，表示在时刻，应急车辆预计到达其上游相邻节点的最早时间，表示在时刻，从上游节点行驶至当前节点的预估行程时间。

28、进一步的，收到路径意图的智能体根据接收的路径意图与所在交叉口的位置关系确定自身角色标签时，具体是收到路径意图的智能体根据所在交叉口是否包含应急车辆以及所在交叉口对应的节点与下一目标节点的关系确定自身角色标签，包括：

29、若当前智能体所在交叉口的交通流数据中包括应急车辆的数据，则当前智能体确定自身角色标签为当前域；若当前智能体所在交叉口的交通流数据中不包括应急车辆的数据，且所在交叉口对应的节点与下一目标节点相同，则当前智能体确定自身角色标签为下一目标域；若当前智能体所在交叉口的交通流数据中不包括应急车辆的数据，且所在交叉口对应的节点与下一目标节点不相同，则当前智能体确定自身角色标签为其他域；所述角色标签的数学表达式如下：

30、

31、式中，表示第i个智能体的角色标签。

32、进一步的，构建包含特征提取结果与自身标签的状态向量时，所述状态向量包括信号状态、交通流状态、应急车辆状态和协同信息，表达式如下：

33、

34、其中，表示当前信号相位的编码，分别表示东、南、西、北四个进口道的平均排队长度；分别表示东、南、西、北四个进口道的平均等待时间；为表示应急车辆是否存在于本交叉口控制域内的二元变量；表示应急车辆距本交叉口停车线的实时距离；表示应急车辆的实时速度；表示智能体角色标签；表示下游关键路段的时间占有率。

35、进一步的，将所述状态向量输入本地分支策略网络，生成包含信号灯相位、绿灯时长以及网联车辆推荐速度的混合动作时，所述本地分支策略网络对状态向量进行特征提取后，对所提取的特征分别经过相位选择头、绿灯时长头和车辆引导头进行处理，最终输出包含信号灯相位、绿灯时长以及网联车辆推荐速度的混合动作，包括以下步骤：

36、通过一个或多个全连接层提取状态向量的高级特征表示，数学表达式如下：

37、

38、其中，表示第i个智能体的状态向量，为共享特征提取函数，为共享特征提取函数的参数；

39、将高级特征表示输入相位选择头，相位选择头将所述高级特征表示通过第一全连接层处理得到原始分数向量，经概率分布函数转换为各相位的概率分布后，通过贪婪策略选择概率最高的相位作为信号灯相位，数学表达式如下：

40、

41、

42、其中，为4个相位的概率分布，表示相位选择头的输出动作；

43、将高级特征表示输入绿灯时长头，绿灯时长头将所述高级特征表示通过第二全连接层处理得到标量并经非线性映射得到绿灯时长比例系数，将所述绿灯时长比例系数通过线性映射转换为实际的绿灯时长，数学表达式如下：

44、

45、

46、

47、其中，为归一化的绿灯时长比例系数，分别为预设的最小和最大绿灯时长，表示绿灯时长头对应的权重矩阵，表示绿灯时长头对应的偏置项，表示绿灯时长头的输出动作；

48、将高级特征表示输入车辆引导头，车辆引导头将所述高级特征表示通过第三全连接层处理得到标量

u并经非线性映射得到速度调整系数，基于所述速度调整系数与路段限速计算网联车辆推荐速度，数学表达式如下：

49、

50、

51、

52、其中，为道路路段的法定速度限制，为连续的速度调整系数，表示车辆引导头对应的权重矩阵，表示车辆引导头对应的偏置项，表示车辆引导头的输出动作；

53、输出包含信号灯相位、绿灯时长以及网联车辆推荐速度的混合动作。

54、进一步的，根据智能体的角色标签，计算包括基础奖励、当前域通行奖励以及下一目标域清空奖励的差异化即时奖励时，具体是根据当前智能体的角色标签，确定对应的指示函数的值，并计算基础奖励、当前域通行奖励和下一目标域清空奖励，根据当前智能体的指示函数、基础奖励、当前域通行奖励和下一目标域清空奖励的值，计算得到当前智能体的差异化即时奖励，数学表达式如下：

55、

56、

57、

58、

59、其中，表示第i个智能体的差异化即时奖励，为基础奖励，为交叉口各进口道停车线后的车辆排队总数，为上一控制周期内通过停车线离开交叉口的车辆总数；为当前域通行奖励，为应急车辆在当前交叉口控制域内的额外延误时间；下一目标域清空奖励，为与应急车辆路径相关的下游关键路段的车辆密度；、为指示函数，当智能体角色为当前域时，，否则为0；当智能体角色为下一目标域时，，否则为0；、为超参数。

60、进一步的，云端从中心经验回放池中采样经验数据并通过梯度方法更新策略网络的参数时，具体是采用多智能体近端策略优化算法进行模型训练，利用经验数据，通过梯度方法更新网络参数，使全局策略不断向获得更高累积奖励的方向进化，包括以下步骤：

61、从中心经验回放池中，随机采样一个批量的经验序列，包含状态、动作、奖励及下一状态，其中，状态和下一状态分别是在当前时间步和下一时间步所有智能体的状态向量组合而成的联合状态，动作是在当前时间步所有智能体的混合动作组合而成的联合动作，奖励是在当前时间步所有智能体的全局共享奖励；

62、根据状态、奖励及下一状态，通过广义优势估计计算每个时间步的全局优势值；

63、分别根据所述奖励与差异化即时奖励计算各智能体的个体化总奖励，然后基于个体化总奖励、状态及下一状态，通过广义优势估计计算得到的各智能体的局部优势值，根据各智能体的局部优势值、状态、动作，通过最大化近端策略优化的裁剪目标更新策略网络的参数；

64、根据所述全局优势值、状态，通过最小化价值函数的均方误差损失更新中心评价网络的参数；

65、再次从中心经验回放池中，随机采样一个批量的经验序列以迭代执行前述步骤，直到策略网络与中心评价网络的参数收敛，或者达到最大迭代次数。

66、本发明还提出一种基于车路协同与多智能体强化学习的应急车辆全域协同优先控制系统，包括信号控制机、网联车辆、云端和多个智能体，所述智能体与路网的交叉口一一对应并部署于对应的交叉口，所述系统被编程或者配置以执行所述的基于车路协同与多智能体强化学习的应急车辆全域协同优先控制方法

67、与现有技术相比，本发明的优点在于：

68、一、通过云端基于实时路网交通流数据计算应急车辆最优路径，生成包含预计到达时间与下一目标节点的路径意图并下发至对应交叉口智能体，各智能体依据路径意图确定角色标签并生成混合动作统一控制信号灯和网联车辆，实现了全局路径规划与局部交叉口控制的一体化协同，消除了应急车辆通行链的中断点。

69、二、通过本地分支策略网络生成包含信号灯相位选择、绿灯时长及网联车辆推荐速度的混合动作，实现了对信号相位、绿灯时长及社会车辆速度的联合精细化调控，克服了传统方法中离散信号控制与连续车辆引导由独立模型生成、易造成控制指令冲突的缺陷，提高了道路时空资源利用效率。

70、三、通过各智能体依据路径意图确定角色标签，并基于角色标签计算包括基础奖励、当前域通行奖励以及下一目标域清空奖励的差异化即时奖励进行集中训练，使各交叉口智能体能够依据全局路径意图进行前瞻性、差异化协同，主动引导交通流为应急车辆提前清空下游道路，避免了局部最优陷阱，实现了网络全局效益最优。

71、四、通过角色标签与差异化奖励机制的耦合，下游交叉口在应急车辆尚未到达时即主动清空关键路段，显著降低了应急车辆在各交叉口的额外延误；同时，在保障应急车辆优先通行的前提下兼顾了社会车辆通行效率，实现了应急优先与全局通行效率的多目标平衡。