一种基于图注意力与约束优化的区域交通信号控制方法
本发明涉及智能交通控制与多智能体强化学习,具体涉及一种基于图注意力与约束优化的区域交通信号控制方法。
背景技术:
1、随着城市化进程不断加速,城市交通系统面临着日益严峻的供需失衡挑战。交通拥堵不仅导致巨大的时间与经济损失,还加剧了能源消耗与环境污染。在此背景下,通过优化交通信号控制策略来提升路网通行效率,成为成本低、见效快的治理方向。传统的定时信号控制系统因无法响应实时变化的交通流,已难以满足现代城市交通管理的需求。因此,发展能够自适应环境、实现区域协同的智能交通信号控制技术,对于建设高效、绿色、智慧的城市交通体系具有重要意义。
2、目前,交通信号控制领域的研究主要沿着自适应控制与强化学习两个方向发展。早期的自适应控制系统,如scoot和scats,通过检测器数据实时调整信号配时方案,在一定程度上改善了交通状况。近年来,随着人工智能技术的突破,基于强化学习的交通信号控制方法展现出巨大潜力。此类方法将每个交叉口建模为智能体,通过与环境的交互学习最优控制策略。研究初期多集中于单路口控制,例如基于q-learning或策略梯度的算法。为应对多路口协同的复杂性,多智能体深度强化学习方法被引入,例如基于值分解的qtran框架和基于策略优化的mappo框架。此外,为了增强智能体间的协作,学者们引入了图神经网络等技术,如colight模型利用图注意力网络实现路口间信息的高效聚合。
3、尽管现有研究取得了显著进展,但仍存在若干突出问题。首先,多数多智能体方法依赖于固定的通信拓扑或全连接,难以精确刻画动态交通流中随空间与时间演化的路口间依赖关系,导致协作效率受限、模型泛化能力不强。其次,现有方法大多以通行效率为单一优化目标,忽略了实际交通管理中至关重要的公平性约束,所学的策略可能在实际部署时引发通行权分配不公的问题。最后,如何将复杂的工程约束稳定、高效地融入多智能体协同学习过程,并在大规模路网中实现快速收敛与可靠执行,仍是当前技术面临的严峻挑战。
技术实现思路
1、针对现有技术的不足,本申请提出了一种基于图注意力与约束优化的区域交通信号控制方法,通过融合图注意力网络与拉格朗日约束优化机制,在保障路口通行公平性的前提下,实现多智能体协同决策效率的最大化,从而显著提升城市路网整体通行效能与交通资源分配的均衡性。
2、以下是本发明的技术方案,一种基于图注意力与约束优化的区域交通信号控制方法,包括以下步骤:
3、s1、实时获取所处区域内交叉口的交通状态信息,构建局部观测;
4、s2、基于图注意力网络,对相邻交叉口的观测信息进行动态加权聚合,生成每个交叉口的协同特征表示;
5、s3、构建包含车道信号连续跳过约束的拉格朗日优化目标,通过乘子更新机制实现约束满足与效率目标的权衡;
6、s4、采用集中式训练与分布式执行框架,基于协同特征表示与优化目标,迭代更新各交叉口的信号控制策略;
7、s5、根据训练好的策略,各交叉口依据其局部观测实时输出信号控制动作。
8、作为本发明优选的方案,s1中,交通状态信息包括:当前信号相位、各进口车道的排队车辆数、各进口车道首车等待时间、各进口车道车辆平均速度及各进口车道车辆位置信息;
9、其中,在任一时刻,对任一交叉口的观测定义为:该时刻该交叉口的信号相位,以及该交叉口所有进口车道在该时刻的排队车辆数、首车等待时间、车辆平均速度及车辆位置的集合。
10、作为本发明优选的方案,s2中,计算一个邻居交叉口对当前交叉口的注意力系数,该系数为将当前交叉口和邻居交叉口的特征向量分别与对应的可学习权重矩阵相乘后,所得两个向量的乘积;
11、使用softmax函数,以注意力系数除以一个温度因子后的指数值,对当前交叉口所有邻居的注意力系数进行归一化处理,得到归一化的注意力权重;
12、将每个邻居交叉口的特征向量与注意力权重及对应的注意力头权重矩阵相乘后求和,再对所有注意力头的输出结果求平均,最后通过一个带权重矩阵和偏置参数的线性变换层及激活函数,得到聚合后的协同特征表示。
13、作为本发明优选的方案,s3中,车道信号连续跳过约束的成本函数定义为:对于每个交叉口,在任一时刻,统计其所有进口车道中,车道信号连续跳过次数超过预设最大跳过次数的车道数量,再将该数量除以该交叉口的总受控车道数量,得到该时刻的成本值;
14、拉格朗日优化目标表示为:在策略下,所有智能体的平均期望累积奖励,减去拉格朗日乘子与平均期望累积成本减去预设约束阈值的差值的乘积;优化目标为最大化该表达式关于策略、并最小化该表达式关于非负的拉格朗日乘子。
15、作为本发明优选的方案,拉格朗日乘子通过梯度上升法进行更新,并在更新后通过relu函数保证其取值为非负数。
16、作为本发明优选的方案,s4中,采用近端策略优化框架进行训练,其actor网络的更新目标函数采用剪切机制,具体为:计算新旧策略的概率比与结合了成本约束的优势函数的乘积,并将该乘积限制在旧策略概率比的一个正负裁剪区间内与该优势函数的乘积之间,取二者中的较小值作为优化目标。
17、作为本发明优选的方案,奖励函数定义为:每个交叉口在下一时刻的所有进口车道的排队车辆总数之和的负值。
18、作为本发明优选的方案,s5中,信号控制动作为从离散相位集合中选择其一,离散相位集合包括:南北直行相位、南北左转相位、东西直行相位、东西左转相位;动作选择采用one-hot编码表示。
19、作为本发明优选的方案,评价指标包括平均行程时间、吞吐量和车道信号跳过违规率。
20、本发明的有益效果是:
21、1、本发明中,通过融合图注意力协同与拉格朗日约束优化,显著提升了区域交通信号控制的综合性能,在多个真实城市路网中,所提方法能够将路网平均行程时间降低5.70%至18.62%,将车道信号跳过违规率降低10.69%至29.31%,在未饱和路网中通行量亦有明显提升,通过协同优化信号配时,使得路网通行效率与公平性得到同步改善;
22、2、本发明中,所提方法具备良好的泛化能力与可解释性,通过图注意力网络自适应学习路网拓扑与交通流依赖关系,无需预设固定邻接矩阵,可适用于不同规模与结构的城市路网,同时,拉格朗日约束机制为效率与公平的权衡提供了明确、可调节的技术路径,增强了策略的可部署性与可解释性,图注意力模块与约束优化模块经实验验证具备互补性与协同增益,共同构成稳定、高效的区域交通协同控制解决方案。
1.一种基于图注意力与约束优化的区域交通信号控制方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于图注意力与约束优化的区域交通信号控制方法,其特征在于,s1中,交通状态信息包括:当前信号相位、各进口车道的排队车辆数、各进口车道首车等待时间、各进口车道车辆平均速度及各进口车道车辆位置信息;
3.根据权利要求1所述的一种基于图注意力与约束优化的区域交通信号控制方法,其特征在于,s2中,计算一个邻居交叉口对当前交叉口的注意力系数,该系数为将当前交叉口和邻居交叉口的特征向量分别与对应的可学习权重矩阵相乘后,所得两个向量的乘积;
4.根据权利要求1所述的一种基于图注意力与约束优化的区域交通信号控制方法,其特征在于,s3中,车道信号连续跳过约束的成本函数定义为:对于每个交叉口,在任一时刻,统计其所有进口车道中,车道信号连续跳过次数超过预设最大跳过次数的车道数量,再将该数量除以该交叉口的总受控车道数量,得到该时刻的成本值;
5.根据权利要求4所述的一种基于图注意力与约束优化的区域交通信号控制方法,其特征在于,拉格朗日乘子通过梯度上升法进行更新,并在更新后通过relu函数保证其取值为非负数。
6.根据权利要求1所述的一种基于图注意力与约束优化的区域交通信号控制方法,其特征在于,s4中,采用近端策略优化框架进行训练,其actor网络的更新目标函数采用剪切机制,具体为:计算新旧策略的概率比与结合了成本约束的优势函数的乘积,并将该乘积限制在旧策略概率比的一个正负裁剪区间内与该优势函数的乘积之间,取二者中的较小值作为优化目标。
7.根据权利要求6所述的一种基于图注意力与约束优化的区域交通信号控制方法,其特征在于,奖励函数定义为:每个交叉口在下一时刻的所有进口车道的排队车辆总数之和的负值。
8.根据权利要求1所述的一种基于图注意力与约束优化的区域交通信号控制方法,其特征在于,s5中,信号控制动作为从离散相位集合中选择其一,离散相位集合包括:南北直行相位、南北左转相位、东西直行相位、东西左转相位;动作选择采用one-hot编码表示。
9.根据权利要求1所述的一种基于图注意力与约束优化的区域交通信号控制方法,其特征在于,评价指标包括平均行程时间、吞吐量和车道信号跳过违规率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com