一种基于马尔科夫决策过程的智能交通信号控制优化方法、软件与流程

技术特征：
1.一种交通信号的控制方法，其特征在于，所述方法包括：获取目标道路路口的实时交通流数据；根据所述实时交通流数据，通过基于马尔科夫决策过程构建的交通信号控制模型，预测所述目标道路路口下一时刻的交通流状况，得到预测结果；根据所述预测结果，对所述交通信号执行控制策略；其中，所述交通信号控制模型的构建因素包括状态空间和动作空间；所述状态空间用于表征所述目标道路路口各时段车辆流量的状态；所述动作空间用于表征所述目标道路路口各时段处于不同状态下的信号控制策略。2.根据权利要求1所述的方法，其特征在于，所述状态空间，根据所述目标道路路口中车辆的速度特征和车辆的密度特征确定；所述动作空间，根据所述目标道路路口的交通信号的相序，以及不同相序下对应的信号灯的周期时长和绿信比确定。3.根据权利要求2所述的方法，其特征在于，所述状态空间的确定方法包括：根据所述实时交通流数据，确定所述速度特征和所述密度特征；根据所述速度特征和所述密度特征，确定车辆的流量特征；根据所述车辆的流量特征，确定所述状态空间。4.根据权利要求3所述的方法，其特征在于，所述根据所车辆的流量特征，确定所述状态空间，包括：根据所述目标道路路口各时段车辆流量的状态，对所述车辆的流量特征进行划分；根据各划分后的车辆的流量特征，得到所述状态空间。5.根据权利要求1所述的方法，其特征在于，所述根据所述预测结果，对所述交通信号执行控制策略，包括：在所述根据所述预测结果，对所述交通信号执行控制策略后，接收所述交通信号控制模型发出的反馈信息；根据所述反馈信息，调整对所述交通信号执行的控制策略。6.根据权利要求5所述的方法，其特征在于，所述交通信号控制模型的构建因素还包括：路口服务等级水平与车辆的平均延误时长的映射关系；所述平均延误时长用于表征所述车辆在所述路口等候红灯所损失的时间；所述接收所述交通信号控制模型发出的反馈信息，包括：在所述交通信号控制模型根据所述路口服务等级水平与车辆的平均延误时长的映射关系，确定所述车辆的平均延误时长后，接收所述交通信号控制模型根据所述车辆的平均延误时长发出的反馈信息。7.根据权利要求5所述的方法，其特征在于，所述根据所述反馈信息，调整对所述交通信号执行的控制策略，包括：通过深度强化学习算法，根据所述反馈信息，调整对所述交通信号执行的控制策略。8.根据权利要求7所述的方法，其特征在于，所述通过深度强化学习算法，根据所述反馈信息，调整对所述交通信号执行的控制策略，包括：通过所述深度强化学习算法，对未来时刻的交通状态进行评估，得到评估结果；结合所述评估结果和所述反馈信息，调整对所述交通信号执行的控制策略。
9.一种交通信号的控制设备，其特征在于，所述设备包括：一个或多个处理器；以及存储有计算机程序指令的存储器，所述计算机程序指令在被执行时使所述处理器执行如权利要求1至8中任一项所述方法。10.一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现如权利要求1至8中任一项所述的方法。

技术总结
本申请提供了一种基于马尔科夫决策过程的智能交通信号控制优化方法、软件，所述方法包括：获取目标道路路口的实时交通流数据；根据所述实时交通流数据，通过基于马尔科夫决策过程构建的交通信号控制模型，预测所述目标道路路口下一时刻的交通流状况，得到预测结果；根据所述预测结果，对所述交通信号执行控制策略；其中，所述交通信号控制模型的构建因素包括状态空间和动作空间；所述状态空间用于表征所述目标道路路口各时段车辆流量的状态；所述动作空间用于表征所述目标道路路口各时段处于不同状态下的信号控制策略。至少可以解决现有的交通信号的控制方法中，时效性差，无法适应满足当下交通流复杂多变的情况的技术问题。应满足当下交通流复杂多变的情况的技术问题。应满足当下交通流复杂多变的情况的技术问题。


技术研发人员：曹锡玉 宦涣 袁月明
受保护的技术使用者：云控智行（上海）汽车科技有限公司
技术研发日：2022.10.11
技术公布日：2022/12/30