本发明涉及智慧交通智能网联车辆控制技术领域，尤其是一种基于强化学习的网联车辆信号灯控路口经济通行方法。
背景技术：
城市化快速发展为道路交通环境带来了极大的考验，日趋拥挤的信号灯交通路口产生了大量不必要的能耗。经济性路口进出一直以来是城市交通路口通行决策的主要研究热点。从车辆角度出发，智能网联汽车的出现为提高通行效率、缓解城市灯控路口停车等待现象提供了新的解决方案。智能电动汽车除了采用新能源驱动，基于5g/lte通信网络低延迟与云端服务实时交互，提前获取视野外道路信息，给予驾驶员精准有利通行条件，有效降低事故发生率的同时也可有效降低车辆的能量消耗，减少对环境的污染。
从控制角度出发，生态驾驶策略可以分为以下两类，一是基于规则的方法，二是基于优化的方法。基于规则的方法采用模糊逻辑控制策略，针对信号灯动态调节控制车速，该算法计算简单直观，所以是工程中最为常见的控制策略。但是该方法依赖经验的总结，并不能从理论上进行机理分析，控制效率差，鲁棒性差等问题，因此在路口处的节能表现有限。基于优化理论的控制策略一般可分为解析优化法、数值计算优化法、瞬时优化策略、基于简化模型的优化策略与基于预测方法的控制策略等。基于动态规划算法是典型的解析优化法，利用动态规划算法研究了燃油车与电动车的不同节能特性，求解混合动力汽车的最优控制律，获得了出色的燃油经济性。但是该策略对于状态空间较大、且多维复杂动态场景时，这些算法无法实时计算出最佳策略。
深度确定性策略梯度算法(deepdeterministicpolicygradient，简称ddpg)，是一种具有actor-critic架构的用于解决连续控制型问题的一种算法，actor-critic架构简称ac，设计有四个网络，其中actor网络包含动作估计网络和动作目标网络，而critic网络包含价值估计网络与价值目标网络。actor-critic架构可直接输出动作信息，具有强大的寻优能力，在生态驾驶策略方便的应用研究尚未成熟。
技术实现要素：
针对现有技术的缺陷，本发明提供了一种基于强化学习的网联车辆信号灯控路口经济通行方法，实现网联车辆路口通行控制决策的实时性优化。
本发明采用的技术方案如下：
一种基于强化学习的网联车辆信号灯控路口经济通行方法，包括以下步骤：
获取车辆以及路侧环境状态信息；
搭建路口通行生态驾驶模型：包括搭建整车纵向动力学模型和搭建路侧信号灯状态交通环境模型；
利用深度确定性策略梯度算法构建纯电动网联汽车路口通行生态驾驶策略，求解包含整车电池能耗最小通行时间最短的多目标优化问题，得出最优通行速度谱。
其进一步技术方案为：
所述利用深度确定性策略梯度算法构建纯电动网联汽车路口通行生态驾驶策略，求解包含整车电池能耗与通行效率多目标优化问题，包括：
s1：根据所述获取车辆以及路侧环境状态信息、以及所述路口通行生态驾驶模型，确定当前驾驶环境状态st，下标t代表t时刻；
s2：根据所述当前驾驶环境状态st，由深度确定性策略梯度算法的actor-critic架构中动作估计网络，实时输出策略动作at＝μ(st|θμ)，其中，θμ为动作估计网络参数，θ是每层网络的权重，μ为动作估计网络输出的加速度策略；车辆执行at，获得奖励值rt，并进入下一时刻，产生新的驾驶环境状态st 1，并将st，at，rt，st 1信息记录至经验缓存池中；
s3：所述动作估计网络由所述经验缓存池中采样状态数据si，计算出由actor-critic架构中动作目标网络输出的策略动作μ′(si|θμ′)，其中，μ′为动作估计网络输出的加速度策略，θμ′为动作估计网络参数，；
s4：actor-critic架构中的价值目标网络利用所述策略动作μ′(si|θμ′)和从所述经验缓存池中采样的状态数据集(si，ai，ri，si 1)，输出价值函数目标值yi；
yi＝ri q′(si 1，μ′(si 1|θu′)|θq′)，其中q′为所述价值目标网络计算的行为-动作函数值，θq′为价值目标网络参数；
s5：actor-criffc架构中的价值估计网络利用所述动作估计网络输出的所述策略动作at、以及所述当前驾驶环境状态st，计算当前动作下的状态-动作累计期望价值qπ(s，a)，表示为：
其中，π是当前采取的加速度，即为μ(st|θμ)，e为期望，γ为折扣率；
通过所述价值函数目标值yi计算损失函数值l(θq)：
计算策略动作的at梯度
其中α为学习率；
s6：利用所述价值估计网络计算的梯度gt更新动作估计网络的参数θμ；
s7：更新所述动作估计网络参数θμ′＝τθμ (1-τ)θμ′和所述价值目标网络参数θq′＝τθq (1-τ)θq′，τ为更新权重；
s8：当车辆进入路口时，交通环境被初始化，同时初始化各个网络参数，并在第一个步长内选取随机策略，经过循环步骤s1至s7，直至车辆走完当前路口，获得一次训练的回报值
s9：重复步骤s8，经过若干次训练后，将最大化回报值maxreturni，并不断更新网络参数，直至每次通过路口时获得的回报值收敛，完成整个车辆在灯控信号灯路口下经济通行学习过程。
所述奖励值
式中“ ”表示奖励，“-”表示惩罚。
所述当前驾驶环境状态：
st＝{δjenb，δs，ssignal，tleft，verror，vego}；
其中，δjenb为当前时刻步长内电池消耗的能量，δs为单步长内车辆的位移，ssignal为信号灯的当前状态，tleft为当前信号灯状态下剩余的时间，vego为当前车速，verror为当前路口下可以通行最大的速度与当前车速的差值。
所述获取车辆以及路侧环境状态信息，包括：
基于无线短波通讯或5g/lte通讯与路侧设施信息交互，获取信号灯当前状态信息，结合定位系统对车辆实时精准定位；
通过车载传感器检测车辆状态信息，将所述车辆状态信息上传至车载控制单元。
根据车辆纵向动力学分析得出纯电动汽车在行驶过程中所受到的加速阻力、坡道阻力、滚动阻力以及空气阻力，搭建所述整车纵向动力学模型：
其中，m为车辆的质量；占为汽车旋转换算系数，v为车速；t为进入路口开始所用时间；tp为电机驱动转矩；i0为主减速器传动比；ηt为传动效率；rd为车轮滚动半径；ρ为车辆周围空气密度；a为车辆迎风面积；cd为空气阻力系数；g为重力加速度；α为地面的倾斜角。
所述路侧信号灯状态交通环境模型对信号灯的相位周期进行描述，表达式如下：
tr，tg，ty分别表示红灯、绿灯和黄灯的相位时间。
本发明的有益效果如下：
1)本发明采用了深度强化学习算法进行智能网联汽车的路口通行决策，实现了纯电动汽车路口通行控制决策的实时性与最优性。
2)本发明摆脱了传统的规划控制策略对环境信息需要已知的不可实现性，通过不断学习，基于当前状态实现对不同路况下的控制，具有较好的泛化能力。
3)本发明在考虑节能的同时，使得车辆以较快的速度通过路口而不需要停车等待红绿灯，可以达到高效出行的目的。
附图说明
图1为本发明方法的系统流程图。
图2为本发明利用深度确定性策略梯度算法实现绿色路口通行决策的计算原理图。
图3为本发明具体实施例的路侧信号灯状态交通环境模型示意图。
图4为本发明具体实施例的通行决策算法仿真效果图。
具体实施方式
以下结合附图说明本发明的具体实施方式。
本实施例的一种基于强化学习的网联车辆信号灯控路口经济通行方法，可参考图1，基于的计算系统包括信息获取模块、环境模型模块、车速优化模块，其中信息获取模块包括基于无线短波通讯或5g\lte协议通信obu/rsu获取路侧单元信息、获取车辆运行状态信息；环境模型模块包括搭建整车模型，路侧信号灯与前车交通环境模型；车速优化模块包括利用深度强化学习算法构建纯电动汽车信号灯控路口通行策略，求解包含信号灯电池能耗与路口高效通行多目标优化问题，从而得出最优的能耗水平通过路口。本发明将深度强化学习算法应用于实际车辆路口通行控制中，针对信号灯剩余时间动态变化场景具有良好的泛化性能与优化效果。
本实施例的方法包括以下步骤：
一、获取车辆以及路侧环境状态信息，包括：
基于无线短波通讯或5g/lte通讯与路侧设施信息交互，获取信号灯当前状态信息，结合如北斗等定位系统对车辆实时精准定位；
通过车载传感器检测车辆状态信息，将车辆状态信息上传至车载控制单元。
车辆状态信息包括车辆速度、电机转速和电池输出功率。
二、搭建路口通行生态驾驶模型：包括搭建整车纵向动力学模型和搭建路侧信号灯状态交通环境模型。具体包括：
根据车辆纵向动力学分析得出纯电动汽车在行驶过程中所受到的加速阻力、坡道阻力、滚动阻力以及空气阻力，搭建整车纵向动力学模型：
其中，m为车辆的质量(kg)；δ为汽车旋转换算系数，v为车速(m/s)；t为进入路口开始所用时间；tp为电机驱动转矩(n·m)；i0为主减速器传动比；ηt为传动效率；rd为车轮滚动半径(m)；ρ为车辆周围空气密度(kg/m3)；a为车辆迎风面积(m2)；cd为空气阻力系数；g为重力加速度(m/s2)；α为地面的倾斜角(°)。
据整车纵向动力学模型，算出轮毂电机电动汽车的功率需求，计及轮毂电机工作中的铁损等建立电机效率损耗模型，绘出电机效率map图与功率损失图。
如图3所示，为本实施例搭建路侧信号灯状态交通环境模型示意图，路侧信号灯状态交通环境模型对信号灯的相位周期进行描述，表达式如下：
tr，tg，ty分别表示红灯、绿灯和黄灯的相位时间。
三、利用深度确定性策略梯度算法构建纯电动网联汽车路口通行生态驾驶策略，求解包含整车电池能耗最小、通行时间最短的多目标优化问题，得出最优通行速度谱。由深度确定性策略梯度算法采用动作-评价(actor-critic，ac)架构设计有四个网络，如图2所示，其中actor网络包含动作估计网络(对应图中在线策略网络)和动作目标网络(对应图中目标策略网络)，而critic网络包含价值估计网络(对应图中在线价值网络)与价值目标网络(对应图中目标价值网络)。
具体包括以下流程：
s1：根据获取车辆以及路侧环境状态信息、以及路口通行生态驾驶模型，确定当前驾驶环境状态st，下标t代表t时刻；
st＝{δjenb，δs，ssignal，tleft，verror，vego}；其中，δjenb为当前时刻步长内电池消耗的能量，δs为单步长内车辆的位移，stignal为信号灯的当前状态，tleft为当前信号灯状态下剩余的时间，vego为当前车速，verror为当前路口下可以通行最大的速度与当前车速的差值；
s2：根据当前驾驶环境状态st，由深度确定性策略梯度算法的actor-critic架构中动作估计网络，实时输出策略动作at＝μ(st|θμ)，其中，μ为动作估计网络输出的加速度策略，θμ为动作估计网络参数，θ是每层网络的权重；车辆执行at，获得奖励值rt，并进入下一时刻，产生新的驾驶环境状态st 1，并将st，at，rt，st 1信息记录至经验缓存池中；上述at可理解为加速度；
奖励值
式中“ ”表示奖励，“-”表示惩罚；
s3：动作估计网络由经验缓存池中采样状态数据si，计算出由actor-critic架构中动作目标网络输出的策略动作μ′(si|θμ′)，其中，μ′为动作目标网络输出的加速度策略，θμ′为动作估计网络参数；
s4：actor-critic架构中的价值目标网络利用策略动作μ′(si|θμ′)和从经验缓存池中采样的状态数据集(si，ai，ri，si 1)，输出价值函数目标值yi，yi＝ri q′(si 1，μ′(si 1|θμ′)|θq′)，其中q′为价值目标网络计算的行为-动作函数值，θq′为动作估计网络参数；
s5：actor-critic架构中的价值估计网络利用动作估计网络输出的策略动作at、以及当前驾驶环境状态st，计算当前动作下的状态-动作累计期望价值qπ(s，a)，表示为：
其中，不是当前采取的加速度，即为μ(st|θμ)，e为期望，γ为折扣率；
通过价值函数目标值yi计算损失函数值l(θq)：
计算策略动作的at梯度
其中α为学习率；
s6：利用价值估计网络计算的梯度gt更新动作估计网络的参数θμ，更新的梯度公式为：
s7：更新动作估计网络参数θμ′、价值目标网络参数θq′，
θμ′＝τθμ (1-τ)θμ′
θq′＝τθq (1-τ)θq′
其中，τ为更新权重；
s8：当车辆进入路口时，交通环境被初始化，同时初始化各个网络参数，并在第一个步长内选取随机策略，经过循环步骤s1至s7，直至车辆走完当前路口，获得一次训练的回报值
s9：重复步骤s8，经过1000次训练后，将最大化回报值maxreturni，并不断更新网络参数，直至每次通过路口时获得的回报值逐渐收敛至某一个值附近，完成整个车辆在灯控信号灯路口下经济通行学习过程。在训练中设置不同的初始环境，将使得智能体学会在不同的交通状态下找到优解。
训练得到的策略可进一步策略部署至实车平台，通过车载传感器获取真实道路交通场景信息，输入策略开放端口，并由训练策略实时计算当前时刻的最佳通行速度，通过智能网联车辆与环境实时交互在线控制车辆实现灯控信号灯路口下经济通行。如图4所示为本实施例的通行决策算法仿真效果图。
本发明的发明目的和技术效果基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到验证。
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
