基于生态驾驶的多智能体强化学习PHEV队列协同控制方法
本发明涉及一种车辆运行控制方法,尤其涉及一种基于生态驾驶的多智能体强化学习phev队列协同控制方法。
背景技术:
1、插电式混合动力汽车(phev)兼具纯电动汽车与传统混合动力汽车的技术优势,在续驶里程、燃油经济性等方面具有良好表现。另一方面,随着智能网联技术的快速发展,车辆间信息交互与协同控制为生态驾驶提供了新的技术支撑,成为进一步提升车辆节能减排效果的重要途径。
2、然而,现有的智能网联混合动力汽车队列控制方法多基于现有能量管理策略大多基于单一行驶工况构建,难以适应实际复杂多变的驾驶环境;队列分层控制策略虽然通过解耦的方式,简化了动力系统间的协调问题,但车速规划与能量管理之间的耦合关系被忽略,导致车辆的燃油经济性难以达到最优。
3、因此,为了解决上述技术问题,亟需提出一种新的技术手段。
技术实现思路
1、有鉴于此,本发明的目的是提供一种基于生态驾驶的多智能体强化学习phev队列协同控制方法,通过驾驶工况特征降维聚类与bp在线识别构建工况感知链路,结合maddpg多智能体强化学习实现phev队列跟驰控制与能量管理的协同优化及多工况自适应切换,在保障行车安全与乘坐舒适的前提下,显著降低队列综合油耗与污染物排放。
2、本发明提供的一种基于生态驾驶的多智能体强化学习phev队列协同控制方法,包括以下步骤:
3、s1.构建phev队列的车辆纵向动力学模型;
4、s2.构建基于bp神经网络的工况识别器,并构建工况数据库,所述工况数据库包括城市、郊区以及高速三种典型驾驶工况,从工况数据库中提取数据并输入至工况识别中进行离线训练;
5、s3.将各个跟随车辆作为智能体,构建maddpg协同控制模型,并由不同工况下的样本参数对maddpg协同控制模型进行离线训练;
6、s4.获取当前时刻前设定时间段的特征参数并输入至工况识别器中预测当前时刻未来设定时间段的工况标签;
7、s5.maddpg协同控制模型根据步骤s4中得到工况标签选择对应的网络参数,并将第i个智能体的状态向量并输入至maddpg协同控制模型中预测得到第i个智能体的加速度和发动机功率预测值;
8、s6.将第i个智能体的加速度预测值代入至车辆纵向动力学模型中得到第i个车辆所需的驱动力,并基于驱动力和发动机功率预测值控制phev运行。
9、进一步,所述车辆动力学模型具体为:
10、;
11、其中:ft表示车辆在行驶过程中所需的驱动力,m、g、f、α分别为车辆的整车整备质量、重力加速度、滚动阻力系数和道路坡度角;ρa 为空气密度;cd空气阻力因数;a为车辆的迎风面积;u为车辆的行驶速度,δ为车辆的旋转质量换算系数。
12、进一步,步骤s2中,构建工况数据库具体包括:
13、获取驾驶工况原始数据,包括平均速度、最大速度、速度标准差、加速度、最大加速度、加速度标准差、平均减速度、怠速时间比、加减速比例;
14、将原始工况数据划分为若干个数据段,一个数据段构成一个原始数据矩阵;
15、计算原始数据矩阵中任意两个参数之间的pearson 相关系数,并由pearson 相关系数构成特征矩阵;
16、对特征矩阵进行pca特征值分解,计算各主成分贡献率以及前p个主成分的累积贡献率:
17、各主成分贡献率具体为:
18、;
19、前p个主成分的累积贡献率为:
20、;
21、其中:φk为第k个主成分的贡献率;ψp为前p个主成分的累计贡献率;λk为第k个主成分对应的特征值;λi为第i个主成分对应的特征值;m为原始特征参数数量;p为选取的主成分数量;
22、设定累积贡献率阈值ψth,选择ψp≥ψth的最小主成分数量p,将原始特征数据投影至前p个主成分构成的特征子空间,得到降维后的工况样本;降为后的工况样本采用som-k-means进行聚类处理,得到三种典型驾驶工况样本。
23、进一步,对于第i个跟随车辆,采用固定车间时距对空气阻力系数进行修正:
24、;
25、其中:cd,i表示第i辆跟随车的空气阻力系数,cd,0表示领航车的空气阻力系数,di表示车辆i与前车的实际车间距离,c d1和c d2表示通过实验拟合得到的车间距系数。
26、进一步,所述maddpg协同控制模型中,定义动作空间为ai,所述ai表示第i个跟随车的动作空间:
27、;其中,a1,i和a2,i表示智能体输出的两个连续动作,分别对应第i个跟随车的加速度和发动机功率,经过tanh函数限制在[−1,1]区间内,并通过与相应映射系数相乘转换为实际控制量,具体为:
28、;
29、其中:ai表示第i个智能体输出的加速度预测值,pe,i表示第i个智能体输出的发动机功率预测值,amax为跟随车允许的加速度最大值,pe,max为跟随车发动机功率最大值;
30、所述maddpg协同控制模型的状态空间为:
31、;
32、其中:vi-1为第i个跟随车的前车的车速,soci为第i辆跟随车的动力电池荷电状态;di为第i个跟随车与前车之间的车间间距,di为第i辆跟随车已行驶的里程与总里程的比值。
33、进一步,所述maddpg协同控制模型的建立函数具体为:
34、;
35、其中:ṁtotal,i表示第i辆跟随车的瞬时等效总燃油消耗率,单位为g/s;ṁfuel,i表示第i辆跟随车发动机的瞬时燃油消耗率,单位为g/s;ṁeq,i表示第i辆跟随车电动机能量消耗折算得到的瞬时等效燃油消耗率,单位为g/s。
36、;
37、;
38、;
39、其中:rtotal为队列协同控制的总目标;reco表示队列纵向控制目标奖励函数,其包含前车与跟随车的车速差值项rev、前车与跟随车之间的车间距离与期望距离的差值项res、跟随车的舒适性指标项rjerk以及惩罚项rcon,惩罚项rcon包括跟随车车速小于0的惩罚项rv,con以及跟随车与前车碰撞惩罚项rs,con;rems表示能量管理目标奖励函数,能量管理目标奖励函数rems包括瞬时等效燃油消耗项rfuel、瞬时总排放量项remis、soc偏差惩罚项rsoc;ṁco,i、ṁnox,i和ṁhc,i分别表示第i辆跟随车发动机co、nox和hc污染物的瞬时质量排放率,单位均为g/s;ṁco,i+ṁnox,i+ṁhc,i表示第i辆跟随车在当前时刻的瞬时总污染物排放率;和分别表示相应燃油消耗或污染物排放指标在归一化数据范围内的最大值和最小值,用于将不同量纲和数值尺度的能耗及排放指标进行归一化处理。
40、进一步,所述期望车间间距通过如下方法确定:
41、;
42、其中:ddes,i(t)表示车辆i与前车在t时刻的期望车间距离,τh表示固定车间时距,d0为静止时的车间距离,vi (t)为第i辆跟随车在t时刻的车速。
43、进一步,还包括跟随车辆加速度与车辆间距约束:
44、。
45、本发明的有益效果:通过本发明,通过驾驶工况特征降维聚类与bp在线识别构建工况感知链路,结合maddpg多智能体强化学习实现phev队列跟驰控制与能量管理的协同优化及多工况自适应切换,在保障行车安全与乘坐舒适的前提下,显著降低队列综合油耗与污染物排放。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com