一种面向混合动力系统模式切换的扭振抑制控制参数强化学习自整定方法
本发明属于混合动力汽车扭振控制与强化学习参数自整定领域,具体为一种面向混合动力系统模式切换的扭振抑制控制参数强化学习自整定方法。
背景技术:
1、随着混合动力汽车的推广应用,用户对车辆模式切换平顺性和乘坐舒适性的要求日益提高。混合动力系统在模式切换过程中,各动力源与传动系统之间存在复杂耦合关系,容易诱发传动系统扭转振动。精准协调动力源转矩输出,抑制模式切换过程中的传动系统扭振,实现车辆行驶平顺性和稳定性,是目前混合动力汽车整车控制领域的热点和难题。
2、现有的一些专利,如专利号为cn114771498a的发明专利提出了一种用于混合动力汽车模式切换的发动机转矩控制系统,通过需求转矩估计、电机负载转矩观测和发动机转矩反馈控制,实现发动机工况过渡过程中的转矩调节,改善发动机起动性能并减小转矩波动,但该方法主要围绕发动机转矩控制展开,缺乏对传动系统扭振响应的综合反馈以及控制参数的自适应整定。专利号为cn113602254a的发明专利提出了一种发动机启动与变速器换挡协调控制方法、装置及混合动力汽车,通过发动机启动请求判断、挡位切换边界修正以及发动机启动与变速器换挡时序协调,降低发动机启动和换挡耦合过程对整车平顺性的影响。但该方法重点在于发动机启动与变速器换挡协调控制,未针对模式切换过程中的传动系统扭振响应建立参数整定机制。
3、传统混合动力模式切换控制方法至少存在以下技术缺陷:
4、一、动力学建模方面。传统方法多采用简化模型或对每种模式单独建立固定参数模型,一方面难以准确描述传动轴弹性变形和系统阻尼特性,控制器设计缺乏精确物理依据,控制参数整定严重依赖经验试凑;另一方面不同模式切换状态下模型参数无法自适应调整,模式切换边界处容易产生模型跳变,影响控制参数的平滑过渡。二、基础控制器结构方面。传统基础扭振抑制控制器通常仅具备单一的转矩协调功能,难以有效补偿发动机因进气、喷油、燃烧等物理延迟导致的转矩建立滞后,同时缺乏根据传动系统扭振响应主动生成抑振转矩的能力,无法实现对扭转角速度振荡幅值的快速有效衰减。此外,传统控制器多采用固定控制参数,控制参数一旦标定完成即固化于控制器中,不具备随工况自适应调整的灵活性。三、控制参数整定方面。传统方法多采用固定控制参数,在标定工况下能够取得一定效果,但面对多变工况时容易出现适应性不足的问题。若电机主动阻尼系数和转矩过渡时间偏小,传动系统扭振难以有效衰减;若二者偏大,又可能引起转矩响应突变和纵向冲击。尤其在离合器磨损导致传动系统阻尼特性发生变化后,固定参数控制方法无法实现自适应补偿,难以满足混合动力汽车全生命周期和全工况下的平顺性要求。四、控制参数安全约束方面。现有自适应控制方法通常缺乏对整定后控制参数的有效安全约束机制,当参数整定策略输出异常或智能体输入状态信号失真时,失控的控制参数可能直接作用于执行器,导致电机过载、离合器传递转矩超限或传动轴承受过大载荷,存在严重的安全隐患。五、奖励函数设计方面。现有基于学习的控制方法中奖励函数设计较为单一,通常仅以单一目标(如仅抑制扭振或仅跟踪转矩)为导向,难以兼顾抑制扭振、减小冲击、保证转矩跟踪精度和限制控制量突变等多个相互冲突的控制目标,导致优化一个目标时往往引起其他控制目标性能劣化。
5、因此,亟需提出一种面向混合动力系统模式切换的扭振抑制控制参数自适应整定方法,根据模式切换状态和传动系统扭振响应自动调整关键控制参数,提高扭振抑制效果和动力传递平顺性。
技术实现思路
1、本发明提出一种面向混合动力系统模式切换的扭振抑制控制参数强化学习自整定方法,主要用于混合动力汽车在纯电驱动、发动机介入、混合驱动以及发动机退出等模式切换过程中,对传动系统扭振进行抑制。首先建立能够描述模式切换动态响应的动力学模型,然后设计基础扭振抑制控制器,最后利用强化学习智能体对基础控制器中的关键参数进行自适应整定,从而提高不同模式切换工况下的控制适应性和平顺性。
2、本发明的目的可以通过以下技术方案来实现:
3、一种面向混合动力系统模式切换的扭振抑制控制参数强化学习自整定方法,所述混合动力系统为并联p2混合动力系统,包括发动机、离合器、驱动电机、电机控制器、动力电池、电池管理系统、变速箱、传动轴、主减速器和车轮;动力电池通过电池管理系统为驱动电机供电,电机控制器调节驱动电机输出转矩,发动机输出转矩与驱动电机输出转矩在变速箱前进行耦合后,经变速箱、传动轴和主减速器传递至车轮;所述控制方法包括:
4、s1:建立混合动力系统模式切换动力学模型,对发动机、电机、离合器、传动轴及整车纵向动力学进行建模,分析纯电驱动、发动机介入、混合驱动以及发动机退出等过程转矩变化的耦合关系;
5、s2:根据模式切换过程中传动系统扭振响应,设计基础扭振抑制控制器,所述基础扭振抑制控制器包括转矩协调模块、动力源转矩补偿模块和电机主动阻尼模块,并将电机主动阻尼系数、动力源转矩补偿系数、转矩过渡时间和转矩变化率限制值作为可调控制参数,所述转矩过渡时间决定了转矩从当前值过渡至目标值的持续时间。
6、s3:构建强化学习智能体,将模式切换状态、动力源运行状态和传动系统扭振响应作为状态输入,将所述可调控制参数的修正量作为动作输出,并以降低传动系统扭振、减小纵向冲击和保持控制输入平滑为目标设计奖励函数;
7、s4:在多种模式切换工况下对强化学习智能体进行训练,获得不同模式切换状态下的控制参数自适应整定策略;
8、s5:将训练后的强化学习智能体用于混合动力系统模式切换控制,依据当前模式切换工况和传动系统扭振响应在线修正基础扭振抑制控制器的可调控制参数,并通过安全约束模块对输出参数进行限幅修正。
9、进一步地,所述步骤s1中的混合动力系统模式切换动力学模型采用集中参数法建立,将发动机、电机、离合器主动端、离合器从动端、传动轴和车轮等部件等效为多个集中惯量元件,并引入等效刚度和阻尼参数;该模型的动力学方程以矩阵形式描述各惯量元件的角位移、角速度和角加速度之间的耦合关系,方程中包含等效惯量矩阵、阻尼矩阵和刚度矩阵,这些矩阵根据不同的模式切换状态取相应的参数值;模型的输入包括发动机转矩、电机转矩、离合器传递转矩和负载阻力矩,分别通过对应的转矩输入矩阵作用于系统。通过求解该动力学方程,获得各惯量元件的角位移和角速度后,选取传动轴输入端和输出端对应的角位移分量,用于表征传动系统的扭转变形,进而定义传动系统扭转角和扭转角速度。
10、进一步地,所述步骤s2中的转矩协调模块用于生成模式切换过程中的发动机和电机基础目标转矩,其根据模式切换前发动机和电机转矩、模式切换后发动机和电机目标转矩以及转矩过渡时间,计算得到模式切换过程中的发动机和电机基础目标转矩;所述动力源转矩补偿模块根据动力源转矩补偿系数和发动机目标转矩,计算动力源转矩补偿量,用于补偿发动机转矩建立滞后引起的驱动转矩偏差;所述电机主动阻尼模块根据电机主动阻尼系数和传动系统扭振响应,生成电机主动阻尼补偿转矩,用于抑制传动系统扭振;所述模式切换基础扭振抑制控制器的输出转矩为发动机控制转矩和电机控制转矩,其中发动机控制转矩由发动机基础目标转矩构成,电机控制转矩由电机基础目标转矩、动力源转矩补偿量和电机主动阻尼补偿转矩叠加得到。
11、进一步地,所述步骤s3中的强化学习智能体以模式切换状态、动力源运行状态和传动系统扭振响应作为状态变量,以基础扭振抑制控制器中可调控制参数的修正量作为动作变量,并通过奖励函数评价控制参数整定效果;所述状态变量包括模式切换状态、发动机转速、电机转速、车辆需求转矩、车速、电池soc、传动系统扭转角、扭转角速度和车辆纵向加速度;所述强化学习智能体依据当前时刻的状态变量,通过其策略函数输出动作变量,即控制参数修正量矢量,该矢量包括电机主动阻尼系数修正量、动力源转矩补偿系数修正量、转矩过渡时间修正量和转矩变化率限制值修正量。所述奖励函数包括传动系统扭振惩罚项、纵向冲击惩罚项、转矩跟踪误差惩罚项和控制输入变化惩罚项,分别用于抑制扭振、降低冲击、保证转矩跟踪精度和限制控制量突变,各惩罚项乘以相应的权重系数后求和,并加上常数项构成最终的奖励值。
12、进一步地,所述步骤s5中,强化学习智能体输出控制参数修正量后,将预设基础控制参数矢量与智能体输出的控制参数修正量矢量相加,得到强化学习整定后的控制参数矢量,该矢量包括电机主动阻尼系数、动力源转矩补偿系数、转矩过渡时间和转矩变化率限制值。为避免强化学习输出参数超出执行器允许范围或引起控制异常,设置安全约束模块对更新后的控制参数进行限幅处理,使最终的控制参数始终处于预设的控制参数允许范围下限和上限之间。此外,当强化学习智能体输出异常、参数不满足安全边界或控制系统检测到转矩变化率超限时,控制系统切换至预设基础控制参数运行,以保证系统可靠性。
13、相比于现有技术,本发明的优点在于:
14、1. 基于集中参数统一建模,实现模式切换全过程扭振响应精确描述
15、本发明采用集中参数法建立混合动力系统模式切换动力学模型,将发动机、电机、离合器、传动轴和车轮等部件等效为多个集中惯量元件,并引入等效刚度和阻尼参数,能够准确描述纯电驱动、发动机介入、混合驱动及发动机退出等不同模式切换过程中转矩变化对扭振响应的影响规律。模型中等效惯量矩阵、阻尼矩阵和刚度矩阵可根据不同模式切换状态取相应参数值,同一模型框架覆盖离合器分离、滑摩、结合等不同传动构型状态,避免了模式切换边界处的模型跳变问题。该模型同时作为强化学习智能体离线训练的高保真交互环境,使智能体训练可主要基于动力学模型离线完成,仅在最终验证阶段辅以少量实车试验,从而大幅缩短开发周期并规避训练初期安全风险。
16、2. 三层协同基础控制架构,兼具本质抑振能力与参数可调灵活性
17、本发明设计的基础扭振抑制控制器将转矩协调、动力源转矩补偿和电机主动阻尼三个功能模块化分离。转矩协调模块将突变的转矩指令转化为平滑过渡轨迹,避免直接激励传动系统扭转振动;动力源转矩补偿模块由响应更快的电机弥补发动机因物理延迟导致的转矩建立滞后,保证轮端驱动转矩连续准确;电机主动阻尼模块根据传动系统扭转角速度生成反向补偿转矩,有效衰减扭转角速度振荡幅值,降低传动轴周期性交变应力。三个模块分别包含转矩过渡时间、动力源转矩补偿系数和电机主动阻尼系数等关键可调参数,共同构成强化学习整定对象,使控制器具备基本抑振能力的同时赋予参数随工况自适应变化的灵活性。
18、3. 多维度状态感知结合多工况训练,实现全域工况最优参数自适应整定
19、本发明选取状态变量涵盖模式切换状态、发动机转速、电机转速、车辆需求转矩、车速、电池soc、传动系统扭转角、扭转角速度和车辆纵向加速度共九类信息,从模式切换进程、动力源工作点、系统能量状态和扭振响应四个维度为智能体提供全面工况感知。训练阶段涵盖纯电驱动向混合驱动切换、发动机介入、混合驱动向纯电驱动切换、发动机退出以及不同驾驶员转矩需求下的动力源转矩交接过程,覆盖混合动力汽车实际使用的几乎所有模式切换场景。四个核心参数——电机主动阻尼系数、动力源转矩补偿系数、转矩过渡时间和转矩变化率限制值协同工作,从根本上解决了固定控制参数中“参数偏小则扭振难衰减、参数偏大则引起冲击”的两难困境。
20、4. 在线实时修正结合双重安全防护,保障全生命周期控制安全可靠
21、将训练后的强化学习智能体用于实车在线控制时,控制参数不再是在标定阶段固定的静态数值,而是随行驶工况变化及扭振响应波动动态调整。当离合器磨损导致传动系统阻尼特性变化后,智能体能够根据实际扭振响应自动调整参数,实现对传动系统性能衰减的自适应补偿。安全约束模块对更新后的控制参数进行限幅处理,确保四个核心参数始终处于安全范围内;同时设置智能体输出异常、参数超出安全边界、转矩变化率超限三种故障切换机制,任一条件触发时自动切换至预设基础控制参数运行,即使在智能体偶发失效或输入状态信号异常的极端情况下,车辆仍能可靠完成模式切换。
22、5. 多维度奖励函数精准锚定多目标,兼顾扭振抑制与驾乘舒适性
23、本发明设计的奖励函数包含传动系统扭振惩罚项、纵向冲击惩罚项、转矩跟踪误差惩罚项和控制输入变化惩罚项,分别精准对应抑制扭振、减小冲击、保证转矩跟踪精度和限制控制量突变四个核心控制目标。扭振惩罚项从根源上降低传动轴交变应力;纵向冲击惩罚项体现以驾乘舒适性为导向的控制理念;转矩跟踪误差惩罚项确保不牺牲转矩跟随精度;控制输入变化惩罚项避免参数频繁跳变引起系统非预期振荡。各权重系数可根据不同车型和工况需求灵活调整,有效兼顾了多个相互冲突的控制目标,具有极强的工程适用性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com