基于前瞻感知和深度强化学习的航空发动机主动减振方法

摘要: 本发明涉及航空装备产业领域,特别涉及基于前瞻感知和深度强化学习的航空发动机主动减振方法。背景技术:1、航空发动机在全工况运行过程中,受转子不平衡、气动激励及结构...
基于前瞻感知和深度强化学习的航空发动机主动减振方法

本发明涉及航空装备产业领域,特别涉及基于前瞻感知和深度强化学习的航空发动机主动减振方法。

背景技术:

1、航空发动机在全工况运行过程中,受转子不平衡、气动激励及结构模态耦合等因素影响,常出现复杂振动响应。振动过大会降低结构寿命,严重时引发系统失效,因此振动抑制是航空发动机可靠运行的关键技术需求之一。

2、现有主动振动控制方法多采用反馈控制框架,其本质是“事后补偿”机制:传感器检测到振动信号后,控制器才做出响应并驱动执行机构施加抑振力。这种机制存在不可避免的相位滞后,控制动作总是落后于振动的发生。在工况平稳时这种滞后尚可接受,但在工况快速变化或发动机运行接近共振区域时,滞后效应导致控制力与振动波形相位对不上,控制效果显著下降,甚至可能加剧振动。此外,传统控制器参数固定,难以自适应发动机全工况下的非线性特性。

3、近年来,基于数据驱动的振动预测方法取得一定进展,能够利用历史运行数据预测未来振动趋势。然而,现有预测方法大多停留在开环预警层面:预测结果仅用于状态监测或故障预警,并未直接融入主动控制决策。预测模块与控制器相互独立,预测所包含的前瞻性信息无法被控制器利用以提前采取行动,因此本质上仍无法克服反馈控制的相位滞后问题。

4、因此,需要一种将振动预测直接融入控制决策的方法:一方面建立预测信息到控制器的传递通道,使控制器在决策时能感知未来振动趋势;另一方面建立驱动控制器主动利用预测信息的优化激励机制,使控制器学会在振动峰值到来之前提前输出抑振动作,从根本上克服反馈控制的相位滞后性。

技术实现思路

1、为了解决上述技术问题,本发明提供一种算法简单、减振效果好的基于前瞻感知和深度强化学习的航空发动机主动减振方法。

2、本发明解决上述技术问题的技术方案是:基于前瞻感知和深度强化学习的航空发动机主动减振方法,包括以下步骤:

3、步骤1:在航空发动机机匣或轴承座处布置振动传感器,采集反映机体振动响应的加速度信号,并同步获取运行工况参数;

4、步骤2:对采集的加速度信号进行带通滤波和去均值预处理,采用滑动窗口方式逐控制周期提取振动特征,形成振动特征向量,并构造历史振动特征序列;

5、步骤3:将历史振动特征序列与运行工况参数输入预先训练的振动特征预测网络,输出预测振动特征序列;

6、步骤4:基于预测振动特征序列构造控制状态,控制状态经最大熵深度强化学习算法输出高斯分布参数并采样得到中间动作,再经双曲正切函数映射得到有界连续的控制量:

7、步骤5:对控制量进行幅值限幅后,经功率放大器线性映射为驱动电压,驱动电压施加于压电执行器,压电执行器贴附于航空发动机机匣或轴承座处,通过逆压电效应产生用于减振的机械作用,从而对航空发动机施加控制作用。

8、上述基于前瞻感知和深度强化学习的航空发动机主动减振方法,所述步骤1中,运行工况参数包括时刻的转速、推力指令、温度和压力,并由换算得到时刻的转频,;通过统一时戳对齐,使同一控制周期内的加速度信号与运行工况参数对应同一运行状态。

9、上述基于前瞻感知和深度强化学习的航空发动机主动减振方法,所述步骤2中,滑动窗口长度覆盖至少4个振动周期,在每一滑动窗口内,对窗口信号提取时域特征、频域特征和阶次特征;

10、时域特征采用均方根特征,满足:

11、;

12、其中,为时刻所取滑动窗口内的均方根;为滑动窗口的时间点数量;为时刻所取滑动窗口内第个时间点的振动信号;为时间点的序号;

13、频域特征采用给定目标频带内的频带能量特征,满足:

14、;

15、其中,为时刻所取滑动窗口内的振动信号在频带内的能量;为给定目标频带的最小频带;为给定目标频带的最大频带;为离散傅里叶变换第个频率分量对应的频率值;为频率分量的序号;为时刻所取滑动窗口内的振动信号经离散傅里叶变换得到的第个频率分量对应的结果;为的模,表示的是第个频率分量的振幅大小;

16、阶次特征采用与转频同步更新的阶次能量特征,满足:

17、;

18、其中,表示第个目标阶次的能量;为目标阶次序号;为阶次邻域带宽;为时刻的转频。

19、上述基于前瞻感知和深度强化学习的航空发动机主动减振方法,所述步骤2中,将时域特征、频域特征和阶次特征按预设顺序拼接,形成时刻的振动特征向量,并进一步构造长度为的时刻的历史振动特征序列:同时构造与对应的长度为的时刻的运行工况序列。

20、上述基于前瞻感知和深度强化学习的航空发动机主动减振方法,所述步骤3中,振动特征预测网络采用长短期记忆网络,振动特征预测网络的训练样本由时序数据通过滑动窗口方式自动构造,具体构造方式为:在历史运行数据上逐步滑动窗口,取时刻的历史振动特征序列与时刻的运行工况序列作为输入,取时间轴上紧邻的未来个时刻真实振动特征序列作为监督标签,为预测总时刻,窗口每次向后移动一步,由此在一段历史运行数据上自动生成训练样本;未来个时刻真实振动特征序列,为时刻的真实振动特征,为时刻的真实振动特征;

21、采用加权均方误差损失对振动特征预测网络的参数进行训练:

22、;

23、其中,为加权均方误差损失;为预测时刻的真实振动特征的加权系数;为预测时刻的索引;为时刻的振动特征向量;为时刻的真实振动特征;为范数的平方;

24、为避免控制状态维度随增大而成倍增加,对进行聚合处理,得到时刻的聚合特征;

25、时刻的聚合特征通过对真实振动特征求均值得到:

26、。

27、上述基于前瞻感知和深度强化学习的航空发动机主动减振方法,所述步骤4中,最大熵深度强化学习算法包括第一价值网络、第二价值网络和策略网络,策略网络和价值网络均采用全连接结构,隐含层2层,每层64个神经元,激活函数为relu;将时刻的振动特征向量、时刻的聚合特征直接引入强化学习决策过程,使控制器在每一时刻不仅感知当前振动状态,同时感知未来振动趋势,从而形成由振动特征预测网络指向策略网络的信息传递通道;

28、将作为控制状态的组成部分,构造完整的控制状态:

29、;

30、其中,为时刻的控制状态;为时刻的振动特征向量;为时刻的聚合特征;为时刻的运行工况;为时刻实际执行的控制量;为时刻相对时刻的控制变化率。

31、上述基于前瞻感知和深度强化学习的航空发动机主动减振方法,所述步骤4中,在最大熵深度强化学习的即时奖励函数中引入预测振动代价项,以建立驱动控制器主动利用预测信息的优化激励机制,即时奖励满足:

32、;

33、其中,为时刻的即时奖励;为当前振动代价项,用于惩罚当前时刻振动水平;为当前振动代价项的权重系数;为预测振动代价项;为预测振动代价项的权重系数;为其他可选惩罚项;

34、预测振动代价项用于惩罚未来个时刻预测振动水平,满足:

35、;

36、其中,为预测总时刻;为预测时刻的索引;为时刻的真实振动特征;为的转置;为半正定权重矩阵。

37、上述基于前瞻感知和深度强化学习的航空发动机主动减振方法,所述步骤4中,在策略网络训练阶段,每个训练步按以下流程执行:

38、第一步,策略网络根据控制状态输出动作分布参数并完成采样:

39、;

40、;

41、其中,为时刻策略网络输出的未界定中间动作;为高斯分布;为时刻的控制状态;为策略网络输出的均值;为策略网络输出的标准差;为时刻的控制量;为双曲正切函数;

42、第二步,在闭环训练环境中执行限幅控制量后获得时刻的即时奖励与时刻的控制状态,将四元组存入经验回放池;

43、第三步,从经验回放池中随机采样批量数据,计算时刻价值网络更新目标值:

44、;

45、其中,为时刻价值网络更新目标值;为时刻的即时奖励;为折扣因子;为取最小值函数;为与第一价值网络相对应的第一目标价值网络;为与第二价值网络相对应的第二目标价值网络;为时刻的控制状态;为时刻的控制量,由当前策略网络根据下一状态重新采样得到;为温度系数;为对数函数;表示结合和得到的有界策略分布密度;

46、第四步,以均方误差为损失函数更新价值网络,损失函数满足:

47、;

48、其中,为价值网络的均方误差损失函数;为期望运算符;为第一价值网络;为第二价值网络;

49、第五步,以如下目标函数对策略网络的可训练参数进行梯度上升更新:

50、;

51、其中,为熵函数;为取最大值函数;表示结合得到的有界策略分布密度;为策略网络的可训练参数;

52、第六步,通过软更新机制同步目标网络参数:

53、;

54、其中,为两个目标价值网络的参数;为两个价值网络的参数;为软更新系数。

55、上述基于前瞻感知和深度强化学习的航空发动机主动减振方法,所述步骤5中,首先,对控制量进行幅值限幅处理:

56、;

57、其中,为时刻的控制量;为控制量的最小值;为控制量的最大值;为限幅后时刻的控制量;;为截断函数,表示当时取,当>时取,否则保持不变;

58、然后,将限幅后的控制量经功率放大器线性映射为驱动电压:

59、;

60、其中,为时刻的驱动电压;为功率放大器增益。

61、本发明的有益效果在于:

62、1、本发明通过将聚合特征引入控制状态、在预测振动代价项引入即时奖励,使得策略网络在训练阶段可同时利用未来振动趋势信息与前瞻性代价约束,有利于使控制动作时间点相对于传统反馈控制前移,从而减小相位滞后带来的影响。

63、2、本发明的即时奖励同时考虑当前振动抑制与预测振动抑制,并可按需引入控制平滑性等附加惩罚项,控制器可在训练中完成多目标权衡,从而适应航空发动机工况快速变化的复杂减振场景。

64、3、本发明的振动特征预测网络采用滑动窗口自监督训练,样本与标签均可由历史运行数据自动构造,无需人工标注,有助于降低训练成本与工程部署门槛。