一种面向风洞强迫振动的频率无偏能量寻优与自整定控制方法

摘要: 本发明属于高频振动试验装置的频率自整定控制领域,涉及一种面向风洞强迫振动的频率无偏能量寻优与自整定控制方法。背景技术:1、在飞行器动态稳定性分析与气动特性辨识中...
一种面向风洞强迫振动的频率无偏能量寻优与自整定控制方法

本发明属于高频振动试验装置的频率自整定控制领域,涉及一种面向风洞强迫振动的频率无偏能量寻优与自整定控制方法。

背景技术:

1、在飞行器动态稳定性分析与气动特性辨识中,动导数通常采用风洞强迫振动试验进行测量。试验时,作动机构驱动模型产生小幅、高频周期运动,再根据模型表面压力、气动力矩或加速度响应辨识相应的动态气动参数。

2、压电陶瓷作动器响应速度快、输出力较大,适合用作高频振动装置的激励源。但在实际风洞环境中,压电陶瓷、柔性弹簧、振动头、弓子轴和试验模型组成的振动系统会受到气流脉动、结构模态变化、温度漂移及外界扰动影响,其等效质量、刚度和阻尼并非始终不变。参数一旦发生变化,系统的实际谐振频率也会随之偏移。若继续采用原设定频率,振动幅值和能量利用率往往都会下降。

3、练圣哲等人的专利《一种基于模糊pi的频率跟踪搜索方法》,公开号为cn111596544a、授权公告号为cn111596544b公开了一种基于模糊pi的频率跟踪搜索方法,通过换能器电压、电流相位差及其变化率调整输出频率。该方法能够减少全频段扫频,但需要提前设置隶属函数和模糊规则。换句话说,当被控对象或工作条件变化较大时,原有规则不一定还能准确适用。

4、现有专利cn110045612b《一种减摇鳍液压伺服模拟实验台的反步自适应控制方法》公开了一种减摇鳍液压伺服模拟实验台的反步自适应控制方法,通过构造虚拟控制量、李雅普诺夫函数和参数更新律实现轨迹跟踪。反步控制适合处理模型参数不确定和外界扰动问题,但它主要解决“怎样稳定跟踪给定轨迹”,不能仅凭振动能量反馈自主寻找最优驱动频率。

5、q学习可以把不同频率划分为离散状态,把升频、保持和降频设置为动作,再根据加速度响应更新q值,因此具备一定的频率自主寻优能力。不过,若q表状态只包含频率,就难以判断振动响应正在增大还是减小;若继续加入加速度、相邻窗口变化量和动作历史,q表规模又会迅速增加。普通q表对未访问状态的泛化能力也较弱,不便直接用于参数连续变化的工况。

6、sutton等人在文献《policy gradient methods for reinforcement learningwith function approximation》提出的actor-critic方法采用参数化策略和价值函数,其中actor负责输出动作概率,critic负责评价当前状态并指导策略更新。rusu等人在文献《policy distillation》提出的策略蒸馏方法,则可以把教师强化学习策略的动作概率传递给学生网络。但现有方法较少同时考虑振动能量奖励、反步辨识参数、频率安全边界、q表置信度、critic价值预训练以及教师退出条件,直接应用于本振动系统仍存在不足。

7、现有强化学习频率匹配方法通常直接以加速度幅值或其变化量作为寻优依据。然而,在近似正弦振动条件下,即使位移振幅不变,加速度幅值也会随频率平方增长。因此,直接奖励较大的加速度可能仅仅会升高因频率造成的响应放大误判,无法最大化谐振性能。另一方面,在质量、阻尼和刚度发生变化时,以绝对频率作为学习状态会使不同工况下的相似共振状态表现为不同状态,降低历史策略数据的可迁移性。现有技术尚未解决上述评价偏差与工况迁移问题在受限频率闭环控制中的共同作用。

技术实现思路

1、针对上述技术难点,本发明提供一种面向风洞强迫振动的频率无偏能量寻优与自整定控制方法。反步控制内环按照第一控制周期更新控制输入以及等效质量、等效阻尼和等效刚度的估计值;以q表强化学习为基础的频率决策外环按照第二控制周期计算理论谐振频率,将加速度数据转换为频率无偏的等效位移均方根值,并由q表教师决策器在安全搜索区间内生成频率搜索数据。频率搜索数据用于对actor-critic学生决策器的actor策略网络和critic价值网络进行预训练;预训练完成后,actor-critic学生决策器利用自主闭环轨迹继续训练,并在达到独立运行要求后退出q表教师决策器,实现多自由度高频运动模拟系统的谐振频率自整定和振动能量优化。

2、本发明的技术方案:

3、一种面向风洞强迫振动的频率无偏能量寻优与自整定控制方法,包括以下步骤:

4、第一步、反步控制内环更新等效质量、等效刚度和等效阻尼;

5、该频率无偏能量寻优与自整定控制方法通过多自由度高频运动模拟系统执行,该多自由度高频运动模拟系统主要由压电陶瓷、柔性弹簧、振动头、弓子轴和用于安装弓子轴的刚性平面构成;以压电陶瓷作为激励源,通过四根柔性弹簧传递激励源输出的力矩,实现振动头于轴和轴方向上的二维振动;同时,设置弓子轴与振动头固接的定点为全局惯性坐标系的原点,当压电陶瓷作动驱使柔性弹簧弯曲形变时,振动头与弓子轴相对转动所绕的轴为轴,同轴正交的方向为轴;目标振动方向为振动头绕经过原点的轴或轴做定轴高频转动;

6、对目标振动方向,建立等效质量-弹簧-阻尼动力学方程:

7、

8、式中,、和分别为目标振动方向的等效位移、等效速度和等效加速度;、和分别为等效质量、等效阻尼和等效刚度;为压电陶瓷作用于目标振动方向的等效控制力;为气流脉动、结构耦合和装配误差的合成扰动项,定义扰动估计值为,预设扰动误差上界为,扰动估计误差,满足;

9、定义目标振动方向的运动轨迹为、多自由度高频运动模拟系统的系统运动轨迹的位移误差为、多自由度高频运动模拟系统的系统虚拟速度控制量为、多自由度高频运动模拟系统的系统速度误差为:

10、

11、

12、

13、式中,,为多自由度高频运动模拟系统运动轨迹的位移误差反馈增益;为目标振动方向的运动轨迹的期望速度;由此得到:

14、

15、

16、式中,为目标振动方向的运动轨迹的期望加速度;为系统运动轨迹的位移误差的变化率;为系统虚拟速度控制量的变化率;

17、令分别为等效质量、等效阻尼和等效刚度的估计值,反步自适应控制律为:

18、

19、式中,,为系统运动轨迹的位移误差的反馈系数;,为系统速度误差的反馈系数;,为鲁棒补偿系数;,为边界层厚度,用于抑制多自由度高频运动模拟系统的系统速度误差接近零时产生的抖振;为饱和函数,用于减小反步自适应控制律正负变化引起的高频振动;

20、定义等效动力学参数向量及其估计值:

21、

22、

23、定义与反步自适应控制律相匹配的回归向量:

24、

25、根据等效位移、等效速度和等效加速度构建多自由度高频运动模拟系统的动力学预测回归向量:

26、

27、定义相对应的动力学预测误差:

28、

29、更新等效质量、等效阻尼和等效刚度的估计值:

30、

31、式中,为对角正定自适应增益矩阵,包含,、和分别为等效质量的估计值、等效阻尼的估计值和等效刚度的估计值的更新增益,用于分别调节等效质量、等效阻尼和等效刚度的自主修正速度,当更新增益增大时,等效质量、等效刚度和等效阻尼的自主修正速度提高;,为动力学预测误差的修正权重;为多自由度高频运动模拟系统中等效质量、等效刚度和等效阻尼设置的工作区间;为投影算子,用于将等效质量、等效阻尼和等效刚度的估计值限制在工作区间内;用于利用动力学预测误差提高等效质量、等效刚度和等效阻尼的收敛速度;用于在李雅普诺夫函数求导时抵消等效动力学参数估计误差的向量与系统速度误差之间的耦合项,保证反步控制内环的稳定性;反步控制内环是多自由度高频运动模拟系统中的快速闭环控制部分,用于根据系统运动轨迹的位移误差和系统速度误差构造控制输入,并在线更新等效质量、等效阻尼和等效刚度的估计值;当等效质量通过称量或多自由度高频运动模拟系统的结构换算确定时,令,并更新等效阻尼的估计值和等效刚度的估计值;

32、将反步自适应控制律代入等效质量-弹簧-阻尼动力学方程,得到反步控制误差方程:

33、

34、式中,,为等效动力学参数估计误差的向量;为等效动力学参数估计误差引起的交叉项;为多自由度高频运动模拟系统的系统加速度误差;

35、其中,李雅普诺夫函数为:

36、

37、式中,为根据多自由度高频运动模拟系统构造的李雅普诺夫函数;

38、通过反步自适应控制律和对角正定自适应增益矩阵,使系统运动轨迹的位移误差、系统速度误差以及等效动力学参数估计误差保持有界;扰动估计值有界且的条件下,使系统运动轨迹的位移误差和系统速度误差收敛至由边界层厚度确定的邻域内;

39、将反步控制内环的控制周期设为第一控制周期,将以q表强化学习为基础的频率决策外环的周期设为第二控制周期,进行频率决策,并满足:

40、

41、式中,为第一控制周期的整数倍率;在每个第二控制周期内保持驱动频率不变,反步控制内环以第一控制周期更新控制输入和等效质量、等效刚度和等效阻尼的估计值;在第二控制周期结束时,向频率决策外环输出第一控制周期内的等效质量估计值、等效阻尼估计值和等效刚度估计值;

42、在频率决策外环保持压电陶瓷的基础激励幅值一致,并将等效质量、等效刚度和等效阻尼限制在预设范围内,便于频率决策外环寻找多自由度高频运动模拟系统的谐振频率。

43、第二步、利用等效质量、等效阻尼和等效刚度形成共振基准频率和安全搜索区间;

44、在第二控制周期内,以为时间步长,将采集的加速度数据整合为一个频率决策窗口;

45、根据第

t个频率决策窗口获得的等效质量、等效阻尼和等效刚度的估计值,计算当前工况下,多自由度高频运动模拟系统的理论谐振频率:

46、

47、式中,和分别为该频率决策窗口下的等效质量和等效刚度;

48、设定理论谐振频率为频率搜索的共振基准频率;定义多自由度高频运动模拟系统允许的最低驱动频率和最高驱动频率分别为和,二者范围内的频率区间为安全搜索区间,半宽为;安全搜索区间在以和为安全频率边界的区域内,以理论谐振频率为共振基准频率,为半宽,进行频率搜索;

49、为寻找不同等效刚度、等效阻尼和等效质量对应的工况之间的驱动频率的坐标差异,定义当前频率决策窗口下的驱动频率相对于共振基准频率的频率差值坐标为:

50、

51、式中,为防止分母为零的常数;为当前频率决策窗口下的驱动频率;

52、当等效质量的估计值、等效阻尼的估计值或等效刚度的估计值发生变化时,重新计算理论谐振频率、最低驱动频率和最高驱动频率;

53、以为安全搜索区间的起始频率,为频率步长,离散为个频率等级:

54、。

55、第三步、频率无偏的物理评价量换算;

56、以理论谐振频率为共振基准频率,利用设置在目标振动方向上的加速度传感器,采集每个频率决策窗口内的个加速度采样点采集的加速度数据,并将其转换为频率无偏的等效位移均方根值,将基于q表强化学习的决策器定义为q表教师决策器,将频率无偏的等效位移均方根值设定为q表教师决策器搜索真实工况下的驱动频率;

57、每个频率决策窗口包含个加速度采样点,对第个频率决策窗口采集的加速度数据进行均方根化,得频率无偏的等效位移均方根值为:

58、

59、式中,为第个频率决策窗口的加速度平方值;

60、对于以驱动频率为主要频率成分的近似正弦振动,加速度均方根值换算为频率无偏的等效位移均方根值:

61、

62、式中,为频率无偏的等效位移均方根值;

63、根据采集的加速度数据确定频率无偏的等效位移均方根值的最大振幅和最小振幅,对进行单调区间归一化处理:

64、

65、式中,为基准偏置,保证分母恒大于分子;为相邻频率决策窗口的归一化振动幅值,于0到1区间内探索;为限幅计算,保障获取0到1区间内的数据;

66、定义相邻频率决策窗口的频率无偏的等效位移的变化量为;

67、第个频率决策窗口的q表教师决策器的即时奖励设置为:

68、

69、式中,、、、和均为非负权重;为q表教师决策器的动作;为连续执行相同升频动作或相同降频动作,但频率无偏的等效位移均方根值未提高时产生的重复调频惩罚;为触及或越过安全搜索区间的安全频率边界的安全代价。

70、第四步、q表教师决策器产生频率搜索数据;

71、设置q表教师决策器内包含动作集合,将动作集合中的动作划分为3个频率等级:

72、

73、其中,表示降低一个频率等级,0表示保持当前频率等级,表示升高一个频率等级;

74、根据频率调整q表教师决策器的动作,得到候选驱动频率:

75、

76、实际执行的下一个驱动频率为:

77、

78、当候选驱动频率超出当前频率的限定范围时,实际执行的下一个驱动频率强制输出为多自由度高频运动模拟系统允许的最低驱动频率或最高驱动频率,同时通过对候选驱动频率超出当前频率的限定范围的动作进行负向评价;

79、定义q表教师决策器中第

t个频率决策窗口的q表状态:

80、

81、式中,根据离散的个频率等级,为频率差值坐标的分级函数,将频率差值坐标进行等级划分;为归一化频率无偏的等效位移均方根值的分级函数,对频率无偏的等效位移均方根值进行等级划分;为频率无偏的等效位移的变化量的分级函数,对频率无偏的等效位移的变化量进行等级划分;为q表状态编码函数,为q表教师决策器的q表状态进行编码操作;

82、因q表状态随时间迭代更新,定义q表教师决策器的q表状态更新规则为:

83、

84、式中,为q表教师决策器的折扣因子,控制q表教师决策器取预估的q表状态对上一步q表状态的影响;为q表教师决策器工作的真实终止标志,标志q表状态更新停止;为安全频率边界内的动作集合;为取当前q表状态下,安全频率边界内,动作集合中最大的q表教师决策器的即时奖励对应的驱动频率;为逐次学习递减的学习率,用于控制新的频率决策窗口下的q表状态对于上一步q表状态的影响大小;

85、当时,从动作集合中移除频率等级为-1的动作;当时,从动作集合中移除频率等级为+1的动作;保持动作始终在以和为安全频率边界的安全搜索区间内进行;

86、以在安全搜索区间内的动作作为安全动作,由q表教师决策器的q表状态更新规则,得到q表教师决策器的安全动作的概率为:

87、

88、式中,,为q表教师决策器的安全动作的概率的温度系数,将q表状态转换为安全动作的概率时,用于调节安全动作的概率的分布集中程度,不表示实际物理温度;为q表教师决策器的安全动作的掩码;为求和时遍历动作集合的安全动作掩码;为求和时遍历动作集合的q表状态;

89、actor-critic学生决策器由actor策略网络和critic价值网络构成,用于接收q表教师决策器的q表状态;为避免q表教师决策器因次数采样和动作执行不足而导致q表状态更新不充分,进而向actor-critic学生决策器传递过强约束,根据q表教师决策器对q表状态访问的次数和安全动作的概率共同确定q表教师决策器的置信度:

90、

91、式中,当三个频率等级的动作的概率均为时,;当q表教师决策器确定一个动作时,接近1;

92、q表教师决策器频率搜索数据至少包括:

93、

94、其中,为q表教师决策器频率搜索数据;为第

t个频率决策窗口中actor-critic学生决策器的九维输入状态向量;为第

t个频率决策窗口下的q表状态与动作的组合;为第

t个频率决策窗口下所有频率等级中振幅最大的动作;用于标记本次q表教师决策器是否因运行时间达到第二周期预设上限而结束的标志。

95、第五步、actor-critic学生决策器获得策略及价值初始化;

96、对等效质量的估计值、等效阻尼的估计值和等效刚度的估计值进行高斯标准化,并分别得到;

97、

98、式中,为第t-1个频率决策窗口中动作的三维独热编码;第

t个频率决策窗口下所有频率等级中振幅最大的动作,仅作为监督actor-critic学生决策器训练的标签,不作为输入状态;actor策略网络包括九维输入层、含32个神经元的第一隐层、含32个神经元的第二隐层和三维动作分数输出层;将actor策略网络输出的动作分数记为,其安全动作的概率为:

99、

100、其中,为actor策略网络参数;为actor策略网络根据输出的动作的分数;为actor策略网络针对输出动作设定的动作分数;为对该动作的分数进行自然指数运算;

101、critic价值网络包括九维输入层、含64个神经元的第一隐层、含64个神经元的第二隐层和一维状态价值输出层,其输出记为,其中,为critic价值网络参数;

102、根据q表教师决策器的置信度设置样本权重:

103、

104、式中,为q表教师决策器的置信度设置样本权重的下边界;

105、以q表教师决策器的安全动作的概率作为软标签,构造actor软概率蒸馏损失:

106、

107、以q表教师决策器振动幅值最大的安全动作作为硬标签,构造actor最佳动作模仿损失:

108、

109、利用actor软概率蒸馏损失和actor最佳动作模仿损失,构建actor策略网络的预训练损失:

110、

111、式中,为q表教师决策器频率搜索数据的数据数量;为actor策略网络在九维输入状态向量下选择q表教师决策器振动幅值最大的安全动作的概率;和分别为actor软概率蒸馏损失和actor策略网络输出动作下actor最佳动作模仿损失的权重;

112、将q表教师决策器生成的数据按照时间顺序划分为完整运行数据序列,并从完整运行数据序列末端,以不同actor-critic学生决策器的折扣因子,向前计算actor-critic学生决策器各时刻的折扣累计奖励,重新排列数据;

113、当本次折扣累计奖励的计算仅因达到运行时间而截断时,利用q表教师决策器的q表状态运行完整运行数据序列结束后尚未获得的折扣累计奖励:

114、

115、构造critic经验回报损失和q表辅助价值损失:

116、

117、

118、其中,为用于降低错误奖励数据对critic价值网络训练影响的huber损失函数;

119、由critic经验回报损失和q表辅助价值损失得到critic预训练损失:

120、

121、式中,为critic经验回报损失的权重,为q表辅助价值损失的权重,且,q表教师决策器的q表状态用于辅助q表辅助价值损失的初始化。

122、第六步、根据真实闭环性能退出q表教师决策器。

123、当actor-critic学生决策器无法独立进行决策时,需要通过q表教师决策器进行辅助训练;将actor-critic学生决策器与多自由度高频运动模拟系统直接交互,生成用于训练actor-critic学生决策器的自主闭环轨迹:

124、将第个频率决策窗口的q表教师决策器的即时奖励与下一个频率决策窗口的actor-critic学生决策器的九维输入状态向量的未来折扣累计奖励的预估值相加,再减去当前频率决策窗口的actor-critic学生决策器中critic价值网络的输出,得到价值预测偏差;

125、根据价值预测偏差,从完整运行数据序列末端向前递推,计算优势估计值:

126、

127、式中,表示第

t个频率决策窗口的优势估计值;为下一步优势估计值的调节系数,用于控制后续频率决策窗口的优势估计值差异对当前优势估计值的影响;actor策略网络根据提高大于0的动作选择概率,降低小于0的动作选择概率;

128、将当前critic价值网络输出与优势估计值之和作为本次训练的固定价值目标,通过减小critic价值网络输出与固定价值目标之间的huber损失,更新critic价值网络参数;

129、在多自由度高频运动模拟系统对actor-critic学生决策器训练初期,保留actor软概率蒸馏损失;第

n轮训练的q表教师决策器的约束折扣因子逐轮递减;其中,为actor软概率蒸馏损失的约束系数,控制q表教师决策器对actor-critic学生决策器的影响占比;为衰减系数,控制q表教师决策器退出actor-critic学生决策器的快慢;

130、actor-critic学生决策器的联合损失:

131、

132、

133、

134、式中,为actor策略网络的联合训练损失,由actor策略网络的自主强化损失、actor软概率蒸馏损失和平均策略熵组成;为critic价值网络的联合训练损失,由critic价值网络的自主强化损失和q表辅助价值损失组成;和分别为根据自主闭环轨迹得到的策略损失和价值损失;为actor-critic学生决策器的平均策略熵,用于表示actor-critic学生决策器输出的安全动作的概率的分散程度;当降低一个频率等级、保持当前频率等级和升高一个频率等级的概率较为接近时,表示actor-critic学生决策器的actor策略网络仍保留较强的探索能力;当某一频率等级的动作的概率明显高于其他频率等级的动作时,表示actor策略网络趋于确定;为actor软概率蒸馏损失的权重;为平均策略熵平均值的权重,用于调节actor-critic学生决策器的平均策略熵在q表教师决策器和actor-critic学生决策器的作用强度,越大,actor-critic学生决策器越倾向于随机生成动作,避免过早固定选择某一动作,越小,actor策略网络越侧重于依据优势估计值调整各个频率的安全动作的概率;当时,平均策略熵不参与q表教师决策器和actor-critic学生决策器的计算;

135、q表教师决策器的退出,不仅根据actor-critic学生决策器的训练次数确定,还根据连续个独立评价周期内获得的平均折扣累计奖励、频率无偏的等效位移均方根值以及不安全动作的概率共同确定;其中,独立评价周期是暂停actor策略网络和critic价值网络的参数更新,使q表教师决策器和actor-critic学生决策器分别在相同的驱动频率、相同的运动轨迹、相同的安全搜索区间以及相同的运行时间预设上限下,独立控制多自由度高频运动模拟系统运行一次,并分别记录运行过程中产生的即时奖励、频率无偏的等效位移均方根值和不安全动作数量;每完成一次控制多自由度高频运动模拟系统运行,记为一个独立评价周期;设定actor-critic学生决策器和q表教师决策器的平均折扣累计奖励分别为和,频率无偏的等效位移均方根值分别为和,不安全动作的概率分别为和;当actor-critic学生决策器的平均折扣累计奖励不低于q表教师决策器平均折扣累计奖励的允许比例、actor-critic学生决策器的频率无偏等效位移均方根值不低于q表教师决策器相应的频率无偏的等效位移均方根值的允许等效位移比例,并且actor-critic学生决策器的不安全动作的概率未超过q表教师决策器不安全动作的概率与允许安全概率偏差之和时,actor-critic学生决策器在控制平均折扣累计奖励、频率无偏的等效位移均方根值和不安全动作概率三个方面达到独立运行要求;并且经过个独立评价周期,上述条件成立时,教师约束权重为0,停止读取q表教师决策器的动作概率、q表状态和q表教师状态,退出q表教师决策器;其中,教师约束权重是在actor-critic学生决策器训练过程中,用于调节q表教师决策器频率搜索数据在actor策略网络联合训练损失和critic价值网络联合训练损失中所占比例的无量纲系数,为允许奖励偏差,为允许等效位移偏差;

136、q表教师决策器退出后,actor-critic学生决策器使用自身产生的自主闭环轨迹数据继续训练和控制;训练结束时保存actor-critic学生决策器的等效质量、等效阻尼、等效刚度、actor-critic学生决策器的九维输入状态向量、安全频率边界、频率步长和安全动作掩码;在线部署时,仅保留actor-critic学生决策器,由其根据当前共振基准频率和频率无偏的等效位移输出降低一个频率等级、保持当前频率等级和升高一个频率等级的动作。

137、本发明的有益效果:

138、第一,本发明将频率决策窗口内的加速度均方根值换算为频率无偏的等效位移均方根值,实现不同驱动频率下的振动响应在统一等效位移尺度上的比较,从而使即时奖励与目标振动方向上的位移响应和机械能量变化建立对应关系。

139、第二,本发明利用反步控制内环在线更新等效质量、等效阻尼和等效刚度的估计值,并据此计算理论谐振频率、确定安全搜索区间和构造频率差值坐标。当等效动力学参数发生变化时,频率搜索中心和actor-critic学生决策器的九维输入状态向量同步更新,提高不同参数工况下频率搜索数据的连续性和可利用性。

140、第三,本发明利用q表教师决策器频率搜索数据对actor策略网络和critic价值网络分别进行预训练,并通过q表教师决策器的置信度调节不同频率搜索数据的训练权重。actor-critic学生决策器获得初始策略和状态价值估计能力后,再通过自主闭环轨迹进行强化训练;当其连续满足独立运行要求时,教师约束权重置为零,由actor-critic学生决策器独立完成频率调整,兼顾频率搜索效率、控制精度和参数变化工况下的自适应能力。