高斯代理与TD3融合的多级感应线圈电机时序优化方法

摘要: 本发明涉及电机控制,具体涉及一种高斯代理与td3融合的多级感应线圈电机时序优化方法。背景技术:1、多级感应线圈电机由沿轴向依次排列的多级驱动线圈与一个可自由运动...
高斯代理与TD3融合的多级感应线圈电机时序优化方法

本发明涉及电机控制,具体涉及一种高斯代理与td3融合的多级感应线圈电机时序优化方法。

背景技术:

1、多级感应线圈电机由沿轴向依次排列的多级驱动线圈与一个可自由运动的电枢构成,各级线圈由独立的脉冲电源回路供电,依靠线圈脉冲电流在电枢中感应涡流,再由涡流与线圈磁场相互作用产生轴向电磁力推动电枢加速,级与级之间没有机械接触。由于各级线圈的通电时刻决定了电磁力在电枢行程上的分布,控制时序是决定电枢最大速度的关键变量。

2、现有的控制时序整定方式主要有三类。一类依靠人工试错,由工程人员按经验设定各级线圈的通电时刻,再逐次调整观察电枢速度的变化,其结果与调试人员的经验直接相关,且每调整一次都要重新执行一遍电磁-运动耦合仿真。一类采用遍历或正交试验,把各级通电时刻离散为有限个取值后组合寻优,随着线圈级数增加,组合数量按指数增长,在级数较多时所需的仿真次数超出可承受的计算预算。还有一类采用遗传算法、粒子群算法等启发式方法直接在仿真环境上寻优,这类方法每评估一个个体都要调用一次瞬态仿真,在有限的评估次数下难以充分探索连续参数空间。

3、针对仿真评估代价高的问题,现有技术中已有采用代理模型替代仿真的做法,即先用试验设计方法取若干样本点调用仿真,用样本训练一个可快速求值的回归模型,再在回归模型上执行寻优。这类做法把寻优的计算量从仿真转移到了模型求值,但代理模型自身与真实仿真之间存在偏差,寻优过程若完全在代理模型上进行,得到的结果可能落在模型偏差较大的区域;同时,多数代理模型只给出确定性的预测值,没有给出该预测的可信程度,难以判断哪些区域的预测需要回到真实仿真去核对。

4、因此,在多级感应线圈电机的控制时序整定这一具体情形下,如何在有限的仿真评估预算内于连续、高维且各维之间存在耦合的时序参数空间中稳定地找到使电枢最大速度最高的一组通电时间,是亟需解决的技术问题。

技术实现思路

1、本发明提出了一种高斯代理与td3融合的多级感应线圈电机时序优化方法,以解决在瞬态仿真评估次数受限的条件下,于连续且各维耦合的控制时序参数空间内确定使电枢最大速度最高的各级驱动线圈通电时间,并使寻优过程不因代理模型与真实仿真之间的偏差而失效的技术问题。

2、为解决上述技术问题,本发明提供了一种高斯代理与td3融合的多级感应线圈电机时序优化方法,包括以下步骤:

3、步骤s1:将多级感应线圈电机中各级驱动线圈的通电时间作为控制时序参数,在预设的参数可行域内生成多组初始控制时序,并逐组驱动场路耦合仿真系统执行瞬态仿真,采集各组初始控制时序对应的电枢最大速度,得到初始样本集;

4、步骤s2:对所述初始样本集进行标准化处理,并基于标准化后的所述初始样本集训练高斯过程回归模型,得到代理模型;

5、步骤s3:以所述代理模型输出的电枢最大速度预测值作为虚拟奖励,构建与所述场路耦合仿真系统等效的代理环境,并在所述代理环境中对双延迟深度确定性策略梯度智能体td3进行预训练,得到预训练智能体,所述双延迟深度确定性策略梯度智能体包括策略网络与两个价值网络;

6、步骤s4:将所述预训练智能体接入所述场路耦合仿真系统,由所述预训练智能体根据当前控制时序输出时序调整动作,将调整后的控制时序下发至所述场路耦合仿真系统执行仿真,采集所得的电枢最大速度作为真实奖励,并利用所述真实奖励更新所述预训练智能体的网络参数;

7、步骤s5:重复所述步骤s4直至满足预设的收敛条件,输出使所述电枢最大速度最高的控制时序。

8、优选地,所述控制时序参数为至共个通电时间,其中,为多级感应线圈电机的线圈级数,为1至的整数,为第级驱动线圈的通电时间;

9、在预设的参数可行域内生成多组初始控制时序的方法包括:设定各所述通电时间的取值边界以形成所述参数可行域,并采用拉丁超立方抽样在所述参数可行域内生成多组初始控制时序;

10、所述对所述初始样本集进行标准化处理的方法包括:剔除所述初始样本集中的异常样本,并按下式对所述控制时序参数进行标准化:

11、;

12、其中,为标准化前的控制时序参数,为控制时序参数的均值,为控制时序参数的标准差。

13、优选地,逐组驱动场路耦合仿真系统执行瞬态仿真的方法包括:

14、通过软件接口将各组初始控制时序逐组写入所述场路耦合仿真系统的时序控制参数,调用所述场路耦合仿真系统执行瞬态仿真并导出仿真结果,并从所述仿真结果所载的电枢速度时间历程中提取最大值作为对应的电枢最大速度;

15、对于瞬态仿真未成功完成的初始控制时序,不将其纳入所述初始样本集,并继续对下一组初始控制时序执行所述瞬态仿真。

16、优选地,所述高斯过程回归模型采用由matern核函数与白噪声核函数构成的复合核函数,所述复合核函数的超参数以最大化边际似然为目标,并结合多次随机重启的方式确定;将所述初始样本集划分为训练集与测试集,当所述代理模型在所述测试集上的决定系数和均方根误差满足设定阈值时,保存所述代理模型与所述标准化处理所用的标准化器。

17、优选地,所述策略网络的输出层采用双曲正切激活函数,并将所述输出层的输出映射为相对于当前控制时序不超过设定阈值的时序调整量;

18、所述代理环境接收所述策略网络输出的时序调整动作,并输出所述代理模型对调整后的控制时序给出的电枢最大速度预测值作为所述虚拟奖励;

19、所述双延迟深度确定性策略梯度智能体还包括分别与两个所述价值网络对应的两个目标价值网络以及与所述策略网络对应的目标策略网络,两个所述目标价值网络与所述目标策略网络的初始参数分别与两个所述价值网络与所述策略网络的参数相同。

20、优选地,在所述代理环境中对双延迟深度确定性策略梯度智能体进行预训练的方法包括:

21、在所述策略网络输出的时序调整动作上叠加高斯探索噪声,并使所述高斯探索噪声的尺度随预训练的进行而衰减;

22、将由当前控制时序、时序调整动作、虚拟奖励和下一控制时序构成的经验元组存入经验回放缓冲区,当所述经验回放缓冲区内的经验数量达到批量采样大小后,从所述经验回放缓冲区中随机采样经验;

23、取两个所述目标价值网络的输出中的最小值构建目标值,并基于采样的经验与所述目标值按均方误差损失更新两个所述价值网络;

24、每完成两次两个所述价值网络的更新后更新一次所述策略网络,并按软更新方式同步两个所述目标价值网络与所述目标策略网络的参数。

25、优选地,在步骤s3之后,步骤s4之前,还包括以下步骤:

26、选取未参与所述代理模型训练的多组控制时序,分别通过所述代理环境得到虚拟电枢最大速度,通过所述场路耦合仿真系统得到真实电枢最大速度;

27、计算各组所述控制时序对应的虚拟电枢最大速度与真实电枢最大速度之间的相对偏差,当各组所述相对偏差均不大于设定阈值时保存所述预训练智能体,否则调整所述双延迟深度确定性策略梯度智能体的超参数并重复步骤s3。

28、优选地,步骤s3中还将所述代理环境内产生的经验存入虚拟经验缓冲区,步骤s4中还将所述预训练智能体与所述场路耦合仿真系统交互产生的经验存入实时经验缓冲区;

29、利用所述真实奖励更新所述预训练智能体的网络参数的方法包括:每次更新时从所述虚拟经验缓冲区与所述实时经验缓冲区中混合采样以构成训练批次,且所述实时经验缓冲区中经验的采样权重随步骤s4的重复次数增加而提高,并以所述训练批次对所述策略网络与两个所述价值网络进行联合梯度更新。

30、优选地,步骤s4还包括:设置历史最优电枢最大速度与历史最优控制时序,在每次重复步骤s4后,将所采集的电枢最大速度与所述历史最优电枢最大速度进行比较,并在所采集的电枢最大速度大于所述历史最优电枢最大速度时,将所述历史最优电枢最大速度更新为所采集的电枢最大速度,将所述历史最优控制时序更新为本次所使用的调整后的控制时序;

31、步骤s5中输出的使所述电枢最大速度最高的控制时序为所述历史最优控制时序。

32、优选地,所述步骤s5还包括:将所输出的控制时序以各级驱动线圈的通电时间的形式存储,并下发至多级感应线圈电机的时序控制器。

33、本发明的有益效果至少包括:

34、本发明用高斯过程回归模型替代瞬态仿真承担绝大部分评估,把寻优阶段的单次评估耗时从一次完整瞬态仿真的量级降到一次模型求值的量级,因而在同样的仿真预算下可以完成的策略探索次数大幅增加;由于高斯过程回归在给出电枢最大速度预测值的同时还给出该预测的标准差,预测标准差较大的区域可以被识别出来并交由真实仿真核对,寻优时不会停留在模型偏差较大的地方。

35、由于策略网络在代理环境中已经学到从当前控制时序到有利调整方向的映射,接入真实仿真后无需从随机初始策略重新开始探索,进入真实仿真的前若干次迭代已经处在合理的参数区域,真实仿真调用次数因而进一步减少;又由于策略网络的输出被约束为相对于当前控制时序的调整量而非时序本身,每次迭代只在当前解的邻域内移动,避免了在高维连续空间中的大步跳跃,从而电枢不会在某一级线圈处提前减速。

36、由于虚拟经验与实时经验被分别存放并按随迭代步数变化的权重混合成训练批次,策略在接入真实仿真后既保留了代理环境中学到的先验,又逐步以真实数据为准,参数更新不因两类数据分布的差异而剧烈震荡,也不因真实样本初期数量稀少而被淹没;如果单用虚拟经验则策略始终受代理模型偏差牵制,单用实时经验则初期样本不足以支撑稳定更新,二者按渐变权重混合后,策略的更新方向在整个在线阶段始终由数量足够且逐步靠拢真实分布的样本决定。

37、由于最优控制时序以各级驱动线圈通电时间的形式给出并可直接下发至时序控制器,寻优结果无需再经人工换算即可用于电机的实际时序设定。