基于PPO的混合动力无人机功率分配优化方法

本发明涉及混合动力无人机能量管理、发动机-发电机组控制及强化学习控制，具体涉及一种基于ppo的混合动力无人机功率分配优化方法。

背景技术：

1、串联式混合动力无人机通常包括发动机、发电机、动力电池、直流母线、推进电机、飞行控制器和能量管理控制器。发动机驱动发电机向直流母线供电，动力电池承担发动机实际输出与实时需求功率之间的差额。需求功率随起飞、爬升、巡航、机动、载荷变化和环境扰动而变化，能量管理控制器需要在燃油经济性、电池荷电状态安全和动力系统平稳性之间进行协调。

2、基于规则的控制策略容易实现，但控制效果依赖阈值标定；基于模型的在线优化方法通常依赖较准确的系统模型，并需要在有限时间内求解优化问题。强化学习能够利用历史或仿真交互数据学习状态至动作的映射，但策略网络直接输出的动作可能违反发动机最小稳定运行功率、电池最大充放电功率和功率平衡等物理约束。仅通过奖励惩罚不能保证每个控制周期的动作均位于安全边界内。

3、此外，发动机允许停机功率为零，但在开机后存在最小稳定运行功率，其可行功率集合呈现“停机点与连续开机区间并存”的非连续特征。若对ppo动作简单限幅，可能使发动机功率指令落入零至最小稳定运行功率之间，或者在启动和停机阈值附近频繁切换。发动机动态响应还可能使第一次投影后的目标功率在下一底层控制周期不再满足更新后的电池可行范围。因此，需要一种将ppo功率优化能力与底层物理安全执行层结合，并能够明确处理可行域为空、实测功率偏差和训练/部署边界差异的功率分配方法。

技术实现思路

1、本发明的目的是提供一种旨在解决ppo直接功率输出与混合动力无人机动力系统物理约束之间不一致问题的基于ppo的混合动力无人机功率分配优化方法。

2、本发明采用如下技术方案：

3、一种基于ppo的混合动力无人机功率分配优化方法，在第个底层控制周期内依次执行下列步骤：

4、步骤1：按照底层控制周期采集电池荷电状态 、母线需求功率  和第个底层控制周期的发动机-发电机组实测功率 ；按照ppo决策周期，将当前状态输入预先训练的ppo策略网络，计算并更新连续动作，所述ppo决策周期大于底层控制周期，其余底层控制周期保持前一个底层控制周期的连续动作；

5、步骤2：对ppo策略网络输出的连续动作执行区间限制，并通过唯一的分段映射生成发动机原始请求功率 ；

6、步骤3：根据第个底层控制周期的soc保护模式和当前底层控制周期采集电池荷电状态 来更新当前soc保护模式；低soc保护模式和高soc保护模式对ppo功率意图具有覆盖优先级，正常soc保护模式下依据第个底层控制周期的实测发动机功率及不同的启动、停机阈值执行启停滞回，得到发动机请求功率 ；

7、步骤4：依据当前第个底层控制周期的需求功率、发动机功率边界以及电池充放电功率边界构造发动机-电池联合可行域，并对发动机请求功率进行第一次投影，得到发动机可行目标功率  和开停机标志 ；

8、步骤5：对开机目标执行一阶低通指令整形，并对整形结果执行第二次可行域投影，得到最终发动机功率指令 ；将 发送至发动机-发电机组底层控制器，采集发动机-发电机组实测功率 ，并按照 确定电池母线侧等效功率；将所述发动机-发电机组实测功率、电池母线侧等效功率及故障状态反馈至第个底层控制周期。

9、进一步的，所述底层控制周期为0.1s，所述ppo决策周期为1.0s。

10、进一步的，每个ppo决策周期的奖励总值为：

11、

12、其中，分别为油耗权重和soc偏离权重，为第  个ppo周期累计燃油消耗量，为第j个ppo决策周期时的soc值，为终端代价函数；

13、正常达到预定回合时长时，令。其中，为终端soc权重，为终端soc值；

14、提前终止时，令。其中，时间权重，作为终端代价每个回合只施加一次，新回合开始时复位终端标志。

15、进一步的，步骤2具体为：

16、首先，对动作执行区间限制：

17、

18、其中，为对ppo输出动作限制后的值，为底层控制器中进行计算的动作值；

19、随后，只进行一次发动机功率映射：

20、

21、其中，为功率映射值，为发动机-发电机组最大功率。

22、进一步的，步骤3中，当前soc保护模式通过如下方式确定：

23、令 表示第  个底层控制周期的soc保护模式，其中，、0和1分别表示低soc保护模式、正常soc保护模式和高soc保护模式，表示第个底层控制周期的soc保护模式；

24、（1）若为低soc保护模式，当达到退出阈值  时退出并令，否则保持＝-1；

25、（2）若为高soc保护模式，当降至退出阈值 时退出并令，否则保持＝1；

26、（3）若为正常soc保护模式，当不高于进入阈值时进入低soc保护模式并令＝-1，当不低于进入阈值时进入高soc保护并令 ＝1，否则保持＝0。

27、进一步的，步骤3中，发动机请求功率 通过如下方式确定：

28、1）低soc保护模式下，将 设置为 ；

29、2）高soc保护模式下，将 设置为0；

30、3）正常soc保护模式下，根据上一底层控制周期的实测发动机功率判断发动机是否运行：

31、

32、其中，为上一底层控制周期的发动机运行标志位，为功率测量和跟踪误差容限；

33、若 ，仅在 时请求停机，否则请求；若 ，仅在 时请求启动。

34、进一步的，步骤4中，当 时，所述发动机-电池联合可行域为，仅当停机点不可行且开机可行区间为空时，发动机-电池联合可行域为空；

35、所述开机可行区间为：

36、

37、其中，发动机开机最小运行功率，为发动机开机最大运行功率。

38、进一步的，当发动机-电池联合可行域为空时，定义并将非负的功率缺额 和故障状态码发送给飞行控制器，由飞行控制器执行推进功率降额、降低机动强度、返航或着陆。

39、进一步的，步骤4中，发动机目标功率和开停机标志 通过如下方法确定：请求开机且开机区间非空时，将目标功率限幅至开机区间并令 ；请求开机但开机区间为空、停机点可行时，将目标功率设为0并令 ；请求停机且停机点不可行、开机区间非空时，将目标功率设为发动机开机最小运行功率并令；停机点和开机区间均不可行时进入功率不足回退。

40、进一步的，步骤5中，发动机功率指令通过如下方式确定：

41、定义低通函数，低通整形结果采用分段形式，发动机最终的功率为：

42、。

43、当 时，最终发动机功率指令为 ；

44、当 时，执行第二次投影最终发动机功率指令为：

45、

46、本发明的有益效果在于：

47、（1）本发明中ppo仅输出单一发动机功率意图，电池等效功率由母线功率平衡关系确定，避免二维独立动作造成的功率指令不一致。

48、（2）本发明在soc保护模式的确定时使用不同的进入阈值和退出阈值，减少模式在边界附近反复切换。

49、（3）本发明的联合可行域显式表示停机点与开机连续区间，并按开停机状态确定投影分支，当联合可行域为空时输出功率缺额并触发上层安全策略，不作无法实现的无条件安全保证。

50、（4）本发明在低通指令整形前后分别执行目标投影和最终投影，使发动机功率指令服从当前电气安全边界，并使用实测发动机功率计算电池等效功率，避免把控制指令误当作实际输出。