一种脉冲负载下多电飞机供电系统能量管理方法及系统

本发明属于多电飞机供电系统的能量管理，具体涉及一种脉冲负载下多电飞机供电系统能量管理方法及系统。

背景技术：

1、多电飞机供电系统取代传统液压、气动与机械系统，为飞控、环控、航电及高功率冲击负载统一供电。复杂任务下，系统面临双重挑战：脉冲负载如机电作动器和冲击负载呈现瞬时大功率、高峰均比及强随机性，导致功率剧烈波动；同时需满足发电机限幅、蓄电池充放电约束、荷电状态边界及功率变化率等多重物理约束，增加了能量管理难度。

2、现有方法分三类：基于规则的方法如状态机和模糊逻辑，响应快但依赖专家经验，难以适应随机扰动和任务切换，全局优化不足；基于优化的方法如动态规划和模型预测控制，可求理论最优但依赖精确模型与先验信息，计算负担大，实时性受限；基于学习的方法如深度强化学习，训练多采用平稳负载，未系统融入脉冲随机性，应对冲击响应不足，且奖励函数偏重单一目标，缺乏对多重约束的协同权衡，难以兼顾常规高效运行与脉冲快速响应。

3、有鉴于此，本发明提供一种脉冲负载下多电飞机供电系统能量管理方法及系统，以解决现有技术中存在的上述缺陷，是非常有必要的。

技术实现思路

1、本发明的目的在于，针对上述现有技术存在的难以适应脉冲负载的随机扰动，且奖励函数多侧重于单一目标，缺乏对供电系统多重运行约束的协同权衡的缺陷，提供设计一种脉冲负载下多电飞机供电系统能量管理方法及系统，以解决上述技术问题。

2、为实现上述目的，本发明给出以下技术方案：

3、一种脉冲负载下多电飞机供电系统能量管理方法，包括以下步骤：

4、步骤s1，构建多电飞机供电系统动力学方程和状态约束模型；

5、步骤s2，将多电飞机供电系统的能量管理问题建模为马尔科夫决策过程，基于多电飞机供电系统动力学方程和状态约束模型构建强化学习的模拟环境，并定义状态空间、动作空间和奖励函数；所述状态空间中引入脉冲负载特征，所述奖励函数为多目标协同优化函数；

6、步骤s3，结合多电飞机供电系统的历史运行数据，采用双延迟深度确定性策略梯度算法训练能量管理智能体，使所述能量管理智能体学习从供电系统状态空间到能量管理决策动作空间的映射；

7、步骤s4，将训练收敛的能量管理智能体部署于在线控制器，在实际飞行应用环境中实时采集系统状态，能量管理智能体输出发电机总输出功率，并计算蓄电池充放电功率，实现常规负载与脉冲负载下的功率分配。

8、作为优选，所述步骤s1中多电飞机供电系统动力学方程和状态约束模型，具体包括：

9、所述动力学方程包括：蓄电池的荷电状态动态方程；

10、所述状态约束模型包括：发电机模型、负载模型、蓄电池模型和功率平衡运行约束；

11、其中，所述发电机模型包括：功率输出约束、功率变化率约束及最优工作点约束；所述蓄电池模型包括：充放电功率约束与荷电状态安全运行约束；所述负载模型包括：常规负载和脉冲负载，其中，常规负载包括：日用负载、导航负载、通信负载和雷达负载，脉冲负载包括：机电作动器和高功率冲击负载，所述高功率冲击负载的发射时刻、功率幅值及发射间隔均具有随机性；所述功率平衡运行约束具体为：多电飞机供电系统在稳态运行中，任意时刻发电机输出功率与蓄电池充放电功率之和必须等于多电飞机总负载。

12、该步骤能够取得以下技术效果：

13、通过构建包含发电机、蓄电池及负载的状态约束模型，并纳入功率平衡、变化率等运行约束，为能量管理策略提供了物理边界。该模型能够刻画脉冲负载冲击下的瞬态功率响应特性，确保后续强化学习训练在真实可行的动作空间内进行，避免产生违反物理约束的无效决策，是提升策略实用性与安全性的基础。

14、作为优选，所述步骤s2中，将多电飞机供电系统的能量管理问题建模为马尔科夫决策过程，具体包括：

15、s21，定义状态空间s，表征供电系统在决策时刻的运行态势；

16、s22，定义动作空间a，表征能量管理智能体输出的决策变量；

17、s23，定义状态转移概率p：，表征在当前时刻t的状态下执行动作后转移至下一状态的概率，所述状态转移基于多电飞机供电系统的动力学方程递推下一时刻的蓄电池荷电状态，并由所述状态约束模型对转移结果进行合法性校验与边界约束；

18、所述状态约束模型中，功率平衡运行约束用于约束任意时刻发电机输出功率与蓄电池充放电功率的代数和必须等于多电飞机总负载，以保证系统实时功率守恒，避免功率失配导致母线电压崩溃；

19、发电机模型中的功率输出约束用于限定发电机的有功出力必须处于其额定容量的下限与上限之间，用于防止发电机长期过载烧毁或因出力过低导致运行不稳定；发电机模型中的功率变化率约束用于限制发电机单位时间内的出力增降幅度不超过其最大允许爬坡速率，用于避免脉冲负载投切时产生的功率突变对发电机组造成机械冲击和频率波动；

20、蓄电池的充放电功率约束用于校验解算出的蓄电池功率是否处于允许区间内，若超出则拒绝该转移或给予极大负奖励，以防止功率冲击损坏储能设备；

21、蓄电池的荷电状态安全运行约束用于校验转移后的下一时刻荷电状态是否越过过充或过放阈值，确保蓄电池在长期循环工作中的健康状态，若越界则强制截断该状态转移；

22、发电机模型中的最优工作点约束用于对动作空间进行进一步的优选域限制，在满足上述所有硬约束的前提下，将发电机输出功率引导至高效燃油经济性区间，使状态转移过程朝着更节能的方向演化；

23、s24，定义奖励函数r:，评价智能体在状态下执行动作的即时优劣；

24、s25，以最大化期望累计折扣奖励为优化目标，将能量管理问题转化为马尔科夫决策过程；其中，为折扣因子；t为能量管理智能体与环境交互的终止时刻。

25、该步骤能够取得以下技术效果：

26、将能量管理问题转化为马尔科夫决策过程，利用状态转移概率和奖励信号描述时序动态特性，使智能体能够学习多步决策的最优策略。该建模方式适配脉冲负载的随机性和任务剖面的时变性，无需依赖未来先验信息，为实时在线控制提供了理论框架，增强了系统对不确定性的适应能力。

27、作为优选，所述步骤s21中所述的状态空间，具体包括：任务进程信息、系统运行状态、负载特征、荷电状态变化率、发电机输出功率变化率；

28、所述任务进程信息包括：当前时刻t与剩余时间，用于表征飞行阶段对能量分配的影响；

29、所述系统运行状态包括：蓄电池荷电状态、发电机当前总输出功率以及飞行高度，反映供电系统的实时调节能力；

30、所述负载特征包括：多电飞机总负载、负载变化率、各子负载的功率值；所述子负载的功率值包括：机电作动器负载的功率值、日用负载的功率值、导航/通信/雷达负载的功率值、高功率冲击负载的功率值；

31、所述荷电状态变化率，用于表征储能系统的充放电趋势；

32、所述发电机输出功率变化率，用于表征发电机的功率指令的调节速率。

33、该步骤能够取得以下技术效果：

34、在状态空间中融入高功率冲击负载功率、负载变化率等脉冲特征，并引入荷电状态变化率与发电机功率变化率，使智能体能实时感知功率冲击的幅值、速率及趋势，提前预判能量需求的突变。状态空间为13维连续变量的设计兼顾了任务阶段、系统调节能力和负载构成，提高了智能体对脉冲扰动的敏感度和响应准确性，弥补了传统状态设置对动态信息捕捉不足的缺陷。

35、作为优选，所述步骤s22中所述的动作空间，具体为：发电机总输出功率；所述动作空间的上限由所述发电机模型的功率输出约束确定，下限取值为0。

36、该步骤能够取得以下技术效果：

37、将动作空间定义为发电机总输出功率的连续标量，动作边界由发电机功率限幅直接确定，降低了决策维度，简化了学习复杂度。该设计使得智能体的输出指令可直接映射为实际可控的执行量，动作裁剪操作保证了指令始终落在安全区间，同时便于与功率平衡方程联动计算蓄电池充放电功率，实现了控制指令与物理系统的高效衔接。

38、作为优选，所述步骤s24中所述的奖励函数，采用加权惩罚的负和形式，具体表达式为：

39、，

40、其中，表示奖励函数，第一项为蓄电池功率惩罚项，第二项为发电机效率惩罚项，第三项为soc越界惩罚项，第四项为发电机功率变化率惩罚项，所有惩罚项均经归一化处理；为蓄电池功率；为蓄电池最大功率；为发电机总功率；为发电机最大总功率；为发电机最优总功率点；为荷电状态越界平方惩罚函数；为发电机总功率变化量；为发电机总功率最大允许变化率；为权重系数，，根据各惩罚项的优先级设定：优先级越高则对应权重系数越大，以引导智能体优先保障关键运行约束；

41、所述荷电状态越界平方惩罚函数的具体计算方式为：

42、，

43、其中，为蓄电池组安全运行时荷电状态允许的最小值；为蓄电池组安全运行时荷电状态允许的最大值；为电池荷电状态，由荷电状态动态方程逐时刻递推得到。

44、该步骤能够取得以下技术效果：

45、多目标协同奖励函数综合权衡蓄电池功率、发电机效率、荷电状态安全及功率变化率，采用加权惩罚与平方越界函数，既引导常规工况下高效运行，又抑制脉冲冲击下的过放风险与功率波动。各项惩罚经归一化处理，权重可根据优先级灵活调整，使智能体在不同任务阶段自主平衡多约束冲突，实现了减缓储能损耗、提升燃油经济性、增强动态响应能力及延长设备寿命的协同优化。

46、作为优选，所述的步骤s3，具体包括：

47、s31，基于双延迟深度确定性策略梯度算法构建能量管理智能体的网络架构；所述网络架构包含：一组动作网络和两组评价网络；其中，所述一组动作网络包括一个在线动作网络和一个目标动作网络，所述两组评价网络包括两个在线评价网络和两个目标评价网络；

48、构建经验回放池，用于存储供电系统历史运行数据中每一时刻的经验样本，所述经验样本包含：状态、动作、奖励及下一时刻状态；

49、s32，能量管理智能体进行迭代训练，将当前状态输入在线动作网络，所述在线动作网络输出发电机功率指令，添加高斯噪声后并裁剪至发电机功率限幅范围内，得到发电机总输出功率；根据发电机总输出功率和所述功率平衡运行约束计算得到蓄电池充放电功率，并根据奖励函数计算当前时刻的奖励，并得到下一时刻的状态，将经验样本存入经验回放池；

50、s33，从所述经验回放池中随机批量采样经验样本，采用梯度下降法更新在线评价网络和在线动作网络，以最小化时序差分误差；

51、s34，采用延迟更新机制更新在线动作网络，使动作网络的更新频率低于评价网络，以在策略更新前降低评价网络的估计误差；所述延迟更新机制具体为：在线评价网络每步更新一次，在线动作网络每隔步更新一次；

52、s35，采用软更新方式更新目标动作网络和两个目标评价网络的参数，以平滑目标网络目标值的变化；

53、s36，重复执行步骤s32至s35，直至所述能量管理智能体的累计奖励收敛，得到训练收敛的能量管理智能体模型。

54、该步骤能够取得以下技术效果：

55、针对脉冲负载的瞬态冲击与强随机性，双延迟深度确定性策略梯度算法凭借双评价网络结构有效抑制q值过估计，避免智能体因错误高估脉冲响应收益而输出过激的发电机指令，确保决策安全性；延迟策略更新机制使评价误差充分降低后再优化策略，抑制了功率指令在冲击瞬态下的震荡与突变；配合目标策略平滑，动作输出更加平稳。该算法尤其适合多电飞机供电系统对高可靠性、低波动性的严苛要求，确保训练快速收敛且策略鲁棒。

56、作为优选，所述的步骤s4，具体包括：

57、s41，将训练收敛的能量管理智能体的网络结构及训练好的网络参数加载并部署至机载在线控制器；

58、s42，在飞机实际飞行过程中，所述在线控制器以预设的采样周期实时采集当前时刻的供电系统的运行数据，输入至能量管理智能体；

59、s43，能量管理智能体输出发电机总输出功率；

60、s44，将发电机总输出功率下发至发电机控制器执行；根据功率平衡运行约束计算得到蓄电池充放电功率：

61、,

62、其中，为蓄电池充放电功率，正值为放电，负值为充电；为多电飞机总负载；为动作代表的发电机总输出功率；

63、驱动蓄电池进行充放电，以满足当前时刻的总负载需求；

64、s45， 在下一采样周期重复执行步骤s42至s44，直至飞行任务结束，实现全任务剖面下常规负载与脉冲负载的实时功率分配。

65、该步骤能够取得以下技术效果：

66、将训练收敛的单个智能体模型轻量化部署至机载控制器，仅需实时采集13维状态即可前向计算发电机指令，满足毫秒级决策需求。在线执行时自动适应全飞行剖面，在常规阶段维持发电机高效区，在脉冲来临瞬间快速提升出力并协调蓄电池短时补偿，使荷电状态始终安全，功率变化率受限，实现了全任务剖面下即插即用式的实时功率优化分配。

67、此外，本发明还提供一种脉冲负载下多电飞机供电系统能量管理系统，包括：

68、系统建模模块，该模块中：

69、构建多电飞机供电系统动力学方程和状态约束模型；

70、马尔科夫决策过程建模模块，该模块中：

71、将多电飞机供电系统的能量管理问题建模为马尔科夫决策过程，基于多电飞机供电系统动力学方程和状态约束模型构建强化学习的模拟环境，并定义状态空间、动作空间和奖励函数；所述状态空间中引入脉冲负载特征，所述奖励函数为多目标协同优化函数；

72、智能体训练模块，该模块中：

73、结合多电飞机供电系统的历史运行数据，采用双延迟深度确定性策略梯度算法训练能量管理智能体，使所述能量管理智能体学习从供电系统状态空间到能量管理决策动作空间的映射；

74、在线决策模块，该模块中：

75、将训练收敛的能量管理智能体部署于在线控制器，在实际飞行应用环境中实时采集系统状态，能量管理智能体输出发电机总输出功率，并计算蓄电池充放电功率，实现常规负载与脉冲负载下的功率分配。

76、本发明的有益效果在于，通过将脉冲负载功率及负载变化率等特征直接纳入强化学习状态空间，使智能体能够实时感知功率冲击的来临并提前做出平滑调节，克服了传统方法对脉冲随机性响应滞后的问题；通过设计的多目标协同奖励函数，综合权衡储能损耗、燃油经济性、安全边界与功率平稳性，以加权惩罚与平方越界函数形式协同多重约束，消除了现有技术中奖励单一化导致的安全与效率失衡的缺陷；此外，双延迟深度确定性策略梯度算法结合经验回放与延迟策略更新，在离线历史数据中充分训练后，仅需轻量化前向计算即可在线决策，既避免了优化方法对精确预测模型的依赖，又突破了传统方法难以全局优化的局限，实现了全任务剖面下兼顾快速响应、多约束满足与实时控制的自适应能量管理。

77、由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。