基于双层协调深度强化学习的无人机锂电池电压预测方法

本发明涉及一种基于双层协调深度强化学习的无人机锂电池电压预测方法，属于无人机能源管理领域。

背景技术：

1、锂电池具有响应速度快、功率密度高的特点，适用于混合电动无人机在起降、机动与负载突变等阶段的瞬态供能需求，是混合能源系统中的关键储能能源。锂电池的实际工作状态对无人机的稳定高效运行起着决定性作用。然而，在飞行过程中锂电池需要频繁响应需求功率变化，其输出电压易产生明显波动，并呈现强非线性和时变特性。若电压波动频繁或幅度过大，不仅会降低混合能源系统的性能，还可能引发无人机运行故障。因此，亟需对锂电池输出电压进行准确、实时的预测，为无人机提供稳定、高质量的能源。

2、混合电动无人机的锂电池输出电压预测方法主要分为基于物理驱动方法、基于数据驱动方法及基于混合物理-数据驱动方法。基于物理驱动方法依托电池等效模型和机理方程进行预测，具有较强的物理可解释性，但对模型参数精度依赖较高；基于数据驱动方法通过挖掘历史运行数据中的内在规律实现预测，建模灵活、精度较高；基于混合物理-数据驱动方法则融合物理模型与数据学习优势，在提高预测精度的同时增强模型的泛化能力与鲁棒性，但模型复杂度高，建模与调参成本较高。由于锂电池内部特征具有强非线性、时变性及记忆效应，其输出电压动态变化复杂，传统等效电路模型或静态模型难以准确表征，进而使电压预测误差较大，难以满足复杂飞行任务下的在线预测需求。因此，面向无人机锂电池输出电压在线预测需求，亟需设计一种快速高效的电压在线预测方法，实现不同飞行任务下锂电池输出电压的高精度预测，为无人机提供稳定、高质量的能源。

技术实现思路

1、为了解决现有混合电动无人机在复杂飞行任务下锂电池输出电压难以在线精确预测，导致能源管理策略难以及时调整、无人机供能稳定性不足以及飞行安全性下降的问题，本发明的目的是提供一种基于双层协调深度强化学习的无人机锂电池电压预测方法，该方法构建了双层协调深度强化学习预测框架，通过“上层时序学习预测 + 下层自适应校正”的协同机制，实现对锂电池输出电压的在线高精度预测。上层采用长短期记忆网络（lstm）构建lstm基础预测器。以锂电池的荷电状态（soc）、输出电流及输出电压为输入，学习锂电池的时变特性、记忆效应及动态响应规律，输出电压变化趋势与基础电压预测值。下层采用深度确定性策略梯度方法（ddpg）构建ddpg残差校正器。以基础电压预测值、soc、输出电流及输出电压构成状态空间，并以实时预测误差构造奖励函数驱动actor-critic网络学习，输出对基础电压预测值的残差校正量。残差校正量作为协调信息参与下一时刻的状态更新与策略迭代，从而实现闭环在线预测与自适应更新。通过双层协同工作，能够在混合电动无人机多飞行任务下，逐步降低预测误差，获得误差最小的锂电池输出电压预测值。所述锂电池输出电压预测值应用于混合电动无人机的能源管理策略，提高锂电池输出状态评估的准确性，为燃料电池与锂电池之间的功率分配提供参考，从而提高混合能源系统的稳定性与任务适应能力，实现无人机安全稳定飞行。

2、本发明的目的是通过下述技术方案实现的：

3、本发明公开的基于双层协调深度强化学习的无人机锂电池电压预测方法,包括以下步骤：

4、步骤一：采集无人机需求功率、燃料电池输出功率及锂电池输出特征的数据，对数据进行归一化处理，构造序列输入样本；所述数据包括：无人机需求功率、燃料电池输出功率、锂电池输出功率、荷电状态、输出电流及输出电压。

5、步骤二：建立二阶等效电路模型，并基于该模型构建以锂电池预测输出电压与实际输出电压的误差最小化为目标的电压预测优化模型；

6、所述二阶等效电路模型为

7、

8、式中为锂电池欧姆电阻；为输出电流；和分别为开路电压和实际输出电压；和 分别是电化学极化电压和浓度差极化电压；和为极化内阻；和为极化电容。

9、所述电压预测优化模型为

10、

11、式中为数据集的样本总数；为当前采样时刻；为锂电池实际输出电压；为lstm基础预测器输出的基础电压预测值；为ddpg残差校正器校正后的电压预测值；为ddpg智能体动作空间，即对基础电压预测值的残差校正量；为函数的参数集，包括lstm网络的权重和偏置，及ddpg算法的actor-critic网络的参数。

12、步骤三：基于步骤二的电压预测优化模型，构建“上层时序学习预测 + 下层自适应校正”的双层协调预测框架；

13、所述上层时序学习预测的方法为，将多模态特征序列输入lstm基础预测器进行训练，以学习锂电池输出特征的长期时序依赖关系与动态规律；训练完成后，lstm基础预测器输出锂电池输出电压的变化趋势与基础电压预测值；其非线性映射关系为

14、

15、式中为将历史序列映射到下一时刻输出电压预测值的非线性函数；为函数的参数集，包括lstm网络的权重和偏置，及ddpg算法的actor-critic网络的参数。

16、所述下层自适应校正的方法为，在lstm基础预测器的基础上，构建ddpg残差校正器；以锂电池数据与基础电压预测值作为状态空间，以残差校正量作为动作空间，构建强化学习环境，输出校正后的电压预测值；

17、校正后的电压预测值为

18、

19、如式所示，校正后的电压预测值由基础电压预测值与残差校正量叠加得到。

20、步骤四：策略迭代与误差优化；在下层自适应校正的基础上，通过 ddpg智能体的actor-critic网络持续交互学习，并基于电压预测优化模型设计奖励函数，对电压预测策略进行迭代更新；对每一时刻的基础电压预测值进行持续优化，逐步减小预测误差；

21、所述奖励函数为

22、

23、式中为预测输出电压与实际输出电压的误差；为权重系数；用于引导ddpg智能体以预测误差最小化为目标进行策略优化，误差越小奖励越大；表示在校正过程中引入惩罚项，防止电压校正和策略振荡过大；为奖励函数，用于平衡对预测精度的激励和对校正幅度的约束。

24、步骤五：当步骤四的预测误差达到最小时，保持策略稳定用于后续在线预测；输出最优策略下的电压预测值，作为最终预测结果，实现对无人机锂电池输出电压的精确预测。

25、步骤六：将步骤五得到的最终电压预测值应用于混合电动无人机能源管理策略中，结合无人机需求功率和燃料电池输出特征，对混合能源系统进行功率分配控制。其中，燃料电池承担主要输出功率，锂电池承担起降、机动及负载突变过程中的瞬时峰值功率补偿。通过两者协同供能，共同满足无人机动力系统的需求功率，从而提升混合能源系统的功率响应能力、供能稳定性和运行效率，实现无人机高效稳定运行。

26、有益效果

27、1. 本发明公开的基于双层协调深度强化学习的无人机锂电池电压预测方法，面向无人机锂电池输出电压在线预测需求，构建双层协调深度强化学习预测框架，实现输出电压的高精度在线预测与闭环自适应更新。该方法可为锂电池状态评估、混合能源系统的功率分配与能量管理提供可靠的电压预测信息，从而为无人机提供稳定、高质量的能源。

28、2. 本发明公开的基于双层协调深度强化学习的无人机锂电池电压预测方法，针对锂电池输出电压受时序特性与记忆效应影响而难以准确预测的问题，上层构建lstm基础预测器，利用多模态输入信息捕捉电压变化的动态规律。上层能够提高电压趋势刻画能力与预测精度，为下层校正提供基础预测值，进而提高在线预测的稳定性与实时性。

29、3. 本发明公开的基于双层协调深度强化学习的无人机锂电池电压预测方法，针对锂电池电压波动导致预测误差增大的问题，下层构建ddpg残差校正器，对基础预测值进行残差校正。下层残差校正能够动态补偿预测偏差、抑制电压波动带来的误差累积，从而增强在线预测的稳定性与鲁棒性，并进一步提高复杂飞行任务下电压预测的精度。