一种基于深度强化学习的无人机复合电源能量管理方法及系统

本发明涉及无人机复合电源能量管理，具体而言，涉及一种基于深度强化学习的无人机复合电源能量管理方法及系统。

背景技术：

1、混合垂直起降无人机（h-vtol-uav）融合了固定翼和旋翼的结构特点，这种双重构型使系统兼具固定翼飞行器的高速和长续航优势，以及旋翼平台固有的灵活垂直机动能力,。目前，这类无人机主要采用纯电动、内燃机、燃料电池或氢能等推进系统。尽管在能耗和速度方面不及传统固定翼无人机，但其不受起降场地限制，具备更优的环境适应性和更广阔的应用前景。混合垂直起降无人机可通过推进系统产生超过自身重量的垂直推力实现垂直起飞，爬升至安全高度后，切换为水平飞行模式，依靠机翼的气动升力进行巡航。这类无人机具有起降要求低、可空中悬停、续航时间长、作业半径大等特点，已成为无人机技术发展的研究重点，展现出日益广阔的应用潜力。

2、为弥补燃料电池瞬态响应迟缓的缺陷，实际飞行应用中常采用燃料电池与辅助电源结合的混合架构。管理这类多源系统中复杂的能量流，需要部署协同的能量管理策略。通常，能量管理策略的核心目标集中在三个方面：一是将燃料电池限制在最优效率或稳态区间工作；二是在工况波动下最大化各功率单元的协同潜力；三是通过全局优化提升系统稳定性和能量经济性，同时延长部件使用寿命。从方法学角度，主流的能量管理策略大致可分为三类：基于规则的策略、基于优化的策略和基于智能的策略。

3、基于规则的能量管理策略（如模糊逻辑控制、状态机）因结构简单、运行可靠、计算效率高而得到广泛应用。其中，状态机方法通过监测负载功率、电池荷电状态（soc）等参数对系统工况进行分类，进而执行相应的控制指令。

4、目前，针对燃料电池/太阳能-电池混合无人机设计了一种使用固态继电器的功率切换技术，以应对飞行负载波动并灵活调节功率电路。类似地，提出基于动态平衡规则的能量管理策略，根据荷电状态（soc）与氢气储量的差值定义三种运行模式，有效防止能量过早耗尽，提升系统可靠性。采用状态机进行功率管理，根据电池端电压和总线电流将系统运行解耦为启动、充电和高功率阶段。为了评估燃料电池/锂聚合物电池混合架构的性能，采用了集成电压、电流、氢气状态和荷电状态（soc）的多维条件策略。尽管这类方法便于工程实现，但其策略设计严重依赖专家经验，从根本上难以保证系统的全局最优性能。

5、所以需要基于优化的能量管理策略以特定设计目标为导向，通过构建融合系统状态和物理约束的成本函数，应用优化算法计算功率分配的理论最优控制序列。基于优化的能量管理策略常受限于较大的计算成本，且对精确的系统建模高度依赖，使其难以应用于实时在线场景。此外，这类方法通常需要预先掌握任务负载曲线的全局信息，因此不得不在计算速度和优化精度之间做出折中。为应对这些局限性，需要一种以神经网络和强化学习为代表的数驱动智能技术，旨在满足飞行负载需求的同时，协同优化系统总损耗、燃料电池应力、电池荷电状态平衡和直流母线电压稳定性，同时满足飞行负载需求。

技术实现思路

1、本发明的目的在于提供了一种基于深度强化学习的无人机复合电源能量管理方法及系统，用以解决现有技术中存在的上述问题。

2、第一方面，本发明实施例提供了一种基于深度强化学习的无人机复合电源能量管理方法，包括：

3、获取电池电路模拟数据和受力数据；所述电池电路模拟数据包括质子交换膜燃料电池模拟数据和锂电池组模拟数据；所述受力数据表示无人机在不同垂直和水平的飞行工况下的受力的数据；

4、基于所述受力数据，得到飞行需求功率；所述飞行需求功率为垂直飞行需求功率或水平飞行需求功率；

5、构建质子交换膜燃料功率损耗模型和锂电池组功率损耗模型；

6、通过深度确定性策略梯度算法、质子交换膜燃料功率损耗模型和锂电池组功率损耗模型，基于所述电池电路模拟数据和飞行需求功率，进行多目标能量管理，得到燃料电池输出功率和锂电池组输出功率。

7、可选的，所述通过深度确定性策略梯度算法、质子交换膜燃料功率损耗模型和锂电池组功率损耗模型，基于所述电池电路模拟数据和飞行需求功率，进行多目标能量管理，得到燃料电池输出功率和锂电池组输出功率，包括：

8、所述锂电池组模拟数据包括电池荷电状态；

9、获取母线电压偏差值和初始时刻的燃料电池输出功率；所述初始时刻的燃料电池输出功率表示等效电路中质子交换膜燃料电池在初始时刻的输出功率；所述母线电压偏差值表示等效电路连接的母线的电压的偏差值；

10、根据所述飞行需求功率、电池荷电状态、母线电压偏差值、初始时刻的燃料电池输出功率，构建状态空间；

11、设置动作空间；所述动作空间为t时刻的燃料电池输出功率；所述燃料电池输出功率表示等效电路中的质子交换膜燃料电池的输出功率；

12、通过质子交换膜燃料功率损耗模型和锂电池组功率损耗模型，基于所述质子交换膜燃料电池模拟数据、锂电池组模拟数据，构建奖励函数；

13、根据所述状态空间、动作空间和奖励函数，通过深度确定性策略梯度算法，得到t时刻的燃料电池输出功率；

14、根据所述t时刻的燃料电池输出功率和飞行需求功率，得到t时刻的锂电池组输出功率。

15、可选的，所述通过质子交换膜燃料功率损耗模型和锂电池组功率损耗模型，基于所述质子交换膜燃料电池模拟数据、锂电池组模拟数据，构建奖励函数，包括：

16、通过质子交换膜燃料功率损耗模型和锂电池组功率损耗模型，分别得到质子交换膜燃料功率损耗值和锂电池组功率损耗值；

17、根据所述初始时刻的燃料电池输出功率、电池荷电状态、母线电压偏差值、质子交换膜燃料功率损耗值和锂电池组功率损耗值，得到功率变化值、荷电状态偏离值、母线电压波动值、总功率损耗值；

18、根据功率变化值、荷电状态偏离值、母线电压波动值和总功率损耗值，构建奖励函数；

19、所述奖励函数如下所示：

20、

21、其中，为当前奖励值，的加权系数，为总功率损耗值，表示功率变化值，为荷电状态偏离值，为母线电压波动值，为物理约束惩罚项。

22、可选的，所述根据所述初始时刻的燃料电池输出功率、电池荷电状态、母线电压偏差值、质子交换膜燃料功率损耗值和锂电池组功率损耗值，得到功率变化值、荷电状态偏离值、母线电压波动值、总功率损耗值，包括：

23、将所述质子交换膜燃料功率损耗值与锂电池组功率损耗值相加，得到总功率损耗值；

24、根据初始时刻的燃料电池输出功率，得到功率变化值；

25、所述功率变化值的获取公式如下所示：

26、

27、其中，为功率变化值，表示质子交换膜燃料电池的额定功率，为当前时间点的燃料输出功率，为上一时间点的燃料输出功率；

28、将电池荷电状态与参考荷电状态的平方差作为荷电状态偏离值；所述参考荷电状态表示锂电池的参考荷电状态；

29、将母线电压偏差值的平方作为母线电压波动值。

30、可选的，所述状态空间如下所示：

31、

32、其中，为t时刻的状态向量，为t时刻的飞行需求功率；soc(t)为t时刻的电池荷电状态；为t-1时刻的燃料电池输出功率，为t时刻的母线电压偏差值。

33、可选的，所述基于所述受力数据，得到飞行需求功率，包括：

34、根据所述受力数据，检测飞行垂直飞行的阻力状态，得到垂直飞行需求功率；所述垂直飞行需求功率表示无人机在垂直起飞、着陆和悬停阶段所需的功率；

35、根据所述受力数据，检测飞行水平飞行的阻力状态，得到水平飞行需求功率；所述水平飞行需求功率表示无人机在水平巡航阶段所需的功率。

36、可选的，所述构建质子交换膜燃料功率损耗模型和锂电池组功率损耗模型，包括：

37、获取多个数据对；所述数据对为在历史时间点中通过离散采样获取的燃料电池输出功率和对应的燃料电池损耗功率；

38、根据所述数据对，通过二次多项式拟合，构建质子交换膜燃料电池功率损耗模型；

39、基于所述质子交换膜燃料电池功率损耗模型，构建锂电池组功率损耗模型。

40、可选的，所述基于所述质子交换膜燃料电池功率损耗模型，构建锂电池组功率损耗模型，包括：

41、构建第一锂电池组内阻模型；所述第一锂电池组内阻模型表示充电和放电时的欧姆内阻和极化内阻的值；

42、所述第一锂电池组内阻模型包括充电欧姆内阻模型、充电极化内阻模型、放电欧姆内阻模型、放电极化内阻模型；

43、根据第一锂电池组内阻模型，进行离散采样，得到锂电池组数据对；所述锂电池组数据对表示电池电荷状态与欧姆内阻、电池电荷状态与极化内阻分别在放电和充电时进行采样的数据对；

44、根据所述锂电池组数据对，通过三次多项式拟合，构建锂电池组内阻模型；

45、基于锂电池组内阻模型，分别计算充电和放电，得到锂电池组功率损耗模型；

46、所述锂电池组功率损耗模型如下所示：

47、

48、其中，表示锂电池组功率损耗值，表示电流，表示欧姆内阻的电阻，表示极化内阻的值。

49、可选的，所述得到锂电池组内阻模型如下所示：

50、

51、其中，和（x∈{c,d}，i∈{0,1,2,3}）分别为充电和放电模式下的多项式拟合系数，表示电池荷电状态，表示充电时的欧姆电阻的值，表示充电时的极化电阻的值，表示放电时的欧姆电阻的值，表示放电时的极化电阻的值。

52、第二方面，本发明实施例提供了一种基于深度强化学习的无人机复合电源能量管理系统，包括模拟质子交换膜燃料电池、锂电池组和超级电容器的等效电路：

53、所述等效电路包含质子交换膜燃料电池等效电路、锂电池组等效电路和超级电容等效电路；所述质子交换膜燃料电池等效电路表示包含质子交换膜燃料电池的模拟电路；所述锂电池组等效电路表示包含锂电池组的模拟电路；所述超级电容等效电路表示包含超级电容器的模拟电路；

54、所述质子交换膜燃料电池等效电路通过升压变换器连接至直流母线；所述锂电池组等效电路通过双向升降压变换器连接直流母线；所述等效电路中的超级电容等效电路直接并联在直流母线上；

55、所述质子交换膜燃料电池等效电路包含活化电阻、浓差损耗电阻、欧姆损耗电阻构建的电路模型，用于获取质子交换膜燃料电池模拟数据；

56、所述锂电池组等效电路为采用戴维南等效电路构建的电路模型，用于获取锂电池组模拟数据；

57、所述超级电容等效电路表示电容和电阻构建的电路模型。

58、相较于现有技术，本发明实施例达到了以下有益效果：

59、本发明实施例还提供了一种基于深度强化学习的无人机复合电源能量管理方法及系统。

60、本发明，构建了集成pemfc、电池和超级电容器的系统模型，并结合基于多项式拟合的快速损耗计算方法，为大规模训练效率提升提供支撑。将任务利用马尔可夫决策过程进行建模，结合复合奖励函数协同优化系统，同时实现了系统全局损耗、燃料电池应力、荷电状态调节和直流母线电压稳定性的优化。当无人机的负载功率发生显著变化时，基于深度强化学习的能量管理策略使电池表现出快速的充放电特性，功率变化基本由电池功率补偿，从而降低了pemfc的功率变化率，相对减小了pemfc的运行应力。同时，基于深度强化学习的能量管理策略能有效提升系统的整体效率。