一种基于深度强化学习与多模态融合的自适应混合储能系统控制方法、系统、设备及存储介质与流程

本发明涉及储能系统智能控制，尤其涉及一种基于深度强化学习与多模态融合的自适应混合储能系统控制方法、系统、设备及存储介质。

背景技术：

1、以飞轮和压缩空气为代表的混合储能系统因其性能互补优势，正成为提升电网灵活性与可靠性的关键。

2、其控制策略已从基于固定规则的简单分配，逐步演进至采用模型预测控制等优化算法，以追求特定场景下的性能优化。同时，人工智能技术开始渗透，深度学习和强化学习被探索用于学习复杂工况下的控制策略。数据驱动的理念日益受到重视，但处理方法仍相对传统。此外，设备健康管理通常作为独立系统存在，与控制决策模块耦合度低；而部分依赖云端算力的高级ai方案，则受制于通信延迟，难以满足电力控制对毫秒级实时响应的苛刻要求。整体而言，现有技术在多场景自适应、多目标协同以及“感-知-行”一体化闭环等方面仍面临显著挑战。

技术实现思路

1、鉴于上述存在的问题，本发明提供一种基于深度强化学习与多模态融合的自适应混合储能系统控制方法、系统、设备及存储介质。

2、因此，本发明解决的技术问题是：现有混合储能系统在多场景下难以实现自适应控制，且无法协同优化调频精度、削峰深度、设备寿命及系统效率等多目标，同时缺乏“感知-决策-执行-优化”一体化闭环机制的问题。

3、为解决上述技术问题，本发明提供如下技术方案：

4、第一方面，本发明提供了一种基于深度强化学习与多模态融合的自适应混合储能系统控制方法，包括：

5、基于卷积神经网络、支持向量机和sac算法构建并初始化人工智能模型，同时配置飞轮储能与压缩空气储能的设备参数；

6、同步采集电网、设备、环境三类原始数据，通过孤立森林进行异常剔除、生成对抗网络缺失修复和自动机器学习特征选择，生成核心特征向量；

7、基于核心特征向量，采用硬规则与cnn-svm融合模型的双重机制实时判定当前电网所属场景并输出场景标签；

8、基于核心特征向量、场景标签以及设备健康监测反馈的健康指数，将控制问题建模为马尔可夫决策过程，输出飞轮与压缩空气的最优功率配比指令；

9、接收功率配比指令并落地执行，采集执行后的下一时刻状态与奖励值构成经验样本存入回放池，同时利用联邦学习和知识蒸馏更新人工智能模型参数；

10、实时监测轴承磨损指数和储气罐腐蚀指数，实时反馈至马尔可夫决策过程中的奖励函数。

11、作为一种基于深度强化学习与多模态融合的自适应混合储能系统控制方法的一种优选方案，其中：

12、所述同步采集电网、设备、环境三类原始数据，通过孤立森林进行异常剔除、生成对抗网络缺失修复和自动机器学习特征选择，生成核心特征向量，包括：

13、同步采集电网侧的频率偏差、负荷功率及负荷波动速率，设备侧的飞轮转速、飞轮温度、储气罐压力、气流流量、飞轮轴承磨损指数及储气罐腐蚀指数，以及环境侧的风速、光照强度及环境温度，整合为高维原始数据集；

14、采用孤立森林算法对高维原始数据集中的每条数据进行异常得分计算，并设定异常判定阈值，将异常得分超过异常判定阈值的样本判定为异常并剔除，保留正常数据子集；

15、针对正常数据子集中的缺失值，采用生成对抗网络进行数据补全，获得完整数据集；

16、通过自动机器学习对完整数据集执行特征降维、相关性分析及重要性排序，剔除与场景识别和功率决策无关的冗余特征，保留对控制目标影响显著的核心特征，最终提取出降维后的核心特征向量。

17、作为一种基于深度强化学习与多模态融合的自适应混合储能系统控制方法的一种优选方案，其中：

18、所述基于核心特征向量，采用硬规则与cnn-svm融合模型的双重机制实时判定当前电网所属场景并输出场景标签，包括：

19、基于电网运行特性与混合储能控制目标，预先设定四类场景的量化判定规则，四类场景包括调频场景、削峰场景、黑启动场景和孤岛运行场景，分别对应不同的频率偏差、负荷功率、电网供电状态及离网运行条件的组合判据；

20、将核心特征向量输入cnn-svm融合模型，输出场景标签；

21、根据输出的场景标签，自动加载与场景对应的专属控制子策略。

22、作为一种基于深度强化学习与多模态融合的自适应混合储能系统控制方法的一种优选方案，其中：

23、所述基于核心特征向量、场景标签以及设备健康监测反馈的健康指数，将控制问题建模为马尔可夫决策过程，包括：

24、将控制问题建模为马尔可夫决策过程，定义状态空间、动作空间、多目标加权奖励函数及折扣因子；

25、其中，状态空间整合电网与设备的实时运行状态，构成连续状态向量；

26、动作空间定义为飞轮功率占比的连续变量，进而确定飞轮与压缩空气的功率配比；

27、多目标加权奖励函数同时兼顾调频精度、削峰深度、设备寿命和系统效率四个子目标，各子目标分别基于频率偏差、负荷削峰量、转速与压力变化率、系统效率与基准效率的偏差构建。

28、作为一种基于深度强化学习与多模态融合的自适应混合储能系统控制方法的一种优选方案，其中：

29、所述输出飞轮与压缩空气的最优功率配比指令，包括：

30、采用最大熵强化学习框架下的soft actor-critic算法，构建由状态感知流和策略决策流组成的双流神经网络；

31、其中，状态感知流采用长短期记忆网络与注意力机制相结合的方式，提取状态向量的时序关联特征，并通过注意力机制对历史时序信息进行加权融合，得到增强的时序特征；

32、策略决策流包含actor网络和critic网络，其中actor网络输出动作的高斯分布以决策飞轮功率占比，critic网络评估动作价值；

33、将状态感知流提取的时序特征输入策略决策流，由actor网络输出最优的飞轮功率占比，进而得到飞轮与压缩空气的功率配比指令。

34、作为一种基于深度强化学习与多模态融合的自适应混合储能系统控制方法的一种优选方案，其中：

35、所述接收功率配比指令并落地执行，采集执行后的下一时刻状态与奖励值构成经验样本存入回放池，包括：

36、将功率配比指令下发至飞轮与压缩空气的功率变换器执行，按照指令中的功率占比分别控制飞轮和压缩空气的实际输出功率；

37、实时采集策略执行后的下一时刻系统状态，结合当前状态、所执行的动作以及计算得到的奖励值，构建四元组经验样本，并存入经验回放池，达到经验回放池容量上限时采用先进先出策略替换最早存入的样本。

38、作为一种基于深度强化学习与多模态融合的自适应混合储能系统控制方法的一种优选方案，其中：

39、所述同时利用联邦学习和知识蒸馏更新人工智能模型参数，包括：

40、按预设周期聚合多个储能节点的样本数据，采用联邦学习更新人工智能模型的参数：各节点在不共享原始数据的前提下，将本地计算得到的梯度信息上传并聚合，更新全局模型参数；

41、引入知识蒸馏技术，将复杂大模型的决策知识迁移至轻量化小模型。

42、第二方面，本发明提供了一种基于深度强化学习与多模态融合的自适应混合储能系统控制系统，包括：

43、模型与参数初始化模块，用于基于卷积神经网络、支持向量机和sac算法构建并初始化人工智能模型，同时配置飞轮储能与压缩空气储能的设备参数；

44、多源数据预处理模块，用于同步采集电网、设备、环境三类原始数据，通过孤立森林进行异常剔除、生成对抗网络缺失修复和自动机器学习特征选择，生成核心特征向量；

45、场景识别与分类模块，用于基于核心特征向量，采用硬规则与cnn-svm融合模型的双重机制实时判定当前电网所属场景并输出场景标签；

46、mdp建模与决策模块，用于基于核心特征向量、场景标签以及设备健康监测反馈的健康指数，将控制问题建模为马尔可夫决策过程，输出飞轮与压缩空气的最优功率配比指令；

47、执行与在线优化模块，用于接收功率配比指令并落地执行，采集执行后的下一时刻状态与奖励值构成经验样本存入回放池，同时利用联邦学习和知识蒸馏更新人工智能模型参数；

48、健康监测反馈模块，用于实时监测轴承磨损指数和储气罐腐蚀指数，实时反馈至马尔可夫决策过程中的奖励函数。

49、第三方面，本发明提供了一种计算机设备，包括：

50、存储器和处理器；

51、所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现基于深度强化学习与多模态融合的自适应混合储能系统控制方法的步骤。

52、第四方面，本发明提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现基于深度强化学习与多模态融合的自适应混合储能系统控制方法的步骤。

53、本发明的有益效果：本发明通过硬规则判据+cnn-svm（卷积神经网络（convolutional neural network）与支持向量机（support vector machine））融合模型的双重机制，能够高精度、高可靠性地实时识别电网调频、削峰、黑启动、孤岛运行场景，并自动加载与该场景最匹配的控制子策略框架，确保了控制策略的强针对性和场景适应性，实现全场景智能识别与自适应切换；采用sac（soft actor-critic，软演员-评论家算法）深度强化学习框架，并设计融合了调频精度、削峰深度、设备寿命、系统效率的多目标加权奖励函数。通过多目标贝叶斯优化动态调整奖励权重，使系统能够在不同场景下自动权衡各目标优先级，输出当前状态下的全局最优功率配比，实现了综合性能的最大化，达成多目标动态平衡与协同优化；采用孤立森林进行异常检测剔除，利用生成对抗网络进行缺失数据高质量修复，再通过automl（automated machine learning，自动机器学习）进行自动化特征选择与降维。保证了输入后续ai模型的数据是高质量、高相关、低冗余的核心特征向量，极大提升了模型决策的准确性和稳定性；将ai算法与专用硬件装置深度融合，从多模态数据同步采集，到边缘侧毫秒级模型推理与决策，再到精准执行，最后将执行结果作为反馈样本存入经验回放池，构成一个完整的实时控制闭环。这有效解决了响应延迟问题，满足了电网快速调节需求，形成“感知-决策-执行-优化”一体化闭环。