模型的云端迭代训练方法、设备、存储介质及程序产品与流程

本技术涉及光储微电网能量管理领域，尤其涉及一种模型的云端迭代训练方法、设备、存储介质及程序产品。

背景技术：

1、光储微电网（photovoltaic-energy storage microgrid）是一种集成光伏发电、储能系统及负荷管理的分布式能源系统，广泛应用于工商业园区、户用分布式光伏、离网孤岛微电网等场景。

2、现有光储微电网能量管理通常采用云端优化调度、预设规则控制或强化学习模型进行储能功率决策。

3、然而，上述方案在实际运行中常受通信链路和主控算力限制：云端决策响应周期较长且断网时优化能力下降，固定规则难以适应电价、负荷和光伏出力变化，而现有强化学习模型参数规模较大，轻量化后又易造成策略表达能力下降，难兼顾本地实时性与调度精度。

技术实现思路

1、本技术实施例提供模型的云端迭代训练方法、设备、存储介质及程序产品，面向光储微电网功率决策场景，构建云端持续训练与边缘侧部署协同的模型迭代机制，使功率决策模型既能够结合光储微电网运行收益和设备约束形成有效决策能力，又能够适配边缘节点的本地运行需求，并在实际运行数据反馈下持续优化更新，从而兼顾本地实时决策、断网场景下的可用性以及策略精度。

2、第一方面，本技术实施例提供一种模型的云端迭代训练方法，应用于云端服务器，方法包括：

3、获取光储微电网的仿真环境数据；所述光储微电网为包含光伏发电单元和储能单元的微电网；

4、基于所述仿真环境数据对教师策略网络进行离线训练直至收敛，并通过最大化复合奖励，得到初始动作标签和初始策略分布标签；所述复合奖励为基于所述光储微电网的运行经济收益与设备硬件约束条件构建的综合奖励函数；

5、基于所述初始动作标签和所述初始策略分布标签，对学生网络进行知识蒸馏训练，得到初始蒸馏模型；

6、对所述初始蒸馏模型进行整数量化与算子融合处理，得到功率决策模型的模型数据并下发至边缘计算节点，以使所述边缘计算节点基于所述功率决策模型进行对应光储微电网的功率决策，得到增量训练样本；所述增量训练样本包括对应光储微电网的运行状态数据、决策动作数据以及运行收益数据；

7、循环执行下述在线迭代更新流程：

8、接收所述边缘计算节点上传的增量训练样本；

9、基于所述增量训练样本对所述教师策略网络进行增量微调，并通过最大化复合奖励，得到动作标签和策略分布标签；

10、基于所述动作标签和所述策略分布标签，对学生网络进行知识蒸馏训练，得到蒸馏模型；

11、对所述蒸馏模型进行整数量化与算子融合处理，得到功率决策模型更新后的模型数据并下发至边缘计算节点；

12、其中，所述基于所述仿真环境数据对教师策略网络进行离线训练直至收敛，并通过最大化复合奖励，得到初始动作标签和初始策略分布标签，具体包括：

13、基于所述仿真环境数据构建状态空间数据，所述状态空间数据包括储能单元荷电状态数据、电价数据、负荷预测数据、光伏预测数据和时段特征数据；

14、基于所述状态空间数据构建所述复合奖励中的运行经济收益项、荷电状态约束项和电网交互项；

15、基于所述状态空间数据和所述复合奖励对所述教师策略网络进行策略迭代训练，得到所述初始动作标签和所述初始策略分布标签；

16、所述基于所述状态空间数据构建所述复合奖励中的荷电状态约束项，具体包括：

17、根据所述储能单元的荷电状态数据确定荷电状态区间；

18、在所述荷电状态区间位于边界区间时，按照指数关系计算所述荷电状态约束项的惩罚值；

19、在所述荷电状态区间位于安全区间时，按照线性关系计算所述荷电状态约束项的惩罚值；

20、基于所述惩罚值生成所述复合奖励中的所述荷电状态约束项。

21、第二方面，本技术实施例提供一种模型的云端迭代训练方法，应用于边缘计算节点，方法包括：

22、采集光储微电网的实时状态数据，所述实时状态数据包括：荷电状态、电价数据、负荷预测数据、光伏预测数据以及时段编码数据；

23、将所述实时状态数据输入至功率决策模型中，得到所述光储微电网的候选功率决策；所述功率决策模型是基于云端服务器下发的模型数据部署得到的；

24、对所述候选功率决策进行上下限约束校验处理，生成目标功率决策；

25、按照所述目标功率决策，对所述光储微电网进行能量调节，并按照预设周期采集所述光储微电网的运行状态数据、决策动作数据以及运行收益数据；

26、对所述运行状态数据、所述决策动作数据以及所述运行收益数据进行整合处理，得到增量训练样本，并将所述增量训练样本存储至本地存储单元；

27、在网络连接状态信息表征通信正常时，将所述本地存储单元中的所有增量训练样本上传至所述云端服务器，以使所述云端服务器基于所述增量训练样本对所述功率决策模型的模型数据进行更新处理。

28、第三方面，本技术实施例提供一种模型的云端迭代训练装置，应用于云端服务器，方法包括：

29、第一获取模块，用于获取光储微电网的仿真环境数据；所述光储微电网为包含光伏发电单元和储能单元的微电网；

30、第一处理模块，用于基于所述仿真环境数据对教师策略网络进行离线训练直至收敛，并通过最大化复合奖励，得到初始动作标签和初始策略分布标签；所述复合奖励为基于所述光储微电网的运行经济收益与设备硬件约束条件构建的综合奖励函数；

31、第一处理模块，用于基于所述初始动作标签和所述初始策略分布标签，对学生网络进行知识蒸馏训练，得到初始蒸馏模型；

32、第一处理模块，用于对所述初始蒸馏模型进行整数量化与算子融合处理，得到功率决策模型的模型数据并下发至边缘计算节点，以使所述边缘计算节点基于所述功率决策模型进行对应光储微电网的功率决策，得到增量训练样本；所述增量训练样本包括对应光储微电网的运行状态数据、决策动作数据以及运行收益数据；

33、循环执行下述在线迭代更新流程：

34、第一获取模块，用于接收所述边缘计算节点上传的增量训练样本；

35、第一处理模块，用于基于所述增量训练样本对所述教师策略网络进行增量微调，并通过最大化复合奖励，得到动作标签和策略分布标签；

36、第一处理模块，用于基于所述动作标签和所述策略分布标签，对学生网络进行知识蒸馏训练，得到蒸馏模型；

37、第一处理模块，用于对所述蒸馏模型进行整数量化与算子融合处理，得到功率决策模型更新后的模型数据并下发至边缘计算节点；

38、其中，第一处理模块，具体用于：

39、基于所述仿真环境数据构建状态空间数据，所述状态空间数据包括储能单元荷电状态数据、电价数据、负荷预测数据、光伏预测数据和时段特征数据；

40、基于所述状态空间数据构建所述复合奖励中的运行经济收益项、荷电状态约束项和电网交互项；

41、基于所述状态空间数据和所述复合奖励对所述教师策略网络进行策略迭代训练，得到所述初始动作标签和所述初始策略分布标签；

42、第一处理模块，具体用于：

43、根据所述储能单元的荷电状态数据确定荷电状态区间；

44、在所述荷电状态区间位于边界区间时，按照指数关系计算所述荷电状态约束项的惩罚值；

45、在所述荷电状态区间位于安全区间时，按照线性关系计算所述荷电状态约束项的惩罚值；

46、基于所述惩罚值生成所述复合奖励中的所述荷电状态约束项。

47、第四方面，本技术实施例提供一种模型的云端迭代训练装置，应用于边缘计算节点，方法包括：

48、第二获取模块，用于采集光储微电网的实时状态数据，所述实时状态数据包括：荷电状态、电价数据、负荷预测数据、光伏预测数据以及时段编码数据；

49、第二处理模块，用于将所述实时状态数据输入至功率决策模型中，得到所述光储微电网的候选功率决策；所述功率决策模型是基于云端服务器下发的模型数据部署得到的；

50、第二处理模块，用于对所述候选功率决策进行上下限约束校验处理，生成目标功率决策；

51、第二处理模块，用于按照所述目标功率决策，对所述光储微电网进行能量调节，并按照预设周期采集所述光储微电网的运行状态数据、决策动作数据以及运行收益数据；

52、第二处理模块，用于对所述运行状态数据、所述决策动作数据以及所述运行收益数据进行整合处理，得到增量训练样本，并将所述增量训练样本存储至本地存储单元；

53、上传模块，用于在网络连接状态信息表征通信正常时，将所述本地存储单元中的所有增量训练样本上传至所述云端服务器，以使所述云端服务器基于所述增量训练样本对所述功率决策模型的模型数据进行更新处理。

54、第五方面，本技术实施例提供一种电子设备，包括：存储器，处理器；

55、存储器存储计算机执行指令；

56、处理器执行存储器存储的计算机执行指令，使得处理器执行上述提供的方法。

57、第六方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述提供的方法。

58、第七方面，本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述提供的方法。

59、本技术实施例提供的模型的云端迭代训练方法、设备、存储介质及程序产品，通过获取光储微电网的仿真环境数据，在云端对教师策略网络进行训练以得到动作标签和策略分布标签，并进一步对学生网络进行知识蒸馏训练，再对蒸馏后的模型实施整数量化与算子融合后下发至边缘计算节点，能够在保留功率决策策略有效表达能力的同时形成适于边缘侧部署运行的功率决策模型，进而提升储能功率决策的实时性与本地可执行性；通过边缘计算节点基于所下发模型进行功率决策并回传增量训练样本，云端再基于增量训练样本循环执行教师网络增量微调、学生网络蒸馏训练以及模型更新下发，能够使模型持续结合实际运行状态、决策动作和运行收益进行迭代优化，进而在受限硬件条件下兼顾断网可用性、调度精度以及光储微电网运行经济性。