基于深度强化学习的工业园区多时间尺度调度优化方法与流程

本发明涉及工业园区调度优化，尤其涉及基于深度强化学习的工业园区多时间尺度调度优化方法。

背景技术：

1、工业园区作为能源消耗密集区域，其用电成本在运营总成本中占据显著比重。随着分布式光伏和风力发电在工业园区中的渗透率持续提高，园区用电系统面临着源荷双侧不确定性叠加的挑战：光伏出力受云层遮挡和日照强度变化影响呈现分钟级波动，风电出力受风速变化影响存在较强的间歇性，园区负荷则随生产计划调整而动态变化。为应对上述不确定性，多时间尺度调度优化方法被广泛采用，其基本思路是在日前、日内、实时三个时间尺度上逐级细化调度决策，以递进方式逼近实际运行工况。

2、然而，现有多时间尺度调度方法普遍采用上层给定确定计划值、下层被动跟踪执行的单向指令传递模式。在该模式下，日前调度层向日内滚动层下达确定性的功率计划值，日内滚动层以该计划值为刚性约束进行跟踪优化；一旦日前计划值与日内实际工况出现显著偏差，日内滚动层的优化空间将被严重压缩，甚至出现无可行解的情况，此时不得不以高价从电网紧急购电来弥补功率缺口，导致实际用电开销远超计划成本。此外，现有方法中各时间尺度的调度策略网络通常独立训练，长尺度策略网络在生成日前计划值时无法感知该计划值对日内和实时执行层面造成的影响，日内策略网络在生成滚动调度计划时同样无法感知该计划对实时调节层面造成的额外成本，这种各层策略网络各自为政的训练方式从根本上割裂了多时间尺度之间本应存在的因果关联关系。因此如何提升多时间尺度调度中各层策略之间的跨尺度协同能力以降低园区综合用电开销，成为了待解决的问题。

技术实现思路

1、本发明提供基于深度强化学习的工业园区多时间尺度调度优化方法，其主要目的在于解决工业园区调度优化的问题。

2、为实现上述目的，本发明提供的基于深度强化学习的工业园区多时间尺度调度优化方法，包括：

3、s1、构建多时间尺度决策层级，采集工业园区多源运行数据，构建跨尺度状态空间。

4、s2、基于跨尺度状态空间提取长尺度状态特征，并通过长尺度策略网络执行日前调度决策，生成功率可行区间序列。

5、s3、基于跨尺度状态空间中提取中尺度状态特征，基于功率可行区间序列执行日内滚动调度，生成调度计划，并计算区间适配落差。

6、s4、基于跨尺度状态空间提取短尺度状态特征，基于调度计划生成调节指令，并计算调节适配落差。

7、s5、基于区间适配落差和调节适配落差，对长尺度策略网络、中尺度策略网络和短尺度调节器进行联合参数更新。

8、与现有技术相比，本发明具有以下有益效果：

9、1、本发明通过功率可行区间替代确定性功率计划作为长尺度对中尺度的约束传递载体，并利用区间适配落差，由边界迫近落差和可行解缺失落差加权构成，作为中尺度执行效果对长尺度的量化反馈信号，使得长尺度策略网络能够在后续决策周期中有针对性地调整功率可行区间的设定：当区间适配落差较大时主动放宽区间约束以避免中尺度无可行解导致的紧急购电成本，当区间适配落差较小时适度收紧区间约束以增强长尺度优化的经济效益，实现了日前调度对日内执行适配程度的自主感知与自适应调整，从源头上减少了因约束设定不当而产生的高额开销。

10、2、本发明通过构建区间适配落差、长尺度奖励修正、调节适配落差和中尺度奖励修正的双路跨尺度协同损失函数，将短尺度实时调节产生的额外成本，包括储能频繁充放电方向切换导致的寿命损耗和实时电价溢价，以调节适配落差的形式注入中尺度策略网络的参数更新，将中尺度日内滚动调度产生的约束适配问题以区间适配落差的形式注入长尺度策略网络的参数更新，使得三个时间尺度的策略网络从传统方法中的独立训练转变为因果关联的联合进化，各层策略在优化自身目标的同时主动考虑自身决策对下层执行的影响，显著降低了工业园区在高比例光伏和风电接入场景下的综合用电开销。

1.基于深度强化学习的工业园区多时间尺度调度优化方法，其特征在于，所述方法包括：

2.如权利要求1所述的基于深度强化学习的工业园区多时间尺度调度优化方法，所述多时间尺度决策层级包括长尺度日前调度层、中尺度日内滚动层和短尺度实时调节层。

3.如权利要求1所述的基于深度强化学习的工业园区多时间尺度调度优化方法，其特征在于，所述构建多时间尺度决策层级，采集工业园区多源运行数据，构建跨尺度状态空间，包括：

4.如权利要求1所述的基于深度强化学习的工业园区多时间尺度调度优化方法，其特征在于，所述基于跨尺度状态空间提取长尺度状态特征，并通过长尺度策略网络执行日前调度决策，生成功率可行区间序列，包括：

5.如权利要求1所述的基于深度强化学习的工业园区多时间尺度调度优化方法，其特征在于，所述基于跨尺度状态空间中提取中尺度状态特征，基于功率可行区间序列执行日内滚动调度，生成调度计划，包括：

6.如权利要求1所述的基于深度强化学习的工业园区多时间尺度调度优化方法，其特征在于，所述计算区间适配落差，包括：

7.如权利要求6所述的基于深度强化学习的工业园区多时间尺度调度优化方法，其特征在于，所述基于边界迫近落差与可行解缺失落差，计算得到区间适配落差，包括：

8.如权利要求1所述的基于深度强化学习的工业园区多时间尺度调度优化方法，其特征在于，所述基于跨尺度状态空间提取短尺度状态特征，基于调度计划生成调节指令，并计算调节适配落差，包括：

9.如权利要求8所述的基于深度强化学习的工业园区多时间尺度调度优化方法，其特征在于，所述计算得到调节适配落差，包括：

10.如权利要求1所述的基于深度强化学习的工业园区多时间尺度调度优化方法，其特征在于，所述基于区间适配落差和调节适配落差，对长尺度策略网络、中尺度策略网络和短尺度调节器进行联合参数更新，包括：