一种基于优化解集与强化学习的水资源调度规则生成方法与流程
本发明属于水资源调度与智能优化决策,具体涉及一种基于优化解集与强化学习的水资源调度规则生成方法。
背景技术:
1、随着区域经济社会发展和水资源供需矛盾日益突出,水资源调度系统逐渐由单一水库或单一供水工程调度,发展为包含水库、河道、引调水工程、供水对象、生态控制断面、闸泵站及水厂等多类对象的复杂水网联合调度系统。在实际运行中,水资源调度不仅需要满足生活、工业、农业等供水需求,还需要兼顾生态流量保障、防洪安全、发电效益、调水任务、工程运行能力以及水库水位安全等多重目标。因此,如何在复杂来水条件、不同需水水平、不同初始水位和多种工程运行状态下,形成科学、稳定且可执行的水资源调度规则,是水资源调度管理和数字孪生水网建设中的重要问题。
2、现有水资源调度方法主要包括经验调度规则方法、数学优化调度方法和智能算法调度方法。经验调度规则方法通常依赖历史调度经验、人工判别和工程规程,具有形式直观、便于执行的优点,但其规则多为静态阈值或人工设定,难以充分适应来水、需水和工程运行状态的动态变化。当调度系统涉及多水库、多水源、多供水对象和多调水通道时,传统经验规则往往难以全面反映系统内部复杂的水力联系、供需关系和多目标协同关系,容易出现规则适应性不足、调度精细化程度不高等问题。
3、数学优化调度方法能够通过构建目标函数和约束条件,对供水保障、生态流量、发电效益、调水任务和运行安全等目标进行综合优化,并能够在特定情景下获得较优的调度方案。常用方法包括动态规划、遗传算法、粒子群算法、多目标进化算法等。该类方法在理论上能够给出较优解或非劣解集,但其优化结果通常表现为某一场景、某一时段或某一水文过程下的离散调度方案,难以直接转化为工程运行人员可理解、可检查、可执行的调度规则。在实际应用中,优化调度结果往往需要经过人工归纳和经验修正才能用于运行管理,导致优化模型成果与实际调度规则之间存在一定脱节。
4、近年来,强化学习方法因具有通过状态、动作和奖励反馈学习序贯决策策略的能力,被逐渐应用于水库调度和水资源优化配置领域。强化学习能够在与调度环境交互过程中学习不同状态下的调度动作选择规律,适合处理具有时序性和反馈性的水资源调度问题。然而,传统强化学习方法通常需要大量交互训练样本,对训练环境和奖励函数设计依赖较强;若直接在复杂水网调度系统中训练,容易面临训练效率低、探索成本高、收敛稳定性不足以及难以满足工程约束等问题。同时,强化学习模型训练后得到的策略通常表现为模型参数或黑箱决策函数,若缺少进一步的规则提取和工程化表达,也难以直接被调度管理人员接受和应用。
5、因此,现有技术中存在以下不足:一是传统调度规则主要依赖经验设定,难以适应复杂水网多目标、多情景动态调度需求;二是优化调度方法虽然能够获得较优调度方案,但优化解集多为离散结果,缺乏向通用调度规则转化的有效方法;三是强化学习方法虽然具备策略学习能力,但训练过程需要高质量样本支撑,且训练得到的策略模型难以直接转化为工程可执行规则;四是现有方法缺少一种能够将多目标优化调度解集、强化学习策略训练和工程调度规则生成有效衔接的技术路径。
6、基于上述问题,有必要提出一种基于优化解集与强化学习的水资源调度规则生成方法。
技术实现思路
1、针对现有技术的不足,本发明提出了一种基于优化解集与强化学习的水资源调度规则生成方法,通过多目标优化模型获取不同情景下的优化调度解集,将优化解集转化为强化学习训练所需的状态-动作-奖励样本集,再通过强化学习模型学习调度状态与调度动作之间的映射关系,并进一步将训练得到的策略模型转化为水位分区控制规则、供水优先级规则、出库流量控制规则和调水启动规则等工程可执行规则,从而提高水资源调度规则生成的智能化、稳定性和可实施性。
2、为实现上述目的,本发明采用的技术方案是:
3、s1、获取研究区域内水库、河道、引调水工程、供水对象及生态控制断面等水资源调度系统的基础数据,构建包含来水过程、需水过程、水位库容、工程约束及调度目标的水资源调度场景库;
4、s2、针对不同来水频率、需水水平、初始水位、工程运行状态和调水任务,构建多情景水资源优化调度模型,并采用多目标优化算法求解,获取不同情景下的优化调度解集;
5、s3、从优化调度解集中提取调度状态变量、调度动作变量和调度效益指标,构建适用于强化学习训练的状态-动作-奖励样本集;
6、s4、以水库水位、可用水量、来水量、需水量、时段信息及工程运行状态作为状态输入,以发电流量、供水分配量、生态下泄流量、引调水工程调水量、弃水流量和闸泵站启闭状态中的一种或多种作为调度动作,构建强化学习调度策略模型,并通过奖励函数引导模型学习兼顾供水保障、生态约束、发电效益、调水任务和运行安全的调度策略;
7、s5、将训练得到的强化学习策略模型转化为工程可执行的调度规则,形成水位分区控制规则、供水优先级规则、出库流量控制规则及调水启动规则;
8、s6、通过历史典型水文过程和多情景仿真对生成的调度规则进行验证和修正,输出可用于实际运行的水资源调度规则体系。
9、进一步地,所述步骤s1中,构建水资源调度场景库包括如下步骤:
10、s11、获取研究区域内水库、河道、引调水工程、供水对象、取水口、退水口、生态控制断面和闸泵站等调度对象的空间拓扑关系,构建水资源调度系统概化网络;
11、s12、获取水库水位库容关系、水位面积关系、死水位、汛限水位、正常蓄水位、防洪限制水位、兴利控制水位和工程调度边界条件,构建水库工程参数库;
12、s13、获取河道来水、水库入库流量、区间来水、外调水量、供水对象需水量、生态流量需求、发电需求和调水任务数据,构建水量输入输出数据库;
13、s14、获取输水工程设计流量、泵站提水能力、闸门泄放能力、渠道输水能力、水厂供水能力和取水口取水能力,构建工程运行能力数据库;
14、s15、根据来水频率、需水水平、初始水位、工程运行状态和调水任务组合,形成多情景水资源调度场景库。
15、进一步地,所述步骤s15中所述的多情景水资源调度场景库包括丰水情景、平水情景、枯水情景、连续枯水情景、高需水情景、低需水情景、高水位情景、低水位情景、工程正常运行情景、工程受限运行情景、无调水任务情景和有调水任务情景中的若干种情景。
16、进一步地,所述步骤s2中,构建多情景水资源优化调度模型包括如下步骤:
17、s21、根据研究区域水资源调度系统的组成结构和调度任务,确定统一的水资源优化调度模型的调度对象、调度时段和调度周期;
18、s22、根据水库、河道、引调水工程、供水对象及生态控制断面之间的水力联系和工程运行关系,构建统一的水资源优化调度模型的调度网络关系;
19、s23、确定统一的水资源优化调度模型的决策变量,所述决策变量包括发电流量、供水分配量、生态下泄流量、引调水工程调水量、弃水流量和闸泵站启闭状态中的一种或多种;
20、s24、根据供水保障、生态约束、发电效益、调水任务和运行安全要求,确定统一的水资源优化调度模型的优化目标;
21、s25、根据水量平衡关系、工程运行能力、水位控制要求、生态流量要求、调水任务要求和调度安全要求,构建统一的水资源优化调度模型的约束条件;
22、s26、将不同来水频率、需水水平、初始水位、工程运行状态和调水任务作为统一的水资源优化调度模型的输入条件;
23、s27、采用多目标优化算法对统一的水资源优化调度模型进行求解,获得不同输入情景对应的优化调度方案;
24、s28、汇总不同输入情景下的优化调度方案,形成优化调度解集。
25、进一步地,所述步骤s23中的决策变量包括发电流量、供水分配量、生态下泄流量、引调水工程调水量、弃水流量和闸泵站启闭状态中的一种或多种;其中,所述发电流量用于表征水库或水电站在调度时段内通过水轮机组用于发电的过机流量;所述供水分配量用于表征水资源调度系统在调度时段内向生活、工业、农业灌溉或其他供水对象分配的水量;所述生态下泄流量用于表征水库或控制工程在调度时段内为满足河道生态控制断面要求而下泄的水量;所述引调水工程调水量用于表征不同水源区、受水区或水网节点之间通过引调水工程进行调配的水量;所述弃水流量用于表征因防洪、水位控制、工程能力限制或其他调度要求产生的非利用性下泄水量;所述闸泵站启闭状态用于表征闸门或泵站在调度时段内的运行状态。
26、进一步地,所述步骤s24中的优化目标包括供水缺水量最小目标、供水保障率最大目标、生态流量满足程度最大目标、发电效益最大目标、调水任务完成程度最大目标、水位越限风险最小目标、弃水量最小目标和调度动作变化幅度最小目标中的一种或多种。
27、进一步地,所述步骤s25中的约束条件包括水量平衡约束、水位库容关系约束、水库水位控制约束、发电流量约束、供水能力约束、生态流量约束、引调水工程输水能力约束、闸泵站运行约束、调水任务约束和运行安全约束中的一种或多种。
28、进一步地,所述水量平衡约束用于表征水库、河道节点、供水节点和引调水工程节点在各调度时段内的入流量、出流量、蓄变量、供水量、调水量和损失量之间的平衡关系;所述水位库容关系约束用于表征水库水位与库容之间的对应关系;所述水库水位控制约束用于限制水库运行水位不低于死水位,并不超过汛限水位、正常蓄水位、防洪限制水位或其他上限控制水位要求;所述发电流量约束用于限制发电流量满足机组过流能力和发电运行要求;所述供水能力约束用于限制供水工程、水厂、取水口或输水工程的供水规模;所述生态流量约束用于保证生态控制断面满足最小生态流量或生态水位要求;所述引调水工程输水能力约束用于限制引调水工程在各调度时段内的最大调水能力;所述闸泵站运行约束用于限制闸门或泵站的启闭状态、运行时段和运行能力;所述运行安全约束用于限制水位越限、流量越限、工程超能力运行和调度动作突变。
29、进一步地,所述步骤s27中,采用多目标优化算法对统一的水资源优化调度模型进行求解,包括如下步骤:
30、s271、根据决策变量的取值范围和工程运行约束,初始化候选调度方案;
31、s272、将不同来水频率、需水水平、初始水位、工程运行状态和调水任务对应的输入条件代入统一的水资源优化调度模型;
32、s273、根据候选调度方案,模拟计算对应输入情景下的水库水位过程、库容过程、发电过程、供水过程、生态下泄过程、引调水过程、弃水过程和工程运行过程;
33、s274、根据优化目标和约束条件,计算候选调度方案的目标函数值、约束满足程度和综合评价结果;
34、s275、根据多目标优化算法的迭代更新规则,对候选调度方案进行选择、交叉、变异、更新或搜索;
35、s276、当满足预设收敛条件或达到最大迭代次数时,输出对应输入情景下的优化调度方案集。
36、进一步地,所述步骤s275中的多目标优化算法包括非支配排序遗传算法、粒子群优化算法、差分进化算法、动态规划算法、模拟退火算法和灰狼算法中的一种或多种。
37、进一步地,所述步骤s2中获取的优化调度解集包括不同输入情景、不同调度时段和不同候选调度方案下的水库水位、库容、发电流量、供水分配量、生态下泄流量、引调水工程调水量、弃水流量、水库目标水位、工程输水量、闸泵站启闭状态、缺水量、发电量、生态流量满足程度、调水任务完成程度和运行安全评价结果中的一种或多种。
38、进一步地,所述步骤s3中,构建适用于强化学习训练的状态-动作-奖励样本集包括如下步骤:
39、s31、从优化调度解集中提取表征水资源调度系统当前运行条件的调度状态变量;
40、s32、从优化调度解集中提取表征水资源调度决策行为的调度动作变量;
41、s33、从优化调度解集中提取表征调度结果优劣的调度效益指标;
42、s34、根据所述调度效益指标构建奖励函数或计算奖励值;
43、s35、按照调度时段顺序,将调度状态变量、调度动作变量、奖励值和下一时段调度状态变量组合为状态-动作-奖励样本;
44、s36、对所述状态-动作-奖励样本进行筛选、归一化处理、异常样本剔除和样本重构,形成强化学习训练样本集。
45、进一步地,所述步骤s31中的调度状态变量包括水库水位、库容、可用水量、来水量、预报来水量、供水对象需水量、生态需水量、调水任务量、时段信息、工程运行状态、前一时段出库流量、前一时段供水量和前一时段调水量中的一种或多种。
46、进一步地,所述步骤s32中的调度动作变量包括发电流量、供水分配量、生态下泄流量、引调水工程调水量、弃水流量和闸泵站启闭状态中的一种或多种。
47、进一步地,所述步骤s33中的调度效益指标包括供水满足率、缺水率、生态流量满足率、发电量、调水任务完成率、水位越限风险、弃水量、调度动作变化幅度和综合调度效益值中的一种或多种。
48、进一步地,所述步骤s35中的状态-动作-奖励样本表示为:,其中,表示第个调度时段的调度状态,表示第个调度时段的调度动作,表示第个调度时段的奖励值,表示第个调度时段的调度状态。
49、进一步地,所述步骤s4中,构建强化学习调度策略模型包括如下步骤:
50、s41、根据状态-动作-奖励样本集,确定强化学习调度策略模型的状态空间、动作空间和奖励函数;
51、s42、构建用于模拟水资源调度过程的强化学习交互环境;
52、s43、基于状态-动作-奖励样本集,对强化学习调度策略模型进行离线预训练,使模型学习优化调度解集中的调度规律;
53、s44、将预训练后的强化学习调度策略模型置于强化学习交互环境中进行交互训练,并根据奖励函数反馈更新模型参数;
54、s45、当模型训练达到预设收敛条件或最大训练轮次时,得到训练完成的强化学习调度策略模型。
55、进一步地,所述步骤s41中,状态空间根据步骤s31所述的调度状态变量构建,动作空间根据步骤s32所述的调度动作变量构建,奖励函数根据步骤s33所述的调度效益指标构建;其中,所述状态空间用于表征水资源调度系统在各调度时段的水情、工情、需水和任务状态,所述动作空间用于表征强化学习调度策略模型在各调度时段可输出的调度决策,所述奖励函数用于评价所述调度决策在供水保障、生态约束、发电效益、调水任务和运行安全方面的综合效果。
56、进一步地,所述步骤s42中的强化学习交互环境用于根据强化学习调度策略模型输出的调度动作,模拟水资源调度系统的状态转移过程和调度效益反馈过程;所述强化学习交互环境包括水量平衡更新、水位库容计算、供水分配计算、生态流量校核、发电效益计算、调水过程模拟、工程约束校核和调度效益评价中的一种或多种功能。
57、进一步地,所述步骤s43和步骤s44中,采用强化学习算法对所述强化学习调度策略模型进行离线预训练、交互训练或参数更新,使所述强化学习调度策略模型建立调度状态与调度动作之间的映射关系;所述强化学习算法包括深度q网络(dqn)、双重深度q网络(double dqn)、深度确定性策略梯度算法(ddpg)、近端策略优化算法(ppo)、演员-评论家类算法(ac)、软演员-评论家算法(sac)和离线强化学习算法(offline rl)中的一种或多种。
58、进一步地,所述步骤s4中的奖励函数包括供水保障奖励项、生态约束奖励项、发电效益奖励项、调水任务奖励项、运行安全奖励项、缺水惩罚项、水位越限惩罚项、弃水惩罚项和动作剧烈变化惩罚项中的一种或多种。
59、进一步地,所述奖励函数根据供水保障、生态约束、发电效益、调水任务、运行安全、缺水程度、水位或工程越限、弃水量以及调度动作变化幅度中的一种或多种指标构建,并通过设置相应权重系数,对不同调度目标和约束条件在强化学习训练过程中的影响程度进行调节。
60、进一步地,所述步骤s5中,将训练得到的强化学习策略模型转化为工程可执行的调度规则包括如下步骤:
61、s51、选取不同来水频率、需水水平、初始水位、工程运行状态和调水任务对应的典型调度状态;
62、s52、将所述典型调度状态输入训练得到的强化学习策略模型,获得对应的调度动作输出;
63、s53、对调度状态与调度动作之间的对应关系进行统计分析和规则归纳;
64、s54、根据水库水位、可用水量、来水量、需水量和工程运行状态划分调度状态区间;
65、s55、将连续型调度动作转化为分区控制规则、阈值控制规则、优先级规则和启停判断规则;
66、s56、对所述分区控制规则、阈值控制规则、优先级规则和启停判断规则进行组合,形成工程可执行的水资源调度规则体系。
67、进一步地,所述步骤s54中的调度状态区间包括高水位区、正常供水区、限制供水区、重点保障区、生态控制区和安全控制区中的一种或多种。
68、进一步地,所述步骤s55中的分区控制规则包括水位分区控制规则、可用水量分区控制规则、来水量分区控制规则和需水量分区控制规则中的一种或多种。
69、进一步地,所述步骤s55中的阈值控制规则包括出库流量阈值控制规则、生态下泄流量阈值控制规则、引调水工程调水量阈值控制规则、弃水流量阈值控制规则和工程运行能力阈值控制规则中的一种或多种。
70、进一步地,所述步骤s55中的优先级规则包括供水优先级规则、生态保障优先级规则、发电调度优先级规则和调水任务优先级规则中的一种或多种。
71、进一步地,所述步骤s55中的启停判断规则包括调水启动规则、调水停止规则、闸泵站启闭规则、应急供水启动规则和限制供水启动规则中的一种或多种。
72、进一步地,所述步骤s6中,通过历史典型水文过程和多情景仿真对生成的调度规则进行验证和修正,包括如下步骤:
73、s61、选取历史典型丰水年、平水年、枯水年、连续枯水年和极端来水过程,构建规则验证水文过程集;
74、s62、将生成的调度规则应用于所述规则验证水文过程集,开展调度过程回放模拟;
75、s63、计算供水保障率、缺水率、生态流量满足率、调水任务完成率、发电效益、弃水量和运行安全性评价指标;
76、s64、将所述评价指标与预设评价标准进行比较,判断生成的调度规则是否满足实际运行要求;
77、s65、当生成的调度规则不满足实际运行要求时,对水位分区阈值、供水优先级、出库流量控制参数、调水启动阈值和奖励函数权重中的一种或多种进行修正;
78、s66、基于修正后的调度规则重新开展多情景仿真验证,直至满足预设评价标准;
79、s67、输出修正后的水资源调度规则体系。
80、进一步地,所述步骤s63中的运行安全性评价指标包括水位越限次数、水位越限幅度、出库流量越限次数、工程输水能力超限次数、生态流量不满足时段数、调水工程超限次数和调度动作突变次数中的一种或多种。
81、进一步地,所述步骤s6中,水资源调度规则体系可用于水库群联合调度、区域水资源配置、引调水工程运行管理、数字孪生水网决策和水资源调度方案快速生成中的一种或多种应用场景。
82、本发明采用上述技术方案,具有以下优点和有益效果:
83、(1)本发明将多目标优化调度模型形成的优化调度解集转化为强化学习训练所需的状态-动作-奖励样本集,使优化调度结果不再停留于单一情景下的离散调度方案,而能够进一步用于训练具有泛化能力的调度策略模型,从而提高优化调度成果的利用效率。
84、(2)本发明通过构建统一的多情景水资源优化调度模型,将不同来水频率、需水水平、初始水位、工程运行状态和调水任务作为模型输入条件,能够在同一模型框架下形成不同输入情景对应的优化调度方案,避免针对不同情景重复构建模型,提高模型构建和调度分析效率。
85、(3)本发明利用强化学习模型学习调度状态与调度动作之间的映射关系,能够在复杂水情、工情、需水和调水任务条件下形成动态调度策略,提高水资源调度对多情景变化的适应能力。
86、(4)本发明将强化学习策略模型进一步转化为分区控制规则、阈值控制规则、优先级规则和启停判断规则等工程可执行调度规则,能够降低黑箱模型直接用于工程调度的应用难度,提高调度规则的可解释性、可检查性和可实施性。
87、(5)本发明通过历史典型水文过程和多情景仿真对生成的调度规则进行验证和修正,能够及时发现规则在供水保障、生态流量满足、发电效益、调水任务完成和运行安全等方面的不足,并对规则参数进行调整,提高调度规则的可靠性和稳定性。
88、(6)本发明适用于水库群联合调度、区域水资源配置、引调水工程运行管理和数字孪生水网决策等应用场景,能够为复杂水网条件下的智能调度、规则生成和调度方案快速制定提供技术支撑。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com