家庭能源系统的运行控制方法与存储介质与流程
本发明涉及家庭能源管理技术,特别是涉及家庭能源系统的运行控制方法与存储介质。
背景技术:
1、家庭能源系统中同时存在电能需求和热能需求。家庭电能管理系统以电池储能装置为核心,根据电价信号单独制定充放电策略;家庭热能管理系统则以热泵或电加热器为核心,根据采暖或生活热水需求单独制定供热策略。由于两套系统之间缺少信息交互和决策协调,造成电能和热能的综合利用率偏低。
技术实现思路
1、本发明的一个目的是要提升家庭能源系统中电能与热能的协同调度性能。
2、特别地,本发明提供了一种家庭能源系统的运行控制方法,包括:
3、基于目标家庭能源系统的物理模型和运行约束,确定所述目标家庭能源系统调度动作空间;所述调度动作空间用于表征所述目标家庭能源系统中各组件运行参数的可行域;
4、在所述调度动作空间确定的可调参数范围内,以动作掩码和奖励塑形的方式将领域知识规则嵌入深度强化学习模型,并通过嵌入后的深度强化学习模型确定满足所述运行约束的调度决策;所述领域知识规则基于所述物理模型和所述运行约束确定,并以最小化所述目标家庭能源系统的用能成本为优化目标;所述深度强化学习模型通过对所述目标家庭能源系统的历史运行状态及对应的调度动作样本进行训练得到;
5、根据所述调度决策生成控制指令并下发至所述目标家庭能源系统中各组件,以控制所述各组件的运行状态。
6、可选地,基于所述目标家庭能源系统的物理模型和运行约束,确定所述目标家庭能源系统调度动作空间包括:
7、确定所述目标家庭能源系统的各组件;所述各组件包括分布式电源、电池储能装置、热储能装置、电-热耦合设备和多品类热惯性家电;
8、根据所述各组件构建所述目标家庭能源系统的物理模型;所述物理模型用于描述所述目标家庭能源系统中各组件的动态特性和运行特性;
9、根据所述目标家庭能源系统中各组件的设备物理极限和用户舒适度需求确定各组件的运行约束;
10、根据所述物理模型和所述运行约束,确定所述目标家庭能源系统的调度动作空间;所述调度动作空间包括多个由所述运行约束界定取值范围的变量;所述变量包括所述电池储能装置的充放电功率连续变量、所述电-热耦合设备的启停状态离散变量及运行功率连续变量、以及所述多品类热惯性家电的虚拟荷电状态连续变量。
11、可选地,构建所述目标家庭能源系统的物理模型包括:
12、所述物理模型包括实体储能模型和虚拟储能模型;所述实体储能模型包括电池储能装置的等效电路模型和热储能装置的热动态模型;所述虚拟储能模型包括多品类热惯性家电的虚拟荷电状态模型;所述虚拟荷电状态模型用于将各品类热惯性家电的当前温度映射为归一化的虚拟荷电状态;所述归一化的虚拟荷电状态用于表征各品类热惯性家电当前温度在各自用户舒适温度区间内的相对位置;所述虚拟荷电状态的取值随当前温度升高而单调增大,所述当前温度处于用户舒适温度下限时所述虚拟荷电状态取值为0,所述当前温度处于用户舒适温度上限时所述虚拟荷电状态取值为1。
13、可选地,所述物理模型还包括所述电池储能装置的等效电路模型与所述热储能装置的热动态模型之间的耦合关系;所述耦合关系包括电功率平衡子方程和热功率平衡子方程;所述电-热耦合设备的输入电功率与输出热功率之间满足能效转换关系,所述能效转换关系通过所述电功率平衡子方程和所述热功率平衡子方程实现。
14、可选地,以动作掩码和奖励塑形的方式将领域知识规则嵌入深度强化学习模型包括:
15、基于所述运行约束生成动作掩码向量;所述动作掩码向量用于在所述深度强化学习模型的动作输出层屏蔽不满足所述运行约束的候选动作;
16、基于所述领域知识规则构建奖励塑形函数;所述奖励塑形函数用于在所述深度强化学习模型的奖励函数中增加修正项;所述修正项的取值与所述候选动作偏离所述运行约束的程度呈正向单调关系,并以所述修正项与所述奖励函数的基础值之差作为所述奖励函数的最终输出值。
17、可选地,所述领域知识规则基于所述物理模型和所述运行约束确定包括:
18、根据所述物理模型确定所述目标家庭能源系统中各组件的状态变量与控制变量的时序耦合关系;
19、根据所述时序耦合关系确定各所述状态变量的时间演化趋势、以及各所述状态变量与所述控制变量之间的驱动依赖关系;
20、根据所述运行约束确定各所述状态变量和所述控制变量的边界条件;
21、根据所述边界条件确定各所述状态变量的物理可行域和各所述控制变量的可调范围;
22、将所述时间演化趋势、所述驱动依赖关系、所述物理可行域和所述可调范围确定为所述领域知识规则的内容;所述内容以逻辑判断规则和/或数值约束条件的形式存储,用于在所述深度强化学习模型的决策过程中对候选动作进行可行性校验。
23、可选地,通过嵌入后的深度强化学习模型确定满足所述运行约束的调度决策包括:
24、获取嵌入后的深度强化学习模型在当前运行状态下输出的候选动作;
25、根据所述领域知识规则对所述候选动作进行可行性校验;
26、若所述候选动作通过所述可行性校验,将所述候选动作确定为满足所述运行约束的调度决策;
27、若所述候选动作未通过所述可行性校验,通过所述领域知识规则修正候选动作,直至修正后的候选动作通过所述可行性校验。
28、可选地,对所述候选动作进行可行性校验包括:
29、校验所述候选动作中各控制变量值是否处于可调范围之内,以及预测所述候选动作应用于当前状态后各状态变量是否超出物理可行域。
30、可选地,通过所述领域知识规则中修正候选动作包括:
31、基于所述领域知识规则中控制变量的可调范围,对所述候选动作中超出所述可调范围的控制变量进行限幅处理;
32、若所述候选动作施加于当前运行状态后,任一状态变量超出所述领域知识规则中的物理可行域,根据所述领域知识规则中的驱动依赖关系,确定超出所述物理可行域的状态变量所对应的控制变量及调整方向;按照所述调整方向修改所述候选动作中的所述控制变量。
33、根据本发明的另一个方面,还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一种的家庭能源系统的运行控制方法的步骤。
34、本发明的家庭能源系统的运行控制方法与存储介质中,基于物理模型和运行约束确定调度动作空间,将运行约束转化为动作空间的边界,使后续深度强化学习模型的决策空间被限定在可行边界内,避免了输出无效指令,实现决策的可执行性与物理可行性的兼顾。通过以动作掩码和奖励塑形的方式将领域知识规则嵌入深度强化学习模型,并以最小化用能成本为优化目标确定调度决策,使模型在决策过程中同时受到领域知识规则的约束和用能成本优化目标的引导,有效提升了决策质量,降低目标家庭能源系统的运行成本。通过调度决策生成控制指令并下发至目标家庭能源系统中各组件,实现多类型储能资源的协同调度,提升系统调节灵活性。
35、根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com