一种基于深度强化学习的钢铁企业氧气系统调度方法与流程

1.本发明涉及调度技术领域，特别涉及一种基于深度强化学习的钢铁企业氧气系统调度方法。


背景技术：

2.氧气是现代钢铁企业生产过程中不可或缺的能源消耗原料，其在钢铁冶炼工艺中主要用于高炉炼铁或转炉炼钢，高纯度的氧、氮、氩等气态和液态产物可以使用空气分离装置获得。因此，空分装置作为钢铁企业的供氧端，与用于运输存储氧气、消耗氧气的其他设备共同组成了氧气系统。在实际的生产过程中，用氧端频繁波动导致高峰值与低谷值差距大，与供氧端之间会产生不匹配的情况。传统的调度方案仅依靠经验和历史数据报表，不能及时调整以满足实时变化的用氧端需求，这会导致更高的成本或者更多的气体放散量，从而造成经济损失和资源浪费等一系列不良结果。


技术实现要素：

3.本发明的目的在于提供一种基于深度强化学习的钢铁企业氧气系统调度方法，以解决上述技术问题。
4.为达此目的，本发明采用以下技术方案：
5.提供一种基于深度强化学习的钢铁企业氧气系统调度方法，其改进之处在于，包括：
6.获取每个环节氧气系统对应设备的处理数据，对数据进行预处理，并构建训练集；
7.基于训练集构建深度强化学习ddpg模型，其中，深度强化学习ddpg模型包括ddpg深度学习网络结构和ddpg强化学习模块；
8.训练深度强化学习ddpg模型，得到调度过程中对应设备出力规则；
9.将待生产、运输、使用的氧气任务调度数据输入到训练好的深度强化学习ddpg模型，并据设备出力规则得到钢铁企业氧气的调度安排。
10.本发明通过结合深度学习和强化学习，使得深度神经网络可实现特征提取，并得到调度过程中对应设备出力规则，进而能够快速、准确获取钢铁企业氧气系统的调度安排。
附图说明
11.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
12.图1是本发明一实施例提供的基于深度强化学习的钢铁企业氧气系统调度方法的步骤图。
具体实施方式
13.下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
14.其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
15.本发明一实施例提供的基于深度强化学习的钢铁企业氧气系统调度方法，如图1所示，包括如下步骤：
16.步骤s1：获取每个环节氧气系统对应设备的处理数据，对数据进行预处理，并构建训练集；
17.步骤s2：基于训练集构建深度强化学习ddpg模型，其中，深度强化学习ddpg模型包括ddpg深度学习网络结构和ddpg强化学习模块；
18.步骤s3：训练深度强化学习ddpg模型，得到调度过程中对应设备出力规则；
19.步骤s4：将待生产、运输、使用的氧气任务调度数据输入到训练好的深度强化学习ddpg模型，并据设备出力规则得到钢铁企业氧气的调度安排。
20.显然，通过结合深度学习和强化学习，使得深度神经网络可实现特征提取，并得到调度过程中对应设备出力规则，进而能够快速、准确获取钢铁企业氧气系统的调度安排。
21.在一些实施例中，步骤s1：获取每个环节氧气系统对应设备的处理数据，对数据进行预处理，并构建训练集，其中，对数据进行预处理，包括：
22.将氧气任务调度数据转换成五维矩阵，包括氧气需求量矩阵、氧气放散量矩阵、液氧外销量矩阵、液氧储存量矩阵以及调度时间矩阵。
23.在一些实施例中，步骤s2：基于训练集构建深度强化学习ddpg模型，其中，深度强化学习ddpg模型包括ddpg深度学习网络结构和ddpg强化学习模块，其中，ddpg深度学习神经网络的隐含层层数为2层，每层有100个神经元，隐含层激活函数为relu(rectified linear units)激活函数。
24.在一些实施例中，ddpg强化学习模块包括价值网络单元、策略网络单元、回报设定单元。
25.在一些实施例中，步骤s3：训练深度强化学习ddpg模型，得到调度过程中对应设备出力规则，其中，
26.训练深度强化学习ddpg模型，包括：
27.步骤s31：采用经验回访池进行采样，建立一个容量为d的经验回访池，存储由强化学习策略得到的过往状态经历序列，用于神经网络训练；
28.步骤s32：每次从经验回访池中随机提取小批量的经验样本，使用adam优化器通过梯度下降来更新权重、偏置。
29.步骤s33：每隔一定训练时间步长，将当前ddpg神经网络参数传入目标网络中，返回步骤s31直到当前训练轮次达到训练预设要求。
30.在一些实施例中，步骤s4：将待生产、运输、使用的氧气任务调度数据输入到训练好的深度强化学习ddpg模型，并据设备出力规则得到钢铁企业氧气的调度安排，包括：
31.根据实际真实的氧气生产调度环境，输出当前时刻系统内氧气需求量、氧气放散
量、液氧外销量、液氧存储量数据作为状态信息，将其传输给氧气系统深度强化学习模型，该氧气系统深度强化学习模型根据输入的状态信息输出最优调度动作，将该最优调度动作返回氧气调度控制器；
32.氧气调度控制器收到最优调度动作，执行该动作并且进入下一个环节状态，同时获得回报；采集下一时段系统的状态信息并进行该时段决策，如此获得动态调度动作。
33.为便于理解，下面结合具体的实施方案进行详细描述：
34.其中，氧气系统调度问题描述包括：
35.氧气系统工艺过程，其由氧气产出系统、氧气储存系统以及氧气消耗系统三个子系统组成。
36.氧气产出系统所涉及的主要设备有：空分装置、空压机和氧压机。每台空分装置各配备一台空压机，空气由空压机压缩至一定压力后送入空分装置中，通过低温精馏法分离出氧气和液氧送入氧气储存系统。氧气储存系统所涉及的主要设备有：氧气管网、球罐、液氧储槽、液化器和气化器。高压氧通过氧气管网输送到氧气消耗系统，液氧会储存在液氧储槽中。当高压氧气过多时，氧气管网和球罐中储存的气体量会逐渐增加，从而导致氧气管网的压力逐步上升。为了避免管网压力超过安全范围造成安全隐患，可以通过液化器将液氧储存到储槽中，或者将多余的气体放散。当高压氧不足时，可以利用气化器将液氧转化成氧气以满足氧气消耗系统的需求。氧气消耗系统包含了炼钢厂、炼铁厂和企业外部用户，其中气态氧进入炼钢厂用于炼钢转炉吹氧，进入炼铁厂用于高炉富氧冶炼，液氧主要销售给企业外部用户用于获得外部利润。对于整个氧气系统中涉及到的空分装置、压缩机、存储装置、液化器、气化器和下游用户等都通过管网连接从而构成一个完整的系统，同时管网对氧气也能起到一定的储存作用。
37.其中，氧气系统调度问题数学描述包括：
38.对氧气生产的工艺流程进行分析，影响氧气放散的因素多种且复杂。最直接影响氧气放散的因素为空分装置的产量、调节速度等，正常情况下，放散率与氧产量成正比，与调节速度成反比。其次，氧气系统配备的缓冲装置能力强弱，决定了其面对氧气供需不平衡问题时调用与储存富余氧气量的多少，也会对氧气放散造成一定的影响。
39.因此，对氧气系统进行调度所要解决的问题，就是如何安排系统中各设备的运行模式和生产水平。利用管网和储槽等设备的缓冲作用，通过液化器和气化器对液相氧和气相氧进行转换，在满足下游用户用氧需求的前提下提高氧气利用率，实现经济最大化。
40.通常所研究的氧气系统调度目标，仅对收益或放散量单方面进行考虑实施优化调度。本文将放散的气态氧量与其市场单价相乘，再与收益经济指标进行加权融合，旨在对两者进行综合考虑，获得制氧调度过程的最优调度决策。
41.氧气系统经济指标f为本文的调度目标，包括液态氧外销收益、各设备的电能耗以及气体放散的损耗。数学表示为：
42.f＝j
p-λ
·
jr43.式中：j
p
为氧气系统收益经济指标；jr为氧气系统放散量损耗指标。
44.其中，氧气系统收益经济指标j
p
为：
[0045][0046]
式中，为外销收益，f为液氧外销的单位费用，为液氧外销量；ce为氧气系统各设备的电耗成本，分别为制氧机、液化器、气化器的电耗成本，h(t)为制氧机电耗与氧气产量的对应函数关系，a(t)为液化器电耗与液氧产量的对应函数关系，b(t)为气化器与液氧气化量的对应函数关系，为氧气产量，为氧气液化量，为液氧气化量；e(t)为实时电价。
[0047]
氧气系统放散量jr：
[0048][0049]
式中，为氧气的单位费用；为氧气放散量，为氧气储存量、为氧气的消耗量。
[0050]
其中，约束条件描述包括：
[0051]
氧气系统调度问题的约束包括氧气管网物料平衡、液氧储槽物料平衡和各设备的运行约束。此外为保证氧气系统能安全稳定运行，氧气管网压力也需在其安全范围之内。
[0052]
(1)物料平衡约束
[0053]
在时段t内，氧气管网物料平衡约束和液氧储槽物料平衡可分别表述为：
[0054][0055][0056][0057]
式中：为液氧储存量；为液氧产量，k为液氧产量与氧气产量的函数系数。
[0058]
(2)各设备的运行约束
[0059]
氧气系统中涉及到的各设备如空分装置、液化器、气化器、液氧存储装置等，都有其工作范围：
[0060]
a)空气分离装置
[0061]
每个空分装置asu都有其氧气生成的上限和下限，分别约为生产能力的80％和105％。设asu氧气产出量为go2，相关约束可描述为：
[0062]
[0063]
式中，表示氧气生成的上下限。
[0064]
b)液化装置
[0065]
与asu相似，液化装置的负荷范围通常为生产能力的60％至100％。设液体储槽量为glo2，相关约束可描述为：
[0066][0067]
式中，表示氧气液化量的上下限。
[0068]
c)气化装置
[0069]
气化装置气化量不能超过设备最大负荷：
[0070][0071]
式中，和分别为气化器气化量的下限和上限。
[0072]
d)液氧存储装置
[0073]
考虑到设备安全，液体储罐的实际存储容量限制在其额定容量的10％至95％。设液化装置液化量为sl02，相关约束可描述为：
[0074][0075]
式中，表示液氧存储量的上下限。
[0076]
(3)管网压力的安全约束
[0077]
氧气管网压力不能超过安全范围：
[0078]
式中：和分别为氧气管网压力安全范围的下限与上限。
[0079]
需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本技术说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。