钢铁冶炼多工序协同优化控制方法、装置、设备及介质与流程

摘要: 本发明涉及工业过程智能控制领域,特别涉及钢铁冶炼多工序协同优化控制方法、装置、设备及介质。背景技术:1、在钢铁冶炼过程中,负责烟气治理与水处理的多工序系统通常包...
钢铁冶炼多工序协同优化控制方法、装置、设备及介质与流程

本发明涉及工业过程智能控制领域,特别涉及钢铁冶炼多工序协同优化控制方法、装置、设备及介质。

背景技术:

1、在钢铁冶炼过程中,负责烟气治理与水处理的多工序系统通常包括吸收塔脱硫、scr(selective catalytic reduction,选择性催化还原)脱硝、水处理、废水除铊处理等多个关键子系统。但随着环保排放标准趋严以及节能降耗要求提升,生产侧提出了愈发高要求的业务需求。

2、然而,现有相关控制方案在上述场景中存在以下关键问题:1)控制策略局部最优,缺乏全局协同能力:控制策略仅在子系统局部最优,无法在多目标之间进行动态权衡;2)难以应对强非线性与时变特性:上述系统存在多变量强耦合和复杂非线性关系,且动态过程复杂且具有滞后性,而所采用的pid(proportional-integral-derivative,比例-积分-微分)或规则控制依赖固定参数,无法适应动态变化工况;3)控制过程依赖人工经验,稳定性差:不同的操作员根据各自经验调节,在极端工况下容易出现过调或滞后;4)缺乏多步预测与优化能力:各子系统仅基于当前状态进行反馈调节,无法提前预判污染物趋势,容易导致控制滞后,甚至触发超标惩罚;5)难以统一建模多个子任务:上述四个子系统具有不同的状态空间与控制目标,所采用的分别建模、分别调参会导致工程复杂度高,维护成本大。

技术实现思路

1、有鉴于此,本发明的目的在于提供钢铁冶炼多工序协同优化控制方法、装置、设备及介质,能够解决现有相关控制方案中存在的问题,从而实现了能统一处理钢铁冶炼多工艺任务、具备预测能力且可在线优化决策的协同控制,提升了控制的实时性、稳定性、适应性以及可靠性,并提升了系统整体运行效率与自动化水平。其具体方案如下:

2、第一方面,本技术提供了一种钢铁冶炼多工序协同优化控制方法,包括:

3、获取钢铁冶炼多工序系统的历史运行数据并进行预处理,得到历史观测序列;所述多工序系统包括脱硫子系统、脱硝子系统、水处理子系统以及废水处理子系统,所述历史运行数据包括所述多工序系统中各子系统的状态数据及对应控制动作数据;

4、在利用所述历史观测序列训练状态编码模型和状态演化模型时,通过分析模型输出隐状态之间的一致性损失完成训练并得到目标状态编码模型和目标状态演化模型;所述状态编码模型用于将所述各子系统的状态数据映射至统一隐状态空间,所述状态演化模型用于根据隐状态和控制动作预测下一时刻隐状态;

5、基于所述历史观测序列构建真实转换样本,并利用所述真实转换样本进行时序差分目标的构建与学习,以完成价值评估模型更新,得到目标价值评估模型;

6、利用所述多工序系统的当前观测序列、所述目标状态编码模型及策略模型确定当前隐状态和多个候选控制动作,并利用所述目标状态演化模型以及所述目标价值评估模型在隐状态空间内对各所述候选控制动作进行多步滚动预测与单步即时评估,以确定多条目标候选控制轨迹;

7、利用所述目标价值评估模型和预设多目标奖励函数对各所述目标候选控制轨迹进行融合打分,并根据相应的评估结果从所述目标候选控制轨迹中筛选出目标控制轨迹;

8、提取所述目标控制轨迹中的首个控制动作对所述多工序系统中的若干个子系统进行协同控制,并在下一在线控制周期重新获取当前观测序列,以重复执行候选控制轨迹的生成、评估及筛选过程。

9、可选的,所述获取钢铁冶炼多工序系统的历史运行数据并进行预处理,得到历史观测序列,包括:

10、采集所述多工序系统中各子系统的历史状态数据;其中,所述历史状态数据包括所述脱硫子系统的入口so2浓度、出口so2浓度、浆液ph值、液位、密度及循环泵电流、所述脱硝子系统的出口nox浓度、烟气换热器压差、燃烧器出口温度、催化剂层温度、nh3入口温度及nh3出口温度、所述水处理子系统的吸收塔液位、真空度、石膏厚度及滤布冲洗水压、所述废水处理子系统的原水铊浓度、ph值、沉淀池浊度及pam流量;

11、采集所述多工序系统中各子系统的历史控制动作数据;所述历史控制动作数据包括阀门开度、泵启停状态及调节频率;

12、基于预设预处理策略对所述历史状态数据和所述历史控制动作数据进行处理,以确定预处理结果;所述预设预处理策略包括缺失值填补、异常值剔除、数据归一化及时间对齐;

13、针对所述预处理结果中的任一时刻状态数据,将当前状态数据与上一时刻控制动作数据进行拼接,得到拼接后数据;

14、利用各所述拼接后数据进行时序输入数据序列的构建,得到所述历史观测序列。

15、可选的,所述在利用所述历史观测序列训练状态编码模型和状态演化模型时,通过分析模型输出隐状态之间的一致性损失完成训练并得到目标状态编码模型和目标状态演化模型,包括:

16、构建状态编码模型和状态演化模型;所述状态编码模型采用多层感知机结构;所述状态演化模型采用多层神经网络结构;

17、将所述历史观测序列中各时刻的状态数据输入所述状态编码模型,以提取所述各子系统的动态特征并映射为对应的隐状态;

18、将各时刻的所述隐状态与所述历史观测序列中对应时刻的所述控制动作数据进行拼接,得到拼接结果;

19、将所述拼接结果输入所述状态演化模型进行预测得到目标下一时刻隐状态;

20、基于预设一致性约束分析所述目标下一时刻隐状态与所述历史观测序列中下一时刻状态数据对应的所述隐状态之间的差异,以确定一致性损失;

21、利用所述一致性损失对所述状态编码模型和所述状态演化模型进行更新,以完成模型训练,得到目标状态编码模型和目标状态演化模型。

22、可选的,所述基于所述历史观测序列构建真实转换样本,并利用所述真实转换样本进行时序差分目标的构建与学习,以完成价值评估模型更新,得到目标价值评估模型,包括:

23、基于预设建模方式构建价值评估模型;所述预设建模方式为适用于连续动作空间的价值函数建模方式;

24、针对所述历史观测序列中的任一时刻,从所述历史观测序列中提取当前时刻状态数据、当前时刻控制动作数据、与当前时刻控制动作数据对应的奖励值以及下一时刻状态数据构建真实转换样本;所述奖励值根据预设多目标奖励函数确定,所述预设多目标奖励函数为根据所述各子系统的控制目标构建的奖励函数;

25、利用所述目标状态编码模型分别对所述历史观测序列中的当前时刻状态数据及所述下一时刻状态数据进行编码,得到当前时刻隐状态及对应的下一时刻隐状态;

26、利用策略模型基于所述下一时刻隐状态确定下一时刻控制动作;

27、基于所述奖励值以及隐状态价值确定时序差分目标;所述隐状态价值为价值评估模型确定的所述下一时刻隐状态与所述下一时刻控制动作对应的价值;

28、基于所述时序差分目标、所述当前时刻隐状态和所述当前时刻控制动作数据对应的价值差异进行价值评估模型的参数更新,得到目标价值评估模型。

29、可选的,所述利用所述多工序系统的当前观测序列、所述目标状态编码模型及策略模型确定当前隐状态和多个候选控制动作,包括:

30、在进行在线控制决策优化时,获取所述多工序系统的运行数据并进行预处理,得到当前观测序列;

31、将当前观测序列输入所述目标状态编码模型得到当前隐状态;

32、将当前隐状态输入策略模型生成多个候选控制动作。

33、可选的,所述利用所述目标状态演化模型以及所述目标价值评估模型在隐状态空间内对各所述候选控制动作进行多步滚动预测与单步即时评估,以确定多条目标候选控制轨迹,包括:

34、将所述当前隐状态作为起始隐状态,利用所述策略模型和所述起始隐状态生成第一预设数量的候选控制动作;

35、分别将所述起始隐状态和各所述候选控制动作输入所述目标状态演化模型得到多个下一时刻预测隐状态;

36、针对各所述下一时刻预测隐状态,重复生成候选控制动作并预测下一时刻隐状态,以在统一隐状态空间中逐步扩展形成多条候选控制轨迹;

37、在每一预测步中,利用所述目标价值评估模型对已形成的所述候选控制轨迹进行即时价值评估,并根据相应的即时价值评估结果保留第二预设数量的候选控制轨迹继续扩展,直至达到预设预测步长时得到多条目标候选控制轨迹。

38、可选的,所述利用所述目标价值评估模型和预设多目标奖励函数对各所述目标候选控制轨迹进行融合打分,并根据相应的评估结果从所述目标候选控制轨迹中筛选出目标控制轨迹,包括:

39、利用所述目标状态演化模型,依据各所述目标候选动作轨迹的时序动作逐步滚动推演,生成对应的未来隐状态序列;

40、利用所述未来隐状态序列反推各预测时刻的污染物排放浓度,以逐条校验各所述目标候选动作轨迹是否满足预设排放约束,得到排放校验结果;所述污染物包括二氧化硫、氮氧化物以及出水铊;所述预设排放约束用于限制轨迹在任意预测时刻的污染物排放浓度不大于预设排放标准;

41、基于所述排放校验结果删去不满足所述预设排放约束的若干条目标候选动作轨迹;

42、针对满足所述预设排放约束的所述目标候选动作轨迹,基于所述预设多目标奖励函数确定当前目标候选控制轨迹中各预测步对应的即时目标奖励;

43、利用所述目标价值评估模型对当前目标候选控制轨迹推演终点处的末端隐状态进行远期收益的价值评估,以得到价值评估结果;

44、对各所述预测步对应的所述即时目标奖励进行折扣累积求和,并结合所述价值评估结果计算轨迹的总评分,以得到包括当前目标候选控制轨迹的轨迹评分的评估结果;

45、利用所述轨迹评分对当前目标候选控制轨迹进行排序,并根据相应的排序结果确定目标控制轨迹。

46、第二方面,本技术提供了一种钢铁冶炼多工序协同优化控制装置,包括:

47、历史数据获取模块,用于获取钢铁冶炼多工序系统的历史运行数据并进行预处理,得到历史观测序列;所述多工序系统包括脱硫子系统、脱硝子系统、水处理子系统以及废水处理子系统,所述历史运行数据包括所述多工序系统中各子系统的状态数据及对应控制动作数据;

48、模型训练模块,用于在利用所述历史观测序列训练状态编码模型和状态演化模型时,通过分析模型输出隐状态之间的一致性损失完成训练并得到目标状态编码模型和目标状态演化模型;所述状态编码模型用于将所述各子系统的状态数据映射至统一隐状态空间,所述状态演化模型用于根据隐状态和控制动作预测下一时刻隐状态;

49、模型更新模块,用于基于所述历史观测序列构建真实转换样本,并利用所述真实转换样本进行时序差分目标的构建与学习,以完成价值评估模型更新,得到目标价值评估模型;

50、控制轨迹确定模块,用于利用所述多工序系统的当前观测序列、所述目标状态编码模型及策略模型确定当前隐状态和多个候选控制动作,并利用所述目标状态演化模型以及所述目标价值评估模型在隐状态空间内对各所述候选控制动作进行多步滚动预测与单步即时评估,以确定多条目标候选控制轨迹;

51、轨迹筛选模块,用于利用所述目标价值评估模型和预设多目标奖励函数对各所述目标候选控制轨迹进行融合打分,并根据相应的评估结果从所述目标候选控制轨迹中筛选出目标控制轨迹;

52、协同控制模块,用于提取所述目标控制轨迹中的首个控制动作对所述多工序系统中的若干个子系统进行协同控制,并在下一在线控制周期重新获取当前观测序列,以重复执行候选控制轨迹的生成、评估及筛选过程。

53、第三方面,本技术提供了一种电子设备,包括:

54、存储器,用于保存计算机程序;

55、处理器,用于执行所述计算机程序,以实现前述的钢铁冶炼多工序协同优化控制方法的步骤。

56、第四方面,本技术提供了一种计算机可读存储介质,用于保存计算机程序,所述计算机程序被处理器执行时实现前述的钢铁冶炼多工序协同优化控制方法的步骤。

57、可见,本技术中,获取钢铁冶炼多工序系统的历史运行数据并进行预处理,得到历史观测序列;所述多工序系统包括脱硫子系统、脱硝子系统、水处理子系统以及废水处理子系统,所述历史运行数据包括所述多工序系统中各子系统的状态数据及对应控制动作数据;在利用所述历史观测序列训练状态编码模型和状态演化模型时,通过分析模型输出隐状态之间的一致性损失完成训练并得到目标状态编码模型和目标状态演化模型;所述状态编码模型用于将所述各子系统的状态数据映射至统一隐状态空间,所述状态演化模型用于根据隐状态和控制动作预测下一时刻隐状态;基于所述历史观测序列构建真实转换样本,并利用所述真实转换样本进行时序差分目标的构建与学习,以完成价值评估模型更新,得到目标价值评估模型;利用所述多工序系统的当前观测序列、所述目标状态编码模型及策略模型确定当前隐状态和多个候选控制动作,并利用所述目标状态演化模型以及所述目标价值评估模型在隐状态空间内对各所述候选控制动作进行多步滚动预测与单步即时评估,以确定多条目标候选控制轨迹;利用所述目标价值评估模型和预设多目标奖励函数对各所述目标候选控制轨迹进行融合打分,并根据相应的评估结果从所述目标候选控制轨迹中筛选出目标控制轨迹;提取所述目标控制轨迹中的首个控制动作对所述多工序系统中的若干个子系统进行协同控制,并在下一在线控制周期重新获取当前观测序列,以重复执行候选控制轨迹的生成、评估及筛选过程。

58、也就是说,本技术先预处理钢铁冶炼多工序系统的历史运行数据得到历史观测序列;然后,利用所述历史观测序列训练状态编码模型和状态演化模型并分析模型输出隐状态之间的一致性损失,以完成训练并得到目标状态编码模型和目标状态演化模型;并利用历史观测序列所构建的真实转换样本进行时序差分目标的构建与学习,以完成价值评估模型更新,得到目标价值评估模型;之后,基于当前观测序列、策略模型及训练后的目标状态编码模型确定当前隐状态和多个候选控制动作,并利用训练后的目标状态演化模型及目标价值评估模型在隐状态空间内对各候选控制动作分别进行多步滚动预测与单步即时评估,以确定多条目标候选控制轨迹;之后,利用目标价值评估模型和预设多目标奖励函数融合打分目标候选控制轨迹,以筛选出目标控制轨迹;最后,提取目标控制轨迹中的首个控制动作对多工序系统中的若干个子系统进行协同控制,并在下一在线控制周期重新获取当前观测序列,以重复执行候选控制轨迹的生成、评估及筛选过程。这样一来,能够解决现有相关控制方案中存在的问题,从而实现了能统一处理钢铁冶炼多工艺任务、具备预测能力且可在线优化决策的协同控制,提升了控制的实时性、稳定性、适应性以及可靠性,并提升了系统整体运行效率与自动化水平。