一种汽温控制方法、装置、电子设备和计算机存储介质与流程

1.本发明涉及火力发电处理技术领域，尤其涉及一种汽温控制方法、装置、电子设备和计算机存储介质。


背景技术：

2.随着火力发电计算的不断发展，在火电厂热工控制中，锅炉出口过热蒸汽温度(主汽温或过热汽温)与再热器出口汽温(再热汽温)是燃煤锅炉运行中的关键参数，对电厂的安全经济运行具有重大的影响，当汽温过高，可能导致设备损坏，当汽温过低会导致机组的循环效率下降，且会影响汽轮机的安全稳定运行。
3.目前，常火电机组汽温控制系统广泛采用传统的(比例
‑
积分
‑
微分控制器)pid基于汽温控制系统的参数策略结果与需求结果的误差来控制减温水、烟气挡板等操作参数，以维持过热汽温与再热汽温在额定范围内。由于过热汽温与再热汽温的控制具有大滞后、大惯性的特点，因此，通过上述方法无法准确对锅炉的汽温进行控制。


技术实现要素：

4.有鉴于此，本发明实施例提供一种汽温控制方法、装置、电子设备和计算机存储介质，以解决现有技术中无法准确对锅炉的汽温进行控制的问题。
5.为实现上述目的，本发明实施例提供如下技术方案：
6.本发明实施例第一方面示出了一种汽温控制方法，所述方法包括：
7.获取汽温控制系统的检测数据；
8.将所述检测数据输入预先建立的汽温控制优化模型，基于所述汽温控制优化模型对所述检测数据进行处理，得到汽温控制推荐值，其中，预先建立的汽温控制优化模型由汽温控制行为策略模型和汽温控制系统综合动态特性模型构建而成，所述汽温控制行为策略模型和所述汽温控制系统综合动态特性模型均是基于历史数据训练得到的；
9.基于所述汽温控制推荐值控制所述汽温控制系统执行与所述汽温控制推荐值对应的动作。
10.可选的，所述基于所述汽温控制优化模型对所述检测数据进行处理，得到汽温控制推荐值，包括:
11.利用汽温控制行为策略模型和汽温控制系统综合动态特性模型对所述检测数据进行处理，得到行为动作序列；
12.对所述动作系列进行采样处理，得到目标动作序列，所述目标动作序列的数量为多个；
13.针对每一目标动作序列，基于综合优化目标函数进行计算，得到每组目标动作序列对应的累积奖励值，所述综合优化目标函数是基于目标动作序列，以及所述汽温控制系统综合动态特性模型输出的与所述目标动作序列对应的状态特征序列进行计算得到的；
14.基于所述累积奖励值的大小对所述目标动作序列进行排序；
15.基于所述目标动作序列所对应的排序顺序，选取待进行优化的目标动作序列的集合；
16.对所述待进行优化的目标动作序列的集合进行迭代优化，直至优化次数等于预设迭代次数，确定当前的目标动作序列为汽温控制推荐值。
17.可选的，所述基于历史数据训练得到汽温控制行为策略模型的过程包括：
18.采集火电机组运行的历史数据；
19.对所述历史数据进行处理，得到汽温控制离线数据集；
20.基于所述汽温控制离线数据集中的状态特征和动作特征对深度神经网络模型进行训练，得到汽温控制行为策略模型。
21.可选的，所述汽温控制系统综合动态特性模型包括过热汽温变化动态特性模型和再热汽温变化动态特性模型，基于历史数据训练得到所述汽温控制系统综合动态特性模型的过程包括：
22.采集火电机组运行的历史数据；
23.对所述历史数据进行处理，得到汽温控制离线数据集；
24.确定初始lstm网络模型；
25.基于所述汽温控制离线数据集中的过热汽温变化相关的状态特征和动作特征对所述初始lstm网络模型进行训练，得到过热汽温变化动态特性模型；
26.基于所述汽温控制离线数据集中的再热汽温变化相关的状态特征和动作特征对所述初始lstm网络模型进行训练，得到再热汽温变化动态特性模型。
27.本发明实施例第二方面示出了一种汽温控制装置，所述装置包括：
28.获取单元，用于获取汽温控制系统的检测数据；
29.汽温控制优化模型，用于将所述检测数据输入预先建立的汽温控制优化模型，基于所述汽温控制优化模型对所述检测数据进行处理，得到汽温控制推荐值，其中，预先建立的汽温控制优化模型由汽温控制行为策略模型和汽温控制系统综合动态特性模型构建而成，所述汽温控制行为策略模型和所述汽温控制系统综合动态特性模型均是基于构建单元构建得到；
30.执行单元，用于基于所述汽温控制推荐值控制所述汽温控制系统执行与所述汽温控制推荐值对应的动作。
31.可选的，所述汽温控制优化模型，具体用于：
32.利用汽温控制行为策略模型和汽温控制系统综合动态特性模型对所述检测数据进行处理，得到行为动作序列；对所述动作系列进行采样处理，得到目标动作序列，所述目标动作序列的数量为多个；针对每一目标动作序列，基于综合优化目标函数进行计算，得到每组目标动作序列对应的累积奖励值，所述综合优化目标函数是基于目标动作序列，以及所述汽温控制系统综合动态特性模型输出的与所述目标动作序列对应的状态特征序列进行计算得到的；基于所述累积奖励值的大小对所述目标动作序列进行排序；基于所述目标动作序列所对应的排序顺序，选取待进行优化的目标动作序列的集合；对所述待进行优化的目标动作序列的集合进行迭代优化，直至优化次数等于预设迭代次数，确定当前的目标动作序列为汽温控制推荐值。
33.可选的，所述构建单元，用于采集火电机组运行的历史数据；对所述历史数据进行
处理，得到汽温控制离线数据集；基于所述汽温控制离线数据集中的状态特征和动作特征对深度神经网络模型进行训练，得到汽温控制行为策略模型。
34.可选的，所述构建单元，还用于：确定初始lstm网络模型；基于所述汽温控制离线数据集中的过热汽温变化相关的状态特征和动作特征对所述初始lstm网络模型进行训练，得到过热汽温变化动态特性模型；基于所述汽温控制离线数据集中的再热汽温变化相关的状态特征和动作特征对所述初始lstm网络模型进行训练，得到再热汽温变化动态特性模型。
35.本发明实施例第三方面示出了一种电子设备，所述电子设备用于运行程序，其中，所述程序运行时执行如本发明实施例第一方面示出的汽温控制方法。
36.本发明实施例第四方面示出了一种计算机存储介质，所述存储介质包括存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行如本发明实施例第一方面示出的汽温控制方法。
37.基于上述本发明实施例提供的一种汽温控制方法、装置、电子设备和计算机存储介质，该方法包括：获取汽温控制系统的检测数据；将检测数据输入预先建立的汽温控制优化模型，基于汽温控制优化模型对检测数据进行处理，得到汽温控制推荐值，其中，预先建立的汽温控制优化模型由汽温控制行为策略模型和汽温控制系统综合动态特性模型构建而成，汽温控制行为策略模型和汽温控制系统综合动态特性模型均是基于历史数据训练得到的；基于汽温控制推荐值控制汽温控制系统执行与汽温控制推荐值对应的动作。在本发明实施例中，利用汽温控制行为策略模型和汽温控制系统综合动态特性模型构建的汽温控制优化模型对检测数据进行处理，从而得到汽温控制推荐值，通过上述方式进行汽温控制，能够保证准确对锅炉的汽温进行控制。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
39.图1为本发明实施例示出的汽温自动控制网络的示意图；
40.图2为本发明实施例示出的一种汽温控制方法的流程示意图；
41.图3为本发明实施例示出的汽温控制优化模型架构确定汽温控制推荐值的原理流程图；
42.图4为本发明实施例示出的确定汽温控制推荐值的流程图；
43.图5为本发明实施例示出的一种汽温控制装置的结构示意图。
具体实施方式
44.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
46.在本发明实施例中，利用汽温控制行为策略模型和汽温控制系统综合动态特性模型构建的汽温控制优化模型对检测数据进行处理，从而得到汽温控制推荐值，通过上述方式进行汽温控制，能够保证准确对锅炉的汽温进行控制。
47.本发明实施例公开的汽温控制方法可用于锅炉的分散式控制系统(distributed control system，dcs)中，如图1所示，为本发明实施例示出的汽温自动控制网络的示意图。
48.在机组第一dcs系统10，即在不改造原dcs系统的前提下，还进一步设置通信接口标准(ole forprocess control，opc)站20，服务器30、第二dcs系统40，和汽温控制系统50。
49.第一dcs系统10的一端与所述opc站20连接，另一端与新增的第二dcs系统40连接。opc站20通过单向隔离网闸与服务器30连接，第二dcs系统40也与服务器30连接。服务器30与汽温控制系统50连接。
50.其中，汽温控制系统50包括交换机51、显示器52、应用服务器53、第一大数据服务器54和第二大数据服务器55。
51.在具体实现中，服务器30与通过交换机51分别与显示器52、应用服务器53、第一大数据服务器54和第二大数据服务器55连接。
52.服务器30是一个工程师站、接口站、策略研究服务器，服务器30用于获取汽温控制系统50发送的检测数据，并将检测数据输入预先建立的汽温控制优化模型，基于所述汽温控制优化模型对所述检测数据进行处理，得到汽温控制推荐值；并将汽温控制推荐值，即优化控制指令推荐值接入第一dcs系统10，第一dcs系统10在最新优化推荐控制值，即汽温控制推荐值的指导下实现对过、再热汽温的控制。
53.在本发明实施例中，在不改造dcs系统的前提下，实现服务器中的汽温控制优化模型与dcs系统的通讯，将优化后的汽温控制推荐值所对应的控制信号传输至dcs系统，能够直接参与控制，从而保证汽温控制的便捷性与运行安全性。以解决汽温控制系统自动投入困难，手动调节工作量大、调节经济性较差的现状。
54.参见图2，为本发明实施例示出的一种汽温控制方法的流程示意图，该方法包括：
55.s201：获取汽温控制系统的检测数据。
56.在步骤s201中，所述检测数据是指当前时刻状态特征。
57.在具体实现步骤s201的过程中，获取汽温控制系统的当前时刻状态特征。
58.需要说明的是，状态特征用于反映汽温控制系统运行中各状态指标的情况，具体包括炉膛烟温、总风量、锅炉负荷、给水流量、总煤量、氧量、一(二)级过热器喷水减温前(后)蒸汽温度、末级过热器出口主蒸汽温度、一(二)级减温水流量、过热器减温水温度、低温过热器进口烟气温度、主汽流量、主汽压力、主汽温度、再热器喷水减温前(后)蒸汽温度、再热器出口蒸汽温度、再热器减温水温度、水平再热器出(进)口烟气温度、再热汽压力、及再热蒸汽温度等数据。
59.s202：将所述检测数据输入预先建立的汽温控制优化模型，基于所述汽温控制优
化模型对所述检测数据进行处理，得到汽温控制推荐值。
60.在s202中，预先建立的汽温控制优化模型由汽温控制行为策略模型和汽温控制系统综合动态特性模型构建而成，汽温控制行为策略模型和汽温控制系统综合动态特性模型均是基于历史数据训练得到的。
61.在具体实现步骤s202的过程中，通过预先建立的汽温控制优化模型对输入的当前时刻状态特征进行处理，即将当前时刻状态特征通过本发明实施例公开使用高效的免梯度的优化方法构建的汽温控制优化模型进行处理，最终输出汽温控制推荐值。
62.需要说明的是，汽温控制推荐值是指有限时域h，即未来时间h个时刻的最优目标动作序列其中，是指当前时刻对应的动作特征，是指下一时刻对应的动作特征，依次类推，是指h
‑
1时刻对应的动作特征。
63.进一步需要说明的是，有限时域h是技术人员根据经验进行设置的，对比本发明实施例不加以限制。
64.动作特征是指汽温控制系统中可进行操作、用以调节过热汽温与再热汽温的相关量，具体包括一(二)级过热器左(右)侧减温喷水调节阀阀位、过热烟气挡板、再热器减温水调节阀阀位、以及再热器烟气挡板等数据。
65.在本发明实施例中，基于图2示出的汽温控制的流程示意图，相应的，本发明实施例还对应公开了汽温控制优化模型架构确定汽温控制推荐值的原理流程图，如图3所示。
66.需要说明的是，基于历史数据训练得到汽温控制行为策略模型的过程，包括以下步骤：
67.s11：采集火电机组运行的历史数据。
68.在具体实现步骤s11的过程中，首先从电厂系统中收集所能收集到的火电机组的历史状态特征和历史动作特征。
69.s12：对所述历史数据进行处理，得到汽温控制离线数据集。
70.在具体实现步骤s12的过程中，对历史数据进行清洗，检测并去除离群样本，填补空缺数据并平滑数据噪声。具体的，为了满足后续系统模型构建与训练的需求，基于机组过、再热汽温相关变化机理挑选后续建模所需的状态特征和动作特征，并基于挑选的状态特征和动作特征对历史数据进行处理，即删除数据异常特征点、删除数据稀疏特征点、以及数据填充等，从而将处理后的历史状态特征和历史动作特征作为汽温控制离线数据集。
71.其中，汽温控制离线数据集中的数据按时间顺序排列，每一条数据之间具有相同的时间间隔，每一条数据中包含历史某以时刻下汽温控制系统的历史状态特征s与历史动作特征a的数值。
72.需要说明的是，时间间隔是根据实际情况进行设定的，一般可为20s。
73.s13：基于所述汽温控制离线数据集中的状态特征和动作特征对深度神经网络模型进行训练，得到汽温控制行为策略模型。
74.在具体实现步骤s13的过程中，确定深度神经网络模型为初始模型，并基于汽温控制离线数据集中的状态特征作为初始模型的输入，而动作特征为初始模型的输出，在进行初始模型训练阶段，将数据集中的动作特征数据作为标签，以对初始模型进行训练，确定当前训练得到的初始模型为训练完成的汽温控制行为策略模型，如图3所示。
75.可以理解的是，温控制行为策略模型可以用于准确识别输入的汽温控制系统的状态特征s
t
，从而输出对应时刻下汽温控制系统的动作特征a
t
，也就是说，汽温控制行为策略模型可通过公式(1)表示。
76.公式(1)：
77.a
t
＝f
b
(s
t
)
ꢀꢀ
(1)
78.其中，s
t
为任意时刻下汽温控制系统的状态特征，a
t
为输出对应时刻下汽温控制系统的动作特征。
79.在本发明实施例中，所述汽温控制系统综合动态特性模型包括过热汽温变化动态特性模型和再热汽温变化动态特性模型。基于历史数据训练过热汽温变化动态特性模型和再热汽温变化动态特性模型的过程包括以下步骤：
80.s21：采集火电机组运行的历史数据。
81.s22：对所述历史数据进行处理，得到汽温控制离线数据集。
82.需要说明的是，步骤s21至步骤s22的具体实现过程与上述步骤s11至步骤s12的具体过程相同可相互参见。
83.s23：确定初始lstm网络模型。
84.在具体实现步骤s23的过程中，考虑系统汽温变化的时间滞后性，因此使用长短期记忆网络lstm对过热汽温变化动态特性模型和再热汽温变化动态特性模型进行构建，以能够对未来一段时间内的过、再热汽温的变化趋势进行较为精准的预测。
85.s24：基于所述汽温控制离线数据集中的过热汽温变化相关的状态特征和动作特征对所述初始lstm网络模型进行训练，得到过热汽温变化动态特性模型。
86.在具体实现步骤s24的过程中，基于汽温控制离线数据集中的过热汽温变化相关的历史状态特征s’，比如炉膛烟温、总风量、锅炉负荷、给水流量、总煤量、氧量、一(二)级过热器喷水减温前(后)蒸汽温度、末级过热器出口主蒸汽温度、一(二)级减温水流量、过热器减温水温度、低温过热器进口烟气温度、主汽流量、主汽压力和主汽温度等，与历史动作特征a’，比如一(二)级过热器左(右)侧减温喷水调节阀阀位和过热烟气挡板等对初始lstm网络模型进行训练，得到过热汽温变化动态特性模型，如图3所示。
87.可以理解的是，过热汽温变化动态特性模型可以用于对过去t个时刻的状态
‑
动作特征对{(s'1,a'1),(s'2,a'2),...,(s'
t
,a'
t
)}进行处理，输出下一时刻的状态特征s'
t 1
，也就是说，过热汽温变化动态特性模型可通过公式(2)表示。
88.公式(2)：
89.s'
t 1
＝f
m1
((s',a')
1～t
)
ꢀꢀ
(2)
90.其中，((s',a')
1～t
)是指过去t个时刻的状态
‑
动作特征对{(s'1,a'1),(s'2,a'2),...,(s'
t
,a'
t
)}。
91.在本发明实施例中，训练完成的初始lstm网络模型能准确地刻画过热汽温系统的相关状态特征在其控制量作用下的变化特性，充分考虑了过热汽温大滞后、大惯性等特点。
92.s25：基于所述汽温控制离线数据集中的再热汽温变化相关的状态特征和动作特征对所述初始lstm网络模型进行训练，得到再热汽温变化动态特性模型。
93.在具体实现步骤s25的过程中，基于汽温控制离线数据集中的再热汽温变化相关的历史状态特征s”，比如锅炉负荷、主汽流量、再热器喷水减温前(后)蒸汽温度、再热器出
口蒸汽温度、再热器减温水温度、水平再热器出(进)口烟气温度、再热汽压力和再热蒸汽温度等与历史动作特征a”，比如再热器减温水调节阀阀位和再热器烟气挡板，对初始lstm网络模型进行训练，得到再热汽温变化动态特性模型，如图3所示。
94.可以理解的是，再热汽温变化动态特性模型可以用于对过去t个时刻的状态
‑
动作特征对{(s”1
,a”1
),(s”2
,a”2
),...,(s”t
,a”t
)}进行处理，输出下一时刻的状态特征s”t 1
，也就是说，过热汽温变化动态特性模型可通过公式(3)表示。
95.公式(3)为：
96.s”t 1
＝f
m1
((s”,a”)
1～t
)
ꢀꢀ
(3)
97.其中，((s”,a”)
1～t
)为过去t个时刻的状态
‑
动作特征对{(s”1
,a”1
),(s”2
,a”2
),...,(s”t
,a”t
)}。
98.需要说明的是，再热汽温变化动态特性模型的训练过程与上述过热汽温变化动态特性模型的训练过程相同，可相互参见。
99.基于上述本发明实施例示出的过热汽温变化动态特性模型s'
t 1
＝f
m1
((s',a')
1～t
)和再热汽温变化动态特性模型s”t 1
＝f
m1
((s”,a”)
1～t
)，可以确定汽温控制系统综合动态特性模型可通过公式(4)进行表示。
100.公式(4)：
101.s
t 1
＝f
m
(s
t
,a
t
)
ꢀꢀ
(4)
102.其中，s
t 1
为t 1时刻的状态特征，s
t
为t时刻的状态特征，a
t
为t时刻的行为特征。
103.继续参见图3，基于上述实施例构建的到汽温控制行为策略模型、过热汽温变化动态特性模型和再热汽温变化动态特性模型建最终的汽温控制优化模型。
104.其中，汽温控制优化模型可通过公式(5)、(6)和(7)进行表示。
105.公式(5)：
[0106][0107]
其中，r
t
(s
t
,a
t
)是指综合优化目标函数，s
t
为t时刻的状态特征，a
t
为t时刻的行为特征，a0:h
‑
1表示a0,a1,...,a
h
‑1，一个从0时刻到h
‑
1时刻的动作序列。
[0108]
需要说明的是，公式(5)用于求解动作序列从0时刻到h
‑
1时刻的累积奖励值的最大值。
[0109]
可选的，为了维持过、再热汽温理想的稳定状态与模型输出汽温控制策略的变化平稳性，可基于过热汽温变化波动的代价函数、过热汽温变化波动的代价函数和动作波动性的代价函数确定综合优化目标函数。
[0110]
具体的，基于过热汽温变化波动的代价函数、过热汽温变化波动的代价函数和动作波动性的代价函数确定综合优化目标函数的具体过程，包括：
[0111]
首先，将过热汽温t1、额定的过热汽温值g1、常数g1代入公式(8)确定过热汽温变化波动的代价函数。
[0112]
公式(8)：
[0113][0114]
其中，为过热汽温变化波动的代价函数，t1为过热汽温、g1为额定的过热汽温
值、g1为给定常数，g1±
g1为允许的过热汽温波动范围，k1,k2为常数，k2>k1>0。
[0115]
接着，先将再热汽温t2、额定的再热汽温值g2、常数g2代入公式(9)确定再热汽温变化波动的代价函数。
[0116]
公式(9)：
[0117][0118]
其中，为再热汽温变化波动的代价函数，为t2为再热汽温、g2为额定的再热汽温值、g2为给定常数，g2±
g2为允许的再热汽温波动范围，k1,k2为常数，k2>k1>0。
[0119]
然后，为了使推荐动作更加平滑，需要纳入推荐动作波动性的代价函数。将t时刻的动作特征a
t
和t
‑
1时刻的动作特征a
t
‑1代入公式(10)，确定推荐动作波动性的代价函数。
[0120]
公式(10)：
[0121][0122]
其中，cost
a
为推荐动作波动性的代价函数，a
t
为t时刻的动作特征，a
t
‑1为t
‑
1时刻的动作特征。
[0123]
最后，基于上述公式(8)得到的过热汽温变化波动的代价函数公式(9)得到的再热汽温变化波动的代价函数和公式(10)得到的推荐动作波动性的代价函数cost
a
代入公式(11)，定义综合优化目标函数r
t
。
[0124]
公式(11)：
[0125][0126]
其中，α，β，γ为给定常数。公式(5)考虑有限时域h上累积奖励值，即有限时域上r
t
的和为总的优化目标。
[0127]
继续参见公式(6)：
[0128]
subject to s
t 1
＝f
m
(s
t
,a
t
)
ꢀꢀ
(6)
[0129]
其中，s
t 1
为t 1时刻的状态特征，该状态特征要满足汽温控制系统综合动态特性模型，s
t
为t时刻的状态特征，a
t
为t时刻的行为特征。
[0130]
继续参见公式(7)：
[0131]
s0＝s
init
,s
t
∈s,a
t
∈a
ꢀꢀ
(7)
[0132]
其中，s0为当前时刻的状态特征，s
init
指的是已知的当前时刻(0时刻)系统的状态特征(初始状态特征),s为汽温控制系统的整体状态特征空间，a为对应的整体动作特征空间。
[0133]
s203：基于所述汽温控制推荐值控制所述汽温控制系统执行与所述汽温控制推荐值对应的动作。
[0134]
在具体实现步骤s203的过程中，控制所述汽温控制系统执行最优目标动作序列中的第一个控制动作，也就是说，最优目标动作序列中的第一个控制动作即为当前时刻推荐的汽温系统最优控制值。
[0135]
在本发明实施例中，先构建汽温控制行为策略模型和汽温控制系统综合动态特性模型，再利用汽温控制行为策略模型和汽温控制系统综合动态特性模型构建的汽温控制优
化模型。接着利用汽温控制优化模型对检测数据进行处理，从而得到汽温控制推荐值，通过上述方式进行汽温控制，能够保证准确对锅炉的汽温进行控制。
[0136]
基于上述本发明实施例示出的汽温控制方法，在具体实现步骤s202基于所述汽温控制优化模型对所述检测数据进行处理，得到汽温控制推荐值的过程中，如图4所示，包括以下步骤：
[0137]
s401：利用汽温控制行为策略模型和汽温控制系统综合动态特性模型对所述检测数据进行处理，得到行为动作序列。
[0138]
s401的具体内容：将检测数据中的状态特征、作为起点，即0时刻的状态特征s0，将状态特征s0输入汽温控制行为策略模型，即公式(1)中计算0时刻的动作特征a0，记为；然后将状态特征s0和动作特征a0输入汽温控制系统综合动态特性模型，即公式(4)中，计算下一时刻的状态特征s1，同理将计算得到的下一时刻的状态特征s1输入汽温控制行为策略模型，即公式(1)中计算1时刻的动作特征a1，记为；以此类推，直到计算到h
‑
1时刻，从而得到行为动作序列
[0139]
s402：对所述动作系列进行采样处理，得到目标动作序列。
[0140]
在步骤s402中，所述目标动作序列的数量为多个。
[0141]
s402的具体内容：将动作序列输入公式(12)，即从动作序列对应的高斯分布采样，得到目标动作序列。
[0142]
公式(12)：
[0143][0144]
其中，m∈{0,...,m}，m为给预设迭代次数，为第t时刻的动作采样均值，为第t时刻的动作采样方差，a
i
为其中的第i条目标动作序列，共采样得到n条长度为h的动作序列。
[0145]
需要说明的是，目标动作序列为采样后的动作序列，其数量为n条。
[0146]
预设迭代次数为预设的最大迭代次数。
[0147]
s403：针对每一目标动作序列，基于综合优化目标函数进行计算，得到每组目标动作序列对应的累积奖励值。
[0148]
在步骤s403中，所述综合优化目标函数是基于目标动作序列，以及所述汽温控制系统综合动态特性模型输出的与所述目标动作序列对应的状态特征序列进行计算得到的。
[0149]
s403的具体内容：针对任意一条动作序列{a0,a1,...,a
h
‑1}，基于上述步骤s402的过程可为确定计算综合优化目标函数的动作序列，但还需要知道对应的状态序列。因此，需要将动作序列中a0和状态特征s0输入汽温控制系统综合动态特性模型，即公式(6)中，计算下一时刻的状态特征s1，同理将计算得到的下一时刻的状态特征s1和动作序列a1输入汽温控制系统综合动态特性模型即公式(6)中，计算下一时刻的状态特征s2，以此类推，从而得到与所述目标动作序列对应的状态特征序列{s0,s1,...,s
h
‑1}。
[0150]
其中，状态特征s0是通过将检测数据中的状态特征输入公式(7)得到的。
[0151]
最后，将动作序列{a0,a1,...,a
h
‑1}和与所述目标动作序列对应的状态特征序列{s0,s1,...,s
h
‑1}输入至公式(5)中进行计算，从而确定该动作序列的累积奖励值r
i
。
[0152]
需要说明的是，累积奖励值r
i
也可通过公式(13)进行表示。
[0153]
公式(13)：
[0154][0155]
其中，r
t
为综合优化目标函数，i为序列的标号。
[0156]
需要说明的是，基于上述步骤s403确定n条长度为h的动作序列所对应的累积奖励值{r1,r2,...,r
n
}。
[0157]
s404：基于所述累积奖励值的大小对所述目标动作序列进行排序。
[0158]
s405：基于所述目标动作序列所对应的排序顺序，选取待进行优化的目标动作序列的集合。
[0159]
在具体实现步骤s404和s405的过程中，将动作序列a
i
代入公式(14)，以通过累积奖励值的大小对给目标动作序列进行排序，即降序排序，得到按照所述累积奖励值从高到低排序的目标动作序列，通过目标动作序列从高到低的排序，将排序顺数的j个目标动作序列作为待进行优化的目标动作序列的集合。
[0160]
公式(14)：
[0161]
a
elites
＝sort(a
i
)[
‑
j：]
ꢀꢀ
(14)
[0162]
其中，a
i
为目标动作序列，j为累计奖励值排序前j，即累计奖励值最高的j条动作序列，j的取值为大于等于0的正整数，a
elites
为挑选出来的j条目标动作序列的集合。
[0163]
s406：对所述待进行优化的目标动作序列的集合进行迭代优化，直至优化次数等于预设迭代次数，确定当前的目标动作序列为汽温控制推荐值。
[0164]
s406的具体内容：首先，使用a
elites
对公式(12)中的和进行优化，即将a
elites
中所有序列t时间步上动作的均值mean(a
elites
)
t
代入公式(15)，以优化且将a
elites
中所有序列t时间步上动作的方差var(a
elites
)
t
代入公式(16)以优化
[0165]
公式(15)：
[0166][0167]
其中，mean(a
elites
)
t
为a
elites
中所有序列t时间步上动作的均值，δ为常数。
[0168]
公式(16)：
[0169][0170]
其中，var(a
elites
)
t
为a
elites
中所有序列t时间步上动作的方差，δ为常数。
[0171]
在本发明实施例中，当m＝0时，为第一次迭代，此时为即步骤s401计算得到的行为动作；为，即给定初始化采样方差，从而执行步骤s402至步骤s406。在执行完s406时，第一次迭代完成，此时m对m进行更新，即m加一(m＝1)，并通过公式(15)和(16)计算得到更新后的和并返回执行步骤s402至步骤s406。依此类推，直到完成m次迭代
计算，即迭代次数达到最大m则得到最终需要的最优的动作序列，即汽温控制推荐值。
[0172]
在本发明实施例中，利用汽温控制行为策略模型和汽温控制系统综合动态特性模型对检测数据进行处理，得到行为动作序列；对动作系列进行采样处理，得到目标动作序列；针对每一目标动作序列，基于综合优化目标函数进行计算，得到每组目标动作序列对应的累积奖励值；基于累积奖励值的大小对目标动作序列进行排序，基于目标动作序列所对应的排序顺序，选取待进行优化的目标动作序列的集合。对待进行优化的目标动作序列的集合进行迭代优化，直至优化次数等于预设迭代次数，确定当前的目标动作序列为汽温控制推荐值。通过上述方式进行汽温控制，能够保证准确对锅炉的汽温进行控制。
[0173]
与上述本发明实施例示出的汽温控制方法相对应，本发明实施例还对应公开了一种汽温控制装置，如图5所示，为本发明实施例示出的一种汽温控制装置的结构示意图，该汽温控制装置包括：
[0174]
获取单元501，用于获取汽温控制系统的检测数据，所述检测数据是指当前时刻状态特征和动作特征。
[0175]
汽温控制优化模型502，用于将所述检测数据输入预先建立的汽温控制优化模型，基于所述汽温控制优化模型对所述检测数据进行处理，得到汽温控制推荐值。
[0176]
需要说明的是，预先建立的汽温控制优化模型由汽温控制行为策略模型和汽温控制系统综合动态特性模型构建而成，所述汽温控制行为策略模型和所述汽温控制系统综合动态特性模型均是基于构建单元504构建得到。
[0177]
执行单元503，用于基于所述汽温控制推荐值控制所述汽温控制系统执行与所述汽温控制推荐值对应的动作。
[0178]
需要说明的是，上述本发明实施例公开的汽温控制装置中的各个单元具体的原理和执行过程，与上述本发明实施示出的汽温控制方法相同，可参见上述本发明实施例公开的汽温控制方法中相应的部分，这里不再进行赘述。
[0179]
在本发明实施例中，利用汽温控制行为策略模型和汽温控制系统综合动态特性模型构建的汽温控制优化模型对检测数据进行处理，从而得到汽温控制推荐值，通过上述方式进行汽温控制，能够保证准确对锅炉的汽温进行控制。
[0180]
可选的，基于上述本发明实施例示出的汽温控制装置，汽温控制优化模型502，具体用于：
[0181]
利用汽温控制行为策略模型和汽温控制系统综合动态特性模型对所述检测数据进行处理，得到行为动作序列；对所述动作系列进行采样处理，得到目标动作序列；针对每一目标动作序列，基于综合优化目标函数进行计算，得到每组目标动作序列对应的累积奖励值；基于所述累积奖励值的大小对所述目标动作序列进行排序；基于目标动作序列所对应的排序顺序，选取待进行优化的目标动作序列的集合，对待进行优化的目标动作序列的集合进行迭代优化，直至优化次数等于预设迭代次数，确定当前的目标动作序列为汽温控制推荐值。
[0182]
需要说明的是，所述综合优化目标函数是基于目标动作序列，以及所述汽温控制系统综合动态特性模型输出的与所述目标动作序列对应的状态特征序列进行计算得到的。所述目标动作序列的数量为多个。
[0183]
在本发明实施例中，利用汽温控制行为策略模型和汽温控制系统综合动态特性模
型对检测数据进行处理，得到行为动作序列；对动作系列进行采样处理，得到目标动作序列；针对每一目标动作序列，基于综合优化目标函数进行计算，得到每组目标动作序列对应的累积奖励值；基于累积奖励值的大小对目标动作序列进行排序，基于目标动作序列所对应的排序顺序，选取待进行优化的目标动作序列的集合。对待进行优化的目标动作序列的集合进行迭代优化，直至优化次数等于预设迭代次数，确定当前的目标动作序列为汽温控制推荐值。通过上述方式进行汽温控制，能够保证准确对锅炉的汽温进行控制。
[0184]
可选的，基于上述本发明实施例示出的汽温控制装置，构建单元504，用于采集火电机组运行的和汽温控制系统综合动态特性模型；对所述历史数据进行处理，得到汽温控制离线数据集；基于所述汽温控制离线数据集中的状态特征对深度神经网络模型进行训练，得到汽温控制行为策略模型。
[0185]
可选的，构建单元504，还用于：确定初始lstm网络模型；基于所述汽温控制离线数据集中的过热汽温变化相关的状态特征和动作特征对所述初始lstm网络模型进行训练，得到过热汽温变化动态特性模型；基于所述汽温控制离线数据集中的再热汽温变化相关的状态特征和动作特征对所述初始lstm网络模型进行训练，得到再热汽温变化动态特性模型。
[0186]
在本发明实施例中，先构建汽温控制行为策略模型和汽温控制系统综合动态特性模型，再利用汽温控制行为策略模型和汽温控制系统综合动态特性模型构建的汽温控制优化模型。接着利用汽温控制优化模型对检测数据进行处理，从而得到汽温控制推荐值，通过上述方式进行汽温控制，能够保证准确对锅炉的汽温进行控制。
[0187]
本发明实施例还公开了一种电子设备，该电子设备用于运行数据库存储过程，其中，所述运行数据库存储过程时执行上述图2和图4公开的汽温控制方法。
[0188]
本发明实施例还公开了一种计算机存储介质，所述存储介质包括存储数据库存储过程，其中，在所述数据库存储过程运行时控制所述存储介质所在设备执行上述图2和图4公开的汽温控制方法。
[0189]
在本公开的上下文中，计算机存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0190]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0191]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0192]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。