余热回收锅炉及其除尘运转计划装置的制作方法

1.本发明涉及具备去除附着在导热管上的灰尘的除尘装置的余热回收锅炉，更详细来说，涉及计划除尘装置的运转的运转计划装置。


背景技术：

2.在水泥烧结厂房、炼铁厂、金属精炼厂、化学工厂、垃圾焚烧炉以及地热发电厂等会产生高温废气的设施中，设置有用于回收废气的热的余热回收锅炉。流入余热回收锅炉的废气中夹带有灰尘，该灰尘堆积并附着在导热管上。附着在导热管上的灰尘会成为热阻，使锅炉性能降低。因此，已知有具备去除附着在导热管上的灰尘的除尘装置的余热回收锅炉。作为除尘装置，已知有振打式、吹灰式、压力波式、刮板式等各种方式的除尘装置。在专利文献1中，公开了具备振打式的除尘装置的余热回收锅炉。
3.专利文献1的余热回收锅炉具备：导热面区，其由导热管排列而成；振打装置，其对该导热面区的各导热管施加振动而将所附着的灰尘除去；以及振打运转控制装置，其控制该振打装置的运转。振打运转控制装置具有：气体流量运算单元，其根据额定负载运转中的锅炉蒸发量和锅炉入口气体温度及锅炉出口气体温度计算出气体流量；污垢热阻运算单元，其根据气体流量和锅炉入口气体温度及锅炉出口气体温度计算出导热面区的污垢热阻计测值；以及振打运转日程运算单元，其根据导热面区的污垢热阻计测值和预先规定的污垢热阻计划值而变更振打装置的击打次数、击打时间以及击打力中的至少一个。根据这样的振打运转日程，通过以数值方式掌握导热面区的污垢热阻，能够利用振打装置对导热管块施加与污垢热阻的大小对应的击打力。
4.专利文献1：日本特开2010-139186号公报
5.近年来，在作为向余热回收锅炉回收余热的余热源的烧结炉、燃烧炉等中，除了使用化石燃料以外，使用替代燃料的情况增多。在使用替代燃料的情况下，与仅使用化石燃料的情况相比较，具有附着在余热回收锅炉的导热管上的灰尘的量增加的倾向，为了抑制锅炉性能降低，通过除尘装置来有效且高效地去除灰尘的必要性提高。
6.除尘装置的寿命受其运转周期的影响很大。无计划地增加除尘装置的运转周期会导致除尘装置的寿命减少、维护频度增加。因此，除尘装置应该按照恰当的运转计划来运转。


技术实现要素：

7.鉴于以上情况，在本发明中，提出了如下技术：在废气源除了使用化石燃料以外、还使用替代燃料作为燃料的余热回收锅炉中，计划除尘装置的运转，使得以使导热管的污染情况(污垢热阻)保持在规定的范围内的方式进行恰当的除尘。
8.关于使附着在余热回收锅炉的导热管中的灰尘的量增减的因素，设想有在废气源中替代燃料的投入量与燃料中的化石燃料的投入量之比、替代燃料中的参与灰尘附着的成分的比例、通过导热管周围的废气的气体流速、导热管周围的气体温度等多种因素。如果能
够从到目前为止所蓄积的数据中找到这些因素与导热管的污染情况之间的因果关系，则能够利用该因果关系来确定最佳的运转计划，根据最佳的运转计划使除尘装置运转。
9.因此，本发明的一个方式的除尘运转计划装置在余热回收锅炉中计划除尘装置的运转，该余热回收锅炉具备导热区域和除尘装置，所述导热区域由在废气流路中排列的多个导热管构成，所述除尘装置将在所述导热区域的所述导热管上附着的灰尘去除，其中，所述除尘运转计划装置具备：
10.污垢热阻运算装置，其对所述导热区域的所述导热管的污垢热阻进行运算；以及
11.机器学习装置，其针对所述除尘装置的运转计划的确定进行机器学习。
12.所述机器学习装置具有：
13.状态观测部，其取得如下数据作为状态数据，所述数据是，在废气源的燃料中替代燃料的投入量与化石燃料的投入量之比、替代燃料中的参与灰尘附着的成分的比例、通过所述导热区域的所述废气的气体流速、所述导热区域的入口气体温度和出口气体温度、以及由所述污垢热阻运算装置求出的所述污垢热阻；
14.回报运算部，其根据所述状态数据中所包含的所述污垢热阻来计算回报；
15.学习部，其针对所述运转计划的确定进行机器学习；以及
16.运转计划输出部，其根据所述学习部的学习结果和所述状态数据来确定使所述回报成为最佳的所述运转计划，并输出所确定的所述运转计划。
17.所述学习部根据所确定的所述运转计划、所述状态数据和所述回报来学习所述运转计划的确定，其中，所述状态数据是在所述除尘装置根据所确定的所述运转计划进行动作从而使状态转移之后由所述状态观测部取得的，所述回报是根据转移后的所述状态数据中所包含的所述污垢热阻求出的。
18.此外，本发明的一个方式的余热回收锅炉具备：
19.导热区域，其由在废气流路中排列的多个导热管构成；
20.除尘装置，其将在所述导热区域的所述导热管上附着的灰尘去除；以及
21.所述除尘运转计划装置，
22.所述余热回收锅炉根据由所述除尘运转计划装置输出的运转计划来进行动作。
23.根据上述余热回收锅炉以及该余热回收锅炉的除尘运转计划装置，在废气源除了使用化石燃料以外，还使用替代燃料作为燃料的余热回收锅炉中，生成使得污垢热阻维持在规定范围内的最佳的除尘装置的运转计划，从而能够根据该运转计划使除尘装置进行动作。这样，由于导热管的污垢热阻维持在规定范围内，因此能够维持余热回收锅炉的良好的锅炉性能。此外，通过优化除尘装置的运转，能够避免过度的运转。由此，能够优化余热回收锅炉的设备疲劳到达时间。
24.根据本发明，提出了如下技术：在废气源除了使用化石燃料以外、还使用替代燃料作为燃料的余热回收锅炉中计划除尘装置的运转以进行恰当的除尘，使得导热管的污染情况(污垢热阻)保持在规定的范围内。
附图说明
25.图1是本发明的一个实施方式的余热回收锅炉的概略主视图。
26.图2是余热回收锅炉的概略俯视图。
27.图3是示出导热管和除尘装置的结构的侧视图。
28.图4是一个导热区域的除尘装置的运转日程的时序图。
29.图5是说明强化学习算法的基本概念的图。
30.图6是示出导入了机器学习装置的除尘运转计划装置中的、与确定除尘装置的运转计划的机器学习相关的图像的图。
31.图7是机器学习装置的功能框图。
32.图8是示出机器学习装置进行的机器学习(强化学习)的流程的流程图。
33.标号说明
34.4：余热回收锅炉；
35.5：除尘装置；
36.6：除尘运转计划装置；
37.21：状态观测部；
38.22：状态数据存储部；
39.24：回报运算部；
40.25：学习部；
41.26：学习结果存储部；
42.27：运转计划输出部；
43.40：壳体；
44.40in：锅炉入口；
45.40out：锅炉出口；
46.41：导热管；
47.42：连结轴；
48.43：被击打部；
49.45：振打装置；
50.46：托板；
51.47：连结部件；
52.55：输送机；
53.61：机器学习装置；
54.62：污垢热阻运算装置。
具体实施方式
55.接下来，参照附图对本发明的实施方式进行说明。图1是本发明的一个实施方式的余热回收锅炉4的概略主视图，图2是余热回收锅炉4的概略俯视图，图3是示出导热管41和除尘装置5的结构的侧视图。应用了本发明的余热回收锅炉4不限于本实施方式，本发明能够广泛地应用于具备去除附着在导热管41上的灰尘的除尘装置5的余热回收锅炉4。
56.〔余热回收锅炉4的结构〕
57.图1～3所示的余热回收锅炉4具备：壳体40；多个导热管41，在壳体40内，该多个导热管41排列在废气的流路中；除尘装置5，其将堆积并附着在导热管41上的灰尘去除；以及除尘运转计划装置6。
58.在壳体40的上部，设置有锅炉入口40in和锅炉出口40out。从锅炉入口40in进入的废气在壳体40内沿水平方向流动，从锅炉出口40out被排出。像这样，本实施方式的余热回收锅炉4是从沿水平方向流动的废气中回收热的横式锅炉，但是，本发明也可以应用于立式锅炉。以下，为了便于说明，将与壳体40内的废气的流动平行的水平方向称为“第1方向x”，将与第1方向x正交的水平方向称为“第2方向y”。壳体40内被分为n个导热区域s1～sn，该n个导热区域s1～sn从锅炉入口40in向锅炉出口40out沿第1方向x排列。
59.导热管41是直线部和弯曲部在平面内重复的波纹管，被视为导热管面板。在各导热区域s1～sn中，多个导热管41沿第2方向y以规定间隔排列。
60.除尘装置5具备连结轴42和振打装置45(旋转式锤击型振打装置)。除尘装置5针对每个导热区域s而设置，各除尘装置5可以独立地动作。多个连结轴42在导热管41的下方沿第1方向x排列。各连结轴42沿第2方向y延伸。导热管41的下部经由托板46及连结部件47而连结在各连结轴42上。可以对一个导热管41设置一个连结轴42，也可以对相邻的多个导热管41设置一个连结轴42。连结轴42的第2方向y上的至少一方的端部延伸设置到壳体40外，在该延伸设置部分设置有被击打部43。
61.振打装置45击打连结轴42的被击打部43。振打装置45具有：击打头451；杆452，其与击打头451连结；驱动轴453，其与杆452结合；以及驱动装置454，其对驱动轴453进行旋转驱动。驱动轴453可以结合多个杆452。在驱动轴453旋转1圈的期间，依次对多个连结轴42的被击打部43施加击打。但是，振打装置45的形态不限于此，例如，也可以采用气力抖落器作为振打装置45，所述气力抖动器构成为由利用压缩空气工作的活塞来击打被击打部43。
62.在上述结构的除尘装置5中，当由驱动装置454对驱动轴453进行旋转驱动时，杆452以驱动轴453为中心旋转。由此，击打头451与连结轴42的被击打部43碰撞。该碰撞能量经由连结轴42、连结部件47及托板46被传递至导热管41，使导热管41振动。利用该振动，使附着在导热管41的表面的灰尘剥离。灰尘在壳体40内自然落下而从壳体40的下部被排出后，由输送机55搬出。
63.〔除尘运转计划装置6〕
64.图4是除尘装置5的针对一个导热区域s的运转日程的时序图。如该时序图所示，一个导热区域s具备n个连结轴42，以间隔t1依次击打n个连结轴42的被击打部43。除尘装置5的一个周期由运转时间t3和紧随其后的停止时间t4构成。在运转时间t3中，以击打间隔t2、击打次数r对一个连结轴42施加击打力f的击打。设一个周期的长度、即从某个周期的开始到下一个周期的开始为止的时间为运转周期t。
65.除尘运转计划装置6制定除尘装置5的运转计划。运转计划中包含运转日程以及运转条件。除尘运转计划装置6具有机器学习装置61和污垢热阻运算装置62。机器学习装置61制定除尘装置5的运转计划，污垢热阻运算装置62计算出对除尘装置5的按照该运转计划的运转进行评价的值(即，污垢热阻)。机器学习装置61以及污垢热阻运算装置62能够分别作为具备cpu等运算处理部和非易失性及易失性存储部的所谓的计算机来实现。机器学习装置61和污垢热阻运算装置62可以被电连接成能够发送/接收信息。
66.对于余热回收锅炉4的状态，难以使用简单的运算式等明示出确定什么样的除尘装置5的运转计划是正确的。因此，作为人工智能的机器学习装置61采用了强化学习的算法，该算法中，只要提供回报就自动地学习用于达到目标的行动。以下，对机器学习装置61
进行的机器学习进行说明。
[0067]-机器学习方法-[0068]
图5是说明强化学习算法的基本概念的图。如图5所示，在强化学习中，通过作为进行学习的主体的智能体(机器学习装置61)和作为控制对象的环境(具备除尘装置5的余热回收锅炉4)之间的交流而使得智能体的学习得以进行。更具体来说，在智能体学习时，反复进行以下(1)～(4)。
[0069]
(1)智能体观测时刻t的环境的状态s
t
。
[0070]
(2)智能体根据观测结果和过去的学习来选择自己要采取的行动a
t
，并执行行动a
t
。
[0071]
(3)通过行动a
t
的执行，环境的状态s
t
变化为下一个状态s
t
1，智能体根据该状态的变化而接受回报r
t 1
。
[0072]
(4)智能体根据状态s
t
、行动a
t
、回报r
t 1
以及过去的学习结果来进行学习。
[0073]
在上述(4)的学习中，智能体获得状态s
t
、行动a
t
、回报r
t 1
的映射作为用于判断智能体将来能够取得的回报r的量的基准的信息。例如，当设在各时刻可采取的状态的数量为m、可采取的行动的数量是n时，通过反复进行行动，能够得到m
×
n的二维阵列，该二维阵列存储有相对于状态s
t
和行动a
t
的组的回报r
t 1
。然后，使用根据上述所得到的映射而示出当前的状态和行动有多恰当的函数即价值函数(评价函数)，在反复进行行动的过程中更新价值函数，由此来学习针对状态的最佳行动。
[0074]
作为价值函数之一而已知的状态行动价值函数q(s
t
、a
t
)表示在某个状态s
t
下行为a
t
的恰当程度。状态行动价值函数q(s
t
、a
t
)被表达为以状态和行动作为引数的函数。状态行动价值函数q(s
t
、a
t
)在反复进行行动的过程中的学习中，根据针对某个状态下的行动得到的回报及通过行动而转移到的未来状态下的行动的价值等而被更新。状态行动价值函数q(s
t
、a
t
)的更新式是根据强化学习的算法而定义的，例如，在代表性的强化学习算法之一的q学习中，状态行动价值函数q(s
t
、a
t
)的更新式由以下的数式1来定义。
[0075]
[数式1]
[0076][0077]
其中，
[0078]
q：状态行动价值函数
[0079]st
：时刻t的状态
[0080]at
：时刻t的状态下的行动
[0081]rt 1
：从时刻t 1的状态得到的回报
[0082]
α：学习系数(0《α≤1)
[0083]
γ：折扣率(0《γ≤1)
[0084]
而且，在上述(2)的行动a
t
的选择中，使用通过过去的学习而生成的价值函数，来选择在当前的状态s
t
下使将来的回报(r
t 1
r
t 2

…
)成为最佳的行动a
t
(在状态s
t
下价值最高的行动a
t
)。在q学习中，使回报(r
t 1
r
t 2

…
)成为最佳的行动a
t
可相当于使回报(r
t 1
r
t 2

…
)为最大的行动a
t
。
[0085]
作为强化学习的算法，公知有q学习、sarsa法、td学习、ac法等各种方法，作为本发
明中应用的方法，可以采用任意的强化学习算法。由于这些强化学习算法是公知的，因此省略本说明书中的各算法的更详细的说明。
[0086]
图6是示出导入了机器学习装置61的除尘运转计划装置6中的、与确定除尘装置5的运转计划的机器学习相关的图象的图。
[0087]
如图6所示，污垢热阻运算装置62根据余热回收锅炉4的处理数据及锅炉条件，求出各导热区域s的污垢热阻f。此外，污垢热阻运算装置62根据余热回收锅炉4的处理数据，求出各导热区域s的气体流速v。处理数据包含锅炉出口蒸汽温度、锅炉供水温度、锅炉蒸发量、锅炉入口气体温度、锅炉出口气体温度、各导热区域的入口气体温度以及各导热区域的出口气体温度。在导热区域彼此接近的情况下，某个导热区域的出口气体温度和下一个导热区域的入口气体温度可以共用。这些处理数据是由设置在余热回收锅炉4的适当位置的计量仪器测定的数据。锅炉条件包含导热管41的热传导率、导热管41的厚度、锅炉效率(1-散热损失率)以及气体组分。导热管41的热传导率及厚度是余热回收锅炉4所固有的值。此外，定期地测定锅炉效率及气体组分，作为锅炉条件输入并存储到除尘运转计划装置6中。以下，对污垢热阻f的运算方法进行说明。
[0088]-污垢热阻运算方法-[0089]
污垢热阻f是表示附着在导热管41上的灰尘的量的指标。本实施方式的余热回收锅炉4针对每个导热区域s而具备除尘装置5，除尘运转计划装置6针对每个导热区域s来确定除尘装置5的运转计划。因此，要在各导热区域s中求出该导热区域s中包含的一个导热管41的导热面的污垢热阻f，并将其作为该导热区域s的污垢热阻f。
[0090]
污垢热阻f[m2·h·
℃/kcal]是表示由于附着在导热管41的导热面上的灰尘等而导致热传递被阻碍的程度的值。污垢热阻f可以通过以下所说明的方法求出。但是，求出导热管41的污垢热阻f的方法是公知的，不限于本实施方式。
[0091]
根据锅炉出口蒸汽温度、锅炉蒸发量、锅炉供水温度、锅炉入口气体温度以及锅炉出口气体温度和气体组分，利用以下的数式2所示的式子，能够计算出锅炉通过气体量gc。
[0092]
[数式2]
[0093][0094]
其中，
[0095]
e：锅炉蒸发量(kg/hr)
[0096]
is：产生蒸汽的焓(kcal/kg)
[0097]
iw：供水的焓(kcal/kg)
[0098]
ig1：锅炉入口气体的焓(kcal/nm3)
[0099]
ig2：锅炉出口气体的焓(kcal/nm3)
[0100]
ηb：锅炉效率
[0101]
根据锅炉通过气体量gc和各导热区域s的入口气体温度及出口气体温度，能够求出各导热区域s的气体流速v。
[0102]
并且，在各导热区域s中，根据气体流速v和导热管41的入口温度及出口温度，例如利用以下的数式3所示的近似式，能够计算出污垢热阻f。
[0103]
[数式3]
[0104][0105]
其中，
[0106]
k：导热率(kcal/m2h℃)
[0107]
αo：导热管外的热传递系数(kcal/m2h℃)
[0108]
αi：导热管内的热传递系数(kcal/m2h℃)
[0109]
λ：导热管的热传导率(kcal/mh℃)
[0110]
t：导热管的厚度(m)
[0111]
f：污垢热阻(m2h℃/kcal)
[0112]
污垢热阻运算装置62求出的各导热区域s的污垢热阻f及气体流速v、以及运算中使用的各导热区域的入口气体温度及出口气体温度被输出到机器学习装置61。
[0113]
机器学习装置61以使表示附着在导热管41上的灰尘的量的指标收敛在规定范围内为目的，来进行与除尘装置5的运转计划的确定相关的机器学习。所确定的运转计划包含运转周期t、击打次数r以及击打力f中的至少一个。另外，在振打装置45的击打力f不可变的情况下，也可以将击打力f从运转计划中排除。可以预先给出运转周期t、击打次数r以及击打力f中的机器学习装置61没有确定的值。以使余热回收锅炉4的设备疲劳到达时间变得适当为目的来确定运转计划，使得运转周期t的值尽可能大且使击打次数r及击打力f的值尽可能小。
[0114]
机器学习装置61使用替代燃料/化石燃料投入比例、替代燃料中的参与灰尘附着的成分的成分比例、以及各导热区域s的污垢热阻f、气体流速v、入口气体温度以及出口气体温度等来作为用于确定环境(状态s
t
)的信息(即，输入数据)。
[0115]
替代燃料/化石燃料投入比例表示在废气源的燃料中，替代燃料的投入量与化石燃料的投入量之比。投入量可以用质量、干燥质量、体积、干燥体积中的任意一个来表示。化石燃料包括煤、石油、天然气。替代燃料是指作为化石燃料的替代品的燃料，例如是生物燃料、废塑料及纸类。通常，随着替代燃料的投入量相对于化石燃料的投入量的增加，废气中夹带的灰尘量会增加。但是，根据灰尘的性质的不同，有时灰尘量的增加与附着在导热管41上的灰尘量的增加没有直接联系。定期地测定替代燃料/化石燃料投入比例，将其作为锅炉条件输入并存储到除尘运转计划装置6中。
[0116]
替代燃料的成分根据种类而不同。此外，对于替代燃料，即使是相同种类，成分大多也都不固定。替代燃料中可能含有的参与灰尘附着的成分包含导致灰尘量增加的成分、以及产生容易附着在导热管41上的灰尘的成分。这样的成分主要是cl、s、na、k、zn、pb、ca。在这些成分中，也可以仅将对灰尘附着的参与度特别大的特定的成分(例如cl、s、na、k中的至少一个)用作用于确定环境的信息。替代燃料中可能含有的参与灰尘附着的成分比例可以表示为设替代燃料整体为1时的比例[％]。随着替代燃料中可能含有的参与灰尘附着的成分的比例增大，废气中夹带的灰尘量会增加，或者废气中夹带的灰尘中的向导热管41附着的灰尘量增加。定期地测定替代燃料中的参与灰尘附着的成分的成分比例，将其作为锅炉条件输入并存储到除尘运转计划装置6中。
[0117]
随着各导热区域s的气体流速v增大，通过导热区域s的气体量增加。即，通过导热区域s的灰尘量增加。此外，根据通过各导热区域s的气体温度的不同，灰尘附着在导热管41
上的容易程度会发生变化。
[0118]
机器学习装置61确定当前周期的运转计划作为针对环境的行动a
t
。在本实施方式中，将在某个周期中所确定的运转计划作为输出数据无延迟地输出到除尘装置5，在该周期内由除尘装置5使用该运转计划。
[0119]
机器学习装置61使用与污垢热阻f相关联的评价指标作为对行动a
t
提供的回报rt。预先规定表示污垢热阻f与评价指标的关系的回报条件并将其存储在机器学习装置61中。如果污垢热阻f在规定的范围内，则评价指标较高(正回报)，越从规定的范围向正、负偏离，则评价指标越低(负回报)。详细地说，回报运算部24在污垢热阻f处于规定的范围内时，计算出正回报。此外，回报运算部24在污垢热阻f脱离规定的范围时，计算出与从规定的范围偏离的偏离量(绝对值)对应的负回报。另外，每个余热回收锅炉4的恰当的污垢热阻f(即，上述规定的范围)都是不同的。恰当的污垢热阻f的范围通过模拟或实验而确定，预先存储在机器学习装置61中。
[0120]
此外，优选在评价指标中加入与运转周期t、击打次数r以及击打力f相关的评价。例如，运转周期t越大，则评价指标越高(正回报)，作业频度越多，则评价指标越低(负回报)。此外，例如，击打次数r越少，则评价指标越高(正回报)，击打次数r越大，则评价指标越低(负回报)。此外，例如，击打力f越小，则评价指标越高(正回报)，击打力f越大，则评价指标越低(负回报)。
[0121]
机器学习装置61根据上述的输入数据、输出数据和回报来进行机器学习。在机器学习中，在某个时刻t，根据输入数据的组合来定义状态s
t
，对所定义的状态s
t
进行的运转计划的确定成为行动a
t
。作为除尘装置5根据行动a
t
进行动作的结果，根据新得到的输入数据进行评价计算而得到的值成为回报r
t 1
。机器学习装置61通过将该结果应用到与机器学习算法对应的价值函数(评价函数)的更新式中来进行学习。
[0122]
图7是机器学习装置61的功能框图。图7所示的机器学习装置61具备状态观测部21、状态数据存储部22、回报运算部24、学习部25、学习结果存储部26以及运转计划输出部27。图8是示出机器学习装置61进行的机器学习(强化学习)的流程的流程图。以下，使用图7及图8对由机器学习装置61进行的机器学习(强化学习)的流程进行说明。
[0123]
当机器学习开始时，状态观测部21取得用于确定环境(状态s
t
)的信息(输入数据)作为状态数据(步骤s01)。状态数据包含：替代燃料/化石燃料投入比例、替代燃料中的参与灰尘附着的成分的成分比例、以及各导热区域s的污垢热阻f、气体流速v、入口气体温度及出口气体温度等。
[0124]
状态数据存储部22存储所取得的状态数据(步骤s02)。状态数据可以是在最新的运转中取得的状态数据，也可以是在过去的运转中取得的状态数据。
[0125]
学习部25根据状态观测部21取得的状态数据来确定当前的状态s
t
(步骤s03)。学习部25根据过去的学习结果和在步骤s3中确定的状态s
t
来选择行动a
t
(步骤s04)。行动a
t
是指，对应着所定义的状态s
t
确定运转计划。这里，例如，也可以预先准备能够选择多个运转计划的行动，根据过去的学习结果来选择在将来能够得到的回报r为最大的行动a
t
。
[0126]
运转计划输出部27根据在步骤s4中选择的行动a
t
来确定应输出的运转计划，将所确定的运转计划输出到除尘装置5。由除尘装置5来执行行动a
t
(步骤s05)，除尘装置5根据所确定的运转计划来运转。
[0127]
在执行了行动a
t
而使得状态转移之后，状态观测部21取得用于确定环境(状态s
t 1
)的信息(步骤s06)，状态数据存储部22将其作为状态数据而存储起来(步骤s7)。在该阶段，余热回收锅炉4的状态随着从时刻t向时刻t 1的时间推移，根据所执行的行动a
t
而变化。在该状态数据中，包含针对转移后的状态s
t
1求出的污垢热阻f。
[0128]
回报运算部24根据所设定的回报计算条件，根据时刻t 1的状态数据求出回报r
t 1
(步骤s08)。回报计算条件是指在机器学习中提供回报的条件，由操作者等预先设定在机器学习装置61中。
[0129]
学习部25根据在步骤s03中确定的状态s
t
、在步骤s04中选择的行动a
t
以及在步骤s08中计算出的回报r
t 1
来进行机器学习(步骤s09)。根据要应用的学习算法来确定在学习中使用的价值函数。
[0130]
学习结果存储部26存储学习部25学习到的结果(步骤s10)，处理返回到步骤s03。另外，作为存储作为学习结果的价值函数的方法，通常使用利用近似函数的方法和利用阵列的方法。但是，除了这些方法以外，例如在作为状态而采取了多个状态那样的情况下，也可以使用将状态s
t
、行动a
t
作为输入来输出价值的多值输出的svm、神经网络等有教师学习器的方法等。
[0131]
如上所述，在机器学习装置61中，根据状态数据、通过自己确定除尘装置5的运转计划而得到的评价结果、回报来反复进行机器学习(强化学习)，由此能够得到更好的学习结果。这样，作为机器学习装置61进行学习的结果，可以在确认了最佳的除尘装置5的运转计划的阶段，使机器学习装置61的学习结束。
[0132]
在使用完成学习而得到的学习数据来实际确定除尘装置5的运转计划时，机器学习装置61可以不进行新的学习，而直接使用学习完成时的学习数据来反复进行运转。该情况下，运转计划输出部27根据学习部25进行学习的结果(即，存储在学习结果存储部26中的学习结果)和当前的状态数据来确定运转计划，并将其输出到除尘装置5。
[0133]
此外，通过使已完成学习的机器学习装置61的学习功能保持有效，还能够进一步学习余热回收锅炉4的设备的随时间的变化等，从而能够探索出对余热回收锅炉4来说更好的除尘装置5的运转计划。
[0134]
如以上所说明的，本实施方式的余热回收锅炉4具备：导热区域s，其由排列在废气流路中的多个导热管41构成；除尘装置5，其将附着在导热区域s的导热管41上的灰尘去除；以及除尘运转计划装置6，除尘装置5根据除尘运转计划装置6输出的运转计划来进行动作。
[0135]
本实施方式的除尘运转计划装置6具备：污垢热阻运算装置62，其对导热区域s的导热管41的污垢热阻f进行运算；以及机器学习装置61，其针对除尘装置5的运转计划的确定进行机器学习。
[0136]
机器学习装置61具有：
[0137]
状态观测部21，其取得如下数据作为状态数据，该数据是：在废气源的燃料中替代燃料的投入量与化石燃料的投入量之比、替代燃料中的参与灰尘附着的成分的比例、通过导热区域的废气的气体流速、导热区域的入口气体温度及出口气体温度、以及由污垢热阻运算装置62求出的污垢热阻f；
[0138]
回报运算部24，其根据状态数据中包含的污垢热阻f来计算回报；
[0139]
学习部25，其针对运转计划的确定进行机器学习；以及
[0140]
运转计划输出部27，其根据学习部25的学习结果和状态数据来确定使回报成为最佳的运转计划，并输出所确定的运转计划。
[0141]
然后，学习部25根据所确定的运转计划、状态数据、回报来学习运转计划的确定(运转计划的选择)，其中，所述状态数据是在除尘装置5根据所确定的运转计划进行动作而使状态转移之后由状态观测部21取得的数据，所述回报是根据转移后的状态的状态数据中所包含的污垢热阻f求出的。
[0142]
如本实施方式所示，学习部25例如可以构成为利用了如下的价值函数(状态行动价值函数q(s
t
、a
t
))，以使回报成为最大的方式对所述价值函数进行更新，所述价值函数用引数来表现根据所述状态观测部取得的所述状态数据确定的状态和该状态下的所述运转计划的确定。
[0143]
此外，如本实施方式所示，回报运算部24可以构成为，在污垢热阻f处于规定的范围内时计算出正回报，在污垢热阻f脱离规定的范围时，计算出与从规定的范围偏离的偏离量对应的负回报。
[0144]
根据上述余热回收锅炉4以及余热回收锅炉4的除尘运转计划装置6，在废气源除了使用化石燃料以外，还使用替代燃料作为燃料的余热回收锅炉4中，生成使得污垢热阻f维持在规定范围的最佳的除尘装置5的运转计划，能够根据该运转计划使除尘装置5进行动作。这样，由于导热管41的污垢热阻f维持在规定范围内，因此能够维持余热回收锅炉4的良好的锅炉性能。此外，通过优化除尘装置5的运转，能够避免过度的运转。由此，能够优化余热回收锅炉4的设备疲劳到达时间，进而能够优化余热回收锅炉4的维护频度。
[0145]
在本实施方式的除尘运转计划装置6中，运转计划可以包含除尘装置5的运转周期t。该情况下，回报运算部24可以在运转周期t的长度在规定的第1阈值以上时，计算出与运转周期t从第1阈值偏离的偏离量(绝对值)对应的正回报，在运转周期t的长度低于第1阈值时，计算出与运转周期t从第1阈值偏离的偏离量(绝对值)对应的负回报。这样的回报条件被预先存储在机器学习装置61中。
[0146]
这样，通过在回报中考虑运转周期t，可以确定出使运转周期t变得更长的运转计划。由此，除尘装置5的运转频度减少，从而能够优化余热回收锅炉4的设备疲劳到达时间。
[0147]
此外，本实施方式的除尘装置5构成为通过击打对导热管41施加振动，运转计划可以包含击打次数r。该情况下，回报运算部24可以在击打次数r在规定的第2阈值以下时，计算出与击打次数r从第2阈值偏离的偏离量(绝对值)对应的正回报，在击打次数r大于第2阈值时，计算出与击打次数r从第2阈值偏离的偏离量(绝对值)对应的负回报。这样的回报条件被预先存储在机器学习装置61中。
[0148]
通过像这样在回报中考虑击打次数r，能够确定使击打次数r变得更少的运转计划。由此，能够使除尘装置5对导热管41施加的冲击恰当，能够优化余热回收锅炉4的设备疲劳到达时间。
[0149]
此外，本实施方式的除尘装置5构成为通过击打对导热管41施加振动，运转计划可以包含击打力f。该情况下，回报运算部24可以在击打力f在第3阈值以下时，计算与击打力f从第3阈值偏离的偏离量(绝对值)对应的正回报，在击打力大于第3阈值时，计算与击打力从第3阈值偏离的偏离量(绝对值)对应的负回报。这样的回报条件被预先存储在机器学习装置61中。
[0150]
通过像这样在回报中考虑击打力f，能够确定使得击打力f变得更小的运转计划。由此，能够使除尘装置5对导热管41施加的冲击恰当，能够优化余热回收锅炉4的设备疲劳到达时间。
[0151]
以上对本发明的优选实施方式进行了说明，但是在不脱离本发明的精神的范围内对上述实施方式的具体结构和/或功能的详细内容进行了变更的方式也包含在本发明中。上述余热回收锅炉4的结构例如可以进行如下变更。
[0152]
例如，本实施方式的余热回收锅炉4的除尘装置5是振打式的，但除尘装置5不限于此。作为除尘装置5，还可以采用将压缩空气或蒸气吹到导热管41上而将附着在其表面的灰尘吹飞的除尘装置(吹灰式)、通过由压力波产生的风压及振动将附着在导热管41的表面的灰尘去除的除尘装置(压力波式)、以及使刮板与附着在导热管41的表面的灰尘接触而产生龟裂，从而使灰尘剥离的除尘装置(刮板式)等公知的除尘装置。