设备运行优化辅助装置、设备运行优化控制装置及方法与流程

1.本发明涉及一种设备运行优化辅助装置、设备运行优化控制装置及方法，其以低的计算负荷，对设备运行的辅助和运行进行优化。


背景技术：

2.在各种设备中，为了该设备效率最大化的运行，存在构成设备运行优化控制装置的趋势，例如，专利文献1的设备运行优化控制装置构成为：“一种多变量模型预测控制装置，其特征在于，具有：控制量变化预测单元，其通过以包含控制对象工艺进程的操作量、外扰及控制量的状态量为输入且以控制量为输出的神经网络模型，来预测应控制时刻之后的各控制量的变化；控制量灵敏度计算单元，其根据上述应控制时刻的上述状态量，计算各上述控制量的变化量相对于此后提供的各上述操作量的变化量的灵敏度；优化计算及确定单元，其使用通过该控制量灵敏度计算单元进行的计算所得到的灵敏度矩阵，以由上述变化预测单元预测出的各上述控制量与规定的目标值尽可能一致且各上述操作量的变化量尽可能小的方式进行优化计算而确定各操作量，将由该优化计算及确定单元确定的各上述操作量作为上述控制对象工艺进程的上述操作量被输出到外部。”。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2002-157003号公报。


技术实现要素：

6.发明所要解决的问题
7.根据专利文献1中公开的设备运行优化控制装置，可以在维持高的设备运行效率的同时运行。但是，在使用计算机装置实现时，存在计算机负荷大的问题。这会影响专利文献1中将设备的全部传感器信号作为输入来进行常时处理这一情况。在工业设备领域中，为了提高效率而试行基于机器学习的最优控制技术的应用，谋求降低控制量的计算所需的负荷。
8.另外，作为具体问题，期待实现控制量的计算所需的负荷的降低，同时即使在高灵敏度的传感器信息量的提取、低频运行(特殊运行)中也能够在缩减后保持高灵敏度的信号，以及可以追随设备状态变化等。
9.因此，本发明的目的在于，提供一种设备运行优化辅助装置、设备运行优化控制装置及方法，通过从设备的全部传感器信号中自主地提取达成控制目标所需的信号，能够降低计算负荷。
10.用于解决问题的技术手段
11.因此，在本发明中，构成为：“一种设备运行优化辅助装置，其特征在于，具有：输入部，其输入提供给设备的操作量信号和由设备检测出的进程信号作为输入信号；灵敏度推算部，其求出进程信号相对于操作量信号的随时间的变化量作为灵敏度信号；信号分类部，
其根据输入信号对设备的运行状态进行区分而提供运行状态信号，并且对于区分出的每一运行状态从灵敏度信号中提取呈现出高灵敏度的灵敏度信号作为各状态的高灵敏度信号”。
12.另外，在本发明中，构成为：“一种设备运行优化控制装置，其特征在于，具有：输入部，其输入提供给设备的操作量信号和由设备检测出的进程信号作为输入信号；灵敏度推算部，其求出进程信号相对于操作量信号的随时间的变化量作为灵敏度信号；信号分类部，其根据输入信号对设备的运行状态进行区分而提供运行状态信号，并且对于区分出的每一运行状态从灵敏度信号中提取呈现出高灵敏度的灵敏度信号作为各状态的高灵敏度信号；控制方案优化部，其确定以各状态的高灵敏度信号为输入且以设备的高效运行状态为目标状态时的、用于过渡到该目标状态的设备控制下的控制方案，并将其作为控制方案信号提供；控制装置，其使用根据运行状态信号时的各状态的高灵敏度信号求得的控制方案确定提供给设备的操作量信号”。
13.另外，在本发明中，构成为：“一种设备运行优化辅助方法，其特征在于，输入提供给设备的操作量信号和由设备检测出的进程信号作为输入信号，求出进程信号相对于操作量信号的随时间的变化量作为灵敏度信号，根据输入信号对设备的运行状态进行区分而提供运行状态信号，并且对于区分出的每一运行状态从灵敏度信号中提取呈现出高灵敏度的灵敏度信号作为各状态的高灵敏度信号”。
14.另外，在本发明中，构成为：“一种设备运行优化控制方法，其特征在于，输入提供给设备的操作量信号和由设备检测出的进程信号作为输入信号，求出进程信号相对于操作量信号的随时间的变化量作为灵敏度信号，根据输入信号对设备的运行状态进行区分而提供运行状态信号，并且对于区分出的每一运行状态从灵敏度信号中提取呈现出高灵敏度的灵敏度信号作为各状态的高灵敏度信号，使用各状态的高灵敏度信号确定以设备的高效运行状态为目标状态时的、用于过渡到该目标状态的设备控制下的控制方案，并将其作为控制方案信号提供，使用根据运行状态信号时的各状态的高灵敏度信号求得的控制方案确定提供给设备的操作量信号”。
15.发明效果
16.能够提供一种设备运行优化辅助装置、设备运行优化控制装置及方法，通过从设备的全部传感器信号中自主地提取达成控制目标所需的信号，能够降低计算负荷。
附图说明
17.图1是表示本发明的实施例1的设备运行优化控制装置的结构例的图。
18.图2是例示了运行状态和灵敏度信号的关系的图。
19.图3是表示本发明的实施例1的处理中的一系列步骤的流程图。
20.图4是表示本发明的实施例2的设备运行优化控制装置的结构例的图。
21.图5是表示本发明的实施例2的处理中的一系列步骤的流程图。
22.图6是表示本发明的实施例3的设备运行优化控制装置的结构例的图。
23.图7是表示信息向显示装置显示的实例的图。
24.图8是表示模型的形式为状态过渡随机矩阵t的情况的一例的图。
25.图9是示意性示出(1)式的处理的图。
26.图10是表示将由将来状态预测运算部b21运算出的衰减型状态过渡矩阵d显示于画面的情况的一例的图。
27.图11是表示回报函数为向量形式的情况的一例的图。
28.图12是表示状态价值函数v的一例的图。
29.图13是表示(4)式的计算结果的一例的图。
30.图14是表示控制方案的一例的图。
具体实施方式
31.下面，使用附图对本发明的实施例进行说明。
32.实施例1
33.图1是表示本发明的实施例1的设备运行优化控制装置的结构例的图。在图1中，设备运行优化控制装置100从设备104将输入信号sg1输入，最终对设备内的未图示的机器提供操作量信号(控制量信号)sg6。在此，输入信号包含对设备提供的操作量信号sg6和由设备各部的传感器检测到的进程信号。
34.设备运行优化控制装置100，作为主要构成要素具有信息量缩减装置101、控制方案优化部116和控制装置120，根据来自它们的信号sg4、sg5，控制装置120确定对设备内的未图示的机器提供的操作量信号sg6。
35.此外，在图1中，也可以将本发明作为设备运行优化辅助装置而构成。在该情况下，设为将信息量缩减装置101或者甚至控制方案优化部116提供的各种数据经由监测器等显示装置提示给使用者的结构即可，控制装置120可以构成为，使用对所提供的数据进行自行判断而选择的信息，反映给控制装置120，通过运行来间接实现设备104的优化运行。
36.信息量缩减装置101由灵敏度推算部109和信号分类部110构成。其中，在灵敏度推算部109中，提取作为设备输出的进程信号相对于作为外扰(设备输入)提供给设备104的操作量信号sg6的关系作为随时间的变化量即灵敏度信号。这是在例如将操作量信号sg6设为x、将进程信号设为y、将时刻设为t时，将dyt/dxt作为时刻t的灵敏度信号而求出的。灵敏度信号可以基于设备的可假定的输入输出关系预先准备多种。
37.信号分类部110通过聚类等统计方法将设备104的运行状态分成多种运行状态。例如，如果为锅炉设备，则可以例示出升速阶段、负荷增加阶段、负荷不变运行阶段、负荷减少阶段等运行状态，但区分出的运行状态不限于此。另外，在本发明中，运行状态的区分不限于聚类方法，以适当的方法进行即可。
38.图2例示了运行状态和灵敏度信号sg2的关系。在此，横轴表示设备的运行状态，纵轴例示了灵敏度信号。作为横轴的设备的运行状态，在本例中例示了通常运行状态201、通常运行状态203、特殊运行状态202。此外，特殊运行状态表示发生频率比通常运行状态低的运行状态。
39.图2中示出了信号的灵敏度sg2根据设备状态而变动的情况。在设备处于通常运行状态201的范围内的情况下，信号sg22的灵敏度高，在特殊运行状态202下，信号sg23的灵敏度高，在通常运行状态203下，信号sg21的灵敏度高。还示出了在发生频率低的特殊运行状态202下具有高灵敏度的信号sg23存在发生频率高的其他运行中灵敏度低的趋势的情况。因此，在以往的灵敏度分析方法中，信号sg23的灵敏度的等级低，作为信息缩减后的信号而
被选择的可能性也低。在本发明中，计算各时刻t的灵敏度dy
t
/dx
t
，因此能够提取发生频率低的特殊运行状态下灵敏度高的信号。
40.在信号分类部110中，由于以上原因，提取表示判别出的运行状态的运行状态集群信号sg4和在该运行状态下呈现出高灵敏度的各状态的高灵敏度信号sg3。此外，所选择的各状态的高灵敏度信号sg3不限于一个，也可以选择多个高灵敏度信号。这些运行状态集群信号sg4和在该运行状态下呈现出高灵敏度的各状态的高灵敏度信号sg3的组合被保存于适当的数据库中，其结果，反映过去的运行状态，数据库内容依次被丰富化。其中也包含发生频率低的运行状态时的各状态的高灵敏度信号sg3的信息。
41.这样，信息量缩减装置101提供当前的运行状态和此时的高灵敏度信号，因此，处理的信息量为从全部工艺进程量中筛选出的信息量，可以说具有缩减信息的功能。
42.控制方案优化部116具有模拟设备的特性的模型功能，输入在该运行状态下呈现出高灵敏度的各状态的高灵敏度信号sg3，来确定此时的优化了的控制方案。在此，控制方案是指例如设备的操作量。要以根据各状态的高灵敏度信号sg3求得的操作量来运行设备是指，使设备输入最小且使设备输出最大，进而能够实现高效运行。在实施例4中，对控制方案优化部116的具体实现方法的例子进行详细说明。
43.控制装置120是以由控制方案优化部116求得的控制方案信号sg5、由信号分类部110求得的运行状态集群信号sg4、以及进程信号sg1为输入的控制部。一般而言，控制装置120由例如比例积分调节功能或可编程控制器等构成，其结构如下：对于规定的所提供的目标信号，使用进程信号sg1作为反馈信号或者修正信号，确定对于设备的操作量信号sg6。与此不同，本发明的控制装置120根据运行状态集群信号sg4掌握当前的运行状态，输入该运行状态时的优化了的控制方案信号sg5而作用于控制装置120的各部，将操作量信号sg6修正为基于控制方案信号sg5的最优值。此外，作为作用于控制装置各部的方法，可考虑修正为最优的设定值、修正应设为最优的调节功能的时间常数或增益、施加偏置信号等。
44.图3是表示本发明的实施例1的处理中的一系列步骤的流程图。在该图中，在各处理步骤的右侧描述了执行该功能的图1的各部装置。根据该处理，首先，在处理步骤s1201中输入进程信号等输入信号sg1，在处理步骤s1202中按照时间顺序转换为灵敏度信号。在处理步骤s1203中，提取表示判别出的运行状态的运行状态集群信号sg4和在该运行状态下呈现出高灵敏度的各状态的高灵敏度信号sg3。
45.在与控制方案优化部116对应的处理步骤s1204中，根据各状态的高灵敏度信号sg3，计算该状态时的最优的控制方案信号sg5，并且在处理步骤s1205中根据运行状态适当地更新控制方案。
46.在与控制装置120对应的处理步骤s1206至s1028中，首先，在处理步骤s1206中判定设备是否正在运行，当设备正在运行时，在处理步骤s1207中读取进程信号等，在处理步骤s1208中计算与控制方案对应的操作量信号并提供给设备104。
47.根据上述实施例1，通过传感器信息量的缩减，能够降低计算机负荷，即使在发生频率低的特殊运行中也能保持所需的传感器信息，且可以根据设备状态变化向最优的控制方案切换运用。
48.实施例2
49.实施例1是以信息量缩减装置101内的灵敏度推算部109的灵敏度的分类由使用者
预先设定为前提的。即，是以应将多个设备输入和多个进程信号的哪种组合的随时间的变化量设为监视对象是预先掌握、预先设定的为前提的。
50.与此不同，在实施例2中，该组合的提取也是自动进行的。除了在信息量缩减装置101内重新追加行为模型学习部108这一点以外，表示实施例2的设备运行优化控制装置的结构例的图4的结构与实施例1相同。
51.在行为模型学习部108中，使用神经网络等预先学习操作量信号sg6及操作前后的进程信号sg1的关系。由此，能够自动创建输入输出的相关性高的输入和输出的组合111。能够使用由神经网络得到的关系性自动计算微分，因此，使用该特性在信号灵敏度推算部109计算各时刻t的灵敏度dy
t
/dx
t
。此外，行为模型学习部108也可以提示全部组合，但灵敏度推算部109的计算机负荷增大。
52.图5是表示本发明的实施例2的处理中的一系列步骤的流程图。与图3的处理流程的差异在于以下两点：第一，处理步骤s1201由行为模型学习部108和信号灵敏度推算部109双方执行；第二，在处理步骤s1202前追加处理步骤s1209。在处理步骤s1209中，由行为模型学习部108学习操作量信号sg6及操作前后的进程信号sg1的关系。
53.实施例3
54.实施例1、实施例2的设备运行优化控制装置100主要对从优化控制的观点来看的装置结构、处理内容等进行了说明，但实际上应设为从使用者的立场来看的装置结构、使用体系，在实施例3中对这一点进行说明。
55.作为其前提，在实施例1、实施例2的设备运行优化控制装置100中构成适当的数据库，各部输入数据、半成品数据、成品数据应被适当地保存。在图6的结构中，在输入数据的数据库db1中蓄积输入信号sg1，在半成品数据的数据库db2、db3、db4中分别蓄积灵敏度信号sg2、各状态的高灵敏度信号sg3、运行状态集群信号sg4，在成品数据的数据库db5中蓄积控制方案信号sg5。此外，在图示的例子中，为了便于表达，各种数据库db在设备运行优化控制装置100的范围外进行了描述，当然其也可以置于范围内。
56.控制室105内的使用者输入来自这些数据库db的各种信号，通过向监测器画面等提供适当的显示形式的信息，能够更加准确地掌握设备的现状。
57.图7是表示这些信息向显示装置显示的实例的图，在显示装置101的显示画面102中，在纵轴上示出了由运行状态集群信号sg4确定的集群，在横轴侧将各状态的高灵敏度信号sg3与灵敏度的分类(信号名称)或数值一同示出。此外，关于集群，作为表示其内容的信息也可以例示出运行状态的范围等。
58.实施例4
59.在实施例4中，对控制方案优化部116的具体实现方法的例子进行说明。
60.在图1的控制方案优化部116中，确定以使用高效数据(各状态的高灵敏度信号sg3)求得的设备的高效运行状态为目标状态时的、用于过渡到该目标状态的控制方案。在此，控制方案是指各操作条件的操作量。控制方案优化部116由将来状态预测运算部b21和控制方案计算部b22构成。下面，对控制方案优化部116的处理内容进行详细说明。
61.在控制方案优化部116中，首先，进行求出在将来状态预测运算部b21中高效数据(各状态的高灵敏度信号sg3)的各点(例如s1)过渡到其他各点(例如s2)的概率的、所谓的状态过渡随机矩阵的处理。在此，高效数据组的各点s一般作为“状态”而被掌握。另外，状态
过渡概率处理可以称为进行将来状态预测运算的处理。在将来状态预测运算中，计算使用了模型数据(出于设备高效率运行的观点而选择的状态的数据)的衰减型状态过渡矩阵。另外，在此将设为将来状态的预测对象的物体或现象称为模拟对象，本实例中的模拟对象为设备。
62.本发明中的模型的输入为模拟对象的状态和时间经过或操作、外扰等影响因素，输出为受到影响因素的影响后的模拟对象的状态，在本发明中，将该模型称为状态过渡模型。另外，状态过渡模型在有限的状态空间内，将无限时间或无限步骤之前的模拟对象和其周边环境的状态以概率密度分布的形式进行表现。
63.作为状态过渡模型等保存形式的一例，可考虑例如表示状态过渡随机矩阵或神经网络、径向基函数网络、或者神经网络或径向基函数网络的权重的矩阵，但本发明不将模拟对象的模型保存形式限定在这些例子中。
64.将模型的形式为状态过渡随机矩阵t的情况的一例示于图8。图8中，将过渡源的状态si(i＝1、2、
……
、n)和过渡目标的状态sj(j＝1、2、
……
、n)表示为纵横的矩阵，在矩阵内以数值表示状态过渡概率p(sj∣si)。过渡随机矩阵t一般为模拟控制对象的运动特性或物理现象的模型的一种，为保存全部状态间的过渡概率的函数或矩阵)。在此，表中的行为过渡源的状态si(i＝1、2、
……
、n)，列为过渡目标的状态sj(j＝1、2、
……
、n)，要素tij为经过了预先设定的间隔时间δt(或步骤)时，状态从状态si过渡到状态sj的概率p(sj∣si)。
65.图8中示出了在着眼于过渡源的状态si中的s1时，在经过时间δt后的过渡目标的状态sj下，成为s1的概率p(s1∣s1)为0.5，成为s2的概率p(s2∣s1)为0.5，成为s3以后的概率p(s3∣s1)为0。同样示出了在着眼于s2时，在经过时间δt后的过渡目标的状态sj下，成为s1的概率p(s1∣s2)为0，成为s2的概率p(s2∣s2)为0.25，成为s3的概率p(s3∣s2)为0.5，成为s4的概率p(s4∣s1)为0.25。此外，图8的表中示出了过渡源的状态和移动到过渡后的移动目的的概率，因此，该表可以看作概率密度分布的表。概率密度分布表示例如山状的形状。
66.此外，在上述说明中，关于状态过渡随机矩阵t，例示了仅示出经过时间δt前后的一截面的表tij，但实际上也连续存在经过时间δt间隔的表，形成了模型即状态过渡随机矩阵t。表tij的经过时间δt后的表为tt 1，再经过时间δt后的表为tt 2。
67.在图8的例子中，状态s作为将整体划分为范围而n分割了的离散空间进行处理，但通过使用神经网络、径向基函数网络等，也可以将状态s作为连续空间进行处理。另外，在使用神经网络、径向基函数网络等的情况下，也可以用以进入神经元的输入信号的加权系数或基函数的加权系数为要素值的矩阵替代状态过渡随机矩阵t。
68.将来状态预测运算部b21根据模型数据计算并记录衰减型状态过渡矩阵。将计算衰减型状态过渡矩阵的方法的一例示于以下的(1)式中。此外，在(1)式的例子中，将模型的保存形式假设为状态过渡随机矩阵t。
69.[数学式1]
[0070]
d＝t γt2 γ2t3
…
γ
∞-1
t
∞
…
(1)
[0071]
在(1)式中，d为衰减型状态过渡矩阵，γ为称为衰减率的0以上且低于1的常数。另外，tk为经过了δt
×
k的时间时的、保存全部状态间的过渡概率的函数(或矩阵)。
[0072]
图9为示意性示出(1)式的处理的图，图8的对于每一经过时间δt的多个状态过渡随机矩阵tij为乘以对于每一经过时间δt衰减的加权系数γ并计算其合计的矩阵。此外，
在图9中，多个状态过渡随机矩阵tij中的表示过渡源的状态si和过渡目标的状态sj的概率分布作为例如山状的特性组而被掌握。
[0073]
这样，衰减型状态过渡矩阵d为从经过δt时间后的状态过渡随机矩阵t到经过δt
×
∞时间后的状态过渡随机矩阵t∞的和，也为保存全部状态间的统计近似的矩阵。另外，越是过渡到遥远的未来的状态越降低权重，因此，根据经过时间乘以很多衰减率γ的量。
[0074]
从当前时刻的状态过渡随机矩阵t到经过∞时间后的状态过渡随机矩阵t∞的计算所需的(1)式在实际时间内难以进行计算。因此，可以将(1)式转换为以下的(2)式进行执行。总之，就(2)式而言，每当以概率密度分布的形式推算无限时间或无限步骤之前的模拟对象和其周边环境的状态时，都进行与状态过渡随机矩阵的级数等效的计算。
[0075]
[数学式2]
[0076]
d＝t(e-γt)-1
…
(2)
[0077]
在(2)式中，e为单位矩阵。(2)式为与(1)式等效的计算式。通过将(1)式的从状态过渡随机矩阵t到状态过渡随机矩阵t∞的和的计算转换为(2)式中的(e－γt)的逆矩阵，在有限时间内可得到与(1)式相同的计算结果。在此，在状态过渡随机矩阵t并非线性独立的情况下，也可以使用伪逆矩阵。另外，也可以使用将衰减型状态过渡矩阵按各行正规化了的矩阵来代替衰减型状态过渡矩阵d。
[0078]
这样，通过将模拟了模拟对象的行为的模型设为状态过渡模型，可以通过tk的计算对δt
×
k时间后的状态过渡概率进行计算。另外，取从δt时间经过后的状态过渡随机矩阵t到δt
×
∞时间经过后的状态过渡随机矩阵t∞的和，按照经过时间通过基于衰减率γ的加权，使在有限时间内计算考虑了δt
×
∞时间经过后的状态过渡概率成为可能。
[0079]
图10为将由将来状态预测运算部b21运算出的衰减型状态过渡矩阵d显示于画面的情况的一例。图中，将衰减型状态过渡矩阵d以基于移动源状态si和移动目的状态sj的矩阵形式显示于画面。此外，就显示于画面的矩阵而言，也可以用将衰减型状态过渡矩阵d按各行正规化了的矩阵来代替衰减型状态过渡矩阵d。根据该表达示出了例如过渡源的状态s1直接成为过渡后的状态s1的概率为0.14，过渡源的状态s1成为过渡后的状态s2的概率为0.15，成为过渡后的状态s3的概率为0.09，成为过渡后的状态s4的概率为0.08，成为过渡后的状态s5的概率为0.25。
[0080]
返回图1，控制方案优化部116内的控制方案计算部b22计算并记录由将来状态预测运算部b21求得的(2)式的衰减型状态过渡矩阵d和根据图9的回报函数r最优的控制方案(最优的操作量a)。
[0081]
在此，回报函数r为将目标位置或目标速度等控制目标以函数、表、向量、矩阵等形式表示的函数。在本发明中，将具有该控制目标的信息的函数、表、向量、矩阵等称为回报函数r。将回报函数为向量形式的情况的一例示于图11。在图11中，对于每一过渡源的状态id，以数值表示回报函数r。根据该图，状态s作为将整体划分范围而n分割了的离散空间进行处理，以从初始状态过渡到状态s3为目标。在此，就作为目标的向量的要素值而言，将状态s3设为1，将其他状态设为0。在本发明中，将该向量的要素值或回报函数r的值称为回报。此外，作为控制下的回报，例示了ai中的强化学习时的希望值或目标函数。
[0082]
总之，这一系列处理是以成为设备运行的基准的信号s(各状态的高灵敏度信号sg3)为状态，根据信号s的时间顺序的变化创建状态过渡随机矩阵的处理。此时，仅在计算
状态过渡概率时，使用高效率的全部数据。接着，学习对于实现了信号s的操作条件的效率y(回报)，将状态过渡概率为规定值以上且效率y(回报)最高的状态确定为控制目标。即，导出提高了效率的有实绩的条件。
[0083]
在控制方案计算部b22中，将计算最优的控制方案的方法的一例示于以下。在本例中，为了求出最优的控制方案，按以下3阶段进行计算。
[0084]
阶段1：首先，以各状态s和回报函数r计算保存与成为目标的状态sgoal的近似度(或表示过渡容易度的统计指标)的函数。在本发明中，将该函数称为状态价值函数v。另外，除函数外，也可以以表、向量、矩阵等形式保存状态价值函数v，在本发明中，未限定保存形式。将状态价值函数v的计算方法的一例示于以下的(3)式。
[0085]
[数学式3]
[0086]
v＝dr
…
(3)
[0087]
如上述(3)式所示，状态价值函数v为衰减型状态过渡矩阵d和回报函数r的积。例如，如图8和图11所示，在衰减型状态过渡矩阵d为n
×
n的矩阵、回报函数r为n维向量的情况下，状态价值函数v为图12所示的n维向量。越是容易向作为目标的状态sgoal过渡的状态，状态价值函数v的要素值越高。在本发明中，将该要素值称为价值。另外，就本发明的状态价值函数v而言，强化学习方法中的状态价值函数的定义和值等效。
[0088]
阶段2：接着，使用状态价值函数v，对于过渡源的各状态si计算从过渡源的状态si能够过渡的过渡目标的状态sj中最容易向成为目标的状态sgoal过渡的状态sj＊。将状态sj＊的计算方法的一例示于以下的(4)式。
[0089]
[数学式4]
[0090][0091]
在此，t(si、sj)为状态过渡随机矩阵t中的si行、sj列的要素值。将(4)式的计算结果的一例示于图13。在图13中，对于每一过渡源的状态id(si)表示过渡目标的状态id(sj)。根据该图13，在过渡源的状态为状态s1的情况下，在状态过渡随机矩阵t(图8)中，可成为过渡目的的状态为状态s1或状态s2这两种状态。在这两种状态中，为状态价值函数v且价值高的状态为状态s2。因此，在图13的例子中，状态s2作为过渡源的状态s1的过渡目标的状态而被保存。
[0092]
阶段3：在最后的阶段，计算从过渡源的各状态si向阶段2中可得到的状态sj＊过渡所需的操作量a。操作量a的计算可以通过求出例如设备的逆模型(以过渡源的状态si和状态sj＊为输入，输出对应的操作量a的模型)而计算。作为阶段3的计算结果，可得到例如图14所示的控制方案。
[0093]
在图14中，对于每一过渡源的状态id(si)以数值表示操作量id。根据该图，状态si作为将整体划分为范围而n分割了的离散空间进行处理，对于各状态的范围保存最优的操作量ac(c＝1、2、
……
、m)。
[0094]
这样，通过在上述(3)式中计算价值，可以进行各状态下的向sgoal过渡的容易度的评价，通过上述(4)式可进行通过经过δt时间能够过渡的状态中最容易向sgoal过渡的状态sj＊的特定，通过逆模型能够进行用于向状态sj＊过渡的操作量a的特定。
[0095]
附图标记说明
[0096]
100：设备运行优化控制装置，101：信息量缩减装置，104：设备104，109：灵敏度推算部，110：信号分类部，116：控制方案优化部，120：控制装置120，sg1：输入信号，sg2：灵敏度信号，sg3：各状态的高灵敏度信号，sg4：运行状态集群信号，sg5：控制方案信号，sg6：操作量信号(控制量信号)，b21：将来状态预测运算部，b22：控制方案计算部。