一种全电控井下安全阀的视情维修方法与流程

1.本发明属于石油工程领域，具体地，涉及一种全电控井下安全阀的视情维修方法。


背景技术：

2.海洋油气开采作业环境复杂，一旦发生井喷、溢油、火灾等事故，造成的后果及次生灾害远远大于陆上油田。井下安全阀是井下安全控制系统的重要组成部分，是一种在井口出现重大故障时自动关井的装置，是海上油田的油水井均需安装安全控制装置，具有预防生产事故发生，保护设备安全和海洋环境的作用。
3.全电控井下安全阀相较于液控井下安全阀具有下深不受限、关井速度快的显著优势，是井下安全阀的发展方向。但全电控井下安全阀维修费用高，维修难度大，且一旦故障将对油气生产带来巨大的安全隐患。视情维修是一种基于系统当前退化状态的维修方式，在保证系统安全可靠的前提下，可以有效减少维修干预次数及维修花费。因此，亟需一种全电控井下安全阀的视情维修方法。


技术实现要素：

4.为克服现有技术存在的缺陷，本发明提供一种全电控井下安全阀的视情维修方法。
5.为实现上述目的，一种全电控井下安全阀的视情维修方法，包括以下5个步骤：
6.s1：根据历史故障数据建立全电控井下安全阀的退化过程模型，将退化过程离散化，求解全电控井下安全阀在检查间隔时间的退化状态转移概率矩阵，具体包括以下步骤：
7.s11：建立全电控井下安全阀内部退化模型。将全电控井下安全阀内部退化过程建模为伽马过程；
8.s12：建立全电控井下安全阀海洋环境外部冲击模型。将全电控井下安全阀海洋环境外部冲击过程建模为泊松过程；
9.s13：将全电控井下安全阀的退化过程离散化，利用蒙托卡罗仿真方法，求解全电控井下安全阀在检查间隔时间的退化状态转移概率矩阵；求解全电控井下安全阀在检查间隔时间的退化状态转移概率矩阵，具体包括以下步骤：
10.s131：初始化全电控井下安全阀各退化状态出现次数和各退化状态之间转移次数；
11.s132：初始化全电控井下安全阀的退化量；
12.s133：对全电控井下安全阀的退化过程进行仿真，每隔检查间隔时间获得全电控井下安全阀的退化状态；
13.s134：更新全电控井下安全阀各退化状态出现次数及各退化状态之间的转移次数；
14.s135：判断全电控井下安全阀是否故障，如果没有故障则回到步骤s133，如果故障则判断是否达到最大仿真次数，如果没有达到最大仿真次数则回到步骤s132，如果达到最
大仿真次数，则仿真结束；
15.s2：结合全电控井下安全阀备件状态，建立备件状态和退化状态的联合状态空间模型；
16.s3：根据全电控井下安全阀维修数据及维修之后的退化数据，确定全电控井下安全阀不同维修模式下的退化状态转移概率矩阵；
17.s4：确定全电控井下安全阀的维修动作空间及全电控井下安全阀在不同联合状态下采取不同维修动作时的联合状态转移概率矩阵，具体包括以下步骤：
18.s41：确定全电控井下安全阀的维修动作空间。全电控井下安全阀的维修动作空间包括维修模式的选择和备件的订购两部分，维修模式有不维修、小修、大修和更换4种选择，备件有订购备件和不订购备件2种选择；
19.s42.确定全电控井下安全阀在不同联合状态采取不同维修动作时的联合状态转移概率矩阵；
20.s5：建立基于马尔可夫决策过程的全电控井下安全阀的奖励矩阵，利用马尔可夫决策过程的策略迭代算法求得不同联合状态下的最优维修动作，具体包括以下步骤：
21.s51：确定奖励矩阵。取维修花费的负数作为维修动作的奖励。全电控井下安全阀的花费包括不同维修模式的维修花费、备件花费及由于故障造成的停机损失；
22.s52：利用马尔可夫决策过程的策略迭代算法求得不同联合状态下的最优维修策略，具体包括如下步骤：
23.s521：初始化状态值函数和维修策略；
24.s522：根据维修策略对状态值函数进行迭代更新；
25.s523：判断状态值函数是否收敛；当状态值函数收敛时，得到当前维修策略的状态值函数；当状态值函数不收敛时，回到步骤s522；
26.s524：根据收敛的状态值函数求动作值函数；
27.s525：根据动作值函数对维修策略进行更新；
28.s526：判断维修策略是否收敛，当维修策略不收敛，回到步骤s522，否则输出最优维修策略即全电控井下安全阀在不同联合状态下的最优维修动作。
29.相对于现有技术，本发明的有益效果如下：一种全电控井下安全阀的视情维修方法将全电控井下安全阀的退化过程离散化，与全电控井下安全阀的备件状态组成联合状态，在维修时考虑了多种维修模式和备件的订购情况，利用马尔可夫决策过程求解得到不同联合状态下的最优维修动作。相较于定时检修的策略，此种维修方式更加灵活，且具有较强的操作性，可以有效减少维修花费，提升全电控井下安全阀的维修水平。
附图说明
30.图1是一种全电控井下安全阀的视情维修方法示意图
31.图2是全电控井下安全阀退化过程示意图
32.图3是全电控井下安全阀退化状态转移示意图
33.图4是全电控井下安全阀退化状态转移概率矩阵求解流程图
34.图5是马尔可夫决策过程策略迭代算法流程图
具体实施方式
35.现在结合附图对本发明作进一步详细的说明。
36.如图1所示，一种全电控井下安全阀的视情维修方法，包括以下5个步骤：
37.s1：根据历史故障数据建立全电控井下安全阀的退化过程模型，将退化过程离散化，求解全电控井下安全阀在检查间隔时间的退化状态转移概率矩阵，具体包括以下步骤：
38.s11：建立全电控井下安全阀内部退化模型。将全电控井下安全阀内部退化过程建模为伽马过程，全电控井下安全阀在检查间隔时间t的退化量x
t
服从伽马分布，如下所示：
[0039][0040][0041]
其中，f(x
t
,α,β)为伽马分布密度函数，α为伽马分布的形状参数，β为伽马分布的逆尺度参数，γ(x
t
)为伽马函数，伽马分布的形状参数和逆尺度参数由历史数据确定。
[0042]
全电控井下安全阀在g个检查间隔时间的内部退化总量x
g
为：
[0043][0044]
其中，x
tk
为全电控井下安全阀第k个检查间隔时间的退化量，k为检查间隔时间编号；
[0045]
s12：建立全电控井下安全阀海洋环境外部冲击模型。将全电控井下安全阀海洋环境外部冲击过程建模为泊松过程。对任意时间段t1≥0,t2≥0，有
[0046][0047]
其中，n为全电控井下安全阀受到海洋环境外部冲击的次数，n
c
(t1 t2)为t1 t2时间段受到的海洋环境外部冲击次数，n
c
(t1)为t1时间段受到的海洋环境外部冲击次数，p{n
c
(t1 t2)
‑
n
c
(t1)＝n}为在任意t2时间段发生n次海洋环境外部冲击的概率，λ为泊松分布的参数，由历史数据确定。
[0048]
一次海洋环境外部冲击造成的退化量x
w
服从正态分布，如下所示：
[0049][0050]
其中，f(x
w
)为正态分布的密度函数，μ为海洋环境外部冲击造成的退化量的均值，σ为海洋环境外部冲击造成的退化量的方差，由历史数据确定。
[0051]
海洋环境外部冲击总量x
w
为：
[0052][0053]
其中，x
wh
为第h次海洋环境外部冲击造成的退化量，n
w
为海洋环境外部冲击次数，h为海洋环境外部冲击次数编号。
[0054]
如图2所示，全电控井下安全阀退化量x为内部退化总量x
g
和海洋环境外部冲击总量x
w
之和，即：
[0055]
x＝x
g
x
w
[0056]
图中
‘
o’表示发生海洋环境外部冲击，
‘
x’表示全电控井下安全阀发生故障。l表示全电控井下安全阀的故障阈值，当全电控井下安全阀退化量x超过故障阈值l时，全电控井下安全阀故障，t
f
表示故障发生的时间。在不采取维修和更换的情况下，随着时间的增加，全电控井下安全阀退化量单调递增。
[0057]
s13：将全电控井下安全阀的退化过程离散化，利用蒙托卡罗仿真方法，求解全电控井下安全阀在检查间隔时间的退化状态转移概率矩阵，具体包括以下内容：
[0058]
将全电控井下安全阀的退化状态s0划分为健康、良好、一般、较差、故障，如下所示：
[0059][0060]
为便于描述，分别用0，1，2，3，4表示健康、良好、一般、较差和故障状态。
[0061]
全电控井下安全阀退化状态之间的转移如图3所示，图中p
ij
表示全电控井下安全阀在检查间隔时间t从退化状态i转移到退化状态j的概率。
[0062]
全电控井下安全阀在检查间隔时间t的退化状态转移概率矩阵通过蒙托卡罗仿真获得，实现方式如图4所示，具体包括以下步骤：
[0063]
s131：初始化全电控井下安全阀各退化状态出现次数和各退化状态之间转移次数；
[0064]
s132：初始化全电控井下安全阀的退化量；
[0065]
s133：对全电控井下安全阀的退化过程进行仿真，每隔检查间隔时间t获得全电控井下安全阀的退化状态；
[0066]
s134：更新全电控井下安全阀各退化状态出现次数及各退化状态之间的转移次数；
[0067]
s135：判断全电控井下安全阀是否故障，如果没有故障则回到步骤s133，如果故障则判断是否达到最大仿真次数，如果没有达到最大仿真次数则回到步骤s132，如果达到最大仿真次数，则仿真结束。
[0068]
全电控井下安全阀在检查间隔时间t从退化状态i转移到退化状态j的转移概率p
ij
如下所示：
[0069][0070]
其中，n
i
为退化状态i出现的次数，n
ij
为当前退化状态为i，检查间隔时间t之后转移到退化状态j的次数；
[0071]
由于全电控井下安全阀的退化过程是单调递增的，因此，当j<i时，p
ij
＝0；当全电控井下安全阀为故障状态时，在没有维修的情况下，一直保持故障状态，因此，p
44
＝1；
[0072]
全电控井下安全阀正常退化时的退化状态转移概率矩阵如下所示：
[0073][0074]
s2：结合全电控井下安全阀备件状态，建立备件状态和退化状态的联合状态空间模型。
[0075]
全电控井下安全阀备件状态为有备件状态和无备件状态，分别用y和f表示，全电控井下安全阀的退化状态有健康、良好、一般、较差、故障5种，分别用0，1，2，3，4表示，全电控井下安全阀备件状态和退化状态组成的联合状态s共有10种，分别是{(健康，无备件)，(良好，无备件)，(一般，无备件)，(较差，无备件)，(故障，无备件)，(健康，有备件)，(良好，有备件)，(一般，有备件)，(较差，有备件)，(故障，有备件)}，这10种联合状态s组成的集合便是全电控井下安全阀的状态空间s1，表示为：
[0076]
s1＝{(0,f),(1,f),(2,f),(3,f),(4,f),(0,y),(1,y),(2,y),(3,y),(4,y)}
[0077]
备件在当前时刻被订购后，在下一检查时刻，即在检查间隔时间t之后，备件订购成功，备件状态转变为有备件。
[0078]
s3：根据全电控井下安全阀维修数据及维修之后的退化数据，确定全电控井下安全阀不同维修模式下的退化状态转移概率矩阵；
[0079]
全电控井下安全阀的维修模式包括不维修、小修、大修和更换，根据维修数据获得小修模式下的退化状态转移概率矩阵p1如下所示：
[0080][0081]
其中，p
ij1
为在退化状态i实施小修时转移到退化状态j的概率，小修有较小的概率使全电控井下安全阀保持在维修之前所在退化状态，有较大概率使全电控井下安全阀回到维修之前所在退化状态的上一退化状态，如在一般退化状态进行小修时，维修之后有较小概率保持在一般的退化状态，有较大概率转移到良好的退化状态，转移到其它退化状态的概率为0；
[0082]
大修模式下的退化状态转移概率矩阵p2如下所示：
[0083][0084]
其中，p
ij2
为在退化状态i实施大修时转移到退化状态j的概率，相对于小修，经过
大修后全电控井下安全阀可以有更大概率回到更好的状态；
[0085]
更换模式下的退化状态转移概率矩阵p3如下所示：
[0086][0087]
无论在何种退化状态对全电控井下安全阀进行更换，更换之后的退化状态都为健康。
[0088]
s4：确定全电控井下安全阀的维修动作空间及全电控井下安全阀在不同联合状态下采取不同维修动作时的联合状态转移概率矩阵，具体包括以下步骤：
[0089]
s41：确定全电控井下安全阀的维修动作空间a。全电控井下安全阀的维修动作空间包括维修模式的选择和备件的订购两部分，维修模式有不维修、小修、大修和更换4种选择，备件有订购备件和不订购备件2种选择，在全电控井下安全阀有备件时，不能继续订购备件，即最多只能有一个备件。当全电控井下安全阀没有备件时，不能进行更换操作。全电控井下安全阀在不同联合状态s时的维修动作空间如下所示：
[0090]
s
11
为无备件的联合状态，s
11
＝{(0，f)，(1，f)，(2，f)，(3，f)，(4，f)}，当s∈s
11
时，维修动作空间为{(不维修，不购买备件)，(不维修，购买备件)，(小修，不购买备件)，(小修，购买备件)，(大修，不购买备件)，(大修，购买备件)}；
[0091]
s
12
为有备件的联合状态，s
12
＝{(0，y)，(1，y)，(2，y)，(3，y)，(4，y)}，当s∈s
12
时，维修动作空间为{(不维修，不购买备件)，(小修，不购买备件)，(大修，不购买备件)，(更换，不购买备件)，(更换，购买备件)}。
[0092]
s42：确定全电控井下安全阀在不同联合状态s采取不同维修动作a时的联合状态转移概率矩阵。
[0093]
在维修动作a＝(不维修，不购买备件)时，检查间隔时间t期间，全电控井下安全阀正常退化，备件状态保持不变，因此，全电控井下安全阀在采取维修动作a＝(不维修，不购买备件)的联合状态转移概率矩阵p
(不维修,不购买备件)
如下所示：
[0094][0095]
其中，p0为全电控井下安全阀在正常退化状态下的退化状态转移概率矩阵，0为5
×
5的零矩阵；
[0096]
在维修动作a＝(不维修，购买备件)时，全电控井下安全阀正常退化，在检查间隔时间t之后，备件状态变为有备件。在有备件的联合状态s
12
下不能采取此种维修动作，因此，全电控井下安全阀在采取(不维修，购买备件)的维修动作下的联合状态转移概率矩阵p
(不维修,购买备件)
如下所示：
[0097][0098]
在维修动作a＝(小修，不购买备件)时，全电控井下安全阀在小修之后退化状态得
到提升，在检查间隔时间t期间正常退化，备件状态保持不变，因此，全电控井下安全阀在采取维修动作a＝(不维修，购买备件)的联合状态转移概率矩阵p
(小修,不购买备件)
如下所示：
[0099][0100]
其中，p1为全电控井下安全阀在小修模式下的退化状态转移概率矩阵，p1·
p0为采取小修之后，在检查间隔时间t正常退化的退化状态转移概率矩阵。
[0101]
在维修动作a＝(小修，购买备件)时，检查间隔时间t之后，备件状态变为有备件，在有备件的联合状态s
12
下不能采取此种维修动作，因此，全电控井下安全阀在采取维修动作a＝(小修，购买备件)的联合状态转移概率矩阵p
(小修,购买备件)
如下所示：
[0102][0103]
在维修动作a＝(大修，不购买备件)时，全电控井下安全阀在大修之后退化状态得到提升，在检查间隔时间t期间正常退化，备件状态保持不变，因此，全电控井下安全阀在采取维修动作a＝(大修，不购买备件)的联合状态转移概率矩阵p
(大修,不购买备件)
如下所示：
[0104][0105]
其中，p2为全电控井下安全阀在大修模式下的退化状态转移概率矩阵，p2·
p0为采取大修之后，在检查间隔时间t正常退化的退化状态转移概率矩阵。
[0106]
在维修动作a＝(大修，购买备件)时，检查间隔时间t之后，备件状态变为有备件，在有备件的联合状态s
12
下不能采取此种维修动作，因此，全电控井下安全阀在采取维修动作a＝(大修，购买备件)的联合状态转移概率矩阵p
(大修,购买备件)
如下所示：
[0107][0108]
在维修动作a＝(更换，不购买备件)时，备件状态从有备件变为无备件，在无备件的联合状态s
11
下，不能采取此种维修动作，全电控井下安全阀在更换之后退化状态恢复到健康，在检查间隔时间t期间正常退化，因此，全电控井下安全阀在采取维修动作a＝(更换，不购买备件)的联合状态转移概率矩阵p
(更换,不购买备件)
如下所示：
[0109][0110]
其中，p3为全电控井下安全阀在大修模式下的退化状态转移概率矩阵，p3·
p0为采取更换之后，在检查间隔时间t正常退化的退化状态转移概率矩阵。
[0111]
在维修动作a＝(更换，购买备件)时，备件先被使用，同时订购备件，在检查间隔时间t之后，备件状态恢复为有备件状态，在无备件的联合状态s
11
下，不能采取此种维修动作。因此，全电控井下安全阀在采取维修动作a＝(更换，购买备件)的联合状态转移概率矩阵p
(更换,购买备件)
如下所示：
[0112]
[0113]
s5：建立基于马尔可夫决策过程的全电控井下安全阀的奖励矩阵，利用马尔可夫决策过程的策略迭代算法求得不同联合状态下的最优维修动作，具体包括以下步骤：
[0114]
s51：确定奖励矩阵r(s1,a)。取维修花费的负数作为维修动作的奖励。全电控井下安全阀的花费包括不同维修模式的维修花费、备件花费及由于故障造成的停机损失。备件花费包括备件购买费用c
b
和备件存储费用c
c
。在购买备件时，产生备件购买费用。当全电控井下安全阀有备件时，在检查间隔时间t就会产生一定的备件存储费用。维修所需花费取决于所处退化状态，所处退化状态越差，产生的维修花费越高。
[0115]
不维修时的维修花费包括日常维护花费和检测费用，不维修时的奖励矩阵如下所示：
[0116]
r(s
11
,(不维修,不购买备件))＝
‑1·
[c0,c1,c2,c3,c
d
]
[0117]
r(s
11
,(不维修,购买备件))＝
‑1·
[c0 c
b
,c1 c
b
,c2 c
b
,c3 c
b
,c
d
c
b
]
[0118]
r(s
12
,(不维修,不购买备件))＝
‑1·
[c0 c
c
,c1 c
c
,c2 c
c
,c3 c
c
,c
d
c
c
]
[0119]
其中，s
11
为无备件时的联合状态，s
12
为有备件时的联合状态，c0、c1、c2、c3分别为退化状态为健康、良好、一般、较差时的日常维护花费和检测费用，c
d
为由于全电控井下安全阀故障造成的停机损失。
[0120]
小修和大修时的奖励矩阵如下所示：
[0121][0122][0123][0124][0125][0126][0127]
其中，c
01
、c
11
、c
21
、c
31
、c
41
分别为退化状态为健康、良好、一般、较差、故障时的小修费用；c
02
、c
12
、c
22
、c
32
、c
42
分别为退化状态为健康、良好、一般、较差、故障时的大修费用；
[0128]
更换的花费为更换所需要的人工费，无论在何种退化状态下执行更换动作，都要相同的费用，更换时的奖励矩阵如下所示：
[0129]
r(s
12
,(更换,不购买备件))＝
‑1·
[c
r
,c
r
,c
r
,c
r
,c
r
c
d
]
[0130]
r(s
12
,(更换,购买备件))＝
‑1·
[c
r
c
b
,c
r
c
b
,c
r
c
b
,c
r
c
b
,c
r
c
d
c
b
]
[0131]
其中，c
r
为更换费用。
[0132]
全电控井下安全阀在不同联合状态s及维修动作a下的奖励矩阵r(s1,a)如下所示：
[0133][0134]
s52：利用马尔可夫决策过程的策略迭代算法求得不同联合状态s下的最优维修策略π(s1)，如图5所示，具体包括如下步骤：
[0135]
s521：初始化状态值函数v和维修策略π；
[0136]
s522：根据维修策略π对状态值函数v进行迭代更新，如下所示：
[0137][0138]
其中，s，s’为全电控井下安全阀的联合状态，a为全电控井下安全阀的维修动作，v
t 1
为第t 1次迭代时的状态值函数，π(a|s)为在联合状态为s时，采取维修动作a的概率，r(s,a)为在联合状态为s时采取维修动作a的奖励，γ为折现系数，p(s’|s,a)为在联合状态为s，采取维修动作a时，联合状态转移到s’的概率，v
t
为第t次迭代时的状态值函数。
[0139]
s523：判断状态值函数v是否收敛；
[0140]
当状态值函数v满足下式时，v收敛，得到维修策略为π时的状态值函数v
π
，当状态值函数v不收敛时，回到步骤s522；
[0141][0142]
其中v
π
是维修策略为π时收敛的状态值函数；
[0143]
s524：根据收敛的状态值函数v求动作值函数q，如下所示：
[0144][0145]
其中，是维修策略为π
z
时的动作值函数；为维修策略为π
z
时的状态值函数；
[0146]
s525：根据动作值函数q对维修策略π进行更新，如下所示：
[0147][0148]
其中，π
z 1
为第z 1次更新得到的维修策略，π
z
为第z次更新得到的维修策略；
[0149]
s526：判断维修策略π是否收敛，当维修策略π不收敛，回到步骤s522，否则输出最优维修策略π
*
即全电控井下安全阀在不同联合状态s下的最优维修动作a。