一种新型电力变压器故障模糊Q学习推理方法与流程

技术特征：
1.一种新型电力变压器故障模糊q学习推理方法，其特征在于，包括以下步骤：1)建立电力变压器故障q学习形式方程；2)根据环境状态s选择动作a，并观察瞬时奖赏r和新状态s，将步骤1)q学习形式方程进行更新；3)定义模糊推理系统规则库；4)假设步骤3)模糊推理系统规则库中结果向量表示连续空间的特征点向量，通过模糊推理，得到每一个特征点的总权值；5)采用重心法得到步骤4)模糊推理系统规则中每一个特征点的总权值的输出y；6)将步骤5)得到的模糊推理系统规则中每一个特征点的总权值的输出y类比于步骤2)；q学习形式更新方程，得到权值更新公式；7)反复进行步骤6)权值更新，直至权指表收敛，完成新型电力变压器故障模糊q学习推理。2.根据权利要求1所述的一种新型电力变压器故障模糊q学习推理方法，其特征在于，步骤1)的具体实现方法为：建立q学习形式方程：其中，q
*
(s,a)表示agent在状态s下执行动作a所获得的最优奖赏折扣和；r(s，a)表示agent从状态s执行动作a后获得的奖励；γ为折扣因子；t(s,a,s’)表示agent在状态s下执行动作a的一个t周期；表示agent在一个t周期内s’状态下执行动作a’所获得的最优奖赏。3.根据权利要求2所述的一种新型电力变压器故障模糊q学习推理方法，其特征在于，步骤2)的具体实现方法为：根据环境状态s选择动作a，并观察瞬时奖赏r和新状态s，将步骤1)q学习形式方程进行更新：其中，q
t 1
(s,a)为t 1时刻的是从状态s执行动作a后获得的累计回报值，α为控制收敛的学习率。4.根据权利要求3所述的一种新型电力变压器故障模糊q学习推理方法，其特征在于，步骤3)的具体实现方法为：定义模糊推理系统规则库，模糊推理系统的规则库一般由n个规则组成，假设输入向量为x＝(x1，x2，
……
，x
n
)，输出向量为(w1，w2，
……
，w
n
)，则规则库的表示形式如式(3)所示：其中，r
j
代表第j条规则；a
ji
代表输入变量模糊集，其中i＝1，
…
，n；w
ji
代表输出变量的结果，其中j＝1，
……
，m。5.根据权利要求4所述的一种新型电力变压器故障模糊q学习推理方法，其特征在于，步骤4)的具体实现方法为：假设步骤3)模糊推理系统规则库中结果向量表示连续空间的特征点向量，通过模糊推理，假设上述规则库中结果向量(w1，w2，
……
，w
n
)表示连续空间的特征点向量a＝(a1，a2，
……
，a
m
)，相应的权值为(w
j1
，w
j2
，
……
，w
jm
)，那么当输入向量为x＝(x1，x2，
……
，x
n
)时，通过模糊推理，每一个特征点的总权值为：
其中，μ
jk
(x
k
),k＝1,2,...,n代表相应的模糊集a
ji
的隶属函数值。6.根据权利要求5所述的一种新型电力变压器故障模糊q学习推理方法，其特征在于，步骤5)的具体实现方法为：采用重心法得到步骤4)模糊推理系统规则中每一个特征点的总权值的输出y：由此根据模糊推理系统的输出值进行动作选择，环境进入下一个状态并给予预设的回报值。7.根据权利要求6所述的一种新型电力变压器故障模糊q学习推理方法，其特征在于，步骤6)的具体实现方法为：将步骤5)得到的模糊推理系统规则中每一个特征点的总权值的输出y类比于步骤2)；q学习形式更新方程，得到权值更新公式：w
jk
＝(1-α)w
jk
α(r γ
·
w
max
),k＝1,2,...,m中：r为回报值；w
max
为w
k
，k＝1，2，
…
，m中的最大值。8.根据权利要求7所述的一种新型电力变压器故障模糊q学习推理方法，其特征在于，步骤7)的具体实现方法为：反复进行步骤6)权值更新，直至权指表收敛，完成新型电力变压器故障模糊q学习推理。

技术总结
本发明公开了一种新型电力变压器故障模糊Q学习推理方法，包括：建立电力变压器故障Q学习形式方程；根据环境状态s选择动作a，并观察瞬时奖赏r和新状态s，将Q学习形式方程进行更新；定义模糊推理系统规则库；假设模糊推理系统规则库中结果向量表示连续空间的特征点向量，通过模糊推理，得到每一个特征点的总权值；采用重心法得到步骤模糊推理系统规则中每一个特征点的总权值的输出Y；将模糊推理系统规则中每一个特征点的总权值的输出Y；Q学习形式更新方程，得到权值更新公式；反复进行权值更新，直至权指表收敛，完成新型电力变压器故障模糊Q学习推理。本发明通过学习每个电力变压器故障“状态—动作”从而不断调整决策。从而不断调整决策。从而不断调整决策。


技术研发人员：朱雪松 农正军 冯海斌 许义山 杨小锋 陈敬瑞 林师严 关洪亮 刘彩利 王亚四 黄良泉 蔡德帅 杨沛豪 薛菲 梁舒婷 李泽才 赵俊博 燕云飞 孙梦瑶 李志鹏
受保护的技术使用者：西安热工研究院有限公司
技术研发日：2022.01.14
技术公布日：2022/4/22