一种基于因果强化学习的故障根因定位方法及系统

技术特征：
1.一种基于因果强化学习的故障根因定位方法，其特征在于，包括以下步骤：s1：获取真实故障场景中故障告警事件数据，作为历史数据；s2：利用历史数据构建故障因果强化学习模型；所述故障因果强化学习模型包括因果结构学习模块、因果图环境模型模块与策略网络模块；s3：通过所述故障因果强化学习模型与故障告警环境交互，学习并更新所述因果图环境模型模块以及所述策略网络模块，生成表征完整的最终告警因果图模型，以及输出最优策略；s4：利用所述最终告警因果图模型追溯故障节点的根因故障及根因告警类型。2.根据权利要求1所述的一种基于因果强化学习的故障根因定位方法，其特征在于，所述因果结构学习模块用于学习故障告警类型之间的高维因果网络，具体为：利用因果关系发现的方法从所述历史数据中学习得到初步告警因果图模型，所述初步告警因果图模型与故障告警环境交互，学习并更新所述因果图环境模型模块以及所述策略网络模块，生成表征完整的最终告警因果图模型。3.根据权利要求1所述的一种基于因果强化学习的故障根因定位方法，其特征在于，所述因果图环境模型模块，结合所述因果结构学习模块学出的初步告警因果图模型，利用影响力最大化模型算法寻找可能的根因子集，结合节点拓扑网络进一步缩小动作空间，得到候选动作子集。4.根据权利要求3所述的一种基于因果强化学习的故障根因定位方法，其特征在于，所述策略网络模块根据故障告警环境的当前告警状态信息，结合所述候选动作子集，缩小动作空间，选取所述候选子集中概率最大的动作。5.根据权利要求4所述的一种基于因果强化学习的故障根因定位方法，其特征在于，所述的告警状态信息具体为根据当前所有故障节点的告警特征向量所构造的告警特征矩阵。6.根据权利要求4所述的一种基于因果强化学习的故障根因定位方法，其特征在于，所述动作决策具体为干预具体故障节点并解除当前告警事件。7.根据权利要求1所述的一种基于因果强化学习的故障根因定位方法，其特征在于，所述策略网络模块与所述故障告警环境交互过程中，所述策略网络模块实施动作后，所述故障告警环境会根据当前状态信息与动作反馈奖励值，同时转移至下一时刻的状态并返回状态信息至所述策略网络模块。8.根据权利要求1所述的一种基于因果强化学习的故障根因定位方法，其特征在于，所述奖励值具体表达式为：r＝w1r1 w2r2r1＝n
t-n
t 1
其中，r为总奖励值，r1为环境在干预前后所观察到的告警数差值，r2为策略网络模块根据反事实模型估计的告警数与真实环境观察到的干预后告警数差值，n
t
表示在t时刻时，干预前的环境产生的告警事件数，n
t 1
表示在下一时刻时，干预后的环境产生的告警事件数，表示在下一时刻时，策略网络模块在反事实条件下估计环境所产生的告警事件数，w1,w2为权重参数。
9.根据权利要求2所述的一种基于因果强化学习的故障根因定位方法，其特征在于，利用因果关系发现的方法为thp算法。10.一种基于因果强化学习的故障根因定位系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括一种基于因果强化学习的故障根因定位方法程序，所述一种基于因果强化学习的故障根因定位方法程序被所述处理器执行时实现如下步骤：s1：获取真实故障场景中故障告警事件数据，作为历史数据；s2：利用历史数据构建故障因果强化学习模型；所述故障因果强化学习模型包括因果结构学习模块、因果图环境模型模块与策略网络模块；s3：通过所述故障因果强化学习模型与故障告警环境交互，学习并更新所述因果图环境模型模块以及所述策略网络模块，生成表征完整的最终告警因果图模型，以及输出最优策略；s4：利用所述最终告警因果图模型追溯故障节点的根因故障及根因告警类型。

技术总结
本发明公开了一种基于因果强化学习的故障根因定位方法及系统，方法包括以下步骤：S1：获取真实故障场景中故障告警事件数据，作为历史数据；S2：利用历史数据构建故障因果强化学习模型；所述故障因果强化学习模型包括因果结构学习模块、因果图环境模型模块与策略网络模块；S3：通过所述故障因果强化学习模型与故障告警环境交互，学习并更新所述因果图环境模型模块以及所述策略网络模块，生成表征完整的最终告警因果图模型，以及输出最优策略；S4：利用所述最终告警因果图模型追溯故障节点的根因故障及根因告警类型。本发明提高了故障根因定位的检测效率和准确度。位的检测效率和准确度。位的检测效率和准确度。


技术研发人员：蔡瑞初 黄思扬 陈薇 朱文辉 郝志峰
受保护的技术使用者：广东工业大学
技术研发日：2022.04.22
技术公布日：2022/6/24