一种基于深度学习的网络运维异常检测方法及系统与流程
本发明涉及深度学习,尤其涉及一种基于深度学习的网络运维异常检测方法及系统。
背景技术:
1、随着企业网络、云平台和业务系统规模不断扩大,网络运维对象由单一设备监测逐步转向设备、链路、业务、日志和告警的综合监测。现有网络运维异常检测方法通常通过采集设备负载、链路质量、业务访问状态、日志记录和告警信息,对网络运行状态进行监控,并在指标超过设定阈值时生成告警。部分方案开始引入机器学习模型对历史运维数据进行分析,用于识别流量突增、链路抖动、设备负载异常和业务响应异常等问题。
2、现有方法多以单一指标、固定时间窗口或静态阈值为基础,难以对不同采样频率、不同来源的网络运维数据进行统一组织,异常发生前、触发时、扩散中和恢复后的状态容易混杂在同一时间窗口内,导致异常识别结果缺少事件演化顺序。现有深度学习异常检测方法虽然能够输出异常分数或重构残差,但通常难以记录残差来源、残差贡献、异常能量和异常置信信息,异常结果的可追溯性不足;同时,现有因果分析方法多基于单次统计检验生成因果边,缺少对候选因果边的跨窗口置信累积和衰减处理,容易将短时扰动误判为稳定传播关系,仍存在多源数据组织不充分、异常残差归因不清晰、异常传播路径稳定性不足的问题。
3、因此,如何提供一种基于深度学习的网络运维异常检测方法及系统是本领域技术人员亟需解决的问题。
技术实现思路
1、本发明的一个目的在于提出一种基于深度学习的网络运维异常检测方法及系统,本发明采用改进tranad网络、pcmci算法、异步事件相位链表、异常残差归因账本和因果边置信时序栈,对网络运维关联数据进行事件相位组织、异常残差归因、字段残差动态加权和异常传播分析,生成网络运维异常检测结果,具备异常识别准确性高、异常来源可追溯、传播路径稳定性强和运维处置效率高的优点。
2、根据本发明实施例的一种基于深度学习的网络运维异常检测方法及系统,包括:
3、采集网络运维关联数据,对网络运维关联数据进行预处理,生成标准化运维状态序列、拓扑关联表和反馈记录;
4、根据标准化运维状态序列和拓扑关联表计算事件触发参数,确定事件锚定时刻,提取前置相位状态片段、触发相位状态片段、扩散相位状态片段和恢复相位状态片段,生成异步事件相位链表;
5、从异步事件相位链表读取相位状态片段、网络对象标识、时间偏移量和拓扑关联边,执行令牌编码和相位排列,生成事件状态令牌序列;
6、构建改进tranad网络,输入事件状态令牌序列,生成异常残差、残差贡献信息、异常能量信息和异常置信信息,将异常残差、残差贡献信息、异常能量信息和异常置信信息写入异常残差归因账本;
7、结合异常残差归因账本和反馈记录执行字段残差动态权重更新,生成加权异常残差,并根据加权异常残差生成异常初检结果;
8、将异常残差归因账本和异常初检结果输入pcmci算法,生成候选因果边集合,并写入因果边置信时序栈;
9、基于因果边置信时序栈执行置信累积、置信衰减和稳定传播边筛选,生成网络运维异常检测结果。
10、可选的,所述生成标准化运维状态序列、拓扑关联表和反馈记录,包括:
11、从设备管理接口、链路监测接口、业务访问接口、日志采集接口和告警平台读取设备运行数据、链路状态数据、业务访问数据、日志数据和告警数据;
12、对设备运行数据、链路状态数据、业务访问数据、日志数据和告警数据执行字段统一、时刻对齐、缺失补齐和频率统一,生成标准化运维状态序列;
13、从网络拓扑配置库读取设备连接关系、链路上下游关系和业务依赖关系,生成拓扑关联表,从历史记录库读取异常确认结果、误报记录、处置记录和恢复记录,生成反馈记录。
14、可选的,所述生成异步事件相位链表,包括:
15、从标准化运维状态序列读取采集时刻、字段值、告警等级和日志频次,从拓扑关联表读取拓扑关联边和网络对象标识,按照采集时刻排列生成运维状态时间索引;
16、根据相邻采集时刻中同一网络对象对应的设备运行字段值、链路状态字段值、业务访问字段值、日志字段值和告警字段值之间的差值,结合告警等级变化量、日志频次变化量和拓扑关联边影响级别计算事件触发参数,将事件触发参数达到事件触发阈值的采集时刻确定为事件锚定时刻;
17、以事件锚定时刻为中心,从标准化运维状态序列中提取事件锚定时刻之前的前置相位状态片段、事件锚定时刻对应的触发相位状态片段、事件锚定时刻之后的扩散相位状态片段和恢复相位状态片段;
18、将前置相位状态片段、触发相位状态片段、扩散相位状态片段和恢复相位状态片段关联网络对象标识、时间偏移量和拓扑关联边,生成异步事件相位链表。
19、可选的,所述生成事件状态令牌序列,包括:
20、从异步事件相位链表按照事件锚定时刻读取前置相位状态片段、触发相位状态片段、扩散相位状态片段和恢复相位状态片段,提取相位状态片段中的标准化字段值并生成相位片段索引;
21、根据网络对象标识生成对象位置编码,根据时间偏移量生成事件相对时间编码,根据拓扑关联边的起点、终点和传播方向生成拓扑方向编码;
22、将标准化字段值、相位片段索引、对象位置编码、事件相对时间编码和拓扑方向编码组合,生成相位事件令牌;
23、按照相位顺序、时间偏移量和拓扑传播方向对相位事件令牌执行链式重排,生成事件状态令牌序列。
24、可选的,所述将异常残差、残差贡献信息、异常能量信息和异常置信信息写入异常残差归因账本,包括:
25、构建改进tranad网络,改进tranad网络包括多尺度时钟漂移对齐注意力层、扰动注入正常态模拟解码器、可逆残差归因流结构和异常不确定性能量判别头;
26、从事件状态令牌序列读取相位状态片段对应的标准化字段值、网络对象标识、时间偏移量和拓扑关联边,将时间偏移量输入多尺度时钟漂移对齐注意力层,按照采集时刻偏移、相位排列位置和拓扑传播方向执行时钟漂移对齐,生成时钟校正令牌序列;
27、将时钟校正令牌序列输入扰动注入正常态模拟解码器,按照网络流量扰动、链路质量扰动、设备性能扰动、业务响应扰动、日志告警扰动构建扰动令牌分支,并生成正常态模拟重构结果和扰动态模拟重构结果;
28、根据时钟校正令牌序列与正常态模拟重构结果之间的差异生成第一重构残差,根据时钟校正令牌序列与扰动态模拟重构结果之间的差异生成第二重构残差,融合第一重构残差和第二重构残差生成异常残差;
29、将异常残差输入可逆残差归因流结构,按照网络对象标识、拓扑关联边和相位排列位置分解生成残差贡献信息;
30、将异常残差和残差贡献信息输入异常不确定性能量判别头,生成异常能量信息和异常置信信息,并将异常残差、残差贡献信息、异常能量信息和异常置信信息写入异常残差归因账本;
31、基于历史标准化运维状态序列、历史事件状态令牌序列和反馈记录构建训练样本集,对改进tranad网络进行训练,采用时钟校正误差、正常态模拟重构误差、扰动态模拟重构误差、残差归因重组误差、异常能量判别误差和异常置信判别误差组合作为联合优化目标,持续优化多尺度时钟漂移对齐注意力层、扰动注入正常态模拟解码器、可逆残差归因流结构和异常不确定性能量判别头的网络参数,基于训练验证样本集生成验证集异常初检结果,当连续8轮训练中的联合损失值相对变化率均小于0.0005,且验证集异常初检结果的异常置信稳定率不低于0.96时,确定改进tranad网络完成收敛训练。
32、可选的,所述根据加权异常残差生成异常初检结果,包括:
33、从异常残差归因账本读取异常残差、残差贡献信息、异常能量信息、异常置信信息、网络对象标识和相位标识,从反馈记录读取异常确认结果、误报记录、处置记录和恢复记录,从拓扑关联表读取网络对象标识对应的设备级别、链路级别和业务级别;
34、根据设备级别、链路级别和业务级别生成基础字段权重;
35、根据残差贡献信息、异常能量信息、异常置信信息、异常确认结果和误报记录生成字段权重调节量;
36、将基础字段权重与字段权重调节量相加,生成字段残差动态权重,并将异常残差与字段残差动态权重相乘,生成加权异常残差;
37、按照相位标识汇总加权异常残差,结合处置记录和恢复记录生成异常初检结果,异常初检结果包括异常对象集合、异常时间窗口和异常等级标记。
38、可选的,所述生成候选因果边集合,并写入因果边置信时序栈,包括:
39、从异常残差归因账本读取异常残差、残差贡献信息、异常能量信息、异常置信信息、网络对象标识、相位标识和拓扑关联边,从异常初检结果读取异常对象集合、异常时间窗口和异常等级标记;
40、按照相位标识将异常残差划分为前置相位残差序列、触发相位残差序列、扩散相位残差序列和恢复相位残差序列,并将异常对象集合、异常时间窗口和网络对象标识关联,生成相位残差输入表;
41、基于相位残差输入表和拓扑关联边构建拓扑可达候选父节点表,按照异常时间窗口生成相位滞后检验窗口,并将拓扑可达候选父节点表和相位滞后检验窗口输入pcmci算法;
42、pcmci算法对拓扑可达候选父节点表执行条件选择,生成分相位父节点集合,并依据相位滞后检验窗口对分相位父节点集合执行瞬时条件独立检验,生成前兆因果边、触发因果边、扩散因果边和恢复因果边;
43、根据前兆因果边、触发因果边、扩散因果边和恢复因果边对应的网络对象标识、滞后阶数、相位标识、异常能量信息和异常置信信息生成候选因果边集合;
44、将候选因果边集合写入因果边置信时序栈,并记录因果边起点、因果边终点、滞后阶数、所属异常相位、出现窗口编号、当前置信度和异常等级标记。
45、可选的,所述生成网络运维异常检测结果,包括:
46、从因果边置信时序栈读取候选因果边集合、因果边起点、因果边终点、滞后阶数、所属异常相位、出现窗口编号、当前置信度和异常等级标记;
47、按照因果边起点、因果边终点和滞后阶数对连续出现窗口编号中的相同候选因果边执行匹配,生成重复因果边记录,并对重复因果边记录执行置信累积,生成累积因果边置信度;
48、对未在连续出现窗口编号中重复出现的候选因果边执行置信衰减,生成衰减因果边置信度;
49、根据累积因果边置信度、衰减因果边置信度、所属异常相位和异常等级标记筛选稳定传播边,生成稳定传播边集合;
50、根据稳定传播边集合中的因果边起点、因果边终点、滞后阶数、所属异常相位和当前置信度,生成网络运维异常检测结果。
51、根据本发明实施例的一种基于深度学习的网络运维异常检测系统,包括如下模块:
52、运维状态生成模块,用于采集网络运维关联数据并执行预处理,生成标准化运维状态序列、拓扑关联表和反馈记录;
53、异步事件相位链表生成模块,用于基于标准化运维状态序列和拓扑关联表生成异步事件相位链表;
54、事件状态令牌生成模块,用于基于异步事件相位链表生成事件状态令牌序列;
55、异常残差归因账本生成模块,用于构建改进tranad网络并基于事件状态令牌序列生成异常残差归因账本;
56、异常初检模块,用于基于异常残差归因账本和反馈记录生成加权异常残差和异常初检结果;
57、因果边分析模块,用于基于异常残差归因账本和异常初检结果调用pcmci算法,生成候选因果边集合和因果边置信时序栈;
58、异常结果生成模块,用于基于因果边置信时序栈生成网络运维异常检测结果。
59、本发明的有益效果是:
60、本发明提出的一种基于深度学习的网络运维异常检测方法及系统,通过构建标准化运维状态序列、拓扑关联表、反馈记录和异步事件相位链表,将网络设备、网络链路、业务节点、日志平台和告警平台产生的网络运维关联数据统一组织为具有前置相位、触发相位、扩散相位和恢复相位的数据结构。相比传统固定时间窗口和单一阈值告警方法,本发明能够保留异常事件的演化顺序,减少不同采样频率和不同数据来源造成的状态混杂问题,提高网络运维异常识别的准确性和连续性。
61、本发明通过构建改进tranad网络生成异常残差、残差贡献信息、异常能量信息和异常置信信息,并写入异常残差归因账本,再结合反馈记录执行字段残差动态权重更新,能够提升关键字段、关键链路和重要业务节点的异常表达能力;同时,本发明将异常残差归因账本和异常初检结果输入pcmci算法,生成候选因果边集合,并通过因果边置信时序栈执行置信累积、置信衰减和稳定传播边筛选,提高异常源节点定位和异常传播路径识别的稳定性。本发明具备异常来源可追溯、传播关系更稳定、误报干扰更低和运维处置效率更高的优点。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com