一种基于AI智能决策的多源告警聚合与运维工单自动生成方法及系统与流程

摘要: 本技术涉及运维工单的,尤其涉及一种基于ai智能决策的多源告警聚合与运维工单自动生成方法及系统。背景技术:1、随着信息技术的快速发展,企业及机构的it基础设施规模...
一种基于AI智能决策的多源告警聚合与运维工单自动生成方法及系统与流程

本技术涉及运维工单的,尤其涉及一种基于ai智能决策的多源告警聚合与运维工单自动生成方法及系统。

背景技术:

1、随着信息技术的快速发展,企业及机构的it基础设施规模日益庞大,所承载的业务系统、网络设备、安全设备及终端资产数量呈持续增长趋势,运维管理的复杂度随之显著提高。为保障业务的连续性与稳定性,运维团队通常依赖多种监控与告警手段对各类资产的运行状态进行实时监测,并通过工单系统对异常事件进行跟踪与处置。在此背景下,如何高效地汇聚多源告警信息并自动生成结构化运维工单,已成为提升运维响应效率与服务质量的关键课题。

2、相关技术中,已存在一类基于规则引擎的告警聚合与工单生成方法。该类方法通常预先配置基于固定字段(如ip地址、主机名、告警类型)的精确匹配规则或基于关键词的正则匹配规则,对相同时间窗内的告警进行去重合并,并在合并后按照静态映射关系生成相应工单,再依据轮询或负载分配等固定策略派发至处理人。

3、然而,多源告警的字段命名、值域及结构存在显著差异,仅依靠静态字段匹配规则难以实现跨源语义对齐,容易出现同一事件被拆分为多张工单的情况;基于固定阈值的规则聚合无法适应告警密度的实时变化,在告警风暴场景下仍按相同标准合并,导致海量重复通知淹没关键信息;同时固定派发策略未考虑处理人技能、负载、历史成功率等多维因素,且无法依据工单关闭后的反馈持续优化,易造成工单积压与处置质量波动;对此情况有待进一步改善。

技术实现思路

1、本技术提供了一种基于ai智能决策的多源告警聚合与运维工单自动生成方法及系统,用于通过语义编码、动态阈值、风暴抑制及智能派发,提升告警聚合的准确性与工单派发的合理性。

2、第一方面,本技术提供了一种基于ai智能决策的多源告警聚合与运维工单自动生成方法,所述方法包括:

3、从多个告警源接收原始告警,并根据预设的字段映射配置对所述原始告警进行归一化处理,得到统一工单数据;

4、根据所述统一工单数据中的上下文文本,通过预训练句向量编码模型进行编码,得到上下文向量;

5、根据所述统一工单数据中的资产标识,在滑动时间窗内查找所归属的候选事件组,并获取所述候选事件组的质心向量及在所述滑动时间窗内的累计合并告警计数;

6、根据所述累计合并告警计数进行动态衰减计算,得到当前合并相似度阈值;

7、根据所述上下文向量与所述质心向量,计算两者的余弦相似度,并根据所述余弦相似度与所述当前合并相似度阈值的比较结果,确定将所述统一工单数据合并入所述候选事件组或新建事件组;

8、在所述统一工单数据合并入所述候选事件组的情况下,根据所述上下文向量按预设的指数滑动平均方式更新所述候选事件组的质心向量,并在所述候选事件组在所述滑动时间窗内的累计合并告警计数超过预设风暴阈值时,将所述候选事件组标记为风暴态以停止对所述候选事件组中后续合并告警的通知推送;

9、根据所述滑动时间窗结束时所对应的事件组,生成相应的运维工单并按预设派发策略派发至处理人。

10、在上述实施例中,本技术首先在接入层将来自多种告警源的原始告警按预设字段映射配置进行归一化,形成结构一致的统一工单数据;进而对统一工单数据中的上下文文本调用预训练句向量编码模型进行编码,将自然语言描述转化为可计算相似度的上下文向量;随后依据资产标识在滑动时间窗内定位候选事件组,并取出该候选事件组的质心向量及窗内累计合并告警计数;之后依据该计数对合并相似度阈值执行动态衰减计算,使阈值随告警密度变化而自适应调整;再根据上下文向量与质心向量的余弦相似度同当前阈值的比较结果,决定将当前告警合入候选事件组还是新建事件组;在合入的情形下按指数滑动平均方式更新质心向量,并在累计计数超过风暴阈值时将事件组置为风暴态以停止后续合并告警的通知推送;最终在滑动时间窗结束时基于事件组生成工单并按预设策略派发;不仅解决了多源异构告警在静态规则下难以聚合、风暴场景下通知泛滥的问题,还通过语义级聚合与动态阈值机制提高了同一事件归并的准确率与运维响应的及时性,并降低了无效通知对处理人注意力的干扰。

11、在一些实施例中,所述根据所述累计合并告警计数进行动态衰减计算,得到当前合并相似度阈值,具体包括:

12、根据所述累计合并告警计数,按公式进行计算,得到所述当前合并相似度阈值;其中,c为累计合并告警计数,为初始相似度阈值,为衰减系数,为预设阈值下限。

13、在上述实施例中,本技术通过引入累计合并告警计数c,按公式对当前合并相似度阈值进行动态衰减计算,即随着同一事件组在滑动时间窗内被抑制的告警数量增加,合并门槛以对数速率平滑下调,并通过预设阈值下限保证不会过度松弛;解决了静态阈值在告警密度剧变场景下"合并不足"或"误合并"的问题,还使阈值具备随告警势态自适应收敛的能力,提高了聚合算法在不同负载条件下的鲁棒性。

14、在一些实施例中,所述根据所述上下文向量按预设的指数滑动平均方式更新所述候选事件组的质心向量,具体包括:

15、根据所述上下文向量与所述候选事件组更新前的质心向量,按公式 进行计算,得到所述候选事件组更新后的质心向量;其中,为指数滑动平均系数,为上下文向量,为质心向量。

16、在上述实施例中,本技术通过引入指数滑动平均系数对质心向量进行更新,使历史质心与新接入的上下文向量按比例融合;解决了质心剧烈漂移与语义稀释之间的平衡问题,还使事件组的语义中心能够随事件演化平滑迁移,从而提高后续合并判定的稳定性与准确性。

17、在一些实施例中,所述滑动时间窗按以下方式设置:

18、根据所述统一工单数据的事件分类,确定所述滑动时间窗的时长,其中所述事件分类不同时所对应的所述时长不同;

19、当所述滑动时间窗内到达所述时长,或所述候选事件组在预设静默时长内有新告警接入,所述滑动时间窗结束。

20、在上述实施例中,由于运维场景中不同类别事件的演化时长差异显著,例如某硬件故障类事件可能在数分钟内集中爆发,而某性能劣化类事件可能持续较长时间间歇性触发,若对所有事件采用统一长度的滑动时间窗,则窗口过短会切断同一事件的告警序列,窗口过长又会使无关告警被错误纳入;本技术根据统一工单数据的事件分类决定滑动时间窗的时长,并以"达到时长"或"在静默时长内有新告警接入"两种条件中先发生者作为窗口结束时刻;解决了固定窗口与多样化事件节奏不匹配的问题,使工单的生成时机能够贴合事件自身的活跃度,提高了工单边界划分的合理性。

21、在一些实施例中,所述根据所述统一工单数据中的资产标识,在滑动时间窗内查找所归属的候选事件组,具体包括:

22、在所述统一工单数据中的资产标识存在的情况下,根据所述资产标识在所述滑动时间窗内进行匹配,得到所归属的候选事件组;

23、在所述统一工单数据中的资产标识缺失的情况下,根据所述统一工单数据中的资产类型与地理位置层级,确定所归属的候选桶;

24、根据所述候选桶内已存在的事件组,通过基于密度的在线增量聚类对所述统一工单数据进行入组判定,得到所归属的候选事件组,其中,所述基于密度的在线增量聚类的邻域半径根据所述当前合并相似度阈值确定。

25、在上述实施例中,本技术在资产标识存在时执行精确匹配;在资产标识缺失时改用资产类型与地理位置层级确定候选桶,并在候选桶内借助基于密度的在线增量聚类完成归组,且其邻域半径与当前合并相似度阈值联动;不仅解决了无标识告警无法被聚合的问题,还使聚合机制对告警源的完整性具备容忍度,扩大了多源接入下的聚合覆盖范围。

26、在一些实施例中,所述从多个告警源接收原始告警,并根据预设的字段映射配置对所述原始告警进行归一化处理,得到统一工单数据,具体包括:

27、从监控系统、漏洞扫描系统、邮件、ivr、即时通信、二维码扫描及业务系统中的至少两种告警源,接收所述原始告警;

28、根据预设的字段映射配置,对所述原始告警中的结构化字段进行字段对齐与值域归一,得到归一化结构化字段;

29、根据预训练实体抽取模型,对所述原始告警中的非结构化文本进行槽位抽取,得到包括资产实体、症状实体及用户实体在内的归一化非结构化字段;

30、根据所述归一化结构化字段与所述归一化非结构化字段进行字段拼装,得到所述统一工单数据。

31、在上述实施例中,由于不同告警渠道在字段结构与表达形式上存在显著差异,例如监控系统输出严格的json结构,而邮件、ivr、即时通信渠道则以自由文本为主,单纯做字段对齐难以从自由文本中提取关键要素,使后续语义聚合缺乏可对齐的语义槽位;本技术在接入多种告警源后,对结构化字段执行字段对齐与值域归一,并通过预训练实体抽取模型从非结构化文本中抽取资产实体、症状实体及用户实体,再将两类字段拼装为统一工单数据;解决了非结构化报障在归一化阶段信息丢失的问题,提高了多源数据融合的语义保真度。

32、在一些实施例中,所述按预设派发策略派发至处理人,具体包括:

33、根据预设的硬规则对全量候选处理人进行筛选,得到合规候选处理人集合,其中,所述硬规则包括技能匹配、值班状态及最大并发工单数限制;

34、根据所述合规候选处理人集合中各候选处理人的技能匹配度、负载倒数、sla紧迫度、地理邻近度、历史成功率、近期失败惩罚项及模型推理分,按预设权重加权求和,得到各候选处理人的综合得分,其中,所述模型推理分由基于历史已关闭工单训练的梯度提升决策树模型推理得到;

35、根据所述综合得分降序排序,得到候选派发列表,并根据所述候选派发列表中排名第一的候选处理人派发所述运维工单。

36、在上述实施例中,由于传统派单策略多采用按组轮询或简单按负载分配,未考虑技能匹配、sla紧迫度、地理邻近度及历史处置质量等多维因素,例如某高优先级专业类故障可能被分派给资历不足的处理人,造成处置时延与返工;本技术先以包含技能匹配、值班状态及最大并发工单数限制在内的硬规则筛选合规候选集合,再综合技能匹配度、负载倒数、sla紧迫度、地理邻近度、历史成功率、近期失败惩罚项及由梯度提升决策树模型推理得到的模型分进行加权打分排序,并以排名第一者完成派发;解决了固定派单策略与处理人能力错配的问题,还在硬约束的基础上引入数据驱动的精细化打分,提高了首次派发的命中率。

37、在一些实施例中,所述方法还包括:

38、根据所述候选派发列表中第一名与第二名的综合得分之差与预设分差阈值的比较结果,确定派发模式,其中,所述综合得分之差小于所述预设分差阈值时将所述候选派发列表的前若干名推送至调度终端等待二次确认,所述调度终端在预设决策时长内未响应时根据所述第一名自动派发;

39、根据所述梯度提升决策树模型推理得到的最高得分候选处理人是否属于所述合规候选处理人集合,确定模型样本回写策略,其中,所述最高得分候选处理人不属于所述合规候选处理人集合时将所述最高得分候选处理人作为负样本写入下一轮训练样本集;

40、根据所述运维工单关闭后回流的满意度评分及一次解决标识,构建增量训练样本,并在所述增量训练样本累计达到预设条数时对所述梯度提升决策树模型执行增量训练,得到候选模型;

41、根据所述候选模型与在线模型在影子流量对照样本上的auc差值及显著性检验结果,确定所述候选模型上线或回滚。

42、在上述实施例中,由于即便引入加权打分机制,仍可能出现首末分差极小、模型推荐与硬规则冲突或模型自身随业务漂移而精度衰退等情形,例如某模型在一段时间后仍按旧画像将工单推荐给已离岗或已转岗的处理人,而既有方案缺乏对模型漂移与冲突样本的反馈通路;本技术通过比较候选派发列表前两名的得分差与预设分差阈值,对接近平局的情形启用调度终端二次确认并设有超时回退机制;对模型推荐违反硬规则的样本以负样本形式回写至训练集;对工单关闭后回流的满意度与一次解决标识构建增量训练样本对模型执行增量训练;并通过影子流量上的auc差值与显著性检验决定候选模型上线或回滚;解决了打分模型在长期运行中精度漂移与硬规则冲突无反馈的问题。

43、第二方面,本技术实施例提供了一种基于ai智能决策的多源告警聚合与运维工单自动生成系统,包括:一个或多个处理器和存储器;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

44、本技术实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:

45、1、通过将句向量语义编码、基于资产标识的滑动时间窗候选定位、随累计合并告警计数对数衰减的动态合并阈值以及指数滑动平均的质心更新有机串联,使聚合判定不再依赖静态字段匹配与固定阈值,可在告警密度急剧变化的情形下自适应收敛合并门槛,提升了多源异构告警在同一事件下的归并准确率,有效抑制了同一事件被拆分为多张工单的现象;

46、2、通过引入风暴态识别与通知抑制,并在资产标识缺失场景下结合资产类型与地理位置层级,借助基于密度的在线增量聚类完成无标识告警的归组,使方法在告警洪峰及低质量上报场景下仍能保持稳定的聚合能力,不仅遏制了通知泛滥对处理人注意力的稀释,还扩大了对非结构化、无标识报障的覆盖范围;

47、3、通过将硬规则筛选、多维加权打分与基于梯度提升决策树的模型推理相结合,不仅提高了首次派发的命中率与sla达成率,还使派发策略能够随处理人画像与业务形态的漂移而持续自我修正。