一种基于CMDB配置关联的运维全链路一体化监控实现方法与流程
本发明涉及运维监控,具体涉及一种基于cmdb配置关联的运维全链路一体化监控实现方法。
背景技术:
1、随着云计算、微服务架构大规模落地,企业运维资产覆盖底层硬件、云资源、中间件至上层业务系统,资产间依赖关系复杂,传统监控系统仅能独立采集指标、日志、调用链数据,资产配置与监控数据相互割裂,无法实现全链路关联分析。现有方案如专利cn117194156a公开的多云平台统一监控运维管理方法,仅通过cmdb完成多云资源统一纳管与基础全景展示,仅实现监控数据标准化采集与基础告警流转,未对资产配置项定义带权重的分层有向依赖关系,缺少监控数据与cmdb资产的两级关联绑定机制,难以基于静态资产依赖结合实时调用链生成动态拓扑,故障发生后仅能单点告警,无法推演故障传播链路、精准定位根因与影响范围,故障排查依赖运维人员人工梳理资产关联,定位效率低、故障影响评估不准确。
技术实现思路
1、本发明目的在于提供一种基于cmdb配置关联的运维全链路一体化监控实现方法,能够打通资产配置与监控数据壁垒,构建动态全链路拓扑并自动推演故障根因与影响范围,以解决现有技术资产与监控割裂、依赖关系无量化权重、无法自动生成动态链路、故障根因与影响范围人工排查效率低下的问题。
2、为了实现上述目的,本发明实施例提供了一种基于cmdb配置关联的运维全链路一体化监控实现方法,包括以下步骤:
3、搭建含基础设施层、平台服务层和业务应用层的cmdb配置项语义模型,并对cmdb配置项语义模型录入全量运维资产、标准化资产属性和定义配置项间带权重的有向依赖关系,以形成cmdb配置库;
4、采集运维对象的监控数据并完成标准化清洗转换后,通过标识匹配结合邻接推断的两级关联机制,将标准化清洗转换后的监控数据绑定至cmdb配置库中的对应配置项,生成带配置项标识的时序监控数据集;
5、基于cmdb配置库的静态依赖关系生成初始拓扑骨架,据此结合实时调用链数据修正拓扑关系与边权重,并依托时序监控数据集计算节点健康得分,以渲染生成全链路动态拓扑;
6、告警触发时量化节点异常度构建全链路动态拓扑的故障传播子图,据此计算故障传播子图中各节点根因概率并排序,以推导故障影响范围,在拓扑可视化界面中呈现根因节点和故障信息。
7、进一步的,所述cmdb配置项语义模型中,所述基础设施层为底层硬件类以及云资源类运维对象对应的配置项集合,其对应的运维对象至少包括物理主机、虚拟机、容器节点、网络设备、存储设备和云服务器;所述平台服务层为承载业务的软件组件类运维对象对应的配置项集合,其对应的运维对象至少包括数据库实例、缓存实例、消息队列实例、微服务实例、中间件实例和容器pod;所述业务应用层为面向用户的业务功能类运维对象对应的配置项集合,其对应的运维对象至少包括业务接口、业务模块、业务系统和业务产品线。
8、进一步的,所述定义配置项间带权重的有向依赖关系的方法为:
9、将存在业务资源支撑关联的配置项之间设置有向依赖边,所述有向依赖边的方向为依赖方配置项指向被依赖方配置项,以匹配故障自底层向业务上层传播逻辑;
10、对每一条有向依赖边确定所属依赖关系类型,所述依赖关系类型为承载关系、调用关系、公共依赖关系和弱关联关系;
11、根据依赖关系类型,对每一条有向依赖边设置对应的量化权重,其中,承载关系的量化权重取值区间为0.85-0.95,调用关系的量化权重取值区间为0.65-0.75,公共依赖关系的量化权重取值区间为0.75-0.85,弱关联关系的量化权重取值区间为0.25-0.35。
12、进一步的,所述标识匹配结合邻接推断的两级关联机制为:
13、对自身携带定位标识的监控数据执行标识匹配,所述标识匹配为通过定位标识匹配对应层级的配置项完成直接绑定;
14、对自身缺少定位标识的监控数据执行邻接推断,所述邻接推断为通过提取监控数据的特征关键字以匹配配置项类型,生成候选配置项集合,据此基于同一时间窗口计算候选配置项邻接节点的监控数据与该监控数据的相关性,选取相关性最高的候选配置项完成绑定。
15、进一步的,所述初始拓扑骨架的获取方法为:
16、将业务应用层中的所有配置项作为拓扑根节点集合,对拓扑根节点集合内每一个拓扑根节点,采用广度优先搜索算法沿有向依赖边向下遍历,递归加载该拓扑根节点关联的平台服务层和基础设施层中所有配置项节点;
17、以cmdb配置库中预先定义的量化权重作为对应有向依赖边的初始权重,按照配置项所属层级对遍历得到的全部配置项节点执行垂直分层布局并确定各配置项节点纵向坐标;
18、不存在依赖链路互通的不同拓扑根节点分别生成互不连通的独立子图,所有独立子图共同组合形成初始拓扑骨架。
19、进一步的,所述结合实时调用链数据修正拓扑关系与边权重的方法为:
20、按预设时间窗口采集apm调用链数据,解析apm调用链数据中有向调用记录,以提取调用方配置项与被调用方配置项,统计每一组<调用方配置项,被调用方配置项>有向配对的调用频次;
21、若该<调用方配置项,被调用方配置项>有向调用配对对应的调用关系已存在于初始拓扑骨架中,则根据调用频次动态更新对应有向依赖边的权重;
22、若该<调用方配置项,被调用方配置项>有向调用配对对应的调用关系不存在于初始拓扑骨架中,则判定为隐式依赖关系,在初始拓扑骨架中自动新增对应有向依赖边并设置初始权重,同步回写至cmdb配置库;
23、若该<调用方配置项,被调用方配置项>有向调用配对跨越初始拓扑骨架中两张互不连通的独立子图,则新增跨子图的有向依赖边,将两张独立子图合并为单张连通拓扑;
24、若初始拓扑骨架中的有向依赖边在连续多个时间窗口内未在apm调用链数据中观测到对应有向调用记录,则下调对应有向依赖边的权重,直至权重为0删除,并同步回写至cmdb配置库。
25、进一步的,所述渲染为根据节点健康得分的得分区间分级确定所属配置项节点的健康状态显示颜色与状态标识。
26、进一步的,所述故障传播子图的构建方法为:
27、告警触发时,根据告警事件携带的对象标识在全链路动态拓扑中定位对应配置项节点,将配置项节点标记为告警节点;
28、根据告警节点的时序监控数据集,综合指标异常程度、日志异常占比和告警等级,计算告警节点的节点健康得分;
29、设定异常阈值,将节点健康得分低于异常阈值的告警节点判定为异常节点;
30、以所有异常节点为起点,沿有向依赖边的反方向进行深度优先遍历,遍历深度设置预设上限,保留所有异常节点及其可达的上游支撑节点与对应有向依赖边,形成故障传播子图。
31、进一步的,所述故障影响范围的推导方法为:
32、采用faultrank算法迭代计算故障传播子图中各节点的根因概率值,迭代收敛后按根因概率值从高到低对节点排序,生成根因节点排序列表,
33、根据根因节点排序列表确定至少一个根因节点;
34、以根因节点为起点,在故障传播子图内沿有向依赖边的正方向遍历,并计算下游各配置项节点的受影响概率,将受影响概率达到预设阈值的配置项节点判定为受影响节点;
35、按照配置项所属层级分类统计所有受影响节点,输出服务列表和业务列表,以完成故障影响范围推导。
36、相较于现有技术,本发明构建三层cmdb语义模型并定义带权重有向依赖关系,通过两级关联机制打通资产与监控数据,融合静态资产依赖与实时调用链生成动态拓扑,借助faultrank算法自动计算故障根因与影响范围,克服了传统方案数据割裂、拓扑静态、故障人工排查低效的缺陷,大幅提升运维故障定位与处置效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com