一种企业数字化运营异常识别与根因定位方法及系统与流程
本技术涉及大数据资源服务领域,尤其涉及一种企业数字化运营异常识别与根因定位方法及系统。
背景技术:
1、随着企业数字化转型,云原生技术和微服务架构被广泛应用于企业的数字化运营系统中,以支撑庞大且复杂的业务需求。在这样的分布式架构下,大量服务实例共同维持着各项业务的运转,运营监管系统需要对核心业务指标进行实时监控。业务指标出现异常时,快速准确地定位出导致异常的根因,对于缩短故障恢复时间、保障企业数字化运营的连续性以及提升用户体验较为重要。
2、相关技术中,为保证异常根因的准确及时,通常采用基于分布式调用链追踪的排查机制。即,当运营监管系统捕捉到某个特定业务出现响应延迟或报错等异常现象时,会提取该业务请求在系统内部流转的完整调用链路。再沿着这条逻辑链路,逐一排查链路上各个服务节点的运行日志、处理耗时以及错误率等应用层数据。通过横向对比调用链路中各个节点的性能表现,运营监管系统找出耗时最长或抛出异常的具体服务节点,将该节点所在的服务模块、内部的代码逻辑缺陷或是该节点直接依赖的下游数据库响应慢等因素,判定为导致此次业务异常的根因,指导运维人员针对该特定业务链路进行针对性修复。
3、然而,在计算资源高密度池化且多业务混合部署的新形态下,相关技术这种着重于业务逻辑链路的排查方式,难以观测到链路之外其他无关业务突发性抢占底层共享物理资源的情况,而只是将跨业务资源争抢导致的故障误判为受害节点自身的内部问题,异常根因准确性有待提升。
技术实现思路
1、本技术提供了一种企业数字化运营异常识别与根因定位方法及系统,用于在多业务共享底层物理资源的场景下,准确识别异常根因。
2、第一方面,本技术提供了一种企业数字化运营异常识别与根因定位方法,应用于运营监管系统,该方法包括:在检测到目标业务的运行指标触发异常信号时,确定目标业务在请求链路上的目标逻辑节点及其所挂载的底层物理资源;根据目标业务的当前请求负载和资源消耗基线,推算底层物理资源的预期资源需求;在预设时间窗口内,根据底层物理资源的实际运行状态指标和预期资源需求,计算资源消耗残差;在资源消耗残差的幅值超过预设幅值阈值时,确定对应的底层物理资源为受害物理资源;检索与受害物理资源存在共驻关系的候选服务实例,计算各候选服务实例的资源消耗曲线与资源消耗残差之间的曲线相似度;将曲线相似度满足预设条件的候选服务实例确定为共驻干扰实例,并基于共驻干扰实例归属的业务标识生成根因定位结果。
3、在上述实施例中,运营监管系统通过计算资源消耗残差并与候选服务实例的资源消耗曲线进行相似度匹配,能够量化并识别出由其他业务造成的资源争抢,解决了传统调用链分析难以观测跨业务资源干扰的问题,实现了在混合部署环境下对异常根因的精准定位。
4、结合第一方面的一些实施例,在一些实施例中,在根据目标业务的当前请求负载和资源消耗基线,推算底层物理资源的预期资源需求的步骤之前,该方法还包括:获取目标业务在异常信号触发时刻之前的预设正常时段内的请求到达速率,确定请求到达速率随时间变化的速率变化数据;基于速率变化数据在预设正常时段末端的趋势方向和变化速率,沿时间方向对请求到达速率进行超出异常信号触发时刻的数值外推拟合,得到延伸负载曲线;根据延伸负载曲线在预设时间窗口内的取值确定当前请求负载。
5、在上述实施例中,运营监管系统基于历史正常时段的负载变化趋势对异常发生时的请求负载进行拟合推算,能够获取一个更接近实际情况的当前请求负载估算值,避免了因异常本身影响负载统计而导致的推算偏差,提升了后续预期资源需求计算的准确性。
6、结合第一方面的一些实施例,在一些实施例中,在根据延伸负载曲线在预设时间窗口内的取值确定当前请求负载的步骤之后,该方法还包括:获取目标业务在预设时间窗口内向下游依赖服务发出请求后的响应等待时长;将响应等待时长与下游依赖服务在历史正常时段内的基准响应时长进行比对,得到时延倍数;按照时延倍数对资源消耗基线中的单请求资源占用量进行同倍数放大,得到修正资源消耗基线;根据当前请求负载和修正资源消耗基线,推算底层物理资源的预期资源需求。
7、在上述实施例中,运营监管系统根据下游服务的响应时延动态修正资源消耗基线,能够将因外部依赖慢而导致目标业务自身资源占用时间变长的情况纳入考量,使预期资源需求的推算更加精确,避免将下游问题误判为当前节点的资源争抢问题。
8、结合第一方面的一些实施例,在一些实施例中,该将曲线相似度满足预设条件的候选服务实例确定为共驻干扰实例,并基于共驻干扰实例归属的业务标识生成根因定位结果的步骤,具体包括:从各候选服务实例中选取与资源消耗残差的曲线相似度最高的候选服务实例,确定为当轮共驻干扰实例;从资源消耗残差中分离当轮共驻干扰实例对应的干扰贡献分量,得到剩余残差;确定剩余残差的幅值是否仍超过预设幅值阈值;若是,则在剩余的候选服务实例中重新计算各候选服务实例的资源消耗曲线与剩余残差之间的曲线相似度,并重复执行选取当轮共驻干扰实例和得到剩余残差的步骤;若否,则将全部已确定的当轮共驻干扰实例汇总确定为共驻干扰实例,并基于共驻干扰实例归属的业务标识生成根因定位结果。
9、在上述实施例中,运营监管系统采用逐层分离干扰源的迭代式分析方法,能够在一个异常事件中识别出多个共驻干扰实例,解决了单一干扰源模型在复杂场景下定位不全的问题,实现了对混合干扰场景的全面根因剖析。
10、结合第一方面的一些实施例,在一些实施例中,在从各候选服务实例中选取与资源消耗残差的曲线相似度最高的候选服务实例,确定为当轮共驻干扰实例的步骤之前,该方法还包括:获取目标业务在预设时间窗口内的内部退化指标;该内部退化指标包括运行时内存回收的触发频次和请求处理队列的积压深度;检测内部退化指标超出对应正常范围的退化时段;计算目标业务在退化时段内因内部退化产生的附加资源消耗量;从资源消耗残差中去除附加资源消耗量对应的分量,以修正资源消耗残差。
11、在上述实施例中,运营监管系统在分析外部干扰前,先排除了目标业务自身内部退化(如gc、队列积压)所产生的附加资源消耗,对资源消耗残差进行了修正,确保了残差的纯粹性,即主要反映外部干扰,避免了将内部问题与外部干扰混淆,提升了根因定位的准确度。
12、结合第一方面的一些实施例,在一些实施例中,在检索与受害物理资源存在共驻关系的候选服务实例,计算各候选服务实例的资源消耗曲线与资源消耗残差之间的曲线相似度的步骤之前,该方法还包括:通过受害物理资源的处理器硬件性能计数器,按各采集周期读取各候选服务实例对应的资源隔离分区的末级缓存占用量和内存带宽消耗量;将各采集周期对应的末级缓存占用量和内存带宽消耗量按时间顺序排列,得到各候选服务实例的微架构级资源消耗曲线;将微架构级资源消耗曲线与操作系统级资源消耗数据合并,确定为各候选服务实例的资源消耗曲线。
13、在上述实施例中,运营监管系统引入处理器硬件性能计数器获取微架构层面的资源消耗数据,如末级缓存占用,该类数据能更直接地反映物理资源争抢的细节,弥补了操作系统级数据(如cpu利用率)的不足,使得资源消耗曲线的刻画更精细,为后续的曲线相似度匹配提供了更高质量的输入。
14、结合第一方面的一些实施例,在一些实施例中,在将各采集周期对应的末级缓存占用量和内存带宽消耗量按时间顺序排列,得到各候选服务实例的微架构级资源消耗曲线的步骤之后,该方法还包括:检测微架构级资源消耗曲线中因硬件性能计数器时分复用而产生数据缺失的采集周期;获取各候选服务实例在数据缺失的采集周期内的操作系统级资源消耗数据;根据各候选服务实例在历史有效采集周期内的微架构级资源消耗曲线与操作系统级资源消耗数据之间的对应关系,推算数据缺失的采集周期内的微架构级资源消耗数据;将微架构级资源消耗数据填入微架构级资源消耗曲线中对应的缺失位置。
15、在上述实施例中,运营监管系统针对硬件性能计数器时分复用导致的数据缺失问题,利用与操作系统级数据的关联关系进行数据插值和补全,保证了微架构级资源消耗曲线的完整性和连续性,提升了数据分析的可靠性,避免了因数据断点导致曲线匹配失败或产生错误结果。
16、第二方面,本技术实施方式提供了一种运营监管系统,该运营监管系统包括:一个或多个处理器和存储器;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该运营监管系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
17、第三方面,本技术实施方式提供一种计算机可读存储介质,包括指令,当上述指令在运营监管系统上运行时,使得上述运营监管系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
18、第四方面,本技术实施方式提供一种包含指令的计算机程序产品,当上述计算机程序产品在运营监管系统上运行时,使得上述运营监管系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
19、可以理解地,上述第二方面提供的运营监管系统,第三方面提供的计算机存储介质和第四方面提供的计算机程序产品均用于执行本技术实施方式所提供的方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。
20、本技术实施方式中提供的一个或多个技术方案,至少具有如下技术效果或优点:
21、1、由于采用了通过计算资源消耗残差来量化目标业务预期之外的资源消耗,并基于该残差与共驻实例资源消耗曲线的相似度进行匹配的定位方法,所以能够将由其他业务实例争抢共享物理资源所导致的性能问题从目标业务的内部问题中剥离出来,有效解决了现有技术中基于调用链的排查机制难以观测和定位跨业务资源争抢问题的缺陷,进而实现了在多业务混合部署场景下对异常根因的准确识别。
22、2、由于采用了基于历史正常时段的请求到达速率变化数据,对异常发生期间的请求负载进行趋势延伸和数值拟合的方法,所以能够得到一个不受异常状态干扰的、更平滑且更符合业务增长或变化趋势的当前请求负载估算值,有效解决了在异常发生时直接采集的请求负载数据可能失真或包含噪声的问题,进而实现了对预期资源需求推算的精确度提升,为后续残差计算的准确性提供了保障。
23、3、由于采用了从资源消耗残差中逐轮分离曲线相似度最高的干扰实例贡献,并对剩余残差进行迭代分析的策略,所以能够在一个复杂的故障场景中逐一识别出多个共同导致异常的干扰源,有效解决了现有技术中一次性分析可能只能定位到最显著的单个干扰源而忽略其他次要但同样重要的干扰因素的问题,进而实现了对多源混合干扰场景的全面、深度根因剖析。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com