一种基于AI算法的大数据系统运行监测方法

本发明涉及人工智能大数据，具体的，涉及一种基于ai算法的大数据系统运行监测方法。

背景技术：

1、随着大数据技术的飞速发展，企业级大数据系统的架构日益复杂，呈现出微服务化、容器化及动态伸缩的特征。在运行过程中，系统会产生海量的多源异构数据，包括基础设施层的性能指标、应用层的日志文本以及服务调用链拓扑信息。

2、现有技术中，对大数据系统的运行监测主要存在以下缺陷：一是数据采集端往往针对单一数据源进行分析，缺乏对多源异构数据的深度融合与统一建模，难以反映系统整体运行状态；二是传统的时序异常检测模型（如arima、lstm等）多基于离散时间点进行预测，难以捕捉系统状态在连续时间维度上的动态演化规律，导致对渐变性故障的预警能力不足；三是在故障定位环节，现有方法多依赖于简单的相关性分析或规则匹配，无法有效区分故障的‘根因’与‘波及影响’，容易产生告警风暴，导致运维人员难以快速定位根本故障源。因此，本领域技术人员需要一种基于ai算法的大数据系统运行监测方法以解决上述问题。

技术实现思路

1、本发明的目的在于提供一种基于ai算法的大数据系统运行监测方法，解决现有技术中监测数据融合度低、连续动态演化规律捕捉不准以及根因定位能力不足的问题。

2、本发明提供如下技术方案：一种基于ai算法的大数据系统运行监测方法，包括以下步骤：

3、s1、同步采集大数据系统运行时的多源异构流式数据，包括基础设施层的实时性能指标时序数据，以及应用层的系统日志文本与微服务调用链拓扑数据；对采集的数据执行时间戳归一化与缺失值插值处理，消除采样频率不一致的影响，输出标准化监测数据集；

4、s2、利用预先构建的latent ode模型对历史正常运行数据进行潜空间编码与常微分方程求解，提取系统状态随时间连续变化的动态演化规律，建立动态基准轨迹；利用所述动态基准轨迹对s1得到的标准化监测数据集进行连续时间维度的特征提取，输出连续状态特征向量；

5、s3、实时计算s2得到的连续状态特征向量与所述动态基准轨迹之间的积分差异值，将其定义为异常评分；当所述异常评分超过预设的动态演化阈值时，判定系统运行异常，输出异常触发信号；

6、s4、响应于s3输出的异常触发信号，利用基于circa的因果推断根因分析框架构建系统节点的因果依赖图并计算条件概率，针对疑似故障节点执行虚拟干预操作，模拟假设移除某节点后系统状态向量的概率变化；量化该操作对系统恢复正常的影响程度，输出根因节点及其置信度；

7、s5、依据s4得到的根因节点及其置信度生成包含故障类型及处置建议的可视化监测报告；同时将本次故障演化数据反馈至历史数据库，对s2建立的动态基准轨迹的参数进行自适应修正，实现监测策略的在线自演进优化。

8、作为上述技术方案的优选，所述同步采集大数据系统运行时的多源异构流式数据，并对采集的数据执行处理，包括以下步骤：

9、s11、通过预设的采集接口同步获取基础设施层的实时性能指标时序数据，并提取应用层的系统日志文本与微服务调用链拓扑数据；

10、s12、解析数据携带的时间信息，将不同格式的时间统一转换为标准时间戳数值，执行时间戳归一化；

11、s13、依据时间序列检测缺失的数据点，利用相邻时刻的数据值进行填补以完成缺失值插值处理，消除采样频率不一致的影响，输出标准化监测数据集。

12、作为上述技术方案的优选，所述利用预先构建的latent ode模型对历史正常运行数据进行潜空间编码与常微分方程求解，包括以下步骤：

13、s21、将历史正常运行数据输入latent ode模型，利用编码器网络将数据压缩为低维隐变量，执行潜空间编码；

14、s22、设定时间步长，利用常微分方程求解器计算隐变量随时间连续变化的导数，生成系统状态演化曲线，建立动态基准轨迹；

15、s23、将s1得到的标准化监测数据集映射至潜空间，沿时间轴在动态基准轨迹上截取对应的状态向量；

16、s24、将截取的状态向量按时间顺序拼接，生成能够表征系统连续演化特征的数值矩阵，输出连续状态特征向量。

17、作为上述技术方案的优选，所述实时计算s2得到的连续状态特征向量与所述动态基准轨迹之间的积分差异值，包括以下步骤：

18、s31、计算连续状态特征向量与动态基准轨迹在预设时间窗口内的欧氏距离，对欧氏距离随时间变化的函数进行定积分运算，得到积分差异值；

19、s32、将积分差异值与预设的动态演化阈值进行比较，若积分差异值大于动态演化阈值，则输出异常触发信号。

20、作为上述技术方案的优选，所述利用基于circa的因果推断根因分析框架构建系统节点的因果依赖图并计算条件概率，包括以下步骤：

21、s41、解析微服务调用链拓扑数据，构建节点间的有向无环图作为因果依赖图；

22、s42、利用历史故障数据计算节点间的条件概率分布，针对疑似故障节点执行虚拟干预操作，模拟假设移除某节点后系统状态向量的概率变化；

23、s43、计算系统状态向量恢复正常的概率增量，量化该操作对系统恢复正常的影响程度，输出根因节点及其置信度。

24、作为上述技术方案的优选，所述依据s4得到的根因节点及其置信度生成包含故障类型及处置建议的可视化监测报告，包括以下步骤：

25、s51、匹配根因节点对应的预设故障类型标签，生成故障诊断文本，结合置信度数值生成可视化监测报告；

26、s52、将本次故障演化数据添加至历史数据库，利用反向传播算法更新latent ode模型的权重参数，对动态基准轨迹的参数进行自适应修正。

27、作为上述技术方案的优选，所述利用相邻时刻的数据值进行填补以完成缺失值插值处理，具体为：采用线性插值法，计算缺失时刻前后相邻两个数据点的连线斜率，根据斜率推算缺失时刻的估计值，用估计值填补缺失的数据点。

28、作为上述技术方案的优选，所述预设的动态演化阈值通过以下步骤确定：收集系统正常运行时段的连续状态特征向量，计算历史积分差异值的统计分布；选取覆盖99%正常样本的积分差异值作为动态演化阈值。

29、作为上述技术方案的优选，所述对动态基准轨迹的参数进行自适应修正，具体为：每隔预设的时间周期，提取历史数据库中新增的故障演化数据，计算动态基准轨迹的预测误差；当误差超过预设修正阈值时，利用新数据对latent ode模型进行微调训练，实现监测策略的在线自演进优化。

30、与现有技术相比，本发明的有益效果是：

31、本发明能够显著提升大数据系统运行监测的准确性与故障定位的精准度。通过对多源异构流式数据执行时间戳归一化与缺失值插值处理，消除了数据采样频率不一致的影响，夯实了监测数据基础。引入latent ode模型对历史数据进行潜空间编码与常微分方程求解，能够精准提取系统状态随时间连续变化的动态演化规律，建立动态基准轨迹，有效克服了传统离散模型无法捕捉连续时间特征的缺陷。

32、在异常判定环节，利用积分差异值定义异常评分，不仅提升了检测灵敏度，更有效过滤了系统瞬时抖动引发的误报。响应于异常触发信号，利用基于circa的因果推断根因分析框架构建因果依赖图，通过虚拟干预操作量化节点影响程度，实现了从“相关性分析”到“因果性定位”的跨越，精准输出根因节点及其置信度。

33、此外，通过故障演化数据的反馈机制对动态基准轨迹参数进行自适应修正，实现了监测策略的在线自演进优化，显著增强了系统在复杂动态环境下的鲁棒性与实用性。基于上述有益效果，本发明在云原生大数据平台运维、微服务架构故障诊断以及智能运维领域具有广阔的应用前景。