基于大数据的IT运维服务管理方法与流程

本技术属于计算机，具体涉及一种基于大数据的it运维服务管理方法。

背景技术：

1、随着信息技术的快速发展，企业it系统规模持续扩大，运维服务管理在保障系统稳定运行中发挥着关键作用。基于大数据的it运维服务管理通过整合海量运维数据，运用机器学习和人工智能技术实现故障智能诊断、资源优化调度与运维流程自动化，已成为现代企业数字化转型的重要技术支撑。用户画像作为刻画运维主体特征的核心技术手段，能够将运维人员的专业能力、运维对象的运行状态以及运维行为轨迹等多维信息进行融合建模，为智能化运维决策提供数据基础。

2、当前，智能运维领域的技术研究主要集中于故障诊断与预测，采用神经网络、深度学习等模型分析系统运行参数与历史故障数据以实现异常检测和故障定位。部分技术方案还涉及运维人员能力测评与特征提取协同分析。然而，现有技术方案在用户画像构建与应用方面存在明显不足。一方面，已有方案未能构建针对运维场景的完整用户画像体系，缺乏对运维人员、运维对象it设备及运维对象it系统的统一建模。另一方面，静态、孤立的用户特征描述无法反映运维场景中用户行为的动态演变规律，导致画像数据无法自适应地跟踪用户的实时变化。更为关键的是，现有技术未能建立用户画像与运维决策之间的有效关联机制，使得画像数据难以直接服务于个性化的智能运维决策。

3、因此，亟需提供一种能够构建多主体统一画像、具备动态自适应更新能力并能够有效辅助运维决策的it运维服务管理方法，以解决现有技术中画像体系不完整、无法反映行为动态演变以及画像与决策脱节的核心问题。

技术实现思路

1、本发明的目的在于提供一种基于大数据的it运维服务管理方法，可以有效解决背景技术中的问题。

2、为实现上述目的，本发明采取的技术方案为：

3、一种基于大数据的it运维服务管理方法，包括以下具体步骤：

4、步骤s1，构建静态用户画像向量：分别针对运维人员、运维对象it设备以及运维对象it设备所运行的it系统这三类实体，为每一类实体独立提取对应的特征维度并构建原始特征矩阵，再分别对各实体类型对应的原始特征矩阵独立执行层次聚类算法，生成具有层级结构的初始静态用户画像向量，所述初始静态用户画像向量包含人员子向量、设备子向量和系统子向量，分别对应运维人员、运维对象it设备以及运维对象it系统三类运维主体的全量特征，且人员子向量、设备子向量和系统子向量通过实体关联标识进行统一索引；

5、步骤s2，采集用户行为轨迹数据：通过路径动态分析引擎实时采集运维场景中多类用户行为轨迹数据，构建高并发、低延迟的数据采集与存储通道；

6、步骤s3，识别行为模式演变趋势：通过行为模式演变趋势识别引擎，对步骤s2采集的用户行为轨迹数据进行时间序列分析，提取多维度的行为演变特征；

7、步骤s4，判断画像更新触发条件：画像动态更新触发机制判断当前用户行为模式相较于历史画像特征产生的偏离程度，一旦偏离程度超过预设阈值，则启动用户画像的动态更新流程；

8、步骤s5，生成动态权重参数：动态权重参数生成模块根据行为模式演变趋势分析结果动态调整用户画像各维特征的权重参数，生成更新后的用户画像向量；

9、步骤s6，输出至强化学习调度引擎：输出接口模块将更新后的用户画像向量通过标准化接口输出至强化学习调度引擎，作为强化学习调度引擎的输入特征之一，用于辅助运维决策制定。

10、进一步地，步骤s4中判断画像更新触发条件进一步包括：

11、设置多级偏离阈值，所述多级偏离阈值包括轻度偏离阈值、中度偏离阈值和重度偏离阈值；

12、其中，所述轻度偏离阈值的取值范围为0.15至0.25，所述中度偏离阈值的取值范围为0.40至0.55，所述重度偏离阈值的取值范围为0.75至0.90；

13、当偏离度量值落入轻度偏离阈值对应的范围内时，触发增量更新策略，所述增量更新策略对于每个特征维度，仅更新变化幅度超过该特征维度历史平均变化幅度的2倍的特征维度；

14、当偏离度量值落入中度偏离阈值对应的范围内时，触发局部更新策略，所述局部更新策略对与当前行为模式相关联的特征簇进行重新计算；

15、当偏离度量值落入重度偏离阈值对应的范围内时，触发全量更新策略，所述全量更新策略重新执行静态用户画像的构建流程。

16、进一步地，步骤s3中识别行为模式演变趋势进一步包括：

17、所述行为模式演变趋势识别引擎采用自回归积分滑动平均模型与长短期记忆神经网络并行组合的双模型架构；所述自回归积分滑动平均模型的参数设置为自回归阶数等于3，差分阶数等于1，滑动平均阶数等于2；

18、所述长短期记忆神经网络的网络结构设置为2层隐藏层，每层包含128个长短期记忆单元，每个长短期记忆单元内部包含遗忘门、输入门和输出门三个门控结构。

19、进一步地，步骤s5中生成动态权重参数进一步包括：

20、采用指数加权移动平均算法生成动态权重参数，设置时间衰减因子，所述时间衰减因子的取值范围在0.85至0.95之间；

21、设置滑动窗口长度，所述滑动窗口长度取值为10；

22、对于每个特征维度，根据过去10个时间窗口的行为模式演变趋势向量计算原始权重系数，并采用softmax函数将原始权重系数向量映射为归一化权重向量；

23、更新后的用户画像向量由静态用户画像向量与经所述归一化权重向量加权后的当前行为模式演变趋势向量融合生成。

24、进一步地，融合余弦相似度与马氏距离计算偏离度量值，计算公式为：

25、

26、其中，表示最终的偏离度量值；表示第一项的权重系数，默认值为0.4；表示马氏距离的权重系数，默认值为0.6，且满足；代表从步骤s3得到的当前行为模式演变趋势向量；代表用户存储于画像系统中的历史画像向量；表示当前行为模式演变趋势向量与历史画像向量之间的余弦相似度；表示余弦距离；表示当前行为模式演变趋势向量与历史画像向量分布之间的马氏距离。

27、进一步地，步骤s3中识别行为模式演变趋势进一步包括：

28、设置多尺度时间窗口以覆盖不同粒度的行为模式，所述多尺度时间窗口包括短周期窗口、长周期窗口及混合周期窗口；

29、所述短周期窗口时长设置为1小时；

30、所述长周期窗口时长步骤s2中采集用户行为轨迹数据进一步包括：

31、在用户终端部署轻量级日志采集代理，所述轻量级日志采集代理将捕获的操作事件组装为日志消息并发送至分布式消息队列集群；

32、所述分布式消息队列集群采用分区机制，以用户标识符的哈希值作为分区键进行路由；

33、在分布式消息队列集群的消费者端部署多个并行消费实例，所述并行消费实例将有效记录写入内存缓存层和分布式文件系统；

34、所述内存缓存层采用键值对存储结构，并划分为热数据区与温数据区；

35、所述热数据区存储最近5分钟内的行为轨迹数据并采用lru淘汰策略，所述温数据区存储最近1小时内的行为轨迹数据并采用lfu淘汰策略。设置为24小时或168小时；

36、所述混合周期窗口采用滑动步进方式动态调整窗口长度，滑动步进长度取当前窗口时长的十分之一，相邻窗口之间保持百分之50的时间重叠。

37、进一步地，步骤s5中生成动态权重参数还包括：

38、设置静态画像权重系数，所述静态画像权重系数的取值与步骤s4中触发的更新策略相关；

39、当触发轻度偏离更新策略时，所述静态画像权重系数为0.8；

40、当触发中度偏离更新策略时，所述静态画像权重系数为0.5；

41、当触发重度偏离更新策略时，所述静态画像权重系数为0.2；

42、更新后的用户画像向量的第维分量计算为：

43、

44、其中，表示更新后的用户画像向量；表示用户画像向量的维度序号；表示更新后的用户画像向量在第维上的分量；表示静态画像权重系数；表示静态用户画像向量在第维上的分量；表示由softmax函数归一化后得到的归一化权重向量在第维上的取值；表示当前行为模式演变趋势向量在第维上的取值。

45、进一步地，9.根据权利要求1所述的基于大数据的it运维服务管理方法，其特征在于，步骤s1中构建静态用户画像向量进一步包括：

46、对运维人员提取的特征维度包括技术水平等级、专业认证资质、历史任务完成率和响应时间均值；

47、对运维对象it设备提取的特征维度包括硬件型号规格、运行时长参数、故障发生频次和性能指标基线；

48、对运维对象it系统提取的特征维度包括系统架构层级、服务依赖关系、数据流转路径和容灾备份配置；

49、分别针对运维人员实体类型、运维对象it设备实体类型和运维对象it系统实体类型，基于各实体类型对应的原始特征矩阵，计算同一实体类型内任意两个样本之间的综合距离，所述综合距离融合欧氏距离与皮尔逊相关系数转化的距离度量；

50、预设调节系数对两种距离进行加权融合，综合距离的计算公式为：

51、

52、其中，表示同一实体类型内任意两个样本和之间的综合距离；表示平衡欧氏距离与皮尔逊相关系数距离贡献的权重，取值为0.6；表示样本和样本之间的欧氏距离；表示由皮尔逊相关系数转化的距离度量，，表示样本和样本在各特征维度上的皮尔逊相关系数。

53、进一步地，步骤s6中输出至强化学习调度引擎进一步包括：

54、所述标准化接口采用远程过程调用协议定义，并支持画像向量批量推送模式与增量更新模式；

55、所述输出接口模块采用二进制序列化格式对用户画像向量进行编码，将序列化后的单条用户画像向量数据量控制在2kb以内；

56、所述输出接口模块的接口响应时延小于50毫秒；

57、所述强化学习调度引擎服务端的处理流程包含请求解析、权限校验、用户画像查询、向量组装以及序列化编码五个环节，每个环节均设置独立的超时控制与熔断机制。

58、综上所述，本技术包括以下至少一种有益技术效果：

59、1、本发明首次将运维人员与运维对象it设备及系统统一纳入画像体系，采用层次聚类算法构建具有层级结构的静态用户画像向量，覆盖人员、设备、系统三类运维主体的全量特征刻画，解决了现有技术未构建针对运维场景的完整用户画像体系的问题，为运维决策提供了精准的用户群体划分依据。

60、2、本发明通过路径动态分析引擎实时采集用户行为轨迹数据，采用时间序列分析方法识别行为模式演变趋势，在检测到偏离阈值时触发画像动态更新机制，结合动态权重参数生成模块实现用户画像的自适应迭代更新，解决了静态画像无法反映用户实时变化的根本性问题，使画像数据能够持续跟踪用户行为变化。

61、3、本发明通过标准化输出接口将更新后的用户画像向量直接输出至强化学习调度引擎作为输入特征之一，辅助运维决策制定，实现了画像数据向决策系统的有效转化，形成了完整的画像决策端到端智能闭环，提升了运维决策的个性化与精准度。