面向超融合架构的虚拟机存储IO全栈追踪方法与流程
本技术涉及计算机系统监控与故障诊断,尤其涉及面向超融合架构的虚拟机存储io全栈追踪方法。
背景技术:
1、超融合基础设施通过软件层面对计算、存储与网络资源进行深度整合,构建统一的虚拟化资源池。在此架构中,虚拟机发起的存储io请求必须连续穿越计算虚拟化层、分布式存储客户端层、内部网络层以及分布式存储服务端层等多重逻辑边界,期间经历块设备协议到对象存储协议的语义转换、异步任务调度机制以及动态拓扑结构变化。
2、现有追踪技术存在三方面根本缺陷:基于系统内核层级的追踪方案,例如linuxftrace或ebpf工具,仅聚焦于操作系统内核单一层面的数据捕获,无法自动穿透超融合架构中多层虚拟化边界及用户态存储协议栈,对分布式存储内部块设备操作到对象操作的语义转换过程、跨组件后台异步操作缺乏原生感知能力与事件关联机制;面向应用层的通用分布式追踪体系,其设计范式与底层存储协议栈存在结构性脱节,无法向下延伸至虚拟机存储访问路径,且在高并发存储io场景下因高频采样策略引入显著性能开销,难以满足超融合环境对低干扰运行的要求;存储系统自带的监控与日志功能,其观测起点局限于存储服务端,天然缺失虚拟机内部应用到存储客户端的完整上下文与性能数据,不同节点和组件产生的日志与指标相互孤立,缺乏贯穿单次存储io请求全生命周期的统一标识符实现自动化关联。这些缺陷导致现有技术无法构建从虚拟机应用层到物理存储介质的无断裂追踪链路,当存储性能异常发生时,运维人员难以对单次io请求进行端到端的全链路追溯,必须依赖人工拼接分散的日志片段,造成故障定位效率低下且易出错,严重阻碍超融合环境下的存储性能优化与问题诊断。
3、上述内容仅用于辅助理解本技术的技术方案,并不代表承认上述内容是现有技术。
技术实现思路
1、本技术的主要目的在于提供一种面向超融合架构的虚拟机存储io全栈追踪方法,旨在实现虚拟机存储io请求的端到端全链路追踪,提高故障定位效率。
2、为实现上述目的,本技术提出一种面向超融合架构的虚拟机存储io全栈追踪方法,所述的方法包括:
3、在超融合集群的计算虚拟化层、分布式存储客户端层和分布式存储服务端层分别部署采集探针;
4、计算虚拟化层探针捕获虚拟机发起的存储io请求,生成全局唯一的追踪标识,将所述追踪标识附加至所述存储io请求中,并采集包含所述追踪标识的第一io事件数据;
5、分布式存储客户端层探针从接收到的存储io请求中提取所述追踪标识,在将块设备操作转换为对象操作的过程中维持所述追踪标识与对象操作请求的关联,并采集包含所述追踪标识的第二io事件数据;
6、分布式存储服务端层探针从接收到的对象操作请求中解析出所述追踪标识,并采集包含所述追踪标识的第三io事件数据;
7、以所述追踪标识为索引,将所述第一io事件数据、所述第二io事件数据和所述第三io事件数据进行跨层级关联,形成从虚拟机到物理存储介质的端到端io追踪链路。
8、在一实施例中,生成全局唯一的追踪标识包括:
9、读取预分配至本物理节点本地配置中的集群标识,以及从本物理节点启动时固化于本地内存中的节点标识;
10、获取当前时刻的高精度时间戳;
11、读取本物理节点内维护的原子递增序列号,所述原子递增序列号用于区分同一高精度时间戳下的多个并发io请求,当所述高精度时间戳递增时所述原子递增序列号自动复位;
12、获取当前io请求的业务标志位,所述业务标志位包含io操作类型和任务属性类别;
13、将所述集群标识、所述节点标识、所述高精度时间戳、所述原子递增序列号和所述业务标志位按预设逻辑顺序组合,生成所述全局唯一的追踪标识。
14、在一实施例中,将所述追踪标识附加至所述存储io请求中包括:
15、识别所述存储io请求所使用的块设备协议类型,根据所述块设备协议类型确定对应的追踪标识注入策略;
16、检测所述存储io请求的请求描述符中是否存在未被业务数据占用的预留字段;
17、根据所述追踪标识注入策略,若检测到存在未被占用的预留字段,则将所述追踪标识和虚拟机标识编码后写入所述预留字段,并在写入完成后校验写入区域未覆盖业务数据;
18、若检测到所述预留字段已被非标准配置占用,则自动切换至所述块设备协议的协议扩展头部字段,将所述追踪标识和所述虚拟机标识编码后写入所述协议扩展头部字段;
19、注入完成后,将注入位置信息记录至io请求元数据中,使得下游探针根据所述注入位置信息定位并提取所述追踪标识和所述虚拟机标识。
20、在一实施例中,维持所述追踪标识与对象操作请求的关联包括:
21、在块设备操作到对象操作的语义转换点,创建对象请求上下文结构体,将所述追踪标识从所述存储io请求复制到所述对象请求上下文结构体的追踪标识字段中,建立所述追踪标识与所述对象请求上下文结构体的绑定关系;
22、在异步io提交点,将所述追踪标识复制到异步回调函数的上下文参数中,使得当异步响应从分布式存储服务端返回时,能够通过所述追踪标识将所述异步响应关联至原始io请求;
23、在跨网络传输点,将所述追踪标识和虚拟机标识编码后写入分布式存储客户端消息的头部扩展字段中,使得所述追踪标识在节点间传输时不被丢弃;
24、分布式存储客户端层探针基于所述对象请求上下文结构体和所述追踪标识,采集包含所述追踪标识、存储卷标识、对象标识、存储池标识和客户端内部请求标识的第二io事件数据;
25、从超融合管理平台获取虚拟机卷标识与存储卷标识的第一映射关系,从分布式存储管理接口获取存储卷标识与对象标识的第二映射关系,将所述第一映射关系和所述第二映射关系合成为资源标识映射表,当io请求跨越不同协议栈导致命名空间变化时,通过所述资源标识映射表将不同命名空间中的资源标识进行双向转换,并将转换后的对应关系记录至所述第二io事件数据的元数据中。
26、在一实施例中,分布式存储服务端层探针从接收到的对象操作请求中解析出所述追踪标识,并采集包含所述追踪标识的第三io事件数据包括:
27、分布式存储服务端层探针从接收到的对象操作请求的头部扩展字段中解析出所述追踪标识,并将所述追踪标识压入当前处理线程的线程本地标识上下文栈;
28、在所述对象操作请求的处理链路中,在每个指定函数的入口处从所述线程本地标识上下文栈读取所述追踪标识,在每个指定函数的正常出口和异常出口处均执行弹栈操作,并基于所述追踪标识采集包含对象标识、存储池标识和各阶段处理延迟的第三io事件数据;
29、对于所述对象操作请求触发的后台异步任务,生成派生追踪标识,并在追踪元数据中记录所述派生追踪标识与所述追踪标识的父子关联关系;
30、在数据持久化阶段,将所述追踪标识与分布式存储引擎的事务日志进行关联记录,实现从io请求到物理落盘的全链路追溯。
31、在一实施例中,所述方法还包括:
32、为每一次由虚拟机触发的存储动态操作分配全局唯一的操作级标识,所述存储动态操作包括虚拟机快照创建、快照回滚、克隆和在线迁移;
33、为每个虚拟磁盘或存储卷分配持久化的全局唯一卷级标识,所述卷级标识包含根卷标识、当前卷标识和派生链,其中,所述根卷标识用于标识卷的原始来源,所述当前卷标识用于标识卷的当前实例,所述派生链完整记录从根卷到当前卷的所有动态操作历史及对应的操作级标识;
34、在所述追踪标识对应的io事件数据的元数据中增加扩展字段,建立所述追踪标识与所述操作级标识和所述卷级标识的关联关系;
35、基于所述操作级标识、所述卷级标识和所述追踪标识的三级关联关系,构建操作-卷-io的三维追踪索引,实现所述存储动态操作下的全链路追溯;
36、当接收到以操作级标识或卷级标识为查询条件的追溯请求时,通过所述三维追踪索引定位关联的全部追踪标识,并根据所述全部追踪标识还原出所述存储动态操作影响范围内的完整io历史链路。
37、在一实施例中,当所述存储动态操作为在线迁移时,所述方法还包括:
38、生成所述在线迁移对应的操作级标识,追踪系统的事件订阅模块捕获所述在线迁移的迁移事件,同步通知源端节点探针和目标端节点探针进入迁移协同模式,使源端节点探针和目标端节点探针共享所述卷级标识及所述卷级标识与所述追踪标识的关联关系;
39、在迁移期间,源端节点维护以数据块为粒度的迁移位图,所述迁移位图实时记录每个数据块的迁移状态,所述迁移状态包括未迁移、迁移中和已迁移三种状态,所述迁移位图采用两阶段提交协议进行更新,仅在目标端节点确认数据块同步完成并落盘后,源端节点才将对应数据块的状态更新为已迁移;
40、源端节点探针在处理io请求时,查询所述迁移位图确定io路由决策,其中,写请求统一采用写时重定向策略直接路由至目标端节点,读请求根据对应数据块的迁移状态决定在源端节点本地处理或路由至目标端节点;
41、源端节点探针将io请求转发至目标端节点时,在跨节点传输的头部扩展字段中携带所述追踪标识,目标端节点探针接收到所述io请求后从所述头部扩展字段中提取所述追踪标识,并恢复追踪上下文以继续完成在目标端节点处理链路的全量数据采集;
42、在迁移过程中完成处理的io请求,在其追踪数据中统一标记跨迁移标志,以标识该io请求在迁移期间跨节点处理。
43、在一实施例中,采集包含所述追踪标识的第一io事件数据的同时,所述方法还包括:
44、在捕获所述存储io请求的同一时刻,通过挂载于内核cpu调度点和磁盘提交点的内核态动态插桩探针,同步读取当前cpu核心的运行队列长度和当前核心频率,得到第一类资源快照数据;
45、对于无法通过内核态动态插桩探针直接读取的磁盘平均延迟类全局统计指标,通过独立于io处理路径的独立采样线程以预设间隔进行采集,得到第二类资源快照数据;
46、采用最近邻匹配算法,将所述第二类资源快照数据与所述存储io请求的事件时间戳进行对齐匹配;
47、将所述第一类资源快照数据、对齐匹配后的所述第二类资源快照数据与所述第一io事件数据,以相同的所述追踪标识和所述事件时间戳进行关联绑定,形成执行环境资源快照;
48、将所述执行环境资源快照中各资源指标与所述第一io事件数据中的io延迟进行关联校验,当检测到特定资源指标超出预设阈值且所述io延迟同步增大时,自动标注所述特定资源指标为潜在瓶颈。
49、在一实施例中,所述方法还包括:
50、通过预设接口从超融合管理平台导入虚拟机配置信息、虚拟磁盘映射信息和存储池分配信息,并从分布式存储管理接口导入存储池结构信息和分布式存储服务进程分布信息,作为拓扑构建的初始骨架;
51、以所述追踪标识为索引,串联同一io请求在计算虚拟化层、分布式存储客户端层和分布式存储服务端层的所有处理记录,还原出从虚拟机经由计算虚拟化层、分布式存储客户端层、网络节点、分布式存储服务端层到物理存储介质的完整实际io流经路径,并构建追踪标识到路径节点序列的映射索引库;
52、对所述映射索引库中的实时io流路径数据执行频繁子图挖掘算法,从所述实时io流路径数据中识别出稳定的拓扑连接关系,形成稳态拓扑;
53、将所述稳态拓扑与所述初始骨架进行自动比对,识别出配置漂移和已不存在的依赖关系,实现拓扑的自校准;
54、通过预设事件总线订阅集群的全量生命周期事件,当检测到所述生命周期事件发生时,仅对受影响的拓扑节点和边进行增量更新,并定期执行实时io路径与静态拓扑的一致性校验,当发现实际流量路径与拓扑定义不符时自动触发告警并启动拓扑修正流程。
55、在一实施例中,在生成全局唯一的追踪标识之前,所述方法还包括:
56、获取当前io请求对应的多维采样决策因子,所述多维采样决策因子包括系统负载维度指标、业务优先级维度指标、io特征维度指标和异常检测维度指标,其中,所述系统负载维度指标采用反比系数机制,负载越高则采样抑制程度越高,所述业务优先级维度指标根据不同虚拟机的业务等级标签设置差异化的采样权重,所述io特征维度指标基于io大小、io类型和响应时间异常度计算,所述异常检测维度指标根据检测到的性能指标偏离历史基线的程度动态调整;
57、将所述多维采样决策因子中各维度指标对应的系数进行加权计算,得到当前io请求的实时采样率,其中各系数的取值范围经归一化处理;
58、根据所述实时采样率判定当前io请求是否需要被采样,若判定当前io请求需要被采样,则执行所述生成全局唯一的追踪标识及后续全链路追踪步骤,若判定当前io请求不需要被采样,则各层探针仅记录io计数和吞吐量汇总统计信息,不生成追踪标识且不进行全链路细节追踪。
59、本技术提出的面向超融合架构的虚拟机存储io全栈追踪方法,通过在超融合集群的计算虚拟化层、分布式存储客户端层和分布式存储服务端层分别部署采集探针,生成全局唯一的追踪标识并附加至存储io请求,实现跨层级数据关联,形成从虚拟机到物理存储介质的端到端io追踪链路,能够实现虚拟机存储io请求的端到端全链路追踪,提高故障定位效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com