一种基于IO本地化的超融合虚拟机读写方法及系统与流程

摘要: 本公开的实施例涉及计算机,具体涉及一种基于io本地化的超融合虚拟机读写方法及系统。背景技术:1、超融合基础设施将计算、存储和网络功能整合到同一物理节点上,通过软...
一种基于IO本地化的超融合虚拟机读写方法及系统与流程

本公开的实施例涉及计算机,具体涉及一种基于io本地化的超融合虚拟机读写方法及系统。

背景技术:

1、超融合基础设施将计算、存储和网络功能整合到同一物理节点上,通过软件定义的方式统一管理集群资源。在多节点超融合集群中,每个物理节点通常同时运行虚拟机和分布式存储服务,虚拟机的数据以多副本形式分布在集群的多个节点上。在这种架构下,虚拟机发起io请求时,目标数据块的实际存储位置可能与虚拟机所在节点不一致,导致io请求需要跨节点传输,从而引入额外的网络延迟和带宽开销。对于超融合环境下io本地化,通常采用的方式为:在计算节点的块设备层内置本地缓存驱动,通过qcow2镜像格式维护本地缓存盘,当缓存命中时将数据io路径限制在本节点内,以此减少跨节点访问。或者在磁盘格式化阶段,基于集群节点数量将存储空间划分为对应的存储区域,并建立存储区域与节点的映射关系,使数据副本在存储时优先落入本地节点对应的区域内。

2、然而,当采用上述方式来进行io本地化,经常会存在如下技术问题:

3、当缓存未命中或业务访问模式发生变化时,数据访问需要跨网络传输。跨节点传输增加了网络往返延迟,直接影响虚拟机的io响应速度。此外,节点的多维状态(实时负载、网络延迟)进行动态调整时,难以在集群负载变化时做出最优路由选择。虚拟机迁移时主要考虑计算资源的均衡,未考虑虚拟机数据在集群各节点上的分布情况,可能导致迁移后io路径拉长,本地化效果退化,导致请求排队等待时间延长,整体io处理性能下降。

4、该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了一种基于io本地化的超融合虚拟机读写方法、装置、电子设备和计算机可读介质,来解决以上背景技术部分提到的技术问题中的一项或多项。

3、第一方面,本公开的一些实施例提供了一种基于io本地化的超融合虚拟机读写方法,包括:获取物理硬件节点中各个数据块的历史io底层访问时序数据和实时物理负载状态信息;对上述历史io底层访问时序数据进行特征提取处理,得到访问模式特征向量;基于上述访问模式特征向量,生成上述各个数据块在未来时间窗口内的访问热度预测分值;确定访问热度预测分值高于预设物理存储阈值的数据块为待预取数据块,以及从异地副本所在物理节点将上述待预取数据块复制到本物理节点的存储层,得到至少一个本地预取数据块;响应于接收到虚拟机发起的当前io请求信息,基于上述实时物理负载状态信息,生成上述当前io请求信息对应的本地执行路径评分和至少一个异地执行路径评分;基于上述本地执行路径评分和上述至少一个异地执行路径评分,生成硬件节点路由决策信号,以及基于上述硬件节点路由决策信号,将上述当前io请求信息发送至对应的目标物理存储节点的存储设备执行数据读写操作。

4、第二方面,本公开的一些实施例提供了一种基于io本地化的超融合虚拟机读写装置,包括:获取单元,被配置成获取物理硬件节点中各个数据块的历史io底层访问时序数据和实时物理负载状态信息;特征提取单元,被配置成对上述历史io底层访问时序数据进行特征提取处理,得到访问模式特征向量;第一生成单元,被配置成基于上述访问模式特征向量,生成上述各个数据块在未来时间窗口内的访问热度预测分值;数据复制单元,被配置成确定访问热度预测分值高于预设物理存储阈值的数据块为待预取数据块,以及从异地副本所在物理节点将上述待预取数据块复制到本物理节点的存储层,得到至少一个本地预取数据块;第二生成单元,被配置成响应于接收到虚拟机发起的当前io请求信息,基于上述实时物理负载状态信息,生成上述当前io请求信息对应的本地执行路径评分和至少一个异地执行路径评分;读写执行单元,被配置成基于上述本地执行路径评分和上述至少一个异地执行路径评分,生成硬件节点路由决策信号,以及基于上述硬件节点路由决策信号,将上述当前io请求信息发送至对应的目标物理存储节点的存储设备执行数据读写操作。

5、第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。

6、第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

7、本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的一种基于io本地化的超融合虚拟机读写方法,降低了虚拟机的io读写延迟时间,减少了跨节点网络传输流量。具体来说,造成io本地化不够稳定的原因在于:本地化实现依赖缓存命中或静态分区,当缓存未命中或业务访问模式发生变化时,数据访问仍需跨网络传输。此外,io路由的决策依据相对固定,未结合节点实时负载和网络状态进行动态调整。虚拟机迁移时较少关注数据在节点上的分布情况,迁移后io路径可能拉长。基于此,本公开的一些实施例的基于io本地化的超融合虚拟机读写方法,首先,获取物理硬件节点中各个数据块的历史io底层访问时序数据和实时物理负载状态信息。由此,为后续的访问模式分析和路由决策提供了数据基础。其次,对上述历史io底层访问时序数据进行特征提取处理,得到访问模式特征向量。由此,通过提取时间局部性、周期性、读写比例、io大小分布、突发性和关联性等多维度特征,将原始io记录转换为结构化的特征表达,可以描述出数据块的访问规律,并根据这些特征识别出即将被频繁访问的数据块。接着,基于上述访问模式特征向量,生成上述各个数据块在未来时间窗口内的访问热度预测分值。由此,通过确定数据块访问热度的变化趋势、周期性访问规律和偶发访问导致误判的信息,来得到数据块访问热度的预测结果。提前知道哪个数据块被访问的概率,减少后续处理的时间延迟。再者,确定访问热度预测分值高于预设物理存储阈值的数据块为待预取数据块,以及从异地副本所在物理节点将上述待预取数据块复制到本物理节点的存储层,得到至少一个本地预取数据块。由此,通过热度判定筛选出即将变热的数据块,结合往返时延最小的源节点和低优先级后台io通道,在不干扰前台业务的前提下,将热数据提前从异地副本就位至本物理节点的存储层。这使得后续io请求到达时可以直接在本地读取,避免了跨网络传输。然后,响应于接收到虚拟机发起的当前io请求信息,基于上述实时物理负载状态信息,生成上述当前io请求信息对应的本地执行路径评分和至少一个异地执行路径评分。由此,从节点负载、网络传输、io类型适配和数据一致性四个维度,结合cpu利用率、内存利用率、磁盘io队列深度、网络往返时延、副本同步状态等实时物理状态,分别对本地执行路径和异地执行路径计算综合评分。本地路径在网络代价上为零,写请求在一致性代价上权重更高,使得评分结果能够客观反映各个路径在当前时刻的实际执行代价,以确定出客观的执行路径。最后,基于上述本地执行路径评分和上述至少一个异地执行路径评分,生成硬件节点路由决策信号,以及基于上述硬件节点路由决策信号,将上述当前io请求信息发送至对应的目标物理存储节点的存储设备执行数据读写操作。由此,当本地路径评分低于所有异地路径评分且低于安全阈值时选择本地执行,避免了节点过载时强制执行本地路径带来的性能下降。当本地路径不满足条件时选择评分最低的异地节点。对于写请求,额外校验目标节点是否为主副本节点,若非主副本则强制路由至主副本所在节点,确保分布式存储的一致性要求。综上,该实施方式可以减少跨节点io流量,提高虚拟机整体io响应速度。