数据读取方法、装置、电子设备及计算机可读存储介质与流程
本公开涉及对象存储,尤其涉及一种数据读取方法、装置、电子设备及计算机可读存储介质。
背景技术:
1、随着模型推理、大数据分析等技术的发展,对象存储系统的客户对数据读取的端到端响应时间的要求日益苛刻。
2、为提升数据读取性能,常规的方法是在将远端存储中的部分数据在本地进行缓存,当需要读取数据时优先从本地缓存中查找数据,若查找到则直接返回,若未查找到则从跨机房的远端存储中查找数据并返回。
3、但由于实时数据同步的资源开销较大,本地缓存中的数据与远端存储中的数据难以做到严格的同步更新,本地缓存中的数据无法保证准确性。因此,上述方式无法在保证数据读取准确的前提下降低读取延迟。
技术实现思路
1、为了解决上述技术问题,本公开提供了一种数据读取方法、装置、电子设备及计算机可读存储介质。
2、本公开实施例的第一方面提供了一种数据读取方法,包括:
3、响应于客户端发起的对于目标数据的读取请求,并发执行缓存读取任务和主元数据查询任务;其中,缓存读取任务用于从本地缓存集群中获取目标数据以及目标数据的缓存版本标识,主元数据查询任务用于从原始存储集群中获取目标数据的目标版本标识;
4、在缓存版本标识与目标版本标识相匹配的情况下,将本地缓存集群中的目标数据返回至客户端。
5、本公开实施例的第二方面提供了一种数据读取装置,包括:
6、第一处理模块,用于响应于客户端发起的对于目标数据的读取请求,并发执行缓存读取任务和主元数据查询任务;其中,缓存读取任务用于从本地缓存集群中获取目标数据以及目标数据的缓存版本标识,主元数据查询任务用于从原始存储集群中获取目标数据的目标版本标识;
7、返回模块,用于在缓存版本标识与目标版本标识相匹配的情况下,将本地缓存集群中的目标数据返回至客户端。
8、本公开实施例的第三方面提供了一种电子设备,包括:
9、处理器;
10、存储器,用于存储可执行指令;
11、其中,处理器用于从存储器中读取可执行指令,并执行可执行指令以实现上述第一方面提供的数据读取方法。
12、本公开实施例的第四方面提供了一种计算机可读存储介质,该存储介质存储有计算机程序,当计算机程序被处理器执行时,使得处理器实现上述第一方面提供的数据读取方法。
13、本公开实施例提供的技术方案与现有技术相比具有如下优点:
14、本公开实施例提供的数据读取方法、装置、电子设备及计算机可读存储介质,能够通过并发执行缓存读取任务和主元数据查询任务,一方面从本地缓存集群中获取目标数据及其缓存版本标识,另一方面同时从原始存储集群中获取目标数据的标准版本标识,在根据版本标识确定缓存数据有效时能够以最低延迟响应读取请求,在提高数据读取效率的同时,无需额外耗费大量资源进行高频数据同步即可保证数据读取的准确性。
1.一种数据读取方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述目标数据包括目标数据块,执行缓存读取任务,包括:
3.根据权利要求2所述的方法,其特征在于,所述将所述至少一个候选数据块中上一次访问时间距离当前时间最近的候选数据块确定为目标数据块,包括:
4.根据权利要求2所述的方法,其特征在于,所述基于所述读取请求中携带的所述目标数据的数据标识,在所述本地缓存中确定所述数据标识对应的至少一个候选数据块,包括:
5.根据权利要求2-4中任一项所述的方法,其特征在于,所述方法还包括:
6.根据权利要求1-4中任一项所述的方法,其特征在于,所述方法还包括:
7.根据权利要求6所述的方法,其特征在于,所述将所述原始存储集群中的目标数据写入所述本地缓存集群,包括:
8.根据权利要求1-4中任一项所述的方法,其特征在于,所述方法还包括:
9.一种数据读取装置,其特征在于,包括:
10.一种电子设备,其特征在于,包括:
11.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,当所述计算机程序被处理器执行时,使得处理器实现上述权利要求1-8中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com