一种数据处理方法、装置、设备、介质及程序产品与流程
本技术涉及计算机领域,尤其涉及一种数据处理方法、装置、设备、介质及程序产品。
背景技术:
1、随着深度学习和人工智能技术的快速发展,模型规模呈现爆炸性增长。从早期的百万参数规模,发展到如今的千亿甚至万亿级参数模型,给参数存储和访问系统带来了前所未有的挑战。参数服务器作为大规模机器学习系统的核心组件,负责存储、管理和提供模型参数的高效访问,其性能和可扩展性直接影响整个模型训练和推理系统的效率。
2、传统的参数存储方案通常依赖于分布式键值存储系统或专用的内存参数服务器。早期的系统采用基于参数服务器的架构,将模型参数分散到多个服务器节点上。随后的深度学习框架也采用了类似的分布式参数管理方案,通过网络通信协调参数的存储和更新。但随着大型语言模型的出现,模型参数规模已超过数千亿,单纯依靠内存存储参数变得不再经济可行。
3、因此目前亟需一种可以降低参数存储的存储成本的方案。
技术实现思路
1、本技术实施例提供了一种数据处理方法、装置、设备、介质及程序产品,用于降低数据存储时的存储成本。
2、有鉴于此,本技术一方面提供一种数据处理方法,包括:获取第一数据以及第一索引表,该第一索引表包括第一索引,该第一索引为该第一数据在写入内存存储区域时的索引;基于该第一索引将该第一数据写入该内存存储区域;在该第一数据符合异步驱逐策略时,为该第一数据分配第一标识和第二索引,并将该第一数据加入缓存存储区域的写入队列,该第一标识用于指示该第一数据将被写入该缓冲存储区域,该第二索引为该第一数据写入该缓冲存储区域时的索引;基于该写入队列和该第二索引,将该第一数据写入该缓冲存储区域,并更新该第一索引表至第二索引表,该第二索引表包括该第一索引和该第二索引;为该第一数据分配第三索引,该第三索引为该第一数据写入硬盘存储区域时的索引;基于该第三索引将该第一数据写入该硬盘存储区域,并更新该第二索引表至第三索引表,该第三索引表包括该第一索引、该第二索引和该第三索引。
3、本技术另一方面提供一种数据处理装置,包括:获取模块,用于获取第一数据以及第一索引表,该第一索引表包括第一索引,该第一索引为该第一数据在写入内存存储区域时的索引;
4、处理模块,用于基于该第一索引将该第一数据写入该内存存储区域;在该第一数据符合异步驱逐策略时,为该第一数据分配第一标识和第二索引,并将该第一数据加入缓存存储区域的写入队列,该第一标识用于指示该第一数据将被写入该缓冲存储区域,该第二索引为该第一数据写入该缓冲存储区域时的索引;基于该写入队列和该第二索引,将该第一数据写入该缓冲存储区域,并更新该第一索引表至第二索引表,该第二索引表包括该第一索引和该第二索引;为该第一数据分配第三索引,该第三索引为该第一数据写入硬盘存储区域时的索引;基于该第三索引将该第一数据写入该硬盘存储区域,并更新该第二索引表至第三索引表,该第三索引表包括该第一索引、该第二索引和该第三索引。
5、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,该内存存储区域是基于最近最少使用机制进行数据管理或者是基于最少使用次数机制进行数据管理或者是基于自适应替换缓存进行数据管理或者是基于时钟算法进行数据管理;
6、该内存存储区域为共享内存。
7、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,该内存存储区域是基于最近最少使用机制进行数据管理时,该处理模块,用于检查该第一数据的最近访问时间以及该内存存储区域的内存占用信息;在该内存占用信息大于第一阈值且该第一数据的最近访问时间满足第一条件时,确定该第一数据符合异步驱逐策略,其中,该第一条件为在基于最近访问时间由近到远的排序中,该第一数据的最近访问时间排名位于后n位,该n为正整数。
8、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,该处理模块,用于基于该第一索引和写时比较机制将该第一数据写入该内存存储区域。
9、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,在该第一数据为目标参数的更新数据时,该处理模块,用于对该第一数据进行写时比较,以得到比较结果;
10、在该比较结果指示比较成功时,将该目标参数的第二数据加入延迟删除队列,并基于该第一索引将该第一数据写入该内存存储区域,该第二数据为该目标参数当前已写入该内存存储区域的数据;
11、在该比较结果指示比较失败时,比较该第一数据与该目标参数的第三数据的更新时间,该第三数据为该目标参数当前已写入该内存存储区域的数据;
12、在该第一数据的更新时间比该第三数据的更新时间晚时,基于该第一索引将该第一数据写入该内存存储区域;
13、在该第一数据的更新时间比该第三数据的更新时间早时,放弃写入该第一数据。
14、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,在对该第一数据进行写时比较,以得到比较结果之后,该处理模块,用于在该比较结果指示该第一索引指示的第一内存区域已进行第四数据的写入时,重试该第一数据的写时比较,直至该第四数据写入完成时,为该第一数据分配第二内存区域,该第二内存区域为该第一内存区域之后且可用的内存区域,该第四数据是与该第一数据具有不同的关键字但具有相同的索引的不同数据;
15、基于该第一索引将该第一数据写入该第二内存区域,并更新所述第一索引。
16、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,为该第一数据分配第一标识和第二索引,并将该第一数据加入缓存存储区域的写入队列之前,该处理模块,用于遍历该缓冲存储区域的多个写缓冲区,以得到遍历结果,该遍历结果用于指示该缓冲存储区域内是否存在该第一数据的重复数据或者该第一数据对应的目标参数的过期数据;
17、在该遍历结果指示存在该第一数据的重复数据或者该第一数据对应的目标参数的过期数据时,删除该第一数据的重复数据或者该第一数据对应的目标参数的过期数据。
18、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,该处理模块,用于遍历该缓冲存储区域的多个写缓冲区已存储数据的有效键数目和无效键数目;
19、在该有效键数目和该无效键数目的比值大于第一阈值时,触发遍历该缓冲存储区域的多个写缓冲区,以得到遍历结果;
20、在该有效键数目和该无效键数目的比值小于等于该第一阈值时,周期性触发遍历该缓冲存储区域的多个写缓冲区,以得到遍历结果。
21、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,在基于该第三索引将该第一数据写入该硬盘存储区域,并更新该第二索引表至第三索引表之后,该获取模块,用于获取读取请求,该读取请求指示读取该第一数据;
22、该处理模块,用于基于该读取请求获取该第一数据的该第三索引表,该第三索引表包括该第一索引、该第二索引和该第三索引;
23、基于该第一索引在该内存存储区域进行查询,以得到第一查询结果;
24、在该第一查询结果指示该内存存储区域存在该第一数据时,从该内存存储区域读取该第一数据;
25、在该第一查询结果指示该内存存储区域不存在该第一数据时,基于该第二索引在该缓冲存储区域进行查询,以得到第二查询结果;
26、在该第二查询结果指示该缓冲存储区域存在该第一数据时,从该缓冲存储区域读取该第一数据;
27、在该第二查询结果指示该缓冲存储区域不存在该第一数据时,基于该第三索引在该硬盘存储区域进行查询,从该硬盘存储区域读取该第一数据。
28、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,在基于该第三索引在该硬盘存储区域进行查询,从该硬盘存储区域读取该第一数据之后,该处理模块,用于基于该第一索引和写入比较机制将该第一数据写入该内存存储区域。
29、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,该处理模块,用于对该第一数据进行写时比较,以得到第二比较结果;
30、在该第二比较结果指示比较成功时,将该目标参数的第五数据加入延迟删除队列,并基于该第一索引将该第一数据写入该内存存储区域,该第五数据为该目标参数当前已写入该内存存储区域的数据;
31、在该第二比较结果指示比较失败时,放弃写入该第一数据。
32、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,该获取模块,用于获取快照创建请求,该快照创建请求用于指示创建包括该第一数据的目标快照;
33、该处理模块,用于响应于该快照创建请求获取全局写锁,生成该目标快照的快照标识符以及初始化快照元数据,该快照元数据包括快照创建时间、快照版本信息以及快照存储区域标识;
34、基于该快照标识符以及该初始化快照元数据转储该内存存储区域的热数据和该缓冲存储区域的缓存数据,并通过硬链接的方式转储该硬盘存储区域的冷数据,以生成中间快照;
35、基于该第一索引表、该第二索引表和该第三索引表对该中间快照进行去重处理,以得到该目标快照,并释放该全局写锁。
36、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,该处理模块,用于基于该快照存储区域标识获取该目标快照的起始位置、结束位置以及空间大小;
37、基于该空间大小以及该结束位置创建该目标快照的该快照副本空间,其中,该结束位置作为该快照副本空间的起始位置,该快照副本空间中存储的元素用于指示该目标快照的元素位置;
38、基于该快照副本空间的结束位置重定向分配起始位置;
39、在该全局写锁释放之后,基于该分配起始位置写入全局写锁期间的积压数据。
40、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,该处理模块,用于在该目标快照的转储过程中,基于该目标快照的起始位置确定内存垃圾回收的结束位置;基于该结束位置进行内存垃圾回收。
41、在一种可能的设计中,在本技术实施例的另一方面的另一种实现方式中,该处理模块,用于在分配头超过该内存存储区域的最大内存地址时,将该分配头以该最大内存地址进行取模处理,以重置该分配头为最小内存地址,其中,该分配头为该积压数据的存储尾端。
42、本技术另一方面提供一种计算机设备,包括:存储器、处理器以及总线系统;
43、其中,存储器用于存储程序;
44、处理器用于执行存储器中的程序,处理器用于根据程序代码中的指令执行上述各方面的方法;
45、总线系统用于连接存储器以及处理器,以使存储器以及处理器进行通信。
46、本技术的另一方面提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面的方法。
47、本技术的另一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方面所提供的方法。
48、从以上技术方案可以看出,本技术实施例具有以下优点:为同一数据设计了内存存储区域、缓冲存储区域以及硬盘存储区域的三层存储架构,且在存储过程中,通过异步驱逐策略来实现数据在不同存储层之间的流动存储,这样可以使得系统能够管理超过内存容量的数据,从而优化内存利用率以及降低内存存储成本。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com