一种统一总线动态内存迁移与在途事务一致性验证方法与流程
本发明涉及计算机集群,具体涉及一种统一总线动态内存迁移与在途事务一致性验证方法。
背景技术:
1、面向人工智能计算和数据中心的超节点通常把cpu、npu、gpu、dpu、内存设备和存储设备通过统一互联协议连接,使多个计算设备能够访问池化内存或共享地址空间。统一总线系统可以由多个总线domain、交换设备、端口、链路、统一内存管理单元、远端内存控制器和管理软件组成。在实际应用过程中,通常针对用户创建的实例预先建立有容器,并基于虚拟化技术将对应的内存地址、cpu/gpu/npu节点等分配给每个容器,并根据实际业务并发需求来动态调整对应的资源。其中,针对内存中已存在的数据,在进行资源调度的时候通常需要进行内存迁移处理,并确保迁移前后的数据一致性。
2、比如,专利申请号为cn201310086275.7的文件公开了一种内存数据迁移方法、装置及系统,能够实现内核态内存数据的迁移,并且适用于用户态内存数据的迁移。所述方法包括:当前处理器接收内存数据迁移的指示信息,所述指示信息用于指示迁移第一内存上的待迁移数据;通知其它处理器核进入静默stop-machine状态;分配第二内存给所述第一内存上的待迁移数据;将所述第一内存上的待迁移数据存储到所述第二内存;基于所述第二内存的物理地址,修改所述待迁移数据的地址映射信息。
3、再比如,专利申请号为cn201911422233.x的文件公开了一种内存数据迁移方法、装置和存储介质,所述内存数据迁移方法先是获取待迁移进程在预设的进程内存空间中的进程内存信息,并在预设的物理内存页表中确定与进程内存信息对应的地址信息;再根据地址信息确定物理内存页表中待迁移进程的位置,并通过查询所述物理内存页表,确定物理内存页表中待迁移进程与上一个进程之间的结束节点;最后移除结束节点存储的物理内存信息,并对物理内存页表重新排列。通过上述方式,对终端进程的内存信息进行数据迁移,实现对冗余物理内存数据的清理,优化系统内存空间,从而保障系统的流畅运行。
4、但是,在实际实施过程中,发明人发现,该类技术方案通常仅侧重于实现对内存数据进行迁移、一致性校验的过程,而不进一步关注迁移切换期间某条已发出但未完成的事务应当访问哪个目标、使用哪个数据版本以及是否恰好提交一次的问题,容易导致在迁移过程中发生断点时数据出现错误或者重复提交等问题。
技术实现思路
1、针对现有技术中存在的上述问题,现提供一种统一总线动态内存迁移与在途事务一致性验证方法。
2、具体技术方案如下:一种统一总线动态内存迁移与在途事务一致性验证方法,包括:步骤s1:接收并维护迁移配置信息,随后初始化迁移参考状态;所述迁移配置信息包括迁移前的源内存区域和迁移后的目标内存区域的期望数据表;步骤s2:于迁移过程中分别采集每条总线事务,依照所述总线事务自所述源内存区域对所述目标内存区域进行数据写入;步骤s3:针对完成写入的所述总线事务进行路由映射并维护事务状态和提交账本;步骤s4:对迁移过程进行一致性检查并修复。
3、另一方面,所述步骤s1包括:步骤s11:获取传入的所述迁移配置信息并解析配置字段;步骤s12:基于所述配置字段建立所述期望数据表,并对同一全局地址区域分别建立指向所述源内存区域的当前映射和指向所述目标内存区域的候选映射;步骤s13:基于所述期望数据表对所述迁移过程建立迁移阶段表和在途事务表。
4、另一方面,所述步骤s2包括:步骤s21:依照所述期望数据表依次生成多条所述总线事务以触发所述迁移过程;步骤s22:依次执行所述总线事务,以将所述源内存区域的内存镜像写入所述目标内存区域;于执行所述步骤s22的过程中,针对每个所述总线事务分别记录所述在途事务表。
5、另一方面,所述步骤s22中,针对每条所述总线事务,还分别修改对应的所述迁移阶段表;所述迁移阶段表依照预设的迁移阶段定义进行变化,所述迁移阶段定义包括准备、快照、复制、脏写追赶、切换和提交阶段;每个所述迁移阶段定义分别配置有对应的生效条件、允许的事务类型和允许访问的内存目标。
6、另一方面,于执行所述步骤s2的过程中还包括脏写入拦截过程,所述脏写入拦截过程包括:步骤a21:拦截对所述源内存区域的数据写入请求,并将所述数据写入请求对应的写入地址范围和写入内存数据转存至脏写入分区;步骤a22:针对所述数据写入请求在所述总线事务的队列尾端增加对应的追赶事务,以在完成写入后将所述写入内存数据覆写至所述目标内存区域的对应范围。
7、另一方面,还包括:步骤a23:判断所述追赶事务对应的所述写入地址范围是否发生了新的写入;若是,对重复写入地址范围进行新旧数据合并;若否,返回步骤a23以持续监听所述写入地址范围的变化。
8、另一方面,所述步骤s3包括:步骤s31:当每个所述总线事务完成时,对所述总线事务进行地址转换并进行路由映射;步骤s32:将所述总线事务移出所述在途事务表,并在所述迁移阶段表修改为完成阶段,随后写入所述提交账本。
9、另一方面,于执行所述步骤s31的过程中,当所述总线事务进入观测点时分别划分对应的处理阶段并修改所述在途事务表。
10、另一方面,所述步骤s4包括:步骤s41:对所述源内存区域和所述目标内存区域应用一致性检查得到一致性检查结果;所述一致性检查包括目标内存目标数据完整性检查、事务实际访问目标与其绑定映射版本的一致性检查、迁移切换生效顺序检查、重试去重检查、迁移后读取数据版本检查、部分写字节合并检查以及错误与回滚结果检查;步骤s42:自所述一致性检查结果中提取错误记录,基于所述错误记录对所述提交账本进行回溯以定位对应的所述总线事务;步骤s43:对所述总线事务进行重放以完成修复过程。
11、一种存储介质,包括计算机指令,当计算机设备执行所述计算机指令时,执行上述的动态内存迁移与在途事务一致性验证方法。
12、上述技术方案具有如下优点或有益效果:针对现有技术中的内存迁移过程缺乏对迁移中间过程的内存数据和迁移事务的管理过程,通过同时维护双目标期望状态、迁移阶段、切换点和同步关系,从而解决在迁移期间同一全局地址对应两个物理目标的问题,并通过维护在途事务归属从而有效确定在途事务的前后对照关系以及写入次数,提高数据一致性。
1.一种统一总线动态内存迁移与在途事务一致性验证方法,其特征在于,包括:步骤s1:接收并维护迁移配置信息,随后初始化迁移参考状态;所述迁移配置信息包括迁移前的源内存区域和迁移后的目标内存区域的期望数据表;步骤s2:于迁移过程中分别采集每条总线事务,依照所述总线事务自所述源内存区域对所述目标内存区域进行数据写入;步骤s3:针对完成写入的所述总线事务进行路由映射并维护事务状态和提交账本;步骤s4:对迁移过程进行一致性检查并修复。
2.根据权利要求1所述的统一总线动态内存迁移与在途事务一致性验证方法,其特征在于,所述步骤s1包括:步骤s11:获取传入的所述迁移配置信息并解析配置字段;步骤s12:基于所述配置字段建立所述期望数据表,并对同一全局地址区域分别建立指向所述源内存区域的当前映射和指向所述目标内存区域的候选映射;步骤s13:基于所述期望数据表对所述迁移过程建立迁移阶段表和在途事务表。
3.根据权利要求2所述的统一总线动态内存迁移与在途事务一致性验证方法,其特征在于,所述步骤s2包括:步骤s21:依照所述期望数据表依次生成多条所述总线事务以触发所述迁移过程;步骤s22:依次执行所述总线事务,以将所述源内存区域的内存镜像写入所述目标内存区域;于执行所述步骤s22的过程中,针对每个所述总线事务分别记录所述在途事务表。
4.根据权利要求3所述的统一总线动态内存迁移与在途事务一致性验证方法,其特征在于,所述步骤s22中,针对每条所述总线事务,还分别修改对应的所述迁移阶段表;所述迁移阶段表依照预设的迁移阶段定义进行变化,所述迁移阶段定义包括准备、快照、复制、脏写追赶、切换和提交阶段;每个所述迁移阶段定义分别配置有对应的生效条件、允许的事务类型和允许访问的内存目标。
5.根据权利要求1所述的统一总线动态内存迁移与在途事务一致性验证方法,其特征在于,于执行所述步骤s2的过程中还包括脏写入拦截过程,所述脏写入拦截过程包括:步骤a21:拦截对所述源内存区域的数据写入请求,并将所述数据写入请求对应的写入地址范围和写入内存数据转存至脏写入分区;步骤a22:针对所述数据写入请求在所述总线事务的队列尾端增加对应的追赶事务,以在完成写入后将所述写入内存数据覆写至所述目标内存区域的对应范围。
6.根据权利要求5所述的统一总线动态内存迁移与在途事务一致性验证方法,其特征在于,还包括:步骤a23:判断所述追赶事务对应的所述写入地址范围是否发生了新的写入;若是,对重复写入地址范围进行新旧数据合并;若否,返回步骤a23以持续监听所述写入地址范围的变化。
7.根据权利要求3所述的统一总线动态内存迁移与在途事务一致性验证方法,其特征在于,所述步骤s3包括:步骤s31:当每个所述总线事务完成时,对所述总线事务进行地址转换并进行路由映射;步骤s32:将所述总线事务移出所述在途事务表,并在所述迁移阶段表修改为完成阶段,随后写入所述提交账本。
8.根据权利要求7所述的统一总线动态内存迁移与在途事务一致性验证方法,其特征在于,于执行所述步骤s31的过程中,当所述总线事务进入观测点时分别划分对应的处理阶段并修改所述在途事务表。
9.根据权利要求1所述的统一总线动态内存迁移与在途事务一致性验证方法,其特征在于,所述步骤s4包括:步骤s41:对所述源内存区域和所述目标内存区域应用一致性检查得到一致性检查结果;所述一致性检查包括目标内存目标数据完整性检查、事务实际访问目标与其绑定映射版本的一致性检查、迁移切换生效顺序检查、重试去重检查、迁移后读取数据版本检查、部分写字节合并检查以及错误与回滚结果检查;步骤s42:自所述一致性检查结果中提取错误记录,基于所述错误记录对所述提交账本进行回溯以定位对应的所述总线事务;步骤s43:对所述总线事务进行重放以完成修复过程。
10.一种存储介质,包括计算机指令,其特征在于,当计算机设备执行所述计算机指令时,执行如权利要求1-9任意一项所述的统一总线动态内存迁移与在途事务一致性验证方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com