全局池化内存页硬件粒度跨节点动态迁移与回写控制逻辑的制作方法

摘要: 本发明涉及池化内存页的硬件迁移、并发写入捕获和映射一致性控制,具体涉及全局池化内存页硬件粒度跨节点动态迁移与回写控制逻辑。背景技术:1、全局池化内存中,主机对远...
全局池化内存页硬件粒度跨节点动态迁移与回写控制逻辑的制作方法

本发明涉及池化内存页的硬件迁移、并发写入捕获和映射一致性控制,具体涉及全局池化内存页硬件粒度跨节点动态迁移与回写控制逻辑。

背景技术:

1、全局池化内存中,主机对远端页的访问热点会随任务阶段变化。仅由软件批量迁移内存区域响应较慢,并可能迁移未变热的页;硬件直接复制又会遇到复制期间并发写入、缓存旧副本和回写顺序问题。

2、若在整节点范围暂停访问以保证一致性,会放大迁移停顿;若先改变地址映射再完成脏数据回放,则新节点可能读取旧内容。需要把一致性边界缩小到目标页并明确各时期读写去向。

3、现有分层内存或cxl内存迁移可依据冷热度搬移页面,也可采用分块复制降低暂停时间;但迁移期间的并发写入、目标影子页可见性、映射原子切换、缓存定向失效及切换后观察回滚必须形成同一硬件状态机闭环。

4、页迁移期间源页仍可能接收写事务和原子事务,目录共享者也会动态变化。仅先复制后改表无法确定复制期间写入的先后关系;仅冻结已知入口又会遗漏后加入的缓存参与者,导致目标影子页与外部已确认结果不一致。

5、本发明把基础复制、组提交增量日志、动态参与者冻结和映射时期切换组成硬件状态机。外部完成以日志分片闭合为条件,观察期继续保留源页和反向日志,因此正常完成、可验证回退及无法确认时隔离具有明确边界。

6、页面迁移期间,源页仍允许处理并发访问。目标影子页接收基线副本,源侧按序捕获脏写;短时页级冻结只用于确定复制边界和回放尾部日志。页映射在目标内容摘要与尾部日志一致后原子切换,观察窗口内出现负收益或错误时可按原目录项回写。

技术实现思路

1、本发明解决池化内存页在跨节点复制期间仍有并发读写和缓存共享时,如何保持事务完成语义、原子切换映射并在目标异常时安全回写的问题。

2、全局页由源节点迁往目标节点时,以一致性边界组织的迁移与回写控制过程包括步骤s101(判定迁移准入)、s102(建立目标影子页)、s103(复制基础页)、s104(捕获正向写日志)、s105(冻结并回放日志)、s106(原子切换页映射)、s107(观察并记录反向日志)、s108(回退、隔离或回收)。

3、本发明按准入、影子页、复制捕获、冻结回放、映射切换和观察回退组织页级控制。参与者动态闭合、日志组提交和反向回写条件完整保留如下。

4、由页迁移控制器接收上层控制器给出的待迁移全局页、目标节点和预期拓扑时期,依据按入口统计的页访问草图、路径代价、目标空闲页框、复制引擎状态和写日志容量执行硬件准入,并在目标节点预留对普通访问不可见的目标影子页以及高于当前活动映射时期的候选映射时期。

5、根据所述全局页的目录共享者位图、近期访问入口位图和脏所有者字段建立参与者集合,向所述参与者集合发送写入捕获准备消息,使源页归属控制器进入日志状态,并通过所述缓存探测接口使脏缓存行回写至源页,在全部准备确认闭合后建立基础复制起始序号。

6、在capture和copy期间持续监测目录共享者、近期访问入口和脏所有者,出现新参与者时将其加入参与者集合、清除对应准备确认位并重新探测,在确认闭合前禁止集合外入口形成可缓存副本。

7、在保持源页为活动归属的情况下按缓存行或复制块把源页复制至目标影子页,复制读与源端写及原子事务由源页归属控制器按提交序号排序,禁止在写入中间状态读取同一缓存行。

8、基础复制起始序号之后的写事务和原子事务由源页归属控制器串行化并分配单调提交序号,把全局页号、页内偏移、数据掩码、事务类型、事务标识、提交序号、分片序号、分片总数、事务完成后的数据和组提交位写入可恢复的正向增量日志,仅在一个事务的全部日志分片写入且组提交位置位后才向请求方返回外部完成。

9、基础复制完成后,向动态闭合的参与者集合发送包含全局页号和候选映射时期的页级冻结消息,各参与者阻塞针对所述全局页的新读事务、写事务和原子事务,排空冻结前已经接收的事务和脏行回写,并返回最后完成序号、缓存副本状态和启动代次。

10、在参与者确认位图闭合后,按照提交序号、分片序号和数据掩码把组提交完整的正向增量日志回放至目标影子页,并校验日志序号连续、事务分片完整以及源页与目标影子页按相同口径计算的最终摘要。

11、校验通过时,通过活动表与候选表的原子选择器把所述全局页切换至候选映射时期,向参与者集合发出定向缓存失效消息,并在全部失效确认闭合后解除页级冻结,使新时期事务访问目标页。

12、在切换后的观察时期保留源页,目标页归属控制器以相同的先日志组提交后外部完成规则记录反向增量。

13、观察时期正常结束且新时期确认稳定时进入finalize,停止接受新的回退请求、使目标页写入排空、失效并释放保留源页。

14、观察时期内目标页发生不可纠正错误或访问方向反转时再次冻结所述全局页,仅在反向增量日志连续且组提交完整时按序回放至保留源页并以更高时期切回源页,反向增量完整性不能确认时隔离所述全局页而不释放任一副本。

15、进一步地,每一页迁移目录项至少包括全局页号、源节点、目标节点、预期拓扑时期、活动映射时期、候选映射时期、目录共享者位图、近期访问入口位图、脏所有者、动态参与者位图、基础复制起始序号、复制块位图、正向增量日志头尾指针、日志组提交序号、参与者确认位图、定向失效确认位图、反向增量日志头尾指针、页摘要、启动代次和迁移状态;候选时期的字段保存在与活动映射表分离的候选表中。

16、进一步地,原子事务仅在当前活动页归属控制器处执行一次,正向增量日志或反向增量日志记录原子事务完成后的目标字节或缓存行以及数据掩码,而不在日志回放时重新执行原子运算;跨多个复制块的同一事务使用同一事务标识和提交序号,并以fragment_index标识分片序号、以fragment_count标识分片总数,全部分片的日志校验通过后写入group_commit;外部完成的可见时刻晚于group_commit的可恢复写入时刻,恢复扫描忽略没有group_commit的半组日志。

17、进一步地,参与者集合中的任一入口在冻结超时后不被直接视为已确认;仅在所述入口返回排空确认,或者互连控制器已关闭该入口的发出端口、增加其启动代次并使旧代次缓存请求不能进入mesh时,才把该入口标记为已排空,不能完成上述处理时中止候选映射时期并保持源页活动。

18、进一步地,所述硬件准入不枚举任务位置或生成操作系统联合调度方案,而是针对上层给出的待迁移全局页和目标节点,检查预期拓扑时期仍有效、目标页框已预留、页目录及探测接口可用、复制时间上界内的预计日志项数小于可用日志项数、动态参与者位图能够表示全部入口且复制引擎处于可受理状态;任一条件不满足时返回带原因码的未受理状态并保持源页活动。

19、与前述方法相对应,本发明还公开一种池化内存页迁移控制器,其特征在于,包括页访问计数单元、页迁移目录、参与者集合生成单元、缓存探测与写回接口、目标页预留单元、页面复制引擎、源端事务排序器、正向增量日志、页级冻结栅栏、日志回放单元、活动/候选双映射表、定向失效确认单元、目标端事务排序器和反向增量日志;所述各单元被配置为执行权利要求1至5任一项所述的方法,所述池化内存页迁移控制器在参与者确认、日志连续和页摘要条件闭合时切换所述活动/候选双映射表,并仅在定向失效确认闭合后解除页级冻结。

20、进一步地,控制状态机的正常路径包括select、reserve、capture、copy、freeze、replay、verify、switch、invalidate、observe、finalize和released状态,并包括abort、rollback、isolated和recovery_scan异常状态;capture至verify失败且活动选择位未切换时进入abort并保持源页活动、清除候选表和影子页,switch或invalidate后失败时进入recovery_scan或isolated,observe回退条件成立时进入rollback,观察期正常结束时经finalize排空目标写并释放源页;跨时钟域的日志头尾指针采用格雷码同步或握手同步,任一时钟域复位时禁止建立新候选并进入recovery_scan,旧启动代次的日志项不与新代次日志项合并。

21、为执行前述处理,本发明还公开一种cxl池化内存系统,其特征在于,包括至少两个内存节点、至少一个主机入口、连接所述内存节点和主机入口的cxl switch以及如权利要求6或7所述的池化内存页迁移控制器;所述内存节点和主机入口具有页目录代理及缓存探测接口,所述系统以全局页号和映射时期路由内存事务,并由所述池化内存页迁移控制器执行权利要求1至5任一项所述的方法。

22、进一步地,主机入口或内存节点失联时,若其发出端口和旧启动代次尚未被互连控制器硬件隔离,则相关页迁移保持冻结或进入页隔离状态;电源恢复后的recovery_scan依据活动/候选表选择位、页迁移目录状态、正向和反向日志的group_commit、参与者确认位图及失效确认位图执行幂等恢复:在capture或copy且活动选择位未切换时中止候选并保持源页活动;在freeze、replay或verify时仅在参与者确认与正向日志完整时继续,否则中止候选;在switch后选择位已指向目标而失效未闭合时保持全页冻结并继续定向失效;在observe时依据反向日志完整性继续观察、完成回退或进入隔离;在finalize时先确认源页已失效再释放,无法确定选择位或日志组提交完整性时保持隔离。

23、本发明还公开一种具有页迁移功能的cxl switch芯片,其特征在于,包括cxl事务入口、页映射缓存、页目录代理、按页事务排序器、页级冻结匹配器、增量日志缓冲区、双映射选择器、缓存失效消息发生器和确认位图电路;所述cxl switch芯片与源内存节点及目标内存节点协同执行权利要求1至5任一项所述的方法,并在全局页号匹配时对读事务、写事务和原子事务实施所述页级冻结和时期校验。

24、源端写入在返回外部完成前已形成组提交完整的增量日志,基础复制和并发写入由同一提交序号约束,能够避免目标页观察到事务中间状态。

25、映射切换前完成参与者冻结、日志回放和摘要校验,切换后保留源页及反向日志;回退证据不足时隔离而非释放副本,从而保持可恢复边界。