用于存储控制芯片的数据重构方法、装置、设备及介质与流程
本申请属于重构领域,尤其涉及一种用于存储控制芯片的数据重构方法、装置、设备及介质。
背景技术:
1、为了应对存储介质损坏或节点故障导致的数据丢失风险,大容量存储系统普遍采用独立磁盘冗余阵列或纠删码等数据冗余保护技术。当存储系统中出现部分数据失效时,存储控制芯片需要启动数据重构机制,通过读取阵列中未损坏的幸存数据和相关的奇偶校验数据来恢复丢失的信息。数据重构是一个高度资源密集型的过程,在重构期间,系统不仅需要承受大量的突发读取i/o请求,还会伴随复杂的解码计算,既占用系统的存储总线带宽,也会增加前端常规访问请求的延迟。随着固态存储设备的普及,虽然物理介质的读写速度得到了提升,但在面临大规模并发重构任务时,存储控制芯片内部有限的片上缓存资源往往成为限制重构性能的瓶颈,如何调度大量数据流并缓解计算资源竞争,成为了当前存储领域亟待解决的宏观问题。
2、在传统的存储控制芯片数据重构过程中,对幸存数据、奇偶校验数据以及重构计算产生的中间状态往往不具备精细化的资源调度策略。现有的缓存架构多采用静态分区或无差别的混合存储模式,无法根据重构任务的实时特征灵活分配空间,容易导致关键数据遭频繁逐出,引发严重的缓存抖动和重复i/o读取。传统的重构任务调度不具备对底层物理i/o代价、解码复杂度以及数据到达时序的统筹权衡,往往造成并发重构任务相互阻塞,导致整体执行效率低下。此外,由于各存储节点幸存数据响应和传输的时间存在天然差异,重构计算不可避免地会产生大量中间校验结果,若不能对这些中间状态进行合理的分层缓存与管理,将会加剧芯片内部的拥堵与读写放大。因此,业内急需一种能够优化缓存架构边界、智能规划重构执行序列,并能分层管理中间校验数据的新型重构方法,提升存储系统在故障恢复场景下的重构速度与整体吞吐能力。
技术实现思路
1、为了提升故障失效场景下存储系统的数据重构吞吐速率,本发明提供了一种用于存储控制芯片的数据重构方法、装置、设备及介质。
2、根据本发明的一方面,提供了一种用于存储控制芯片的数据重构方法,包括以下步骤:
3、基于当前重构任务集的依赖性分析,设定分层缓存架构中最高层级缓存的奇偶校验专用缓存区与通用数据缓存区的分区边界,所述边界根据奇偶校验数据、幸存数据及预估中间校验快照的总数据量比例调整,发起重构时,将所需奇偶校验数据和幸存数据分别载入对应缓存区;
4、构建包含幸存数据逻辑地址、固态存储物理i/o代价及解码复杂度的重构状态流形,计算成本函数,所述成本函数的权重根据实测延迟调节,据此对带状区排序生成重构执行序列,构建由重构执行序列中前n个任务构成的重构视界,n依实测吞吐量调节,为通用数据缓存区内的幸存数据配置包含未来请求预测和快照参与增益的引用权重,数据逐出时优先淘汰重构视界外且无快照参与增益的幸存数据;
5、构建由片上紧耦合存储器、片上sram区及奇偶校验专用缓存区组成的三级中间校验值缓存体系,部分幸存数据到达时生成中间校验快照,依带状区在重构执行序列中的优先级,将中间校验快照分别存入片上紧耦合存储器、片上sram区或奇偶校验专用缓存区,在重构输入数据满足齐备条件后,读出中间校验快照完成重构运算。
6、根据本发明的另一方面,提供了一种用于存储控制芯片的数据重构装置,包括以下模块:
7、调整模块,用于基于当前重构任务集的依赖性分析,设定分层缓存架构中最高层级缓存的奇偶校验专用缓存区与通用数据缓存区的分区边界,所述边界根据奇偶校验数据、幸存数据及预估中间校验快照的总数据量比例调整,发起重构时,将所需奇偶校验数据和幸存数据分别载入对应缓存区;
8、构建模块,用于构建包含幸存数据逻辑地址、固态存储物理i/o代价及解码复杂度的重构状态流形,计算成本函数,所述成本函数的权重根据实测延迟调节,据此对带状区排序生成重构执行序列,构建由重构执行序列中前n个任务构成的重构视界,n依实测吞吐量调节,为通用数据缓存区内的幸存数据配置包含未来请求预测和快照参与增益的引用权重,数据逐出时优先淘汰重构视界外且无快照参与增益的幸存数据;
9、重构模块,用于构建由片上紧耦合存储器、片上sram区及奇偶校验专用缓存区组成的三级中间校验值缓存体系,部分幸存数据到达时生成中间校验快照,依带状区在重构执行序列中的优先级,将中间校验快照分别存入片上紧耦合存储器、片上sram区或奇偶校验专用缓存区,在重构输入数据满足齐备条件后,读出中间校验快照完成重构运算。
10、本发明通过对重构任务集的依赖性分析,合理划分奇偶校验专用缓存区与通用数据缓存区的边界,并根据各项数据量的比例进行按需调整,解决了底层数据挤占问题,提升了缓存空间利用率。构建包含逻辑地址、局部性特征、物理i/o代价及解码复杂度的重构状态流形以优化重构执行序列,并采用结合未来请求预测与快照参与增益的引用权重机制,在数据逐出时精确淘汰低价值的幸存数据,提高了缓存命中率并降低了无效的介质访问开销。构建了由紧耦合存储器、sram区及专用缓存区组成的三级中间校验值缓存体系,根据任务优先级及对应存储层级的剩余容量将中间校验快照合理分布至不同存储层级,降低了中间数据的读写延迟,加速了数据重构运算过程,提升了芯片在复杂场景下的重构效率与吞吐能力。
1.一种用于存储控制芯片的数据重构方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的方法,其特征在于,所述设定分层缓存架构中最高层级缓存的奇偶校验专用缓存区与通用数据缓存区的分区边界,所述边界根据奇偶校验数据、幸存数据及预估中间校验快照的总数据量比例调整,包括:
3.根据权利要求2所述的方法,其特征在于,所述构建包含幸存数据逻辑地址、固态存储物理i/o代价及解码复杂度的重构状态流形,包括:
4.根据权利要求1所述的方法,其特征在于,所述据此对带状区排序生成重构执行序列,包括:
5.根据权利要求1或4所述的方法,其特征在于,所述构建由重构执行序列中前n个任务构成的重构视界,n依实测吞吐量调节,包括:
6.根据权利要求1所述的方法,其特征在于,所述为通用数据缓存区内的幸存数据配置包含未来请求预测和快照参与增益的引用权重,包括:
7.根据权利要求1所述的方法,其特征在于,所述依带状区在重构执行序列中的优先级,将中间校验快照分别存入片上紧耦合存储器、片上sram区或奇偶校验专用缓存区,包括:
8.一种用于存储控制芯片的数据重构装置,其特征在于,包括以下模块:
9.一种用于存储控制芯片的数据重构设备,所述设备包括存储器、处理器,其特征在于,所述存储器上存储有计算机程序,所述计算机程序在被处理器执行时,实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,所述可读存储介质上存储有计算机程序,其特征在于,所述计算机程序在被处理器执行时实现如权利要求1-7任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com