一种基于细胞单元的多规格异构存储方法、装置及设备与流程

摘要: 本技术涉及计算机数据存储,特别涉及一种基于细胞单元的多规格异构存储方法、装置及设备。更具体地,本技术涉及在不同数据规模、不同访问特征以及不同存储介质并存的环境中...
一种基于细胞单元的多规格异构存储方法、装置及设备与流程

本技术涉及计算机数据存储,特别涉及一种基于细胞单元的多规格异构存储方法、装置及设备。更具体地,本技术涉及在不同数据规模、不同访问特征以及不同存储介质并存的环境中,对数据存储单元进行规格选择、自描述封装、索引组织、分层存储、读取定位和动态迁移的技术。本技术所述技术方案可以应用于分布式存储、异构内存管理、统一内存架构、高并发缓存、人工智能记忆持久化、大模型权重或上下文存储、边缘计算、物联网数据采集、车载域控制器数据管理以及跨平台数据交换等场景。本技术并不限定具体操作系统、处理器架构、存储介质类型或业务数据类型。在本技术中,“细胞单元”是对一种数据存储单元的描述性命名,并非生物学意义上的细胞。所述细胞单元至少包括用于承载自描述信息的元数据区以及用于承载业务数据的载荷区。在部分实施例中,可以将元数据区称为细胞核元数据区,将载荷区称为细胞质载荷区;该命名仅用于便于理解,不构成对数据结构或实现方式的限制。

背景技术:

1、相关技术中,文件系统、数据库或对象存储系统通常将元数据与数据内容分别组织。例如,文件系统通过索引节点、目录项或块映射表记录数据块位置,数据库通过b+树、哈希表、日志结构合并树或其他外部索引结构维护键值与物理位置之间的对应关系。该类方案能够满足常规存储需求,但当外部索引发生损坏、版本不一致或同步延迟时,数据内容可能仍然存在而定位信息已经不可用,进而增加数据恢复和跨系统迁移的难度。

2、相关序列化格式还可能采用变长字段、字段描述符或长度前缀。变长编码有利于减少部分冗余空间,但读取任意字段时往往需要解析前序字段、读取长度描述或者遍历字段目录。在高并发随机读取、图形处理器批量扫描、嵌入式实时控制等场景中,字段边界不固定会增加解析分支和内存访问次数,使访问时延难以预测。

3、此外,不同业务数据的尺寸差异较大。传感器状态、索引标识或控制指令可能仅占用几十字节,对话片段、多模态特征或缓存对象可能占用数百字节至数千字节,图像块、模型参数块或归档对象则可能占用数兆字节甚至更大空间。若采用单一块规格,小数据可能产生较大的内部碎片,大数据又可能被拆分为大量小块,导致索引条目数量、链式遍历深度和迁移次数增加。

4、在异构存储环境中,高性能存储资源、通用存储资源和持久化存储资源的访问时延、容量、带宽、能耗成本及价格通常不同。例如,显存或高带宽内存适于保存高频访问数据,通用内存适于保存温数据,固态存储适于保存低频访问或归档数据。若全部数据长期驻留于高性能存储资源,会造成容量与能耗浪费;若依据固定时间简单淘汰,又可能使业务关键数据过早进入低速存储层级。

5、数据访问热度还具有动态变化特征。同一数据在生成初期可能被频繁读取,在业务阶段结束后可能长期不再访问;已经沉降的数据也可能因新任务、异常事件或用户请求而再次变热。仅依据一次访问频率统计,难以兼顾读取强度、写入变化、时间衰减、业务优先级及生命周期保护等因素,并容易在临界状态下产生频繁升降迁移。

6、在车载微控制器、低功耗传感器或实时操作系统节点中,处理能力、运行内存和通信带宽受到限制,完整元数据结构可能占用过多资源。但若边缘节点使用完全不同的数据格式,上传至云端后又需要进行复杂转换,难以保持身份、校验、规格和位置关系的一致性。

7、同时,跨平台存储系统需要面对不同字节序、缓存行长度、页尺寸、存储块粒度和通信报文粒度。若元数据结构依赖编译器默认对齐或平台私有结构,数据从一种硬件架构迁移至另一种硬件架构时容易出现字段错位、解析失败或额外转换成本。

8、因此,需要一种能够面向多规格数据和多级存储资源的数据存储方案,使数据单元自身携带可固定定位的自描述字段,能够根据数据规模、访问属性和存储环境选择适当规格,并能够基于动态热度在不同级存储资源之间迁移,以降低外部索引依赖、空间浪费和高性能存储资源占用。

技术实现思路

1、鉴于以上所述现有技术的不足,本技术的目的在于提供一种基于细胞单元的多规格异构存储方法、装置及设备,以至少解决多规格数据难以统一组织、元数据与载荷分离导致定位依赖外部索引、异构存储资源利用不均以及动态访问数据缺乏细粒度迁移机制中的一项或多项问题。

2、为实现上述目的及其他相关目的,本技术的一方面提供一种基于细胞单元的多规格异构存储方法。所述方法包括:获取待存储数据,并提取所述待存储数据的数据规模、访问属性和存储环境参数;基于所述数据规模、访问属性和存储环境参数,在多级细胞规格中确定目标细胞规格;按照所述目标细胞规格构建细胞单元,所述细胞单元包括元数据区和载荷区,所述载荷区用于存储所述待存储数据,所述元数据区被配置为具有预设基准长度的整数倍长度的定长元数据头部;

3、在所述定长元数据头部的基准元数据段内,按照预设字段偏移写入自描述字段;其中,所述自描述字段至少包括用于标识所述细胞单元的身份字段、用于表征所述细胞单元访问状态的访问状态字段、用于表征所述目标细胞规格的规格字段、用于表征所述细胞单元存储位置或存储层级的存储管理字段,以及用于表征所述细胞单元生命周期状态的生命周期字段;。

4、根据所述基准元数据段生成元数据索引,并基于所述存储管理字段,将所述细胞单元写入冷热升降池中对应存储资源的第一存储区,将所述元数据索引写入所述冷热升降池中对应存储资源的第二存储区;其中,所述冷热升降池包括至少两级存储资源;

5、在读取所述待存储数据时,基于读取请求中的身份信息与所述元数据索引执行元数据优先匹配,并在匹配命中后,基于所述元数据索引和/或所述存储管理字段定位对应的细胞单元,读取所述细胞单元的载荷区,并更新所述访问状态字段;基于更新后的访问状态字段、所述生命周期字段、时效衰减参数和业务优先级参数计算所述细胞单元的热度;并根据所述热度将所述细胞单元在所述冷热升降池的不同级存储资源之间进行迁移。

6、于本技术的一些实施例中,所述数据规模可以包括数据长度、数据类型、预计分片数量和载荷边界中的至少一种。所述访问属性可以包括预计读取频率、预计写入频率、访问时延要求、业务优先级、生命周期策略和安全等级中的至少一种。所述存储环境参数可以包括存储资源层级、容量状态、带宽状态、访问时延、能耗成本、数据对齐粒度和可用迁移带宽中的至少一种。

7、于本技术的一些实施例中,所述预设基准长度可以根据目标存储资源的数据对齐粒度、缓存行长度、页尺寸、存储块粒度或通信报文粒度中的至少一种确定。例如,预设基准长度可以为64b、128b、256b或其他能够满足目标平台对齐要求的长度。定长元数据头部的总长度为预设基准长度的整数倍,且其前部设置用于保存基础自描述字段的基准元数据段,基准元数据段之后可以设置一个或多个扩展元数据段。

8、于本技术的一些实施例中,各自描述字段在基准元数据段内具有预先定义的字段类型、字段顺序、字段长度和字段偏移关系。除身份字段、访问状态字段、规格字段、存储管理字段和生命周期字段之外,自描述字段还可以包括时间字段、内容校验字段、来源分类字段、访问权限字段、关联关系字段、语义字段以及位置字段中的至少一种。

9、于本技术的一些实施例中,多级细胞规格包括按预设阶梯递增的多个候选规格。系统首先筛选能够容纳待存储数据、定长元数据头部以及可选索引区的候选细胞规格,再依据空间利用率、访问开销、迁移成本及硬件对齐情况进行评估,从中确定目标细胞规格。所述预设阶梯可以为二倍递增阶梯,也可以为根据业务数据分布设置的非等比阶梯。

10、于本技术的一些实施例中,所述细胞单元还包括索引区,所述索引区用于记录所述细胞单元与其他细胞单元之间的关联关系或拓扑关系。索引区可以设置于载荷区之后,也可以作为扩展元数据段的一部分。索引区可以包括链式后继指针、链式前驱指针、子单元标识、父单元标识、关联对象标识、链路统计信息和拓扑校验信息中的至少一种。

11、于本技术的一些实施例中,所述元数据索引由基准元数据段中的至少部分字段生成,索引条目可以包括身份字段、规格字段、存储管理字段、访问权限字段、内容校验字段和生命周期字段中的至少部分字段。元数据索引用于在读取阶段执行元数据优先匹配,并在匹配命中后定位第一存储区中的完整细胞单元。

12、于本技术的一些实施例中,所述冷热升降池包括高性能存储资源、通用存储资源和持久化存储资源中的至少两种。高性能存储资源可以包括显存、高带宽内存、片上存储或高速缓存;通用存储资源可以包括动态随机存取存储器或其他系统内存;持久化存储资源可以包括固态硬盘、非易失性存储器、硬盘或远端对象存储。

13、于本技术的一些实施例中,各级存储资源分别设置第一存储区和第二存储区。第一存储区保存包括元数据区和载荷区的完整细胞单元,第二存储区保存从基准元数据段生成的元数据索引。完整细胞单元与元数据索引可以位于相同物理介质的不同逻辑区域,也可以位于同一存储层级的不同设备或不同地址空间。

14、于本技术的一些实施例中,系统还建立独立于细胞单元的全局存储映射表。所述全局存储映射表以身份字段为索引,用于记录细胞单元在不同级存储资源中的存储位置、备份位置、校验信息和迁移状态。当细胞单元发生迁移时,系统同步更新全局存储映射表和对应细胞单元的存储管理字段,以保持索引、完整数据和映射关系的一致性。

15、于本技术的一些实施例中,读取时先根据读取请求中的身份信息,在目标存储资源的第二存储区中匹配元数据索引;若匹配命中,则根据索引条目确定第一存储区及存储位置;若未匹配命中,则按照存储资源层级顺序在其他级存储资源中继续匹配。所述身份信息可以为全局标识、对象句柄、路径哈希、内容指纹、语义索引或上述信息的组合。

16、于本技术的一些实施例中,系统将热度满足回升条件的细胞单元迁移至更高性能级存储资源,将热度满足沉降条件且未受到生命周期字段限制的细胞单元迁移至更低成本级存储资源。回升阈值与沉降阈值可以不同,以形成迟滞区间,减少细胞单元在相邻存储层级之间频繁往返。

17、于本技术的一些实施例中,在资源受限边缘节点中,可以根据基准元数据段生成投影元数据段。投影元数据段保留身份字段、访问状态字段、内容校验字段、规格字段、对象句柄字段和位置字段中的至少部分字段。当投影元数据段无法满足读取或迁移定位需求时,边缘节点向上级节点发起回源补全请求,获得定长元数据头部中的补全字段。

18、本技术的另一方面提供一种基于细胞单元的多规格异构存储装置。所述装置包括参数提取模块、规格确定模块、细胞构建模块、字段写入模块、索引存储模块、读取更新模块和热度迁移模块。各模块可以由软件程序、硬件逻辑或软硬件组合实现,也可以由一个处理器上的不同程序单元实现。

19、于本技术的一些实施例中,所述装置还包括全局映射表模块、边缘投影模块和安全分发模块中的至少一种。安全分发模块可以生成不包括直接物理存储位置字段的安全表头拷贝,并对基于所述安全表头拷贝发起的数据读取请求执行访问控制校验。

20、本技术的又一方面提供一种计算机设备,所述计算机设备包括处理器和存储器,存储器中存储有至少一条计算机程序,所述计算机程序由处理器加载并执行以实现上述方法。本技术还提供一种计算机可读存储介质以及一种芯片,所述计算机可读存储介质或芯片中保存的程序指令被执行时,实现上述方法中的至少部分步骤。

21、如上所述,本技术具有以下有益效果:通过将基础自描述字段设置于固定偏移的基准元数据段,能够在不解析变长字段目录的情况下直接读取目标字段,提高跨平台解析和批量扫描的确定性;通过多级细胞规格,可以根据数据规模和硬件边界选择适当存储单元,减少内部碎片或过度分片;通过将完整细胞单元和元数据索引分别存入第一存储区和第二存储区,可以在读取载荷前先完成轻量化元数据筛选;通过基于热度的升降迁移,可以使高频或高优先级数据驻留于高性能存储层,使低频数据迁移至低成本存储层;通过边缘投影及回源补全,可以兼顾资源受限节点的本地运行和上级节点的完整管理。