一种基于数字孪生的全闪存元数据管理方法与流程

本发明涉及数据存储与元数据管理，尤其涉及一种基于数字孪生的全闪存元数据管理方法。

背景技术：

1、随着云计算、数据库及人工智能业务对低时延和高并发存储的需求增长，全闪存系统中的地址映射页、版本记录和事务日志等元数据持续增加，元数据寻址、更新与故障恢复逐渐成为影响系统性能和一致性的关键环节。

2、现有技术已分别提出缓存索引、持久化及日志恢复方案。例如，cn118245387a采用目录、段和桶构成哈希索引，并通过加锁、有效位持久化和版本校验降低全闪存阵列访问延迟；cn115576489a采用哈希链表、数据缓冲和元数据库固化处理nvme全闪存数据；cn102012849a通过日志区、检查点和启动扫描恢复闪存数据库。

3、但是，实际业务中的连续元数据操作通常同时涉及寻址依赖、版本依赖和事务提交依赖，现有方案多围绕单次索引访问、缓存读写或日志扫描展开，难以准确限定当前事务必须处理的元数据范围；缓存驻留、映射合并、事务拆分和版本释放等动作并存时，缺少随元数据状态变化约束动作先后关系的机制，容易产生无效动作、持久化次序冲突或原子事务破坏；发生故障后，也难以依据本次事务的必要元数据范围定向补全未闭合的寻址、版本及事务提交关系，导致恢复扫描范围较大、回滚粒度较粗且恢复时间不稳定。

4、因此，如何提供一种基于数字孪生的全闪存元数据管理方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于数字孪生的全闪存元数据管理方法，本发明充分利用数字孪生、图神经网络和强化学习技术，构建动态元数据关联图及双态元数据数字孪生体，生成元数据关键路径闭包并规划目标元数据管理轨迹，实现元数据有序提交与故障恢复，具备寻址效率高、事务一致性强、提交可靠性高和故障恢复速度快的优点。

2、根据本发明实施例的一种基于数字孪生的全闪存元数据管理方法，包括如下步骤：

3、步骤一：采集全闪存系统中的元数据操作，按照操作时序生成元数据操作序列；

4、步骤二：依据寻址依赖、版本依赖及事务提交依赖构建动态元数据关联图，并建立包含实际状态和影子状态的双态元数据数字孪生体；

5、步骤三：将元数据操作序列和动态元数据关联图输入改进型todyformer模型，经依赖门控、局部消息传递及跨片段时序注意力生成元数据寻址路径，按照路径置信度扩展依赖，并以事务提交屏障和有效映射根节点可达为闭合条件生成元数据关键路径闭包；

6、步骤四：依据元数据关键路径闭包的节点拓扑及操作前置关系生成候选元数据管理动作集合和因果动作掩码；

7、步骤五：将元数据关键路径闭包、候选元数据管理动作集合和因果动作掩码输入改进型efficientzero v2模型，经闭包状态编码、影子状态转移及掩码树搜索生成动作序列分支，剪除违反持久化顺序和原子事务完整性的动作序列分支，确定目标元数据管理轨迹；

8、步骤六：按照目标元数据管理轨迹及元数据关键路径闭包的拓扑顺序更新元数据，写入提交锚点，在持久化确认后切换有效映射根节点，生成元数据提交结果；

9、步骤七：根据元数据提交结果校准双态元数据数字孪生体，发生故障时依据提交锚点恢复元数据关键路径闭包内未闭合的元数据关联关系。

10、可选的，所述步骤一具体包括：

11、从映射管理接口、版本管理接口和事务管理接口获取元数据操作，将元数据操作转换为包括操作标识、事务标识、元数据对象标识、操作类型、操作时间戳、事务内操作序号和前序元数据对象标识的元数据事件；

12、采用混合逻辑时钟统一元数据事件的操作时间戳，采用哈希摘要合并重复元数据事件，并根据事务日志补充缺失的前序元数据对象标识；

13、按照混合逻辑时钟、事务内操作序号和元数据操作依赖顺序对元数据事件进行排序，生成元数据操作序列。

14、可选的，所述步骤二具体包括：

15、以地址映射页、版本记录、事务日志记录、事务提交记录和映射根记录建立元数据节点，根据元数据节点之间的查找关系、版本继承关系和持久化先后关系分别建立寻址依赖边、版本依赖边和事务提交依赖边，生成动态元数据关联图；

16、根据元数据操作序列增量更新元数据节点和依赖边，并将完成持久化且能够由当前有效映射根节点到达的元数据节点和依赖边同步为实际状态；

17、采用写时复制方法基于实际状态建立影子状态，并建立相互隔离的影子状态分支，将动态元数据关联图、实际状态、影子状态及实际状态与影子状态之间的节点映射关系组成双态元数据数字孪生体。

18、可选的，所述步骤三具体包括：

19、构建包括元数据操作嵌入层、依赖类型门控层、关系图注意力层、跨片段时序注意力层、元数据寻址路径解码层和闭包生成层的改进型todyformer模型；

20、元数据操作嵌入层对元数据操作序列和实际状态进行编码，生成元数据操作表示和元数据节点表示；

21、依赖类型门控层根据元数据操作表示、元数据节点表示和依赖类型生成依赖门控值，关系图注意力层基于依赖门控值对寻址依赖、版本依赖和事务提交依赖分别执行消息聚合，生成局部依赖表示；

22、跨片段时序注意力层对不同元数据操作片段进行时序关联，融合局部依赖表示生成元数据关联表示；

23、元数据寻址路径解码层采用束搜索从当前元数据操作关联的元数据节点开始逐级扩展，生成候选元数据寻址路径集合，根据各候选元数据寻址路径中的节点选择概率和依赖门控值生成路径置信度，并根据路径置信度确定元数据寻址路径；

24、闭包生成层基于元数据寻址路径、动态元数据关联图和当前有效映射根节点生成元数据关键路径闭包。

25、可选的，所述闭包生成层具体包括：

26、将元数据寻址路径中的元数据节点加入闭包节点集合，并按照路径置信度扩展相邻有效依赖边；

27、扩展至当前事务的事务提交节点时建立事务提交屏障，将事务提交屏障之前缺失的必要前置元数据节点补入闭包节点集合，并阻断由当前事务的事务提交节点指向其他事务元数据节点的依赖边；

28、从当前有效映射根节点沿寻址依赖边搜索可达节点，对不能由当前有效映射根节点到达的闭包节点，沿反向寻址依赖补充中间元数据节点，直至当前有效映射根节点能够到达全部必要元数据节点；

29、将元数据寻址路径节点、必要前置元数据节点和补充的中间元数据节点标记为必要元数据节点；

30、检测闭包节点集合中的依赖环和版本冲突，冲突版本节点属于不同事务时保留与当前事务标识一致的版本分支，冲突版本节点属于同一事务时保留版本序号靠后的版本分支，版本序号相同时保留路径置信度较高的版本分支，并标记被排除版本分支对应的冲突依赖边；

31、对闭包节点集合执行拓扑排序，在必要元数据节点均位于当前事务的事务提交屏障之前、当前有效映射根节点能够到达全部必要元数据节点且拓扑排序成功时，生成包括必要元数据节点标记、事务提交屏障、冲突依赖边标记和闭包节点拓扑顺序的元数据关键路径闭包。

32、可选的，所述步骤四具体包括：

33、根据候选元数据寻址路径集合中各元数据节点的出现比例和路径位置生成路径贡献度，并根据路径贡献度生成缓存驻留动作和缓存移出动作；

34、根据闭包节点的事务归属、逻辑地址连续性和版本关系生成映射合并动作、事务拆分动作和版本链压缩动作，根据必要元数据节点标记依次生成提交准备动作、有效映射根节点切换动作和旧版本释放动作，组成候选元数据管理动作集合；

35、为每个候选元数据管理动作建立前置节点集合、前置动作集合、读集合和写集合，根据前置节点状态、前置动作状态、版本有效状态和读写冲突状态生成因果动作掩码，仅开放依赖条件已经满足的候选元数据管理动作，并在影子状态发生变化后重新计算因果动作掩码。

36、可选的，所述步骤五具体包括：

37、构建包括闭包状态编码层、候选动作编码层、影子状态转移层、管理代价预测层、策略价值输出层、掩码树搜索层和元数据一致性约束层的改进型efficientzero v2模型；

38、闭包状态编码层根据元数据关键路径闭包生成闭包状态向量，候选动作编码层根据候选元数据管理动作集合生成候选动作向量；

39、影子状态转移层根据闭包状态向量和候选动作向量预测下一闭包状态，并在对应影子状态分支中更新元数据节点、依赖边、必要元数据节点持久化状态和映射根节点状态；

40、管理代价预测层根据影子状态分支生成元数据寻址代价、持久化代价、事务等待代价和故障恢复代价，并对各项代价进行归一化和加权汇总，生成管理代价；

41、策略价值输出层生成动作先验值和影子状态价值，掩码树搜索层基于因果动作掩码推演候选元数据管理动作序列，元数据一致性约束层剪除违反持久化顺序或原子事务完整性的动作序列分支，根据剩余动作序列分支的管理代价和影子状态价值确定目标元数据管理轨迹。

42、可选的，所述掩码树搜索层以当前影子状态为搜索树根节点，仅将因果动作掩码开放的候选元数据管理动作作为可扩展动作，并采用puct选择函数确定当前扩展动作；

43、执行当前扩展动作后生成下一影子状态，根据下一影子状态重新确定前置节点状态、前置动作状态、版本有效状态和读写冲突状态，更新因果动作掩码；

44、元数据一致性约束层在后继元数据节点于前置元数据节点完成持久化前被提交、有效映射根节点于必要元数据节点全部完成持久化前被切换，或者旧版本元数据节点于新版本元数据节点能够由新映射根节点到达前被释放时，剪除对应动作序列分支；

45、提交准备动作对应的待提交节点集合未覆盖全部必要元数据节点，或者事务拆分动作切断需要保持原子提交的事务提交依赖边时，剪除对应动作序列分支；

46、将通过持久化顺序校验和原子事务完整性校验的动作序列按照管理代价和影子状态价值进行排序，确定目标元数据管理轨迹。

47、可选的，所述步骤六具体包括：

48、按照目标元数据管理轨迹和闭包节点拓扑顺序执行候选元数据管理动作，采用写时复制方法生成新版本元数据页，并更新必要元数据节点的持久化状态；

49、执行提交准备动作时，根据闭包节点标识、版本信息和依赖类型生成元数据关键路径闭包摘要，将元数据关键路径闭包摘要、原有效映射根节点地址、新映射根节点地址、已持久化元数据节点集合和提交序号组成提交锚点；

50、将新版本元数据页和提交锚点持久化，在确认新版本元数据页和提交锚点均完成持久化、已持久化元数据节点集合覆盖全部必要元数据节点且重新计算的元数据关键路径闭包摘要与提交锚点中的元数据关键路径闭包摘要一致时，执行有效映射根节点切换动作；

51、完成有效映射根节点切换后执行旧版本释放动作，根据目标元数据管理轨迹执行状态、有效映射根节点状态、提交锚点状态和元数据关键路径闭包内各元数据节点的最终状态生成元数据提交结果。

52、可选的，所述步骤七具体包括：

53、将元数据提交结果与目标元数据管理轨迹对应的影子状态预测结果进行比较，根据实际状态与影子状态之间的节点映射关系更新实际状态，并将状态偏差组成在线校准样本；

54、根据在线校准样本校准改进型todyformer模型的路径预测结果，并更新改进型efficientzero v2模型的模型参数；

55、发生故障时，根据有效映射根节点记录以及完整性校验通过且提交序号最大的提交锚点重建元数据关键路径闭包，确定未挂接元数据节点、版本未闭合元数据节点和提交未闭合事务；

56、全部必要元数据节点完成持久化且新映射根节点能够到达全部必要元数据节点时完成有效映射根节点切换，存在未完成持久化的必要元数据节点时保持原有效映射根节点有效，并回收未被有效映射根节点或有效版本引用的新版本元数据节点；

57、根据未挂接元数据节点补全寻址依赖边，根据版本未闭合元数据节点补全版本依赖边，根据提交未闭合事务补全事务提交依赖边并确定继续提交或回退的元数据节点；

58、在重新计算的元数据关键路径闭包摘要与提交锚点中的元数据关键路径闭包摘要一致、当前有效映射根节点能够到达全部必要元数据节点且不存在未闭合事务提交依赖边时生成元数据恢复结果，并根据元数据恢复结果更新动态元数据关联图和双态元数据数字孪生体。

59、本发明的有益效果是：

60、本发明通过构建包含实际状态和影子状态的双态元数据数字孪生体，将寻址依赖、版本依赖和事务提交依赖统一映射至动态元数据关联图，并利用改进型todyformer模型生成元数据寻址路径，再结合事务提交屏障、有效映射根节点可达、版本冲突处理和拓扑排序形成元数据关键路径闭包。该技术特征解决了现有方案难以准确界定当前事务必要元数据范围、容易遗漏前置节点或引入无关事务节点的问题，使元数据管理由全量扫描或局部经验判断转变为面向事务边界和映射可达性的闭包化处理，减少无关元数据参与寻址、持久化和恢复，提高元数据处理范围的准确性及事务提交完整性；

61、本发明进一步依据元数据关键路径闭包生成候选元数据管理动作集合和因果动作掩码，并通过改进型efficientzero v2模型在影子状态中推演动作序列，动态限制不满足前置条件的动作，剪除违反持久化顺序和原子事务完整性的分支；同时采用提交锚点绑定闭包摘要、必要元数据节点及映射根节点状态。该联动机制解决了多类元数据动作并行时顺序冲突、版本误释放及故障恢复范围过大的问题，使生成的目标元数据管理轨迹具备直接执行条件，并在故障发生后分别补全寻址依赖、版本依赖和事务提交依赖，为降低元数据写入开销、缩小恢复范围和提升全闪存系统持续运行能力提供了可靠技术基础。