一种云平台分布式存储活动段封存优化方法、设备及介质与流程

本发明涉及存储优化，特别是一种云平台分布式存储活动段封存优化方法、设备及介质。

背景技术：

1、随着工业互联网、智能制造以及工业物联网技术的发展，大量工业设备持续产生结构化或半结构化工业数据对象，工业云平台逐渐成为承载工业数据存储与处理的重要基础设施。在此背景下，基于云计算架构的分布式存储技术被广泛应用于工业数据管理领域，通过多节点协同方式实现海量工业数据对象的分布式写入、冗余备份以及高可用访问。现有分布式存储技术通常采用对象存储或块存储结构，通过数据分片、数据副本以及一致性协议实现数据可靠存储，例如将工业数据对象拆分为多个数据块并分布存储在不同存储节点，通过副本机制保证数据安全。同时，为适应工业场景下持续采集和高频写入的需求，一些分布式存储技术采用顺序写入机制或日志式写入方式，以提升数据写入效率和稳定性。

2、不过现有的存储优化仍有可以改进的地方，首先是多节点写入过程中如果存在节点写入延迟或尾部数据未完成写入的情况，容易造成数据顺序不一致或结构不完整，从而影响后续数据检索和数据追溯的准确性；其次，传统存储结构通常以数据块或对象作为基本管理中心，数据在持续写入过程中容易形成大量离散数据块，缺乏稳定的数据段边界，不利于后续数据归档和结构化管理。

技术实现思路

1、鉴于上述现有存在的问题，提出了本发明。

2、因此，本发明提供了一种云平台分布式存储活动段封存优化方法解决容易造成数据顺序不一致或结构不完整，且容易形成大量离散数据块缺乏稳定的数据段边界的问题。

3、为解决上述技术问题，本发明提供如下技术方案：

4、第一方面，本发明提供了一种云平台分布式存储活动段封存优化方法，其包括，

5、工业云平台接收工业设备发送的工业数据对象，解析后生成工业域码，根据工业域码确定目标存储域，同时向目标存储域的顺序控制器申请追加号，形成写入票据；

6、通过写入票据在目标存储域内选定主写页节点、镜像页节点和见证页节点，并按照追加号顺序将工业数据对象切分为定长页后写入主写页节点和镜像页节点，同时将包含追加号的见证页写入见证页节点，形成活动段页链；

7、当活动段页链达到预设时间窗口结束时触发封段操作，通过主写页节点、镜像页节点和见证页节点对活动段页链执行一致性校验并截断未完成尾页，从而将活动段页链固化为封存段并生成对应封存段清单；

8、依据封存段和封存段清单建立工业追溯索引，形成稳定封存段集合；

9、对稳定封存段集合执行段级同步操作，将封存段和封存段清单发送至中心云存储节点进行封存段重建并返回同步确认标记，完成工业云平台分布式存储结构的稳定归档。

10、作为本发明所述云平台分布式存储活动段封存优化方法的一种优选方案，其中：所述工业域码是通过提取工业数据对象中的工厂标识、车间标识、产线标识和工序标识，并按照预设映射规则组合生成的。

11、作为本发明所述云平台分布式存储活动段封存优化方法的一种优选方案，其中：所述形成写入票据，具体为：

12、从工业数据对象中提取工业域码与时间戳，并向目标存储域的顺序控制器提交写入申请，顺序控制器依据当前写入顺序生成唯一追加号；

13、将追加号与工业域码及时间戳进行组合封装，形成写入票据。

14、作为本发明所述云平台分布式存储活动段封存优化方法的一种优选方案，其中：所述选定主写页节点、镜像页节点和见证页节点，是指根据写入票据中的追加号在目标存储域的节点列表中执行节点映射计算，并依据映射结果分别确定主写页节点、镜像页节点和见证页节点。

15、作为本发明所述云平台分布式存储活动段封存优化方法的一种优选方案，其中：所述形成活动段页链，具体为：

16、从写入票据中获取追加号并读取工业数据对象内容，根据预设页长度对工业数据对象执行顺序切分，生成多个定长页；

17、依据追加号对定长页执行顺序编号并将定长页依次写入主写页节点和镜像页节点；

18、根据追加号和定长页编号生成见证页，并将见证页写入见证页节点，同时按照追加号顺序在定长页之间建立顺序连接关系，形成活动段页链。

19、作为本发明所述云平台分布式存储活动段封存优化方法的一种优选方案，其中：所述将活动段页链固化为封存段并生成对应封存段清单，具体为：

20、从主写页节点读取活动段页链中的定长页，从镜像页节点读取对应定长页，从见证页节点读取见证页，并按照追加号顺序对定长页序列执行顺序整理处理，形成段级页序列；

21、根据见证页序列中的追加号记录对段级页序列执行顺序一致性校验，并在校验过程中确定活动段页链中的最后有效追加号位置；

22、通过最后有效追加号位置对段级页序列执行尾页截断处理，并按照追加号连续区间确定封存段边界，生成封存段；

23、依据封存段的追加号区间、定长页数量及主写页节点与镜像页节点的节点标识信息生成段结构指纹，并将段结构指纹与追加号区间及定长页数量写入封存段清单。

24、作为本发明所述云平台分布式存储活动段封存优化方法的一种优选方案，其中：所述形成稳定封存段集合，具体为：

25、按照工业域码对封存段进行分组整理，形成封存段分组序列；

26、根据封存段分组序列中的追加号区间对封存段执行顺序连续性校验，并依据封存段清单中的段结构指纹和定长页数量信息对封存段执行结构一致性校验；

27、通过顺序连续性校验结果和结构一致性校验结果筛选有效封存段，并根据有效封存段的工业域码、追加号区间和段结构指纹建立工业追溯索引；

28、按照追加号区间顺序对有效封存段进行顺序排列，形成稳定封存段集合。

29、作为本发明所述云平台分布式存储活动段封存优化方法的一种优选方案，其中：返回同步确认标记，具体为：

30、按照追加号区间顺序将稳定封存段集合中的封存段及对应封存段清单整理为封存段同步序列；

31、将封存段同步序列中的封存段和封存段清单发送至中心云存储节点，在中心云存储节点根据封存段清单中的追加号区间、定长页数量及节点标识信息执行封存段结构重建处理；

32、根据封存段清单中的段结构指纹对重建后的封存段执行结构一致性校验，并在通过后生成同步确认标记，返回至目标存储域。

33、第二方面，本发明提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的云平台分布式存储活动段封存优化方法的任一步骤。

34、第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的云平台分布式存储活动段封存优化方法的任一步骤。

35、本发明有益效果为：通过对活动段页链在预设时间窗口结束时进行封段处理，并对多节点写入数据执行一致性校验和尾页截断，使多节点写入过程中由于节点写入延迟或尾部数据未完成写入造成的数据顺序不一致和数据结构不完整问题得到有效避免，从而保证数据结构在写入阶段即可保持稳定和完整；同时通过将连续写入的数据页链固化为具有明确边界的数据封存段，并结合封存段清单进行统一标识，使原本容易形成离散数据块的存储结构转变为具有清晰段边界的结构化数据组织方式，从而提升数据结构稳定性和数据组织有序性，并通过对封存段结构信息和定长页数据内容执行一致性校验，进一步提高数据检索准确性、数据追溯可靠性以及分布式存储环境下的数据归档效率和整体管理能力。