一种基于自动化归档的数码质检数据存储方法及系统与流程

本发明涉及数据处理，尤其涉及一种基于自动化归档的数码质检数据存储方法及系统。

背景技术：

1、在智能运维与数码产品质检领域，质检数据呈现出多维度、高并发、大规模的特征，传统数据存储方式多采用固定分类规则与静态存储架构，无法适配质检数据动态变化的分布特征与业务需求。现有存储方案未结合质检特征的分布密度进行动态分类设计，分类维度固定单一，难以对质检数据实现精准的层级化归类，导致数据检索与定位效率低下。

2、当前数码质检数据归档存储过程缺乏自适应索引构建与逻辑区块动态优化机制，数据存储区块划分依据单一，易出现存储密度不均、区块资源浪费的问题。同时，数据归档后无法根据实际存储状态进行动态重组，长期使用会造成存储结构冗余、归档效率持续下降，难以满足数码质检数据高效自动化归档与快速查询调用的实际需求。

技术实现思路

1、鉴于上述问题，本发明的目的是提供一种基于自动化归档的数码质检数据存储方法及系统，以解决现有数码质检数据存储中分类维度固定、无法适配数据动态分布特征，归档索引构建僵化、逻辑存储区块划分不合理、存储密度不均与资源浪费，以及归档后无法动态重组优化，最终导致存储与归档效率低下、查询调用速度慢的问题。

2、本发明提供的一种基于自动化归档的数码质检数据存储方法，包括：

3、步骤1：对特征抽取后的数码质检数据流进行归一化处理，得到数码质检数据流的标准化质检特征集；

4、步骤2：根据标准化质检特征集中各维度特征的分布密度，确定动态分类维度，并依据动态分类维度和标准化质检特征集中的质检判定结果，构建具有层级关系的自适应分类编码；

5、步骤3：以自适应分类编码为索引主干，将标准化质检特征集中产品批次标识和生成时序标识作为关联节点嵌入索引主干，并对关联节点进行交叉关联，得到层级化关联索引；

6、步骤4：根据层级化关联索引的索引层级结构和节点分布特征，结合自适应分类编码的层级关系，划分出逻辑存储区块，并根据层级化关联索引，将数码质检数据流自动化归档至对应的逻辑存储区块，并生成归档位置映射；

7、步骤5：基于归档位置映射，对逻辑存储区块进行存储密度分析，并根据分析结果，对数码质检数据流在逻辑存储区块中的分布状态进行动态重组优化，得到数码质检数据流的自适应归档存储结构。

8、优选地，所述对特征抽取后的数码质检数据流进行归一化处理，得到数码质检数据流的标准化质检特征集，其过程如下：

9、提取数码质检数据流中的多维度质检参数，得到数码质检数据流的初始质检特征集；

10、对初始质检特征集进行量纲识别，并依据各维度质检参数的物理量纲差异进行分组，得到数码质检数据流的量纲分组特征数据；

11、对量纲分组特征数据进行组内尺度变换，得到数码质检数据流的量纲统一特征集；

12、对量纲统一特征集进行分布中心对齐，得到数码质检数据流的标准化质检特征集。

13、优选地，所述根据标准化质检特征集中各维度特征的分布密度，确定动态分类维度，其过程如下：

14、对标准化质检特征集中的各维度特征进行取值分布扫描，识别数据聚集区间，并统计各数据聚集区间内的样本频数，得到各维度特征的分布密度信息；

15、依据分布密度信息，评估各维度特征的数据聚集区分能力，并筛选出各维度特征中数据聚集区间数量满足预设层级构建要求的维度特征，得到标准化质检特征集的候选分类维度；

16、对候选分类维度进行层级嵌套可行性校验，将各候选分类维度的数据聚集区间之间存在递进包含关系的维度特征，映射为标准化质检特征集的动态分类维度。

17、优选地，所述依据动态分类维度和标准化质检特征集中的质检判定结果，构建具有层级关系的自适应分类编码，其过程如下：

18、解析动态分类维度中数据聚集区间的区间边界与中心特征值，得到动态分类维度的层级节点候选集合；

19、对标准化质检特征集中的质检判定结果进行类别归纳，以识别质检判定结果中的类型标识，得到质检判定结果的判定类型标识集合；

20、遍历层级节点候选集合中各层级节点，将落入同一数据聚集区间的质检判定结果所对应的类型标识进行聚合，并统计各数据聚集区间与判定类型标识的共现频次，以构建节点－类型共现矩阵；

21、依据节点－类型共现矩阵中各元素值的大小关系，将具有最大共现频次的判定类型标识绑定至对应的层级节点，并依据绑定结果建立层级从属关系，得到动态分类维度的层级拓扑结构；

22、对层级拓扑结构中的各层级节点逐层赋予层级前缀码，并将层级前缀码与对应的判定类型标识进行拼接，得到具有层级关系的自适应分类编码。

23、优选地，所述以自适应分类编码为索引主干，将标准化质检特征集中产品批次标识和生成时序标识作为关联节点嵌入索引主干，并对关联节点进行交叉关联，得到层级化关联索引，其过程如下：

24、解析自适应分类编码的层级结构，将自适应分类编码中各级编码节点作为索引主干节点；

25、从标准化质检特征集中提取产品批次标识和生成时序标识；

26、依据数码质检数据流与索引主干节点的归属对应关系，将产品批次标识和生成时序标识分别写入对应的索引主干节点，得到挂载关联节点的索引主干；

27、在挂载关联节点的索引主干中，依据产品批次标识的相同性，将分布于不同索引主干节点下的相同产品批次标识进行索引跳转链接，并依据生成时序标识的时序连续性，将相邻生成时序标识进行索引递进链接，得到层级化关联索引。

28、优选地，所述根据层级化关联索引的索引层级结构和节点分布特征，结合自适应分类编码的层级关系，划分出逻辑存储区块，其过程如下：

29、解析层级化关联索引中各级索引主干节点的嵌套深度，得到索引层级结构信息；

30、统计各索引主干节点下挂载的关联节点总数量，得到节点分布密度信息；

31、读取自适应分类编码中各级编码的嵌套深度，得到编码层级深度信息；

32、依据索引层级结构信息和编码层级深度信息，将具有相同嵌套深度的索引主干节点对应的逻辑存储空间容量，聚合为候选存储区块；

33、根据节点分布密度信息，将处于同一密度聚集区间的候选存储区块进行合并，得到逻辑存储区块。

34、优选地，所述根据层级化关联索引，将数码质检数据流自动化归档至对应的逻辑存储区块，并生成归档位置映射，其过程如下：

35、根据层级化关联索引中各索引主干节点所绑定的逻辑存储区块标识之间的节点－区块对应关系，将数码质检数据流中各数据单元的路由指向对应的逻辑存储区块；

36、将数码质检数据流写入对应的逻辑存储区块，得到数码质检数据流的已归档质检数据；

37、根据已归档质检数据在逻辑存储区块中的存储路径标识，建立数码质检数据流中各数据单元与存储路径标识的指向关系，并将指向关系整合为数码质检数据流的归档位置映射。

38、优选地，所述基于归档位置映射，对逻辑存储区块进行存储密度分析，其过程如下：

39、根据归档位置映射，提取各逻辑存储区块中已归档的数码质检数据流的存储路径分布信息，得到逻辑存储区块的区块内数据分布状态；

40、对区块内数据分布状态进行容量占用统计，并将各逻辑存储区块中已归档数据量与对应逻辑存储空间容量的比值作为各逻辑存储区块的存储密度值；

41、将存储密度值进行横向对比，识别各逻辑存储区块的密度差异分布特征，得到各逻辑存储区块的存储密度分析结果。

42、优选地，所述根据分析结果，对数码质检数据流在逻辑存储区块中的分布状态进行动态重组优化，得到数码质检数据流的自适应归档存储结构，其过程如下：

43、根据存储密度分析结果中各逻辑存储区块的密度等级标识，将密度等级处于预设高密度聚集区间的逻辑存储区块标记为源区块，将密度等级处于预设低密度聚集区间的逻辑存储区块标记为目标区块；

44、根据源区块中已归档的数码质检数据流对应的自适应分类编码的层级关系，将层级关系相同的数码质检数据流迁移至同一目标区块，得到重组后的区块数据分布；

45、依据重组后的区块数据分布，更新归档位置映射中各数码质检数据流的存储路径指向，得到数码质检数据流的自适应归档存储结构。

46、本发明还提供一种基于自动化归档的数码质检数据存储系统，所述系统包括：

47、特征标准化模块，用于对特征抽取后的数码质检数据流进行归一化处理，得到数码质检数据流的标准化质检特征集；

48、分层编码构建模块，用于根据标准化质检特征集中各维度特征的分布密度，确定动态分类维度，并依据动态分类维度和标准化质检特征集中的质检判定结果，构建具有层级关系的自适应分类编码；

49、层级索引组建模块，用于以自适应分类编码为索引主干，将标准化质检特征集中产品批次标识和生成时序标识作为关联节点嵌入索引主干，并对关联节点进行交叉关联，得到层级化关联索引；

50、分区自动归档模块，用于根据层级化关联索引的索引层级结构和节点分布特征，结合自适应分类编码的层级关系，划分出逻辑存储区块，并根据层级化关联索引，将数码质检数据流自动化归档至对应的逻辑存储区块，并生成归档位置映射；

51、存储自适应优化模块，用于基于归档位置映射，对逻辑存储区块进行存储密度分析，并根据分析结果，对数码质检数据流在逻辑存储区块中的分布状态进行动态重组优化，得到数码质检数据流的自适应归档存储结构。

52、从上面的技术方案可知，本发明提供的一种基于自动化归档的数码质检数据存储方法及系统，通过对质检数据进行标准化处理、动态确定分类维度并构建层级化自适应分类编码，能够精准适配数码质检数据的分布特征，依托层级化关联索引实现数据与存储区块的高效匹配，同时结合存储密度分析完成数据分布动态重组优化，显著提升数码质检数据的自动化归档效率与存储利用率，让数据检索、查询与调用更加快速稳定，整体优化了数码质检数据的全流程存储管理效果。