一种面向大数据的计算机云存储管理方法与流程

本发明涉及计算机云存储，具体为一种面向大数据的计算机云存储管理方法。

背景技术：

1、云存储管理方法在多源大数据场景下需同时处理结构化、非结构化和半结构化数据，数据规模庞大且访问模式复杂。现有的存储管理方法通常采用固定大小的分块策略对数据进行组织，并对所有数据块实施统一的索引与调度规则。这种静态分块方式未区分数据块的访问频率差异，高频访问的热点数据与低频访问的冷数据使用相同粒度，导致热点数据在并发读取时产生大量细碎的请求冲突，响应延迟增大，而冷数据却因保留过多元数据条目浪费索引存储资源。与此同时，现有分块策略在确定分块大小时未考虑分布式存储节点的实时负载状态，无法感知节点的中央处理器利用率、内存占用等资源波动，使得分块结果与节点实际处理能力脱节，进一步加剧了节点间负载不均。在元数据索引方面，常规方法普遍依赖集中式目录或简单的一致性哈希环，仅能提供静态的位置映射，难以在数据调度时融合节点的动态负载信息。相应的，数据块调度多依据剩余存储容量或固定映射关系进行分配，缺乏针对磁盘输入输出队列深度、网络带宽利用率等实时负载指标的感知能力，调度决策滞后，导致部分节点过载而其他节点资源闲置，存储集群的整体吞吐量和资源利用效率受到限制。多源异构数据引入的多样化冗余编码需求，更是增加了分块、索引和调度协同优化的难度。因此，在云存储环境中，需要解决在多冗余存储条件下数据分块粒度随访问热度和节点负载自适应变化的问题，以及全局分布式索引与实时负载信息联合驱动的精准调度问题。

技术实现思路

1、本发明的目的在于提供一种面向大数据的计算机云存储管理方法，针对多源异构大数据云存储场景，解决现有技术中分块粒度固定无法匹配数据访问特性与节点负载变化，以及索引系统与负载调度相互分离的缺陷，实现基于冗余编码的自适应分块处理和全局分布式的负载感知调度，提升存储系统的访问效率与资源均衡利用能力。

2、为了实现上述目的，本发明提供如下技术方案：本发明提供一种面向大数据的计算机云存储管理方法，该方法包括：获取分布式存储集群中的多源大数据集合，所述多源大数据集合包含结构化数据、非结构化数据及半结构化数据；对所述多源大数据集合执行多冗余数据切片编码处理，生成多冗余数据切片集，其中所述多冗余数据切片集基于预设的冗余度阈值与数据块大小动态生成；对所述多冗余数据切片集执行数据分块策略，根据各数据块的访问频率与存储节点负载状态动态调整分块粒度，生成自适应分块数据集；对所述自适应分块数据集执行全局元数据索引构建处理，生成分布式哈希索引表，所述分布式哈希索引表包含每个数据块的物理存储位置标识及逻辑路径映射关系；基于所述分布式哈希索引表对所述自适应分块数据集执行负载感知调度处理，生成存储节点分配方案。

3、本发明通过结合多冗余切片编码与自适应分块粒度调节，能够在保障数据可靠性的前提下减少冗余开销，同时使数据块大小与访问热度、节点负载相匹配，降低高频访问场景下的输入输出延迟。通过构建分布式哈希索引表实现轻量化的元数据全局视图，支持高效的数据定位和一致性维护，配合负载感知调度将数据块分配至负载较低的存储节点，有效避免热点节点过载，均衡利用集群资源。

4、作为本发明的一个优选技术方案，所述对所述多冗余数据切片集执行数据分块策略，根据各数据块的访问频率与存储节点负载状态动态调整分块粒度，生成自适应分块数据集，具体包括：对所述多冗余数据切片集中的每个数据切片进行访问频率统计处理，生成访问频率统计值；将所述访问频率统计值与预设的高频阈值进行比对，识别出高频访问数据切片和低频访问数据切片；对所述高频访问数据切片执行细粒度分块处理，将切片大小分割至第一预设粒度值；对所述低频访问数据切片执行粗粒度分块处理，将切片大小合并至第二预设粒度值，所述第二预设粒度值大于所述第一预设粒度值；获取各存储节点的中央处理器利用率与内存占用率，生成节点负载状态向量；将所述节点负载状态向量与所述第一预设粒度值和第二预设粒度值进行融合加权计算，生成动态分块粒度参数；基于所述动态分块粒度参数对所述高频访问数据切片和低频访问数据切片进行重新分割处理，生成所述自适应分块数据集。

5、通过上述方式，高频数据切片被进一步细分为更小的块，便于并行存取与快速响应；低频数据切片合并为较大块，减少元数据管理压力和磁盘寻道开销。融合负载状态向量的加权机制使得分块粒度能够随节点负载变化自适应调整，在节点负载升高时自动增大分块粒度以减少调度碎片，保障集群整体的吞吐稳定性。优选的，在所述融合加权计算中，所述高频访问数据切片的动态分块粒度与所述节点负载状态向量呈负相关关系，从而在高负载条件下适当抑制过细粒度的分块行为，避免因过度开发而加剧资源争抢。

6、作为本发明的进一步优选方案，所述对所述自适应分块数据集执行全局元数据索引构建处理，生成分布式哈希索引表，具体包括：提取所述自适应分块数据集中每个数据块的块标识符及数据摘要值，所述数据摘要值通过哈希运算生成；将所述块标识符与所述数据摘要值进行拼接处理，生成每个数据块的元数据键值对；对所述元数据键值对执行分布式一致性哈希映射处理，将每个元数据键值对分配至对应的索引服务器节点；在所述索引服务器节点上构建本地哈希索引子表，所述本地哈希索引子表以所述元数据键值对作为索引条目；对各个索引服务器节点的本地哈希索引子表进行全局同步处理，生成所述分布式哈希索引表。

7、该索引构建方式利用数据摘要值保证块内容的唯一标识和完整性校验能力，采用一致性哈希映射使得元数据分布均匀且易于扩展，全局同步后的分布式哈希索引表能够快速提供块到物理位置的关联查询，提升数据定位效率。

8、更进一步的，所述对各个索引服务器节点的本地哈希索引子表进行全局同步处理，生成所述分布式哈希索引表，包括：获取每个索引服务器节点的本地哈希索引子表的版本号及时间戳；基于所述版本号和时间戳对各本地哈希索引子表执行差异比对处理，识别出新增、修改及删除的索引条目；将所述新增、修改及删除的索引条目封装为增量同步消息，广播至所有索引服务器节点；每个索引服务器节点接收所述增量同步消息后，对自身的本地哈希索引子表执行更新操作；对更新后的所有本地哈希索引子表执行一致性校验处理，生成所述分布式哈希索引表。

9、基于版本号和时间戳的增量同步机制仅需要传输发生变化的索引条目，大幅减少元数据同步带来的网络开销，同时最终一致性校验确保各节点索引视图的准确一致，为后续调度提供可靠依据。

10、作为本发明的另一优选技术方案，所述基于所述分布式哈希索引表对所述自适应分块数据集执行负载感知调度处理，生成存储节点分配方案，包括：从所述分布式哈希索引表中查询每个数据块的物理存储位置标识；获取各物理存储位置对应的存储节点的实时负载信息，所述实时负载信息包含磁盘输入输出队列深度及网络带宽利用率；根据所述磁盘输入输出队列深度和网络带宽利用率计算每个存储节点的负载评分；将所述自适应分块数据集中待调度的数据块按大小进行排序处理，生成待调度数据块队列；按照所述负载评分从低到高的顺序，依次从所述待调度数据块队列中取出数据块，分配至对应的存储节点。

11、通过磁盘输入输出队列深度和网络带宽利用率双重指标刻画节点负载，能够全面反映存储节点的输入输出压力和网络传输瓶颈。按负载评分由低到高分配数据块，优先将数据写入或迁移至负载较轻的节点，实现集群层面的负载均衡，缩短数据存取响应时间。

12、其中，所述根据所述磁盘输入输出队列深度和网络带宽利用率计算每个存储节点的负载评分，具体包括：将所述磁盘输入输出队列深度归一化至第一区间，生成磁盘负载因子；将所述网络带宽利用率归一化至第二区间，生成网络负载因子；对所述磁盘负载因子和网络负载因子分配权重系数，所述权重系数根据历史调度记录动态更新；将所述磁盘负载因子与对应权重系数的乘积、所述网络负载因子与对应权重系数的乘积进行求和运算，生成所述负载评分。

13、通过归一化处理消除指标量纲差异，利用历史调度记录动态更新权重系数，使负载评分更准确地反映当前业务场景下磁盘与网络资源的实际瓶颈程度。优选的，所述权重系数基于历史调度记录中磁盘输入输出等待时间与网络传输延迟的比值进行动态更新，使得调度策略能在磁盘敏感型负载与网络敏感型负载之间自动偏向，进一步提升整体数据存取性能。

14、作为本发明的优选技术方案，所述对所述多源大数据集合执行多冗余数据切片编码处理，生成多冗余数据切片集，包括：将所述多源大数据集合中的每个数据文件划分为固定大小的原始数据块；对每个原始数据块执行纠删码编码处理，生成第一冗余数据块数量；对每个原始数据块执行副本复制处理，生成第二冗余数据块数量，所述第二冗余数据块数量与所述第一冗余数据块数量之和等于预设的冗余度阈值；将所述原始数据块、第一冗余数据块及第二冗余数据块进行混合排序处理，生成所述多冗余数据切片集。

15、该混合冗余策略综合了纠删码存储开销低和副本读取速度快的优势，在达到预设冗余度要求的同时，能够根据数据重要性或访问特性灵活调整纠删码与副本的比例，兼顾存储效率和读取性能。

16、作为本发明的优选扩展方案，在生成存储节点分配方案之后，所述方法还包括：对所述存储节点分配方案中的每个存储节点执行健康状态检测处理，生成节点健康评分；当所述节点健康评分低于预设的健康阈值时，将该存储节点上的数据块迁移至其他健康评分高的存储节点；更新所述分布式哈希索引表中被迁移数据块的物理存储位置标识；将更新后的分布式哈希索引表重新广播至所有索引服务器节点。

17、引入节点健康检测与自动迁移机制，能够对故障或性能退化的节点及时做出响应，保证数据可用性和持久性；迁移后立即更新并广播索引表，确保所有索引节点都能获取最新的位置映射，避免读写请求因位置失效而中断。

18、在上述技术方案中，本发明提供的技术效果和优点：

19、对多冗余数据切片集执行数据分块策略时，通过对每个数据切片进行访问频率统计，将其划分为高频访问数据切片和低频访问数据切片，高频切片执行细粒度分块，分割至较小的第一预设粒度值，低频切片执行粗粒度分块，合并至较大的第二预设粒度值；同时获取各存储节点的中央处理器利用率和内存占用率生成节点负载状态向量，将该向量与粒度值进行融合加权计算，得到动态分块粒度参数，其中高频切片的动态分块粒度与节点负载状态向量呈负相关关系，据此对高频切片和低频切片进行重新分割，形成自适应分块数据集。这一系列处理将数据访问特性与节点实时负载纳入分块决策，使得高频数据以更小粒度分布，支持多个并发读取操作分散到不同分块上，减少单分块读取冲突和等待时间，显著提升热点数据的吞吐能力；低频数据通过粗粒度合并，大幅压缩元数据条目数量，降低元数据索引的存储开销与查询遍历成本；引入负相关的节点负载修正后，当节点负载升高时动态增大分块粒度，减少针对该节点的分块调度频次，缓解节点压力，使数据分布能够跟随节点状态自适应调节，增强系统在负载波动下的处理弹性。基于分布式哈希索引表执行负载感知调度时，从索引表中查询每个数据块的物理存储位置标识，获取对应存储节点的实时负载信息，该信息包含磁盘输入输出队列深度和网络带宽利用率；通过对磁盘输入输出队列深度和网络带宽利用率进行归一化处理生成磁盘负载因子和网络负载因子，并基于历史调度记录中磁盘输入输出等待时间与网络传输延迟的比值动态更新二者的权重系数，加权求和得到每个存储节点的负载评分；将待调度的自适应分块数据集按数据块大小排序，遵循负载评分从低到高的顺序依次取出数据块并分配至对应存储节点。这一调度机制将全局索引提供的物理映射能力与节点运行时的多维负载状态紧密结合，数据块优先向轻载节点流动，避免向磁盘队列堆积或网络带宽饱和的节点继续分配新数据块，缓解存储集群中的热点节点现象，提升整体负载均衡水平；动态权重系数使负载评分能够自适应反映当前工作负载的瓶颈类型，在磁盘瓶颈突出时加大磁盘负载因子的权重，在网络敏感阶段加大网络负载因子的权重，调度决策更贴合实际资源竞争状况，有效降低数据存取操作的排队延迟和传输耗时，提高云存储系统的服务质量与资源利用效率。