一种数据迁移管理方法、装置、设备及介质与流程
本发明涉及数据管理,尤其涉及一种数据迁移管理方法、装置、设备及介质。
背景技术:
1、随着新型电力系统和数字电网建设的推进,变电站、输电线路、配电台区以及新能源场站等场景中部署了大量视频监测设备,并产生海量电力视频数据及对应的元数据。电力视频存储的元数据承载了视频资源检索、业务关联、告警定位和智能分析调用等功能,是电力视频业务系统高效运行的重要数据基础。
2、现有电力视频存储元数据管理方法通常基于数据库管理系统或分布式存储系统实现,通过采用分库分表、哈希分片、范围划分以及副本存储等方式,将大规模元数据按照预设规则划分至不同存储节点中。其中,数据分片方式通常依据元数据标识、时间信息或文件路径等固定属性确定数据存储位置,副本机制通过在多个节点保存相同数据以提高数据可靠性。同时,为缓解分布式存储环境中的节点压力,部分方法根据节点存储容量、访问请求数量等指标进行数据迁移,以实现存储节点之间的负载调整。
3、然而,现有电力视频元数据管理方法主要采用静态数据划分和固定负载调节方式,难以适应超大规模电力视频场景下元数据访问行为动态变化的问题。一方面,当设备异常、线路故障、灾害预警或现场作业风险等事件发生时,相关区域的视频元数据可能被多个业务系统集中访问,形成访问热点,而传统静态分片方式难以及时调整数据分布,容易造成部分节点负载过高、热点数据响应延迟增加;另一方面,现有负载均衡方法通常依据节点容量或请求数量等单一指标进行迁移,未综合考虑元数据对象重要程度、访问热度变化、分片负载差异、节点可靠性、迁移成本以及副本一致性等因素,容易导致数据频繁迁移、负载波动等问题。
技术实现思路
1、本发明提供了一种数据迁移管理方法、装置、设备及介质,以实现对数据迁移过程的综合评估,提高迁移策略确定的合理性。
2、根据本发明的一方面,提供了一种数据迁移管理方法,包括:
3、获取电力视频存储元数据,并根据电力视频存储元数据对应各存储节点内各电力视频的综合评价值、访问权限复杂度和存储规模生成电力视频的分片权重;
4、根据存储节点和电力视频的存储对应关系和各电力视频的分片权重确定对应各存储节点的已承载分片总权重;
5、基于已承载分片总权重和存储节点的系统负载数据生成对应存储节点的系统综合负载势能,按照系统综合负载势能构建不同存储节点间进行电力视频迁移的收益函数模型;
6、根据各存储节点的节点容量约束和收益函数模型的最小系统负载方差函数确定各存储节点间迁移电力视频的迁移策略。
7、根据本发明的另一方面,提供了一种数据迁移管理装置,包括:
8、分片权重生成模块,用于获取电力视频存储元数据,并根据电力视频存储元数据对应各存储节点内各电力视频的综合评价值、访问权限复杂度和存储规模生成电力视频的分片权重;
9、分片总权重生成模块,用于根据存储节点和电力视频的存储对应关系和各电力视频的分片权重确定对应各存储节点的已承载分片总权重;
10、收益函数模型构建模块,用于基于已承载分片总权重和存储节点的系统负载数据生成对应存储节点的系统综合负载势能,按照系统综合负载势能构建不同存储节点间进行电力视频迁移的收益函数模型;
11、迁移策略确定模块,用于根据各存储节点的节点容量约束和收益函数模型的最小系统负载方差函数确定各存储节点间迁移电力视频的迁移策略。
12、根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
13、至少一个处理器;以及
14、与所述至少一个处理器通信连接的存储器;其中,
15、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的数据迁移管理方法。
16、根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据迁移管理方法。
17、本发明实施例提供的一种数据迁移管理方法,通过获取电力视频存储元数据,并根据电力视频存储元数据对应各存储节点内各电力视频的综合评价值、访问权限复杂度和存储规模生成电力视频的分片权重;根据存储节点和电力视频的存储对应关系和各电力视频的分片权重确定对应各存储节点的已承载分片总权重;基于已承载分片总权重和存储节点的系统负载数据生成对应存储节点的系统综合负载势能,按照系统综合负载势能构建不同存储节点间进行电力视频迁移的收益函数模型;根据各存储节点的节点容量约束和收益函数模型的最小系统负载方差函数确定各存储节点间迁移电力视频的迁移策略。通过采用上述技术方案,能够获取电力视频存储元数据对应的各存储节点内各电力视频的综合评价值、访问权限复杂度和存储规模,生成电力视频的分片权重,实现对各电力视频存储元数据分片重要程度的综合量化;通过存储节点和电力视频的存储对应关系以及分片权重,能够生成各存储节点的已承载分片总权重,并结合存储节点的系统负载数据生成对应的系统综合负载势能,能够考虑电力视频存储元数据的综合评价值、访问权限复杂度和存储规模,实现对各存储节点当前负载状态的综合评估,并根据系统综合负载势能构建不同存储节点间进行电力视频迁移的收益函数模型,实现基于节点负载势能差异的迁移收益计算,确定电力视频分片迁移策略,提高迁移策略的合理性。
18、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种数据迁移管理方法,其特征在于,包括:
2.根据权利要求1所述方法,其特征在于,所述根据所述电力视频存储元数据对应各存储节点内各电力视频的综合评价值、访问权限复杂度和存储规模生成所述电力视频的分片权重,包括:
3.根据权利要求1所述方法,其特征在于,所述根据所述存储节点和所述电力视频的存储对应关系和各所述电力视频的所述分片权重确定对应各所述存储节点的已承载分片总权重,包括:
4.根据权利要求1所述方法,其特征在于,所述基于所述已承载分片总权重和所述存储节点的系统负载数据生成对应所述存储节点的系统综合负载势能,按照所述系统综合负载势能构建不同存储节点间进行电力视频迁移的收益函数模型,包括:
5.根据权利要求1所述方法,其特征在于,所述根据各所述存储节点的节点容量约束和所述收益函数模型的最小系统负载方差函数确定各所述存储节点间迁移所述电力视频的迁移策略,包括:
6.根据权利要求1所述方法,其特征在于,还包括:
7.根据权利要求6所述方法,其特征在于,所述根据所述标准副本数量和所述当前副本数量对各所述电力视频的副本存储情况进行调整,包括:
8.一种数据迁移管理装置,其特征在于,包括:
9.一种电子设备,其特征在于,所述电子设备包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据迁移管理方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com