数据备份系统的数据清理方法、装置以及电子设备与流程
本技术涉及大数据领域,具体而言,涉及一种数据备份系统的数据清理方法、装置以及电子设备。
背景技术:
1、obs(object storage service,对象存储服务),是一种用于存储非结构化数据(如图片、视频、日志、备份文件等)的云存储服务。由于obs具有海量存储、高可用性、低成本等特点,因此在银行等金融机构中常用作数据备份系统,存储数据库备份集、日志文件、文档等非结构化数据。
2、在金融机构数字化转型进程中,随着数据库实例数量与数据规模呈指数级增长,使得obs频繁处于过载临界状态,一旦obs的存储空间使用率超过阈值,obs将转为只读模式,从而阻断新的备份任务写入并引发数据安全隐患。因此,需要及时的清理obs中存储的数据,避免obs转为只读模式。
3、然而,当前在对obs中存储的数据进行清理的时候,通常依赖运维人员登录obs后端手动删备份数据,或登录数据库前端人工缩短备份保留期限以释放空间,但是,上述人工干预方式不仅存在误删备份数据的风险,并且操作效率低下、易出错,进而影响obs的运行状态。
4、针对相关技术中对数据备份系统中的数据进行清理的准确性和操作效率较低的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本技术的主要目的在于提供一种数据备份系统的数据清理方法、装置以及电子设备,以解决相关技术中对数据备份系统中的数据进行清理的准确性和操作效率较低的问题。
2、为了实现上述目的,根据本技术的一个方面,提供了一种数据备份系统的数据清理方法。该方法包括:获取数据备份系统的初始存储空间使用率和数据监测阈值,并判断初始存储空间使用率是否大于等于数据监测阈值;在初始存储空间使用率大于等于数据监测阈值的情况下,根据m个数据库的数据备份状态识别数据备份系统中存储的第一备份数据集合,得到至少一个第一备份数据集合,其中,数据备份系统用于存储m个数据库的备份数据集合,m为正整数;对数据备份系统中的至少一个第一备份数据集合执行数据清理操作,得到更新后的数据备份系统,并判断更新后的数据备份系统的目标存储空间使用率是否大于等于数据监测阈值;在目标存储空间使用率大于等于数据监测阈值的情况下,根据各个数据库的备份数据的数量识别数据备份系统中存储的第二备份数据集合,得到至少一个第二备份数据集合;对更新后的数据备份系统中的至少一个第二备份数据集合执行数据清理操作,直至更新后的数据备份系统的目标存储空间使用率小于数据监测阈值。
3、可选地,根据m个数据库的数据备份状态识别数据备份系统中存储的第一备份数据集合,得到至少一个第一备份数据集合包括:对于任意一个数据库,判断数据库在备份软件中是否存在第三备份数据集合;在数据库在备份软件中不存在第三备份数据集合的情况下,确定数据库在数据备份系统中的备份数据集合不是第一备份数据集合;在数据库在备份软件中存在第三备份数据集合的情况下,确定数据库在数据备份系统中的备份数据集合为第一备份数据集合。
4、可选地,对数据备份系统中的至少一个第一备份数据集合执行数据清理操作,得到更新后的数据备份系统包括:对于任意一个数据库,在数据库在备份软件中存在第三备份数据集合的情况下,获取数据库的第一备份数据集合和第三备份数据集合的交集,得到第一交集数据;获取第一备份数据集合中时间戳最晚的数据,得到第一目标数据;判断第一交集数据中是否存在第一目标数据;在第一交集数据中不存在第一目标数据的情况下,删除数据备份系统中第一备份数据集合中的第一交集数据,得到更新后的数据备份系统;在第一交集数据中存在第一目标数据的情况下,删除第一交集数据中的第一目标数据,得到第二交集数据,并删除数据备份系统中第一备份数据集合中的第二交集数据,得到更新后的数据备份系统。
5、可选地,对数据备份系统中的至少一个第一备份数据集合执行数据清理操作,得到更新后的数据备份系统包括:获取各个第一备份数据集合的第一数据量,并按照第一数据量由大到小的顺序将至少一个第一备份数据集合进行排序,得到第一处理序列;按照第一处理序列依次对各个第一备份数据集合执行数据清理操作,并在对每个第一备份数据集合执行数据清理操作后,判断更新后的数据备份系统的目标存储空间使用率是否大于等于数据监测阈值;在目标存储空间使用率大于等于数据监测阈值的情况下,继续执行按照第一处理序列依次对各个第一备份数据集合执行数据清理操作的步骤,直至目标存储空间使用率小于数据监测阈值,或者第一处理序列中的全部第一备份数据集合均完成数据清理操作;在目标存储空间使用率小于数据监测阈值的情况下,终止对数据备份系统的数据清理操作,得到更新后的数据备份系统。
6、可选地,根据各个数据库的备份数据的数量识别数据备份系统中存储的第二备份数据集合,得到至少一个第二备份数据集合包括:对于任意一个数据库,获取数据库在数据备份系统中的备份数据的数量,并判断数量是否大于预设阈值;在数量大于预设阈值的情况下,确定数据库在数据备份系统中的备份数据集合为第二备份数据集合;在数量小于等于预设阈值的情况下,确定数据库在数据备份系统中的备份数据集合不是第二备份数据集合。
7、可选地,对更新后的数据备份系统中的至少一个第二备份数据集合执行数据清理操作包括:获取数据备份系统的初始存储空间使用率的增长速度和备份软件的平均备份速度;对于任意一个第二备份数据集合,获取第二备份数据集合中的时间戳早于预设时刻的历史备份数据;根据历史备份数据的第二数据量和平均备份速度确定第一备份时长;根据增长速度和第一备份时长确定目标存储空间使用率的增长量;根据增长量和目标存储空间使用率确定预测存储空间使用率,并判断预测存储空间使用率是否大于只读状态触发阈值;在预测存储空间使用率小于等于只读状态触发阈值的情况下,将历史备份数据备份至备份软件的目标地址中,并在完成备份操作后,删除数据备份系统中的历史备份数据,其中,目标地址为第二备份数据集合所属的数据库在备份软件中的数据备份地址。
8、可选地,对更新后的数据备份系统中的至少一个第二备份数据集合执行数据清理操作包括:获取各个第二备份数据集合的第三数据量,并按照第三数据量由大到小的顺序将至少一个第二备份数据集合进行排序,得到第二处理序列;按照第二处理序列依次对各个第二备份数据集合执行数据清理操作,并在对每个第二备份数据集合执行数据清理操作后,判断更新后的数据备份系统的目标存储空间使用率是否大于等于数据监测阈值;在目标存储空间使用率大于等于数据监测阈值的情况下,继续执行按照第二处理序列依次对各个第二备份数据集合执行数据清理操作的步骤,直至目标存储空间使用率小于数据监测阈值,或者第二处理序列中的全部第二备份数据集合均完成数据清理操作;在目标存储空间使用率小于数据监测阈值的情况下,终止对数据备份系统的数据清理操作。
9、为了实现上述目的,根据本技术的另一方面,提供了一种数据备份系统的数据清理装置。该装置包括:第一判断单元,用于获取数据备份系统的初始存储空间使用率和数据监测阈值,并判断初始存储空间使用率是否大于等于数据监测阈值;第一识别单元,用于在初始存储空间使用率大于等于数据监测阈值的情况下,根据m个数据库的数据备份状态识别数据备份系统中存储的第一备份数据集合,得到至少一个第一备份数据集合,其中,数据备份系统用于存储m个数据库的备份数据集合,m为正整数;第二判断单元,用于对数据备份系统中的至少一个第一备份数据集合执行数据清理操作,得到更新后的数据备份系统,并判断更新后的数据备份系统的目标存储空间使用率是否大于等于数据监测阈值;第二识别单元,用于在目标存储空间使用率大于等于数据监测阈值的情况下,根据各个数据库的备份数据的数量识别数据备份系统中存储的第二备份数据集合,得到至少一个第二备份数据集合;执行单元,用于对更新后的数据备份系统中的至少一个第二备份数据集合执行数据清理操作,直至更新后的数据备份系统的目标存储空间使用率小于数据监测阈值。
10、为了实现上述目的,根据本技术的另一方面,提供了一种电子设备,电子设备包括存储器,存储有可执行程序;处理器,用于运行程序,其中,程序运行时执行上述的数据备份系统的数据清理方法。
11、为了实现上述目的,根据本技术的另一方面,提供了一种计算机程序产品,包括计算机指令,计算机指令被处理器执行时实现上述的数据备份系统的数据清理方法的步骤。
12、在本技术实施例中,采用获取数据备份系统的初始存储空间使用率和数据监测阈值,并判断初始存储空间使用率是否大于等于数据监测阈值;在初始存储空间使用率大于等于数据监测阈值的情况下,根据m个数据库的数据备份状态识别数据备份系统中存储的第一备份数据集合,得到至少一个第一备份数据集合,其中,数据备份系统用于存储m个数据库的备份数据集合,m为正整数;对数据备份系统中的至少一个第一备份数据集合执行数据清理操作,得到更新后的数据备份系统,并判断更新后的数据备份系统的目标存储空间使用率是否大于等于数据监测阈值;在目标存储空间使用率大于等于数据监测阈值的情况下,根据各个数据库的备份数据的数量识别数据备份系统中存储的第二备份数据集合,得到至少一个第二备份数据集合;对更新后的数据备份系统中的至少一个第二备份数据集合执行数据清理操作,直至更新后的数据备份系统的目标存储空间使用率小于数据监测阈值的方式,通过自动监测存储空间使用率,在达到阈值时依据数据备份状态及备份数据的数量分级识别备份数据集合,并执行针对性清理操作直至使用率降低,达到了在数据备份系统的存储空间过载时,自动识别并清理备份数据以释放存储空间的目的,从而实现了提高数据清理操作的准确性和操作效率的技术效果,进而解决了相关技术中对数据备份系统中的数据进行清理的准确性和操作效率较低的技术问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com