一种磁盘智能容错与数据恢复方法、系统及装置与流程
本发明涉及磁盘管理,更具体地说,它涉及一种磁盘智能容错与数据恢复方法、系统及装置。
背景技术:
1、目前工业界及学术界的磁盘容错与数据恢复技术主要分为以下三大类:
2、raid阵列磁盘冗余容错技术。作为底层存储标配技术,各类企业级磁盘阵列均搭载raid容错机制,通过磁盘硬件冗余、奇偶校验算法实现故障磁盘的数据保全。当阵列中单块磁盘出现物理故障时,系统调用剩余磁盘的校验数据进行阵列重建,恢复故障磁盘的存储逻辑,保证业务不中断。
3、全量多副本备份恢复技术。为弥补raid阵列容错局限性,超大规模数据中心、金融、政务等对数据安全性要求极高的场景,普遍采用2-3副本全量数据备份方案,将磁盘所有数据完整复制存储,独立于原存储阵列,在磁盘物理损坏、逻辑错误、数据误删、扇区损坏等各类故障场景下,通过副本拷贝完成数据恢复,是目前数据安全等级最高的通用方案。
4、传统ai辅助磁盘故障预警技术。主流商用存储系统均集成智能监测模块,依托机器学习模型对磁盘smart参数、运行日志进行统计分析,基于海量历史故障数据训练模型,实现磁盘故障的短期预测,提前告知运维人员磁盘潜在故障风险,辅助人工提前更换故障磁盘,降低数据丢失概率。
5、但是这三种技术仍然存在一些问题:
6、raid阵列容错被动滞后,重建耗时极长,双重故障风险极高。传统raid阵列属于典型的被动容错机制,仅能在磁盘完全故障、离线后触发重建流程,无任何事前预判、主动防护能力。在超大容量磁盘普及的当下,单块10tb企业级磁盘完整重建耗时长达8-12小时,重建过程全程占用阵列读写带宽,导致业务读写延迟大幅升高。同时,阵列重建期间存储系统处于容错真空期,若此时阵列内出现第二块磁盘坏道、故障、离线等问题,会直接导致整个阵列数据全盘丢失,造成不可逆的业务事故。该缺陷导致传统raid容错方案稳定性极差,无法适配7×24小时不间断运行的核心业务存储场景。
7、全量多副本备份资源损耗极大,存储利用率极低,恢复效率差。现有多副本技术为保障数据安全,必须占用2-3倍的冗余存储资源,例如100tb业务数据需配套200-300tb备份存储,整体存储利用率不足35%,大规模部署时会造成海量存储硬件资源浪费,大幅提升数据中心建设与运维成本。同时,传统副本恢复采用全量数据拷贝模式,无论故障磁盘仅局部扇区损坏还是全盘故障,均需拷贝完整副本数据,100gb常规业务数据全量恢复耗时超1小时,大型数据库、结构化文件数据恢复耗时可达数小时,严重中断核心业务运行,业务连续性无法保障。
8、现有ai存储技术应用浅层化,仅实现预警功能,无自动化容错闭环。当前商用ai辅助存储系统仅能完成磁盘故障的初步预测与风险提示,属于单一功能性应用,存在严重的技术碎片化问题。一方面,ai预测结果仅推送人工运维端,无法自动触发磁盘防护、数据迁移、故障隔离等容错操作,完全依赖人工干预,响应滞后、效率低下,人工操作失误还会引发次生故障;另一方面,现有ai模型多为通用型机器学习模型,未针对磁盘时序运行参数、故障演变规律进行定制化优化,预测精度低、误报率高,无法精准区分磁盘轻微损耗与重度故障。
技术实现思路
1、本发明提供一种磁盘智能容错与数据恢复方法,包括如下步骤:
2、s1、以预设频率,持续采集目标磁盘的运行状态参数,对采集的参数数据进行标准化处理,生成标准化的多维特征向量;
3、s2、将所述标准化特征向量输入至预先训练的lstm-xgboost双层融合模型进行实时推理,输出磁盘的故障概率和剩余稳定运行周期,并根据预设预警规则生成分级预警信号;
4、s3、响应于所述预警信号,筛选出与目标磁盘匹配的健康备用磁盘,并仅将目标磁盘中的数据通过增量同步方式迁移至所述备用磁盘,迁移完成后将业务io路径无缝切换至所述备用磁盘;
5、s4、响应于磁盘数据损坏事件,基于数据指纹从备份存储池中匹配并拼接碎片化数据,对拼接后仍缺失的数据,通过预先训练的transformer模型进行自回归重构,并对重构后的数据进行完整性校验,校验通过后覆盖原始损坏数据。
6、作为本发明的一种优选技术方案,s1中,要采集的磁盘运行状态参数,包括:寻道时间波动、crc校验错误累计次数、ecc纠错错误次数、磁头飞行高度偏移量、盘片转速波动值、磁盘实时运行温度、扇区读取错误率、扇区写入错误率、磁盘通电时长、磁头加载卸载次数、坏扇区新增数量、读写响应延迟均值。
7、作为本发明的一种优选技术方案,s1中,标准化处理包括:降噪、归一化及异常值过滤预处理;
8、采用db4正交小波基进行3层分解降噪;
9、采用min-max算法,将运行状态参数进行线性映射;
10、基于3σ准则,计算各项参数的均值与标准差,剔除极端异常值,并通过时序补全算法补齐缺失数据。
11、作为本发明的一种优选技术方案,s2中,所述lstm-xgboost双层融合模型包括:
12、底层为双层堆叠lstm网络,用于提取所述特征向量的时序变化特征,输出时序特征向量;
13、上层为xgboost分类模型,用于融合所述时序特征与磁盘静态固有参数,输出故障分类结果;
14、输出层通过sigmoid函数将结果归一化为0-100%的故障概率,并基于时序趋势分析输出剩余稳定运行周期。
15、作为本发明的一种优选技术方案,s3包括:
16、响应于预警信号,从备用磁盘资源池中,筛选出与目标磁盘同接口、同容量、同转速的健康备用磁盘,并对备用磁盘进行校验,确保备用磁盘的故障概率低于预设阈值;
17、采用增量同步算法,将目标磁盘中的差异数据,迁移至备用磁盘,并引入分布式锁机制,在迁移全程锁定对应磁盘数据读写权限;且在数据迁移过程中,基于目标磁盘的访问时间戳和修改时间戳,将符合预设活跃数据规则的数据进行优先迁移,将其余数据延后迁移;
18、当两个磁盘的差异数据量到达预设阈值以下时,判断增量迁移完成,通过修改lvm逻辑卷映射表完成io路径切换。
19、作为本发明的一种优选技术方案,s4包括:
20、针对已损坏的磁盘数据,基于sha-256数据指纹算法,从预设的多副本备份池中匹配出碎片化数据块;
21、按lba逻辑块地址对碎片数据进行排序拼接,形成不连续数据片段;
22、调用预先训练的transformer模型,结合磁盘历史读写日志对缺失数据进行逐字节自回归补齐;
23、对重构后的数据依次执行md5全局哈希校验和文件格式合规性校验,校验通过后写入磁盘。
24、一种磁盘智能容错与数据恢复系统,包括:
25、磁盘状态采集模块,以预设频率,持续采集目标磁盘的运行状态参数,对采集的参数数据进行标准化处理,生成标准化的多维特征向量;
26、ai磁盘故障预测模块,将所述标准化特征向量输入至预先训练的lstm-xgboost双层融合模型进行实时推理,输出磁盘的故障概率和剩余稳定运行周期,并根据预设预警规则生成分级预警信号;
27、磁盘主动容错模块,响应于所述预警信号,筛选出与目标磁盘匹配的健康备用磁盘,并仅将目标磁盘中的数据通过增量同步方式迁移至所述备用磁盘,迁移完成后将业务io路径无缝切换至所述备用磁盘;
28、磁盘数据智能恢复模块,针对已损坏的磁盘数据,基于数据指纹从备份存储池中匹配并拼接碎片化数据,对拼接后仍缺失的数据,通过预先训练的transformer模型进行自回归重构,并对重构后的数据进行完整性校验,校验通过后覆盖原始损坏数据;
29、系统管理子模块,用于进行数据的可视化展示和系统参数配置。
30、一种磁盘智能容错与数据恢复装置包括:处理器和存储器,所述存储器存储有所述处理器可执行的计算机程序,所述处理器执行所述计算机程序时实现上述方法。
31、综上所述,本发明具有以下有益效果:
32、本发明设计lstm-xgboost双层融合专属模型,配套专属数据集、精细化训练策略与调参方案,可提前7-30天精准预判磁盘故障,实现故障预判、提前防护、主动容错的前置化处理,彻底解决传统raid被动容错、故障后重建的滞后问题,同时弥补现有ai技术仅预警、无自动化闭环的短板。
33、本发明在磁盘故障后,不需要启动漫长的阵列重建,而是通过预判提前完成增量数据迁移,相比全量迁移能够大幅度节省存储带宽与算力资源,迁移完成后毫秒级切换业务io,实现业务零中断。彻底杜绝传统raid重建8-12小时窗口期内双重磁盘故障导致的数据全盘丢失风险,大幅提升存储系统稳定性。
34、本发明通过碎片整合+ai智能重构实现局部数据精准恢复,数据恢复速度较传统多副本技术大幅度提升,将100gb标准业务数据恢复耗时从1小时以上压缩至5-10分钟,极大保障业务连续性。同时通过碎片化精准恢复机制,减少30%的备份存储资源占用,大幅提升存储利用率,降低部署成本。
35、本发明集成状态采集、ai预测、主动容错、智能恢复、可视化管理五大模块,数据互通、协同联动,形成完整的智能容错恢复闭环,无需部署多套独立系统,大幅降低系统部署复杂度与运维难度,适配各类大中小型数据中心存储场景,通用性与实用性极强。
36、本发明还支持局部扇区损坏、碎片化数据丢失、全盘故障等全场景故障恢复,针对无完整副本的碎片化数据可通过ai重构补齐,大幅提升数据恢复覆盖率;配套md5哈希、文件格式双重校验机制,彻底解决传统恢复数据错乱、格式异常、损坏的问题,保障数据恢复完整性与准确性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com