基于异常感知分层采样的固态盘故障预测模型建立方法及其应用

本发明属于固态盘故障预测，更具体地，涉及基于异常感知分层采样的固态盘故障预测模型建立方法及其应用。

背景技术：

1、固态盘凭借高随机读写性能、低访问延迟和较低能耗，已成为数据中心、云计算平台、企业级存储系统及服务器集群中的主要存储介质。为保障数据可靠性，现有数据中心通常采用独立磁盘冗余阵列、纠删码等被动冗余容错机制，在单盘故障后通过数据重建恢复业务。然而，随着单盘容量持续增大，故障后的数据重建会引发持续的高带宽读写压力，挤占网络与计算资源，甚至诱发同阵列或同机架内其他设备的并发故障。因此，仅依赖事后重建的被动容错机制，已难以满足大规模存储系统对稳定性、运维成本和服务连续性的要求。

2、smart（self-monitoring, analysis and reporting technology‌）是硬盘自带的健康监测系统，它通过监测温度、电路、介质等参数预测故障，保护数据安全。基于smart属性的主动故障预测，能够利用固态盘在运行过程中持续产生的通电时间、擦写次数、错误计数、温度、不可校正错误、读重试次数等健康监控数据，在设备发生不可恢复故障前识别高风险固态盘，从而辅助运维系统提前进行数据迁移、设备更换或风险处置。与依赖厂商私有硬件日志的方案相比，smart属性具有采集成本低、接口通用、部署门槛低等特点，是固态盘健康监测与故障预测系统中最具工程可用性的输入数据来源。

3、但是，现有基于smart属性的故障预测方法在工业部署条件下面临明显不足。第一，真实生产环境中的健康样本远多于故障样本，正负样本比例通常达到千倍量级，分类器训练过程容易被海量健康样本主导，导致决策边界向故障样本一侧偏移，少数故障样本难以被有效识别。第二，固态盘故障前的关键smart属性往往表现为数日内的短时突变或加速退化，而长窗口滑动均值、最大值、最小值等粗粒度统计特征会平滑此类短时突变，使关键故障信号在进入模型前被稀释。第三，大规模存储系统对误报率具有严格约束，设备级误报率过高会产生大量无效告警，造成不必要的数据迁移、设备更换和告警疲劳；在低误报率约束下，许多模型即使在常规分类指标上表现较好，也难以转化为可部署的高故障召回率。

4、围绕ssd故障预测，现有技术大致包括三类路线：一类是基于通用smart属性和传统机器学习模型的方法，该类方法部署方便、可解释性较强，但常依赖单点快照或粗粒度统计特征，难以捕获故障前短时动态变化；另一类是基于长短期记忆网络、transformer等深度时序模型的方法，该类方法具有较强的时序拟合能力，但计算开销较高，可解释性较弱，且不一定适配工业侧轻量部署需求；还有一类方法融合固件内部日志、底层错误通道或厂商私有硬件特征，虽然可能提高预测性能，但数据接入门槛高，实际部署范围受到限制。

5、因此，需要一种新的固态盘故障预测方法，在仅依赖通用smart属性的前提下，有效缓解极端类别不平衡带来的决策边界偏移，提高固态盘故障预测的可靠性与准确性。

技术实现思路

1、针对现有技术的缺陷和改进需求，本发明提供了基于异常感知分层采样的固态盘故障预测模型建立方法及其应用，其目的在于，有效缓解极端类别不平衡带来的决策边界偏移，在仅依赖通用smart属性的前提下，提高固态盘故障预测的可靠性与准确性。

2、为实现上述目的，按照本发明的一个方面，提供了一种基于异常感知分层采样的固态盘故障预测模型建立方法，包括：

3、s1：按照预设的采样周期收集各固态盘的smart 属性时序数据，并记录各采样时刻固态盘的状态，将位于故障时刻前预设故障预警窗口内的smart 属性记录标记为故障样本，将位于故障预警窗口前的smart 属性记录标记为健康样本；

4、s2：统计各健康样本中相对于前一采样时刻的健康样本出现异常变化的smart 属性数量，作为健康样本的短时异常并发度，并将健康样本集合划分为短时异常并发度大于的对抗性硬负样本集合、短时异常并发度属于的高风险健康样本集合以及短时异常并发度小于的低风险健康样本集合；；

5、s3：分别按照第一保留比例和第二保留比例对高风险健康样本集合和低风险健康样本集合进行采样，由采样所得健康样本、对抗性硬负样本集合和故障样本连同相应的状态标记构成预测样本集合；；

6、s4：按照预设比例将预测样本集合划分为训练集、验证集和测试集，利用训练集训练机器学习模型，得到用于根据smart 属性预测固态盘即将发生故障的概率的固态盘故障预测模型，并分别利用验证集和测试集对其进行验证和测试，完成固态盘故障预测模型的建立。

7、进一步地，在s3和s4之间还包括：

8、剔除各样本中厂商归一化评分对应的smart属性，并从剩余smart属性中筛选出与固态盘健康状态相关性最大的部分smart属性，得到基础属性集合；对基础属性集合中的smart属性进行基础特征处理，得到各样本对应的样本特征集合；

9、并且，s4中，利用训练集、验证集和测试集对固态盘故障预测模型进行训练、验证和测试时，以各样本对应的样本特征集合作为模型输入；

10、基础特征处理包括：

11、将每一项smart属性作为一个特征，加入样本特征集合；

12、按照语义将采用复合编码逻辑的smart属性拆分为多个子特征，将拆分所得子特征也加入样本特征集合；

13、对样本特征集合中的各特征分别施加对数平移变换。

14、进一步地，基础属性集合包括在故障时刻前预设故障预警窗口内会发生突变的异常候选属性；

15、并且，在s3和s4之间还包括：

16、对基础属性集合中的各异常候选属性构造多尺度时序特征，并加入样本特征集合；

17、多尺度时序特征包括：差分特征；

18、差分特征的构造方式包括：

19、计算目标采样时刻的属性值与其前第个采样时刻的属性值的差分运算结果；

20、对差分运算结果施加基于经验累积分布的分位数变换，得到差分特征；

21、其中，。

22、进一步地，多尺度时序特征还包括：斜率特征；

23、斜率特征的构造方式包括：

24、对目标采样时刻之前预设的历史观测窗口内的属性值采用最小二乘法拟合线性退化斜率，以线性退化斜率作为斜率特征。

25、进一步地，多尺度时序特征还包括：加速比特征；

26、加速比特征的构造方式包括：

27、计算短期速率和长期速率，并按照计算加速比；

28、对加速比施加基于经验累积分布的分位数变换，得到加速比特征；

29、其中，为历史观测窗口的长度，为目标采样时刻的属性值与其前第个采样时刻的属性值的差分运算结果；为预设常数。

30、进一步地，s4还包括：在模型训练和验证过程中，使模型输出各特征对预测结果的贡献度，并通过样本过滤对样本特征集合进行更新；样本过滤包括：

31、对缺失比例高于预设的剔除阈值，或取值不变的持续时间超过预设时长的特征，予以剔除；

32、对于特征相似度高于预设的相似阈值的多个特征，仅保留贡献度最高的特征；

33、对于在训练集中贡献度高于预设贡献阈值，但在验证集中贡献不稳定的特征，予以剔除。

34、进一步地，s4还包括：设定候选故障告警阈值集合，其中的故障告警阈值用于判定固态盘是否即将发生故障；当固态盘预测模型输出的概率大于等于故障告警阈值时，判断固态盘即将发生故障；

35、对于候选故障告警阈值结合中的每一个故障告警阈值，分别计算在验证集上的设备级误报率和故障召回率，将对应设备级误报率不超过预设上限的故障告警阈值加入候选部署阈值集合；

36、从候选部署阈值集合中选取故障召回率最优的故障告警阈值作为最终的故障告警阈值。

37、按照本发明的又一个方面，提供了一种基于异常感知分层采样的固态盘故障预测方法，包括：将待预测固态盘的smart 属性输入固态盘故障预测模型，得到固态盘在预测时刻前预设故障预警窗口内发生故障的概率，将其与故障告警阈值进行比较，若大于等于故障告警阈值，则预测待预测固态盘即将发生故障；

38、其中，固态盘故障预测模型由本发明提供的基于异常感知分层采样的固态盘故障预测模型建立方法建立得到。

39、进一步地，本发明提供的基于异常感知分层采样的固态盘故障预测方法，还包括：在预测待预测固态盘即将发生故障时，生成特征归因结果；

40、特征归因结果包括：各特征对当前预测结果的正向贡献或负向贡献。

41、按照本发明的又一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序；计算机程序被处理器执行时，实现本发明提供的基于异常感知分层采样的固态盘故障预测模型建立方法，和/或，本发明提供的基于异常感知分层采样的固态盘故障预测方法。

42、总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

43、（1）本发明在基于smart属性构建故障样本和健康样本后，进行了异常感知的分层采样，具体来说，基于同一采样时刻出现异常增量的smart属性刻画样本的异常并发度，进一步将健康样本划分为对抗性硬负样本、高风险健康样本和低风险健康样本，对于故障样本和对抗性硬负样本，全部保留，对于高风险健康样本和低风险样本则进行进一步采样，且高风险健康样本的保留比例更低，由此在压缩大量冗余稳态健康样本的同时，保留对分类边界学习具有价值的难分健康样本，从而有效缓解极端类别不平衡带来的决策边界偏移，保证所建立的模型的预测性能，在仅依赖通用smart属性的前提下，提高固态盘故障预测的可靠性与准确性。

44、（2）本发明进一步对采集到的smart属性进行了基础特征处理，包括按照语义将采用复合编码逻辑的smart属性拆分为多个子特征，由此能够避免采用复合编码逻辑的smart属性在输入模型时，高位的庞大基数掩盖低位微小错误计数的数值波动，保证模型能够有效区分底层各类错误技术的变化，进一步提高模型的性能，以及后续的预测可靠性和准确性。对各特征分别施加对数平移变换，则在严格保留特征的时序单调性与样本间相对排序的情况下，避免数值型呈现极端的重尾分布。

45、（3）本发明进一步对smart属性中的各异常候选属性构造多尺度时序特征，多尺度时序特征包括目标采样时刻的属性值与其前第1、3、7个采样时刻的属性值的差分运算结果、和，其中，作为一阶导数的离散逼近，直接反映单个采样周期异常新增事件的幅度；与在保留短期趋势信息的同时平滑采样周期间作业调度引入的采样抖动，基于这些特征，可使模型更为准确的捕捉到smart属性与固态盘健康状态的内在联系。

46、（4）本发明针对异常候选属性构建的多尺度时序特征还包括斜率特征，即对目标采样时刻之前预设的历史观测窗口内的属性值对应的线性退化斜率，斜率特征量化了设备在宏观时间尺度上的平均退化速率，反映属性从正常水平向失效临界值持续恶化的长期趋势，基于这些特征，可使模型更为准确的捕捉到smart属性与固态盘健康状态的内在联系。

47、（5）本发明针对异常候选属性构建的多尺度时序特征还包括加速比特征，由短期速率和长期速率计算得到，加速比特征反映了近期属性值的恶化速度，为模型判断设备是否处于加速退化阶段提供了额外的指示信息。

48、（6）本发明进一步对差分运算结果和加速比结果施加基于经验累积分布的分位数变换，可以将长尾分布强制映射到[0,1] 均匀分布，在抑制绝对幅度的同时，保留了时序特征的相对大小关系。

49、（7）本发明对原始属性特征、基础特征处理所得特征和多尺度时序特征构成的样本特征集合执行样本过滤，剔除了其中的冗余特征、低稳定性特征和偶然性特征，由此能够在保留多尺度时序变化信息的同时，降低冗余和噪声特征对模型训练的干扰。

50、（8）本发明不采用固定默认阈值，而是设定候选故障告警阈值集合，在候选故障告警阈值集合中逐一计算设备级误报率和故障召回率，选取设备级误报率不超过预设上限的阈值中，故障召回率最优的阈值作为最终的阈值，通过这种阈值确定方式，模型输出的风险概率被转化为满足低误报部署约束的故障预测结果。

51、（9）本发明在预测待预测固态盘即将发生故障时，进一步生成特征归因结果，包括各特征对当前预测结果的正向贡献或负向贡献，此特征归因结果可作为辅助信息辅助运维人员识别主要异常属性。