文件系统的异常检测方法及装置、存储介质及电子设备与流程

1.本发明涉及数据处理技术领域，特别涉及一种文件系统的异常检测方法及装置、存储介质及电子设备。


背景技术：

2.对于各领域的信息技术系统和应用来说，在日常运维工作中，对运行风险、异常的检测都是非常重要的，提前检测到系统的异常，有助于发现和定位系统的缺陷，避免由于这些缺陷影响信息技术系统和应用运行，进而影响业务系统的正常运行，造成各种各样的损失。
3.信息技术系统和应用的各个组成部分都需要频繁地与文件系统进行交互，以生产数据库的增删改查、各类运行日志的生成、直接在文件系统读写文件等形式进行。因此，对文件系统的异常检测，在运维工作的异常检测中是非常重要的一环。对于文件系统来说，除了硬件层面的异常需要进行定期的检测和维护，软件层面的异常也非常值得关注，其中非常重要的一项就是索引节点inode使用率的异常，当inode使用率过高时，即使磁盘还有空间，文件系统也无法创建新的文件，导致严重的系统错误。
4.现有的对于inode使用率的异常检测方法，往往是通过机器学习算法建模得到一个时序预测模型，通过历史inode使用率数据，训练模型得到阈值，以此阈值检测和识别inode使用率超过阈值的情况，从而认定是否发生异常。然而，历史inode使用率数据中往往会存在失真的数据，因此，采用时序模型得到的阈值往往不够准确，从而造成无法准确地识别出文件系统的inode使用率异常。


技术实现要素：

5.本发明所要解决的技术问题是提供一种文件系统的异常检测方法，能够快速准确地检测出文件系统中的索引节点使用率异常。
6.本发明还提供了一种文件系统的异常检测装置，用以保证上述方法在实际中的实现及应用。
7.一种文件系统的异常检测方法，包括：
8.获取待检测文件系统中当前的索引节点使用率；
9.在确定出所述索引节点使用率未处于预先设置的使用率阈值区间情况下，确定所述待检测文件系统发生异常；
10.其中，设置所述使用率阈值区间的过程，包括：获取预设的历史时段内的各个历史索引节点使用率；确定各个所述历史索引节点使用率中的目标历史索引节点使用率，所述目标历史索引节点使用率为不满足预设的异常条件的历史索引节点使用率；基于各个所述目标历史索引节点使用率为所述待检测文件系统设置使用率阈值区间。
11.上述的方法，可选的，所述确定各个所述历史索引节点使用率中的目标历史索引节点使用率，包括：
12.应用预设的聚类算法对各个所述历史索引节点使用率进行聚类，获得各个所述历史索引节点使用率的聚类分组；每个所述聚类分组包含多个历史索引节点使用率；
13.在各个所述聚类分组中确定出异常聚类分组；
14.对各个备选历史索引节点使用率进行分布检测，获得各个所述备选历史索引节点使用率的分布信息；所述备选历史索引节点使用率为各个所述聚类分组中除所述异常聚类分组以外的分组中的历史索引节点使用率；
15.将分布信息满足正态分布的各个备选历史索引节点使用率，确定为不满足异常条件的目标历史索引节点使用率。
16.上述的方法，可选的，所述基于各个所述目标历史索引节点使用率为所述待检测文件系统设置使用率阈值区间，包括：
17.确定各个所述目标历史索引节点使用率的均值和标准差；
18.根据各个所述目标历史索引节点使用率的均值和标准差，确定出第一索引节点使用率阈值和第二索引节点使用率阈值；
19.由所述第一索引节点使用率阈值和所述第二索引节点使用率阈值组成所述待检测文件系统的使用率阈值区间。
20.上述的方法，可选的，确定出所述索引节点使用率未处于预先设置的使用率阈值区间的过程，包括：
21.若所述索引节点使用率大于所述第一索引节点使用率，或小于所述第二索引节点使用率，则确定所述索引节点使用率未处于所述使用率阈值区间。
22.上述的方法，可选的，所述确定所述待测文件系统发生异常后，还包括：
23.生成所述待检测文件系统异常的告警信息；
24.输出所述告警信息。
25.一种文件系统的异常检测装置，包括：
26.获取单元，用于获取待检测文件系统中当前的索引节点使用率；
27.确定单元，用于在确定出所述索引节点使用率未处于预先设置的使用率阈值区间情况下，确定所述待检测文件系统发生异常；
28.其中，设置所述使用率阈值区间的过程，包括：获取预设的历史时段内的各个历史索引节点使用率；确定各个所述历史索引节点使用率中的目标历史索引节点使用率，所述目标历史索引节点使用率为不满足预设的异常条件的历史索引节点使用率；基于各个所述目标历史索引节点使用率为所述待检测文件系统设置使用率阈值区间。
29.上述的装置，可选的，所述确定单元，包括：
30.聚类子单元，用于应用预设的聚类算法对各个所述历史索引节点使用率进行聚类，获得各个所述历史索引节点使用率的聚类分组；每个所述聚类分组包含多个历史索引节点使用率；
31.第一确定子单元，用于在各个所述聚类分组中确定出异常聚类分组；
32.检测子单元，用于对各个备选历史索引节点使用率进行分布检测，获得各个所述备选历史索引节点使用率的分布信息；所述备选历史索引节点使用率为各个所述聚类分组中除所述异常聚类分组以外的分组中的历史索引节点使用率；
33.第二确定子单元，用于将分布信息满足正态分布的各个备选历史索引节点使用
率，确定为不满足异常条件的目标历史索引节点使用率。
34.上述的装置，可选的，所述确定单元，包括：
35.第三确定子单元，用于确定各个所述目标历史索引节点使用率的均值和标准差；
36.第四确定子单元，用于根据各个所述目标历史索引节点使用率的均值和标准差，确定出第一索引节点使用率阈值和第二索引节点使用率阈值；
37.执行子单元，用于由所述第一索引节点使用率阈值和所述第二索引节点使用率阈值组成所述待检测文件系统的使用率阈值区间。
38.一种存储介质，所述存储介质包括存储指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如上述的文件系统的异常检测方法。
39.一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如上述的文件系统的异常检测方法。
40.与现有技术相比，本发明包括以下优点：
41.本发明提供了一种文件系统的异常检测方法及装置、存储介质及电子设备，该方法包括：获取待检测文件系统中当前的索引节点使用率；在确定出所述索引节点使用率未处于预先设置的使用率阈值区间情况下，则确定所述待检测文件系统发生异常；其中，设置所述使用率阈值区间的过程，包括：获取预设的历史时段内的各个历史索引节点使用率；确定各个所述历史索引节点使用率中的目标历史索引节点使用率，所述目标历史索引节点使用率为不满足预设的异常条件的历史索引节点使用率；基于各个所述目标历史索引节点使用率为所述待检测文件系统设置使用率阈值区间；在本发明实施例中，能够应用不满足异常条件的历史节点使用率设置使用率阈值区间，然后将当前的索引节点使用率与使用率阈值区间进行对比，能够准确地检测出文件系统是否出现索引节点使用率异常。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
43.图1为本发明提供的一种文件系统的异常检测方法的方法流程图；
44.图2为本发明提供的一种确定各个索引节点使用率中的目标历史索引节点使用率的过程的流程图；
45.图3为本发明提供的一种索引节点使用率的异常检测过程的流程图；
46.图4为本发明提供的一种示例性的数据流图；
47.图5为本发明提供的一种文件系统的异常检测装置的结构示意图；
48.图6为本发明提供的一种电子设备的结构示意图。
具体实施方式
49.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
51.本发明实施例提供了一种文件系统的异常检测方法，该方法可以应用于电子设备，所述方法的方法流程图如图1所示，具体包括：
52.s101：获取待检测文件系统中当前的索引节点使用率。
53.在本实施例中，可以实时获取待检测文件系统中当前的索引节点inode使用率，该索引节点使用率可以是待检测文件系统在单位时间内的索引节点使用率，该单位时间可以是1分钟、5分钟和10分钟等任意时长的时间范围。
54.s102：在确定出所述索引节点使用率未处于预先设置的使用率阈值区间情况下，确定所述待检测文件系统发生异常。
55.其中，设置所述使用率阈值区间的过程，包括：获取预设的历史时段内的各个历史索引节点使用率；确定各个所述历史索引节点使用率中的目标历史索引节点使用率，所述目标历史索引节点使用率为不满足预设的异常条件的历史索引节点使用率；基于各个所述目标历史索引节点使用率为所述待检测文件系统设置使用率阈值区间。
56.在本实施例中，使用率阈值区间由第一使用率阈值和第二使用率阈值组成，第一使用率阈值大于第二使用率阈值。
57.可选的，在索引节点使用率处于该使用率阈值区间的情况下，确定待检测文件系统当前未发生异常。
58.具体的，该异常条件可以是历史索引节点使用率为系统中的主动清理机制生效时的索引节点使用率，和/或不满足正态分布的索引节点使用率。
59.应用本发明实施例提供的方法，能够应用不满足异常条件的历史节点使用率设置使用率阈值区间，然后将当前的索引节点使用率与使用率阈值区间进行对比，能够准确地检测出文件系统是否出现索引节点使用率异常。
60.在本发明提供的一实施例中，基于上述的实施过程，可选的，确定各个历史索引节点使用率中的目标历史索引节点使用率的过程，如图2所示，包括：
61.s201：应用预设的聚类算法对各个所述历史索引节点使用率进行聚类，获得各个所述历史索引节点使用率的聚类分组；每个所述聚类分组包含多个历史索引节点使用率。
62.在本实施例中，该聚类算法可以是各种类型的聚类算法，例如，可以是具有噪声的基于密度的聚类方法(density-based spatial clustering of applications withnoise，dbscan)。
63.基于聚类算法可以将各个历史索引节点使用率进行聚类，得到多个数据簇，即数据分组，一个数据分组中包含多个距离相近的历史索引节点，具体的，一个数据分组中的各个历史索引节点之间的距离小于预设的距离阈值。
64.s202：在各个所述聚类分组中确定出异常聚类分组。
65.在本实施例中，异常聚类分组中的各个历史索引节点使用率可以是系统中的主动清理机制生效时的索引节点使用率数据，异常分组中的各个历史索引节点使用率可以显著低于其余聚类分组中的各个历史索引节点使用率。
66.具体的，可以将异常聚类分组中的历史索引节点使用率确定为满足异常条件的索引节点使用率，并将该异常聚类分组中的历史索引节点进行剔除，将剩余的聚类分组中的历史索引节点确定为备选历史索引节点。
67.可选的，可以确定各个聚类分组中的各个历史索引节点使用率的均值，可以将历史索引节点使用率均值最小的聚类分组确定为异常聚类分组，从而能够检测出主动清理机制生效时的inode使用率数据。
68.s203：对各个备选历史索引节点使用率进行分布检测，获得各个所述备选历史索引节点使用率的分布信息；所述备选历史索引节点使用率为各个所述聚类分组中除所述异常聚类分组以外的分组中的历史索引节点使用率。
69.可选的，各个备选历史索引节点使用率的分布信息可以表征备选历史索引节点使用率的大小以及该大小的备选历史索引节点使用率的数量等。
70.s204：将分布信息满足正态分布的各个备选历史索引节点使用率，确定为不满足异常条件的目标历史索引节点使用率。
71.在本实施例中，可以将分布信息不满足正态分布的备选历史索引节点，确定为满足异常条件的历史索引节点使用率。
72.在本发明提供的一实施例中，基于上述的实施过程，可选的，所述基于各个所述目标历史索引节点为所述待检测文件系统设置使用率阈值区间，包括：
73.确定各个所述目标历史索引节点使用率的均值和标准差；
74.根据各个所述目标历史索引节点使用率的均值和标准差，确定出第一索引节点使用率阈值和第二索引节点使用率阈值；
75.由所述第一索引节点使用率阈值和所述第二索引节点使用率阈值组成所述待检测文件系统的使用率阈值区间。
76.在本实施例中，可以计算出各个目标历史索引节点使用率的均值μ和标准差σ，根据各个目标历史索引节点使用率的均值μ和标准差σ计算第一索引节点使用率阈值l1的一种可行的方式为：l1＝μ 3σ；根据各个目标历史索引节点使用率的均值μ和标准差σ计算第二索引节点使用率阈值l2的一种可行的方式为：l2＝μ-3σ；使用率阈值区间可以为[l2，l1]。
[0077]
在本发明提供的一实施例中，基于上述的实施过程，可选的，确定出所述索引节点使用率未处于预先设置的使用率阈值区间的过程，包括：
[0078]
若所述索引节点使用率大于所述第一索引节点使用率，或小于所述第二索引节点使用率，则确定所述索引节点使用率未处于所述使用率阈值区间。
[0079]
在本发明提供的一实施例中，确定索引节点使用率未处于使用率阈值区间的过程，可以为：若索引节点使用率小于第一索引节点使用率，且大于第二索引节点使用率；或者等于第一索引节点使用率阈值；或者等于第二索引节点使用率阈值，则确定索引节点使用率处于使用率阈值区间。
[0080]
在本发明提供的一实施例中，基于上述的实施过程，可选的，所述确定所述待测文
件系统发生异常后，还包括：
[0081]
生成所述待检测文件系统异常的告警信息；
[0082]
输出所述告警信息。
[0083]
在本实施例中，可以在预先设置的显示界面中显示该告警信息，还可以将告警信息发往预设的客户端，以完成告警信息的输出。
[0084]
在本实施例实施例提供的文件系统的异常检测方法，可以用于检测出文件系统中的索引节点使用率的异常，索引节点使用率的异常检测过程，如图3所示，可以分为5个步骤；具体可以包含离线部分的窗口数据采集、密度聚类、分布检测以及指标检测这四个步骤，还有在线部分的阈值比对步骤，能够准确地进行索引节点使用率的异常检测。具体如图4所示，为本发明实施例提供的一种示例性的数据流图，具体流程如下：
[0085]
步骤一：窗口数据采集。
[0086]
在本实施例中，检测时间以天为单位，取检测时间前30天为一个时间窗口，在此时间窗口内，采集每分钟的文件系统inode使用率。如检测时间为t日，则取t-30日到t-1日共30天，共43200个inode使用率数据。
[0087]
步骤二：密度聚类。
[0088]
在本实施例中，对于已采集的数据，可以使用dbscan算法，对数据进行聚类。dbscan算法认为同一类别的样本之间是紧密相连的，也就是说，在离该类别任意样本距离不远处一定有同类别的样本存在；通过将紧密相连的样本划为一类，就得到了一个聚类类别；通过将所有各组紧密相连的样本划为各个不同的类别，则可以得到最终的所有聚类类别结果。在本实施例中，距离即为inode使用率的差值。
[0089]
具体的，通过dbscan算法对采集到的历史inode使用率数据进行密度聚类之后，主动清理机制生效时的inode使用率数据(即那些显著低于正常运行时inode使用率的数据)被成功地聚类为一个数据簇，将这个数据簇舍弃即可规避避主动清理机制造成的部分数据偏差。
[0090]
步骤三：分布检测。
[0091]
在本实施例中，通过密度聚类算法剥离显著低于正常运行时inode使用率的数据簇后，进行分布检测和分析，剥离其中符合正态分布的数据，作为指标检测的数据源。这么做的目的是进一步剥离第一步中采集的窗口数据中不属于随机误差的部分。比如在步骤一中采集窗口数据对应的30天窗口期中，发生过若干次文件系统inode使用率过高的异常，那么发生异常时的inode使用率数据也一并被采集了，剥离这部分异常数据后，剩下的符合类正态分布的数据即为系统正常运行时的inode使用率数据。
[0092]
步骤四：指标检测。
[0093]
在本实施例中，经过分布检测的数据，已经符合类正态分布，对这部分数据进行统计分析，得到均值μ和标准差σ。根据3σ法则(也称经验法则)，符合类正态分布的数据，数值分布在(μ-3σ,μ 3σ)中的概率为0.9973，而分布在这个区间之外的数据不属于随机误差而是粗大误差。
[0094]
在本实施例的具体情境中，采集的窗口数据经过密度聚合、分布检测、计算得到的μ 3σ和μ-3σ即为inode使用率数据的上下阈值。
[0095]
步骤五：阈值比对。
[0096]
将实时数据与上一步得到的阈值进行比较，实时数据中超过μ 3σ或低于μ-3σ的inode使用率不属于随机误差，应当认为是系统内部问题导致的inode使用率过高/过低，即检测出了inode使用率异常。
[0097]
应用本发明实施例提供的方法，可以通过密度聚合算法剥离出历史inode使用率数据中，由于信息技术系统或应用的主动清理机制导致的显著低于正常运行时inode使用率的数据，从而避免这部分数据对历史inode使用率数据分析的影响。可以通过分布检测剥离出历史inode使用率数据中，不属于随机误差的粗大误差部分，即历史数据中对应异常发生时的数据，从而避免这部分异常数据对历史inode使用率数据分析的影响。剥离上述两种数据后，应用3σ法则得到inode使用率的上下阈值，从而对实时的inode使用率数据进行异常检测。
[0098]
与图1所述的方法相对应，本发明实施例还提供了一种文件系统的异常检测装置，用于对图1中方法的具体实现，本发明实施例提供的文件系统的异常检测装置可以应用于电子设备中，其结构示意图如图5所示，具体包括：
[0099]
获取单元501，用于获取待检测文件系统中当前的索引节点使用率；
[0100]
确定单元502，用于在确定出所述索引节点使用率未处于预先设置的使用率阈值区间情况下，确定所述待检测文件系统发生异常；
[0101]
其中，设置所述使用率阈值区间的过程，包括：获取预设的历史时段内的各个历史索引节点使用率；确定各个所述历史索引节点使用率中的目标历史索引节点使用率，所述目标历史索引节点使用率为不满足预设的异常条件的历史索引节点使用率；基于各个所述目标历史索引节点使用率为所述待检测文件系统设置使用率阈值区间。
[0102]
在本发明提供的一实施例中，基于上述的实施过程，可选的，所述确定单元502，包括：
[0103]
聚类子单元，用于应用预设的聚类算法对各个所述历史索引节点使用率进行聚类，获得各个所述历史索引节点使用率的聚类分组；每个所述聚类分组包含多个历史索引节点使用率；
[0104]
第一确定子单元，用于在各个所述聚类分组中确定出异常聚类分组；
[0105]
检测子单元，用于对各个备选历史索引节点使用率进行分布检测，获得各个所述备选历史索引节点使用率的分布信息；所述备选历史索引节点使用率为各个所述聚类分组中除所述异常聚类分组以外的分组中的历史索引节点使用率；
[0106]
第二确定子单元，用于将分布信息满足正态分布的各个备选历史索引节点使用率，确定为不满足异常条件的目标历史索引节点使用率。
[0107]
在本发明提供的一实施例中，基于上述的实施过程，可选的，所述确定单元502，包括：
[0108]
第三确定子单元，用于确定各个所述目标历史索引节点使用率的均值和标准差；
[0109]
第四确定子单元，用于根据各个所述目标历史索引节点使用率的均值和标准差，确定出第一索引节点使用率阈值和第二索引节点使用率阈值；
[0110]
执行子单元，用于由所述第一索引节点使用率阈值和所述第二索引节点使用率阈值组成所述待检测文件系统的使用率阈值区间。
[0111]
在本发明提供的一实施例中，基于上述的实施过程，可选的，所述确定单元502，包
括：
[0112]
第五确定子单元，用于若所述索引节点使用率大于所述第一索引节点使用率，或小于所述第二索引节点使用率，则确定所述索引节点使用率未处于所述使用率阈值区间。
[0113]
在本发明提供的一实施例中，基于上述的实施过程，可选的，所述文件系统的异常检测装置，还包括：
[0114]
生成单元，用于生成所述待检测文件系统异常的告警信息；
[0115]
输出单元，用于输出所述告警信息。
[0116]
上述本发明实施例公开的文件系统的异常检测装置中的各个单元和模块具体的原理和执行过程，与上述本发明实施例公开的文件系统的异常检测方法相同，可参见上述本发明实施例提供的文件系统的异常检测方法中相应的部分，这里不再进行赘述。
[0117]
本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述文件系统的异常检测方法。
[0118]
本发明实施例还提供了一种电子设备，其结构示意图如图6所示，具体包括存储器601，以及一个或者一个以上的指令602，其中一个或者一个以上指令602存储于存储器601中，且经配置以由一个或者一个以上处理器603执行所述一个或者一个以上指令602进行以下操作：
[0119]
获取待检测文件系统中当前的索引节点使用率；
[0120]
在确定出所述索引节点使用率未处于预先设置的使用率阈值区间情况下，确定所述待检测文件系统发生异常；
[0121]
其中，设置所述使用率阈值区间的过程，包括：获取预设的历史时段内的各个历史索引节点使用率；确定各个所述历史索引节点使用率中的目标历史索引节点使用率，所述目标历史索引节点使用率为不满足预设的异常条件的历史索引节点使用率；基于各个所述目标历史索引节点使用率为所述待检测文件系统设置使用率阈值区间。
[0122]
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0123]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0124]
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0125]
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品
可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
[0126]
以上对本发明所提供的一种文件系统的异常检测方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。