一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

异常分类方法、装置、异常分类设备及存储介质与流程

2021-10-20 00:03:00 来源:中国专利 TAG:异常 分类 计算机 装置 方法


1.本发明涉及计算机技术领域,尤其涉及一种异常分类方法、一种异常分类装置、一种异常分类设备及一种计算机存储介质。


背景技术:

2.随着社会不断发展与成熟,互联网业务需要更多的服务器提供计算或应用服务。然而,服务器在运行过程中可能会出现异常。因此,为了保障互联网业务的正常执行,需要定位服务器产生异常的原因,以便基于该异常原因对服务器进行运行维护。
3.为了定位服务器产生异常的原因,需要根据日志信息对异常服务器进行异常分类。在现有的异常分类方案中,可以通过人工方式分析异常服务器的日志信息确定异常服务器的异常类型。然而,由于一个异常服务器对应的日志信息的数据量较庞大,或者分析者的分析能力有限等因素,可能导致人工分析的难度大、效率低,无法快速精准的确定异常服务器的异常类型。因此,如何对异常服务器进行异常分类是一个重要研究课题。


技术实现要素:

4.本发明实施例提供了一种异常分类方法、装置、异常分类设备及存储介质,通过采用多个目标分类模型对目标日志信息的分析,有助于异常分类设备准确得到目标服务器的异常,从而可准确定位出使目标服务器产生异常的真实原因。
5.一方面,本发明实施例提供了一种异常分类方法,该异常分类方法包括:
6.响应于对目标服务器进行异常分类的触发操作,获取所述目标服务器在产生异常时生成的目标日志信息;
7.获取至少两个目标分类模型,其中,一个目标分类模型采用一个异常分类算法对所述目标服务器进行异常分类;
8.调用每个目标分类模型根据所述目标日志信息对所述目标服务器进行异常分类,得到每个目标分类模型对所述目标服务器的异常分类结果;
9.根据每个目标分类模型的异常分类结果,确定所述目标服务器的目标异常类型。
10.另一方面,本发明实施例提供了一种异常分类装置,该异常分类装置包括:
11.获取单元,用于响应于对目标服务器进行异常分类的触发操作,获取所述目标服务器在产生异常时生成的目标日志信息;
12.所述获取单元还用于获取至少两个目标分类模型,其中,一个目标分类模型采用一个异常分类算法对所述目标服务器进行异常分类;
13.异常分类单元,用于调用每个目标分类模型根据所述目标日志信息对所述目标服务器进行异常分类,得到每个目标分类模型对所述目标服务器的异常分类结果;
14.确定单元,用于根据每个目标分类模型的异常分类结果,确定所述目标服务器的目标异常类型。
15.再一方面,本发明实施例提供了一种异常分类设备,该异常分类设备包括输入接
口、输出接口,该异常分类设备还包括:
16.处理器,适于实现一条或多条指令;以及,
17.计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如下步骤:
18.响应于对目标服务器进行异常分类的触发操作,获取所述目标服务器在产生异常时生成的目标日志信息;
19.获取至少两个目标分类模型,其中,一个目标分类模型采用一个异常分类算法对所述目标服务器进行异常分类;
20.调用每个目标分类模型根据所述目标日志信息对所述目标服务器进行异常分类,得到每个目标分类模型对所述目标服务器的异常分类结果;
21.根据每个目标分类模型的异常分类结果,确定所述目标服务器的目标异常类型。
22.再一方面,本发明实施例提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行如下步骤:
23.响应于对目标服务器进行异常分类的触发操作,获取所述目标服务器在产生异常时生成的目标日志信息;
24.获取至少两个目标分类模型,其中,一个目标分类模型采用一个异常分类算法对所述目标服务器进行异常分类;
25.调用每个目标分类模型根据所述目标日志信息对所述目标服务器进行异常分类,得到每个目标分类模型对所述目标服务器的异常分类结果;
26.根据每个目标分类模型的异常分类结果,确定所述目标服务器的目标异常类型。
27.在本发明实施例中,异常分类设备响应于对目标服务器进行异常分类的触发操作,获取该目标服务器在产生异常时生成的目标日志信息以及采用异常分类算法训练得到多个目标分类模型;然后调用多个目标分类模型根据目标日志信息对目标服务器进行异常分类。由于对目标服务器进行异常分类实现基于日志信息的目标服务器的异常定位是基于机器学习算法构建的目标分类模型完成的,无需分析人员对目标服务器的目标日志信息进行逐条分析,这样可减少人为操作,大大减少人力成本是时间成本,有效节省人力资源,提升异常分类的效率,并且,本发明实施例通过文本向量化和机器学习算法构建目标分类模型对目标服务器进行异常分类,可以识别不同的异常类型,且识别的准确率高。除此之外,由于本发明实施例利用了至少两个目标分类模型根据目标日志信息对目标服务器进行异常分类,采用了多模型融合策略,并以投票机制从多个目标分类模型的异常分类结果中确定目标服务器的异常类型,避免了单一分类模型的缺陷,可以进一步保障服务器异常分类的准确性。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
29.图1是本技术实施例提供的一种异常分类系统的结构示意图;
30.图2是本技术实施例提供的一种异常分类方法的流程示意图;
31.图3是本技术实施例提供的一种构建目标分类模型的流程示意图;
32.图4是本技术实施例提供的一个预处理的流程示意图;
33.图5是本技术实施例提供的一个决策树的示意图;
34.图6是本技术实施例提供的一种类别的示意图;
35.图7是本技术实施例提供的目标分类模型的测试结果图;
36.图8是本技术实施例提供的一种异常分类装置的结构示意图;
37.图9是本技术实施例提供的一种异常分类设备的结构示意图。
具体实施方式
38.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
39.人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。其中,机器学习(machine learning,ml)是一门多领域交叉的学科,其涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。
40.随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等。除此之外,人工智能技术还可以在其他领域得到应用,例如,可以采用人工智能技术中的机器学习实现对服务器的智能运维。其中,本发明实施例提出了一种基于机器学习的异常分类方法,使得异常分类设备可通过机器学习构建多个分类模型,从而在服务器产生异常时,异常分类设备可以调用构建的多个分类模型对该服务器产生异常时的日志信息进行异常分类,然后可根据每个分类模型对该日志信息的异常分类结果,确定该服务器的异常类型,基于不同分类模型对服务器的异常类型的划分结果,可降低在确定服务器异常类型时的出错率,从而也就实现了对服务器异常定位的准确度,同时,采用机器学习得到多个分类模型,并采用学习得到的分类模型对服务器进行异常分类的方式,有助于实现异常分类设备实现智能运维(artificial intelligence for it operations,aiops),以提升对服务器的维护效率,其中,智能运维是指将人的知识和运维经验与大数据、机器学习技术相结合,开发成一系列的智能策略,融入到运维系统中,并以开发的智能策略(或运维系统)去完成运维任务。
41.在一个实施例中,该异常分类方法可用于对服务器或终端设备进行异常分类,从而确定出相应服务器或终端设备的异常,在该异常分类方法用于确定服务器的异常时,该异常分类方法可应用在如图1所示的异常分类系统中,如图1所示,该异常分类系统可至少包括:异常分类设备11和服务器12,其中,该异常分类设备11是运行有至少两个分类模型的
设备,该异常分类设备11可以是如图1所示的终端设备,其中,终端设备可以包括但不限于:智能手机、平板电脑、膝上计算机、可穿戴设备、台式计算机,等等;或者,该异常分类设备11也可以是服务器,本发明实施例不做限定。此外,该异常分类系统包括的服务器12的数量可以是一个或多个,该服务器12可以是如图1所示的服务器12a,服务器12b,或者服务器12c等服务器中一个服务器,或者多个服务器的组合,该服务器12可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、内容分发网络(content delivery network,cdn)、中间件服务、域名服务、安全服务以及大数据和人工智能平台等基础云计算服务的云服务器,等等。
42.其中,该异常分类方法的适用场景广,可以适用于各种记录有日志信息的服务平台中,例如,腾讯云的云拨测、云虚拟机(cloud virtual machine,cvm)、云监控产品等等。并且可以适用于多种类型的日志信息,包括系统日志(system log,syslog)、各种类型的软件日志信息和硬件日志信息等等。
43.在具体实现中,该异常分类设备11可基于服务器12的日志信息确定该服务器12是否异常,那么该异常分类设备11则可在对服务器12进行异常分类时,先获取该服务器12在产生异常时生成的目标日志信息,其中,日志信息用于记录用户操作,系统运行状态等,是系统的重要组成部分。对于作为基础平台为很多产品提供服务的后端程序,就必须要考虑如何依靠良好的日志来保证系统可靠的运行。比如系统日志(system log,syslog)是一种工业标准的协议,可用来记录设备的日志,在unix系统(一种操作系统),路由器,以及交换机等网络设备中,syslog可记录系统中任何时间发生的大小事件,那么管理者可以通过查看系统记录,随时掌握系统状况。unix的系统日志是通过syslog这个进程记录系统有关事件记录,也可以记录应用程序运作事件,那么,通过适当的配置,就可实现运行syslog协议的机器间通信,通过分析这些网络行为日志,藉以追踪掌握与设备和网络有关的状况。该日志信息例如可以是:
44.[info]requestid:b1946ac92492d2347c6235b4d2611184,auth failed due to token expiration;
[0045]
[info]requestid:b1946ac92492d2347c6235b4d2611185,content digest does not match,expect 7b3f050bfa060b86ba781151c563c953,actual f60645e7107917250a6408f2f302d048;
[0046]
[info]requestid:b1946ac92492d2347c6235b4d2611186,request ip(=202.17.34.1)not in whitelist。
[0047]
在异常分类设备11获取到服务器11产生异常时生成的目标日志信息后,则可获取至少两个训练完成的目标分类模型,从而可调用每个目标分类模型采用相应的异常分类算法对该目标服务器进行异常分类,具体地,该异常分类设备11可采用每个目标分类模型中相应的异常分类算法对该目标日志信息进行分类,从而得到每个目标分类模型对该目标服务器的异常分类的投票结果,从而可进一步地基于每个目标分类模型的异常分类的投票结果,确定出该目标服务器的目标异常类型。如该异常分类设备调用三个目标分类模型对采集到的目标日志信息进行分类投票,若该三个目标分类模型分别是模型a,模型b和模型c,如果该三个目标分类模型中的模型a和模型b根据该目标日志信息确定该目标服务器属于1
类异常,而模型c根据该目标日志信息确定该目标服务器属于2类异常,则该异常分类设备根据三个目标分类模型的结果,确定该目标服务器属于1类异常。通过采用多个目标分类模型对目标日志信息的分析,有助于异常分类设备准确得到目标服务器的异常,从而可进一步定位出使目标服务器产生异常的真实原因,进而可根据导致目标服务器异常的原因对相应部件进行更换,以及统计各部件的异常率,本发明实施例通过借助机器学习的方法,可实现对导致服务器异常的日志数据进行学习,从而沉淀出一些能自动化分析导致服务器异常的模型,进而可提高对服务器的异常分析效率,同样的,这些模型也可基于对服务器进行异常分析的规律总结,实现对服务器异常的预测等。
[0048]
请参见图2,是本发明实施例提出的一种异常分类方法的流程示意图。如图2所示,该异常分类方法包括步骤s201

s204:
[0049]
s201,响应于对目标服务器进行异常分类的触发操作,获取目标服务器在产生异常时生成的目标日志信息。
[0050]
在一个实施例中,该目标服务器是和异常分类设备建立有通信连接的任一服务器,其中,目标服务器在产生异常时,将向异常分类设备进行异常上报,具体地,目标服务器可向该异常分类设备发送工单信息,以便该异常分类设备基于工单信息确定出目标服务器产生异常时生成的目标日志信息,并根据该目标日志信息确定出该目标服务器的目标异常类型;那么对应的,当异常分类设备从目标服务器获取到工单信息时,则可确定检测到对目标服务器进行异常分类的触发操作,其中,该工单信息携带工单编号(ticket_id),基于该工单编号使得工单信息与目标服务器相对应;该工单信息记录了目标服务器产生异常的时间信息,基于该时间信息,该异常分类设备可获取该目标服务器在产生异常时生成的目标日志信息。在另一实施方式中,异常分类设备也可在检测到来自目标服务器的告警消息时,确定检测到对该目标服务器进行异常分类的触发操作,其中,当目标服务器产生异常时,该目标服务器将进行告警提醒,其中,在该目标服务器进行告警提醒时,将向负责人(即对目标服务器进行维护的人员)发送告警消息,那么,异常分类设备则可在确定目标服务器向负责人发送了告警消息时,确定检测到对该目标服务器进行异常分类的触发操作,其中,该告警消息(也可以称为通知消息)可以是在该目标服务器出现基础告警(如中央处理器(central processing unit,cpu)使用量过高等)时,或者,该目标服务器出现性能指标告警(如用户访问成功率较低等)时发送的,在目标服务器将告警消息发送给负责人时,具体可通过社交软件,如微信,小程序,或者企业微信等发送给负责人。
[0051]
在一个实施例中,目标服务器产生异常时产生的日志信息是包括多种类型的日志信息,本发明实施例所提出的获取的目标服务器异常时产生的目标日志信息,是有助于异常分类设备对目标服务器进行异常分类的日志信息,即本发明实施例所获取的目标服务器的目标日志信息是特定类型的,有助于进行异常定位(或异常分类)的日志信息,其中,例如,该目标日志信息可以是:
[0052]

一种记录内核信息的日志信息(即dmesg日志信息),其中,dmesg日志信息用于记录目标服务器宕机前的最后一屏,含有netconsole数据(一种用于指示内核是否存在故障的数据);
[0053]

一种记录硬件信息的日志信息(即mcelog日志信息),其中,mcelog日志信息用于记录硬件错误导致的异常;
[0054]

一种系统事件日志(即sel日志信息),其中,sel日志信息是在目标服务器传感器收集数据发现异常时产生的日志。
[0055]
在异常分类设备获取到目标服务器异常时产生的目标日志信息后,则可采用训练完成的目标分类模型根据该目标日志信息确定该目标服务器所属异常的类别,即转而执行步骤s202。
[0056]
s202,获取至少两个目标分类模型,其中,一个目标分类模型采用一个异常分类算法对目标服务器进行异常分类。
[0057]
s203,调用每个目标分类模型根据目标日志信息对目标服务器进行异常分类,得到每个目标分类模型对目标服务器的异常分类结果。
[0058]
在步骤s202和步骤s203中,异常分类算法包括但不限于以下一种或多种:决策树(decision tree,dt)算法、rocchio算法、极端梯度提升(xtreme gradient boosting,xgbooste)算法、朴素贝叶斯(naive bayes,nb)算法、线性判别分析(linear discriminant analysis,lda)、支持向量机(support vector machine,svm)算法、随机森林(random forest,rf)算法、以及逻辑回归(logistic regression,lr)算法。其中,dt算法是一个用于构造树结构的机器学习算法,构建的决策树的每个非叶子节点用于表示一个特征属性上的测试,构建的决策树的每个分支代表这个特征属性的输出,构建的决策树的每个叶子节点用于表示异常分类的结果。rocchio算法是一种文本分类算法,其主要由向量之间的余弦相似度确定异常分类结果。gboost算法是一个集成机器学习算法,主要通过多个相互关联的分类回归树确定异常分类结果。其中,相互关联的分类回归树是指生成的第i 1棵分类回归树与第i棵分类回归树的训练结果和测试结果相关,其中,i为大于0的正整数。nb算法是一种基于贝叶斯定理的分类算法,其主要由最大似然估计算法求得的概率确定异常分类结果。lda算法主要由距离算法求得的距离确定异常分类结果。svm算法是一种二分类模型算法,通过核函数构建的最优超平面确定异常分类结果。rf算法也是一种集成机器学习算法,它主要通过多个相互独立的决策树确定异常分类结果。lr算法是一个传统的二分类模型算法,它也可以应用于多分类任务。其主要是将多分类任务拆分成若干个二分类任务,然后对每个二分类任务训练一个模型,最后由多个模型的分类结果确定异常分类结果。
[0059]
在一个实施例中,异常分类设备可以通过向量转换将目标日志信息转换为向量表达式。然后调用至少两个目标分类模型中的每个目标分类模型对该目标日志信息对应的向量表达式进行异常分类,则可以从多个待选择类别中确定该向量表达式所属的目标类别。然后,将目标类别指示的异常类型,作为每个目标分类模型对该目标服务器的异常分类结果。由于对目标服务器的目标日志信息进行了文本向量化(即将目标日志信息转换为目标日志信息的向量表达式),并且目标分类模型是对该目标日志信息对应的向量表达式进行异常分类,目标日志信息与异常类型之间不再是简单的一一对应关系,采用目标分类模型对该目标日志信息对应的向量表达式进行异常分类的方法的准确性更高。
[0060]
该异常分类设备根据该目标日志信息对该目标服务器进行异常分类的过程,即是该异常分类设备采用相应的异常分类算法对该目标日志信息进行分析,从而确定该目标服务器所属的异常类别的过程。其中,每个目标分类模型根据目标日志信息对目标服务器进行异常分类得到的异常分类结果可以是相同的,也可以是不同的,在异常分类设备得到每个目标分类模型对目标服务器的异常分类结果后,则可基于每个目标分类模型的异常分类
结果,确定出该目标分的目标异常类型,即转而执行步骤s204。
[0061]
在一个实施例中,如果异常分类设备采用dt算法对目标服务器进行异常分类,异常分类设备可以先将目标日志信息转换为该目标日志信息对应的向量表达式。然后从构建得到的决策树的根节点开始测试该向量表达式,并按照向量表达式的输出选择输出分支,直至到达决策树的叶子节点,将叶子节点对应的类别确定为该向量表达式所属的目标类别。然后,将该目标类别指示的异常类型,作为由dt算法构建的目标分类模型对该目标服务器的异常分类结果。
[0062]
在一个实施例中,如果异常分类设备采用rocchio算法对目标服务器进行异常分类,异常分类设备可以先将目标日志信息转换为该目标日志信息对应的向量表达式。然后分别计算该向量表达式与各个日志样本子集内的日志样本对应的样本向量的余弦相似度,将余弦相似度最高的样本向量对应的类别确定为该向量表达式所属的目标类别。然后,将该目标类别指示的异常类型,作为由rocchio算法构建的目标分类模型对该目标服务器的异常分类结果。或者,如果异常分类设备采用xgboost算法对目标服务器进行异常分类,异常分类设备可以先将目标日志信息转换为该目标日志信息对应的向量表达式。然后将向量表达式输入到第i棵分类回归树得到第i个数值,并将第i个数值输入到第i 1棵分类回归树得到第i 1个数值。在得到多个分类回归树输出的数值后,可以利用最优算法对多个相互关联的分类回归树的输出数值进行运算得到目标数值。最后再根据该目标数值所属的数值范围确定该向量表达式所属的目标类别。将该目标类别指示的异常类型,作为由xgboost算法构建的目标分类模型对该目标服务器的异常分类结果。
[0063]
在一个实施例中,如果异常分类设备采用nb算法对目标服务器进行异常分类的过程,异常分类设备可以先将目标日志信息转换为该目标日志信息对应的向量表达式,然后采用最大似然估计算法分别计算该向量表达式与各个日志样本子集内的日志样本对应的样本向量的贝叶斯概率,将概率最大的样本向量对应的待选择类别确定为该向量表达式所属的目标类别。将该目标类别指示的异常类型,作为由nb算法构建的目标分类模型对该目标服务器的异常分类结果。
[0064]
在一个实施例中,如果异常分类设备采用lda算法对目标服务器进行异常分类的过程,异常分类设备可以先将目标日志信息转换为该目标日志信息对应的向量表达式。然后利用距离计算方法分别计算该向量表达式与各个日志样本子集内的日志样本对应的样本向量的距离,将距离最近的样本向量对应的待选择类别确定为向量表达式所属的目标类别。将该目标类别指示的异常类型,作为由lda算法构建的目标分类模型对该目标服务器的异常分类结果。其中,计算距离的方法可以包括但不限于马氏距离。
[0065]
在一个实施例中,如果异常分类设备采用svm算法对目标服务器进行异常分类,异常分类设备可以先将目标日志信息转换为该目标日志信息对应的向量表达式,然后判断该向量表达式与最优超平面在高维空间内的相对位置,若该向量表达式位于最优超平面的第一侧,则将第一侧内样本向量指示的待选择类别确定为向量表达式所属的目标类别。若该向量表达式位于最优超平面的另一侧,则将另一侧内样本向量指示的待选择类别确定为向量表达式所属的目标类别。将该目标类别指示的异常类型,作为由svm算法构建的目标分类模型对该目标服务器的异常分类结果。
[0066]
在一个实施例中,如果异常分类设备采用rf算法对目标服务器进行异常分类,异
常分类设备可以先将目标日志信息转换为该目标日志信息对应的向量表达式。然后采用多个决策树分别对该向量表达式进行分类,得到多个参考样本向量,并基于投票机制从多个参考样本向量中确定样本向量,并将该样本向量对应的待选择类别确定为该向量表达式所属的目标类别。将该目标类别指示的异常类型,作为由rf算法构建的目标分类模型对该目标服务器的异常分类结果。
[0067]
在一个实施例中,如果异常分类设备采用lr算法对目标服务器进行异常分类,异常分类设备可以先将目标日志信息转换为该目标日志信息对应的向量表达式。然后将目标日志信息的向量表达式输入到各个二分类任务的训练模型中,将多个模型的分类结果进行集成以获得向量表达式所属的目标类别。
[0068]
这里所提及的每个目标分类模型对目标服务器的异常分类效果不尽相同。有的目标分类模型对目标服务器的异常分类的准确性高,有的目标分类模型对目标服务器的异常分类的准确性低。有的目标分类模型对目标服务器的异常分类的召回率高,有的目标分类模型对目标服务器的异常分类的召回率低。因此本发明实施例采用多个目标分类模型根据目标日志信息对目标服务器进行异常分类可以规避单一目标分类模型的缺陷,进一步的保障异常分类的准确性和召回率。
[0069]
s204,根据每个目标分类模型的异常分类结果,确定目标服务器的目标异常类型。
[0070]
其中,由于异常分类设备调用了至少两个目标分类模型对目标日志信息对应的向量表达式进行异常分类,且调用不同的的目标分类模型对目标日志信息进行异常分类得到的异常分类结果可能是相同的,也可能是不同的,也就是说该异常分类设备将从各目标分类模型得到针对目标服务器的多个异常分类结果,在该异常分类设备从各目标分类模型得到相应的异常分类结果后,则可利用大多数模型对该目标服务器的异常分类结果,确定目标服务器的目标异常类型。在一个实施例中,若每个目标分类模型对该目标服务器的异常分类结果均不相同,则异常分类设备可以选取任一目标分类模型对该目标服务器的异常分类结果,并将选取出的异常分类结果指示的异常类型作为该目标服务器的目标异常结果。例如,若该四个目标分类模型分别是模型a,模型b,模型c和模型d,如果该四个目标分类模型中的模型a根据该目标日志信息确定该目标服务器属于1类异常,模型b根据该目标日志信息确定该目标服务器属于2类异常,模型c根据该目标日志信息确定该目标服务器属于3类异常,模型d根据该目标日志信息确定该目标服务器属于4类异常,则该异常分类设备根据四个目标分类模型的结果,确定该目标服务器属于1类异常、2类异常、3类异常或者4类异常。其中,大多数也可以是一个比例阈值,该比例阈值可以通过经验或业务需求设置,该比例阈值可以是80%,90%等等。
[0071]
在另一实施方式中,若存在至少两个目标分类模型对该目标服务器的异常分类结果相同,则可以从各个目标分类模型对该目标服务器的异常分类结果中确定出最多相同个数的参考分类结果;将选取出的最多相同个数的参考分类结果指示的异常类型作为该目标服务器的目标异常结果。例如,若该四个目标分类模型分别是模型a,模型b,模型c和模型d,如果该四个目标分类模型中的模型a、模型b以及模型c根据该目标日志信息确定该目标服务器属于1类异常,而模型d根据该目标日志信息确定该目标服务器属于2类异常,则该异常分类设备根据四个目标分类模型的结果,确定该目标服务器属于1类异常。
[0072]
进一步的,若从各个目标分类模型对该目标服务器的异常分类结果中确定出最多
相同个数的参考分类结果的数量为多个,则可以将任一一个参考分类结果指示的异常类型作为该目标服务器的目标异常结果。例如,若该四个目标分类模型分别是模型a,模型b,模型c和模型d,如果该四个目标分类模型中的模型a、模型b根据该目标日志信息确定该目标服务器属于1类异常,而模型c和模型d根据该目标日志信息确定该目标服务器属于2类异常,则该异常分类设备根据四个目标分类模型的结果,确定该目标服务器属于1类异常或者2类异常。
[0073]
在一个实施例中,为了更快速的确定目标服务器的目标异常类型,异常分类设备在确定该目标服务器的目标异常类型之后,还可以采用关联规则挖掘算法,确定目标日志信息与目标异常类型之间的关联关系,并存储该关联关系。该关联关系指示了该目标服务器生成目标日志信息时,该目标服务器为目标异常类型的概率,从而使得当目标服务器再次生成这个目标日志信息时,异常分类设备可以不再调用目标分类模型进行异常分类,可以直接根据关联关系中的概率确定该目标服务器的目标异常类型。或者,异常分类设备也可以根据每个目标分类模型对该目标服务器的异常分类结果以及关联关系中的概率确定该目标服务器的目标异常类型。可以提高异常分类设备确定目标服务器的目标异常类型的速率以及准确率。
[0074]
在一个实施例中,异常分类设备在确定该目标服务器的目标异常类型之后,还可以判断是否存在与目标异常类型相关的关联异常类型,若是,则将关联异常类型作为该目标服务器的预测异常类型。其中,该关联异常类型是在产生目标异常类型的目标异常之后,根据目标异常生成的异常类型。由于关联异常类型与目标异常类型之间存在关联性,那么当异常分类设备确定目标服务器产生了异常类型为目标异常类型的异常时,异常分类设备可以猜测该目标服务器在产生该目标异常类型的后续时间内可能会产生该异常类型为关联异常类型的异常。可以实时流式的处理目标服务器的数据,实现目标异常类型的关联异常类型的预测,从而可以对该目标服务器的关联异常类型进行预防,进一步提升用户体验。
[0075]
在本发明实施例中,异常分类设备响应于对目标服务器进行异常分类的触发操作,获取该目标服务器在产生异常时生成的目标日志信息以及采用异常分类算法训练得到多个目标分类模型;然后调用多个目标分类模型根据目标日志信息对目标服务器进行异常分类。由于对目标服务器进行异常分类实现基于日志信息的目标服务器的异常定位是基于机器学习算法构建的目标分类模型完成的,无需分析人员对目标服务器的目标日志信息进行逐条分析,这样可减少人为操作,大大减少人力成本是时间成本,有效节省人力资源,提升异常分类的效率,并且,本发明实施例通过文本向量化和机器学习算法构建目标分类模型对目标服务器进行异常分类,可以识别不同的异常类型,且识别的准确率高。除此之外,由于本发明实施例利用了至少两个目标分类模型根据目标日志信息对目标服务器进行异常分类,采用了多模型融合策略,并以投票机制从多个目标分类模型的异常分类结果中确定目标服务器的异常类型,避免了单一分类模型的缺陷,可以进一步保障服务器异常分类的准确性。
[0076]
参见上述图2所示方法实施例的相关描述可知,图2所示的异常分类方法可以通过调用目标分类模型实现对异常服务器的异常分类。其中,每个目标分类模型是基于已有的日志信息集构造出的一个分类函数/分类模型,即为一个决策面。参见图3所示,本发明实施例提出了一种构建目标分类模型的流程示意图。如图3所示,目标分类模型的构建过程主要
包括图3左侧图所示的模型训练部分以及图3右侧图所示的模型测试部分。如图3的所示,目标分类模型的构建过程可包括步骤s301

s304:
[0077]
s301,获取服务器产生异常时的日志信息集,并对该日志信息集进行预处理得到日志样本集,其中,预处理包括以下一种或多种:数据筛选、数据清洗和文本分词。
[0078]
服务器在产生异常时,将向异常分类设备进行异常上报,服务器可向该异常分类设备发送工单信息,以便该异常分类设备基于工单信息确定出服务器产生异常时生成的日志信息,异常分类设备可以获取在一个时间段内服务器产生异常时生成的日志信息得到日志信息集。其中,时间段可以是可变的时间段,如2020年10月1日

2020年11月1日,距离当天最近的五天,或者距离当月最近的一个月,等等。其中,服务器可以是一个服务器也可以是多个服务器的组合,本发明实施例对此不做限定。
[0079]
在获得日志信息集后,异常分类设备可以通过数据划分操作将日志信息划分为训练日志信息集和测试日志信息集。其中,数据划分操作可以包括随机分层抽样的方式。其中,训练日志信息集用于构建目标分类模型,测试日志信息集用于验证目标分类模型的模型效果。例如,可以将日志信息集中的70%作为测训练日志信息集,将日志信息集中的30%作为测试日志信息集。
[0080]
在一个实施例中,异常分类设备在获得训练日志信息集和测试日志信息集后,可以对该训练日志信息集进行预处理得到用于训练的日志样本集,对测试日志信息集进行预处理得到用于测试的日志样本集。
[0081]
下面将详细介绍对训练日志信息集进行预处理得到用于训练的日志样本集的过程。请参见图4,是本发明实施例提供的一种预处理方法的流程示意图。其中,主要包括的数据筛选s11、数据清洗s12和数据平衡化s13。
[0082]
具体的,异常分类设备对训练日志样本集先进行数据筛选,然后进行数据清洗,并判断清洗后的数据是否平衡,若不平衡,则需要进行数据平衡化。在数据平衡后,可以得到用于训练的日志样本集,该日志样本集可用于构建目标分类模型,并基于该目标分类模型对目标服务器进行异常分析。
[0083]
s11,数据筛选
[0084]
针对训练日志信息集中的日志信息,本发明实施例所获取的服务器异常时产生的日志信息,是有助于异常分类设备对服务器进行异常分类的日志信息,即本发明实施例所获取的服务器的日志信息是特定类型的,有助于进行异常定位(或异常分类)的日志信息。然而,异常分类设备在服务器异常时获得的日志信息可能会包括不属于上述特定类型的日志信息。例如,服务器的开机日志等。异常分类设备需要从训练日志信息集中筛选出属于特定类型的日志信息。其中,特定类型的日志信息可以根据经验或业务需求设置。
[0085]
s12,数据清洗
[0086]
针对训练日志信息集中的日志信息,数据清洗主要用于清除日志信息中包含的无用信息。例如,异常分类设备可以清除日志信息中的特殊符号(如'#','<','>','&','@','!','(',')','*','_'等),又例如,异常分类设备可以清除日志信息中的格式信息(例如数字格式、英文格式等),再例如,异常分类设备可以清除日志信息中的停用词(如'is','not','this','the','do','in'等)。需要清楚的是,若日志信息的格式不一致,异常分类设备需要分别对不同格式的日志信息分开清洗。
[0087]
s13,数据平衡化s13
[0088]
由于异常分类设备基于工单信息确定出服务器产生异常时生成的日志信息。当不同类别的工单信息的数量级不一致时,即日志信息对应的各种异常类型的数量相差较大时,会使得目标分类模型的异常分类结果偏向于数量较多的异常类型。考虑到各种异常类型的数量不平衡问题,可以将数量较少的异常类型划分为一类(如其他类)。如图5所示,服务器的异常类型可以包括交换机故障、突发故障、主板故障、网卡故障、人为原因、磁盘阵列卡故障、内核相关故障、处理器故障和内存故障等九类异常类型。交换机故障和突发故障的数量为1,主板故障和网卡故障的数量为2,人为原因和磁盘阵列卡故障的数量为3,这些异常类型的数量均比较少,可以将交换机故障、突发故障、主板故障、网卡故障、人为原因、磁盘阵列卡故障这六种异常类型划分为一类。然而,内核相关故障的数量为15,处理器故障的数量为20,内存故障的数量为85,这些异常类型的数量均比较多,可以分别将内核相关故障作为二类、处理器故障作为三类、内存故障作为四类。九分类的问题就转化为四分类问题。在工单信息的数量不平衡或者异常类型特别多的情况下,将数量较少的异常类型划分为一类的方法,可以使得目标分类模型有很强的随机性。
[0089]
在一些实施例中,异常分类设备还需要对日志信息进行文本分词处理。异常分类设备可以基于词典分词算法(如正向最大匹配法、逆向最大匹配法和双向匹配分词法等)对日志信息进行文本分词,或者也可以基于统计的机器学习算法(如隐马尔科夫模型、条件随机场模型、svm算法、深度学习算法等)对日志信息进行文本分词得到。本发明实施例对此不做限制。
[0090]
需要明白的是,为了保证用于训练的日志样本集和用于测试的日志样本集的格式统一,异常分类设备还需要对测试日志信息集中的日志信息进行预处理得到用于测试的日志样本集,且异常分类设备对测试日志信息集中的日志信息进行预处理的方法与对异常分类设备对训练日志信息集中的日志信息进行预处理的方法相同,异常分类设备对测试日志信息进行预处理的具体实现可参考步骤s11

s13。这里不再赘述。
[0091]
s302,获取日志样本集,并对该日志样本集中的各日志样本进行向量转换,确定日志样本集中每个日志样本对应的样本向量。
[0092]
日志样本集中的日志样本通常为文本类型,在构建目标分类模型时,需要将文本类型的日志样本转换为每个日志样本对应的数值类型的样本向量。其中,日志样本集包括用于训练的日志样本集或者用于测试的日志样本集。
[0093]
可选的,可以通过人工标记的方式获得日志样本的样本向量。可选的,可以通过权重计算方法将日志样本转化为样本向量。其中,权重计算方法可以包括以下任意一种或多种:布尔权重(boolean vector)法、频度权重法(term frequence)和词频

逆文件频率法(term frequency

inverse document frequency,tf

idf)。
[0094]
其中,布尔权重法是最简单的权重计算方法。如果某特征词在日志样本中出现,其权重即为1;如果某特征词在日志样本中不出现,其权重即为0。该方法容易丢失日志样本的内部信息,效果略差。但适用于一些采用二分类的模型,比如决策树或者概率分类器。
[0095]
其中,频度权值法是最直观的权重计算方法。一个特征词在日志样本中出现的次数即为频度权重。这种方法的思想是,出现次数越多的特征词,其重要性越大。具体的,可以通过以下表达式表征频度权值法:
[0096]
词频=特征词在日志样本中出现的次数
[0097]
其中,词频

逆文件频率法,是应用最广泛的权重计算方法。特征词在日志样本中出现次数越多,且在日志样本集出现次数越少,这个特征词越能够代表该异常类型。主要思想为,若日志样本中包含特征词t的日志样本数越少,逆文件频率越大,则说明特征词t具有很好的类型区分能力。可以通过以下表达式表征词频

逆文件频率法:
[0098][0099]
词频=特征词在日志样本中出现的次数
[0100]
词频

逆文件频率=词频*逆文件频率
[0101]
在一个实施例中,可以采用词频

逆文件频率法进行文本向量化,可以选择12正则化,结合文档频率(df)和最大词频(tf)进行特征选择,选取日志样本的特征词。
[0102]
需要明白,针对一些数量较少的异常类型,可以通过专家知识分析已有的工单信息对应的日志信息,并从中人为的提取特征词,并编写相应的模块实现自动化分类。
[0103]
s303,根据每个日志样本对应的样本向量对所述日志样本集进行分类,得到不同类别下的日志样本子集,其中,一个类别下的日志样本子集中的日志样本对应的样本向量与一个待选择类别相对应。
[0104]
采用异常分类算法构建目标分类模型,在构建的过程中不断进行参数调优,构建最优的目标分类模型。具体的,异常分类设备可以利用初始分类模型对日志样本集中每个日志样本对应的样本向量进行分类,得到不同类别的日志样本子集,并根据分类结果更新初始分类模型的初始参数。经过多次更新,可以训练得到目标分类模型。其中,一个类别的日志样本子集中包含的日志样本对应的样本向量与一个待选择类别相对应。
[0105]
下面以决策树为例进行说明。采用决策树算法对日志样本集进行训练,可以得到如图6所示的决策树。如图6所示,该决策树总共包括11个节点,其中包括5个非叶子节点,6个叶子节点,如图6中所示,可以用实线框表示的非叶子节点,可以用虚线框表示的叶子节点。一个样本向量为[32,41,33],经过决策树的分类处理,可以分别得到6个类别的日志样本子集。
[0106]
需要明白,构目标分类模型除了由决策树算法构建得到,还可以通过其他的机器学习算法。在一些实施例中,还可以采用机器学习算法与专家规则结合的方式进行异常分类。具体的,可以在构建模型中加入专家规则策略层,以优化分类模型,实现更优的分类效果。
[0107]
重复步骤s303,采用至少两个异常分类算法对日志样本集进行训练得到至少两个分类模型。
[0108]
s304,利用用于测试的日志样本分别对上述至少两个目标分类模型进行测试,并对各个目标分类模型的测试结果进行分析。
[0109]
请参见图7,图7示出了各个异常分类算法对应的目标分类模型的测试结果。由图7可知,由dt算法构建的目标分类模型在用于训练的日志样本集中的准确性可达98.94%、在用于测试的日志样本集中的准确性可达90.24%,该目标分类模型的可解释性较好,分类效果好。由rocchio算法构建的目标分类模型比较稳定,分类效果好,但是可能会将处理器故障错分为内存故障。由xgboost算法构建的目标分类模型是竞赛级的,分类效果很好,但是
内核相关可能会被错分其他故障,或者,处理器故障可能会被错分为内存故障。由nb算法构建的目标分类模型是基于概率的,分类效果一般,且这个目标分类模型适用的范围较小。由lda算法构建的目标分类模型分类效果好,但是容易过拟合,很容易错分异常类型。由svm算法构建的目标分类模型在其他分类方案中性能较优秀,但是异常分类效果差。由rf算法构建的目标分类模型比较稳定,分类效果很好。但是容易将处理器故障错分为内存故障。由lr算法构建的目标分类模型最简单,分类效果好。但是容易将处理器故障错分为内存故障。
[0110]
本发明实施例通过借助机器学习的方法,可实现对导致服务器异常的日志数据进行学习,过滤掉日志信息中无用的信息,并通过日志信息的特征词构建机器学习分类模型,即目标分类模型。当目标分类模型的异常分类的准确率足够准确时,能够不需要人工参与,实现对目标服务器对应的工单信息的自动化结单,对目标服务器的异常进行自动化分析,准确定位目标服务器的异常类型。
[0111]
基于上述异常分类方法实施例的描述,本发明实施例还公开了一种异常分类装置,所述异常分类装置可以是运行于上述所提及的异常分类设备中的一个计算机程序(包括程序代码)。该异常分类装置可以执行图2或图3所示的方法。请参见图8,所述异常分类装置可以运行如下单元:
[0112]
获取单元801,用于响应于对目标服务器进行异常分类的触发操作,获取所述目标服务器在产生异常时生成的目标日志信息;
[0113]
所述获取单元801还用于获取至少两个目标分类模型,其中,一个目标分类模型采用一个异常分类算法对所述目标服务器进行异常分类;
[0114]
异常分类单元802,用于调用每个目标分类模型根据所述目标日志信息对所述目标服务器进行异常分类,得到每个目标分类模型对所述目标服务器的异常分类结果;
[0115]
确定单元803,用于根据每个目标分类模型的异常分类结果,确定所述目标服务器的目标异常类型。
[0116]
在一种实施方式中,异常分类单元802调用每个目标分类模型根据所述目标日志信息对所述目标服务器进行异常分类,得到每个目标分类模型对所述目标服务器的异常分类结果,包括:
[0117]
确定所述目标日志信息对应的向量表达式,并调用每个目标分类模型对所述目标日志信息对应的向量表达式进行异常分类,确定所述向量表达式所属的目标类别;
[0118]
将所述目标类别指示的异常类型,作为所述每个目标分类模型对所述目标服务器的异常分类结果。
[0119]
再一种实施方式中,所述向量表达式包括多个待选择类别,确定单元803,还用于确定多个待选择类别,包括:
[0120]
获取日志样本集,并对所述日志样本集中的各日志样本进行向量转换,确定所述日志样本集中每个日志样本对应的样本向量;所述日志样本集包括的日志样本是在一个服务器产生异常时获取到的;
[0121]
根据每个日志样本对应的样本向量对所述日志样本集进行分类,得到不同类别下的日志样本子集,其中,一个类别下的日志样本子集中的日志样本对应的样本向量与一个待选择类别相对应。
[0122]
再一种实施方式中,若每个目标分类模型对所述目标服务器的异常分类结果均不
相同;确定单元803根据每个目标分类模型的异常分类结果,确定所述目标服务器的目标异常类型,包括:
[0123]
选取任一目标分类模型对所述目标服务器的异常分类结果,并将选取出的异常分类结果指示的异常类型作为所述目标服务器的目标异常结果。
[0124]
再一种实施方式中,若存在至少两个目标分类模型对所述目标服务器的异常分类结果相同;确定单元803根据每个目标分类模型的异常分类结果,确定所述目标服务器的目标异常类型,包括:
[0125]
从各个目标分类模型对所述目标服务器的异常分类结果中确定出最多相同个数的参考分类结果;
[0126]
将选取出的最多相同个数的参考分类结果指示的异常类型作为所述目标服务器的目标异常结果。
[0127]
再一种实施方式中,确定单元803确定所述目标服务器的目标异常类型之后,还用于:
[0128]
采用关联规则挖掘算法,确定所述目标日志信息与所述目标异常类型之间的关联关系,并存储所述关联关系;
[0129]
其中,所述关联关系用于指示所述目标服务器生成所述目标日志信息时,所述目标服务器为目标异常类型的概率。
[0130]
再一种实施方式中,确定单元803确定所述目标服务器的目标异常类型之后还用于:
[0131]
判断是否存在与所述目标异常类型相关的关联异常类型,其中,所述关联异常类型是在产生所述目标异常类型的目标异常之后,根据所述目标异常生成的异常类型;
[0132]
若是,则将所述关联异常类型作为针对所述目标服务器的预测异常类型。
[0133]
根据本发明的一个实施例,图2或图3所示的方法所涉及的各个步骤均可以是由图8所示的异常分类装置中的各个单元执行的。例如,图2所示的步骤s201和s202由图8中所示的获取单元801来执行,步骤s203由图8中所示的异常分类单元802来执行,步骤s204由图8中所示的确定单元803来执行。又如,图3步骤中的s301、s302、s303和s304由图8中所示的异常分类单元802来执行。
[0134]
根据本发明的另一个实施例,图8所示的异常分类装置中的各个单元可以分别或者全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本发明实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以是由多个单元来实现,或者多个单元的功能由一个单元实现。在本发明的其他实施例中,基于异常分类装置也可以包括其他单元,在实际应用中,这些功能也可以由其他单元协助实现,并且可以由多个单元协作实现。
[0135]
根据本发明的另一个实施例,可以通过包括中央处理单元(centralprocessing unit,cpu),随机存取存储介质(ram)、只读存储介质(rom)等处理元件和存储元件。例如计算机的通用计算设备上运行能够执行如图2或图3中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图8所示的异常分类装置,以及来实现本发明实施例的异常分类方法。所述的计算机程序可以记载于例如计算机可读记录介质上,并通过计算机
可读记录介质装载于上述异常分类设备中,并在其中运行。
[0136]
在本发明实施例中,响应于对目标服务器进行异常分类的触发操作,获取单元801可获取该目标服务器在产生异常时生成的目标日志信息以及采用异常分类算法训练得到多个目标分类模型;然后该异常分类单元802可调用多个目标分类模型根据目标日志信息对目标服务器进行异常分类,进而确定单元803则可根据每个目标分类模型的异常分类结果,确定出目标服务器的异常类型。由于对目标服务器进行异常分类实现基于日志信息的目标服务器的异常定位是基于机器学习算法构建的目标分类模型完成的,无需分析人员对目标服务器的目标日志信息进行逐条分析,这样可减少人为操作,大大减少人力成本是时间成本,有效节省人力资源,提升异常分类的效率,并且,本发明实施例通过文本向量化和机器学习算法构建目标分类模型对目标服务器进行异常分类,可以识别不同的异常类型,且识别的准确率高。除此之外,由于本发明实施例利用了至少两个目标分类模型根据目标日志信息对目标服务器进行异常分类,采用了多模型融合策略,并以投票机制从多个目标分类模型的异常分类结果中确定目标服务器的异常类型,避免了单一分类模型的缺陷,可以进一步保障服务器异常分类的准确性。
[0137]
基于上述异常分类方法实施例的描述,本发明实施例还公开了一种异常分类设备。请参见图9,该异常分类设备至少包括处理器901、输入接口902、输出接口903以及计算机存储介质904可通过总线或其他方式连接。
[0138]
所述计算机存储介质904是异常分类设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质904既可以包括异常分类设备的内置存储介质,当然也可以包括异常分类设备支持的扩展存储介质。计算机存储介质904提供存储空间,该存储空间存储了异常分类设备的操作系统。并且,在该存储空间中还存放了适于被处理器901加载并执行的一条或多条指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速ram存储器;可选的,还可以是至少一个远离前述处理器的计算机存储介质、所述处理器可以称为中央处理单元(centralprocessing unit,cpu),是异常分类设备的核心以及控制中心,适于被实现一条或多条指令,具体加载并执行一条或多条指令从而实现相应的方法流程或功能。
[0139]
在一个实施例中,可由处理器901加载并执行计算机存储介质904中存放的一条或多条指令,以实现执行如图2或图3中所示的相应方法所涉及的各步骤,具体实现中,计算机存储介质904中的一条或多条指令由处理器901加载并执行以下步骤:
[0140]
响应于对目标服务器进行异常分类的触发操作,获取所述目标服务器在产生异常时生成的目标日志信息;
[0141]
获取至少两个目标分类模型,其中,一个目标分类模型采用一个异常分类算法对所述目标服务器进行异常分类;
[0142]
调用每个目标分类模型根据所述目标日志信息对所述目标服务器进行异常分类,得到每个目标分类模型对所述目标服务器的异常分类结果;
[0143]
根据每个目标分类模型的异常分类结果,确定所述目标服务器的目标异常类型。
[0144]
再一种实施方式中,处理器901调用每个目标分类模型根据所述目标日志信息对所述目标服务器进行异常分类,得到每个目标分类模型对所述目标服务器的异常分类结果,包括:
[0145]
确定所述目标日志信息对应的向量表达式,并调用每个目标分类模型对所述目标日志信息对应的向量表达式进行异常分类,确定所述向量表达式所属的目标类别;
[0146]
将所述目标类别指示的异常类型,作为所述每个目标分类模型对所述目标服务器的异常分类结果。
[0147]
再一种实施方式中,向量表达式包括多个待选择类别;处理器901确定多个待选择类别包括:
[0148]
获取日志样本集,并对所述日志样本集中的各日志样本进行向量转换,确定所述日志样本集中每个日志样本对应的样本向量;所述日志样本集包括的日志样本是在一个服务器产生异常时获取到的;
[0149]
根据每个日志样本对应的样本向量对所述日志样本集进行分类,得到不同类别下的日志样本子集,其中,一个类别下的日志样本子集中的日志样本对应的样本向量与一个待选择类别相对应。
[0150]
再一种实施方式中,若每个目标分类模型对所述目标服务器的异常分类结果均不相同;处理器901根据每个目标分类模型的异常分类结果,确定所述目标服务器的目标异常类型,包括:
[0151]
选取任一目标分类模型对所述目标服务器的异常分类结果,并将选取出的异常分类结果指示的异常类型作为所述目标服务器的目标异常结果。
[0152]
再一种实施方式中,若存在至少两个目标分类模型对所述目标服务器的异常分类结果相同;处理器901根据每个目标分类模型的异常分类结果,确定所述目标服务器的目标异常类型,包括:
[0153]
从各个目标分类模型对所述目标服务器的异常分类结果中确定出最多相同个数的参考分类结果;
[0154]
将选取出的最多相同个数的参考分类结果指示的异常类型作为所述目标服务器的目标异常结果。
[0155]
再一种实施方式中,处理器901还用于:
[0156]
采用关联规则挖掘算法,确定所述目标日志信息与所述目标异常类型之间的关联关系,并存储所述关联关系;
[0157]
其中,所述关联关系用于指示所述目标服务器生成所述目标日志信息时,所述目标服务器为目标异常类型的概率。
[0158]
再一种实施方式中,处理器901还用于:
[0159]
判断是否存在与所述目标异常类型相关的关联异常类型,其中,所述关联异常类型是在产生所述目标异常类型的目标异常之后,根据所述目标异常生成的异常类型;
[0160]
若是,则将所述关联异常类型作为针对所述目标服务器的预测异常类型。
[0161]
在本发明实施例中,异常分类设备响应于对目标服务器进行异常分类的触发操作,获取该目标服务器在产生异常时生成的目标日志信息以及采用异常分类算法训练得到多个目标分类模型;然后调用多个目标分类模型根据目标日志信息对目标服务器进行异常分类。由于对目标服务器进行异常分类实现基于日志信息的目标服务器的异常定位是基于机器学习算法构建的目标分类模型完成的,无需分析人员对目标服务器的目标日志信息进行逐条分析,这样可减少人为操作,大大减少人力成本是时间成本,有效节省人力资源,提
升异常分类的效率,并且,本发明实施例通过文本向量化和机器学习算法构建目标分类模型对目标服务器进行异常分类,可以识别不同的异常类型,且识别的准确率高。除此之外,由于本发明实施例利用了至少两个目标分类模型根据目标日志信息对目标服务器进行异常分类,采用了多模型融合策略,并以投票机制从多个目标分类模型的异常分类结果中确定目标服务器的异常类型,避免了单一分类模型的缺陷,可以进一步保障服务器异常分类的准确性。
[0162]
需要说明的是,本发明实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。异常分类设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该异常分类设备执行上述异常分类方法实施例图2或图3中所执行的步骤。
[0163]
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献

  • 日榜
  • 周榜
  • 月榜