基于人工智能的节点维护方法、装置、计算机设备及介质与流程

1.本发明涉及网络运维技术领域，尤其涉及一种基于人工智能的节点维护方法、装置、计算机设备及介质。


背景技术：

2.随着计算机技术的快速发展，越来越多的事务通过网络进行处理，访问互联网络来获取信息，成为日常生活中的一种很常见的事情，为了满足访问请求处理的需要，一些大型互联网企业或机构，采用集群的方式对信息访问提供支持，集群中包含多个服务器节点，每个服务器节点需要定期或者在发生故障时，进行维护，这使得服务器节点的运维变得极其繁琐。
3.现有方式主要通过一些监控脚本，对每个节点的数据进行监控，在监测到节点发生故障时进行预警，提醒运维工程师进行检查维护，这使得运维效率较低，同时，在运维过程中也影响业务请求数据的网络响应。


技术实现要素：

4.本发明实施例提供一种基于人工智能的节点维护方法、装置、计算机设备和存储介质，以提高节点运维的效率。
5.为了解决上述技术问题，本技术实施例提供一种基于人工智能的节点维护方法，包括：
6.获取基础资源数据，其中，基础资源数据用于记录集群服务器中的每个节点服务器的运行日志和当前参数信息；
7.对运行日志进行解析，得到日志解析文件；
8.根据关键字列表对日志解析文件的运维数据进行查找匹配，得到待匹配的运维数据；
9.采用待匹配的运维数据与运维案例库中的每个场景数据进行相似度计算得到多个相似度，其中，运维案例库中的每个场景数据为根据历史维护数据得到；
10.当存在相似度大于预设相似度阈值时，结合当前参数信息对节点进行调整维护。
11.可选地，对运行日志进行解析，得到日志解析文件包括：
12.采用正则表达式的方式，对运行日志进行文件分割与内容提取，得到日志解析文件。
13.可选地，根据关键字列表对日志解析文件的运维数据进行查找匹配，得到待匹配的运维数据包括：
14.获取根据历史日志文件和维护资料训练的n-gram模型，作为参考模型；
15.针对关键字列表中的每个关键字，将关键字输入到参考模型中进行识别，得到第一匹配词；
16.将运维数据输入到参考模型中进行识别分词，得到第二匹配词；
17.针对每个第一匹配词，将第一匹配词分别与每个第二匹配词进行匹配，若匹配相似度超过预设匹配阈值，则将第二匹配词对应的运维数据作为待匹配的运维数据。
18.可选地，当存在相似度大于预设相似度阈值时，结合当前参数信息对节点进行调整维护包括：
19.获取与待匹配的运维数据的相似度大于预设相似度阈值的场景数据，作为目标参考数据；
20.从运维案例库中获取目标参考数据对应的维护策略，作为参考策略；
21.基于当前参数信息和参考策略，对节点进行调整维护。
22.可选地，基于当前参数信息和参考策略，对节点进行调整维护包括：
23.基于参考策略和当前参数信息，对节点进行配置调整和健康检查。
24.为了解决上述技术问题，本技术实施例还提供一种基于人工智能的节点维护装置，包括：
25.数据采集模块，用于获取基础资源数据，其中，所述基础资源数据用于记录集群服务器中的每个节点服务器的运行日志和当前参数信息；
26.日志解析模块，用于对所述运行日志进行解析，得到日志解析文件；
27.数据匹配模块，用于根据关键字列表对日志解析文件的运维数据进行查找匹配，得到待匹配的运维数据；
28.相似度计算模块，用于采用所述待匹配的运维数据与运维案例库中的每个场景数据进行相似度计算得到多个相似度，其中，所述运维案例库中的每个场景数据为根据历史维护数据得到；
29.运行维护模块，用于当存在相似度大于预设相似度阈值时，结合所述当前参数信息对节点进行调整维护。
30.可选地，日志解析模块包括：
31.正则解析单元，用于采用正则表达式的方式，对所述运行日志进行文件分割与内容提取，得到所述日志解析文件。
32.可选地，所述数据匹配模块包括：
33.参考模型获取单元，用于获取根据历史日志文件和维护资料训练的n-gram模型，作为参考模型；
34.第一识别单元，用于针对所述关键字列表中的每个关键字，将所述关键字输入到所述参考模型中进行识别，得到第一匹配词；
35.第二识别单元，用于将所述运维数据输入到所述参考模型中进行识别分词，得到第二匹配词；
36.待匹配的运维数据确定单元，用于针对每个所述第一匹配词，将所述第一匹配词分别与每个所述第二匹配词进行匹配，若匹配相似度超过预设匹配阈值，则将所述第二匹配词对应的运维数据作为所述待匹配的运维数据。
37.可选地，所述运行维护模块包括：
38.目标参考数据获取单元，用于获取与所述待匹配的运维数据的相似度大于预设相似度阈值的场景数据，作为目标参考数据；
39.参考策略确定单元，用于从所述运维案例库中获取所述目标参考数据对应的维护
策略，作为参考策略；
40.节点维护单元，用于基于所述当前参数信息和所述参考策略，对节点进行调整维护。
41.可选地，所述节点维护单元包括：
42.调整和检查子单元，用于基于所述参考策略和当前参数信息，对节点进行配置调整和健康检查。
43.为了解决上述技术问题，本技术实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于人工智能的节点维护方法的步骤。
44.为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于人工智能的节点维护方法的步骤。
45.本发明实施例提供的基于人工智能的节点维护方法、装置、计算机设备及存储介质，获取基础资源数据，其中，基础资源数据用于记录集群服务器中的每个节点服务器的运行日志和当前参数信息，对运行日志进行解析，得到日志解析文件，根据关键字列表对日志解析文件的运维数据进行查找匹配，得到待匹配的运维数据，采用待匹配的运维数据与运维案例库中的每个场景数据进行相似度计算得到多个相似度，其中，运维案例库中的每个场景数据为根据历史维护数据得到，当存在相似度大于预设相似度阈值时，结合当前参数信息对节点进行调整维护。实现对集群的各个节点进行快速维护，提高了维护效率和及时性，节约了人力成本。
附图说明
46.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
47.图1是本技术的应用环境示意图；
48.图2是本技术的基于人工智能的节点维护方法的一个实施例的流程图；
49.图3是根据本技术的基于人工智能的节点维护装置的一个实施例的结构示意图；
50.图4是根据本技术的计算机设备的一个实施例的结构示意图。
具体实施方式
51.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术；本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
52.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包
含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
53.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.请参阅图1，如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
55.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。
56.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture e界面显示perts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture e界面显示perts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
57.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
58.需要说明的是，本技术实施例所提供的基于人工智能的节点维护方法由服务器执行，相应地，基于人工智能的节点维护装置设置于服务器中。
59.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本技术实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。
60.请参阅图2，图2示出本发明实施例提供的一种基于人工智能的节点维护方法，详述如下：
61.s201：获取基础资源数据，其中，基础资源数据用于记录集群服务器中的每个节点服务器的运行日志和当前参数信息。
62.其中，运行日志是指节点服务器在运行过程中，产生的日志记录。
63.当前参数信息是指节点服务器的各项参数，各项参数包括但不限于：中央处理器型号、内存型号、中央处理器当前使用率和内存当前使用率等。
64.具体地，不同节点服务器由于其配置不同，以及当前的运行状态不同，导致其数据处理能力也不同，为避免节点服务器超负载运行导致服务器故障或者数据处理过程中的异常，需要通过节点服务器的当前运行状态，来计算出节点服务器当前可用于进行数据处理的资源状态，也即，当前参数信息。
65.s202：对运行日志进行解析，得到日志解析文件。
66.采用正则表达式的方式，对运行日志进行文件分割与内容提取，得到日志解析文件。
67.s203：根据关键字列表对日志解析文件的运维数据进行查找匹配，得到待匹配的
运维数据。
68.在一具体实施方式中，步骤s203中，根据关键字列表对日志解析文件的运维数据进行查找匹配，得到待匹配的运维数据包括：
69.获取根据历史日志文件和维护资料训练的n-gram模型，作为参考模型；
70.针对关键字列表中的每个关键字，将关键字输入到参考模型中进行识别，得到第一匹配词；
71.将运维数据输入到参考模型中进行识别分词，得到第二匹配词；
72.针对每个第一匹配词，将第一匹配词分别与每个第二匹配词进行匹配，若匹配相似度超过预设匹配阈值，则将第二匹配词对应的运维数据作为待匹配的运维数据。
73.其中，预设匹配阈值可根据实际场景需要进行设定，例如0.8，此处不作具体限定。
74.其中，n-gram模型是大词汇连续文字语义识别中常用的一种语言模型，利用上下文中相邻词间的搭配信息，在需要把连续无空格的文字转换成汉字串(即句子)时，可以计算出具有最大概率的句子，从而实现到汉字的自动转换，无需用户手动选择，提高了词序列确定的准确性。
75.s204：采用待匹配的运维数据与运维案例库中的每个场景数据进行相似度计算得到多个相似度，其中，运维案例库中的每个场景数据为根据历史维护数据得到。
76.其中，运维案例库是指历史每次维护的案例，包括维护之前采集到的基础资源数据、维护策略和维护后的状态记录等。
77.进一步地，当存在相似度大于预设相似度阈值时，结合当前参数信息对节点进行调整维护包括：
78.获取与待匹配的运维数据的相似度大于预设相似度阈值的场景数据，作为目标参考数据；
79.从运维案例库中获取目标参考数据对应的维护策略，作为参考策略；
80.基于当前参数信息和参考策略，对节点进行调整维护。
81.s205：当存在相似度大于预设相似度阈值时，结合当前参数信息对节点进行调整维护。
82.其中，预设相似度阈值可根据实际需要进行设定。
83.应理解，在存在相似度大于预设相似度阈值时，说明当前节点的状态处于需要维护的状态，进而对该节点进行自动维护。
84.进一步地，基于参考策略和当前参数信息，对节点进行配置调整和健康检查。
85.其中，配置调整是指对节点的容量、内存等配置信息进行调整，进行适当扩大容量和内存等处理，健康检查是指对每个节点进行活性探测，得到节点状态。
86.需要说明的是，在集群中存在多个节点(节点服务器)，由于节点自身的一些管控策略和性能等因素，会进行动态的上线下线，因而，为确保后续数据访问请求分发和处理的有效，需要先对节点的状态进行判断。
87.其中，节点状态包括激活、宕机和未激活。
88.进一步地，对节点进行健康检查包括：
89.基于集群通信，向每个节点发送心跳包检测指令；
90.根据每个节点针对心跳包检测指令的反馈结果，确定每个节点对应的节点状态。
91.具体地，通过向每个节点发送心跳包检测指令，判断与该心跳包对应的节点的网络连接端口的链接状态是否正常，并在链接状态处于正常时，节点将根据心跳包检测指令，与服务端进行交互响应。
92.应理解，通过心跳监控能够及时发现异常，例如在一段时间内没有收到节点服务器对心跳包的反馈，则确认该节点的链接状态存在异常，此时，将该节点从有效节点的列表中移除，避免后续将数据访问请求分发到该节点，同时，及时将该异常情况显示在服务端的交互界面上，以便维护人员及时分析和处理对应的集群节点上出现的相关异常问题。
93.其中，心跳包就是在目标主机和服务器间定时通知对方自己状态的一个自己定义的命令字，按照一定的时间间隔发送，类似于心跳，所以叫做心跳包。心跳包用于监控socket的可用性，确保服务端与目标主机之间交互的稳定性。
94.本实施例中，通过心跳检测的方式，快速判断每个节点的状态，进行快速确定节点的健康状态，并在节点处于宕机或高延迟时及时进行预警处理。
95.本实施例中，获取基础资源数据，其中，基础资源数据用于记录集群服务器中的每个节点服务器的运行日志和当前参数信息，对运行日志进行解析，得到日志解析文件，根据关键字列表对日志解析文件的运维数据进行查找匹配，得到待匹配的运维数据，采用待匹配的运维数据与运维案例库中的每个场景数据进行相似度计算得到多个相似度，其中，运维案例库中的每个场景数据为根据历史维护数据得到，当存在相似度大于预设相似度阈值时，结合当前参数信息对节点进行调整维护。实现对集群的各个节点进行快速维护，提高了维护效率和及时性，节约了人力成本。
96.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
97.图3示出与上述实施例基于人工智能的节点维护方法一一对应的基于人工智能的节点维护装置的原理框图。如图3所示，该基于人工智能的节点维护装置包括数据采集模块31、日志解析模块32、数据匹配模块33、相似度计算模块34和运行维护模块35。各功能模块详细说明如下：
98.数据采集模块31，用于获取基础资源数据，其中，基础资源数据用于记录集群服务器中的每个节点服务器的运行日志和当前参数信息；
99.日志解析模块32，用于对运行日志进行解析，得到日志解析文件；
100.数据匹配模块33，用于根据关键字列表对日志解析文件的运维数据进行查找匹配，得到待匹配的运维数据；
101.相似度计算模块34，用于采用待匹配的运维数据与运维案例库中的每个场景数据进行相似度计算得到多个相似度，其中，运维案例库中的每个场景数据为根据历史维护数据得到；
102.运行维护模块35，用于当存在相似度大于预设相似度阈值时，结合当前参数信息对节点进行调整维护。
103.可选地，日志解析模块32包括：
104.正则解析单元，用于采用正则表达式的方式，对运行日志进行文件分割与内容提取，得到日志解析文件。
105.可选地，数据匹配模块33包括：
106.参考模型获取单元，用于获取根据历史日志文件和维护资料训练的n-gram模型，作为参考模型；
107.第一识别单元，用于针对关键字列表中的每个关键字，将关键字输入到参考模型中进行识别，得到第一匹配词；
108.第二识别单元，用于将运维数据输入到参考模型中进行识别分词，得到第二匹配词；
109.待匹配的运维数据确定单元，用于针对每个第一匹配词，将第一匹配词分别与每个第二匹配词进行匹配，若匹配相似度超过预设匹配阈值，则将第二匹配词对应的运维数据作为待匹配的运维数据。
110.可选地，运行维护模块34包括：
111.目标参考数据获取单元，用于获取与待匹配的运维数据的相似度大于预设相似度阈值的场景数据，作为目标参考数据；
112.参考策略确定单元，用于从运维案例库中获取目标参考数据对应的维护策略，作为参考策略；
113.节点维护单元，用于基于当前参数信息和参考策略，对节点进行调整维护。
114.可选地，节点维护单元包括：
115.调整和检查子单元，用于基于参考策略和当前参数信息，对节点进行配置调整和健康检查。
116.关于基于人工智能的节点维护装置的具体限定可以参见上文中对于基于人工智能的节点维护方法的限定，在此不再赘述。上述基于人工智能的节点维护装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
117.为解决上述技术问题，本技术实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
118.所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
119.所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
120.所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或d界面显示存储器等)、随机访问存储器(ram)、静态
随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如电子文件的控制的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
121.所述处理器42在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行数据访问的程序代码。
122.所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
123.本技术还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有数据访问程序，所述数据访问程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于人工智能的节点维护方法的步骤。
124.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
125.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
126.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
127.显然，以上所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例，附图中给出了本技术的较佳实施例，但并不限制本技术的专利范围。本技术可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本技术的公开内容的理解更加透彻
全面。尽管参照前述实施例对本技术进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本技术说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本技术专利保护范围之内。