云平台资源异常自动处理系统及方法与流程

1.本发明涉及云平台异常资源查询和自动化处理领域，具体地说是一种云平台资源异常自动处理系统及方法。


背景技术：

2.当前，云计算处在快速发展阶段，技术产业创新不断涌现。企业云逐渐成为趋势，随着云基础资源的激增，如何高效的管理和运维海量的资源成为影响云提供商和平台运维人员需要解决的重要问题。
3.通常，云计算厂商需要定时对云平台内的资源进行安全合规检查、标签检查标定、配置、安全基线检查等，同时，由于平台异常和客户非常规操作，也会导致部分资源处于异常状态。对于运维人员而言，如何快速准确的定位到异常的资源，并提取问题日志以供问题分析并修复简单的异常变得越发重要。
4.目前针对资源较少的云平台，可以通过运维人员人工执行命令检查各个项目中异常资源；对于资源虚机过百的环境，人工检查就变得极其困难，一般会通过执行脚本检查并处理环境异常资源。但执行脚本一方面会增加运维人员学习成本，另一方面，随着脚本增加，也会增加代码维护成本。同时，大量的脚本以定时任务的形式在云平台运行，无形中也会造成资源的浪费，不能最大化利用物理设备的计算资源，也不容易记录由脚本执行的异常处理历史，追溯并定位问题原因。现较为推荐的是使用云平台托管服务实现该功能，很多云平台都提供了资源的合规性检查服务，比如openstack的congress服务、aws config服务等。以开源openstack为例，congress语法类似函数式写法，相对比较复杂，也会增加运维人员的学习成本，且使用场景单一，现已不在openstack社区维护。


技术实现要素：

5.本发明的技术任务是提供一种云平台资源异常自动处理系统及方法，来解决如何快速准确的定位到异常的资源，并提取问题日志以供问题分析并修复简单的异常的问题。
6.本发明的技术任务是按以下方式实现的，一种云平台资源异常自动处理系统，该系统是通过规则模块自定义规则模板查询并过滤日志模块中日志异常信息或资源信息过滤云平台中异常资源，通过异常处理模块导出适配各厂商云平台函数计算组件的函数，运维人员根据定义规则模板使用serverless架构触发函数计算中定义的函数处理逻辑，传入相应参数，执行异常资源修复及处理；或通过消息形式将错误日志、相关异常资源及相关信息反馈运维人员进行手动处理；同时通过调用api模块查询数据库模块中的记录信息，实现历史异常问题回溯。
7.作为优选，该系统包括，
8.api模块，用于查询数据库历史查询信息及异常处理信息或调用规则模块进行异常资源查询和处理；
9.规则模块，用于接收请求，提取目标数据，并自定义规则模板；
10.日志模块，用于调用elasticsearchsdk过滤云平台prometheus或grafana收集的平台worning及error异常日志；
11.数据库模块，用于记录查询信息、查询结果、触发事件及执行结果到数据库；
12.异常处理模块，用于记录自定义的规则模板和异常处理模板映射关系，解析对应异常资源，触发对应函数计算组件事件；其中，异常处理模板包括若干异常脚本组成的脚本库，异常脚本与规则模板中的actions一一对应，通过触发actions事件，触发异常脚本处理对应的异常数据；
13.云平台函数计算组件，用于根据触发的事件执行对应函数代码，修复异常问题或推送异常资源及日志信息到运维人员进行后续处理。
14.更优地，所述规则模板是基于yaml的简单dsl语言声明式云资源配置；规则模板包括resources、filters及actions；
15.其中，resources定义资源类型，资源来源包括云平台日志及通过api模块查询的资源信息；
16.filters定义过滤资源的方法，过滤资源的方法包括常用的值过滤和正则匹配；
17.actions定义对异常资源的操作，针对日志error的资源选择在查询异常日志信息并分析后人工执行actions操作。
18.更优地，所述规则模板的模板文件包括日志规则模板文件，日志资源模板文件包括如下字段：
19.name：自定义本次查询的名称；
20.description：自定义本次查询的详情描述；
21.resource：以openstack.log.<组件名称>.<服务名称>标识资源类型，同时支持rabbitmq.log、mysql.log及system.log的云平台相关服务和物理机日志的查询过滤；
22.filters：定义过滤条件筛选服务所在节点及日志级别的条件；
23.actions：对于日志查询处理一般设置为wating，表示暂不处理仅过滤日志信息，待分析后根据查询结果，新建policies定义actions处理异常资源。
24.更优地，所述所述规则模板的模板文件还包括资源规则模板文件，资源规则模板文件包括如下字段：
25.name：自定义本次查询的名称；
26.description：自定义本次查询的详情描述；
27.resource：服务引擎内置了通过openstacksdk可获取的资源类型，参考使用文档可匹配对应资源；
28.filters：通过值过滤和正则匹配筛选过滤资源信息；
29.actions：服务引擎内置了通过openstacksdk可操作的资源处理方法，参考使用文档可匹配运维人员需求，对应触发函数计算中定义的事件，处理异常资源。
30.一种云平台资源异常自动处理方法，该方法是运维人员通过规则模板自定义查询属性，查询并过滤日志异常信息或资源信息过滤云平台中异常资源，根据结果自动生成处理函数，通过云平台函数计算组件执行对应函数处理异常资源；或通过消息形式将错误日志、相关异常资源及相关信息反馈运维人员进行手动处理。
31.作为优选，该方法具体如下：
32.运维人员通过编写resources、filters及actions指标，调用日志模块使用elasticsearchsdk查询过滤目标组件日志异常信息或通过调用openstacksdk查询过滤云平台资源信息，获取异常资源，触发异常处理事件；
33.异常处理模块的后台将每一次查询信息、查询结果、触发事件及执行结果通过数据库模块记录到数据库，并提供api模块以供运维人员查询历史查询及处理操作；
34.异常处理模块记录自定义的规则模板与异常处理模板映射关系，开发人员根据处理引擎结构开发异常处理函数；
35.运维人员调用api模块导出适配函数计算组件的函数模板并传入云平台函数计算组件，并根据引擎使用文档在模板文件定义对应actions属性，即可调用并触发异常处理函数，处理异常资源。
36.更优地，所述规则模板是基于yaml的简单dsl语言声明式云资源配置；规则模板包括resources、filters及actions；
37.其中，resources定义资源类型，资源来源包括云平台日志及通过api模块查询的资源信息；
38.filters定义过滤资源的方法，过滤资源的方法包括常用的值过滤和正则匹配；
39.actions定义对异常资源的操作，针对日志error的资源选择在查询异常日志信息并分析后人工执行actions操作。
40.更优地，所述规则模板的模板文件包括日志规则模板文件和资源规则模板文件；
41.其中，日志资源模板文件包括如下字段：
42.name：自定义本次查询的名称；
43.description：自定义本次查询的详情描述；
44.resource：以openstack.log.<组件名称>.<服务名称>标识资源类型，同时支持rabbitmq.log、mysql.log及system.log的云平台相关服务和物理机日志的查询过滤；
45.filters：定义过滤条件筛选服务所在节点及日志级别的条件；
46.actions：对于日志查询处理一般设置为wating，表示暂不处理仅过滤日志信息，待分析后根据查询结果，新建policies定义actions处理异常资源；
47.资源规则模板文件包括如下字段：
48.name：自定义本次查询的名称；
49.description：自定义本次查询的详情描述；
50.resource：服务引擎内置了通过openstacksdk可获取的资源类型，参考使用文档可匹配对应资源；
51.filters：通过值过滤和正则匹配筛选过滤资源信息；
52.actions：服务引擎内置了通过openstacksdk可操作的资源处理方法，参考使用文档可匹配运维人员需求，对应触发函数计算中定义的事件，处理异常资源。
53.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行时，实现如上述的云平台资源异常自动处理方法。
54.本发明的云平台资源异常自动处理系统及方法具有以下优点：
55.(一)本发明通过定义规则指标，获取异常资源信息，触发事件，修复异常或推送消息给运维人员人工处理；并通过定义结构化规则模板降低了运维人员异常资源收集学习成
本，优化了运维流程，还通过引入函数计算模式，规范化管理异常处理脚本，同时实现了故障问题可归档、可溯源，细化脚本处理频率，从原来定时任务的形式，转为人工检查和定时任务结合的形式，进一步优化云平台计算资源，提高了资源利用率；
56.(二)本发明参考了开源项目：cloud
‑
custodian的实现思想，通过定义简单的规则策略实现资源管理；同时扩展了开源项目cloud
‑
custodian，并结合函数计算模型，提出了一种基于函数计算架构的openstack云平台资源异常自动化处理方法，运维人员可通过规则模型自定义查询属性，过滤日志模块搜集的异常日志或查询资源信息；根据结果自动化生成处理函数，通过云平台的函数计算组件，执行对应函数，处理异常资源，对于较为复杂需要人工介入的异常，发送消息将异常资源信息及查询出的日志反馈给运维管理人员，进行进一步分析处理。
57.其中，cloud
‑
custodian是一款公有云场景合规检查自动化工具，它是基于yaml简单dsl语言声明式云资源配置基线检查工具，能够通过标准yaml语言定义规则来检索不符合基线配置的云资源并可以自动进行修正，实现云基础设施管理。但cloud
‑
custodian目前只支持aws、azure和gcp环境；
58.serverless是一种云原生开发模型，可使开发人员专注构建和运行应用，而无需管理服务器。它是相对微服务来说是更加细粒度的服务架构模式，把用户所要执行的每个api操作进一步拆分，即把针对资源的创建、读取、删除、更新等操作进一步拆分，每一个操作抽象为一个函数，serverless是通过直接把这些函数暴露的形式进行发布，因此serverless通常又称为函数计算服务(function as service,faas)，目前包括aws、阿里云、腾讯云和华为云等都提供函数计算服务；随着serverless继微服务之后作为一种新型的新型计算模式的兴起，serverless把针对资源的创建、读取、删除、更新等操作进一步拆分，每一个操作抽象为一个函数，直接把这些函数暴露的形式进行发布，相对微服务来说是更加细粒度的服务架构模式，供了更高级的资源抽象能力。从云计算的角度，serverless最大化利用了计算资源，减少资源闲置和碎片；
59.(三)本发明运维人员可通过调用api模块查询处理历史信息，所有历史调用请求、异常数据、处理事件、处理结果等信息均会归档到数据库，对外暴露restful api以供运维人员追踪处理历史，分析异常原因，实现异常问题溯源；
60.(四)本发明通过定义结构化规则模块，简化运维人员处理逻辑；将监控搜集的日志和调用平台openstacksdk获取的资源信息进一步归类、抽象为规则模块可查询的信息，降低运维人员学习成本，提高运维人员可读性，大幅增加运维效率，精准定位异常资源及服务；
61.(五)后台通过调用监控日志接口、平台openstacksdk、shell命令等形式，获取异常日志、平台资源状态信息、平台各服务状态、物理机及虚拟机系统日志等信息，并将相应调用抽象为结构化规则模块供运维人员使用，丰富的异常资源数据来源，从平台各组件、物理设备、相关服务的日志信息到通过调用openstacksdk获取到的云平台虚机、镜像、卷等资源状态信息，覆盖云平台节点、服务、资源；
62.(六)本发明通过调用api导出可供可云平台函数计算组件使用的函数，规范化管理异常处理脚本，并与规则引擎中actions映射，实现异常处理逻辑；本发明引入云平台函数计算组件通过触发事件的方式运行异常资源处理脚本，通过异常处理模块运维人员可调
用api接口导出适配各云平台函数计算组件的函数，根据自定义的规则模板使用serverless架构触发函数计算中事件，传入相应参数，执行异常资源修复和处理；
63.(七)本发明的异常处理模块记录规则模板与异常处理模板映射关系，开发人员可根据处理引擎结构开发异常处理函数，无需关注底层运行物理环境，简化开发流程，且通过服务形式可更方便的维护处理脚本；而且运维人员只需调用api接口导出适配函数计算组件的函数模板并传入云平台函数计算组件，并根据引擎使用文档在模板文件定义对应actions属性，即可调用并触发异常处理函数，处理异常资源，无需关注底层实现逻辑，降低学习成本，提高运维效率，通过云平台函数计算组件还可细粒度控制并管理运维人员操作历史，在调用时处理异常，优化云平台资源利用率。
附图说明
64.下面结合附图对本发明进一步说明。
65.附图1为云平台资源异常自动处理系统的结构框图。
具体实施方式
66.参照说明书附图和具体实施例对本发明的云平台资源异常自动处理系统及方法作以下详细地说明。
67.在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述。而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
68.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
69.实施例1：
70.本发明的云平台资源异常自动处理系统，该系统是通过规则模块自定义规则模板查询并过滤日志模块中日志异常信息或资源信息过滤云平台中异常资源，通过异常处理模块导出适配各厂商云平台函数计算组件的函数，运维人员根据定义规则模板使用serverless架构触发函数计算中定义的函数处理逻辑，传入相应参数，执行异常资源修复及处理；或通过消息形式将错误日志、相关异常资源及相关信息反馈运维人员进行手动处理；同时通过调用api模块查询数据库模块中的记录信息，实现历史异常问题回溯。如附图1所示，该系统包括，
71.api模块，用于查询数据库历史查询信息及异常处理信息或调用规则模块进行异常资源查询和处理；
72.规则模块，用于接收请求，提取目标数据，并自定义规则模板；
73.日志模块，用于调用elasticsearchsdk过滤云平台prometheus或grafana收集的
平台worning及error异常日志；
74.数据库模块，用于记录查询信息、查询结果、触发事件及执行结果到数据库；
75.异常处理模块，用于记录自定义的规则模板和异常处理模板映射关系，解析对应异常资源，触发对应函数计算组件事件；其中，异常处理模板包括若干异常脚本组成的脚本库，异常脚本与规则模板中的actions一一对应，通过触发actions事件，触发异常脚本处理对应的异常数据；
76.云平台函数计算组件，用于根据触发的事件执行对应函数代码，修复异常问题或推送异常资源及日志信息到运维人员进行后续处理。
77.本实施例中的规则模板是基于yaml的简单dsl语言声明式云资源配置；规则模板包括resources、filters及actions；
78.其中，resources定义资源类型，资源来源包括云平台日志及通过api模块查询的资源信息；
79.filters定义过滤资源的方法，过滤资源的方法包括常用的值过滤和正则匹配；
80.actions定义对异常资源的操作，针对日志error的资源选择在查询异常日志信息并分析后人工执行actions操作。
81.本实施例中的规则模板的模板文件包括日志规则模板文件，日志资源模板文件包括如下字段：
82.name：自定义本次查询的名称；
83.description：自定义本次查询的详情描述；
84.resource：以openstack.log.<组件名称>.<服务名称>标识资源类型，同时支持rabbitmq.log、mysql.log及system.log的云平台相关服务和物理机日志的查询过滤；
85.filters：定义过滤条件筛选服务所在节点及日志级别的条件；
86.actions：对于日志查询处理一般设置为wating，表示暂不处理仅过滤日志信息，待分析后根据查询结果，新建policies定义actions处理异常资源。日志规则模板文件示例如下：
87.[0088][0089]
本实施例中的规则模板的模板文件还包括资源规则模板文件，资源规则模板文件包括如下字段：
[0090]
name：自定义本次查询的名称；
[0091]
description：自定义本次查询的详情描述；
[0092]
resource：服务引擎内置了通过openstacksdk可获取的资源类型，参考使用文档可匹配对应资源；
[0093]
filters：通过值过滤和正则匹配筛选过滤资源信息；
[0094]
actions：服务引擎内置了通过openstacksdk可操作的资源处理方法，参考使用文档可匹配运维人员需求，对应触发函数计算中定义的事件，处理异常资源。资源规则模板文件的示例如下：
[0095]
[0096][0097]
该系统的工作过程具体如下：
[0098]
(1)、运维人员通过调用api模块查询数据库历史查询信息及异常处理信息或通过调用规则模块进行异常资源查询和处理；
[0099]
(2)、规则模块接收请求，提取目标数据；其中，数据来源根据请求resources参数来自日志模块调用elasticsearchsdk过滤云平台prometheus或grafana收集的平台worning及error异常日志；或者来自底层调用openstacksdk查询云平台资源状态的信息；
[0100]
(3)、根据查询结果异常处理模块会解析对应异常，触发对应云平台函数计算组件事件；
[0101]
(4)、云平台函数计算组件根据触发的事件执行对应函数代码，修复异常问题或推送异常资源及日志信息到运维人员进行后续处理。
[0102]
实施例2：
[0103]
本发明的云平台资源异常自动处理方法，该方法是运维人员通过规则模板自定义查询属性，查询并过滤日志异常信息或资源信息过滤云平台中异常资源，根据结果自动生成处理函数，通过云平台函数计算组件执行对应函数处理异常资源；或通过消息形式将错误日志、相关异常资源及相关信息反馈运维人员进行手动处理。该方法具体如下：
[0104]
s1、运维人员通过编写resources、filters及actions指标，调用日志模块使用elasticsearchsdk查询过滤目标组件日志异常信息或通过调用openstacksdk查询过滤云平台资源信息，获取异常资源，触发异常处理事件；
[0105]
s2、异常处理模块的后台将每一次查询信息、查询结果、触发事件及执行结果通过数据库模块记录到数据库，并提供api模块以供运维人员查询历史查询及处理操作；
[0106]
s3、异常处理模块记录自定义的规则模板与异常处理模板映射关系，开发人员根据处理引擎结构开发异常处理函数；
[0107]
s4、运维人员调用api模块导出适配函数计算组件的函数模板并传入云平台函数计算组件，并根据引擎使用文档在模板文件定义对应actions属性，即可调用并触发异常处理函数，处理异常资源。
[0108]
本实施例中步骤s3的规则模板是基于yaml的简单dsl语言声明式云资源配置；规则模板包括resources、filters及actions；
[0109]
其中，resources定义资源类型，资源来源包括云平台日志及通过api模块查询的资源信息；
[0110]
filters定义过滤资源的方法，过滤资源的方法包括常用的值过滤和正则匹配；
[0111]
actions定义对异常资源的操作，针对日志error的资源选择在查询异常日志信息并分析后人工执行actions操作。
[0112]
本实施例中步骤s4的模板文件包括日志规则模板文件和资源规则模板文件；
[0113]
其中，日志资源模板文件包括如下字段：
[0114]
name：自定义本次查询的名称；
[0115]
description：自定义本次查询的详情描述；
[0116]
resource：以openstack.log.<组件名称>.<服务名称>标识资源类型，同时支持rabbitmq.log、mysql.log及system.log的云平台相关服务和物理机日志的查询过滤；
[0117]
filters：定义过滤条件筛选服务所在节点及日志级别的条件；
[0118]
actions：对于日志查询处理一般设置为wating，表示暂不处理仅过滤日志信息，待分析后根据查询结果，新建policies定义actions处理异常资源；
[0119]
资源规则模板文件包括如下字段：
[0120]
name：自定义本次查询的名称；
[0121]
description：自定义本次查询的详情描述；
[0122]
resource：服务引擎内置了通过openstacksdk可获取的资源类型，参考使用文档可匹配对应资源；
[0123]
filters：通过值过滤和正则匹配筛选过滤资源信息；
[0124]
actions：服务引擎内置了通过openstacksdk可操作的资源处理方法，参考使用文档可匹配运维人员需求，对应触发函数计算中定义的事件，处理异常资源。
[0125]
实施例3：
[0126]
本发明实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的云平台资源异常自动处理方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
[0127]
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
[0128]
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd
‑
rom、cd
‑
r、cd
‑
rw、dvd
‑
rom、dvd
‑
ram、dvd
‑
rw、dvd rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
[0129]
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
[0130]
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
[0131]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术
方案的范围。