Web中间件类型容器的日志备份清理方法及装置与流程

web中间件类型容器的日志备份清理方法及装置
技术领域
1.本发明涉及大数据技术领域，尤其涉及一种web中间件类型容器的日志备份清理方法及装置。


背景技术：

2.运行中的web中间件类型容器每天会产生大量日志，包括容器中间件日志、bash历史日志以及应用输出的日志等。如果日志缺少备份清理机制，除查看不便外，一方面占用系统磁盘空间，影响性能；另一方面，容器的特殊性质会导致容器移除时，所有数据一起销毁，历史日志无法查看。因此，一种容器日志备份清理方法是十分必要的。现有的容器日志备份清理方法存在以下问题：
3.目前，手工执行备份清理，不同容器有不同策略，容易出现错误。
4.备份清理都在容器中进行，容器销毁后，日志数据会一并销毁。
5.备份清理需要逐个容器进行，耗时长，效率低。


技术实现要素：

6.本发明实施例提出一种web中间件类型容器的日志备份清理方法，用以实现对web中间件类型容器的日志备份清理，准确率高，效率高，该方法包括：
7.获取预先配置的web中间件类型容器的备份清理配置文件和所有备份清理任务的依赖关系，所述备份清理配置文件包括备份清理规则；
8.根据所有备份清理任务的依赖关系和所述备份清理规则，执行所有的备份清理任务，获得所有备份清理任务的执行结果；
9.根据所述执行结果验证备份清理是否成功；若成功，将备份文件归档至日志归档服务器；若不成功，生成报错信息，所述报错信息用于提醒备份清理人员继续清理备份。
10.本发明实施例提出一种web中间件类型容器的日志备份清理装置，用以实现对web中间件类型容器的日志备份清理，准确率高，效率高，该装置包括：
11.配置模块，用于获取预先配置的web中间件类型容器的备份清理配置文件和所有备份清理任务的依赖关系，所述备份清理配置文件包括备份清理规则；
12.任务调度模块，用于根据所有备份清理任务的依赖关系和所述备份清理规则，执行所有的备份清理任务，获得所有备份清理任务的执行结果；
13.验证模块，用于根据所述执行结果验证备份清理是否成功；若成功，将备份文件归档至日志归档服务器；若不成功，生成报错信息，所述报错信息用于提醒备份清理人员继续清理备份。
14.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述web中间件类型容器的日志备份清理方法。
15.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有
计算机程序，所述计算机程序被处理器执行时实现上述web中间件类型容器的日志备份清理方法。
16.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述web中间件类型容器的日志备份清理方法。
17.在本发明实施例中，获取预先配置的web中间件类型容器的备份清理配置文件和所有备份清理任务的依赖关系，所述备份清理配置文件包括备份清理规则；根据所有备份清理任务的依赖关系和所述备份清理规则，执行所有的备份清理任务，获得所有备份清理任务的执行结果；根据所述执行结果验证备份清理是否成功；若成功，将备份文件归档至日志归档服务器；若不成功，生成报错信息，所述报错信息用于提醒备份清理人员继续清理备份。在上述过程中，备份清理配置文件让备份清理人员摆脱重复的手工操作；执行过程使得容器的备份清理更加灵活，能够确保有依赖关系的任务正确执行；验证的存在，可检查是否清理成功，日志归档则为后续日志处理提供了基础。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
19.图1为本发明实施例中web中间件类型容器的日志备份清理方法的流程图一；
20.图2为本发明实施例中web中间件类型容器的日志备份清理方法的流程图二；
21.图3为本发明实施例中备份清理任务执行流程图；
22.图4为本发明实施例中web中间件类型容器的日志备份清理装置的示意图；
23.图5为本发明实施例中计算机设备的示意图。
具体实施方式
24.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
25.在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本技术的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
26.下面对本发明实施例涉及的术语进行解释。
27.docker：开源应用容器引擎，可以让开发者打包其应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的服务器上。基于docker可以实现应用的标准化交付。
28.web中间件类型容器：指nginx容器、apache容器等为web应用提供运行环境的容器。
29.宿主机：容器运行所在的服务器。
30.图1为本发明实施例中web中间件类型容器的日志备份清理方法的流程图一，如图1所示，包括：
31.步骤101，获取预先配置的web中间件类型容器的备份清理配置文件和所有备份清理任务的依赖关系，所述备份清理配置文件包括备份清理规则；
32.步骤102，根据所有备份清理任务的依赖关系和所述备份清理规则，执行所有的备份清理任务，获得所有备份清理任务的执行结果；
33.步骤103，根据所述执行结果验证备份清理是否成功；若成功，将备份文件归档至日志归档服务器；若不成功，生成报错信息，所述报错信息用于提醒备份清理人员继续清理备份。
34.在步骤101中，获取预先配置的web中间件类型容器的备份清理配置文件和所有备份清理任务的依赖关系，所述备份清理配置文件包括备份清理规则。
35.其中，可通过界面让用户直接配置备份清理配置文件、设置备份清理任务的依赖关系。
36.备份清理配置文件除了包括备份清理规则，还包括需要备份的文件路径、备份路径。
37.另外，在日志备份文件清理前，还可以设置日志备份规则，用于制定日志文件以何种方式备份至宿主机。容器启动时，基于该日志备份规则，所有日志文件都从文件路径备份至了备份路径。一般采取文件系统挂载或是容器及宿主机之间拷贝的方案进行备份。
38.在步骤102中，根据所有备份清理任务的依赖关系和所述备份清理规则，执行所有的备份清理任务，获得所有备份清理任务的执行结果。
39.图2为本发明实施例中web中间件类型容器的日志备份清理方法的流程图二，在一实施例中，所述方法还包括：
40.步骤201，获取预先配置的出错中止策略；
41.执行所有的备份清理任务，包括：执行所有的备份清理任务，在备份清理任务出错时，按照所述出错中止策略处理执行过程。
42.具体地，出错中止策略。包括出错后继续执行其他备份清理任务，还包括出错后立即停止整个备份清理流程。
43.图3为本发明实施例中备份清理任务执行流程图，在一实施例中，根据所有备份清理任务的依赖关系和所述备份清理规则，执行所有的备份清理任务，包括：
44.步骤301，按照所述备份清理规则，并行执行所有不存在依赖关系的备份清理任务；
45.步骤302，按照所述备份清理规则，基于依赖关系执行所有存在依赖关系的备份清理任务。
46.在步骤103中，根据所述执行结果验证备份清理是否成功；若成功，将备份文件归档至日志归档服务器；若不成功，生成报错信息，所述报错信息用于提醒备份清理人员继续清理备份。
47.在一实施例中，将备份文件归档至日志归档服务器，包括：
48.从备份清理配置文件中的备份路径中读取备份文件，并归档至日志归档服务器。
49.通过上述过程，实现了日志分析、问题追溯，还可以节约宿主机的磁盘空间。
50.另外，由于日志归档服务器汇总各容器产生的日志，数据量增长迅速，同样需要提供清理策略。
51.综上所述，本发明实施例提出的方法中，获取预先配置的web中间件类型容器的备份清理配置文件和所有备份清理任务的依赖关系，所述备份清理配置文件包括备份清理规则；根据所有备份清理任务的依赖关系和所述备份清理规则，执行所有的备份清理任务，获得所有备份清理任务的执行结果；根据所述执行结果验证备份清理是否成功；若成功，将备份文件归档至日志归档服务器；若不成功，生成报错信息，所述报错信息用于提醒备份清理人员继续清理备份。在上述过程中，备份清理配置文件让备份清理人员摆脱重复的手工操作；执行过程使得容器的备份清理更加灵活，能够确保有依赖关系的任务正确执行；验证的存在，可检查是否清理成功，日志归档则为后续日志处理提供了基础。
52.本发明还提出一种web中间件类型容器的日志备份清理装置，其原理与web中间件类型容器的日志备份清理方法相同，这里不再赘述。
53.图4为本发明实施例中web中间件类型容器的日志备份清理装置的示意图，如图4所示，包括：
54.配置模块401，用于获取预先配置的web中间件类型容器的备份清理配置文件和所有备份清理任务的依赖关系，所述备份清理配置文件包括备份清理规则；
55.任务调度模块402，用于根据所有备份清理任务的依赖关系和所述备份清理规则，执行所有的备份清理任务，获得所有备份清理任务的执行结果；
56.验证模块403，用于根据所述执行结果验证备份清理是否成功；若成功，将备份文件归档至日志归档服务器；若不成功，生成报错信息，所述报错信息用于提醒备份清理人员继续清理备份。
57.在一实施例中，任务调度模块具体用于：
58.获取预先配置的出错中止策略；
59.在备份清理任务出错时，按照所述出错中止策略处理执行过程。
60.在一实施例中，任务调度模块具体用于：
61.按照所述备份清理规则，并行执行所有不存在依赖关系的备份清理任务；
62.按照所述备份清理规则，基于依赖关系执行所有存在依赖关系的备份清理任务。
63.在一实施例中，验证模块具体用于：
64.从备份清理配置文件中的备份路径中读取备份文件，并归档至日志归档服务器。
65.综上所述，本发明实施例提出的装置中，配置模块，用于获取预先配置的web中间件类型容器的备份清理配置文件和所有备份清理任务的依赖关系，所述备份清理配置文件包括备份清理规则；任务调度模块，用于根据所有备份清理任务的依赖关系和所述备份清理规则，执行所有的备份清理任务，获得所有备份清理任务的执行结果；验证模块，用于根据所述执行结果验证备份清理是否成功；若成功，将备份文件归档至日志归档服务器；若不成功，生成报错信息，所述报错信息用于提醒备份清理人员继续清理备份。在上述过程中，备份清理配置文件让备份清理人员摆脱重复的手工操作；执行过程使得容器的备份清理更
加灵活，能够确保有依赖关系的任务正确执行；验证的存在，可检查是否清理成功，日志归档则为后续日志处理提供了基础。
66.本发明实施例还提供一种计算机设备，图5为本发明实施例中计算机设备的示意图，所述包括存储器510、处理器520及存储在存储器510上并可在处理器520上运行的计算机程序530，所述处理器520执行所述计算机程序530时实现上述web中间件类型容器的日志备份清理方法。
67.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述web中间件类型容器的日志备份清理方法。
68.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述web中间件类型容器的日志备份清理方法。
69.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
70.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
71.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
72.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
73.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。