一种流水线日志分析控制方法和装置与流程

1.本发明涉及计算机数据处理技术领域，尤其涉及一种流水线日志分析控制方法和装置。


背景技术：

2.本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.devops(develpoment和operations的组合词，是一组过程、方法与系统的统称)持续集成和部署流水线在大规模项目开发中承载着重要的职责，随着项目不断扩张和迭代节奏愈发加快，流水线面临更多挑战。
4.实际生产中，流水线数量庞大，80％的工程代码都需要通过流水线进行集成和部署，随着工程数目的增长，流水线数目也在随之增长，而还存在人力资源短缺的问题，相对于开发人员，流水线维护人员数量很少；保障流水线稳定性压力颇大，业务工程数目众多且工程结构有差异，快速排障和恢复的难度陡增。流水线稳定性关系着项目开发进程的连续性，尤其是在需要交付版本的节点，保障流水线畅通的工作至关重要，缺乏统一有效的日志分析平台。
5.因此，如何提供一种新的方案，其能够解决上述技术问题是本领域亟待解决的技术难题。


技术实现要素：

6.本发明实施例提供一种流水线日志分析控制方法，实现了一套简单易用、高效、分析能力强的日志服务控制台机制，从而提高运维团队的工作效率、快速准确定位到问题、分析原因、保证开发连续性，该方法包括：
7.采集执行流水线产生的基础日志数据；
8.对基础日志数据进行加工，确定结构化日志，写入日志库；
9.响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，输出统计分析结果。
10.本发明实施例还提供一种流水线日志分析控制装置，包括：
11.采集模块，用于采集执行流水线产生的基础日志数据；
12.加工模块，用于对基础日志数据进行加工，确定结构化日志，写入日志库；
13.统计分析模块，用于响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，输出统计分析结果。
14.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种流水线日志分析控制方法。
15.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有
计算机程序，所述计算机程序被处理器执行时实现上述一种流水线日志分析控制方法。
16.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述一种流水线日志分析控制方法。
17.本发明实施例提供的一种流水线日志分析控制方法和装置，包括：采集执行流水线产生的基础日志数据；对基础日志数据进行加工，确定结构化日志，写入日志库；响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，输出统计分析结果。本发明实现了一套简单易用、高效、分析能力强的日志服务控制台机制，从而提高运维团队的工作效率、快速准确定位到问题、分析原因、保证开发连续性。增加日志数据采集机制，根据业务需要和场景制定数据加工规则，得到规整的结构化日志数据写入日志库，便于后续进行统计分析，可以可视化展示查询与分析结果；当前流水线日志报错都是具体问题具体分析，随着流水线数量的增多，会花费大量的时间用来一一查错，并且报错的日志都是直接输出文本，很难从文本中快速定位错误类型。本发明采集错误信息后会进行加工转换，将问题聚类，并预先编制错误编码库，帮助运维人员快速识别问题。同时，采集到的大量数据会形成数据支撑，对流水线执行效率、流水线插件稳定性等问题进行有针对性的统计分析。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
19.图1为本发明实施例一种流水线日志分析控制方法示意图。
20.图2为本发明实施例一种流水线日志分析控制方法的一个实施例示意图。
21.图3为本发明实施例一种流水线日志分析控制方法的一个实施例示意图。
22.图4为本发明实施例一种流水线日志分析控制方法的一个实施例示意图。
23.图5为运行本发明实施的一种流水线日志分析控制方法的计算机设备示意图。
24.图6为本发明实施例一种流水线日志分析控制装置示意图。
具体实施方式
25.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
26.本发明属于大数据。图1为本发明实施例一种流水线日志分析控制方法示意图，如图1所示，本发明实施例提供一种流水线日志分析控制方法，实现了一套简单易用、高效、分析能力强的日志服务控制台机制，从而提高运维团队的工作效率、快速准确定位到问题、分析原因、保证开发连续性，该方法包括：
27.步骤101：采集执行流水线产生的基础日志数据；
28.步骤102：对基础日志数据进行加工，确定结构化日志，写入日志库；
29.步骤103：响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所
需结构化日志，输出统计分析结果。
30.本发明实施例提供的一种流水线日志分析控制方法和装置，包括：采集执行流水线产生的基础日志数据；对基础日志数据进行加工，确定结构化日志，写入日志库；响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，输出统计分析结果。本发明实现了一套简单易用、高效、分析能力强的日志服务控制台机制，从而提高运维团队的工作效率、快速准确定位到问题、分析原因、保证开发连续性。增加日志数据采集机制，根据业务需要和场景制定数据加工规则，得到规整的结构化日志数据写入日志库，便于后续进行统计分析，可以可视化展示查询与分析结果；当前流水线日志报错都是具体问题具体分析，随着流水线数量的增多，会花费大量的时间用来一一查错，并且报错的日志都是直接输出文本，很难从文本中快速定位错误类型。本发明采集错误信息后会进行加工转换，将问题聚类，并预先编制错误编码库，帮助运维人员快速识别问题。同时，采集到的大量数据会形成数据支撑，对流水线执行效率、流水线插件稳定性等问题进行有针对性的统计分析。
31.流水线报错节点不同，报错原因不同，缺少统一的平台对各类数据进行监控。流水线接入很多第三方插件，各类数据落在不同的第三方系统中，欠缺关联分析，无法快速进行问题定位。因此，本发明提供了一套简单易用、高效、分析能力强的日志服务控制台机制，从而提高运维团队的工作效率、快速准确定位到问题、分析原因、保证开发连续性。
32.具体实施本发明实施例提供的一种流水线日志分析控制方法时，在一个实施例中，可以包括：
33.采集执行流水线产生的基础日志数据；
34.对基础日志数据进行加工，确定结构化日志，写入日志库；
35.响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，输出统计分析结果。
36.采集到的基础日志数据在不进行加工处理前需要写入数据仓库留底，这个数仓存储了所有基础日志数据，然后对基础日志数据进行加工处理后得到符合需求的结构化数据写入日志库，最后通过筛选条件从日志库中筛选出需要的结构化日志。
37.图2为本发明实施例一种流水线日志分析控制方法的一个实施例示意图，如图2所述，具体实施本发明实施例提供的一种流水线日志分析控制方法时，在一个实施例中，采集执行流水线产生的基础日志数据，包括：
38.执行流水线，流水线按插件顺序执行的同时记录包括执行时间点、插件信息和执行时长的指标数据；记录执行时间便于后续查询和回溯问题，记录插件信息便于根据插件查询和分类汇总问题，记录执行时长便于统计整条流水线执行过程中各个插件的执行效率。
39.判断流水线是否执行通过；
40.若执行通过，则输出执行结果，将执行结果和指标数据作为基础日志数据；
41.若执行失败，则提取执行日志中的错误信息，输出执行结果和错误信息，将执行结果、错误信息和指标数据作为基础日志数据；
42.将基础日志数据写入数据仓库。
43.实施例中，采集执行流水线产生的基础日志数据，主要是利用logtail或使用
kafka协议采集日志数据，记录每次执行流水线在每个节点的数据，只有全方位地采集到流水线每次运行的相关数据才能基于此进行后续的问题分析与分类。具体过程包括：执行流水线，流水线按插件顺序执行的同时记录包括执行时间点、插件信息和执行时长的指标数据；判断流水线是否执行通过；则输出执行结果，将执行结果和指标数据作为基础日志数据；若执行失败，则提取执行日志中的错误信息，输出执行结果和错误信息，将执行结果、错误信息和指标数据作为基础日志数据；最后将得到的基础日志数据写入数据仓库。前述的数据仓库，存储了所有的基础日志数据。
44.具体实施本发明实施例提供的一种流水线日志分析控制方法时，在一个实施例中，对基础日志数据进行加工，确定结构化日志，写入日志库，包括：
45.从数据仓库中提取基础日志数据，通过编排内置函数、正则表达式和自定义函数的加工逻辑，对基础日志数据进行加工，进行基础日志数据的数据规整、数据富化、数据转换和数据过滤处理，获取结构化数据；
46.将结构化数据中文本形式的错误信息转化为错误类型或错误编码，过滤出关键服务的日志，确定结构化日志，写入日志库。
47.实施例中，由于所有的基础日志数据都存储在数据仓库中，因此在需要进行加工时，首先需要从数据仓库中提取基础日志数据，然后对基础日志数据进行加工，主要是通过编排内置函数、正则表达式、自定义函数等内部加工逻辑对日志数据进行加工处理，实现数据的规整、富化、转换和过滤。
48.在日志数据加工过程中，通过自定义加工规则对读取到的每一条数据进行加工处理，包括但不限于数据规整、数据富化和数据过滤等，比如对混乱格式的日志进行字段提取、格式转换，获取结构化数据；将错误日志中的文本信息转化为错误类型或错误编码富化数据；过滤出关键服务的日志用于重点分析等，加工处理后的数据写入日志库。
49.具体实施本发明实施例提供的一种流水线日志分析控制方法时，在一个实施例中，所述预先编制的错误编码库，包括：
50.对流水线执行失败日志进行统计，确定错误类型并定义对应编码；所述错误类型，至少包括：编译错误，环境错误，授权错误，超时错误，构件错误，部署错误；
51.将错误类型编码、插件编码和二级错误原因序号作为编码规则，编制错误编码库。
52.实施例中，流水线执行失败的日志需要有固定的错误类型，编制错误编码库，可以方便后续快速定位问题、提高工作效率。
53.预先编制的错误编码库的过程，主要包括：对流水线执行失败日志进行统计，确定错误类型并定义对应编码；所述错误类型，至少包括：编译错误，环境错误，授权错误，超时错误，构件错误，部署错误；将错误类型编码、插件编码和二级错误原因序号作为编码规则，编制错误编码库。
54.主要的错误类型，包括：编译错误、环境错误、授权错误、超时错误、构件错误、部署错误等。
55.编码规则可以为“错误类型编码 插件编码 二级错误原因序号”56.如表1所示的预先编制的错误编码库，使得常见错误原因在编码库中都有错误编码与之对应，并给出错误类型、错误说明和处理方式。
57.表1
[0058][0059]
图3为本发明实施例一种流水线日志分析控制方法的一个实施例示意图，如图3所述，具体实施本发明实施例提供的一种流水线日志分析控制方法时，在一个实施例中，响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，输出统计分析结果，包括：
[0060]
响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，获取所需结构化日志；
[0061]
确定是否需要进行可视化展示；
[0062]
如果不需要进行可视化展示，则将所需结构化日志进行分类统计汇总，输出统计分析结果；
[0063]
如果需要进行可视化展示，则选择适配的统计图表，通过统计分析方法聚类问题，以图表的形式进行可视化展示。
[0064]
对于结构化日志，将相似度高的日志聚合，提取共同的日志模式，快速获取日志全貌。根据不同业务需求筛选符合条件的日志类型创建可视化仪表盘，设计不同维度的统计图表，直观展示日志数据，清晰暴露问题。
[0065]
日志统计分析模块则是对日志库进行查询与筛选操作，获取符合条件的指标项数据，通过统计分析方法聚类问题，并进行直观的可视化展示，帮助运维人员发现流水线的痛点与共性问题。
[0066]
对需结构化日志的筛选，主要包括：响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，获取所需结构化日志；确定是否需要进行可视化展示；如果不需要进行可视化展示，则将所需结构化日志进行分类统计汇总，输出统计分析结果；如果需要进行可视化展示，则选择适配的统计图表，通过统计分析方法聚类问题，以图表的形式进行可视化展示。
[0067]
本发明需要在流水线主处理程序上增加数据采集工作，基础运行数据如果全部采集，数据量是巨大的，也不利于后续进行数据的加工处理；但如果采集的数据指标项比较单一，也不利于后续进行统计分析，因此通过日志配置选择合适的采集模式。
[0068]
本发明实施例增加日志数据采集机制，写入数据仓库，根据业务需要和场景制定数据加工处理规则，得到规整的结构化数据写入日志库，便于后续进行统计分析，可视化展
示查询与分析结果。
[0069]
当前流水线日志报错都是具体问题具体分析，随着流水线数量的增多，会花费大量的时间用来一一查错，并且报错的日志都是直接输出文本，很难从文本中快速定位错误类型。本发明采集错误信息后会进行加工转换，将问题聚类，并编制错误编码库，帮助运维人员快速识别问题。同时，采集到的大量数据会形成数据支撑，对流水线执行效率、流水线插件稳定性等问题进行有针对性的统计分析。
[0070]
下面结合具体场景，对本发明实施例提供的一种流水线日志分析控制方法进行简要描述：
[0071]
本发明实施例一种流水线日志分析控制方法，主要包括以下三个方面：
[0072]
数据采集：利用logtail或使用kafka协议采集日志数据，记录每次执行流水线在每个节点的数据，只有全方位地采集到流水线每次运行的相关数据才能基于此进行后续的问题分析与分类；
[0073]
数据加工：通过编排内置函数、正则表达式、自定义函数等内部加工逻辑对日志数据进行加工处理，实现数据的规整、富化、转换和过滤；
[0074]
日志聚类分析展示：在采集日志时，将相似度高的日志聚合，提取共同的日志模式，快速获取日志全貌。根据不同业务需求筛选符合条件的日志类型创建可视化仪表盘，设计不同维度的统计图表，直观展示日志数据，暴露痛点。
[0075]
本发明实施还提供一种流水线日志分析控制方法的模块化实例，如图4所示，包括：
[0076]
流水线处理模块是执行流水线的主程序模块，每次执行流水线产生的日志数据会实时传输给数据采集模块；
[0077]
日志数据采集模块是存储基础日志数据的数据仓库；
[0078]
日志数据加工模块，通过自定义加工规则对读取到的每一条数据进行加工处理，包括但不限于数据规整、数据富化和数据过滤等，比如对混乱格式的日志进行字段提取、格式转换，获取结构化数据；将错误日志中的文本信息转化为错误类型或错误编码富化数据；过滤出关键服务的日志用于重点分析等，加工处理后的数据写入日志库；
[0079]
日志统计分析模块则是对日志库进行查询与筛选操作，获取符合条件的指标项数据，通过统计分析方法聚类问题，并进行直观的可视化展示，帮助运维人员发现流水线的问题与共性问题。
[0080]
图5为运行本发明实施的一种流水线日志分析控制方法的计算机设备示意图，如图5所示，本发明实施例还提供一种计算机设备500，包括存储器510、处理器520及存储在存储器上并可在处理器上运行的计算机程序530，所述处理器执行所述计算机程序时实现上述一种流水线日志分析控制方法。
[0081]
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种流水线日志分析控制方法。
[0082]
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述一种流水线日志分析控制方法。
[0083]
本发明实施例中还提供了一种流水线日志分析控制装置，如下面的实施例所述。由于该装置解决问题的原理与一种流水线日志分析控制方法相似，因此该装置的实施可以
参见一种流水线日志分析控制方法的实施，重复之处不再赘述。
[0084]
图6为本发明实施例一种流水线日志分析控制装置示意图，如图6所示，本发明实施例还提供一种流水线日志分析控制装置。
[0085]
具体实施本发明实施例提供的一种流水线日志分析控制装置时，在一个实施例中，包括：
[0086]
采集模块601，用于采集执行流水线产生的基础日志数据；
[0087]
加工模块602，用于对基础日志数据进行加工，确定结构化日志，写入日志库；
[0088]
统计分析模块603，用于响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，输出统计分析结果。
[0089]
具体实施本发明实施例提供的一种流水线日志分析控制装置时，在一个实施例中，采集模块，具体用于：
[0090]
执行流水线，流水线按插件顺序执行的同时记录包括执行时间点、插件信息和执行时长的指标数据；
[0091]
判断流水线是否执行通过；
[0092]
若执行通过，则输出执行结果，将执行结果和指标数据作为基础日志数据；
[0093]
若执行失败，则提取执行日志中的错误信息，输出执行结果和错误信息，将执行结果、错误信息和指标数据作为基础日志数据；
[0094]
将基础日志数据写入数据仓库。
[0095]
具体实施本发明实施例提供的一种流水线日志分析控制装置时，在一个实施例中，加工模块，具体用于：
[0096]
从数据仓库中提取基础日志数据，通过编排内置函数、正则表达式和自定义函数的加工逻辑，对基础日志数据进行加工，进行基础日志数据的数据规整、数据富化、数据转换和数据过滤处理，获取结构化数据；
[0097]
将结构化数据中文本形式的错误信息转化为错误类型或错误编码，过滤出关键服务的日志，确定结构化日志，写入日志库。
[0098]
具体实施本发明实施例提供的一种流水线日志分析控制装置时，在一个实施例中，所述预先编制的错误编码库，包括：
[0099]
对流水线执行失败日志进行统计，确定错误类型并定义对应编码；所述错误类型，至少包括：编译错误，环境错误，授权错误，超时错误，构件错误，部署错误；
[0100]
将错误类型编码、插件编码和二级错误原因序号作为编码规则，编制错误编码库。
[0101]
具体实施本发明实施例提供的一种流水线日志分析控制装置时，在一个实施例中，统计分析模块，具体用于：
[0102]
响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，获取所需结构化日志；
[0103]
确定是否需要进行可视化展示；
[0104]
如果不需要进行可视化展示，则将所需结构化日志进行分类统计汇总，输出统计分析结果；
[0105]
如果需要进行可视化展示，则选择适配的统计图表，通过统计分析方法聚类问题，以图表的形式进行可视化展示。
[0106]
综上，本发明实施例提供的一种流水线日志分析控制方法和装置，包括：采集执行流水线产生的基础日志数据；对基础日志数据进行加工，确定结构化日志，写入日志库；响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，输出统计分析结果。本发明实现了一套简单易用、高效、分析能力强的日志服务控制台机制，从而提高运维团队的工作效率、快速准确定位到问题、分析原因、保证开发连续性。增加日志数据采集机制，根据业务需要和场景制定数据加工规则，得到规整的结构化日志数据写入日志库，便于后续进行统计分析，可以可视化展示查询与分析结果；当前流水线日志报错都是具体问题具体分析，随着流水线数量的增多，会花费大量的时间用来一一查错，并且报错的日志都是直接输出文本，很难从文本中快速定位错误类型。本发明采集错误信息后会进行加工转换，将问题聚类，并预先编制错误编码库，帮助运维人员快速识别问题。同时，采集到的大量数据会形成数据支撑，对流水线执行效率、流水线插件稳定性等问题进行有针对性的统计分析。
[0107]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0108]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0109]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0110]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0111]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。