一种流水线日志分析控制方法和装置与流程

技术特征：
1.一种流水线日志分析控制方法，其特征在于，包括：采集执行流水线产生的基础日志数据；对基础日志数据进行加工，确定结构化日志，写入日志库；响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，输出统计分析结果。2.如权利要求1所述的方法，其特征在于，采集执行流水线产生的基础日志数据，包括：执行流水线，流水线按插件顺序执行的同时记录包括执行时间点、插件信息和执行时长的指标数据；判断流水线是否执行通过；若执行通过，则输出执行结果，将执行结果和指标数据作为基础日志数据；若执行失败，则提取执行日志中的错误信息，输出执行结果和错误信息，将执行结果、错误信息和指标数据作为基础日志数据；将基础日志数据写入数据仓库。3.如权利要求1所述的方法，其特征在于，对基础日志数据进行加工，确定结构化日志，写入日志库，包括：从数据仓库中提取基础日志数据，通过编排内置函数、正则表达式和自定义函数的加工逻辑，对基础日志数据进行加工，进行基础日志数据的数据规整、数据富化、数据转换和数据过滤处理，获取结构化数据；将结构化数据中文本形式的错误信息转化为错误类型或错误编码，过滤出关键服务的日志，确定结构化日志，写入日志库。4.如权利要求3所述的方法，其特征在于，所述预先编制的错误编码库，包括：对流水线执行失败日志进行统计，确定错误类型并定义对应编码；所述错误类型，至少包括：编译错误，环境错误，授权错误，超时错误，构件错误，部署错误；将错误类型编码、插件编码和二级错误原因序号作为编码规则，编制错误编码库。5.如权利要求4所述的方法，其特征在于，响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，输出统计分析结果，包括：响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，获取所需结构化日志；确定是否需要进行可视化展示；如果不需要进行可视化展示，则将所需结构化日志进行分类统计汇总，输出统计分析结果；如果需要进行可视化展示，则选择适配的统计图表，通过统计分析方法聚类问题，以图表的形式进行可视化展示。6.一种流水线日志分析控制装置，其特征在于，包括：采集模块，用于采集执行流水线产生的基础日志数据；加工模块，用于对基础日志数据进行加工，确定结构化日志，写入日志库；统计分析模块，用于响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，输出统计分析结果。7.如权利要求6所述的装置，其特征在于，采集模块，具体用于：
执行流水线，流水线按插件顺序执行的同时记录包括执行时间点、插件信息和执行时长的指标数据；判断流水线是否执行通过；若执行通过，则输出执行结果，将执行结果和指标数据作为基础日志数据；若执行失败，则提取执行日志中的错误信息，输出执行结果和错误信息，将执行结果、错误信息和指标数据作为基础日志数据；将基础日志数据写入数据仓库。8.如权利要求6所述的装置，其特征在于，加工模块，具体用于：从数据仓库中提取基础日志数据，通过编排内置函数、正则表达式和自定义函数的加工逻辑，对基础日志数据进行加工，进行基础日志数据的数据规整、数据富化、数据转换和数据过滤处理，获取结构化数据；将结构化数据中文本形式的错误信息转化为错误类型或错误编码，过滤出关键服务的日志，确定结构化日志，写入日志库。9.如权利要求8所述的装置，其特征在于，所述预先编制的错误编码库，包括：对流水线执行失败日志进行统计，确定错误类型并定义对应编码；所述错误类型，至少包括：编译错误，环境错误，授权错误，超时错误，构件错误，部署错误；将错误类型编码、插件编码和二级错误原因序号作为编码规则，编制错误编码库。10.如权利要求9所述的装置，其特征在于，统计分析模块，具体用于：响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，获取所需结构化日志；确定是否需要进行可视化展示；如果不需要进行可视化展示，则将所需结构化日志进行分类统计汇总，输出统计分析结果；如果需要进行可视化展示，则选择适配的统计图表，通过统计分析方法聚类问题，以图表的形式进行可视化展示。11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述方法。12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至5任一所述方法。13.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至5任一所述方法。

技术总结
本发明提供了一种流水线日志分析控制方法和装置，属于大数据，该方法包括：采集执行流水线产生的基础日志数据；对基础日志数据进行加工，确定结构化日志，写入日志库；响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，输出统计分析结果。本发明实现了一套简单易用、高效、分析能力强的日志服务控制台机制，从而提高运维团队的工作效率、快速准确定位到问题、分析原因、保证开发连续性。发连续性。发连续性。


技术研发人员：郭宁
受保护的技术使用者：中国银行股份有限公司
技术研发日：2022.03.15
技术公布日：2022/6/10