一种面向并发数据分析任务的性能瓶颈分析系统的制作方法

技术特征：
1.一种面向并发数据分析任务的性能瓶颈分析系统，其特征在于：所述系统包括：pebao框架，用于对数据分析系统提供性能指标异常检测、任务性能瓶颈判定、瓶颈相关性分析和瓶颈优化建议功能。2.根据权利要求1所述的面向并发数据分析任务的性能瓶颈分析系统，其特征在于：pebao框架包括：时间序列异常检测模块，用于对数据分析系统采集性能指标数据，识别异常时间序列，并将异常时间序列输出至性能瓶颈判定模块；性能瓶颈判定模块，用于收集异常时间段内执行的所有数据分析任务，将查询语句的结构特征和执行特征输入随机森林分类算法，判定每个任务的性能瓶颈等级，并将中等级性能瓶颈和高等级性能瓶颈类别的任务集合发送至性能瓶颈相关性分析及优化模块；性能瓶颈相关性分析及优化模块，用于对任务与瓶颈的相关程度和查询操作与瓶颈的相关程度进行了量化，并结合启发式规则为每个数据分析任务提供查询优化建议。3.根据权利要求2所述的面向并发数据分析任务的性能瓶颈分析系统，其特征在于：时间序列异常检测过程包括性能指标监控、时间序列数据获取、异常检测算法、时间序列异常判定和异常时间序列的输出。4.根据权利要求3所述的面向并发数据分析任务的性能瓶颈分析系统，其特征在于：异常检测算法的处理流程如下：在时间序列异常检测模块获取一段数据分析系统的性能指标数据后，对性能指标数据进行数据清洗；对清洗完成的性能指标数据进行模式分片处理，将整段时序数据划分为若干时间窗口，每一个时间窗口为一个模式；其中，模式分片包含了固定分片和动态分片两种方法；提取每一个模式的时序特征，并根据相似性度量方法计算模式之间的距离；根据模式之间的距离求取所有模式的相关因子和异常因子，用于量化每一个模式的异常程度。5.根据权利要求4所述的面向并发数据分析任务的性能瓶颈分析系统，其特征在于：时间序列异常判定可设置参数m和r，用于过滤异常时间序列；过滤过程为：对于连续的m个模式，其异常程度总是大于r，则将m个模式组成的时间序列区间输出为异常时间序列。6.根据权利要求5所述的面向并发数据分析任务的性能瓶颈分析系统，其特征在于：输出异常时间序列后，性能瓶颈判定模块获取异常时间区间内正在执行的数据分析任务进行性能瓶颈等级判定。7.根据权利要求6所述的面向并发数据分析任务的性能瓶颈分析系统，其特征在于：通过建立任务性能瓶颈判定模型对任务与性能瓶颈的相关性进行分析，任务性能瓶颈判定模型通过查询语句的性能特征判定查询语句的性能瓶颈等级，性能特征包括结构特征和执行特征。8.根据权利要求7所述的面向并发数据分析任务的性能瓶颈分析系统，其特征在于：性能瓶颈相关性分析及优化模块包括查询解析器和性能优化器；查询解析器包括sql解析器和e
×
plain解析器。9.根据权利要求8所述的面向并发数据分析任务的性能瓶颈分析系统，其特征在于：性能优化器包括启发式规则库和性能瓶颈相关性量化方法；其中，启发式规则库中存储着众
多数据库运维人员的运维经验和基本的数据库优化原则。10.根据权利要求9所述的面向并发数据分析任务的性能瓶颈分析系统，其特征在于：性能瓶颈相关性分析及优化模块将sql语句解析结果传输至启发式规则库中进行筛选，得出相应的sql改写优化建议和索引优化建议。

技术总结
本发明涉及一种面向并发数据分析任务的性能瓶颈分析系统，所述系统包括：PeBAO框架，用于对数据分析系统提供性能指标异常检测、任务性能瓶颈判定、瓶颈相关性分析和瓶颈优化建议功能。本发明通过PeBAO框架，用于对数据分析系统提供性能指标异常检测、任务性能瓶颈判定、瓶颈相关性分析和瓶颈优化建议；能够准确的分析任务与性能瓶颈的相关性，解决了运维人员难以准确还原瓶颈产生时的运行情况的问题，能够准确的定位性能瓶颈，并提供瓶颈分析报告。告。告。


技术研发人员：李晖 闵圣天 丁玺润
受保护的技术使用者：贵州优联博睿科技有限公司
技术研发日：2021.06.07
技术公布日：2021/10/23