多节点日志分析处理方法及系统与流程

技术特征：
1.一种多节点日志分析处理方法，其特征在于，所述方法包括：采用高性能弹性计算服务节点采集异步任务日志，并对采集的异步任务日志进行实时解析得到任务解析结果；其中所述任务解析结果包括异步任务的日志信息和任务生命周期信息；采用高性能弹性计算服务节点所属存储服务端，对至少一个高性能弹性计算服务节点得到的存在异常的任务解析结果进行分场景存储；基于分场景存储结果，采用查询服务端对待查询异步任务的异常分析诊断结果与异常定位结果进行异常查询并将查询结果返回给前端。2.根据权利要求1所述的方法，其特征在于，采用高性能弹性计算服务节点采集异步任务日志，包括：采用高性能弹性计算服务节点通过多线程进行异步任务日志采集；依据异步任务日志中的上下文标识符与日志标识符，配置异步任务日志的日志标识信息，以对不同异步任务日志进行有序化标记。3.根据权利要求2所述的方法，其特征在于，每个异步任务日志的任务解析结果与对应异步任务日志的日志标识信息进行关联，以通过关联的日志标识信息使无序的日志进行有序化存储。4.根据权利要求1所述的方法，其特征在于，对采集的异步任务日志进行实时解析得到任务解析结果，包括：对采集的异步任务日志进行分组读取，并将分组读取的异步任务日志插入双向链表；从双向链表中分块读取异步任务日志，并对分块读取的异步任务日志进行结构化解析得到任务解析结果。5.根据权利要求4所述的方法，其特征在于，所述双向链表采用预设固定长度的双向链表，用于对异步任务日志的内存占用进行控制。6.根据权利要求4所述的方法，其特征在于，从双向链表中分块读取异步任务日志，包括：通过多线程方式并行地从双向链表中分块读取异步任务日志。7.根据权利要求1所述的方法，其特征在于，对至少一个高性能弹性计算服务节点得到的存在异常的任务解析结果进行分场景存储，包括：获取分布式键值数据库暂存的高性能弹性计算服务节点将实时解析得到的存在异常的任务解析结果；对从分布式键值数据库中获取的至少一个高性能弹性计算服务节点得到的存在异常的任务解析结果进行分场景存储。8.根据权利要求1-7中任一项所述的方法，其特征在于，对至少一个高性能弹性计算服务节点得到的存在异常的任务解析结果进行分场景存储，包括：对存在异常的任务解析结果进行异常诊断分析与异常位置分析，得到异常分析诊断结果与异常定位结果配置异常查询关键字；确定存在异常的任务解析结果所属的异常场景，并配置异常查询关键字以及权重；将存在异常的任务解析结果的异常分析诊断结果与异常定位结果，存储到异常查询关键字以及权重所对应的异常场景数据库。
9.根据权利要求8所述的方法，其特征在于，基于分场景存储结果，对待查询异步任务的异常分析诊断结果与异常定位结果进行异常查询，包括：确定存在异常的待查询异步任务的异步任务日志中包括的异常查询关键字和权重；从异常查询关键字和权重所对应的异常场景数据库中，查询待查询异步任务出现异常的异常分析诊断结果与异常定位结果。10.一种多节点日志分析处理系统，其特征在于，所述系统包括：高性能弹性计算服务节点配置为，采集异步任务日志，并对采集的异步任务日志进行实时解析得到任务解析结果；其中所述任务解析结果包括异步任务的日志信息和任务生命周期信息；高性能弹性计算服务节点所属存储服务端配置为，对至少一个高性能弹性计算服务节点得到的存在异常的任务解析结果进行分场景存储；查询服务端配置为，基于分场景存储结果，对待查询异步任务的异常分析诊断结果与异常定位结果进行异常查询并将查询结果返回给前端。

技术总结
本发明实施例公开了一种多节点日志分析处理方法及系统。所述方法包括采用高性能弹性计算服务节点采集异步任务日志，并对采集的异步任务日志进行实时解析得到任务解析结果；采用高性能弹性计算服务节点所属存储服务端，对至少一个高性能弹性计算服务节点得到的存在异常的任务解析结果进行分场景存储；基于分场景存储结果，采用查询服务端对待查询异步任务的异常分析诊断结果与异常定位结果进行异常查询并将查询结果返回给前端。采用本申请方案，在采集时同时每个高性能弹性计算服务节点进行日志文件解析，通过将资源占用比较大的日志读取以及分类解析等操作分散到各个区域节点进行，充分利用节点资源。充分利用节点资源。充分利用节点资源。


技术研发人员：李坚强
受保护的技术使用者：平安壹账通云科技（深圳）有限公司
技术研发日：2021.12.13
技术公布日：2022/3/15