日志处理方法、装置、电子设备及存储介质与流程
本技术属于数据处理,具体涉及一种日志处理方法、装置、电子设备及存储介质。
背景技术:
1、车辆的智能座舱系统中,系统服务(system server)、硬件抽象层(hardwareabstraction layer,hal)以及导航、语音、娱乐、连接服务等各类应用层模块,在车辆行驶过程中会持续产生大量运行日志,受车机存储资源有限以及存储介质写入寿命等约束,通常会对日志规模进行严格控制,其中,常见的日志规模控制策略包括:为日志分配固定容量的存储空间,存储空间写满后循环覆盖旧日志;按时间窗口限制日志输出总量或按标签限速;按照日志重要性程度,仅保留warn警告级别或error错误级别等相对重要的日志,将更详细的调试信息(debug)和常规运行信息(info)减少或丢弃。
2、然而,当车辆智能座舱系统发生故障时,尤其是偶发性故障,偶发性故障指的是车辆在测试时,智能座舱系统偶然出现的问题,且比较难复现,例如中控偶现卡顿,设置偶现开关回弹等,由于日志已因限流或覆盖机制而缺失,可能出现故障触发时刻的关键上下文信息被丢弃的情况,同时,这类偶发性故障通常高度依赖车辆真实行驶环境,包括路况条件、环境温度、网络信号质量、外设连接状态等多维因素,极难稳定复现,因此无法通过重新采集日志来补全缺失的信息,这就导致,在日志信息缺失且故障不可复现的情况下,仅凭残缺的日志数据,难以有效支撑运维人员进一步的故障分析等诊断工作。
技术实现思路
1、本技术实施例的目的是提供一种日志处理方法、装置、电子设备及存储介质,能够解决日志信息缺失且故障不可复现的情况下,仅凭残缺的日志数据,难以有效支撑运维人员进一步的故障分析等诊断工作的问题。
2、为了解决上述技术问题,本技术是这样实现的:
3、第一方面,本技术实施例提供了一种日志处理方法,所述方法包括:
4、获取故障事件对应的证据来源;所述证据来源包括版本代码、故障视频、故障现象描述文本以及缓存日志;
5、基于所述版本代码、故障视频、故障现象描述文本以及缓存日志,分别得到代码先验知识、视频事件时间线、故障场景表示以及日志断点窗口;
6、将所述代码先验知识、视频事件时间线、故障场景表示以及日志断点窗口的前后日志片段作为条件上下文,基于所述条件上下文和预设硬约束条件,生成候选补全日志序列;
7、对所述候选补全日志序列进行多维一致性校验,得到校验结果;
8、根据校验结果从所述候选补全日志序列中筛选得到目标补全日志序列,以使运维人员基于所述目标补全日志序列对所述故障事件进行故障分析。
9、可选地,所述基于所述版本代码、故障视频、故障现象描述文本以及缓存日志,分别得到代码先验知识、视频事件时间线、故障场景表示以及日志断点窗口,包括:
10、从所述版本代码提取函数调用关系、异常处理分支以及日志输出语句,生成代码先验知识;
11、从所述故障视频提取关键帧、界面文本以及音画异常时刻,生成视频事件时间线;
12、对所述故障现象描述文本进行语义解析,提取故障现象、期望结果以及实际结果,生成故障场景表示;
13、对所述缓存日志进行断点检测,确定所述缓存日志中的日志断点窗口。
14、可选地,所述基于所述条件上下文和预设硬约束条件,生成候选补全日志序列,包括:
15、将所述条件上下文输入生成器,通过所述生成器根据所述条件上下文输出第一补全日志序列;所述第一补全日志序列包含按时间排列的若干个结构化日志条目;
16、将所述第一补全日志序列输入约束器,通过所述约束器按照预设硬约束条件进行过滤,将满足所述预设硬约束条件的第一补全日志序列输出为候选补全日志序列。
17、其中,所述预设硬约束条件包括时间单调约束、调用可达约束、状态合法约束、参数合法约束以及前后衔接约束中的至少一项。
18、可选地,所述通过所述生成器根据所述条件上下文输出第一补全日志序列,包括:
19、从所述代码先验知识中确定与所述日志断点窗口匹配的日志模板;
20、根据所述视频事件时间线和所述故障场景表示,确定所述日志模板中预设参数槽位的参数填充值;
21、将所述参数填充值填入对应预设参数槽位,生成结构化日志条目;
22、根据所述日志断点窗口的前后日志片段的缓存节奏,确定所述结构化日志条目的时间戳分布,按照时间戳顺序将所述结构化日志条目组装为第一补全日志序列。
23、可选地,所述对所述候选补全日志序列进行多维一致性校验,得到校验结果,包括:
24、对所述候选补全日志序列进行多维度一致性校验,得到各维度对应的一致性评分;所述多维一致性校验包括时间一致性校验、调用链一致性校验、状态转移一致性校验、参数域一致性校验以及语义一致性校验;
25、按照预先配置的权重系数,对各维度对应的一致性评分进行加权求和,得到一致性校验综合评分,作为所述候选补全日志序列的校验结果。
26、可选地,所述根据校验结果从所述候选补全日志序列中筛选得到目标补全日志序列,包括:
27、将校验结果满足预设阈值的候选补全日志序列作为第二补全日志序列;
28、构造所述第二补全日志序列对应的反事实日志序列;
29、对所述反事实日志序列进行多维一致性校验,得到所述反事实日志序列的校验结果;
30、对所述第二补全日志序列的校验结果与所述反事实日志序列的校验结果进行比较;
31、若第二补全日志序列的校验结果大于所述反事实日志序列的校验结果,则按照一致性校验综合评分从大到小的顺序从所述第二补全日志序列中筛选目标补全日志序列;
32、否则,对所述第二补全日志序列进行过滤,按照一致性校验综合评分从大到小的顺序从过滤后的第二补全日志序列中筛选目标补全日志序列。
33、可选地,所述基于所述目标补全日志序列生成故障事件诊断信息,包括:
34、根据所述目标补全日志序列与所述证据来源之间的证据关联关系,生成事件因果链、根因候选以及所述目标补全日志序列中各故障事件与证据来源间的对应关系;
35、根据所述校验结果,生成所述目标补全日志序列的补全置信度;
36、将所述事件因果链、根因候选、对应关系以及补全置信度中的至少一项作为故障事件诊断信息。
37、第二方面,本技术实施例提供了一种日志处理装置,所述装置包括:
38、获取模块,用于获取故障事件对应的证据来源;所述证据来源包括版本代码、故障视频、故障现象描述文本以及缓存日志;
39、处理模块,用于基于所述版本代码、故障视频、故障现象描述文本以及缓存日志,分别得到代码先验知识、视频事件时间线、故障场景表示以及日志断点窗口;
40、日志补全模块,用于将所述代码先验知识、视频事件时间线、故障场景表示以及所述日志断点窗口的前后日志片段作为条件上下文,基于所述条件上下文和预设硬约束条件,生成候选补全日志序列;
41、校验模块,用于对所述候选补全日志序列进行多维一致性校验,得到校验结果;
42、输出模块,用于根据校验结果从所述候选补全日志序列中筛选得到目标补全日志序列,以使运维人员基于所述目标补全日志序列对所述故障事件进行故障分析。
43、第三方面,本技术实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的日志处理方法的步骤。
44、第四方面,本技术实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的日志处理方法的步骤。
45、本技术实施例提供的日志处理方法,通过获取故障事件对应的证据来源;证据来源包括版本代码、故障视频、故障现象描述文本以及缓存日志,基于版本代码、故障视频、故障现象描述文本以及缓存日志,分别得到代码先验知识、视频事件时间线、故障场景表示以及日志断点窗口,将代码先验知识、视频事件时间线、故障场景表示以及日志断点窗口的前后日志片段作为条件上下文,基于条件上下文和预设硬约束条件,生成候选补全日志序列,对候选补全日志序列进行多维一致性校验,得到校验结果,根据校验结果从候选补全日志序列中筛选得到目标补全日志序列,以使运维人员基于目标补全日志序列对故障事件进行故障分析。本技术实施例在缓存日志因限流而残缺且故障无法复现的情况下,利用多源证据数据之间的互补性和交叉关联,还原出缺失的日志序列,并通过多维度约束与校验,兼顾补全的日志序列在语义和硬约束上的可信度,准确补全残缺日志,使得运维人员可以基于准确、可信的补全日志序列,追溯故障事件,对故障事件进行故障分析,从根本上解决了日志缺失时仅凭残缺的日志数据,难以有效进行故障分析等诊断工作的问题,大幅提升了运维人员对车辆故障诊断工作的有效性。
46、上述说明仅是本技术技术方案的概述,为了能够更清楚了解本技术的技术手段,而可依照说明书的内容予以实施,并且为了让本技术的上述和其他目的、特征和优点能够更明显易懂,以下特举本技术的具体实施方式。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com