日志上报管理方法、装置及车辆与流程

摘要: 本技术涉及日志管理,特别涉及一种日志上报管理方法、装置及车辆。背景技术:1、在汽车电子软件系统中,为了便于软件调试、故障定位、路试问题复现和售后诊断,通常需要引...
日志上报管理方法、装置及车辆与流程

本技术涉及日志管理,特别涉及一种日志上报管理方法、装置及车辆。

背景技术:

1、在汽车电子软件系统中,为了便于软件调试、故障定位、路试问题复现和售后诊断,通常需要引入统一的日志采集和分析机制。车辆运行时,模块异常循环、调试日志误开启等场景易产生短时间高密度日志,形成日志风暴,消耗车载有限内存、带宽、存储与计算资源。

2、相关技术中日志系统主要采用简单的全局限流方式,当全局日志量超过阈值时直接丢弃日志,可能会误丢高诊断价值日志。

技术实现思路

1、本技术提供一种日志上报管理方法、装置及车辆,以解决相关技术中全局限流易造成高价值日志丢失等问题。

2、本技术第一方面实施例提供一种日志上报管理方法,包括以下步骤:获取车辆日志的多个日志统计维度及每个日志统计维度对应的统计时间窗口,并在每个统计时间窗口内获取对应日志统计维度下的日志统计数据,其中,日志统计维度基于车辆日志的特征字段确定;获取车辆的环形缓冲区的缓存占用率,其中,环形缓冲区用于缓存车辆日志;根据日志统计数据和/或缓存占用率识别对应日志统计维度下日志的状态,在日志状态为目标状态时,获取日志的价值等级;根据日志的价值等级和缓存占用率管理对应日志统计维度下日志的上报。

3、可选地,日志统计数据包括日志数量、日志字节数、重复日志比例和日志的占比。

4、可选地,根据日志统计数据和/或缓存占用率识别对应日志统计维度下日志的状态,包括:若日志数量、日志字节数、重复日志比例和日志的占比中的任意一个大于对应的预设阈值,或,缓存占用率大于对应的预设阈值,则确定对应日志统计维度下日志的状态为目标状态。

5、可选地,特征字段包括第一特征字段和第二特征字段,第一特征字段包括控制器标识、应用标识、上下文标识、级别、序号、正文、长度中的至少一种,第二特征字段为日志摘要,日志摘要基于日志正文进行哈希运算得到。

6、可选地,获取日志的价值等级,包括:根据日志的级别确定日志的初始评分值,并根据日志的应用标识和上下文标识确定日志的第一修正值;根据日志的日志摘要确定日志的第二修正值,并根据日志的正文确定日志的第三修正值;获取日志在对应日志统计维度下的重复次数,根据重复次数确定日志的第四修正值;根据第一修正值、第二修正值、第三修正值和第四修正值中的至少一种,修正初始评分值得到最终评分值;根据最终评分值确定日志的价值等级。

7、可选地,根据日志的价值等级和/或缓存占用率管理对应日志统计维度下日志的上报,包括:根据价值等级和/或缓存占用率确定日志的上报策略;根据上报策略管理日志的上报。

8、可选地,上报策略包括采样上报策略、时间限制策略、合并策略、摘要替代策略和丢弃策略中的至少一种,根据价值等级和/或缓存占用率确定日志的上报策略,包括:若缓存占用率大于第一预设占用率且小于等于第二预设占用率,且日志的价值等级为第一等级,则上报策略为采样上报策略、时间限制策略和合并策略中的至少一种;若缓存占用率大于第二预设占用率,且日志的价值等级为第一等级或第二等级,则上报策略为执行合并策略、丢弃策略、摘要替代策略中的至少一种,其中,第一预设占用率小于第二预设占用率。

9、可选地,在根据价值等级和/或缓存占用率确定日志的上报策略之前,还包括:获取日志上报白名单;若日志位于日志上报白名单中,则直接上报日志。

10、本技术第二方面实施例提供一种日志上报管理装置,包括:第一获取模块,用于获取车辆日志的多个日志统计维度及每个日志统计维度对应的统计时间窗口,并在每个统计时间窗口内获取对应日志统计维度下的日志统计数据,其中,日志统计维度基于车辆日志的特征字段确定;第二获取模块,用于获取车辆的环形缓冲区的缓存占用率,其中,环形缓冲区用于缓存车辆日志;识别模块,用于根据日志统计数据和/或缓存占用率识别对应日志统计维度下日志的状态,在日志状态为目标状态时,获取日志的价值等级;管理模块,用于根据日志的价值等级和缓存占用率管理对应日志统计维度下日志的上报。

11、可选地,日志统计数据包括日志数量、日志字节数、重复日志比例和日志的占比。

12、可选地,识别模块进一步用于:若日志数量、日志字节数、重复日志比例和日志的占比中的任意一个大于对应的预设阈值,或,缓存占用率大于对应的预设阈值,则确定对应日志统计维度下日志的状态为目标状态。

13、可选地,特征字段包括第一特征字段和第二特征字段,第一特征字段包括控制器标识、应用标识、上下文标识、级别、序号、正文、长度中的至少一种,第二特征字段为日志摘要,日志摘要基于日志正文进行哈希运算得到。

14、可选地,识别模块进一步用于:根据日志的级别确定日志的初始评分值,并根据日志的应用标识和上下文标识确定日志的第一修正值;根据日志的日志摘要确定日志的第二修正值,并根据日志的正文确定日志的第三修正值;获取日志在对应日志统计维度下的重复次数,根据重复次数确定日志的第四修正值;根据第一修正值、第二修正值、第三修正值和第四修正值中的至少一种,修正初始评分值得到最终评分值;根据最终评分值确定日志的价值等级。

15、可选地,管理模块进一步用于:根据价值等级和/或缓存占用率确定日志的上报策略;根据上报策略管理日志的上报。

16、可选地,上报策略包括采样上报策略、时间限制策略、合并策略、摘要替代策略和丢弃策略中的至少一种。

17、可选地,管理模块进一步用于:若缓存占用率大于第一预设占用率且小于等于第二预设占用率,且日志的价值等级为第一等级,则上报策略为采样上报策略、时间限制策略和合并策略中的至少一种;若缓存占用率大于第二预设占用率,且日志的价值等级为第一等级或第二等级,则上报策略为执行合并策略、丢弃策略、摘要替代策略中的至少一种,其中,第一预设占用率小于第二预设占用率。

18、本技术第三方面实施例提供一种车辆,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以执行如上述实施例所述的日志上报管理方法。

19、本技术第四方面实施例提供一种计算机可读存储介质,其上存储有计算机程序或指令,计算机程序或指令被处理器执行,以执行如上述实施例的日志上报管理方法。

20、本技术第五方面实施例提供一种计算机程序产品,包括计算机程序或指令,计算机程序或指令被执行时,以实现如上述实施例的日志上报管理方法。

21、由此,本技术至少具有如下有益效果:

22、本技术实施例通过将日志划分为多个统计维度,并在每个统计维度对应的统计窗口下统计日志数据,从不同统计维度管理日志,精准定位日志的异常,避免单一异常占满缓存,影响其它模块日志的上报,并根据日志统计数据缓存占用率确定日志的状态,兼顾日志流量与全局资源,提前识别缓存溢出风险,在日志为目标状态时,基于日志的价值等级和缓存占用率管理对应日志统计维度下的日志的上报,实现对日志细粒度的管理,无需全局限流,兼顾价值和缓存压力的双重衡量,避免高价值日志丢失。由此,解决了相关技术中全局限流易造成高价值日志丢失等技术问题。

23、本技术附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。