一种基于用户空间探针的日志生成方法、装置、终端设备及存储介质与流程

摘要: 本发明涉及计算机,尤其涉及一种基于用户空间探针的日志生成方法、装置、终端设备及存储介质。背景技术:1、日志生成是指通过程序自动生成需要打印日志的位置以及日志的内...
一种基于用户空间探针的日志生成方法、装置、终端设备及存储介质与流程

本发明涉及计算机,尤其涉及一种基于用户空间探针的日志生成方法、装置、终端设备及存储介质。

背景技术:

1、日志生成是指通过程序自动生成需要打印日志的位置以及日志的内容,是软件运行监控、故障溯源、链路排查的基础技术,广泛应用于微服务、后端服务、嵌入式程序等计算机软件运维场景。

2、传统的日志打印方法通常由日志库提供应用程序接口(api),由开发者在源代码中手动插入日志打印语句,随业务代码一同编译到可执行文件中。写入的日志语句固化于业务源代码中,随程序编译后完全固定,无法在程序运行过程中灵活调整日志采集位置与采集内容,后续如需新增、删减或调整日志,必须修改源代码并重新编译、打包、部署,日志生成效率低。

技术实现思路

1、本发明实施例提供了一种基于用户空间探针的日志生成方法、装置、终端设备及存储介质,能够解决现有技术中修改日志需改动源代码并重新编译打包部署,导致日志生成效率低的问题,提高日志生成效率。

2、本发明一实施例提供了一种基于用户空间探针的日志生成方法,包括:

3、获取目标程序的二进制文件以及目标程序在内存中的加载基址;

4、对所述二进制文件进行解析,得到若干调用函数的地址偏移量;

5、将每一调用函数的地址偏移量叠加至所述加载基址,得到对应调用函数的内存地址;

6、在各调用函数的内存地址处部署用户空间探针,并将各调用函数的预设ebpf采集程序挂载至对应的用户空间探针;

7、在目标程序运行至用户空间探针时,触发对应的预设ebpf采集程序,采集目标程序的探针记录数据;

8、根据各用户空间探针采集的探针记录数据,生成目标程序的运行日志。

9、进一步的,对所述二进制文件进行解析,得到若干调用函数的地址偏移量,包括:

10、对所述二进制文件进行符号表提取或反汇编处理,得到若干调用函数的函数名称;

11、将各调用函数的函数名称分别与预设的函数名-地址偏移映射表进行匹配,得到对应调用函数的地址偏移量。

12、进一步的,所述预设的函数名-地址偏移映射表通过以下方式得到:

13、获取目标程序的源代码和二进制文件;

14、对所述源代码进行语法树解析,提取得到调用函数的函数名称;

15、对所述二进制文件进行符号表提取或者反汇编处理,得到对应调用函数的地址偏移量;

16、将调用函数的函数名称与对应的地址偏移量进行关联,构建得到所述预设的函数名-地址偏移映射表。

17、进一步的,所述探针记录数据,包括:go协程标识和时间戳;

18、所述根据各用户空间探针采集的探针记录数据,生成目标程序的运行日志,包括:

19、将具有相同go协程标识的探针记录数据分为一组,并将同组的探针记录数据按照时间戳排序,生成对应的调用轨迹;

20、根据各go协程标识的调用轨迹,确定期望打印函数;

21、基于期望打印函数的探针记录数据,生成目标程序的运行日志。

22、进一步的,根据各go协程标识的调用轨迹,确定期望打印函数,包括:

23、统计各调用轨迹的执行频次以及各调用函数在各调用轨迹下的打印触发次数;

24、根据各调用轨迹的执行频次以及打印触发次数,计算得到对应调用函数的期望打印开销;

25、将各调用函数的期望打印开销按照从小到大排序,得到有序函数集合;

26、重复执行状态转移过程,直至得到期望打印函数;

27、所述状态转移过程,包括:

28、获取不选择当前调用函数对应的第一候选集合,以及选择当前调用函数对应的第二候选集合;其中,在选择当前调用函数时,对应的第二候选集合的总打印开销不超过预设开销阈值;在第一次执行状态转移过程时的当前调用函数为有序函数集合中的第一个调用函数;

29、分别计算第一候选集合的第一信息熵和第二候选集合的第二信息熵;

30、比较第一信息熵与第二信息熵;若第一信息熵大于第二信息熵,将当前调用函数加入当前函数选择集合,得到更新后的函数选择集合;若第一信息熵小于或等于第二信息熵,则将当前函数选择集合,作为更新后的函数选择集合;其中,在第一次执行状态转移过程时的当前函数选择集合为空;

31、判定是否遍历完成有序函数集合中的所有调用函数,若是,则将更新后的函数选择集合内的调用函数,作为期望打印函数,若否,则选择有序函数集合中的下一个调用函数,作为下一次执行状态转移过程的当前调用函数,并将更新后的函数选择集合,作为下一次执行状态转移过程的当前函数选择集合。

32、进一步的,生成目标程序的运行日志之后,还包括:

33、将目标程序的运行日志上报至远端监控设备,以使远端监控设备基于接收的运行日志识别目标程序运行异常时,下发调控指令;

34、接收调控指令,在接收到调控指令后,控制进程限流或进程重启。

35、在上述方法项实施例的基础上,本发明对应提供了装置项实施例,包括:程序信息获取模块、源码解析模块、内存地址计算模块、探针部署模块、探针数据采集模块以及运行日志生成模块;

36、所述程序信息获取模块,用于获取目标程序的二进制文件以及目标程序在内存中的加载基址;

37、所述源码解析模块,用于对所述二进制文件进行解析,得到若干调用函数的地址偏移量;

38、所述内存地址计算模块,用于将每一调用函数的地址偏移量叠加至所述加载基址,得到对应调用函数的内存地址;

39、所述探针部署模块,用于在各调用函数的内存地址处部署用户空间探针,并将各调用函数的预设ebpf采集程序挂载至对应的用户空间探针;

40、所述探针数据采集模块,用于在目标程序运行至用户空间探针时,触发对应的预设ebpf采集程序,采集目标程序的探针记录数据;

41、所述运行日志生成模块,用于根据各用户空间探针采集的探针记录数据,生成目标程序的运行日志。

42、进一步的,基于用户空间探针的日志生成装置,还包括:日志上报模块和进程管控模块;

43、所述日志上报模块,用于将目标程序的运行日志上报至远端监控设备,以使远端监控设备基于接收的运行日志识别目标程序运行异常时,下发调控指令;

44、所述进程管控模块,用于接收调控指令,在接收到调控指令后,控制进程限流或进程重启。

45、在上述方法项实施例的基础上,本发明对应提供了终端设备项实施例,包括:处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,处理器执行所述计算机程序时,实现如本发明所述基于用户空间探针的日志生成方法的步骤。

46、在上述方法项实施例的基础上,本发明对应提供了计算机可读存储介质项实施例,包括:存储的计算机程序,在计算机程序运行时,控制计算机可读存储介质所在的设备执行如本发明所述基于用户空间探针的日志生成方法的步骤。

47、与现有技术相比,本方案实施例的有益效果在于:

48、本发明通过获取目标程序的二进制文件为识别待采集调用函数提供语义依据,同时获取加载基址以适配地址空间随机化带来的进程内存起始地址动态变化;对所述二进制文件进行解析,得到若干调用函数的地址偏移量,通过地址偏移量建立源代码语义点位到程序相对位置的映射;将每一调用函数的地址偏移量叠加至所述加载基址,得到对应调用函数的内存地址;在各调用函数的内存地址处部署用户空间探针,并将各调用函数的预设ebpf采集程序挂载至对应的用户空间探针,以运行时外部挂载的用户空间探针与ebpf采集程序替代源码内嵌日志代码,日志采集点位与采集逻辑可动态变更,从而无需改动业务源码;在目标程序运行至用户空间探针时,触发对应的预设ebpf采集程序,采集目标程序的探针记录数据;根据各用户空间探针采集的探针记录数据,生成目标程序的运行日志。

49、综上所述,本发明通过解析二进制文件得到调用函数地址偏移量,结合进程加载基址部署用户空间探针并挂载ebpf采集程序,使得日志采集点位与采集逻辑可在不修改源码、不重新编译部署的前提下动态调整,从而解决了现有技术中修改日志需改动源代码并重新编译打包部署,导致日志生成效率低的问题,提高了日志生成效率。