基于Flume的日志处理方法、装置、电子设备和可读存储介质与流程

摘要: 本申请属于大数据处理,具体涉及一种基于flume的日志处理方法、一种基于flume的日志处理装置、一种电子设备和一种可读存储介质。背景技术:1、在大数据领域,f...
基于Flume的日志处理方法、装置、电子设备和可读存储介质与流程

本申请属于大数据处理,具体涉及一种基于flume的日志处理方法、一种基于flume的日志处理装置、一种电子设备和一种可读存储介质。

背景技术:

1、在大数据领域,flume是一个被广泛使用的日志采集组件,从source接收日志,写入channel中,然后在sink中发送到外部存储系统,如kafka等等。

2、现有flume在处理syslog udp日志时,存在以下问题:监听线程接收性能不足,极限场景udp丢包严重。而且,flume对每条日志都要创建event对象,大量小event对象频繁创建和销毁导致jvm(java virtual machine,java虚拟机)gc(garbage collection,垃圾回收)压力大,影响系统稳定性和性能。

技术实现思路

1、为了解决上述技术问题,本申请是这样实现的:

2、第一方面,本申请实施例提供了一种基于flume的日志处理方法,该方法包括:

3、当获取到日志数据时,从预设的对象池中申请目标对象;

4、基于所述目标对象将所述日志数据写入存储对象;

5、当所述日志数据写入所述存储对象完成时,将所述目标对象存储至所述对象池。

6、在一个或多个实施例中,所述从预设的对象池中申请目标对象,包括:

7、基于负载均衡将所述日志数据分配至至少一个目标线程;

8、采用各个目标线程从所述对象池中申请目标对象。

9、在一个或多个实施例中,所述采用各个目标线程从所述对象池中申请目标对象,包括:

10、确定各个目标线程在所述对象池中各自对应的对象区块;

11、采用各个目标线程从各自对应的对象区块中申请目标对象。

12、在一个或多个实施例中,所述基于所述目标对象将所述日志数据写入存储对象,包括:

13、采用所述目标对象对所述日志数据进行封装,得到数据包;

14、将所述数据包传递至信道;

15、从所述信道中获取所述数据包;

16、对所述数据包进行解封装,得到所述目标对象和所述日志数据;

17、将所述日志数据写入存储对象。

18、在一个或多个实施例中,所述将所述日志数据写入存储对象,包括:

19、从所述日志数据中获取源地址信息;

20、采用预设的地址信息映射表确定与所述源地址信息对应的存储地址信息;

21、采用所述存储地址信息将所述日志数据写入所述存储对象。

22、在一个或多个实施例中,所述将所述目标对象存储至所述对象池,包括:

23、获取所述目标对象的标识信息;

24、采用所述标识信息将所述目标对象存储至所述对象池的对象区块。

25、第二方面,本申请实施例提供了一种基于flume的日志处理装置,该装置包括:

26、申请模块,用于当获取到日志数据时,从预设的对象池中申请目标对象;

27、写入模块,用于基于所述目标对象将所述日志数据写入存储对象;

28、归还模块,用于当所述日志数据写入所述存储对象完成时,将所述目标对象存储至所述对象池。

29、在一个或多个实施例中,所述申请模块,包括:

30、分配子模块,用于基于负载均衡将所述日志数据分配至至少一个目标线程;

31、申请子模块,用于采用各个目标线程从所述对象池中申请目标对象。

32、在一个或多个实施例中,所述申请子模块,具体用于:

33、确定各个目标线程在所述对象池中各自对应的对象区块;

34、采用各个目标线程从各自对应的对象区块中申请目标对象。

35、在一个或多个实施例中,所述写入模块,包括:

36、封装子模块,用于采用所述目标对象对所述日志数据进行封装,得到数据包;

37、传递子模块,用于将所述数据包传递至信道;

38、提取子模块,用于从所述信道中获取所述数据包;

39、解封装子模块,用于对所述数据包进行解封装,得到所述目标对象和所述日志数据;

40、写入子模块,用于将所述日志数据写入存储对象。

41、在一个或多个实施例中,所述写入子模块,具体用于:

42、从所述日志数据中获取源地址信息;

43、采用预设的地址信息映射表确定与所述源地址信息对应的存储地址信息;

44、采用所述存储地址信息将所述日志数据写入所述存储对象。

45、在一个或多个实施例中,所述归还模块,具体用于:

46、获取所述目标对象的标识信息;

47、采用所述标识信息将所述目标对象存储至所述对象池的对象区块。

48、第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

49、第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

50、在本申请实施例中,当flume获取到日志数据时,从预设的对象池中申请目标对象,然后基于所述目标对象将所述日志数据写入存储对象,当所述日志数据写入所述存储对象完成时,将所述目标对象存储至所述对象池。这样,采用全局分块的对象池化技术打通source与sink模块,复用event对象从而减少了flume全流程的gc(garbage collection,垃圾回收)性能损耗。

51、而且,通过自定义source日志接收逻辑取代原有的syslogsource,整合netty框架的数据零拷贝技术,结合so_reuseport内核负载均衡,实现了so_reuseport+多线程监听同一个端口,大幅提高了单端口的日志接收性能。

52、进一步,在消息处理过程中自动记录源ip信息,对于同一个端口收到的日志,可以基于源ip实现精准分发写入对应的存储对象,并且整个分发映射关系是可以通过配置文件指定,从而实现了基于源ip的消息分发,整个过程无需额外记录和处理源ip字段。

1.一种基于flume的日志处理方法,其特征在于,包括:

2.根据权利要求1所述的基于flume的日志处理方法,其特征在于,所述从预设的对象池中申请目标对象,包括:

3.根据权利要求2所述的基于flume的日志处理方法,其特征在于,所述采用各个目标线程从所述对象池中申请目标对象,包括:

4.根据权利要求1所述的基于flume的日志处理方法,其特征在于,所述基于所述目标对象将所述日志数据写入存储对象,包括:

5.根据权利要求4所述的基于flume的日志处理方法,其特征在于,所述将所述日志数据写入存储对象,包括:

6.根据权利要求1所述的基于flume的日志处理方法,其特征在于,所述将所述目标对象存储至所述对象池,包括:

7.一种基于flume的日志处理装置,其特征在于,包括:

8.根据权利要求7所述的基于flume的日志处理装置,其特征在于,所述申请模块,包括:

9.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-6所述的基于flume的日志处理方法的步骤。

10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-6所述的基于flume的日志处理方法的步骤。