外网日志定制上传方法、客户端及日志收集系统与流程

1.本发明属于日志收取技术领域，具体涉及一种外网日志定制上传方法、客户端及日志收集系统。


背景技术：

2.很多公司的平台每天会产生大量的日志，而处理这些日志需要特定的日志系统，一般而言，需要日志系统具有以下特征：(1)构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；(2)支持近实时的在线分析系统和类似于hadoop之类的离线分析系统；(3)具有高可扩展性，即：当数据量增加时，可以通过增加节点进行水平扩展，(4)支持日志文件的收集与上传的系统组件。
3.其中日志的表现形式通常为流式数据，如，分布式应用的系统日志，用户浏览查询日志等。以分布式系统为例，相关技术中，现在大多数分布式系统均通过内网收集日志，而通过内网对外网的日志进行收集时，收集的日志信息杂乱，使得可分辨性和预警性差。


技术实现要素：

4.本发明提供了一种外网日志定制上传方法、客户端及日志收集系统，以解决现有技术中收集的日志信息杂乱、可分辨性和预警性差的技术问题。
5.本发明提供的技术方案如下：
6.一方面，一种外网日志定制上传方法，应用于定制日志上传客户端，所述方法包括：
7.接收各地的自动分拣服务产生的日志信息；
8.获取网点来源信息，将所述网点来源信息加入所述日志信息中，得到目标日志信息；
9.将所述目标日志信息发送至日志接收服务器。
10.可选的，所述将所述网点来源信息加入所述日志信息中，得到目标日志信息，包括：
11.判断所述日志信息中是否存在异常对象；
12.若所述日志信息中存在所述异常对象，则判断所述异常对象是否为系统级异常对象；
13.若所述异常对象为所述系统级异常对象，则将将所述网点来源信息加入与所述系统级异常对象相对应的日志信息中，得到目标日志信息。
14.又一方面，一种定制日志上传客户端，包括：处理器，以及与所述处理器相连接的存储器；
15.所述存储器用于存储计算机程序，所述计算机程序至少用于执行上述任一项所述的外网日志定制上传方法；
16.所述处理器用于调用并执行所述存储器中的所述计算机程序。
17.又一方面，一种日志收集系统，其特征在于，包括：日志接收服务器和上述所述的定制日志上传客户端；
18.所述日志接收服务器，用于接收所述定制日志上传客户端发送的目标日志信息，并根据所述目标日志信息进行故障预警。
19.可选的，所述定制日志上传客户端，还包括：序列化转换器；所述序列化转换器，用于提供日志信息附加信息添加功能。
20.可选的，所述日志接收服务器还包括转发器；所述转发器用于对所述目标日志信息中的异常对象按照预设规则进行异常重点信息重组，并将重组后的包含所述异常重点信息的目标日志进行转发。
21.本发明的有益效果为：
22.本发明实施例提供的外网日志定制上传方法、客户端及日志收集系统，通过在定制日志上传客户端接收各地的自动分拣服务产生的日志信息；获取网点来源信息，将网点来源信息加入日志信息中，得到目标日志信息；将目标日志信息发送至日志接收服务器。从而实现，在客户端分拣日志信息，并将网点来源信息加入到日志信息中，再发送到接收服务器，使得服务器收到的日志信息包含网点来源信息，便于对日志信息进行网点分拣，提升日志信息的可分辨性和预警性。本发明通过定制日志收集客户端和过滤器的方式，进行同步日志收集，减少了日志上传的延迟，使之能够及时进行网点分拣服务异常预警，添加了日志信息来源，区分了日志信息来源网点，能及时定位异常网点，为及时解决网点分拣服务系统异常提供了保障。
附图说明
23.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1为本发明实施例提供的一种外网日志定制上传方法的流程示意图；
25.图2为本发明实施例提供的一种定制日志上传客户端的结构示意图；
26.图3为本发明实施例提供的一种日志收集系统的结构示意。
具体实施方式
27.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
28.很多公司的平台每天会产生大量的日志，而处理这些日志需要特定的日志系统，一般而言，需要日志系统具有以下特征：(1)构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；(2)支持近实时的在线分析系统和类似于hadoop之类的离线分析系统；(3)具有高可扩展性，即：当数据量增加时，可以通过增加节点进行水平扩展，(4)支持日志文件的收集与上传的系统组件。
29.其中日志的表现形式通常为流式数据，如，分布式应用的系统日志，用户浏览查询日志等。以分布式系统为例，相关技术中，现在大多数分布式系统均通过内网收集日志，而通过内网对外网的日志进行收集时，对于外网收集日志的可操作性差。
30.支持日志上传的组件有很多，但主要有俩种：1)filebeat产品。主要部署在企业数监控日志文件，获取服务器上指定路径的日志文件，并将这些日志转发到logstash实例以进行处理。不可定制开发，一般与logstash配合使用组成elk系统，完成日志收集。2)fluentd产品。fluentd是一个开源的数据收集器，专为处理数据流设计，使用json作为数据格式。它采用了插件式的架构，具有高可扩展性高可用性，同时还实现了高可靠的信息转发,不可定制开发，一般配合容器使用，完成日志收集。
31.基于此，本发明实施例提供了一种加外网日志定制上传方法、客户端及日志收集系统，以解决现有技术中收集的日志信息杂乱、可分辨性和预警性差的技术问题。
32.实施例一：
33.本发明实施例提供一种加热装置的定量取水控制方法。
34.图1为本发明实施例提供的一种外网日志定制上传方法的流程示意图，本发明实施例提供的方法，可以应用于定制日志上传客户端，参阅图1，可以包括以下步骤：
35.s11、接收各地的自动分拣服务产生的日志信息。
36.在具体的实现过程中，网点自动分拣系统服务启动后，随着系统运行，运行相关的日志会同步进行控制台的输出和其他输出形式。各地的自动分拣服务产生的日志信息，上传至定制日志上传客户端。
37.其中，定制日志上传客户端集成自logback框架的abstractsocketappender通过tcp协议的socket传输，实现了远程上传数据的功能。
38.s12、获取网点来源信息，将网点来源信息加入日志信息中，得到目标日志信息。
39.在具体的运行过程中，定制日志上传客户端在接收到日志信息后，获取网点来源信息，并将网点来源信息注入到日志信息中，得到目标日志信息。
40.其中，网点来源信息可以配置在spring的配置文件里面，在系统启动初期通过spring的事件监听机制，在spring发布上下文事件(contextrefreshevent事件)的时候，获取配置文件里面配置的网点来源信息(网点id和网点名称)注入到日志子系统logback框架的上下文中，此时系统还未启动完成，网点来源信息被日志子系统上下文持有。定制日志上传客户端可以从日志子系统获取网点来源信息。
41.一些实施例中，将网点来源信息加入日志信息中，得到目标日志信息，包括：判断日志信息中是否存在异常对象；若日志信息中存在异常对象，则判断异常对象是否为系统级异常对象；若异常对象为系统级异常对象，则将将网点来源信息加入与系统级异常对象相对应的日志信息中，得到目标日志信息。
42.例如，本技术可以给定制日志上传客户端的上传定制器附加一个序列化数据转换器和异常日志过滤器，增强了定制日志上传客户端本身的功能。
43.网点自动分拣服务收集的日志，各种类型的日志都有，很多的错误日志是没有异常信息的，但是没有异常信息的日志同样也是属于业务日志的范畴，对于系统异常评判来说是一种干扰，本技术中，设置异常信息过滤器通过分析日志事件里面的异常对象，判断异常对象是否存在及异常对象是否为系统级别的异常而非使用错误日志级别的业务信息，实
现了非系统异常的错误日志的过滤，减少了上传日志的数据流量。
44.本技术的定制日志上传客户端重新定义了一个序列化转换器，转换器无法对上传日志信息做定制化处理，所有对原转换器进行了重写，增加了对日志事件进行数据附加信息添加的功能，在定制的转换器里面获取拉日志框架上下文中持有的网点信息，拿到网点信息后，在日志事件对象里面进行信息附加，在不改变原来日志信息的基础上增加拉日志信息来源，为后续日志分析提供了网点分类标签。
45.s13、将目标日志信息发送至日志接收服务器。
46.将合并后的目标日志信息发送至日志接收服务器，以使日志接收服务器根据目标日志信息进行作业。
47.本发明实施例提供的外网日志定制上传方法，通过在定制日志上传客户端接收各地的自动分拣服务产生的日志信息；获取网点来源信息，将网点来源信息加入日志信息中，得到目标日志信息；将目标日志信息发送至日志接收服务器。从而实现，在客户端分拣日志信息，并将网点来源信息加入到日志信息中，再发送到接收服务器，使得服务器收到的日志信息包含网点来源信息，便于对日志信息进行网点分拣，提升日志信息的可分辨性和预警性。
48.实施例二：
49.基于一个总的发明构思，本发明实施例还提供一种定制日志上传客户端。
50.图2为本发明实施例提供的一种定制日志上传客户端的结构示意图，参阅图2，本发明实施例提供的定制日志上传客户端，可以包括：处理器21，以及与处理器相连接的存储器22；
51.存储器21用于存储计算机程序，计算机程序至少用于执行上述任一实施例记载的外网日志定制上传方法；
52.处理器用于调用并执行存储器中的计算机程序。
53.实施例三：
54.基于一个总的发明构思，本发明实施例还提供一种日志收集系统。
55.图3为本发明实施例提供的一种日志收集系统的结构示意，参阅图3，本发明实施例提供的日志收集系统，包括：日志接收服务器31和上述实施例记载的定制日志上传客户端32；
56.日志接收服务器32，用于接收定制日志上传客户端发送的目标日志信息，并根据目标日志信息进行故障预警。
57.其中，目标日志信息的接收，可以采用logback的serversocketreceiver组件进行接收，日志接收后，又定制了一个转发器对日志进行转发，该转发器通过重新定义异常对象组装了异常重点信息，对连接预警系统cat客户端做了兼容处理，随后转发至消息系统供后续分析系统消费和cat预警系统进行实时预警。
58.当日志接收服务器接收到制日志上传客户端发送的目标日志信息后，根据目标日志信息中的异常日志信息及异常日志信息中对应的网点来源信息，定位异常的网点，从而对异常网点进行故障预警。
59.可选的，定制日志上传客户端，还包括：序列化转换器；序列化转换器，用于提供日志信息附加信息添加功能。
60.可选的，日志接收服务器还包括转发器；转发器用于对目标日志信息中的异常对象按照预设规则进行异常重点信息重组，并将重组后的包含异常重点信息的目标日志进行转发。
61.关于上述系统中的定制日志上传客户端，其运行的具体执行方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
62.本发明实施例提供的日志收集系统，通过在定制日志上传客户端接收各地的自动分拣服务产生的日志信息；获取网点来源信息，将网点来源信息加入日志信息中，得到目标日志信息；将目标日志信息发送至日志接收服务器。从而实现，在客户端分拣日志信息，并将网点来源信息加入到日志信息中，再发送到接收服务器，使得服务器收到的日志信息包含网点来源信息，便于对日志信息进行网点分拣，提升日志信息的可分辨性和预警性。本发明通过定制日志收集客户端和过滤器的方式，进行同步日志收集，减少了日志上传的延迟，使之能够及时进行网点分拣服务异常预警，添加了日志信息来源，区分了日志信息来源网点，能及时定位异常网点，为及时解决网点分拣服务系统异常提供了保障。
63.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
64.可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
65.需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
66.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
67.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
68.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
69.此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机
可读取存储介质中。
70.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
71.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
72.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。