一种应用服务的日志管理方法、装置、设备及存储介质与流程

1.本发明涉及信息同步技术领域，尤其涉及一种应用服务的日志管理方法、装置、设备及存储介质。


背景技术：

2.为了更好的服务客户，传统金融机构如银行、证券、保险纷纷推出了开放平台，将自身的金融服务能力，以api的形式对外进行输出，促进了金融行业的发展。apix开放交换平台是针对金融公司和金融科技公司，提供一个统一的开放能力输出平台。平台对api服务能力，进行统一展示、推广，并依托apix平台的网关系统，实现各机构间接口能力交换，进一步促进场景创新、开放能力融合等。
3.目前apix平台中的用户操作信息和交易数据信息，存放于对象存储中，当用户查询某一交易信息或者查看用户的操作信息，需要先从对象存储中拉取日志信息，然后再进行检索。
4.在追踪某支交易的详细信息时，需要从对象存储中，拉取日志信息，进行检索，但由于日志信息是经过一段时间统计获取的，对于具体的api 服务的调用情况的变化，不能够精确的分析，同理对于某个api服务调用量剧增的情况，也无法有效监控到,因此现有的apix平台并不能准确快速的对应用服务日志进行有效的监控分析管理。


技术实现要素：

5.本发明提供了一种应用服务的日志管理方法、装置、设备及存储介质，以实现对应用服务的日志进行有效监控分析管理。
6.根据本发明的一方面，提供了一种应用服务的日志管理方法，包括：
7.通过日志中心实时对指定类型应用服务的日志进行预处理获取应用服务文件，其中，每个应用服务文件分别对应一个指定类型应用服务；
8.通过elasticsearch数据库获取所述应用服务文件，并对所述应用服务文件创建索引后进行保存；
9.通过指定端口对创建索引的所述应用服务文件进行日志管理。
10.根据本发明的另一方面，提供了一种应用服务的日志管理装置，包括：
11.应用服务文件获取模块，用于通过日志中心实时对指定类型应用服务的日志进行预处理获取应用服务文件，其中，每个应用服务文件分别对应一个指定类型应用服务；
12.应用服务文件保存模块，用于通过elasticsearch数据库获取所述应用服务文件，并对所述应用服务文件创建索引后进行保存；
13.日志管理模块，用于通过指定端口对创建索引的所述应用服务文件进行日志管理。
14.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
15.至少一个处理器；以及
16.与所述至少一个处理器通信连接的存储器；其中，
17.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的一种应用服务的日志管理方法。
18.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的一种应用服务的日志管理方法。
19.本发明实施例的技术方案，针对不同的应用服务日志通过日志中心实时进行统一的集中归集，将归集后的应用服务文件以索引的形式存储到 elasticsearch数据库，并通过指定端口对应用服务文件进行管理，以实现对应用服务有效的监控分析管理。
20.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
21.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1是根据本发明实施例一提供的一种应用服务的日志管理方法的流程图；
23.图2是根据本发明实施例一提供的一种应用服务的日志管理方法的应用场景示意图；
24.图3是根据本发明实施例二提供的一种应用服务的日志管理方法的流程图；
25.图4是根据本发明实施例三提供的一种应用服务的日志管理装置的结构示意图；
26.图5是实现本发明实施例的一种电子设备的结构示意图。
具体实施方式
27.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
28.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.实施例一
30.图1为本发明实施例一提供了一种应用服务的日志管理方法的流程图，本实施例可适用于对应用服务的日志进行管理的情况，该方法可以由应用服务的日志管理装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。如图1所示，该方法包括：
31.步骤s101，通过日志中心实时对指定类型应用服务的日志进行预处理获取应用服务文件。
32.具体的说，本实施方式中采用apix开放交换平台执行应用服务的日志管理方法，apix开放交换平台为金融机构提供了应用程序编程接口 (application programming interface，api)服务的统一发布、订阅和审阅等功能，通过网关系统对api服务的调研进行鉴权、流控和计费等，应用服务系统对机构间的接口协议进行适配和转换，使各个机构间的接口协议进行统一，方便用户使用。离线数据系统对api服务的调用进行统一，方便客户查看api服务的调用数据等。如图2所示，为本实施方式中应用服务的日志管理方法的应用场景示意图，其中，apix开放交换平台包含日志中心、es存储、kibana端口和grafana端口，并且apix开放交换平台与日志产生系统连接。
33.其中，在日志产生系统中产生日志的指定类型应用服务包括：门户服务、后管服务、网关服务、应用服务、计费服务和注册中心服务等，当然，本实施方式中仅是举例说明，而并不对应用服务的具体类型进行限定。门户服务涉及用户的登录、api发布、订阅和审核等操作；后管服务涉及运营管理员，对平台用户身份认证审核、api发布审核、二级域名审核等操作，这些操作都会以日志的形式记录，注册中心对发布者api配置信息进行统一管理，当用户更新api配置信息时，会触发注册中心的推送服务，并记录日志；网关服务接收互联网上的交易请求，对请求进行鉴权、流控和白名单控制等；应用服务对api请求进行协议转化和适配，计费中心根据api是否收费，对api服务调用，进行扣费，同时支持用户的充值，交易信息相关信息，都会以日志的形式进行记录，并且平台日志统一采用 json的形式进行打印。并且网关服务和计费服务，使用syslog组件将日志发往日志中心，门户服务、后管服务、注册中心服务和应用服务，则使用rsyslog服务将日志发往日志中心。
34.可选的，通过日志中心实时对指定类型的应用服务日志进行预处理获取应用服务文件，包括：通过日志中心启动syslog-ng服务；通过 syslog-ng服务对指定类型应用服务的日志按照单位时间进行切分；根据日志切分结果创建应用服务文件。
35.具体的说，本实施方式的日志中心用于apix开放交换平台的日志归集，日志中心上启动syslog-ng服务对门户服务、后管服务、注册中心服务、应用服务、网关服务和计费服务系统发送的日志信息，进行按小时切分和存储，每个服务的日志均按着一个小时，一个文件的形式分开存储，从而根据日志切分结果创建应用服务文件，并且每个应用服务文件分别对应一个指定类型应用服务，而在每个应用服务文件中又包含多个单位时间的日志子文件。
36.步骤s102，通过elasticsearch数据库获取应用服务文件，并对应用服务文件创建索引后进行保存。
37.可选的，通过elasticsearch数据库获取应用服务文件，并对应用服务文件创建索引后进行保存，包括：通过elasticsearch数据库接收日志中心通过filebeat服务发送的应用服务文件；根据指定类型应用服务和接收时间对应用服务文件创建索引后进行保存。
38.具体的说，本实施方式中elasticsearch数据库用于存放apix平台的日志信息，elasticsearch即es，接收日志中心通过filebeat发送过来的应用服务文件，根据不同的服务和时间，创建不同的index进行存储，同一个服务一天存储一个文件。选择使用elasticsearch数据库，主要是利用elasticsearch优秀的数据检索以及具备强大的搜索引擎，为平台查看系统实时运行状态，提供了便利。
39.步骤s103，通过指定端口对创建索引的应用服务文件进行日志管理。
40.可选的，通过指定端口对创建索引的应用服务文件进行日志管理，包括：通过kibana端口基于预先配置的展示规则，对创建索引的应用服务文件进行数据遍历获取展示日志；将展示日志按照报表或图形的形式进行展示。
41.具体的说，本实施方式中的apix开放交换平台提供kibana端口，在 kibana端口中预先配置了展示规则，在展示规则中包含待展示的应用服务文件的具体类型以及展示的具体方式，例如，在展示规则中包含了待展示的应用服务文件为注册中心服务所对应的文件，并且展示方式为报表展示，则当确定es中注册中心服务文件中有日志数据存入时，会根据文件中的日志数据生成日志报表，并通过kibana端口向运营人员进行展示。
42.可选的，通过指定端口对创建索引的应用服务文件进行日志管理，包括：通过grafana端口基于预先配置的监控规则，对创建索引的应用服务文件进行数据遍历获取监控日志；当监控日志符合预设条件时产生报警信息。
43.具体的说，本实施方式中的apix开放交换平台提供grafana端口，在 grafana端口中预先配置监控规则，在监控规则中包含了待监控的指定类型应用服务以及报警条件，例如，在监控规则中包含了待监控的指定类型应用服务为注册中心服务，报警条件为单位时间间隔内注册请求日志超过 500，因此当确定被监控的注册中心服务所对应的请求日志为501时，会通过grafana端口向运行人员发送邮件进行报警提示，提醒检查系统服务是否正常运行，利用该规则，配合测试api的调用，可以监控系统的稳定运行。因此通过监测某一应用服务api调用量变化，如单位时间内，请求量达到临界值，通过邮件提醒运维人员进行服务能力的扩容。grafana支持灵活的规则创建，对于触发规则的，会通过邮件发送到平台的运维人员，使运维人员能够快速的响应处理。
44.本发明实施例的技术方案，针对不同的应用服务日志通过日志中心实时进行统一的集中归集，将归集后的应用服务文件以索引的形式存储到 elasticsearch数据库，并通过指定端口对应用服务文件进行管理，以实现对应用服务有效的监控分析管理。
45.实施例二
46.图3为本发明实施例二提供的一种应用服务的日志管理方法的流程图，本实施例在上述实施例的基础上，主要对数据主动拉取方式下应用服务的日志管理方式进行具体说明。如图3所示，该方法包括：
47.步骤s201，通过日志中心实时对指定类型应用服务的日志进行预处理获取应用服务文件。
48.可选的，通过日志中心实时对指定类型的应用服务日志进行预处理获取应用服务文件，包括：通过日志中心启动syslog-ng服务；通过 syslog-ng服务对指定类型应用服务的日志按照单位时间进行切分；根据日志切分结果创建应用服务文件。
49.步骤s202，通过elasticsearch数据库获取应用服务文件，并对应用服务文件创建
索引后进行保存。
50.可选的，通过elasticsearch数据库获取应用服务文件，并对应用服务文件创建索引后进行保存，包括：通过elasticsearch数据库接收日志中心通过filebeat服务发送的应用服务文件；根据指定类型应用服务和接收时间对应用服务文件创建索引后进行保存。
51.步骤s203，通过kibana端口接收日志查询指令。
52.具体的说，本实施方式中的kibana端口还可以接收日志查询指令，其中，日志查询指令中包含业务标识或用户标识，可以通过kibana端口用于系统运行的实时查询。例如，在日志查询指令中包含交易id和用户id，用户可以根据输入的交易id查询所关联的交易日志，以及根据用户id查询所关联的用户操作日志等，当然，本实施方式中仅是举例说明，而并不对日志查询指令中的具体内容进行限定。
53.步骤s204，根据查询指令对创建索引的应用服务文件进行查询获取查询日志。
54.其中，根据交易id搜索交易运行的信息，通过检索elasticsearch 数据库，可以定位到网关处理信息、应用服务处理信息以及计费中心信息，并快捷的定位整个交易的运行状态。通过用户id可以查看到用户在何时何地进行登录，做了什么操作等相关日志信息。当然，本实施方式中仅是以交易的运行状态和用户的操作等相关日志信息的查询过程进行举例说明，对于其它类型日志数据的查询方式与此大致相同，本实施方式中不再进行赘述。
55.本发明实施例的技术方案，针对不同的应用服务日志通过日志中心实时进行统一的集中归集，将归集后的应用服务文件以索引的形式存储到 elasticsearch数据库，并通过指定端口对应用服务文件进行管理，以实现对应用服务有效的监控分析管理。
56.实施例三
57.图4为本发明实施例三提供的一种应用服务的日志管理装置的结构示意图。如图4所示，该装置包括：应用服务文件获取模块310、应用服务文件保存模块320和日志管理模块330。
58.其中，应用服务文件获取模块310，用于通过日志中心实时对指定类型应用服务的日志进行预处理获取应用服务文件，其中，每个应用服务文件分别对应一个指定类型应用服务；
59.应用服务文件保存模块320，用于通过elasticsearch数据库获取应用服务文件，并对应用服务文件创建索引后进行保存；
60.日志管理模块330，用于通过指定端口对创建索引的应用服务文件进行日志管理。
61.可选的，指定类型应用服务包括：门户服务、后管服务、网关服务、应用服务、计费服务和注册中心服务。
62.可选的，应用服务文件获取模块，用于通过日志中心启动syslog-ng 服务；
63.通过syslog-ng服务对指定类型应用服务的日志按照单位时间进行切分；
64.根据日志切分结果创建应用服务文件。
65.可选的，应用服务文件保存模块，用于通过elasticsearch数据库接收日志中心通过filebeat服务发送的应用服务文件；
66.根据指定类型应用服务和接收时间对应用服务文件创建索引后进行保存。
67.可选的，日志管理模块，用于通过kibana端口接收日志查询指令，其中，日志查询指令中包含业务标识或用户标识；
68.根据查询指令对创建索引的应用服务文件进行查询获取查询日志。
69.可选的，日志管理模块，用于通过kibana端口基于预先配置的展示规则，对创建索引的应用服务文件进行数据遍历获取展示日志；
70.将展示日志按照报表或图形的形式进行展示。
71.可选的，日志管理模块，用于通过grafana端口基于预先配置的监控规则，对创建索引的应用服务文件进行数据遍历获取监控日志；
72.当监控日志符合预设条件时产生报警信息。
73.本发明实施例所提供的一种应用服务的日志管理装置可执行本发明任意实施例所提供的一种应用服务的日志管理方法，具备执行方法相应的功能模块和有益效果。
74.实施例四
75.图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等) 和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
76.如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器 (ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
77.电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
78.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元 (gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如应用服务的日志管理方法。
79.在一些实施例中，应用服务的日志管理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的应用服务的日志管理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行应用服务的日志管理方法。
80.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统
的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/ 或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
81.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
82.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
83.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
84.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
85.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
86.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只
要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
87.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。