一种日志文件的检索方法及装置与流程

1.本发明涉及数据处理技术领域，尤其涉及一种日志文件的检索方法及装置。


背景技术：

2.随着越来越多的企业进行新型数字化转型，并部署企业信息化系统，以进行资产的资源整合，同时提高资产在线高效管理能力。在数字化时代，依托数据、场景和算法发掘业务本质逻辑、依据业务洞察进行预测和决策，对提高企业数字化运维的质量具有强大的推动作用。尤其是，企业在大数量应用场景下，企业每天的线上交易量数以万计，并且时间较为集中，如果信息化系统出现异常，需要根据输出的日志记录进行问题分析定位。
3.因此，如何高效检索日志，以根据日志解决系统问题，从而恢复系统正常运营，是本领域技术人员待解决的技术问题。


技术实现要素：

4.有鉴于此，本发明实施例的目的在于提出一种日志文件的检索方法、装置及可读介质，实现高效检索日志，以根据日志解决系统问题，从而恢复系统正常运营。
5.本发明实施例的一方面提供了一种日志文件的检索方法，该方法包括：
6.建立日志分析模型，日志分析模型是基于样本日志训练得到的，关键字作为日志分析模型的输入，日志文件作为日志分析模型的输出；
7.将关键字列表输入日志分析模型，输出目标日志文件。
8.进一步的，日志分析模型表征日志内码、日志路径、日志名称、日志时间戳、日志内容的对应关系；将关键字列表输入日志分析模型，输出目标日志文件，包括：
9.根据关键字列表，查找待处理的日志内码集合，及日志内码集合对应的文件名称集合；
10.根据日志内码和日志内码对应的文件名称，查找日志内容；
11.根据日志时间戳输出日志文件集合，日志文件集合中包括目标日志文件。
12.进一步的，根据关键字列表，查找待处理的日志内码集合，及日志内码集合对应的文件名称集合，包括：
13.查找待处理的日志文件列表，并将日志文件列表的状态设定为第一状态；
14.根据关键字列表，在日志文件列表中查找包含关键字列表的特定日志文件列表，及特定日志文件列表的日志内码集合；
15.将特定日志文件列表的状态设定为第二状态；
16.根据特定日志文件列表的日志内码集合，查找特定日志文件列表的日志内码集合对应的文件名称集合。
17.进一步的，在查找待处理的日志文件列表之前，还包括：
18.按照筛选条件筛选日志文件，得到待处理的日志文件。
19.进一步的，日志内码包括第一内码和第二内码，根据日志内码和日志内码对应的
文件名称，查找日志内容，包括：
20.将特定日志文件列表的状态由第二状态更新为第三状态；
21.根据文件名称、第一内码和第二内码，查找日志内容，日志内容包括开始标识和结束标识，第一内码与开始标识一致，第二内码与结束标识一致。
22.进一步的，根据日志时间戳输出日志文件集合，包括：
23.根据日志时间戳对输出的日志文件集合进行排序；
24.按照顺序输出日志文件集合中的日志文件。
25.进一步的，筛选条件包括以下至少一项：
26.文件类型为文本：
27.日志文件的文件名称满足特定条件，特定条件用于指示特定日志的名称要求。
28.基于上述目的，本发明实施例的一方面提供了一种日志文件的检索装置，该装置包括：建立模块和输出模块；其中，
29.建立模块用于建立日志分析模型，日志分析模型是基于样本日志训练得到的，关键字作为日志分析模型的输入，日志文件作为日志分析模型的输出；
30.输出模块用于将关键字列表输入日志分析模型，输出目标日志文件。
31.进一步的，日志分析模型表征日志内码、日志路径、日志名称、日志时间戳、日志内容的对应关系；输出模块还用于：
32.根据关键字列表，查找待处理的日志内码集合，及日志内码集合对应的文件名称集合；
33.根据日志内码和日志内码对应的文件名称，查找日志内容；
34.根据日志时间戳输出日志文件集合，日志文件集合中包括目标日志文件。
35.进一步的，输出模块还用于：
36.查找待处理的日志文件列表，并将日志文件列表的状态设定为第一状态；
37.根据关键字列表，在日志文件列表中查找包含关键字列表的特定日志文件列表，及特定日志文件列表的日志内码集合；
38.将特定日志文件列表的状态设定为第二状态；
39.根据特定日志文件列表的日志内码集合，查找特定日志文件列表的日志内码集合对应的文件名称集合。
40.进一步的，输出模块还用于：
41.按照筛选条件筛选日志文件，得到待处理的日志文件。
42.进一步的，输出模块还用于：
43.将特定日志文件列表的状态由第二状态更新为第三状态；
44.根据文件名称、第一内码和第二内码，查找日志内容，日志内容包括开始标识和结束标识，第一内码与开始标识一致，第二内码与结束标识一致。
45.进一步的，输出模块还用于：
46.根据日志时间戳对输出的日志文件集合进行排序；
47.按照顺序输出日志文件集合中的日志文件。
48.进一步的，筛选条件包括以下至少一项：
49.文件类型为文本：
50.日志文件的文件名称满足特定条件，特定条件用于指示特定日志的名称要求。
51.基于上述目的，本发明实施例的一方面提供了一种计算机设备，其包括：
52.至少一个处理器；以及
53.存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现上述所述方法的步骤。
54.基于上述目的，本发明实施例的一方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述所述方法的步骤。
55.本发明至少具有以下有益技术效果：
56.本发明实施例通过建立日志分析模型，可以借助多线程并发对日志进行归类和提取，解决了大数据量访问的场景下，日志高效率检索的问题。
57.另外，本发明实施例支持多个关键字并行匹配，具体的，可以根据日志内码、日志路径、日志名称、日志时间戳、日志内容的对应关系，遍历所有符合关键字的文件列表。有效减少待处理日志数据量，降低处理器cpu和内存的功耗，提高cpu和内存资源利用率。
58.另外，本发明实施例通过不同细度的检索日志文件列表，可以知道需要对哪些文件、哪些文件行进行进一步分析匹配，减少不必要的全部文件匹配过程，为后续获取文件内容减少匹配所需时间打下基础。
59.另外，本发明实施例中，通过对待处理日志文件列表进行状态机制控制，每个环节只处理当前约定状态的文件列表，且对当前要处理的文件状态分别进行锁定和处理后更新操作，能够最大程度的避免日志文件重复匹配，提高日志文件的检索速度。
附图说明
60.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
61.图1为本发明提供的一种日志文件的检索方法的实施例的示意图；
62.图2为本发明提供的一种日志文件的检索装置的实施例的示意图；
63.图3为本发明提供的计算机设备的实施例的示意图；
64.图4为本发明提供的计算机可读存储介质的实施例的示意图。
具体实施方式
65.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
66.需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
67.基于上述目的，本发明实施例的第一个方面，提出了一种日志文件的检索方法的实施例。图1示出的是本发明提供的一种日志文件的检索方法的实施例的示意图。如图1所
示，本发明实施例的一种日志文件的检索方法应用于电子设备，该方法可以包括：
68.s101、建立日志分析模型，日志分析模型是基于样本日志训练得到的，关键字作为日志分析模型的输入，日志文件作为日志分析模型的输出。
69.其中，日志分析模型可以包括日志内码、日志路径、日志名称、日志时间戳和日志内容。其中，日志内码是记录当前日志记录行的唯一标识guid信息；日志路径是当前处理日志行记录对应的文件路径；日志名称是待处理日志的文件名名称；日志时间戳是日志输出的时间戳信息，日志时间戳可以为年月日时分秒，格式可以为yyyy-mm-ddthh:mm:ss，日志时间戳用于识别当前行记录的处理时间信息；日志内容是当前日志行记录的具体内容。
70.具体的，可以通过对大量的样本日志进行深度学习，得到关键字与日志文件的对应关系。在实际应用中，当输入某个关键字时，日志分析模型可以根据该关键字输出该关键字对应的日志文件。
71.这样，本发明实施例通过建立日志分析模型，可以借助多线程并发对日志进行归类和提取，解决了大数据量访问的场景下，日志高效率检索的问题。
72.s102、将关键字列表输入日志分析模型，输出目标日志文件。
73.如上述，日志分析模型表征日志内码、日志路径、日志名称、日志时间戳、日志内容的对应关系。s102具体可以为：
74.s1021、根据关键字列表，查找待处理的日志内码集合，及日志内码集合对应的文件名称集合。
75.也就是说，当多个关键字输入到日志分析模型时，可以进行多线程并发的方式进行检索得到日志内码集合。每个日志内码对应一个日志名称，则多个日志内码对应多个日志名称，这些日志名称组成文件名称集合。具体的，将关键字列表输入日志分析模型中，日志分析模型遍历关键字列表中所有的关键字，针对每个关键字均能匹配到与其对应的日志内码。在关键字匹配的过程中，优选匹配符合关键字的全局唯一标识guid信，即得到与关键字对应的日志内码。
76.这样，本发明实施例支持多个关键字并行匹配，具体的，可以根据日志内码、日志路径、日志名称、日志时间戳、日志内容的对应关系，遍历所有符合关键字的文件列表。有效减少待处理日志数据量，降低处理器cpu和内存的功耗，提高cpu和内存资源利用率。
77.s1022、根据日志内码和日志内码对应的文件名称，查找日志内容。
78.具体的，根据日志内码和日志内码对应的文件名称，得到日志内容。则：根据日志内码集合和日志内码集合对应的文件名称集合，得到日志内容集合。该日志内容集合可以位于一个或多个日志文件中。
79.s1023、根据日志时间戳输出日志文件集合，日志文件集合中包括目标日志文件。
80.在一种具体可实现方式中，根据日志时间戳对输出的日志文件集合进行排序；按照顺序输出日志文件集合中的日志文件。应理解为，每个日志文件均对应一个日志时间戳。根据各个日志文件的日志时间戳，按照时间的先后顺序依次输出日志文件集合。
81.在一种具体可实现方式中，s1023具体可以为：
82.s10231、按照筛选条件筛选日志文件，得到待处理的日志文件。
83.其中，筛选条件可以包括以下至少一项：文件类型为文本；日志文件的文件名称满足特定条件，特定条件用于指示特定日志的名称要求。
84.也就是说，在获取待处理日志文件之前，首先输入关键字，对输入的关键字进行智能化识别。例如，如果输入的关键字为30位数字字符，则提示是否匹配电子票据相关的文件名称；如果输入36位带有横线的值，则提示是否匹配付款单信息等；如果输入交易名称时，则提示匹配当前交易的文件名称等。其次，根据检索关键字查找日志目录下所有日志文件中包含有搜索关键字集合的日志内码集合，及日志内码集合对应的文件名称集合。最后，查找到符合筛选条件的日志文件，及待处理的日志文件，将该日志文件的信息记录在文件分析模型的列表中，该日志的处理状态默认为初始状态，可以表示的值为oa。oa可以表示为：检索目录的日志文本文件初始值。
85.s10232、查找待处理的日志文件列表，并将日志文件列表的状态设定为第一状态。
86.在s10231中对关键字列表进行初步筛选之后，在s10232中对该关键字列表进行进一步筛选。具体的，根据关键字列表对s10231找那个得到的待处理的日志文件列表进行进一步检索，得到待处理的日志文件列表，并将该待处理的日志文件列表的状态设定为第一状态，如表示的值为ob。ob可以表示为：对文件进行处理。
87.s10233、根据关键字列表，在日志文件列表中查找包含关键字列表的特定日志文件列表，及特定日志文件列表的日志内码集合。
88.具体的，根据关键字列表，对ob状态的文件列表进行关键字检索，并查找包含关键字列表的特定日志文件列表，及特定日志文件列表的日志内码集合。
89.s10234、将特定日志文件列表的状态设定为第二状态。
90.将特定日志文件列表的状态设定为第二状态，该第二状态由第一状态变更的，该第二状态表示的值为oc。oc可以表示为：输出符合关键字列表的日志内码集合。
91.这样，本发明实施例通过不同细度的检索日志文件列表，可以知道需要对哪些文件、哪些文件行进行进一步分析匹配，减少不必要的全部文件匹配过程，为后续获取文件内容减少匹配所需时间打下基础。
92.s10235、根据特定日志文件列表的日志内码集合，查找特定日志文件列表的日志内码集合对应的文件名称集合。
93.具体的，根据上述步骤s10234获取的特定日志文件列表的日志内码集合，及文件名称列表，遍历文件列表，同时将特定日志文件列表的状态由第二状态更新为第三状态，该第二状态表示的值为1a。1a可以表示为：即将根据关键字和日志内码进行内容检索。
94.然后，根据文件名称、第一内码和第二内码，查找日志内容，日志内容包括开始标识和结束标识，第一内码与开始标识一致，第二内码与结束标识一致。示例性的，“[b:”作为日志内容的开始标识，“[e:]”作为日志内容的结束标识。将以“[b:”开始的文件作为开始，将日志内码与“[b:”相同且以“[e:]”结束的文件内容识别为一次交互的日志文件，将搜索到的日志信息记录到日志模型中，对于处理完成的日志文件将其状态由1a更新为1b，1b表示为：对于锁定的需要进行文件内容匹配的文件列表，如果遍历文件的行记录包含关键字，而且日志行记录包含日志内码，表示已经找到符合关键字列表的文件行内容，当前日志行记录的具体内容需要被记录下来；如果搜索动作成功完成。对于处理过程发生异常的日志文件，将其状态由1a更新为1c。1c表示为：对于锁定的需要进行文件内容匹配的文件列表，如果遍历文件的行记录包含关键字，而且日志行记录包含日志内码，表示已经找到符合关键字列表的文件行内容，当前日志行记录的具体内容需要被记录下来；如果搜索动作出现
异常。
[0095]
本发明实施例中，通过对待处理日志文件列表进行状态机制控制，每个环节只处理当前约定状态的文件列表，且对当前要处理的文件状态分别进行锁定和处理后更新操作，能够最大程度的避免日志文件重复匹配，提高日志文件的检索速度。
[0096]
s10236、根据日志时间戳输出日志文件集合。
[0097]
在上述步骤获取的状态为1b的日志文件集合，根据日志时间戳排序输出，该顺序可以为正序或者逆序，在此不做具体限定。
[0098]
基于上述目的，本发明实施例的第二个方面，提出了一种日志文件的检索装置，图2示出的是本发明提供的日志文件的检索装置的实施例的示意图。如图2所示，该日志文件的检索装置200可以包括：建立模块201和输出模块202；其中，
[0099]
建立模块201用于建立日志分析模型，日志分析模型是基于样本日志训练得到的，关键字作为日志分析模型的输入，日志文件作为日志分析模型的输出；
[0100]
输出模块202用于将关键字列表输入日志分析模型，输出目标日志文件。
[0101]
进一步的，日志分析模型表征日志内码、日志路径、日志名称、日志时间戳、日志内容的对应关系；输出模块202还用于：
[0102]
根据关键字列表，查找待处理的日志内码集合，及日志内码集合对应的文件名称集合；
[0103]
根据日志内码和日志内码对应的文件名称，查找日志内容；
[0104]
根据日志时间戳输出日志文件集合，日志文件集合中包括目标日志文件。
[0105]
进一步的，输出模块202还用于：
[0106]
查找待处理的日志文件列表，并将日志文件列表的状态设定为第一状态；
[0107]
根据关键字列表，在日志文件列表中查找包含关键字列表的特定日志文件列表，及特定日志文件列表的日志内码集合；
[0108]
将特定日志文件列表的状态设定为第二状态；
[0109]
根据特定日志文件列表的日志内码集合，查找特定日志文件列表的日志内码集合对应的文件名称集合。
[0110]
进一步的，输出模块202还用于：
[0111]
按照筛选条件筛选日志文件，得到待处理的日志文件。
[0112]
进一步的，输出模块202还用于：
[0113]
将特定日志文件列表的状态由第二状态更新为第三状态；
[0114]
根据文件名称、第一内码和第二内码，查找日志内容，日志内容包括开始标识和结束标识，第一内码与开始标识一致，第二内码与结束标识一致。
[0115]
进一步的，输出模块202还用于：
[0116]
根据日志时间戳对输出的日志文件集合进行排序；
[0117]
按照顺序输出日志文件集合中的日志文件。
[0118]
进一步的，筛选条件包括以下至少一项：
[0119]
文件类型为文本：
[0120]
日志文件的文件名称满足特定条件，特定条件用于指示特定日志的名称要求。
[0121]
本发明还提供了一种计算机设备。图3示出的是本发明提供的计算机设备的实施
例的示意图。如图3所示，本发明实施例的计算机设备包括：至少一个处理器021；以及存储器022，所述存储器022存储有可在所述处理器021上运行的计算机指令023，所述指令023由所述处理器021执行时实现上述所述方法。
[0122]
本发明还提供了一种计算机可读存储介质。图4示出的是本发明提供的计算机可读存储介质的实施例的示意图。如图4所示，计算机可读存储介质031存储有被处理器执行时执行如上方法的计算机程序032。
[0123]
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，单据预警的方法的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(rom)或随机存储记忆体(ram)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
[0124]
此外，根据本发明实施例公开的方法还可以被实现为由处理器执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被处理器执行时，执行本发明实施例公开的方法中限定的上述功能。
[0125]
此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
[0126]
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
[0127]
在一个或多个示例性设计中，功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括ram、rom、eeprom、cd-rom或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(dsl)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、d0l或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(cd)、激光盘、光盘、数字多功能盘(dvd)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
[0128]
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例
的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
[0129]
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
[0130]
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
[0131]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0132]
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。