一种日志收集方法、装置、设备及介质与流程

1.本发明涉及计算机技术领域，特别涉及一种日志收集方法、装置、设备及介质。


背景技术：

2.当前，在进行日志上报时，通常是以内存队列的形式作为缓冲区，当写入缓冲区的日志数据超过缓冲区容量，则会丢弃多余的日志数据，并且在日志上报压力大的时候，会造成大量日志数据丢失。如果通过增加缓冲区容量而不扩大内存总量，则会降低业务程序的运行效率；如果扩大内存总量则会增加成本；而如果将日志数据直接写入磁盘，由于磁盘的读写速度较慢，会导致日志上报率无法提高。
3.综上，如何在日志数据上报过程中，减少日志丢失，并提高日志上报效率是目前有待解决的问题。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种日志收集方法、装置、设备及介质，能够在日志数据上报过程中，减少日志丢失，并提高日志上报效率。其具体方案如下：
5.第一方面，本技术公开了一种日志收集方法，包括：
6.获取待上报日志数据，并判断第一缓冲区中当前存储的日志数据是否超过第一预设存储阈值；
7.若所述第一缓冲区中当前存储的内存数据未超过所述第一预设存储阈值，则将所述待上报日志数据写入所述第一缓冲区；若所述第一缓冲区中当前存储的内存数据超过所述第一预设存储阈值，则将所述待上报日志数据写入第二缓冲区；其中，所述第一缓冲区包括第一内存队列，所述第二缓冲区包括第二内存队列和预先定义的磁盘空间；
8.利用预设日志拉取规则从所述第一缓冲区或所述第二缓冲区中拉取相应的日志数据，并将所述日志数据上报至日志服务器。
9.可选的，所述将所述待上报日志数据写入第二缓冲区，包括：
10.将待上报日志数据写入所述第二内存队列；
11.按照所述预设日志拉取规则从所述第二内存队列中拉取相应的日志数据，并将所述日志数据按照预先定义的文件顺序写入规则写入所述磁盘空间。
12.可选的，所述将所述日志数据按照预先定义的文件顺序写入规则写入所述磁盘空间，包括：
13.创建第一日志文件，并通过所述第一日志文件对针对所述待上报日志数据的写入操作进行响应；其中，所述响应过程包括：判断所述第一日志文件中存储的日志数据是否超过第二预设存储阈值；若所述第一日志文件中存储的日志数据未超过所述第二预设存储阈值，则将所述待上报日志数据写入所述第一日志文件，若所述第一日志文件中存储的日志数据超过所述第二预设存储阈值，则为所述第一日志文件设置结束标识，并停止所述第一日志文件的写入操作；
14.当所述第一日志文件已被设置所述结束标识，则创建第二日志文件，并通过所述第二日志文件对针对所述待上报日志数据中未写入日志文件的剩余数据的写入操作进行响应，直到所述磁盘空间中的日志文件数量超过预设文件数量，则为所述磁盘空间设置磁盘已满标识。
15.可选的，所述日志收集方法，还包括：
16.获取所述磁盘空间的第三预设存储阈值；
17.基于所述第三预设存储阈值和所述第二预设存储阈值得到所述磁盘空间中存储日志文件的预设文件数量。
18.可选的，所述利用预设日志拉取规则从所述第一缓冲区或所述第二缓冲区中拉取相应的日志数据，并将所述日志数据上报至日志服务器，包括：
19.利用预设日志拉取规则从所述第一内存队列中拉取相应的日志数据，并将所述日志数据上报至日志服务器；
20.基于配置文件获取当前待读取日志文件的文件序号和位置信息，并利用预先定义的文件顺序读取规则从所述磁盘空间中读取相应的日志文件数据，当读取到换行符，则将所述日志文件数据上报至所述日志服务器。
21.可选的，所述将所述日志数据按照预先定义的文件顺序写入规则写入所述磁盘空间的过程中，还包括：
22.基于第一预设时间间隔在所述配置文件中记录所述磁盘空间中当前所有日志文件的文件序号以及将所述待上报日志数据写入日志文件的当前位置信息；
23.相应的，所述利用预先定义的文件顺序读取规则从所述磁盘空间中读取相应的日志文件数据的过程中，还包括：
24.基于所述第一预设时间间隔在所述配置文件中记录当前读取日志文件数据的文件序号及其相应的位置信息。
25.可选的，所述日志收集方法，还包括：
26.将所述预设日志拉取规则确定为按照预设数量或按照第二预设时间间隔对所述待上报日志数据进行拉取。
27.第二方面，本技术公开了一种日志收集装置，包括：
28.判断模块，用于获取待上报日志数据，并判断第一缓冲区中当前存储的日志数据是否超过第一预设存储阈值；
29.日志写入模块，用于若所述第一缓冲区中当前存储的内存数据未超过所述第一预设存储阈值，则将所述待上报日志数据写入所述第一缓冲区；若所述第一缓冲区中当前存储的内存数据超过所述第一预设存储阈值，则将所述待上报日志数据写入第二缓冲区；其中，所述第一缓冲区包括第一内存队列，所述第二缓冲区包括第二内存队列和预先定义的磁盘空间；
30.日志上报模块，用于利用预设日志拉取规则从所述第一缓冲区或所述第二缓冲区中拉取相应的日志数据，并将所述日志数据上报至日志服务器。
31.第三方面，本技术公开了一种电子设备，包括：
32.存储器，用于保存计算机程序；
33.处理器，用于执行所述计算机程序，以实现前述公开的日志收集方法的步骤。
34.第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的日志收集方法的步骤。
35.可见，本技术首先获取待上报日志数据，并判断第一缓冲区中当前存储的日志数据是否超过第一预设存储阈值；若所述第一缓冲区中当前存储的内存数据未超过所述第一预设存储阈值，则将所述待上报日志数据写入所述第一缓冲区；若所述第一缓冲区中当前存储的内存数据超过所述第一预设存储阈值，则将所述待上报日志数据写入第二缓冲区；其中，所述第一缓冲区包括第一内存队列，所述第二缓冲区包括第二内存队列和预先定义的磁盘空间；最后利用预设日志拉取规则从所述第一缓冲区或所述第二缓冲区中拉取相应的日志数据，并将所述日志数据上报至日志服务器。由此可见，本技术先基于内存空间和磁盘空间得到第一缓冲区和第二缓冲区，然后通过判断当前第一缓冲区中存储的内存数据是否超过第一预设存储阈值，再确定将待上报日志数据写入第一缓冲区或者第二缓冲区，以实现日志数据的收集，最后从第一缓冲区或第二缓冲区拉取相应的日志数据上报至日志服务器，通过上述技术方案可以减少日志丢失，并提高日志上报率。
附图说明
36.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
37.图1为本技术公开的一种日志收集方法流程图；
38.图2为本技术公开的一种具体的日志收集方法流程图；
39.图3为本技术公开的一种具体的日志收集方法流程图；
40.图4为本技术公开的一种文件写入细节流程图；
41.图5为本技术公开的一种文件读取细节流程图；
42.图6为本技术公开的一种日志收集装置结构示意图；
43.图7为本技术公开的一种电子设备结构图。
具体实施方式
44.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.当前，在进行日志上报时，通常是以内存队列的形式作为缓冲区，当写入缓冲区的日志数据超过缓冲区容量，则会丢弃多余的日志数据，并且在日志上报压力大的时候，会造成大量日志数据丢失。如果通过增加缓冲区容量而不扩大内存总量，则会降低业务程序的运行效率；如果扩大内存总量则会增加成本；而如果将日志数据直接写入磁盘，由于磁盘的读写速度较慢，会导致日志上报率无法提高。为此，本技术实施例公开了一种日志收集方法、装置、设备及介质，能够在日志数据上报过程中，减少日志丢失，并提高日志上报效率。
46.参见图1所示，本技术实施例公开了一种日志收集方法，该方法包括：
47.步骤s11：获取待上报日志数据，并判断第一缓冲区中当前存储的日志数据是否超过第一预设存储阈值。
48.本实施例中，首先获取待上报日志数据，并判断第一缓冲区中存储的日志数据是否超过第一预设存储阈值，本实施例中，上述第一预设存储阈值可以设为500m。
49.步骤s12：若所述第一缓冲区中当前存储的内存数据未超过所述第一预设存储阈值，则将所述待上报日志数据写入所述第一缓冲区；若所述第一缓冲区中当前存储的内存数据超过所述第一预设存储阈值，则将所述待上报日志数据写入第二缓冲区；其中，所述第一缓冲区包括第一内存队列，所述第二缓冲区包括第二内存队列和预先定义的磁盘空间。
50.本实施例中，若第一缓冲区中存储的日志数据未超过第一预设存储阈值，则将待上报日志数据直接写入第一缓冲区，若第一缓冲区中存储的日志数据超过第一预设存储阈值，则将待上报日志数据写入第二缓冲区。例如，当第一预设存储阈值为500m时，若当前第一缓冲区中存储的日志数据小于500m，则将待上报日志数据写入第一缓冲区，若当前第一缓冲区中存储的日志数据为500m，则说明第一缓冲区已经没有多余存储空间，则将待上报日志数据写入第二缓冲区。
51.步骤s13：利用预设日志拉取规则从所述第一缓冲区或所述第二缓冲区中拉取相应的日志数据，并将所述日志数据上报至日志服务器。
52.本实施例中，将所述预设日志拉取规则确定为按照预设数量或按照第二预设时间间隔对所述待上报日志数据进行拉取。例如，可以将预设数量设为100、第二预设时间间隔设为10秒，那么当缓冲区内的日志数据的数量超过100条时，则通过线程拉取100条日志数据进行上报；当缓冲区内的日志数据少于100条时，则在10秒内继续等待新的日志数据的写入，直到达到100条日志数据时进行上报；但如果超过10秒后，缓冲区中的日志数据的数量仍未达到100条，则拉取当前缓冲区中的所有日志数据进行上报。
53.可见，本技术首先获取待上报日志数据，并判断第一缓冲区中当前存储的日志数据是否超过第一预设存储阈值；若所述第一缓冲区中当前存储的内存数据未超过所述第一预设存储阈值，则将所述待上报日志数据写入所述第一缓冲区；若所述第一缓冲区中当前存储的内存数据超过所述第一预设存储阈值，则将所述待上报日志数据写入第二缓冲区；其中，所述第一缓冲区包括第一内存队列，所述第二缓冲区包括第二内存队列和预先定义的磁盘空间；最后利用预设日志拉取规则从所述第一缓冲区或所述第二缓冲区中拉取相应的日志数据，并将所述日志数据上报至日志服务器。由此可见，本技术先基于内存空间和磁盘空间得到第一缓冲区和第二缓冲区，然后通过判断当前第一缓冲区中存储的内存数据是否超过第一预设存储阈值，再确定将待上报日志数据写入第一缓冲区或者第二缓冲区，以实现日志数据的收集，最后从第一缓冲区或第二缓冲区拉取相应的日志数据上报至日志服务器，通过上述技术方案可以减少日志丢失，并提高日志上报率。
54.参见图2和图3所示，本技术实施例公开了一种具体的日志收集方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体包括：
55.步骤s21：获取待上报日志数据，并判断第一内存队列中当前存储的日志数据是否超过第一预设存储阈值。
56.步骤s22：若所述第一内存队列中当前存储的内存数据未超过所述第一预设存储阈值，则将所述待上报日志数据写入所述第一内存队列；若所述第一内存队列中当前存储
的内存数据超过所述第一预设存储阈值，则将待上报日志数据写入所述第二内存队列。
57.本实施例中，当获取到待上报日志数据后，通过判断第一内存队列中的日志数据是否超过第一预设存储阈值，确定出待上报日志数据写入第一内存队列还是第二内存队列。
58.步骤s23：按照所述预设日志拉取规则从所述第二内存队列中拉取相应的日志数据，并将所述日志数据按照预先定义的文件顺序写入规则写入所述磁盘空间。
59.本实施例中，利用预设日志拉取规则从第二内存队列中拉取相应的日志数据至磁盘空间，参照步骤s13，上述预设日志拉取规则为按照预设数量或按照第二预设时间间隔对所述待上报日志数据进行拉取。
60.需要指出的是，上述将所述日志数据按照预先定义的文件顺序写入规则写入所述磁盘空间，包括：创建第一日志文件，并通过所述第一日志文件对针对所述待上报日志数据的写入操作进行响应；其中，所述响应过程包括：判断所述第一日志文件中存储的日志数据是否超过第二预设存储阈值；若所述第一日志文件中存储的日志数据未超过所述第二预设存储阈值，则将所述待上报日志数据写入所述第一日志文件，若所述第一日志文件中存储的日志数据超过所述第二预设存储阈值，则为所述第一日志文件设置结束标识，并停止所述第一日志文件的写入操作；当所述第一日志文件已被设置所述结束标识，则创建第二日志文件，并通过所述第二日志文件对针对所述待上报日志数据中未写入日志文件的剩余数据的写入操作进行响应，直到所述磁盘空间中的日志文件数量超过预设文件数量，则为所述磁盘空间设置磁盘已满标识。也即，在将从第二内存队列中拉取的日志数据写入磁盘空间时，需要按照预先定义的文件顺序写入规则完成相应的写入操作，本实施例中，采取mappedbytebuffer实现文件顺序写入操作，能够大幅度提高磁盘中的文件写入效率，在高峰期也能实现生产和消费平衡，并降低日志丢失率。
61.在写入磁盘空间的日志文件时，采用文件名自增方式，以保证文件流切换，本实施例中假设每个日志文件的存储阈值为200m，也即第二预设存储阈值为200m。首先创建第一日志文件，并命名为文件.1，并通过文件.1对针对待上报日志数据的写入操作进行响应，若文件.1中已写入的数据还未超过200m，先将待上报日志数据写入文件.1，当文件.1中存储的日志数据达到200m后，则为文件.1设置结束标识，具体为在有效内容的下一个字节里写入0x14作为文件结束符，并关闭写入流，也即停止文件.1的写入操作；然后创建第二日志文件，并命名为文件.2，并通过文件.2对针对待上报日志数据中未写入日志文件的剩余数据的写入操作进行响应，并依次类推创建相应的文件.3、文件.4等等，直到磁盘空间中的日志文件数量超过预设文件数量，而此时还有日志数据需要写入，则触发熔断机制，并为磁盘空间设置磁盘已满标识。需要注意的是，为磁盘设置磁盘已满标识后，可以在10秒内再次检查是否需要熔断，直到占用的磁盘空间小于第三预设存储阈值。
62.因此，本实施例中还需要获取所述磁盘空间的第三预设存储阈值；并基于所述第三预设存储阈值和所述第二预设存储阈值得到所述磁盘空间中存储日志文件的预设文件数量。例如，可以将第三预设存储阈值设为4g，而第二预设存储阈值为200m，则可以得出磁盘空间中可以存储20个日志文件，也即预设文件数量为20。
63.图4公开了本技术实施例中文件写入操作的细节，假设文件名为filename，文件大小为100m。首先从配置文件中获取上次写入记录，若不存在配置文件，则从filename.1的起
始位置开始，然后创建mappedbytebuffer对象，大小为100m，并执行文件写入操作，若filename.1还有剩余空间，则直接写入filename.1，代表filename.1写入成功，若filename.1已满，也即没有剩余空间，则代表filename.1写入失败，则写入文件结束符0x20，并按照顺序创建新的文件，即filename.2。通过设置5秒的定时任务，也即每隔5秒将当前写入位置保存到磁盘的配置文件中。
64.本实施例中，上述将所述日志数据按照预先定义的文件顺序写入规则写入所述磁盘空间的过程中，还包括：基于第一预设时间间隔在所述配置文件中记录所述磁盘空间中当前所有日志文件的文件序号以及将所述待上报日志数据写入日志文件的当前位置信息。可以理解的是，在向磁盘写入内容的同时，需要通过线程基于第一预设时间间隔将当前写入日志文件的位置记录到配置文件，以及当创建新的日志文件时，也需要将新的文件序号记录到配置文件中。其中，上述第一预设时间间隔可以为5秒，上述配置文件为config文件，并在config文件中的wci配置项中记录已写入文件索引，在config文件中的wcos配置项中记录写入进度。例如，若wci＝2，wcos＝100，表示当前写入的文件序号为2，写入文件的位置是100。
65.步骤s24：利用预设日志拉取规则从所述第一内存队列中拉取相应的日志数据，并将所述日志数据上报至日志服务器。
66.本实施例中，针对第一内存队列中存储的日志数据，直接通过预设日志拉取规则进行拉取，并将拉取的日志数据发送至线程池以及上报至日志服务器。
67.步骤s25：基于配置文件获取当前待读取日志文件的文件序号和位置信息，并利用预先定义的文件顺序读取规则从所述磁盘空间中读取相应的日志文件数据，当读取到换行符，则将所述日志文件数据上报至所述日志服务器。
68.本实施例中，程序运行时，则启动消费线程读取配置文件，主要是从配置文件中获取上次读取的文件序号和位置信息，以得到当前待读取日志文件的文件序号和位置信息，再利用mappedbytebuffer实现文件顺序读取操作，也即从磁盘空间中读取相应的日志文件数据，以提高磁盘中文件的读取效率；当读取到换行符时，则将日志文件数据上报至所述日志服务器。需要指出的是，如果没有配置文件，则说明当前配置文件还未记录任何信息，则从第一日志文件(即文件.1)的初始位置开始读取内容。当读取到结束标识0x14后，则关闭文件流，并读取下一个文件。
69.可以理解的是，上述利用预先定义的文件顺序读取规则从所述磁盘空间中读取相应的日志文件数据的过程中，还包括：基于所述第一预设时间间隔在所述配置文件中记录当前读取日志文件数据的文件序号及其相应的位置信息。也即，配置文件除了每隔第一预设时间间隔记录当前写入的日志文件的文件序号和位置信息，还需要记录当前读取日志文件数据的文件序号及其相应的位置信息，以便在重启后继续工作。并且通过对写入位置和读取位置进行记录，可以实现当读取的文件位置信息和写入的位置信息相同时，则暂停读取操作，例如，可以暂停读取操作10秒，并等待新的日志数据的写入，若没有新的日志数据写入，则继续等待。其中，上述配置文件为config文件，并在config文件中的rci配置项中记录已读文件索引，在config文件中的rcos配置项中记录读取进度。例如，若rci＝2，rcos＝100，表示当前读取的文件序号为2，读取文件的位置是100。
70.图5公开了本技术实施例中文件读取操作的细节，假设文件名为filename，文件大
小为100m。首先从配置文件中获取上次读取记录，若不存在配置文件，则从filename.1的起始位置开始，然后创建mappedbytebuffer对象，大小为100m，并执行文件读取操作，假设当前读取文件为filename.1，通过读取文件内容，当读取到结束符0x20，则按顺序切换到下一个文件即filename.2继续读取，若读取到换行符则结束本次读取，并将当前读取的日志内容发送到日志服务器。通过设置5秒的定时任务，也即每隔5秒将当前已读取位置保存到磁盘的配置文件中。
71.经过测试可知，在未使用本技术的技术方案之前，qps(queries-per-second，即每秒查询率)为1000时，会有大量日志数据丢失；在使用本技术的技术方案之后，当qps为2000时，持续30分钟压力测试无日志数据丢失。可见，本技术极大地降低了日志丢失率。
72.可见，本技术实施例先将待上报日志数据写入第一内存队列和第二内存队列，针对第一内存队列中的日志数据，直接利用预设日志拉取规则拉取相应的日志数据上报至日志服务器；针对第二内存队列中的日志数据，需要先利用预设日志拉取规则拉取相应的日志数据，并将日志数据按照预先定义的文件顺序写入规则写入所述磁盘空间，再利用预先定义的文件顺序读取规则从磁盘空间中读取相应的日志文件数据上报至日志服务器。其中，在磁盘空间中执行日志数据写入操作和日志文件数据读取操作时，需要将当前写入日志文件的序号及位置信息和当前读取日志文件的序号及位置信息记录至配置文件。通过上述技术方案可以降低日志丢失率，并提高日志上报率。
73.参见图6所示，本技术实施例公开了一种日志收集装置，该装置包括：
74.判断模块11，用于获取待上报日志数据，并判断第一缓冲区中当前存储的日志数据是否超过第一预设存储阈值；
75.日志写入模块12，用于若所述第一缓冲区中当前存储的内存数据未超过所述第一预设存储阈值，则将所述待上报日志数据写入所述第一缓冲区；若所述第一缓冲区中当前存储的内存数据超过所述第一预设存储阈值，则将所述待上报日志数据写入第二缓冲区；其中，所述第一缓冲区包括第一内存队列，所述第二缓冲区包括第二内存队列和预先定义的磁盘空间；
76.日志上报模块13，用于利用预设日志拉取规则从所述第一缓冲区或所述第二缓冲区中拉取相应的日志数据，并将所述日志数据上报至日志服务器。
77.可见，本技术首先获取待上报日志数据，并判断第一缓冲区中当前存储的日志数据是否超过第一预设存储阈值；若所述第一缓冲区中当前存储的内存数据未超过所述第一预设存储阈值，则将所述待上报日志数据写入所述第一缓冲区；若所述第一缓冲区中当前存储的内存数据超过所述第一预设存储阈值，则将所述待上报日志数据写入第二缓冲区；其中，所述第一缓冲区包括第一内存队列，所述第二缓冲区包括第二内存队列和预先定义的磁盘空间；最后利用预设日志拉取规则从所述第一缓冲区或所述第二缓冲区中拉取相应的日志数据，并将所述日志数据上报至日志服务器。由此可见，本技术先基于内存空间和磁盘空间得到第一缓冲区和第二缓冲区，然后通过判断当前第一缓冲区中存储的内存数据是否超过第一预设存储阈值，再确定将待上报日志数据写入第一缓冲区或者第二缓冲区，以实现日志数据的收集，最后从第一缓冲区或第二缓冲区拉取相应的日志数据上报至日志服务器，通过上述技术方案可以减少日志丢失，并提高日志上报率。
78.图7为本技术实施例提供的一种电子设备的结构示意图。具体可以包括：至少一个
处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的由计算机设备执行的日志收集方法中的相关步骤。
79.本实施例中，电源23用于为计算机设备20上的各硬件设备提供工作电压；通信接口24能够为计算机设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
80.其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
81.另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
82.其中，操作系统221用于管理与控制计算机设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是windows、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由计算机设备20执行的日志收集方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括计算机设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
83.进一步的，本技术实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的由日志收集过程中执行的方法步骤。
84.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
85.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应
认为超出本技术的范围。
86.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
87.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
88.以上对本发明所提供的一种日志收集方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。