日志文件处理方法、装置、网络节点及存储介质与流程

1.本发明涉及大数据处理技术领域，尤其涉及一种日志文件处理方法、装置、网络节点及存储介质。


背景技术：

2.cdn系统(content delivery network，内容分发网络)在进行工作过程中会产生大量日志文件，这些日志文件会进行存储供用户进行下载使用。目前采用spark集群来处理大量的日志文件，例如，通过parqut格式存储，在进行日志文件存储时，进行gz压缩，例如:
3.(geo.dbankcdn.com)105m*9gz；
4.(aus-cdn.huiyinxun.com)120m*9gz；
5.其中最大的域名为：1.75g*4＝7g左右的hdfs数据压缩文件，很可能导致hdfs存储文件过大(高达几个g的大文件)的问题，这对于用户下载是难以接受的。此外，现有spark技术处理流程采取的是先新建一个大文件，在将这些hdfs小文件合并于这些大文件当中，之后在将已经合并的小文件进行删除，这样的处理方式容易发生小文件丢失或者小文件删除错误，并且由于处理过程较长从而使得spark集群的性能大大降低。


技术实现要素：

6.本发明提供一种日志文件处理方法、装置、网络节点及存储介质，在网络节点产生数据后，即将其划分为多个小文件进行合并，从而从源头上控制存储文件的大小，避免出现大文件，不会产生大量hdfs小文件的情况，提高了处理效率。
7.第一方面，本发明实施例提供一种日志文件处理方法，应用于网络节点，包括：
8.在当前周期开始后，根据当前周期内网络节点产生的多个日志文件，生成多个键值对；其中，键值对中的value为日志文件中的日志数据；键值对中的key值为value中的日志文件的资源定位地址url中的域名；
9.在当前周期结束后，将多个键值对中的value的日志数据按照预设大小进行合并，得到多个新的键值对；其中，预设大小不小于键值对中的value的日志数据的大小；形成新的键值对的键值对的key值相同；
10.为每个新的键值对创建一个存储文件，以存储该新的子键值对中的value的日志数据，并根据源于存储文件存储value的新的键值对的key值，生成存储文件的访问路径。
11.上述方法，能够在当前周期结束后，将当前周期网络节点产生的多个日志文件中的日志数据进行分割，生成包含数据量小的键值对，然后将具有相同key值的键值对中的日志数据按照预设大小进行合并，这样生成的新的日志文件的大小均是按照预设大小来定的，避免出现存储的文件过大的情况，同时，从源头上控制存储文件的大小，不会产生大量hdfs小文件的情况，提高了处理效率。
12.在一种可能实施的方式中，将多个键值对中的value的日志数据按照预设大小进行合并，得到多个新的键值对，包括：
13.根据当前周期内网络节点产生的所有日志文件的大小，确定reduce的个数；
14.采用多个reduce并行处理，将多个键值对中的value的日志数据按照预设大小进行合并，得到多个新的键值对；其中，相同的key值的至少一个键值对的合并过程采用一个reduce进行处理。
15.上述方法，能够通过前一周期内网络节点产生的多个日志文件的大小确定reduce的个数，采用多个reduce并行处理对多个键值对进行合并处理，这样提高了处理速度。
16.在一种可能实施的方式中，根据当前周期内网络节点产生的多个日志文件，生成多个键值对，包括：
17.根据当前周期内网络节点产生的多个日志文件，生成多个初始键值对；其中，每个初始键值对中的value为每个日志文件的日志数据；每个初始键值对中的key值为value中的日志文件的资源定位地址url中的域名；
18.将目标键值对中的value的日志数据划分为不大于预设大小的日志子数据；并根据目标键值对中的key值，生成与日志子数据的个数相同的新的key值；根据多个日志子数据和新的key值，得到多个键值对；其中，目标键值对为value的大小超过预设大小的初始键值对。
19.上述方法，能够将一个日志文件生成一个初始键值对，当初始键值对的日志数据比较大时，那么该初始键值对中的日志文件分割成大小比较小的日志子数据，根据该初始键值对的key值生成多个新的key值，将其进行一一配对，这样能够将大的文件划分为小的文件进行存储，从而避免出现存储大文件的情况。
20.在一种可能实施的方式中，根据源于存储文件存储value的新的键值对的key值，生成存储文件的访问路径之前，所述方法还包括：
21.将包含新的key的新的键值对中的key值修改为目标键值对中的key值。
22.上述方法，这样在生成访问路径之前，将新的key值修改为原来的key值，使得后续合并后依然能够得到这个大的文件，便于后续查询文件。
23.在一种可能实施的方式中，其中，预设大小为预设日志条数或预设日志数据的大小。
24.上述方法，能够通过预设的日志条数或者预设的日志数据的大小来限定预设大小，从而能够避免出现存储的文件过大的情况。
25.在一种可能实施的方式中，其中，键值对中的value为日志文件中的一行日志数据。
26.上述方法，能够在设定键值对中的value为日志文件中的一行日志数据，由于一行日志数据比较小，能够适用不同的预设大小，提高了适应性。
27.第二方面，本发明实施例提供一种日志文件处理装置，应用于网络节点，包括：
28.生成模块，用于在当前周期开始后，根据当前周期内网络节点产生的多个日志文件，生成多个键值对；其中，键值对中的value为日志文件中的日志数据；键值对中的key值为value中的日志文件的资源定位地址url中的域名；
29.合并模块，用于在当前周期结束后，将多个键值对中的value的日志数据按照预设大小进行合并，得到多个新的键值对；其中，预设大小不小于键值对中的value的日志数据的大小；形成新的键值对的键值对的key值相同；
30.存储模块，用于为每个新的键值对创建一个存储文件，以存储该新的子键值对中的value的日志数据，并根据源于存储文件存储value的新的键值对的key值，生成存储文件的访问路径。
31.在一种可能实施的方式中，所述生成模块，具体用于：
32.根据当前周期内网络节点产生的多个日志文件，生成多个初始键值对；其中，每个初始键值对中的value为每个日志文件的日志数据；每个初始键值对中的key值为value中的日志文件的资源定位地址url中的域名；
33.将目标键值对中的value的日志数据划分为不大于预设大小的日志子数据；并根据目标键值对中的key值，生成与日志子数据的个数相同的新的key值；根据多个日志子数据和新的key值，得到多个键值对；其中，目标键值对为value的大小超过预设大小的初始键值对。
34.第三方面，本发明实施例提供一种网络节点，包括：处理器和存储器；
35.处理器；
36.用于存储所述处理器可执行指令的存储器；
37.其中，所述处理器被配置为执行所述指令，以实现如第一方面中任一项所述的日志文件处理方法。
38.第四方面，本发明实施例提供一种存储介质，当所述存储介质中的指令由网络节点的处理器执行时，使得所述网络节点能够执行如第一方面中任一项所述的日志文件处理方法。
39.另外，第二方面至第四方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。
40.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
41.图1为本发明实施例提供的一种日志文件处理方法的流程图；
42.图2为本发明实施例提供的一种多个键值对合并成新的键值对的示意图；
43.图3为本发明实施例提供的一种日志文件处理过程的示意图；
44.图4为本发明实施例提供的一种日志文件过大时生成键值对的示意图；
45.图5为本发明实施例提供的第一种日志文件处理的完整方法的流程图；
46.图6为本发明实施例提供的第二种日志文件处理的完整方法的流程图；
47.图7为本发明实施例提供的第三种日志文件处理的完整方法的流程图；
48.图8为本发明实施例提供的一种日志文件处理装置的结构图。
具体实施方式
49.为了使本领域普通人员更好地理解本发明的技术方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
50.需要说明的是，以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一
致的装置和方法的例子。
51.对于，本发明实施例提出了一种日志文件处理方法，应用于网络节点，结合图1所示，包括：
52.s100：在当前周期开始后，根据当前周期内网络节点产生的多个日志文件，生成多个键值对；其中，键值对中的value为日志文件中的日志数据；键值对中的key值为value中的日志文件的资源定位地址url中的域名；
53.其中，网络节点可以为cdn网络(content delivery network，内容分发网络)。一周期的时间可以由用户设置，可以为1小时，半个小时等，对此本发明不做具体限制。
54.对于本发明来说，是延迟处理，当前一周期结束后，本发明即可对前一周期网络节点产生的多个日志文件进行处理。
55.键值对是由key和value组成的，《key，value》。其中，key部分为value中的日志文件的资源定位地址url中的域名。即当cdn网络产生日志文件后，每个日志文件会具有自己的url。url中包含域名。例如，用户自身一般会有自己的域名。该用户一般是以公司为单位，一个公司具有单独的一个域名或者多个域名。当域名下的文件比较多时，那么该域名下会有多个后缀，域名和后缀组成url。所以，可以从url中找到域名。而且域名作为key值能够更好的找到一个用户的所有数据。
56.为了后续合并，value一般比较小，是日志文件中的部分日志数据。其中，形成键值对时可以将日志文件分成小份。例如，键值对中的value为日志文件中的一行日志数据。
57.s110：在当前周期结束后，将多个键值对中的value的日志数据按照预设大小进行合并，得到多个新的键值对；其中，预设大小不小于键值对中的value的日志数据的大小；形成新的键值对的键值对的key值相同；
58.也就是说，将相同key值的value进行合并，每个合并后的大小均按照预设大小来定。其中，预设大小可以为预设日志条数或预设日志数据大小。
59.例如，预设日志条数为10，那么相同key值的value进行合并，该合并后的日志条数为10条。合并后的新的键值对的value的大小为10条。当然也可以少于10条。
60.又如，预设日志大小为1g，那么相同key值的value进行合并，该合并后的value的日志数据的大小为1g。当然也可以少于1g。
61.结合图2所示，步骤110具体包括：
62.s200：根据当前周期内网络节点产生的所有日志文件的大小，确定reduce的个数；
63.s210：采用多个reduce并行处理，将多个键值对中的value的日志数据按照预设大小进行合并，得到多个新的键值对；其中，相同的key值的至少一个键值对的合并过程采用一个reduce进行处理。
64.详细来说，当前周期内网络节点产生的所有日志文件的大小比较大时，reduce的个数比较多，当前周期内网络节点产生的所有日志文件的大小比较小时，reduce的个数比较少。示例性的，结合表1所示：
65.表1
66.日志文件的大小reduce的个数范围1个数a范围2个数b
范围3个数c
67.参照上表，当当前周期内网络节点产生的所有日志文件的大小属于范围1，那么reduce的个数为个数a；当当前周期内网络节点产生的所有日志文件的大小属于范围2，那么reduce的个数为个数b；当当前周期内网络节点产生的所有日志文件的大小属于范围3，那么reduce的个数为个数c。
68.然后采用确定reduce的个数并行处理，每个reduce均会执行将多个键值对中的value的日志数据按照预设大小进行合并，得到多个新的键值对。对于同一个key值的键值对，均采用同一个reduce进行处理。
69.对于reduce输出时，是按照目录和时间戳输出的，即日志文件生成时会带有其时间戳，同时，合并处理的多个键值对中的key值组成目录。
70.s120：为每个新的键值对创建一个存储文件，以存储该新的子键值对中的value的日志数据，并根据源于存储文件存储value的新的键值对的key值，生成存储文件的访问路径。
71.详细来说，存储文件中存储合并后的value，即小于等于预设大小的value数据。并由于组成存储文件的新的键值对的key值均相同，同时key值为一个域名，那么可以利用该域名组成访问路径提供给用户下载使用。
72.针对上述方法，可以通过延迟处理的方式，从源头上控制用户下载的文件的大小，有效解决了数据倾斜的问题，同时通过提前合并的操作，节省了删除小文件这一流程，大大提高了spark集群的性能。
73.示例性的，结合图3所示，本发明实施例示出了采用mapreduce来处理，map部分是根据当前周期内网络节点产生的多个日志文件，生成多个键值对，《key1，value1》，《key1，value2》，《key1，value3》，《key2，value4》，《key2，value5》，《key2，value6》，《key2，value7》，《key3，value8》，《key3，value9》，《key3，value10》，reduce部分是，将相同的key值的键值对，采用同一个reduce进行合并处理。
74.例如《key1，value1》，《key1，value2》，《key1，value3》采用一个reduce1进行处理，得到《key1，value1 value2 value3》。其中，value1 value2 value3的总大小，小于等于预设大小。
75.《key2，value4》，《key2，value5》，《key2，value6》，《key2，value7》采用一个reduce2进行合并处理，得到《key2，value4 value5 value6 value7》。其中，value4 value5 value6 value7的总大小，小于等于预设大小。
76.《key3，value8》，《key3，value9》，《key3，value10》采用reduce3进行合并处理，得到《key3，value8 value9 value10》。其中，value8 value9 value10的总大小，小于等于预设大小。当然，value8 value9大于预设大小时，那么reduce3处理的结果即为，《key3，value8 value9》，《key3，value10》。
77.这样基于mapreduce处理文件优化方法，通过加大数据维度，利用mapreduce的方式针对不同的文件大小，确定具体的数据条数或文件大小来确保每一个下载文件的大小不大于预设大小，从而有效解决数据倾斜的问题。
78.为了避免并行处理过程中个别的reduce处理的文件比较多，本发明针对根据当前周期内网络节点产生的多个日志文件，生成多个键值对，提供了以下方式，结合图4所示，包
括：
79.s400：根据当前周期内网络节点产生的多个日志文件，生成多个初始键值对；其中，每个初始键值对中的value为每个日志文件的日志数据；每个初始键值对中的key值为value中的日志文件的资源定位地址url中的域名；
80.s410：将目标键值对中的value的日志数据划分为不大于预设大小的日志子数据；并根据目标键值对中的key值，生成与日志子数据的个数相同的新的key值；根据多个日志子数据和新的key值，得到多个键值对；其中，目标键值对为value的大小超过预设大小的初始键值对。
81.对于该日志文件的大小不大于预设大小，则根据该日志文件的url，生成多个键值对。
82.步骤410和上述不大于预设大小的日志文件生成键值对的过程为：将一行日志数据作为一个value，将这行日志文件的域名作为一个key值，生成一个键值对，按照上述过程，将所有的日志文件均生成键值对，这些键值对的value为一行日志数据，key值为该行日志文件的域名。
83.示例性的，由于实际操作时，日志文件均为小文件，所以，本发明实施例还可以存在一种变型的实现方式。结合图5所示，包括：
84.s500：在当前周期开始后，将网络节点产生的每个日志文件作为一个value，将该value中的日志文件的域名作为key值，生成多个初始键值对；
85.具体来说，每个初始键值对中的value为每个日志文件的日志数据；每个初始键值对中的key值为value中的日志文件的资源定位地址url中的域名；
86.s510：将目标键值对中的value的日志数据划分为不大于预设大小的日志子数据；并根据目标键值对中的key值，生成与日志子数据的个数相同的新的key值；根据多个日志子数据和新的key值，得到多个键值对；其中，目标键值对为value的大小超过预设大小的初始键值对。
87.s520：在当前周期结束后，根据当前周期内产生的所有日志文件的大小，确定reduce个数；
88.s530：采用多个reduce并行处理的方式，将多个键值对按照预设大小进行合并处理，得到多个新的键值对；其中，同一个reduce处理的键值对的key值相同；其中，该键值对为将得到的多个键值对和除去目标键值对的初始键值对。
89.s540：为每个新的键值对创建一个存储文件，以存储该新的子键值对中的value的日志数据，并根据源于存储文件存储value的新的键值对的key值，生成存储文件的访问路径。
90.示例性的，当键值对中的value为一个日志文件的一行数据时，本发明实施例还可以存在一种变型的实现方式。结合图6所示，包括：
91.s600：在当前周期开始后，针对网络节点产生的每个日志文件，判断该日志文件的大小是否大于预设大小；
92.s610：若该日志文件的大小大于预设大小，则根据该日志文件的url的域名，生成多个新的域名，并将该日志文件划分为与新的域名相同数量的日志子文件，形成多个第一键值对；
93.s620：针对每个第一键值对，将该第一键值对的value的日志子文件的一行数据作为一个value，将该第一键值对的key值作为key值，生成多个键值对；
94.详细来说，当日志子文件包括多行数据，那么会生成多个具有相同key值的键值对。例如，日志子文件a，日志子文件包括5行数据，包括aa，ab，ac，ad，ae；那么形成的键值对为《key，aa》、《key，ab》、《key，ac》、《key，ad》、《key，ae》。
95.s630：若该日志文件的大小不大于预设大小，则将该日志文件的url的域名作为key值，将该日志文件作为value，形成一个第二键值对；
96.s640：将该第二键值对中的value的日志文件的一行数据作为一个value，将该第二键值对的key值作为key值，生成多个键值对；
97.与第一键值对生成多个键值对的过程相同，具体可以参考上述内容；
98.s650：在当前周期结束后，根据当前周期内产生的所有日志文件的大小，确定reduce个数；
99.s660：采用多个reduce并行处理的方式，将多个键值对按照预设大小进行合并处理，得到多个新的键值对；其中，同一个reduce处理的键值对的key值相同；
100.s670：为每个新的键值对创建一个存储文件，以存储该新的子键值对中的value的日志数据，并根据源于存储文件存储value的新的键值对的key值，生成存储文件的访问路径。
101.示例性的，当键值对中的value为一个日志文件的一行数据时，本发明实施例还可以存在另一种变型的实现方式。结合图7所示，包括：
102.s700：在当前周期开始后，将网络节点产生的每个日志文件作为一个value，将该value中的日志文件的域名作为key值，生成多个初始键值对；
103.具体来说，每个初始键值对中的value为每个日志文件的日志数据；每个初始键值对中的key值为value中的日志文件的资源定位地址url中的域名；
104.s710：将目标键值对中的value的日志数据划分为不大于预设大小的日志子数据；并根据目标键值对中的key值，生成与日志子数据的个数相同的新的key值；其中，目标键值对为value的大小超过预设大小的初始键值对。
105.s720：针对每个日志子数据，将该日志子数据的一行数据作为一个value，将该日志子数据配对的key值作为key值，生成多个键值对；
106.其中，生成的这些键值对的所有的value的数据组合成该日志子数据；
107.s730：针对多个初始键值对中除去目标键值对之外的每个剩余初始键值对，将该剩余初始键值对中的value的日志文件的一行数据作为一个value，将该剩余初始键值对的key值作为key值，形成多个键值对；其中，该生成的这些键值对的所有value的数据组合成该剩余初始键值对。
108.s740：在当前周期结束后，根据当前周期内产生的所有日志文件的大小，确定reduce个数；
109.s750：采用多个reduce并行处理的方式，将多个键值对按照预设大小进行合并处理，得到多个新的键值对；其中，同一个reduce处理的键值对的key值相同；
110.s760：为每个新的键值对创建一个存储文件，以存储该新的子键值对中的value的日志数据，并根据源于存储文件存储value的新的键值对的key值，生成存储文件的访问路
径。
111.由于日志文件过大的日志文件分化多个日志子文件时，改变了该日志子文件的key值，为了后续用户能够下载整个日志文件，可以在合并处理过程中或结束后将key值修改为原来的key值，具体来说：将包含新的key的键值对中的key值修改为目标键值对的key值。
112.例如，在日志文件的大小大于预设大小时，将该日志文件的key值加上随机数，在reduce阶段再去掉这个随机数，就变成了原来的key值，这样把大小比较大的日志文件分到不同的reduce进行处理，提高了处理效率。而且也不会影响用户下载的体验。
113.示例性的，对日志数据进行map处理，map输出：
114.key为/apps/cdn/download/2019-12-04/2019-12-04-12/00_00t59_59/域名；value为原始日志文件的一行数据。
115.这样同一域名的数据肯定会落在同一个reduce处理。
116.map输出后，将键值对进行reduce处理，reduce输出。
117.其中，使用map传入的key作为多目录输出的路径。
118.输入输出目录：
119.1、输入目录：
120.map输入小时目录，/apps/cdn/log/2019-12-04/2019-12-04-23/*/part*；
121.例如:/apps/cdn/log/2019-12-04/2019-12-04-23/*/part*；
122.2、输出目录：
123.reduce输出访问路径：
124.client_id不为1306的输出目录为：00_00t59_59，(需要在map阶段判断)；
125.例如：/apps/cdn/download/2019-12-04/2019-12-04-12/00_00t59_59/域名/。
126.client_id＝1306时$minute_00t％$(minute 4)_59例如00_00t04_59；
127.例如：/apps/cdn/download/2019-12-04/2019-12-04-12/00_00t04_59/域名/。
128.如图8所示，本发明还提供一种日志文件处理装置，应用于网络节点，包括：
129.生成模块800，用于在当前周期开始后，根据当前周期内网络节点产生的多个日志文件，生成多个键值对；其中，键值对中的value为日志文件中的日志数据；键值对中的key值为value中的日志文件的资源定位地址url中的域名；
130.合并模块810，用于在当前周期结束后，将多个键值对中的value的日志数据按照预设大小进行合并，得到多个新的键值对；其中，预设大小不小于键值对中的value的日志数据的大小；形成新的键值对的键值对的key值相同；
131.存储模块820，用于为每个新的键值对创建一个存储文件，以存储该新的子键值对中的value的日志数据，并根据源于存储文件存储value的新的键值对的key值，生成存储文件的访问路径。
132.可选的，所述合并模块810，具体用于：根据当前周期内网络节点产生的所有日志文件的大小，确定reduce的个数；
133.采用多个reduce并行处理，将多个键值对中的value的日志数据按照预设大小进行合并，得到多个新的键值对；其中，相同的key值的至少一个键值对的合并过程采用一个reduce进行处理。
134.可选的，所述生成模块800，具体用于：
135.根据当前周期内网络节点产生的多个日志文件，生成多个初始键值对；其中，每个初始键值对中的value为每个日志文件的日志数据；每个初始键值对中的key值为value中的日志文件的资源定位地址url中的域名；
136.将目标键值对中的value的日志数据划分为不大于预设大小的日志子数据；并根据目标键值对中的key值，生成与日志子数据的个数相同的新的key值；根据多个日志子数据和新的key值，得到多个键值对；其中，目标键值对为value的大小超过预设大小的初始键值对。
137.可选的，所述合并模块810，还用于：
138.将包含新的key的新的键值对中的key值修改为目标键值对中的key值。
139.可选的，其中，预设大小为预设日志条数或预设日志数据的大小。
140.可选的，其中，键值对中的value为日志文件中的一行日志数据。
141.另外，结合图1-图8描述的本发明实施例的室内雷达标定方法和装置可以由网络节点来实现。
142.网络节点包括：处理器和存储器；
143.处理器；
144.用于存储所述处理器可执行指令的存储器；
145.其中，所述处理器被配置为执行所述指令，以实现如上述实施例任一项所述的日志文件处理方法。
146.存储器可用于存储软件程序及数据。处理器通过运行存储在存储器的软件程序或数据，从而执行网络节点的各种功能以及数据处理。存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器存储有使得网络节点能运行的操作系统。本技术中存储器可以存储操作系统及各种应用程序，还可以存储执行本技术实施例所述方法的代码。
147.处理器是网络节点的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器内的软件程序，以及调用存储在存储器内的数据，执行网络节点的各种功能和处理数据。在一些实施例中，处理器可包括一个或多个处理单元；处理器还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器中。本技术中处理器可以运行操作系统、应用程序、用户界面显示及触控响应，以及本技术实施例所述的处理方法。
148.另外，结合上述实施例中的网络节点，本发明实施例可提供一种存储介质，当所述存储介质中的指令由网络节点的处理器执行时，使得所述网络节点能够执行如上述任一项所述的日志文件处理方法。
149.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
150.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围
之内，则本发明也意图包含这些改动和变型在内。