一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

日志掩码方法及装置与流程

2021-10-29 22:23:00 来源:中国专利 TAG:掩码 装置 方法 信息 日志


1.本发明涉及信息技术领域,尤其涉及一种日志掩码方法及装置。


背景技术:

2.随着互联网应用的崛起,给人们带来了前所未有的便捷,但衍生而来的则是数据安全问题。日志、数据库等已经成为数据敏感安全的重灾区。目前,日志脱敏的解决方案,包括但不限于加密、掩码等。通过掩码的方式对日志进行脱敏,具有速度快、数据安全的优点。
3.相关技术中,对于待脱敏的日志,可以先确定待脱敏的日志中敏感字段的字段类型,再根据敏感字段的字段类型对敏感字段进行脱敏,得到脱敏后的信息。最后,可以对脱敏后信息进行输出得到脱敏后的日志。
4.然而,现有的日志脱敏方法,一般是通过正则表达式、克努特莫里斯普拉特操作(the knuth

morris

pratt algorithm,kmp)算法或摩尔(boyer

moore,bmbm)算法等唯一算法进行日志查找,而各种算法的耗时呈不可控性,从而导致掩码速度较慢。


技术实现要素:

5.本技术实施例提供一种日志掩码方法及装置,以解决现有技术中掩码速度较慢的问题。
6.第一方面,本技术实施例提供一种日志掩码方法,所述方法包括:
7.接收第一日志的掩码请求;
8.确定所述第一日志中存在的目标字符;
9.使用所述目标字符对应的规则组,搜索所述第一日志中的敏感词;
10.对所述第一日志中的敏感词进行掩码。
11.一种可选的实施方式中,在所述确定所述第一日志中存在的目标字符之前,所述方法还包括:
12.获取日志掩码的运行时配置文件;
13.使用所述日志掩码的运行时配置文件,对所述第一日志进行噪音过滤,去除所述第一日志中包内打印的日志片段。
14.一种可选的实施方式中,在所述去除所述第一日志中包内打印的日志片段之后,所述方法还包括:
15.获取所述第一日志的元数据;
16.根据所述第一日志的元数据,确定所述第一日志在历史处理中是否检测出敏感词;
17.若所述第一日志在历史处理中未检测出敏感词,则停止对所述第一日志进行敏感词掩码处理。
18.一种可选的实施方式中,所述确定所述第一日志中存在的目标字符,包括:
19.若所述第一日志在历史处理中检测出敏感词或所述第一日志未进行过敏感词检
测,则确定所述第一日志中存在的目标字符。
20.一种可选的实施方式中,所述确定所述第一日志中存在的至少一个目标字符,包括:
21.在所述第一日志中依次检测规则组对应的预设字符,确定所述第一日志中存在的至少一个目标字符。
22.一种可选的实施方式中,所述使用所述目标字符对应的规则组,搜索所述第一日志中的敏感词,包括:
23.确定所述目标字符对应的规则组的自适应算法;
24.使用目标自适应算法处理所述第一日志,确定所述第一日志中的敏感词。
25.一种可选的实施方式中,所述第一日志的运行时配置文件中包括第一配置参数,所述第一配置参数用于指示检测所述第一日志的首个敏感词检测或对所述第一日志进行全文检测;
26.所述确定所述目标字符对应的规则组的自适应算法,包括:
27.根据所述第一配置参数,确定所述目标字符对应的规则组的自适应算法。
28.一种可选的实施方式中,所述第一日志的运行时配置文件中包括第二配置参数,所述第二配置参数用于指示所述第一日志中的敏感词的打印方式;
29.所述使用目标自适应算法处理所述第一日志,确定所述第一日志中的敏感词,包括:
30.根据所述第二配置参数,使用所述目标自适应算法处理所述第一日志,确定所述第一日志中的敏感词。
31.一种可选的实施方式中,所述第一日志的运行时配置文件中包括第三配置参数,所述第三配置参数用于指示所述第一日志中的敏感词的掩码模式;
32.所述对所述第一日志中的敏感词进行掩码,包括:
33.根据第三配置参数,对所述第一日志中的敏感词进行掩码。
34.一种可选的实施方式中,在所述接收第一日志的掩码请求之前,所述方法还包括:
35.接收日志掩码的配置文件;
36.使用所述日志掩码的配置文件,对日志掩码的运行时配置文件进行更新。
37.一种可选的实施方式中,所述使用所述日志掩码的配置文件,对日志掩码的运行时配置文件进行更新,包括:
38.根据所述日志掩码的配置文件中的统一资源访问符,确定所述日志掩码的配置文件对应的配置解析器;
39.使用所述日志掩码的配置文件对应的配置解析器,将所述日志掩码的配置文件转换为静态配置文件;
40.使用统一访问类型,将所述静态配置文件转换为更新后的运行时配置文件。
41.第二方面,本技术实施例提供一种日志掩码装置,所述装置包括:
42.接收模块,用于接收第一日志的掩码请求;
43.处理模块,用于确定所述第一日志中存在的目标字符;使用所述目标字符对应的规则组,搜索所述第一日志中的敏感词;对所述第一日志中的敏感词进行掩码。
44.一种可选的实施方式中,所述处理模块,还用于获取日志掩码的运行时配置文件;
使用所述日志掩码的运行时配置文件,对所述第一日志进行噪音过滤,去除所述第一日志中包内打印的日志片段。
45.一种可选的实施方式中,所述处理模块,还用于获取所述第一日志的元数据;根据所述第一日志的元数据,确定所述第一日志在历史处理中是否检测出敏感词;若所述第一日志在历史处理中未检测出敏感词,则停止对所述第一日志进行敏感词掩码处理。
46.一种可选的实施方式中,所述处理模块,具体用于若所述第一日志在历史处理中检测出敏感词或所述第一日志未进行过敏感词检测,则确定所述第一日志中存在的目标字符。
47.一种可选的实施方式中,所述处理模块,具体用于在所述第一日志中依次检测规则组对应的预设字符,确定所述第一日志中存在的至少一个目标字符。
48.一种可选的实施方式中,所述处理模块,具体用于确定所述目标字符对应的规则组的自适应算法;使用目标自适应算法处理所述第一日志,确定所述第一日志中的敏感词。
49.一种可选的实施方式中,所述第一日志的运行时配置文件中包括第一配置参数,所述第一配置参数用于指示检测所述第一日志的首个敏感词检测或对所述第一日志进行全文检测;
50.所述处理模块,具体用于根据所述第一配置参数,确定所述目标字符对应的规则组的自适应算法。
51.一种可选的实施方式中,所述第一日志的运行时配置文件中包括第二配置参数,所述第二配置参数用于指示所述第一日志中的敏感词的打印方式;
52.所述处理模块,具体用于根据所述第二配置参数,使用所述目标自适应算法处理所述第一日志,确定所述第一日志中的敏感词。
53.一种可选的实施方式中,所述第一日志的运行时配置文件中包括第三配置参数,所述第三配置参数用于指示所述第一日志中的敏感词的掩码模式;
54.所述处理模块,具体用于根据第三配置参数,对所述第一日志中的敏感词进行掩码。
55.一种可选的实施方式中,在所述接收第一日志的掩码请求之前,所述接收模块,还用于接收日志掩码的配置文件;
56.所述处理模块,还用于使用所述日志掩码的配置文件,对日志掩码的运行时配置文件进行更新。
57.一种可选的实施方式中,所述处理模块,具体用于根据所述日志掩码的配置文件中的统一资源访问符,确定所述日志掩码的配置文件对应的配置解析器;使用所述日志掩码的配置文件对应的配置解析器,将所述日志掩码的配置文件转换为静态配置文件;使用统一访问类型,将所述静态配置文件转换为更新后的运行时配置文件。
58.第三方面,本技术还提供一种电子设备,包括:处理器,以及存储器;
59.所述存储器用于存储所述处理器的计算机程序;所述处理器被配置为通过执行所述计算机程序来实现第一方面中任意一种可能的方法。
60.第四方面,本技术还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面任意一项所述的方法。
61.第五方面,本发明还提供一种存储有计算机指令的非瞬时计算机可读存储介质,
其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面中任意一种可能的方法。
62.本技术实施例提供的日志掩码方法及装置,首先接收第一日志的掩码请求,确定第一日志中存在的目标字符。随后,使用目标字符对应的规则组,搜索第一日志中的敏感词。最后,对第一日志中的敏感词进行掩码。通过该方式,由于预先划分不同的规则组,后续在针对不同的日志时,可以灵活选择合适的规则组,从而采用规则组对应的算法进行日志掩码,从而提高了掩码速度。
附图说明
63.为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
64.图1为本技术实施例提供的一种日志掩码方法的应用场景示意图;
65.图2为本技术实施例提供的一种日志掩码方法的流程示意图;
66.图3为本技术实施例提供的另一种日志掩码方法的流程示意图;
67.图4为本技术实施例提供的再一种日志掩码方法的流程示意图;
68.图5为本技术实施例提供的一种日志掩码装置的结构示意图;
69.图6为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
70.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
71.随着互联网应用的崛起,给人们带来了前所未有的便捷,但衍生而来的则是数据安全问题。日志、数据库等已经成为数据敏感安全的重灾区。目前,日志脱敏的解决方案,包括但不限于加密、掩码等。通过加密的方式对日志进行脱敏,总体而言是弊大于利。首先,数据依然可以通过解密被还原,没有彻底解决数据安全问题。其次,加密过程比较耗时,在某些应用中可能会成为系统性能的瓶颈与错误导火索。最后,日志打印敏感信息,大多是为了定位生产问题,而加密后,日志不再具有确定性,增加了运维成本。
72.相比于通过加密的方式对日志进行脱敏,通过掩码的方式对日志进行脱敏,具有速度快、数据安全的优点。虽然掩码后的敏感信息依然具有不确定性,但是这种降级方案,可接受程度更高。
73.下面对于现有的几种通过掩码的方式对日志进行脱敏的方式进行介绍。
74.在第一种方式中,日志不再打印到本机,而是通过其他媒介(消息队列、超文本传输协议(hypertext transfer protocol,http)接口等))发送到某一独立服务中,由该服务基于标点符号,对待脱敏日志进行拆分,得到多个参数集合。随后,将多个参数集合输入至脱敏链条,基于脱敏链条,对多个参数集合进行脱敏处理。最后,接收脱敏链条输出的脱敏
后的多个参数集合,将脱敏后的多个参数集合进行组合,得到脱敏结果。
75.在第二种方式中,可以先确定待脱敏的日志中敏感字段的字段类型,再根据敏感字段的字段类型对敏感字段进行脱敏,得到脱敏后的信息。最后,可以对脱敏后信息进行输出得到脱敏后的日志。
76.在第三种方式中,在输入日志信息后,可以将输入的日志信息进行拦截,在拦截层根据脱敏规则(例如,正则表达式)对日志信息进行脱敏操作,最后将经过脱敏的日志信息写入日志文件。
77.在第四种方式中,可以重写日志打印的方式,或重写日志生成的方法。
78.然而,上述现有的日志脱敏方法均具备相关缺陷。
79.针对第一种方式,其不具有热插拔性,当需要修改配置时需要重新应用。
80.针对第二种方式,一般是通过正则表达式、克努特莫里斯普拉特操作(the knuth

morris

pratt algorithm,kmp)算法或摩尔(boyer

moore,bmbm)算法等唯一算法进行日志查找,而各种算法的耗时呈不可控性,从而导致掩码速度较慢。
81.针对第三种方式,其配置灵活度低,用户对于既有掩码方案的控制度或交互度很低,只能去配合既有掩码方案的要求。
82.针对第四种方式,其扩展性差,由于业界对于某些标准格式不一致,在版本切换时,会导致所有掩码失效,并且改动是的工作量高。
83.为解决上述问题,本技术实施例提供一种日志掩码方法,预先划分不同的规则组,后续在针对不同的日志时,确定对应的规则组,从而采用规则组对应的算法进行日志掩码,从而提高了掩码速度。
84.下面对于本技术涉及的日志掩码方法的应用场景进行说明。
85.图1为本技术实施例提供的一种日志掩码方法的应用场景示意图。如图1所示,当终端设备101中的某个应用的日志需要进行掩码时,终端设备101可以向服务器102发送掩码请求,该掩码请求中包含有待掩码的日志。服务器102在接收到待掩码的日志后,可以对待掩码的日志中的敏感信息进行掩码,生成掩码后的日志,并将掩码后的日志发送给服务器101。
86.其中,终端设备101可以为手机(mobile phone)、平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtual reality,vr)终端设备、增强现实(augmented reality,ar)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、智慧家庭(smart home)中的无线终端等。本技术实施例中,用于实现终端的功能的装置可以是终端,也可以是能够支持终端实现该功能的装置,例如芯片系统,该装置可以被安装在终端中。本技术实施例中,芯片系统可以由芯片构成,也可以包括芯片和其他分立器件。
87.服务器102可以是但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云。其中,云计算是分布式计算的一种,由一群松散耦合的计算机组成的一个超级虚拟计算机。
88.应理解,本技术技术方案的应用场景可以是图1中的日志掩码场景,但不限于此,还可以应用于其他需要进行日志掩码的场景中。
89.可以理解,上述日志掩码方法可以通过本技术实施例提供的日志掩码装置实现,日志掩码装置可以是某个设备的部分或全部,例如为服务器或服务器的芯片。
90.下面以集成或安装有相关执行代码的服务器为例,以具体地实施例对本技术实施例的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
91.图2为本技术实施例提供的一种日志掩码方法的流程示意图,本实施例涉及的是如何在第一数据库进行更新时对第二数据库进行同步更新的过程。如图2所示,该方法包括:
92.s201、接收第一日志的掩码请求。
93.在本技术中,当需要对应用的第一日志进行掩码时,可以向服务器的内核空间发送第一日志的掩码请求,以便服务器的内核空间对第一日志进行掩码处理。
94.其中,对日志进行掩码,可以理解为对日志中的敏感词中的某位或某几位进行屏蔽。示例性的,若日志中存在敏感词“张三”,则可以使用“*”替换敏感词中的某位或某几位,从而展示位“张*”。
95.应理解,本技术实施例对于第一日志中需要掩码的敏感词不做限制,可以根据具体情况合理设置。示例性的,敏感词可以为姓名、地址、电话号码、证件号等。
96.需要说明的是,本技术实施例中,可以由终端设备向服务器发送第一日志的掩码请求,也可以由服务器的日志管理器向服务器的内核空间发送第一日志的掩码请求,本技术实施例对此不做限制。
97.可选的,服务器在接收第一日志的掩码请求前,还可以生成或更新日志掩码的运行时配置文件。在一些实施例中,服务器可以接收日志掩码的配置文件。随后,使用日志掩码的配置文件,对日志掩码的运行时配置文件进行更新。
98.需要说明的是,本技术实施例对于服务器如何对日志掩码的运行时配置文件进行更新不做限制。示例性的,服务器可以先根据日志掩码的配置文件中的统一资源访问符,确定日志掩码的配置文件对应的配置解析器。随后,服务器使用日志掩码的配置文件对应的配置解析器,将日志掩码的配置文件转换为静态配置文件。最后,服务器使用统一访问类型,将静态配置文件转换为更新后的运行时配置文件。
99.s202、确定第一日志中存在的目标字符。
100.在本步骤中,当服务器接收第一日志的掩码请求后,可以确定第一日志中存在的目标字符。
101.本技术实施例对于服务器如何确定第一日志中存在的目标字符不做限制。在一些实施例中,服务器可以在第一日志中依次检测规则组对应的预设字符,确定第一日志中存在的至少一个目标字符。
102.其中,规则组可以理解为相同类型的日志片段所采用的搜索规则的集合。应理解,本技术实施例对于规则组对应的预设字符不做限制,其可以用于区别日志片段所属的类型。示例性的,规则组对应的预设字符可以为姓名(name)、地址(address)等。示例性的,username、custname、idname可以换分为name规则组。若第一日志中存在name字符,则确定name字符为目标字符。
103.需要说明的是,在本技术实施例中,第一日志中可以存在一个目标字符,也可以存
在多个目标字符,还可以不存在目标字符,本技术实施例对此不做限制。
104.可选的,服务器在确定第一日志中存在的目标字符前,还可以获取日志掩码的运行时配置文件,并使用日志掩码的运行时配置文件,对第一日志进行噪音过滤,去除第一日志中包内打印的日志片段。
105.示例性的,针对外部任何需要日志掩码的入口,服务器均可以通过请求统一访问类型(统一profile),来获取到最新的日志掩码的运行时配置文件(runtime)。当获取到日志掩码的运行时配置文件后,服务器可以将待掩码的第一日志交付给日志掩码的运行时配置文件。在内核空间中,会首先对第一日志进行噪音过滤,噪音过滤是过滤日志掩码的运行时配置文件中配置的噪音包名,其所处包内打印的日志,均会被过滤器拦截,不做掩码,以提升速度。
106.可选的,在噪音过滤后,服务器还可以获取第一日志的元数据;根据第一日志的元数据,确定第一日志在历史处理中是否检测出敏感词;若第一日志在历史处理中未检测出敏感词,则停止对第一日志进行敏感词掩码处理。若第一日志在历史处理中检测出敏感词或第一日志未进行过敏感词检测,则确定第一日志中存在的目标字符。
107.示例性的,当满足噪音过滤后,服务器的内核空间会再启动时序逻辑(时序过滤),即根据第一日志的元数据,判断在过往的第一日志打印中,是否检查出有敏感信息,如果没有,则不作掩码,以提升速度。当第一日志从未被处理过,或者第一日志中曾经检测出敏感信息过,则进入规则处理器中,确定第一日志中存在的目标字符。
108.在本技术中,当某个包被配置在噪音过滤范围内,则该包内打印的所有日志,均不会被掩码处理。由于第三方包通常提供基础功能,并不参与业务逻辑,对第三方包进行噪音过滤可以大大加快日志掩码速度。
109.s203、使用目标字符对应的规则组,搜索第一日志中的敏感词。
110.在本步骤中,当服务器确定第一日志中存在的目标字符后,可以使用目标字符对应的规则组,搜索第一日志中的敏感词。
111.在一些实施例中,若第一日志存在一个目标字符,则可以使用该目标字符对应的规则组,搜索第一日志中的敏感词;若第一日志存在多个目标字符,则可以遍历多个目标字符对应的规则组,搜索第一日志中的敏感词。
112.示例性的,若第一日志中存在目标字符name,则可以使用name对应的规则组,搜索第一日志中的敏感词;若不存在目标字符name,则第一日志中必然不存在username、custname、idname相关的敏感词。
113.本技术实施例对于如何使用目标字符对应的规则组,搜索第一日志中的敏感词不做限制。在一些实施例中,服务器可以先确定目标字符对应的规则组的自适应算法,再使用目标自适应算法处理第一日志,确定第一日志中的敏感词。
114.应理解,本技术实施例中的自适应算法可以预先设定,也可以用户自定义,本技术实施例对此不做限制。使用自适应算法在第一日志中搜索敏感信息,支持json/tostring等标准格式。
115.需要说明的是,本技术实施例对于如何确定目标字符对应的规则组的自适应算法不做限制。在一些实施例中,第一日志的运行时配置文件中包括第一配置参数,第一配置参数用于指示检测第一日志的首个敏感词检测或对第一日志进行全文检测。相应的,服务器
可以根据第一配置参数,确定目标字符对应的规则组的自适应算法。
116.示例性的,第一配置参数可以为feature特性参数,其是配置文件中的一个配置加速项,在一般报文中,某一敏感词仅打印一次,很少有一段报文中重复出现某一敏感词的场景,因此抽象出feature概念。相应的,feature特性参数可以有单个(single)和多个(multi)两个选择。当feature特性参数配置为single时,可以选择只搜索首个匹配的敏感词的自适应算法;当feature特性参数配置为multi时,可以选择进行全文本搜索敏感词的自适应算法。
117.在本技术实施例中,通过将feature特性参数设置为single会显著加速该字段的搜索速度。
118.需要说明的是,本技术实施例对于如何使用目标自适应算法处理第一日志,确定第一日志中的敏感词也不做限制。在一些实施例中,第一日志的运行时配置文件中包括第二配置参数,第二配置参数用于指示第一日志中的敏感词的打印方式。相应的,服务器根据第二配置参数,使用目标自适应算法处理第一日志,确定第一日志中的敏感词。
119.示例性的,第二配置参数可以为形式(form)特性参数,其用于在配置文件中指定某一敏感词的打印格式。例如,username在应用中只会打印json,那么form、特性参数配置为json,可以节省其他日志格式的不必要查询耗时。而如果username在日志的打印方式很多,则可以使用默认值,自适应算法则会将所有支持的类型均匹配一遍,做一个兜底。
120.本技术中,通过目标字符选择最优的自适应算法进行敏感词匹配查找,可以加快日志掩码的速度。同时,配置中仍然允许用户为某敏感词配置特定的算法,并不会与自定义算法冲突。
121.s204、对第一日志中的敏感词进行掩码。
122.在本步骤中,当服务器使用目标字符对应的规则组,搜索第一日志中的敏感词后,可以对第一日志中的敏感词进行掩码。
123.需要说明的是,本技术实施例对于如何对第一日志中的敏感词进行掩码不做限制,在一些实施例中,第一日志的运行时配置文件中包括第三配置参数,第三配置参数用于指示第一日志中的敏感词的掩码模式。相应的,服务器可以根据第三配置参数,对第一日志中的敏感词进行掩码。
124.示例性的,第二配置参数可以为模式(mode)特性参数,用于指示执行掩码的模式。例如:手机号一般只保留前三后四,其他用“*”掩码,而人名则只保留最后一位,其他用“*”掩码。通过指定mode特性参数,可以定制化配置某一敏感信息的掩码模式。
125.本技术实施例提供的日志掩码方法,首先接收第一日志的掩码请求,确定第一日志中存在的目标字符。随后,使用目标字符对应的规则组,搜索第一日志中的敏感词。最后,对第一日志中的敏感词进行掩码。通过该方式,由于预先划分不同的规则组,后续在针对不同的日志时,可以灵活选择合适的规则组,从而采用规则组对应的算法进行日志掩码,从而提高了掩码速度。
126.在上述实施例的基础上,下面对服务器在日志掩码前的静态配置过程进行说明。图3为本技术实施例提供的另一种日志掩码方法的流程示意图,如图3示,该方法包括:
127.s301、接收日志掩码的配置文件。
128.在一些实施例中,日志掩码的配置文件通过注册,可以将日志掩码的配置文件的
统一资源访问符(uniform resource identifier,uri)登记到服务器的内核空间中,后续的,服务器可以通过该统一资源访问符可以获取到合法的日志掩码的配置文件。
129.s302、使用日志掩码的配置文件,对日志掩码的运行时配置文件进行更新。
130.在本步骤中,服务器在接收日志掩码的配置文件后,可以使用日志掩码的配置文件,对日志掩码的运行时配置文件进行更新。
131.本技术实施例对于如何对日志掩码的运行时配置文件进行更新不做限制,在一些实施例中,服务器可以根据日志掩码的配置文件中的统一资源访问符,确定日志掩码的配置文件对应的配置解析器。随后,使用日志掩码的配置文件对应的配置解析器,将日志掩码的配置文件转换为静态配置文件。最后,服务器使用统一访问类型,将静态配置文件转换为更新后的运行时配置文件。
132.示例性的,服务器的媒介连接器(connector)根据注册的统一资源访问符,选择对应的配置解析器(例如可扩展标记语音(extensible markup language,xml)配置文件则会选取xml配置解析器),通过配置解析器的解析,日志掩码的配置文件可以转换为静态配置(source),并保存到统一访问类型(profile)中,统一访问类型会异步将静态配置(source)转换为运行时配置(runtime),进而替换掉目前正在使用的运行时配置,完成安全的热加载。
133.其中,配置文件的类型可以包括xml、数据序列化(yanl)、对象简谱((javascript object notation,json)、性能(properyy)语音等。
134.在本技术中,日志掩码的配置文件的注册是一个双向的过程,媒介连接器会在接收到注册后,反向监听日志掩码的配置文件。当日志掩码的配置文件变更时,可以感知到掩码策略变化,则将更新后的日志掩码的配置文件解析为静态配置,刷新到统一访问类型中,并最终转换为运行时配置。
135.在本技术中,通过上述对日志掩码的运行时配置文件进行更新的过程,可以实现可插拔。当配置文件变更时,服务器的内核空间会刷新,以应用最新的配置信息,而无需项目重启。
136.s303、接收第一日志的掩码请求。
137.s304、确定第一日志中存在的目标字符。
138.s305、使用目标字符对应的规则组,搜索第一日志中的敏感词。
139.s306、对第一日志中的敏感词进行掩码。
140.s303

s306的技术名词、技术效果、技术特征,以及可选实施方式,可参照图2示的s201

s204理解,对于重复的内容,在此不再累述。
141.在上述实施例的基础上,下面对服务器进行日志掩码的完整过程进行说明。图4为本技术实施例提供的再一种日志掩码方法的流程示意图,如图4示,该方法包括:
142.s401、接收第一日志的掩码请求。
143.s402、获取日志掩码的运行时配置文件。
144.s403、使用日志掩码的运行时配置文件,对第一日志进行噪音过滤,去除第一日志中包内打印的日志片段。
145.s404、获取第一日志的元数据。
146.s405、根据第一日志的元数据,确定第一日志在历史处理中是否检测出敏感词。
147.若是,则执行步骤s407;若否,则执行步骤s406。
148.s406、停止对第一日志进行敏感词掩码处理。
149.s407、在第一日志中依次检测规则组对应的预设字符,确定第一日志中存在的至少一个目标字符。
150.s408、确定目标字符对应的规则组的自适应算法。
151.s409、使用目标自适应算法处理第一日志,确定第一日志中的敏感词。
152.本技术实施例提供的日志掩码方法,首先接收第一日志的掩码请求,确定第一日志中存在的目标字符。随后,使用目标字符对应的规则组,搜索第一日志中的敏感词。最后,对第一日志中的敏感词进行掩码。通过该方式,由于预先划分不同的规则组,后续在针对不同的日志时,可以灵活选择合适的规则组,从而采用规则组对应的算法进行日志掩码,从而提高了掩码速度。
153.本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
154.图5为本技术实施例提供的一种日志掩码装置的结构示意图。该日志掩码装置可以通过软件、硬件或者两者的结合实现,可例如上述实施例中的服务器或服务器的芯片,以执行上述实施例中的日志掩码方法。如图5,该日志掩码装置500包括:
155.接收模块501,用于接收第一日志的掩码请求;
156.处理模块502,用于确定第一日志中存在的目标字符;使用目标字符对应的规则组,搜索第一日志中的敏感词;对第一日志中的敏感词进行掩码。
157.一种可选的实施方式中,处理模块502,还用于获取日志掩码的运行时配置文件;使用日志掩码的运行时配置文件,对第一日志进行噪音过滤,去除第一日志中包内打印的日志片段。
158.一种可选的实施方式中,处理模块502,还用于获取第一日志的元数据;根据第一日志的元数据,确定第一日志在历史处理中是否检测出敏感词;若第一日志在历史处理中未检测出敏感词,则停止对第一日志进行敏感词掩码处理。
159.一种可选的实施方式中,处理模块502,具体用于若第一日志在历史处理中检测出敏感词或第一日志未进行过敏感词检测,则确定第一日志中存在的目标字符。
160.一种可选的实施方式中,处理模块502,具体用于在第一日志中依次检测规则组对应的预设字符,确定第一日志中存在的至少一个目标字符。
161.一种可选的实施方式中,处理模块502,具体用于确定目标字符对应的规则组的自适应算法;使用目标自适应算法处理第一日志,确定第一日志中的敏感词。
162.一种可选的实施方式中,第一日志的运行时配置文件中包括第一配置参数,第一配置参数用于指示检测第一日志的首个敏感词检测或对第一日志进行全文检测;
163.处理模块502,具体用于根据第一配置参数,确定目标字符对应的规则组的自适应算法。
164.一种可选的实施方式中,第一日志的运行时配置文件中包括第二配置参数,第二配置参数用于指示第一日志中的敏感词的打印方式;
165.处理模块502,具体用于根据第二配置参数,使用目标自适应算法处理第一日志,确定第一日志中的敏感词。
166.一种可选的实施方式中,第一日志的运行时配置文件中包括第三配置参数,第三配置参数用于指示第一日志中的敏感词的掩码模式;
167.处理模块502,具体用于根据第三配置参数,对第一日志中的敏感词进行掩码。
168.一种可选的实施方式中,在接收第一日志的掩码请求之前,接收模块501,还用于接收日志掩码的配置文件;
169.处理模块502,还用于使用日志掩码的配置文件,对日志掩码的运行时配置文件进行更新。
170.一种可选的实施方式中,处理模块502,具体用于根据日志掩码的配置文件中的统一资源访问符,确定日志掩码的配置文件对应的配置解析器;使用日志掩码的配置文件对应的配置解析器,将日志掩码的配置文件转换为静态配置文件;使用统一访问类型,将静态配置文件转换为更新后的运行时配置文件。
171.需要说明的,图5示实施例提供的日志掩码装置,可用于执行上述任意实施例所提供的方法,具体实现方式和技术效果类似,这里不再进行赘述。
172.图6为本技术实施例提供的一种电子设备的结构示意图。如图6示,该电子设备可以包括:至少一个处理器601和存储器602。图6的是以一个处理器为例的电子设备,例如物流管理服务器、库存管理服务器或应用服务器。
173.存储器602,用于存放程序。具体地,程序可以包括程序代码,程序代码包括计算机操作指令。
174.存储器602可能包含高速ram存储器,也可能还包括非易失性存储器(non

volatile memory),例如至少一个磁盘存储器。
175.处理器601用于执行存储器602存储的计算机执行指令,以实现上述日志掩码方法;
176.其中,处理器601可能是一个中央处理器(central processing unit,简称为cpu),或者是特定集成电路(application specific integrated circuit,简称为asic),或者是被配置成实施本技术实施例的一个或多个集成电路。
177.可选的,在具体实现上,如果通信接口、存储器602和处理器601独立实现,则通信接口、存储器602和处理器601可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(industry standard architecture,简称为isa)总线、外部设备互连(peripheral component,简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture,简称为eisa)总线等。总线可以分为地址总线、数据总线、控制总线等,但并不表示仅有一根总线或一种类型的总线。
178.可选的,在具体实现上,如果通信接口、存储器602和处理器601集成在一块芯片上实现,则通信接口、存储器602和处理器601可以通过内部接口完成通信。
179.本技术实施例还提供了一种芯片,包括处理器和接口。其中接口用于输入输出处理器所处理的数据或指令。处理器用于执行以上方法实施例中提供的方法。该芯片可以应用于日志掩码装置中。
180.本技术还提供了一种计算机可读存储介质,该计算机可读存储介质可以包括:u
盘、移动硬盘、只读存储器(rom,read

only memory)、随机存取存储器(ram,random access memory)、磁盘或者光盘等各种可以存储程序代码的介质,具体的,该计算机可读存储介质中存储有程序信息,程序信息用于上述日志掩码方法。
181.本技术实施例还提供一种程序,该程序在被处理器执行时用于执行以上方法实施例提供的日志掩码方法。
182.本技术实施例还提供一种程序产品,例如计算机可读存储介质,该程序产品中存储有指令,当其在计算机上运行时,使得计算机执行上述方法实施例提供的日志掩码方法。
183.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
184.最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献

  • 日榜
  • 周榜
  • 月榜