一种公共数据自动脱敏方法及装置与流程
本技术涉及数据安全,具体而言,涉及一种公共数据自动脱敏方法及装置。
背景技术:
1、随着公共数据共享、授权运营及开发利用场景的增加,需要对数据中的身份标识、联系方式、支付账户等敏感信息进行脱敏处理。现有敏感字段识别方式通常依赖字段名匹配或人工配置,面对关系型表、嵌套对象、数组列表等异构数据结构时,难以统一确定字段路径;仅依据字段名进行识别还容易出现误识别或遗漏。
2、此外,现有脱敏处理通常设置在数据库查询响应或数据输出环节,与数据处理流程相互独立。在数据经过读取、转换、聚合和写入等多个处理节点时,中间节点仍可能接触或记录明文敏感数据,且敏感字段识别结果难以自动转换为数据处理流程中的可执行脱敏配置。因此,如何准确识别异构数据中的敏感字段,并将脱敏处理嵌入数据处理流程,成为需要解决的技术问题。
技术实现思路
1、本技术实施例至少提供一种公共数据自动脱敏方法及装置。
2、第一方面,本技术实施例提供了一种公共数据自动脱敏方法,包括:
3、获取待脱敏数据集及其关联的数据处理流程,所述数据处理流程包括数据读取节点和位于所述数据读取节点之后的数据加工节点;
4、对所述待脱敏数据集进行递归遍历,确定并记录所述待脱敏数据集中各标量值所属字段的标准化字段路径;
5、根据各标准化字段路径中的字段名进行敏感字段匹配,确定候选敏感字段路径及其候选敏感类型,并根据所述候选敏感字段路径对应的字段值对匹配结果进行验证,确定敏感字段路径及其敏感类型;
6、根据确定的敏感字段路径及其敏感类型,获取各敏感字段路径对应的脱敏处理配置;
7、根据各敏感字段路径及其对应的脱敏处理配置生成脱敏处理节点,并将所述脱敏处理节点插入所述数据读取节点与所述数据加工节点之间;
8、发布插入所述脱敏处理节点后的数据处理流程;
9、执行发布后的数据处理流程,使所述脱敏处理节点按照各敏感字段路径及其对应的脱敏处理配置,对所述数据读取节点读取的数据记录中的相应字段值进行脱敏处理,并将处理后的数据记录传递至所述数据加工节点。
10、一种可选的实施方式中,所述待脱敏数据集包括标量类型、对象类型、数组或列表类型以及表类型的数据节点;
11、所述对待脱敏数据集进行递归遍历,包括:
12、在当前数据节点为对象类型、数组或列表类型或者表类型时,对所述当前数据节点包含的下一级数据节点进行递归遍历;
13、在当前数据节点为标量类型时,记录递归遍历过程中经过的字段名和/或数组索引,并按照层级顺序组合所述字段名和/或数组索引,生成所述当前数据节点所属字段的标准化字段路径。
14、一种可选的实施方式中,所述根据各标准化字段路径中的字段名进行敏感字段匹配,并根据字段值对匹配结果进行验证,包括:
15、获取按照敏感类型分组的敏感字段名规则库,每一敏感类型对应至少一个字段名匹配规则;
16、将各标准化字段路径中的字段名分别与所述字段名匹配规则进行匹配,将匹配成功的标准化字段路径确定为候选敏感字段路径,并将匹配成功的字段名匹配规则所属的敏感类型确定为相应的候选敏感类型;
17、从所述待脱敏数据集中采样读取所述候选敏感字段路径对应的多个字段值,按照所述候选敏感类型对应的值级校验规则,分别对采样读取的多个字段值进行值级特征验证;
18、确定通过所述值级特征验证的字段值在采样读取的多个字段值中所占的比例,并在所述比例达到预设置信度阈值时,将所述候选敏感字段路径确定为敏感字段路径,并将所述候选敏感类型确定为所述敏感字段路径的敏感类型。
19、一种可选的实施方式中,还包括:
20、获取针对所述标准化字段路径设置的人工敏感配置,所述人工敏感配置包括敏感判定结果和/或敏感类型;
21、当所述标准化字段路径命中所述人工敏感配置时,根据所述人工敏感配置修正所述标准化字段路径的敏感判定结果和/或敏感类型。
22、一种可选的实施方式中,所述脱敏处理方式包括遮盖处理、泛化处理、加密处理和哈希处理中的至少一种;
23、所述脱敏处理配置包括相应脱敏处理方式的处理参数,所述处理参数包括前缀保留位数、后缀保留位数、掩码字符、泛化粒度、加密参数和哈希参数中的至少一种。
24、一种可选的实施方式中,在发布插入所述脱敏处理节点后的数据处理流程之前,还包括:
25、验证所述敏感字段路径是否存在于所述脱敏处理节点的输入数据结构中,以及所述敏感字段路径对应的字段类型是否与相应的脱敏处理方式兼容;
26、验证所述脱敏处理配置中的处理参数是否完整且合法;
27、验证插入所述脱敏处理节点后的数据处理流程是否存在循环依赖;
28、所述发布插入所述脱敏处理节点后的数据处理流程,包括:
29、在所述敏感字段路径、处理参数和数据处理流程均通过验证时,发布所述数据处理流程。
30、一种可选的实施方式中,还包括:
31、获取针对所述待脱敏数据集设置的行级筛选条件;
32、根据所述行级筛选条件生成行过滤节点,并将所述行过滤节点插入所述数据读取节点与所述脱敏处理节点之间;
33、执行发布后的数据处理流程,包括:
34、通过所述行过滤节点按照所述行级筛选条件对所述数据读取节点读取的数据记录进行筛选,并将筛选后的数据记录传递至所述脱敏处理节点进行脱敏处理。
35、第二方面,本技术实施例还提供一种公共数据自动脱敏装置,包括:
36、获取模块,用于获取待脱敏数据集及其关联的数据处理流程,所述数据处理流程包括数据读取节点和位于所述数据读取节点之后的数据加工节点;
37、遍历模块,用于对所述待脱敏数据集进行递归遍历,确定并记录所述待脱敏数据集中各标量值所属字段的标准化字段路径;
38、匹配模块,用于根据各标准化字段路径中的字段名进行敏感字段匹配,确定候选敏感字段路径及其候选敏感类型,并根据所述候选敏感字段路径对应的字段值对匹配结果进行验证,确定敏感字段路径及其敏感类型;
39、配置模块,用于根据确定的敏感字段路径及其敏感类型,获取各敏感字段路径对应的脱敏处理配置;
40、插入模块,用于根据各敏感字段路径及其对应的脱敏处理配置生成脱敏处理节点,并将所述脱敏处理节点插入所述数据读取节点与所述数据加工节点之间;
41、发布模块,用于发布插入所述脱敏处理节点后的数据处理流程;
42、执行模块,用于执行发布后的数据处理流程,使所述脱敏处理节点按照各敏感字段路径及其对应的脱敏处理配置,对所述数据读取节点读取的数据记录中的相应字段值进行脱敏处理,并将处理后的数据记录传递至所述数据加工节点。
43、一种可选的实施方式中,所述待脱敏数据集包括标量类型、对象类型、数组或列表类型以及表类型的数据节点;
44、所述遍历模块具体用于:
45、在当前数据节点为对象类型、数组或列表类型或者表类型时,对所述当前数据节点包含的下一级数据节点进行递归遍历;
46、在当前数据节点为标量类型时,记录递归遍历过程中经过的字段名和/或数组索引,并按照层级顺序组合所述字段名和/或数组索引,生成所述当前数据节点所属字段的标准化字段路径。
47、一种可选的实施方式中,所述匹配模块具体用于:
48、获取按照敏感类型分组的敏感字段名规则库,每一敏感类型对应至少一个字段名匹配规则;
49、将各标准化字段路径中的字段名分别与所述字段名匹配规则进行匹配,将匹配成功的标准化字段路径确定为候选敏感字段路径,并将匹配成功的字段名匹配规则所属的敏感类型确定为相应的候选敏感类型;
50、从所述待脱敏数据集中采样读取所述候选敏感字段路径对应的多个字段值,按照所述候选敏感类型对应的值级校验规则,分别对采样读取的多个字段值进行值级特征验证;
51、确定通过所述值级特征验证的字段值在采样读取的多个字段值中所占的比例,并在所述比例达到预设置信度阈值时,将所述候选敏感字段路径确定为敏感字段路径,并将所述候选敏感类型确定为所述敏感字段路径的敏感类型。
52、一种可选的实施方式中,所述装置还包括修正模块,用于:
53、获取针对所述标准化字段路径设置的人工敏感配置,所述人工敏感配置包括敏感判定结果和/或敏感类型;
54、当所述标准化字段路径命中所述人工敏感配置时,根据所述人工敏感配置修正所述标准化字段路径的敏感判定结果和/或敏感类型。
55、一种可选的实施方式中,所述脱敏处理方式包括遮盖处理、泛化处理、加密处理和哈希处理中的至少一种;
56、所述脱敏处理配置包括相应脱敏处理方式的处理参数,所述处理参数包括前缀保留位数、后缀保留位数、掩码字符、泛化粒度、加密参数和哈希参数中的至少一种。
57、一种可选的实施方式中,在发布插入所述脱敏处理节点后的数据处理流程之前,所述装置还包括验证模块,用于:
58、验证所述敏感字段路径是否存在于所述脱敏处理节点的输入数据结构中,以及所述敏感字段路径对应的字段类型是否与相应的脱敏处理方式兼容;
59、验证所述脱敏处理配置中的处理参数是否完整且合法;
60、验证插入所述脱敏处理节点后的数据处理流程是否存在循环依赖;
61、所述发布模块具体用于:
62、在所述敏感字段路径、处理参数和数据处理流程均通过验证时,发布所述数据处理流程。
63、一种可选的实施方式中,所述插入模块还用于:
64、获取针对所述待脱敏数据集设置的行级筛选条件;
65、根据所述行级筛选条件生成行过滤节点,并将所述行过滤节点插入所述数据读取节点与所述脱敏处理节点之间;
66、所述执行模块还用于:
67、通过所述行过滤节点按照所述行级筛选条件对所述数据读取节点读取的数据记录进行筛选,并将筛选后的数据记录传递至所述脱敏处理节点进行脱敏处理。
68、第三方面,本技术实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
69、第四方面,本技术实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
70、本技术实施例提供的公共数据自动脱敏方法及装置,通过递归遍历确定异构数据中各标量值所属字段的标准化字段路径,并结合字段名匹配和字段值验证确定敏感字段,提高了敏感字段识别的准确性;进一步根据敏感字段路径生成脱敏处理节点,并将其插入数据读取节点与数据加工节点之间,使数据在进入后续加工环节前完成脱敏,降低了明文敏感数据在数据处理流程中暴露的风险。
71、为使本技术的上述目的、特征和优点能更明显易懂,下文特举实施例,并配合所附附图,作详细说明如下。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com