一种数据脱敏方法、系统、介质及计算装置与流程

1.本发明涉及数据传输技术领域，更具体地说，它涉及一种数据脱敏方法、系统、介质及计算装置。


背景技术：

2.随着信息化的普及，个人信息隐私数据的泄露，人们对个人信息安全的隐藏越来越重视。而个人信息的泄露，也出现了电信诈骗等手段，让人遭受了经济、心理和感情等各种损失。针对当下越来越强调信息安全的情况下，人民需注重个人隐私，避免损失。同时明确要求了企业单位注意用户账号相关的信息避免泄露。当前各行各业实现信息化系统的情况下，在打印展示与用户相关信息的时候，越来越需要隐藏关键信息或者脱敏关键信息进行展示。
3.传统的信息脱敏的技术方案，是从代码客户端，对需要隐藏的数据种类、字段数据进行定义，也就是对需要隐藏的代码需要预先设定，一旦在实际使用过程中，改变需要脱敏的数据种类或者改变需要脱敏的数据字段，均需要从代码层面进行修改，这样，对于用户来说，修改过程耗费时间长、工作量大。


技术实现要素：

4.针对现有技术存在的不足，本发明的目的在于提供一种数据脱敏方法，解决上述所称的现有的数据脱敏方法存在的修改耗费时间长、修改工作量大的缺点。
5.本发明的上述技术目的是通过以下技术方案得以实现的：一种数据脱敏方法，应用于数据存储系统，所述数据存储系统包括客户端、中间层以及业务服务层；所述方法包括：
6.所述中间层接收客户端发送的携带有用户信息的访问请求；
7.所述中间层根据所述访问请求从所述业务服务层中获取对应的待脱敏数据，判断所述待脱敏数据的数据类型，并根据所述待脱敏数据进行格式转换；
8.所述中间层根据所述数据类型以及用户信息，获取对应的脱敏策略；
9.所述中间层根据所述脱敏策略对格式转换后的待脱敏数据进行脱敏，得到脱敏数据；
10.所述中间层将所述脱敏数据返回给客户端。
11.可选的，所述中间层接收客户端发送的携带有用户信息的访问请求，包括：所述用户信息包括用户id以及用户权限；所述用户id用于识别用户身份，所述用户权限用于决定数据的脱敏程度。
12.可选的，所述中间层根据所述数据类型以及用户信息，获取对应的脱敏策略，包括：基于所述用户权限，从信息过滤规则库中查找与所述用户权限对应的第一过滤规则；所述信息过滤规则库中还包括用户权限与第一过滤规则之间的第一映射关系；所述第一映射关系能够根据预设的权限等级配置化设置，并与对应的用户id绑定。
13.可选的，所述中间层根据所述数据类型以及用户信息，获取对应的脱敏策略，包括：所述中间层基于所述数据类型，从信息过滤规则库中查找与所述数据类型对应的第二过滤规则，所述信息过滤规则库中还包括数据类型与第二过滤规则之间的第二映射关系。
14.可选的，所述第二过滤规则，包括：在所述待脱敏数据的数据类型为字符串类型的情况下，所述脱敏策略包括将所述待脱敏数据中的部分内容消除，或将所述待脱敏数据中的部分内容用特定字符或随机字符替代；在所述待脱敏数据的数据类型为日期时间类型的情况下，所述脱敏策略包括将所述待脱敏数据中的部分时间进行取整；在所述待脱敏数据的数据类型为数值型的情况下，所述脱敏策略包括采用隐藏、取整、偏移、映射的方式处理成其他数据。
15.可选的，所述第二过滤规则，还包括：在所述待脱敏数据的数据类型为图片数据的情况下，对所述图片数据进行图片识别，以获取所述图片数据对应的字符数据；判断所述字符数据中是否含有预设的关键词，若存在预设的关键词，则判定所述图片数据包含待脱敏数据；获取所述待脱敏数据所在的图片的区域；使用预设图层覆盖在所述待脱敏数据所在的区域上，以获得脱敏数据。
16.可选的，所述对所述待脱敏数据进行格式转换，包括：将所述待脱敏数据进行遍历，转化为json格式的待脱敏数据，所述中间层再根据脱敏策略，对所述待脱敏数据进行脱敏处理。
17.一种数据脱敏系统，包括：
18.请求转发模块：用于将所述客户端的访问请求发送给中间层；
19.数据访问模块：用于根据所述访问请求获取业务服务层中的待脱敏数据；
20.数据类型判断模块：用于根据所述待脱敏数据，判断所述待脱敏数据的数据类型；
21.用户信息获取模块：用于获取用户id以及用户权限；
22.规则生成模块：根据所述用户信息以及数据类型，对应获取脱敏规则；
23.格式转换模块：用于将所述待脱敏数据转化为json格式的待脱敏数据；
24.执行模块：用于根据所述脱敏规则处理所述待脱敏数据，对应生成脱敏数据。
25.一种计算机设备,包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
26.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
27.综上所述，本发明具有以下有益效果：本发明采用上述的数据脱敏方法，通过设置中间层转发数据，在客户端读取用户信息，根据用户信息以及待脱敏数据的数据类型，在中间层中选取对应的脱敏规则，可以有效地实现数据的脱敏，且数据脱敏的效率高，准确性好，可以根据使用者的需要，进行实际的配置化修改，无需修改底层代码，工作量小。
附图说明
28.图1为本发明的一种数据脱敏方法的流程图；
29.图2为本发明的根据数据类型确定脱敏规则的关系映射图；
30.图3为本发明的一种数据脱敏系统结构图；
31.图4为本发明实施例中计算机设备的内部结构图。
32.图中：1、请求转发模块；2、数据访问模块；3、数据类型判断模块；4、用户信息获取模块；5、规则生成模块；6、格式转换模块；7、执行模块。
具体实施方式
33.为使本发明的目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。
34.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
35.在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。术语“垂直的”、“水平的”、“左”、“右”、“上”、“下”以及类似的表述只是为了说明的目的，而不是指示或暗示所指装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
36.下面结合附图和实施例，对本发明进行详细描述。
37.本发明提供了一种数据脱敏方法,如图1所示，包括：
38.应用于数据存储系统，所述数据存储系统包括客户端、中间层以及业务服务层；在实际应用中，客户端主要用于供使用者进行控制比如客户端、web 端等，中间层作为数据处理平台，包含了网关转发功能，所有的客户端与业务服务层之间的数据交换，全都需要通过该数据处理平台进行脱敏处理，业务服务层则用于存储所有的数据。所述方法包括：
39.s1、所述中间层接收客户端发送的携带有用户信息的访问请求；
40.在实际用用过程中，使用者首先需要登录客户端，这样客户端便可以获取使用者的用户信息，用户信息包括用户id以及用户权限，用户id用于确认用户的身份，避免传输的数据发生错误，用户的权限则决定了用户可以看到的数据的多少。使用者控制客户端选择需要访问的数据，客户端的访问请求转到中间层，中间层根据请求，调用待脱敏数据，并不直接返回到客户端中，而是需要根据预定的脱敏规则，对数据进行处理，以避免用户信息泄露；
41.s2、所述中间层根据所述访问请求从所述业务服务层中获取对应的待脱敏数据，判断所述待脱敏数据的数据类型，并根据所述待脱敏数据进行格式转换；
42.在实际使用过程中业务服务层将待脱敏的数据返回给中间层，中间层对所述待脱敏数据进行拦截；
43.s3、所述中间层根据所述数据类型以及用户信息，获取对应的脱敏策略；
44.中间层一方面作为数据转发平台进行转发数据，另一方面可以实现数据的脱敏，并非将所有的信息均发送给用户，而是需要根据用户的权限和请求，对相关数据进行调整，使请求者可以无感地查看到自己应该或者能够查看的数据；脱敏策略的选择，包括隐藏某一方面的整体数据，比如，对订单信息来说，仓库管理员仅可以查看到订单编号以及订单内容，不会查看到客户信息，业务员或者经理可以查看到订单对应的客户信息，而不需要查看相关的购买内容；也包括了对某一部分数据进行脱敏，比如电话号码，对于一些权限等级较低的用户来说，仅显示数据的前三位和后四位，对于一些权限等级较高的用户，可以显示完整的电话号码，同理，其他的数据也是一样；
45.s4、所述中间层根据所述脱敏策略对格式转换后的待脱敏数据进行脱敏，得到脱敏数据；
46.s5、所述中间层将所述脱敏数据返回给客户端。
47.本发明采用上述的数据脱敏方法，通过设置中间层转发数据，在客户端读取用户信息，根据用户信息以及待脱敏数据的数据类型，在中间层中选取对应的脱敏规则，可以有效地实现数据的脱敏，且数据脱敏的效率高，准确性好，可以根据使用者的需要，进行实际的配置化修改，无需修改底层代码，修改工作量小。
48.进一步的，所述中间层接收客户端发送的携带有用户信息的访问请求，包括：所述用户信息包括用户id以及用户权限；所述用户id用于识别用户身份，所述用户权限用于决定数据的脱敏程度。
49.进一步的，所述中间层根据所述数据类型以及用户信息，获取对应的脱敏策略，包括：基于所述用户权限，从信息过滤规则库中查找与所述用户权限对应的第一过滤规则；所述信息过滤规则库中还包括用户权限与第一过滤规则之间的第一映射关系；所述第一映射关系能够根据预设的权限等级配置化设置，并与对应的用户id绑定。
50.在实际应用中，客户端在使用过程中通常需要登陆账号，因此客户端可以获取请求者的用户id以及用户权限，并将对应的用户权限发送给中间层，以使中间层根据对应的用户权限确定数据脱敏的规则。具体来说，第一过滤规则主要用于确定对数据的脱敏程度，例如，对于一条用户信息来说，主要包含：姓名、生日、身份证号、电话号、银行卡号码、家庭住址、籍贯、工作经历、教育经历等，对于上述的数据，根据不同的人们的访问权限，需要进行不同程度的脱敏，对于一个11位的电话号码，权限较高的用户可能不需要进行隐藏，对于中等权限的用户，可能需要隐藏中间的四位数字，对于权限较低的用户可能需要隐藏中间的六位数字或者干脆隐藏后面的八位数字，同理，对于家庭住址来说，权限较高的用户可能不需要进行隐藏，对于中等权限的用户，可以显示出镇或者街道一级，对于权限较低的用户可能仅仅显示到市级。其他的信息同理，在本技术中不再赘述。
51.所述配置化，在本技术中将所述中间层与权限管理系统rbac系统相互关联，通过读取用户信息，包括用户id以及用户权限，对用户所能够看到的信息进行隐藏或者脱敏，也就是根据用户信息选择对应的脱敏策略。在rbac模型里面，有3个基础组成部分，分别是：用户、角色和权限。rbac通过定义角色的权限，并对用户授予某个角色从而来控制用户的权限，实现了用户和权限的逻辑分离(区别于acl模型)，极大地方便了权限的管理；其中：
52.user(用户)：每个用户都有唯一的uid识别，并被授予不同的角色；
53.role(角色)：不同角色具有不同的权限；
54.permission(权限)：访问权限；
55.用户-角色映射：用户和角色之间的映射关系；
56.角色-权限映射：角色和权限之间的映射。
57.进一步的，所述中间层根据所述数据类型以及用户信息，获取对应的脱敏策略，包括：所述中间层基于所述数据类型，从信息过滤规则库中查找与所述数据类型对应的第二过滤规则，所述信息过滤规则库中还包括数据类型与第二过滤规则之间的第二映射关系。
58.进一步的，所述第二过滤规则，包括：在所述待脱敏数据的数据类型为字符串类型的情况下，所述脱敏策略包括将所述待脱敏数据中的部分内容消除，或将所述待脱敏数据中的部分内容用特定字符或随机字符替代；在所述待脱敏数据的数据类型为日期时间类型的情况下，所述脱敏策略包括将所述待脱敏数据中的部分时间进行取整；在所述待脱敏数据的数据类型为数值型的情况下，所述脱敏策略包括采用隐藏、取整、偏移、映射的方式处理成其他数据。
59.进一步的，所述第二过滤规则，还包括：在所述待脱敏数据的数据类型为图片数据的情况下，对所述图片数据进行图片识别，以获取所述图片数据对应的字符数据；判断所述字符数据中是否含有预设的关键词，若存在预设的关键词，则判定所述图片数据包含待脱敏数据；获取所述待脱敏数据所在的图片的区域；使用预设图层覆盖在所述待脱敏数据所在的区域上，以获得脱敏数据。
60.在实际应用中，使用者访问的数据各不相同。对于不同种类的数据，所采用的脱敏方法也不尽相同；
61.字符串类的数据主要用于显示文字信息，对于文字信息，需要将部分文字信息以*或者x的方式进行替换，以实现数据脱敏，或者直接以“某某”来替换其中的关键内容，比如，对于地址信息，可以显示位：广东省广州市番禺区xx镇xx街道xx小区；或者直接显示为：广东省广州市番禺区；
62.时间类型主要用于显示具体时间，最精确可以精确到秒，根据具体的需要，可以不显示特定时间段后面的精确时间，比如仅显示到月：2022年1月；同理，也可以通过占位符进行显示，比如2022年1月**日**时**分；
63.数值型主要用于显示编号，如身份证号、电话号、银行卡号等，对于这些数值类型，既可以直接通过占位符进行显示，比如对于电话号显示为 138****0831，也可以显示位13888888888，这样子的随机数字，以避免使人们的身份信息与实际的电话号码相互匹配。
64.在实际应用过程中，还存在一种以图片形式保存的用户信息，本技术提供一种基于深度学习的敏感信息定位方法：
65.首先对待脱敏的图片进行ocr内容识别，获取其中的文本信息；
66.使用该文本信息与预设的敏感词汇进行比对，判断是否存在需要脱敏的数据，一般来说，在本技术中的图片信息均需要进行脱敏，因此在比对完成后需要对图片上的敏感词所在位置进行确认，比如姓名位关键词，那么，姓名后面的人们的真实姓名就需要进行脱敏处理；因此如何实现对图片上的信息进行精确定位以实现图片信息的脱敏，成为关键；
67.首先通过对图片上的内容进行标定，对于同一数据库中的图片数据，其构成格式应为比较接近的，首先对大量训练图片上的内容进行标定，例如对于姓名这一关键词，进行
框选和标定，还需要在图片上对姓名所对应的实际姓名“王小明”进行标定；然后将标定完成的图若干片输入到目标检测神经网络模型中进行训练，以使目标检测神经网络模型可以准确识别图片上的与关键词姓名相对应的“王小明”的位置；
68.在实际使用过程中，使用所述神经网络对待脱敏的图片数据进行识别，并对所述图片数据上的所有需要脱敏的数据位置，使用边界框进行框选和标定，使用预设的图层盖设在所述边界框中，以实现图片数据的脱敏。
69.进一步的，所述对所述待脱敏数据进行格式转换，包括：将所述待脱敏数据进行遍历，转化为json格式的待脱敏数据，所述中间层再根据脱敏策略，对所述待脱敏数据进行脱敏处理。
70.在实际应用中，json是一种是一种轻量级的数据交换格式，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 json成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。
71.如图3所示，本发明还提供了一种数据脱敏系统，包括：
72.请求转发模块：用于将所述客户端的访问请求发送给中间层；
73.数据访问模块：用于根据所述访问请求获取业务服务层中的待脱敏数据；
74.数据类型判断模块：用于根据所述待脱敏数据，判断所述待脱敏数据的数据类型；
75.用户信息获取模块：用于获取用户id以及用户权限；
76.规则生成模块：根据所述用户信息以及数据类型，对应获取脱敏规则；
77.格式转换模块：用于将所述待脱敏数据转化为json格式的待脱敏数据；
78.执行模块：用于根据所述脱敏规则处理所述待脱敏数据，对应生成脱敏数据。
79.关于一种数据脱敏系统的具体限定可以参见上文中对于一种数据脱敏方法的限定，在此不再赘述。上述一种数据脱敏系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
80.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种数据脱敏方法。
81.本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
82.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：包括：
83.所述中间层接收客户端发送的携带有用户信息的访问请求；
84.所述中间层根据所述访问请求从所述业务服务层中获取对应的待脱敏数据，判断所述待脱敏数据的数据类型，并根据所述待脱敏数据进行格式转换；
85.所述中间层根据所述数据类型以及用户信息，获取对应的脱敏策略；
86.所述中间层根据所述脱敏策略对格式转换后的待脱敏数据进行脱敏，得到脱敏数据；
87.所述中间层将所述脱敏数据返回给客户端。
88.在一个实施例中，所述中间层接收客户端发送的携带有用户信息的访问请求，包括：
89.所述用户信息包括用户id以及用户权限；所述用户id用于识别用户身份，所述用户权限用于决定数据的脱敏程度。
90.在一个实施例中，所述中间层根据所述数据类型以及用户信息，获取对应的脱敏策略，包括：基于所述用户权限，从信息过滤规则库中查找与所述用户权限对应的第一过滤规则；所述信息过滤规则库中还包括用户权限与第一过滤规则之间的第一映射关系；所述第一映射关系能够根据预设的权限等级配置化设置，并与对应的用户id绑定。
91.在一个实施例中，所述中间层根据所述数据类型以及用户信息，获取对应的脱敏策略，包括：
92.所述中间层基于所述数据类型，从信息过滤规则库中查找与所述数据类型对应的第二过滤规则，所述信息过滤规则库中还包括数据类型与第二过滤规则之间的第二映射关系。
93.在一个实施例中，所述第二过滤规则，包括：
94.在所述待脱敏数据的数据类型为字符串类型的情况下，所述脱敏策略包括将所述待脱敏数据中的部分内容消除，或将所述待脱敏数据中的部分内容用特定字符或随机字符替代；
95.在所述待脱敏数据的数据类型为日期时间类型的情况下，所述脱敏策略包括将所述待脱敏数据中的部分时间进行取整；
96.在所述待脱敏数据的数据类型为数值型的情况下，所述脱敏策略包括采用隐藏、取整、偏移、映射的方式处理成其他数据。
97.在一个实施例中，所述第二过滤规则，还包括：
98.在所述待脱敏数据的数据类型为图片数据的情况下，对所述图片数据进行图片识别，以获取所述图片数据对应的字符数据；判断所述字符数据中是否含有预设的关键词，若存在预设的关键词，则判定所述图片数据包含待脱敏数据；获取所述待脱敏数据所在的图片的区域；使用预设图层覆盖在所述待脱敏数据所在的区域上，以获得脱敏数据。
99.在一个实施例中，所述对所述待脱敏数据进行格式转换，包括：
100.将所述待脱敏数据进行遍历，转化为json格式的待脱敏数据，所述中间层再根据脱敏策略，对所述待脱敏数据进行脱敏处理。
101.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括
随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram (sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
102.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
103.以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。