一种具有敏感数据标记的资产目录更新方法、装置及存储介质与流程

1.本发明涉及数据安全技术领域，尤其涉及一种具有敏感数据标记的资产目录更新方法、装置及存储介质。


背景技术：

2.随着互联网的不断发展，现有的企业或组织等，由于自身数据量较大，通常会将自身的数据构建为数据库进行存储，而数据资产管理者为了便于了解数据库中的内容，通常需要构建资产目录，且处于数据安全的考虑需要进一步将包括身份证号、姓名等的敏感数据在资产目录中标记出，以加强敏感数据的安全管理。现有的构建资产目录的方式通常是通过扫描数据库的方式，以建立资产目录，并通过周期性扫描数据库的方式对资产目录进行更新。
3.但周期性扫描数据库的方式对资产目录进行更新的方式存在局限性，一方面由于对整个数据库和所有表做扫描需要事先取得数据库的访问权限。在一些企业里，数据库的访问权限控制在业务部门。当数据治理的部门(一般为企业安全部门)需要扫描数据库时，无法拿到数据库的访问权限，或者需要通过内部流程的审批才可以拿到。而且数据库扫描会有性能方面的影响，导致业务部门不允许频繁扫描，很可能只允许在指定时间扫描。所以，对于数据治理的部门来说，收集数据资产的过程很低效，敏感数据的标记也会相应滞后，造成数据安全性下降；另一方面，周期性扫描的方式需要经过一定周期才能更新数据库，无法做到实时对数据库资产目录的实时更新，难以做到数据库资产目录与数据库内部数据的实时对应。


技术实现要素：

4.鉴于此，本发明的实施例提供了一种具有敏感数据标记的资产目录更新方法，以消除或改善现有技术中存在的一个或更多个缺陷。
5.本发明的一个方面提供了一种具有敏感数据标记的资产目录更新方法，所述方法的步骤包括，
6.获取与初始状态下的数据库相对应的初始数据目录，所述初始数据目录中记录有数据库中的元数据信息；
7.在所述数据库的进入和/或输出路径设置数据捕获组件，基于所述数据捕获组件获取数据库的访问请求和/或数据库基于访问请求的反馈数据；
8.基于所述数据库的类型对数据库访问请求和/或反馈数据进行解析，得到数据库更新信息，基于所述数据库更新信息的内容对初始数据目录进行更新，得到更新数据目录。
9.采用上述方案，所述数据库访问请求可以为对数据库进行增删改查的操作，本技术的方案能够实时捕捉操作的信息，以及数据库对操作的反馈，本技术能够实时捕捉数据库的变化信息，基于数据库内部的变化，完成对与数据库相对应的数据目录的更新，一方面
不需要申请扫描的权限，另一方面，本技术能够实时更新数据目录，保证数据目录与数据库中内容的实时对应。
10.在本发明的一些实施方式中，基于所述数据库更新信息的内容对初始数据目录进行更新，得到更新数据目录的步骤包括，
11.基于正则表达特征库确定所述数据库更新信息中是否包括敏感数据，若所述数据库更新信息中包括有敏感数据；
12.在更新数据目录中对所述敏感数据进行标注。
13.在本发明的一些实施方式中，所述数据库更新信息的更新情况包括：
14.对原来没有标注的敏感数据添加标注；
15.对新加入数据库的敏感数据添加标注；
16.删除存在标注的非敏感数据的标注。
17.在本发明的一些实施方式中，所述捕获组件包括但不限于监听组件或代理组件，
18.若捕获组件为监听组件，则所述监听组件设置于数据库的网络接口处，用于获取经过该网络接口的数据库的访问请求和/或数据库基于访问请求的反馈数据；
19.若捕获组件为代理组件，则所述代理组件设置于数据库端和客户端之间的路径上，转发二者的往来数据，并对转发的数据进行保存，得到数据库的访问请求和/或数据库基于访问请求的反馈数据。
20.在本发明的一些实施方式中，所述数据库的类型包括但不限于mysql或postgresql，基于所述数据库的类型对数据库访问请求和/或反馈数据进行解析的步骤包括，
21.若所述数据库的类型为mysql则采用mysql解析器进行解析；
22.若所述数据库的类型为postgresql则采用postgresql解析器进行解析。
23.在本发明的一些实施方式中，所述数据库更新信息的内容包括更改数据库的元数据信息，所述元数据信息包括数据库名/模式名/表名/列名，每个数据库包括多个模式，每个模式包括多个表，每个表包括多个列；
24.基于所述数据库更新信息的内容对初始数据目录进行更新，得到更新数据目录的步骤包括，
25.基于数据库更新信息中的元数据信息中的数据库名/模式名/表名/列名，对初始数据目录中的数据库名/模式名/表名/列名进行更新，得到更新数据目录。
26.在本发明的一些实施方式中，若所述数据库更新信息的内容为增加/减少表或增加/减少现有表中的列，则在初始数据目录中增加/减少表的名称或增加/减少现有表中的列名。
27.在本发明的一些实施方式中，若所述数据库更新信息的内容为更改表名或更改现有表中的列名，则在初始数据目录中更改表的名称或更改现有表中的列名。
28.在本发明的一些实施方式中，所述数据库中包括用户表和系统表，所述系统表用于记录各个用户表所处的数据库，所处的模式，用户表的名称和用户表中各列的列名，基于所述数据库更新信息的内容对初始数据目录进行更新，得到更新数据目录的步骤包括，
29.获取数据库更新信息的内容中关于系统表的变更信息，基于关于系统表的变更信息对初始数据目录进行更新，得到更新数据目录。
30.本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。
31.本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
32.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，并不构成对本发明的限定。
33.图1为本发明具有敏感数据标记的资产目录更新方法第一种实施方式的示意图；
34.图2为本发明具有敏感数据标记的资产目录更新方法第二种实施方式的示意图。
具体实施方式
35.为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
36.在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
37.应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
38.在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
39.在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
40.为解决以上问题，如图1、2所示，本发明提出一种具有敏感数据标记的资产目录更新方法，所述方法的步骤包括，
41.步骤s100、获取与初始状态下的数据库相对应的初始数据目录，所述初始数据目录中记录有数据库中的元数据信息；
42.在本发明的一些实施方式中，所述初始状态下的数据库可以为空的数据库，当数据库为空时，则所述初始数据目录也为空，即在创建数据库时创建数据目录，使二者实时对应；
43.当数据库为空时，内部存在系统表和用户表的框架，当不存在具体数据。
44.所述表的名称可以为以该表内容所涉及的用户所命名的表名，所述列名可以为手机号、银行卡号、身份证号、邮箱和工号等；
45.在本发明的一些实施方式中，所述初始状态下的数据库也可以为内部存在多个数据表的数据库，所述与初始状态下的数据库相对应的初始数据目录可以为预先通过对数据库进行扫描所获得的数据目录。
46.步骤s200、在所述数据库的进入和/或输出路径设置数据捕获组件，基于所述数据
捕获组件获取数据库的访问请求和/或数据库基于访问请求的反馈数据；
47.在本发明的一些实施方式中，所述捕获组件可以为数据库服务器外接的插件，通过捕获进出数据库的流量，并对流量进行解析，得到数据库的访问请求和/或数据库基于访问请求的反馈数据。
48.在本发明的一些实施方式中，若捕获组件设置于数据库的进入路径，则捕获组件获取数据库的访问请求；若捕获组件设置于数据库的输出路径，则捕获组件获取数据库基于访问请求的反馈数据。
49.步骤s300、基于所述数据库的类型对数据库访问请求和/或反馈数据进行解析，得到数据库更新信息，基于所述数据库更新信息的内容对初始数据目录进行更新，得到更新数据目录。
50.在本发明的一些实施方式中，所述数据库的类型包括但不限于mysql、mariadb、postgresql和oracle等。
51.在本发明的一些实施方式中，对所述初始数据目录进行更新可以为在数据目录中增加某个表的表名，或者增加某个表中的列名；删除某个表的表名，或者删除某个表中的列名；更改某个表的表名，或者更改某个表中的列名。
52.采用上述方案，所述数据库访问请求可以为对数据库进行增删改查的操作，本技术的方案能够实时捕捉操作的信息，以及数据库对操作的反馈，本技术能够实时捕捉数据库的变化信息，基于数据库内部的变化，完成对与数据库相对应的数据目录的更新，一方面不需要申请扫描的权限，另一方面，本技术能够实时更新数据目录，保证数据目录与数据库中内容的实时对应。
53.如图2所示，在本发明的一些实施方式中，基于所述数据库更新信息的内容对初始数据目录进行更新，得到更新数据目录的步骤包括，
54.基于正则表达特征库确定所述数据库更新信息中是否包括敏感数据，若所述数据库更新信息中包括有敏感数据；
55.在更新数据目录中对所述敏感数据进行标注。
56.所述数据库更新信息可以为对原来没有标注的数据添加标注，也可以为新加入的数据添加标注，还可以为原来存在标注的数据删除标注。
57.对数据库中敏感数据的识别，可以基于现有的正则表达特征库匹配来完成。比如手机号、银行卡号、身份证号、邮箱等等敏感数据类型，尝试匹配表名和列名，最终判定数据库表每个字段是否符合敏感数据的特征。
58.采用上述方案，数据库的资产目录和敏感数据的发现、分类分级是数据治理、数据安全保护工作中的一个关键部分，很多企业都需要全面清晰地理清数据库中的数据资产目录，以及敏感数据的位置，本技术能够在更新数据目录的同时完成对敏感数据的标注，进而做到有访问控制策略的数据规范化管理和维护。
59.传统方案由于需要设置扫描周期，使现有数据库资产目录的梳理，以及敏感数据发现的机制会有滞后性，而且局限于企业的流程规范，低效，有不可操作性。
60.本文提出的方法是在数据库访问时，实时捕获流转数据、解析数据、提取有用数据，然后进行特征匹配，完成敏感数据的发现。发现的过程是一种被动的方式，不会对整个数据库和所有表做全量的扫描，没有数据库访问权限的要求。而且，敏感数据出现的第一时
间，我们就会捕获到，为数据保护提供一个更为实时和准确的依据。
61.在本发明的一些实施方式中，所述数据库更新信息的更新情况包括：
62.对原来没有标注的敏感数据添加标注；
63.对新加入数据库的敏感数据添加标注；
64.删除存在标注的非敏感数据的标注。
65.在本发明的一些实施方式中，所述捕获组件包括但不限于监听组件或代理组件，
66.若捕获组件为监听组件，则所述监听组件设置于数据库的网络接口处，用于获取经过该网络接口的数据库的访问请求和/或数据库基于访问请求的反馈数据；
67.在本发明的一些实施方式中，当使用监听组件时，可以在数据库的主机上放置一个监听组件，当数据经由主机的某一个网络接口时，我们的监听组件可以捕获到数据。捕获的机制可以基于网络分接头(network tap)原理，在数据链路层加一个旁路处理，当一个数据包到达网络接口时，从链路层驱动程序中获得该数据包的拷贝。可以将这个监听组件放置在数据库所运行的机器上，也可以把它放置在访问数据库的应用程序所运行的机器上。
68.若捕获组件为代理组件，则所述代理组件设置于数据库端和客户端之间的路径上，转发二者的往来数据，并对转发的数据进行保存，得到数据库的访问请求和/或数据库基于访问请求的反馈数据。本发明消除了需要数据库访问权限的要求，弥补当前发现方法不适用的场景。同时，敏感数据发现的机制是持续、实时地进行，为数据保护提供一个更为实时和准确的依据。
69.在本发明的一些实施方式中，所述代理组件设置于数据库端和客户端之间的路径上，数据从数据库端输送到客户端或从客户端输送到数据库端都需要经过代理组件。
70.在本发明的一些实施方式中，当使用代理组件时，所述代理组件设置于数据库端和客户端之间的路径，当访问数据库的时，不直接访问数据库，而是通过代理组件。代理组件会承接客户端所有的数据库访问请求，将请求转发给数据库服务器。当数据库服务器返回反馈数据时，代理组件再将反馈数据转发给客户端。在转发的同时，代理组件会复制一份数据，从而将所有流转的原始数据捕捉下来。
71.采用上述方案，本发明通过采用捕获组件的方式获取数据库的更新信息，不但避免了使用扫描对数据库全盘或局部进行扫描的方式，降低效率；且不需要设置扫描频率，保证实时对数据目录进行更新。
72.代理模式不光可以捕获数据，还可以控制返回的数据，能够时用多种场景。而监听模式，由于不处于数据流转当中，对数据的访问有非常小的额外的开销，对现有系统的影响非常小。
73.在本发明的一些实施方式中，本方案可以同时使用监听组件和代理组件，当监听组件和代理组件同时存在时，对二者所采集的数据进行解析，并对解析出的数据进行对照，若二者解析出的数据存在不同，则进一步对比接入监听组件和代理组件的代码，确定代码是否存在不同，若代码存在不同则说明存在误传。
74.采用上述方案，本发明可以将监听组件和代理组件所解析出的数据进行对照，对照的内容可以是表名或者列名等，若二者存在不同，则说明解析过程存在错误，对比二者接入的代码，二者接入代码存在不同，则发送警告，可以通过警告信息通知管理人员，并在管理日志中对上述警告信息发出的时间和内容进行记录，提高数据处理精准度，避免由于程
序错误导致最终对数据目录的记录错误。
75.在本发明的一些实施方式中，所述数据库的类型包括但不限于mysql或postgresql，基于所述数据库的类型对数据库访问请求和/或反馈数据进行解析的步骤包括，
76.若所述数据库的类型为mysql则采用mysql解析器进行解析；
77.若所述数据库的类型为postgresql则采用postgresql解析器进行解析。
78.采用上述方案，数据库的类型多样，本发明能够匹配不同的解析器进行数据解析，保证处理效率。
79.在本发明的一些实施方式中，所述数据库更新信息的内容包括更改数据库的元数据信息，所述元数据信息包括数据库名/模式名/表名/列名，每个数据库包括多个模式，每个模式包括多个表，每个表包括多个列；
80.基于所述数据库更新信息的内容对初始数据目录进行更新，得到更新数据目录的步骤包括，
81.基于数据库更新信息中的元数据信息中的数据库名/模式名/表名/列名，对初始数据目录中的数据库名/模式名/表名/列名进行更新，得到更新数据目录。
82.所述数据库更新信息还可以为更改表中某列中的数据，如身份证号码列中的身份证号数据。
83.在本发明的一些实施方式中，若所述数据库更新信息的内容为增加/减少表或增加/减少现有表中的列，则在初始数据目录中增加/减少表的名称或增加/减少现有表中的列名。
84.在本发明的一些实施方式中，若所述数据库更新信息的内容为更改表名或更改现有表中的列名，则在初始数据目录中更改表的名称或更改现有表中的列名。
85.在本发明的一些实施方式中，所述数据库中包括用户表和系统表，所述系统表用于记录各个用户表所处的数据库，所处的模式，用户表的名称和用户表中各列的列名，基于所述数据库更新信息的内容对初始数据目录进行更新，得到更新数据目录的步骤包括，
86.获取数据库更新信息的内容中关于系统表的变更信息，基于关于系统表的变更信息对初始数据目录进行更新，得到更新数据目录。
87.本发明的实施例还提供一种具有敏感数据标记的资产目录更新装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法的步骤。
88.本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述具有敏感数据标记的资产目录更新方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、软盘、硬盘、可移动存储盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质。
89.本发明实施例还提供了一种计算机设备，该计算机设备可以包括处理器、存储器，处理器和存储器可以通过总线或者其他方式连接。
90.处理器可以为中央处理器(central processing unit，cpu)。处理器还可以为其
他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
91.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的车载显示装置按键屏蔽方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，以实现本发明的方法。
92.存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
93.在本公开的一些实施例中，用户端可以包括处理器、存储器和收发单元，该收发单元可包括接收器和发送器，处理器、存储器、接收器和发送器可通过总线系统连接，存储器用于存储计算机指令，处理器用于执行存储器中存储的计算机指令，以控制收发单元收发信号。
94.作为一种实现方式，本发明中接收器和发送器的功能可以考虑通过收发电路或者收发的专用芯片来实现，处理器可以考虑通过专用处理芯片、处理电路或通用芯片实现。
95.作为另一种实现方式，可以考虑使用通用计算机的方式来实现本发明实施例提供的鉴权装置和鉴权服务器。即将实现处理器，接收器和发送器功能的程序代码存储在存储器中，通用处理器通过执行存储器中的代码来实现处理器，接收器和发送器的功能。
96.本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
97.需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。
98.本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
99.以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。