一种数据处理方法及装置与流程

1.本发明涉及通信技术领域，具体涉及一种数据处理方法及装置。


背景技术：

2.数据脱敏是一种常用的数据处理方法。数据脱敏是指对数据中包含的秘密或隐私信息进行特殊处理，达到数据变形的效果，从而使得攻击者无法直接从脱敏后的数据中获得敏感信息。对于某些领域而言，存在大量敏感数据需要进行脱敏处理。现有的集中脱敏方式下，若待脱敏数据较多时，容易对数据处理系统造成较大的数据处理压力。而且，脱敏后的数据一般进行集中式存储，当数据访问较为频繁而数据处理系统的处理能力无法满足访问需求时，将导致访问时延增加，从而造成访问效率低下。因此，如何降低数据处理压力，且对数据进行高效管理，以降低访问时延，提升数据访问效率，成为本领域亟待解决的问题。


技术实现要素：

3.为此，本发明提供一种数据处理方法及装置，以解决集中式脱敏和存储方式下数据处理压力较大，访问时延较高，数据访问效率较低的问题。
4.为了实现上述目的，本发明第一方面提供一种数据处理方法，应用于中心脱敏节点，该数据处理方法包括：
5.基于预设的脱敏策略对初步脱敏数据进行二次脱敏，获得脱敏数据；其中，所述初步脱敏数据为区域脱敏节点对待脱敏数据进行初步脱敏获得的数据；
6.将所述脱敏数据发送至中心管理节点，以供所述中心管理节点将所述脱敏数据同步至区域管理节点，并使数据管理系统在接收到数据访问请求时，优先将所述数据访问请求引导至所述区域管理节点。
7.进一步地，所述基于预设的脱敏策略对初步脱敏数据进行二次脱敏，获得脱敏数据之前，还包括：
8.设置所述脱敏策略，并将所述脱敏策略下发至所述区域脱敏节点；
9.接收所述区域脱敏节点返回的所述初步脱敏数据。
10.进一步地，所述设置所述脱敏策略，并将所述脱敏策略下发至所述区域脱敏节点，包括：
11.根据所述待脱敏数据的业务类型、业务流程以及脱敏节点类型，设置所述脱敏策略；其中，所述脱敏策略包括第一脱敏策略和第二脱敏策略，所述第一脱敏策略是所述脱敏节点类型为中心脱敏节点时对应的脱敏策略，所述第二脱敏策略是所述脱敏节点类型为所述区域脱敏节点时对应的脱敏策略；
12.将所述第二脱敏策略下发至所述区域脱敏节点。
13.进一步地，所述初步脱敏数据为所述区域脱敏节点根据所述第二脱敏策略对所述待脱敏数据进行初步脱敏后获得的数据。
14.进一步地，所述基于预设的脱敏策略对初步脱敏数据进行二次脱敏，获得脱敏数
据，包括；
15.确定所述初步脱敏数据的所述业务类型和所述业务流程；
16.根据所述初步脱敏数据的所述业务类型和所述业务流程，为所述初步脱敏数据匹配所述第一脱敏策略；
17.按照匹配的所述第一脱敏策略对所述初步脱敏数据进行二次脱敏，获得所述脱敏数据。
18.为了实现上述目的，本发明第二方面提供一种数据处理方法，应用于中心管理节点，该数据处理方法包括：
19.接收并存储中心脱敏节点发送的脱敏数据；其中，所述脱敏数据为所述中心脱敏节点基于预设的脱敏策略对初步脱敏数据进行二次脱敏获得的数据，所述初步脱敏数据为区域脱敏节点对待脱敏数据进行初步脱敏获得的数据；
20.将所述脱敏数据同步至区域管理节点，以供数据管理系统在接收到数据访问请求时，将所述数据访问请求优先引导至所述区域管理节点。
21.进一步地，所述将所述脱敏数据同步至区域管理节点，包括：
22.根据所述区域管理节点的管辖范围和权限范围，从所述脱敏数据中确定待同步区域脱敏数据；
23.将所述待同步区域脱敏数据发送至所述区域管理节点，以供所述区域管理节点将所述待同步区域脱敏数据存储至所述区域管理节点。
24.进一步地，所述将所述脱敏数据同步至区域管理节点之后，还包括：
25.接收所述数据管理系统转发的所述数据访问请求；其中，所述数据访问请求是在所述区域管理节点无法满足所述数据访问请求时转发至所述中心管理节点的请求；
26.响应所述数据访问请求并向所述数据管理系统返回对应数据。
27.为了实现上述目的，本发明第三方面提供一种数据处理装置，应用于中心脱敏节点，该数据处理装置包括：
28.脱敏模块，用于基于预设的脱敏策略对初步脱敏数据进行二次脱敏，获得脱敏数据；其中，所述初步脱敏数据为区域脱敏节点对待脱敏数据进行初步脱敏获得的数据；
29.脱敏节点发送模块，用于将所述脱敏数据发送至中心管理节点，以供所述中心管理节点将所述脱敏数据同步至区域管理节点，并使数据管理系统在接收到数据访问请求时，优先将所述数据访问请求引导至所述区域管理节点。
30.为了实现上述目的，本发明第四方面提供一种数据处理装置，应用于中心管理节点，该数据处理装置包括：
31.接收模块，用于接收中心脱敏节点发送的脱敏数据；其中，所述脱敏数据为所述中心脱敏节点基于预设的脱敏策略对初步脱敏数据进行二次脱敏获得的数据，所述初步脱敏数据为区域脱敏节点对待脱敏数据进行初步脱敏获得的数据；
32.存储模块，用于存储所述脱敏数据；
33.管理节点发送模块，用于将所述脱敏数据同步至区域管理节点，以供数据管理系统在接收到数据访问请求时，将所述数据访问请求优先引导至所述区域管理节点。
34.本发明具有如下优点：
35.本发明提供的数据处理方法，基于预设的脱敏策略对初步脱敏数据进行二次脱
敏，获得脱敏数据；将脱敏数据发送至中心管理节点，以供中心管理节点将脱敏数据同步至区域管理节点，并使数据管理系统在接收到数据访问请求时，优先将数据访问请求引导至区域管理节点，以缓解数据管理系统的数据处理压力，降低访问时延，提升数据访问效率。
附图说明
36.附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
37.图1为本发明第一实施例提供的一种数据处理方法的流程图；
38.图2为本发明第二实施例提供的一种数据处理方法的流程图；
39.图3为本发明第三实施例提供的一种数据处理方法的流程图；
40.图4为本发明第四实施例提供的一种数据处理方法的流程图；
41.图5为本发明第五实施例提供的一种数据处理装置的原理框图；
42.图6为本发明第六实施例提供的一种数据处理装置的原理框图。
43.在附图中：
44.501：脱敏模块
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
502：脱敏节点发送模块
45.601：接收模块
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
602：存储模块
46.603：管理节点发送模块
具体实施方式
47.以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
48.本发明提供的数据处理方法及装置，考虑到现有的集中脱敏和集中存储方式下数据处理压力较大，从而容易导致访问时延增加，访问效率低下，因此，提出一种新的数据处理方法及装置，设置中心脱敏节点和区域脱敏节点，以及中心管理节点和区域管理节点，从而将部分数据脱敏压力和数据访问压力分散至不同的区域性节点，降低中心节点的数据处理压力，从而缓解了数据处理压力，降低了访问时延，提升了数据访问效率。
49.图1是本发明第一实施例提供的一种数据处理方法的流程图，该数据处理方法可应用于中心脱敏节点。如图1所示，该数据处理方法可包括如下步骤：
50.步骤s101，基于预设的脱敏策略对初步脱敏数据进行二次脱敏，获得脱敏数据。
51.其中，初步脱敏数据为区域脱敏节点对待脱敏数据进行初步脱敏获得的数据。初步脱敏数据中还存在部分敏感信息，需要由中心脱敏节点对其进行进一步的脱敏操作，从而获得没有敏感信息的脱敏数据。
52.随着大数据时代的来临，数据已经成为一种特殊形式的重要资产。但是，在利用数据创造价值的同时，也需要重视数据的信息安全。尤其是针对某些行业和某些应用场景而言，希望对数据进行脱敏操作，以避免重要信息或敏感信息被泄露。数据脱敏具体是指对某些敏感信息通过脱敏规则进行数据的变形，从而实现敏感隐私数据的可靠保护。在当前的大部分脱敏操作中，采用集中方式对待脱敏数据进行脱敏以获得脱敏数据，这种脱敏方式将导致系统的数据处理压力较大。而且，在访问脱敏数据时，也经常采用集中访问方式，这样加剧了系统的数据处理压力。有鉴于此，本发明提供一种新的数据处理方法，在原有集中
式数据脱敏和数据访问的基础上，设置中心脱敏节点、区域脱敏节点、中心管理节点和区域管理节点，对于脱敏操作，将部分数据脱敏压力从中心脱敏节点分散至区域脱敏节点，对于访问操作，将数据访问压力从中心管理节点分散至不同的区域管理节点，从而降低中心脱敏节点和中心管理节点的数据处理压力，缓解了数据处理压力，降低了访问时延，提升了数据访问效率。
53.在一个实施方式中，业务终端录入原始的待脱敏数据(待脱敏数据包括客户的原始数据等初始状态的业务数据)，并将待脱敏数据转发至区域脱敏节点。区域脱敏节点接收待脱敏数据，并对待脱敏数据进行初步脱敏，获得初步脱敏数据，然后将初步脱敏数据发送至中心脱敏节点。中心脱敏节点接收初步脱敏数据，并根据预设的脱敏策略对初步脱敏数据进行二次脱敏，获得脱敏数据。具体地，中心脱敏节点首先确定初步脱敏数据的业务类型和业务流程，根据初步脱敏数据的业务类型和业务流程，为初步脱敏数据匹配第一脱敏策略，然后按照匹配的第一脱敏策略对初步脱敏数据进行二次脱敏，获得脱敏数据。其中，第一脱敏策略为中心脱敏节点为其本身预设的脱敏策略；区域脱敏节点的数量可以根据脱敏压力进行设置，如，若脱敏压力较大，可以设置较多数量的区域脱敏节点来有效地分散中心脱敏节点的脱敏压力，若脱敏压力较小，可以设置少数区域脱敏节点以适度缓解中心脱敏节点的脱敏压力。
54.需要说明的是，考虑到5g通信网络具有低时延、高速率等特点，在一些实施方式中，区域脱敏节点与中心脱敏节点之间进行信息交互时可以依托5g通信网络。可以理解的是，区域脱敏节点与中心脱敏节点也可以依托其它通信网络或通过其它通信方式实现信息交互。
55.步骤s102，将脱敏数据发送至中心管理节点，以供中心管理节点将脱敏数据同步至区域管理节点，并使数据管理系统在接收到数据访问请求时，优先将数据访问请求引导至区域管理节点。
56.一般情况下，将通过脱敏操作获得的脱敏数据进行集中存储，数据管理系统在接收到数据访问请求时，基于集中存储的脱敏数据给予响应并返回相应数据。由于脱敏数据的数据量一般较大，在数据访问请求较为频繁时，数据处理压力相对较大。因此，在本实施方式中设置若干个区域管理节点来分散中心管理节点的部分数据访问压力，从而减少数据访问时延，提升数据访问效率。
57.在一个实施方式中，中心脱敏节点获得脱敏数据后，将脱敏数据发送至中心管理节点。中心管理节点接收脱敏数据，并根据每个区域管理节点的管辖范围和权限范围，从脱敏数据中确定该区域管理节点所对应的待同步区域脱敏数据，并将待同步区域脱敏数据发送至对应的区域管理节点。区域管理节点接收待同步区域脱敏数据，将该待同步区域脱敏数据进行存储，从而实现与中心管理节点的数据同步。当数据管理系统接收到数据访问请求时，优先将数据访问请求引导至对应的区域管理节点，由该区域管理节点响应数据访问请求，从而为中心管理节点过滤部分数据访问请求，缓解数据访问压力。
58.可以理解的是，在区域管理节点无法满足数据访问请求时，数据管理系统会将数据访问请求转发至中心管理节点，由中心管理节点响应该数据访问请求，并返回响应数据。
59.图2是本发明第二实施例提供的一种数据处理方法的流程图，该数据处理方法可应用于中心脱敏节点，与本发明第一实施例基本相同，区别之处在于：在接收区域脱敏中心
发送的初步脱敏数据之前，先设置脱敏策略，并将脱敏策略发送至区域脱敏节点。如图2所示，该数据处理方法可包括如下步骤：
60.步骤s201，设置脱敏策略，并将脱敏策略下发至区域脱敏节点。
61.其中，脱敏策略是对数据进行脱敏操作时所使用的方法和规则等内容的集合。不同类型的数据、处于不同业务流程的数据以及不同的脱敏节点，其脱敏策略可能不尽相同。因此，在一些实施方式中，可以根据待脱敏数据的业务类型、所属业务流程和脱敏节点类型设置脱敏策略。但是，不论采用何种脱敏策略，其均应保障脱敏后的数据仍具有可用性，即使用脱敏策略对数据进行变形处理的同时，要保障原有数据的类型、格式、含义、分布等使用特征，以便脱敏后的数据还可以被正常使用。
62.在一个实施方式中，中心脱敏节点根据待脱敏数据的业务类型、业务流程以及脱敏节点类型，设置脱敏策略，脱敏策略包括第一脱敏策略和第二脱敏策略，其中，第一脱敏策略为根据待脱敏数据的业务类型和业务流程设置的适用于中心脱敏节点脱敏策略，第二脱敏策略为根据待脱敏数据的业务类型和业务流程设置的适用于区域脱敏节点脱敏策略。中心脱敏节点设置脱敏策略之后，将第二脱敏策略发送至区域脱敏节点，以供区域脱敏节点根据第二脱敏策略对待脱敏数据执行初步脱敏操作。其中，若区域脱敏节点所处理的待脱敏数据的业务类型不同或业务流程不同，则不同区域脱敏节点对应的第二脱敏策略也不尽相同。
63.需要说明的是，中心脱敏节点和区域脱敏节点执行的脱敏操作可以根据实际需求进行设置。如，中心脱敏节点可以是针对区域脱敏节点未完成脱敏的数据进行查缺补漏式的脱敏，也可以是基于不同脱敏级别或脱敏方式对初步脱敏数据进行的二次脱敏，也可以是两者的结合。可以理解的是，针对中心脱敏节点和区域脱敏节点脱敏操作的不同，其对应的第一脱敏策略和第二脱敏策略的具体内容也相应不同。
64.步骤s202，接收区域脱敏节点返回的初步脱敏数据。
65.在一个实施方式中，区域脱敏节点接收中心脱敏节点下发的第二脱敏策略之后，按照第二脱敏策略的内容对待脱敏数据执行初步脱敏操作，获得初步脱敏数据，并将初步脱敏数据返回至中心脱敏节点，以供中心脱敏节点按照预设的第一脱敏策略对初步脱敏数据进行二次脱敏操作。
66.步骤s203，基于预设的脱敏策略对初步脱敏数据进行二次脱敏，获得脱敏数据。
67.本实施例中的步骤s203与本发明第一实施例中步骤s101的内容相同，在此不再赘述。
68.步骤s204，将脱敏数据发送至中心管理节点，以供中心管理节点将脱敏数据同步至区域管理节点，并使数据管理系统在接收到数据访问请求时，优先将数据访问请求引导至区域管理节点。
69.本实施例中的步骤s204与本发明第一实施例中步骤s102的内容相同，在此不再赘述。
70.图3是本发明第三实施例提供的一种数据处理方法的流程图，该数据处理方法可应用于中心管理节点。如图3所示，该数据处理方法可包括如下步骤：
71.步骤s301，接收并存储中心脱敏节点发送的脱敏数据。
72.其中，脱敏数据为中心脱敏节点基于预设的脱敏策略对初步脱敏数据进行二次脱
敏获得的数据，初步脱敏数据为区域脱敏节点对待脱敏数据进行初步脱敏获得的数据。
73.为缓解数据访问压力，除了将脱敏数据存储在中心管理节点之外，还将脱敏数据分散存储在区域管理节点，从而可以为中心管理节点过滤部分不必要的访问请求，减少中心管理节点的数据处理压力，同时还可降低访问时延，提升访问效率。
74.在一个实施方式中，中心脱敏节点对初步脱敏数据进行二次脱敏，获得脱敏数据之后，将脱敏数据发送至中心管理节点。中心管理节点接收并存储中心脱敏节点发送的脱敏数据。
75.需要说明的是，中心脱敏节点与中心管理节点之间的信息交互可以通过5g网络进行，也可以通过其它通信网络或采用其它通信方式完成。
76.步骤s302，将脱敏数据同步至区域管理节点，以供数据管理系统在接收到数据访问请求时，将数据访问请求优先引导至区域管理节点。
77.区域管理节点的数量可以根据脱敏数据的数据量以及数据访问的响应需求进行设置。考虑到不同区域管理节点的管辖范围不同，权限范围也不同，因此，中心管理节点在进行脱敏数据的同步操作时，首先需要根据区域管理节点的管辖范围和权限范围确定区域管理中心对应的待同步区域脱敏数据，再将待同步区域脱敏数据发送至区域管理节点以执行同步操作。
78.在一个实施方式中，中心管理节点首先根据区域管理节点的管辖范围和权限范围，从脱敏数据中确定该区域管理节点对应的待同步区域脱敏数据，并将待同步区域脱敏数据发送至该区域管理节点。区域管理节点接收待同步区域脱敏数据，并将待同步区域脱敏数据存储至区域管理节点，从而实现区域管理节点与中心管理节点之间的数据同步。
79.需要说明的是，在一些特殊的应用场景中，也可以将中心管理节点的所有脱敏数据同步至区域管理节点。本技术不限制区域管理节点与中心管理节点之间进行同步的脱敏数据的范围。
80.图4是本发明第四实施例提供的一种数据处理方法的流程图，该数据处理方法可应用于中心管理节点，与本发明第三实施例基本相同，区别之处在于：当区域管理中心无法满足数据访问请求时，由中心管理节点响应数据访问请求。如图4所示，该数据处理方法可包括如下步骤：
81.步骤s401，接收并存储中心脱敏节点发送的脱敏数据。
82.本实施例中的步骤s401与本发明第一实施例中步骤s301的内容相同，在此不再赘述。
83.步骤s402，将脱敏数据同步至区域管理节点，以供数据管理系统在接收到数据访问请求时，将数据访问请求优先引导至区域管理节点。
84.本实施例中的步骤s402与本发明第一实施例中步骤s302的内容相同，在此不再赘述。
85.步骤s403，接收数据管理系统转发的数据访问请求。
86.其中，数据访问请求是在区域管理节点无法满足数据访问请求时转发至中心管理节点的请求。具体地，由于区域管理节点的管辖范围和权限范围有限，因此，区域管理节点的数据可能没有中心管理节点所存储的数据全面完整，因此，区域管理节点可能无法满足某些数据访问请求，这部分数据访问请求会由中心管理节点来响应。
87.在一个实施方式中，当区域管理节点无法满足数据访问请求时，数据管理系统会将数据请求转发至中心管理节点，中心管理节点接收该数据访问请求。
88.步骤s404，响应数据访问请求并向数据管理系统返回对应数据。
89.在一个实施方式中，中心管理节点接收数据访问请求之后，响应该数据访问请求，查询对应的访问数据，并将该数据返回至数据管理系统。
90.上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
91.图5是本发明第五实施例提供的一种数据处理装置的原理框图，该数据处理装置可应用于中心脱敏节点。如图5所示，该数据处理装置包括：脱敏模块501和脱敏节点发送模块502。
92.脱敏模块501，用于基于预设的脱敏策略对初步脱敏数据进行二次脱敏，获得脱敏数据。
93.在一个实施方式中，业务终端录入原始的待脱敏数据，并将待脱敏数据转发至区域脱敏节点。区域脱敏节点接收待脱敏数据，并对待脱敏数据进行初步脱敏，获得初步脱敏数据，然后将初步脱敏数据发送至中心脱敏节点。中心脱敏节点接收初步脱敏数据，通过脱敏模块501，并根据预设的脱敏策略对初步脱敏数据进行二次脱敏，获得脱敏数据。具体地，中心脱敏节点首先确定初步脱敏数据的业务类型和业务流程，根据初步脱敏数据的业务类型和业务流程，为初步脱敏数据匹配第一脱敏策略，然后按照匹配的第一脱敏策略对初步脱敏数据进行二次脱敏，获得脱敏数据。其中，第一脱敏策略为中心脱敏节点为其本身预设的脱敏策略，区域脱敏节点的数量可以根据脱敏压力进行设置。
94.脱敏节点发送模块502，用于将脱敏数据发送至中心管理节点，以供中心管理节点将脱敏数据同步至区域管理节点，并使数据管理系统在接收到数据访问请求时，优先将数据访问请求引导至区域管理节点。
95.在一个实施方式中，中心脱敏节点获得脱敏数据后，通过脱敏节点发送模块502将脱敏数据发送至中心管理节点。中心管理节点接收脱敏数据，并根据每个区域管理节点的管辖范围和权限范围，从脱敏数据中确定该区域管理节点所对应的待同步区域脱敏数据，并将待同步区域脱敏数据发送至对应的区域管理节点。区域管理节点接收待同步区域脱敏数据，将该待同步区域脱敏数据进行存储，从而实现与中心管理节点的数据同步。当数据管理系统接收到数据访问请求时，优先将数据访问请求引导至对应的区域管理节点，由该区域管理节点响应数据访问请求，从而为中心管理节点过滤部分数据访问请求，缓解数据访问压力。
96.图6是本发明第六实施例提供的一种数据处理装置的原理框图，该数据处理装置可应用于中心管理节点。如图6所示，该数据处理装置包括：接收模块601、存储模块602和管理节点发送模块603。
97.接收模块601，用于接收中心脱敏节点发送的脱敏数据。
98.在一个实施方式中，中心脱敏节点对初步脱敏数据进行二次脱敏，获得脱敏数据之后，将脱敏数据发送至中心管理节点。中心管理节点通过接收模块601接收中心脱敏节点
发送的脱敏数据。
99.存储模块602，用于存储脱敏数据。
100.区域管理节点接收脱敏数据后，通过存储模块602将脱敏数据存储在预设地址以备用。
101.管理节点发送模块603，用于将脱敏数据同步至区域管理节点，以供数据管理系统在接收到数据访问请求时，将数据访问请求优先引导至区域管理节点。
102.在一个实施方式中，中心管理节点首先根据区域管理节点的管辖范围和权限范围，从脱敏数据中确定该区域管理节点对应的待同步区域脱敏数据，并通过管理节点发送模块603将待同步区域脱敏数据发送至该区域管理节点。区域管理节点接收待同步区域脱敏数据，并将待同步区域脱敏数据存储至区域管理节点，从而实现区域管理节点与中心管理节点之间的数据同步。
103.值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
104.可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。