数据处理方法、装置和系统与流程

1.本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置和系统。


背景技术：

2.数据湖是一个集中式存储库，允许以任意规模存储所有结构化和非结构化数据。目前采用数据湖存储数据的方式越来越广泛。
3.在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
4.由于数据湖对数据进行整体存储，导致数据湖中的敏感数据存在安全隐患。


技术实现要素：

5.有鉴于此，本发明实施例提供一种数据处理方法、装置和系统，实现了对数据湖中的敏感数据加密存储，从而保证数据湖中敏感数据的安全性。
6.为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法，包括：
7.在数据湖中，划分出敏感数据岛；
8.响应于生产数据库发送的数据写入请求，遍历所述数据写入请求对应的待存储数据；
9.当遍历的结果指示所述待存储数据包括敏感数据时，为所述敏感数据生成对应的密钥；
10.利用所述密钥加密所述敏感数据；
11.将加密后的所述敏感数据存储到所述敏感数据岛，以及将所述待存储数据中的非敏感数据存储到所述数据湖中的所述敏感数据岛之外的存储区域。
12.优选地，所述数据处理方法，进一步包括：设置有多种密钥生成方案；
13.为所述敏感数据生成对应的密钥，包括：
14.从所述多种密钥生成方案中选择目标密钥生成方案；
15.利用所述目标密钥生成方案，为所述敏感数据生成对应的密钥。
16.优选地，
17.在为所述敏感数据生成对应的密钥的步骤之后，进一步包括：
18.为所述密钥生成对应的密钥特征标识；
19.将所述密钥与所述密钥特征标识对应存储，并将所述密钥特征标识提供给敏感数据的授权用户；
20.根据授权用户的密钥特征标识，为授权用户提供相应的敏感数据。
21.优选地，
22.所述密钥特征标识包括敏感数据存储地址信息；
23.根据授权用户的密钥特征标识，为授权用户提供相应的敏感数据的步骤包括：
24.当接收到具有所述密钥特征标识的查询请求时，根据所述密钥特征标识查找密
钥，并根据所述敏感数据存储地址信息，查找加密的敏感数据；
25.利用查找到的密钥，对查找到的所述加密的敏感数据进行解密，并将解密得到的敏感数据提供给所述授权用户。
26.优选地，
27.所述密钥特征标识进一步包括有解密密钥信息、敏感数据存储地址信息；
28.根据授权用户提供的密钥特征标识，为授权用户提供相应的敏感数据的步骤包括：
29.当接收到具有所述密钥特征标识的查询请求时，解析所述目标加密方案的特征标识包括的敏感数据存储地址信息，并根据所述敏感数据存储地址信息，查找加密的敏感数据；
30.将所述加密的敏感数据发送给所述授权用户，以使所述授权用户所在的终端或服务端解析密钥特征标识包括的解密密钥信息，并利用解析出的解密密钥对所述加密的敏感数据进行解密。
31.优选地，所述数据湖部署于集群；
32.所述划分出敏感数据岛的步骤包括：从所述集群中划分出多个敏感数据存储节点，所述多个敏感数据存储节点构成所述敏感数据岛。
33.优选地，所述数据处理方法，进一步包括：设置有规则引擎，其中，所述规则引擎包括配置的敏感用例以及通过机器学习模型得到的敏感特征；
34.遍历所述数据写入请求对应的待存储数据的步骤包括：
35.通过所述规则引擎读取所述待存储数据，并判断读取到的所述待存储数据中的部分是否满足所述配置的敏感用例或者所述敏感特征，
36.如果是，则确定所述待存储数据中的敏感数据，并将确定出的所述待存储数据中的敏感数据作为遍历的结果。
37.第二方面，本发明实施例提供一种数据处理装置，包括：遍历单元、加密单元以及存储处理单元，其中，
38.所述遍历单元，用于响应于生产数据库发送的数据写入请求，遍历所述数据写入请求对应的待存储数据；
39.所述加密单元，用于当所述遍历单元遍历的结果包括所述待存储数据中的敏感数据时，为所述敏感数据生成对应的密钥；利用所述密钥加密所述敏感数据；
40.所述存储处理单元，用于在数据湖中，划分出敏感数据岛；将所述加密单元加密后的所述敏感数据存储到所述敏感数据岛，以及将所述待存储数据中的非敏感数据存储到所述数据湖中的所述敏感数据岛之外的存储区域。
41.优选地，
42.所述加密单元，进一步用于设置有多种密钥生成方案，从所述多种密钥生成方案中选择目标密钥生成方案；利用所述目标密钥生成方案，为所述敏感数据生成对应的密钥。
43.优选地，所述数据处理装置，进一步包括：提供单元，其中，
44.所述加密单元，进一步用于为所述密钥生成对应的密钥特征标识；将所述密钥与所述密钥特征标识对应存储；
45.所述提供单元，用于将所述加密单元生成的所述密钥特征标识提供给敏感数据的
授权用户，根据授权用户的密钥特征标识，为授权用户提供相应的敏感数据。
46.第三方面，本发明实施例提供一种数据处理系统，包括：生产数据库、数据湖以及上述任一所述数据处理装置，其中，
47.所述生产数据库，用于将自身的数据作为待存储数据进行传输；
48.所述数据处理装置，用于为所述数据湖划分出所述敏感数据岛；遍历所述待存储数据，当遍历的结果包括所述待存储数据中的敏感数据时，为所述敏感数据生成对应的密钥；利用所述密钥加密所述敏感数据；将加密后的所述敏感数据发送给所述敏感数据岛，将所述待存储数据中的非敏感数据发送给所述数据湖中的所述敏感数据岛之外的存储区域；
49.所述数据湖包括：所述敏感数据岛和所述敏感数据岛之外的存储区域，其中，
50.所述敏感数据岛，用于存储加密后的所述敏感数据；
51.所述敏感数据岛之外的存储区域，用于存储所述待存储数据中的非敏感数据。
52.上述发明中的一个实施例具有如下优点或有益效果：通过遍历待存储数据，当遍历出敏感数据时，为敏感数据生成密钥，通过密钥加密敏感数据，然后将加密后的敏感数据存储到数据湖中的敏感数据岛，以及将待存储数据中的非敏感数据存储到数据湖中的敏感数据岛之外的存储区域，实现了对敏感数据加密存储以及将敏感数据和非敏感数据在数据湖中分开存储，从而保证数据湖中敏感数据的安全性。
53.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
54.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
55.图1是根据本发明实施例的数据处理方法的主要流程的示意图；
56.图2是根据本发明实施例的为敏感数据生成对应的密钥的主要流程的示意图；
57.图3是根据本发明实施例的为用户提供存储的敏感数据的主要流程的示意图；
58.图4是根据本发明另一实施例的为用户提供存储的敏感数据的主要流程的示意图；
59.图5是根据本发明又一实施例的为用户提供存储的敏感数据的主要流程的示意图；
60.图6是根据本发明实施例的遍历数据写入请求对应的待存储数据的主要流程的示意图；
61.图7是根据本发明实施例的数据处理装置的主要单元的示意图；
62.图8是根据本发明实施例的数据处理系统的主要单元的示意图；
63.图9是本发明实施例可以应用于其中的示例性系统架构图；
64.图10是适于用来实现本发明实施例的服务器的计算机系统的结构示意图。
具体实施方式
65.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同
样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
66.数据湖是一个集中式存储库，允许以任意规模存储所有结构化和非结构化数据。其可以按原样存储数据(无需先对数据进行结构化处理)，可运行不同类型的分析，如从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策。
67.另外，数据湖可存储来自业务线应用程序的关系数据，以及来自移动应用程序、iot设备和社交媒体的非关系数据。捕获数据时，未定义数据结构或数据模式。这意味着数据湖可以存储所有数据，而不需要精心设计、也无需知道将来用户可能需要哪些问题的答案。用户可以对数据使用不同类型的分析(如sql查询、大数据分析、全文搜索、实时分析和机器学习)来获得见解。
68.目前数据湖使用越来越广泛，而针对数据湖中敏感数据，还未出现比较合适的方法来保证敏感数据的安全性。
69.敏感数据是指威胁用户信息安全或者业务系统安全的一些数据，比如，用户的身份信息如身份证号、密码、业务系统产生的需保密的业务数据、电商系统中的交易数据、物流系统中的用户信息如地址信息、联系方式信息、姓名等。
70.图1是根据本发明实施例的一种数据处理方法，如图1所示，该数据处理方法可包括如下步骤：
71.s100：在数据湖中，划分出敏感数据岛；
72.s101：响应于生产数据库发送的数据写入请求，遍历数据写入请求对应的待存储数据；
73.s102：当遍历的结果指示待存储数据包括敏感数据时，为敏感数据生成对应的密钥；
74.s103：利用密钥加密敏感数据；
75.s104：将加密后的所述敏感数据存储到所述敏感数据岛，以及将所述待存储数据中的非敏感数据存储到所述数据湖中的所述敏感数据岛之外的存储区域。
76.其中，步骤s100并不一定在每一个数据处理过程中均需要被执行。第一方面，一般在首次启用数据湖，基于该首次启用的数据湖，进行数据处理(敏感数据和非敏感数据的存储)可首先执行上述步骤s100，相应地，非首次该首次启用的数据湖，进行数据处理(敏感数据和非敏感数据的存储)，则直接执行步骤s101。第二方面，步骤s100还可以在每一次数据处理时执行，则划分出的敏感数据岛是对当前待存储数据中的敏感数据进行存储。第三方面，在执行多次步骤s101至步骤s104之后，敏感数据岛剩余空间不足时，再次执行步骤s100，进一步划分出新的敏感数据岛，以增加敏感数据岛的存储空间，实现敏感数据岛的可扩容性。
77.其中，步骤s101中的数据写入请求可以为接收生产数据库发送的一个电信号或者启动信息，以建立数据湖与生产数据库的通信连接，以使数据湖接收生产数据库传输的数据流即待存储数据。在本发明实施例提供的方案中，在生产数据库传输待存储数据给数据湖的过程中，可直接遍历数据流(待存储数据)，从待存储数据中抽取出敏感数据作为遍历结果的一部份。其中，遍历待存储数据是指，在待存储数据经过传输线路中的一个节点时，读取经过该节点的待存储数据或者扫描经过该节点的待存储数据，以得到存在于待存储数据中的敏感数据。
78.其中，上述步骤s102中遍历的结果指示待存储数据包括敏感数据，具体可以为遍历的结果包括待存储数据中的敏感数据；还可以为遍历结果不包括敏感数据，而只是发现待存储数据中包括敏感数据，可通过在遍历的结果中进行特征标注(如在遍历的结果中标注1，则说明遍历的待存储数据中存在敏感数据)，其中，具体标注方式并不仅限于数字、字母等，只要能够在遍历的结果中体现出待存储数据是否包括敏感数据即可。另外，在遍历结果不包括敏感数据，而只是发现待存储数据中包括敏感数据时，可对待存储数据包括的敏感数据进行特征标注，以方便后续对敏感数据的识别、搜索或查找。
79.其中，上述步骤s104可为，该抽取出的敏感数据在通过密钥加密后，可重新放回数据流，以使加密后的敏感数据和非敏感数据一起存储；也可单独对加密后的敏感数据进行存储。
80.其中，生产数据库是指产生数据的数据库，比如业务系统对应的数据库。
81.在图1所示的实施例中，通过遍历待存储数据，当遍历出敏感数据时，为敏感数据生成密钥，通过密钥加密敏感数据，然后将加密后的敏感数据存储到数据湖中的敏感数据岛，以及将待存储数据中的非敏感数据存储到数据湖中的敏感数据岛之外的存储区域，实现了对敏感数据加密存储以及将敏感数据和非敏感数据在数据湖中分开存储，从而保证数据湖中敏感数据的安全性。
82.另外，通过该过程实现了将敏感数据与非敏感数据分开存储，该敏感数据岛可进行特殊保护，以进一步提高敏感数据的安全性。
83.另外，与已存储数据的数据量相比，待存储数据的数据量小得多，那么，与从已存储数据中查找敏感数据相比，该从待存储数据中遍历出敏感数据，能够提高敏感数据查找效率。
84.在本发明一个实施例中，上述数据处理方法可进一步包括：设置有多种密钥生成方案；相应地，如图2所示，为敏感数据生成对应的密钥可包括如下步骤：
85.s201：从多种密钥生成方案中选择目标密钥生成方案；
86.s202：利用目标密钥生成方案，为敏感数据生成对应的密钥。
87.其中，步骤s201可以为随机选择目标密钥生成方案；还可以为按照多种密钥生成方案的存储顺序，顺序循环选择密钥生成方案作为目标密钥生成方案。该多种密钥生成方案可以包括对称密钥生成方案、非对称密钥生成方案以及对称-非对称密钥混合生成方案。其中，不管是对称密钥生成方案、非对称密钥生成方案、还是对称-非对称密钥混合生成方案，均可以待存储数据对应的授权用户信息为基础生成密钥。
88.其中，步骤s202为敏感数据生成对应的密钥的具体实施方式可以为：为步骤s101遍历的待存储数据中的所有敏感数据生成一个密钥(该待存储数据一般是指来源于同一用户或者同一生产数据库的)；也可以为：将敏感数据分段，为每一段敏感数据生成对应的密钥(该每一段敏感数据对应的密钥一般是由不同的目标密钥生成方案所生成的)。
89.通过上述密钥生成过程，攻击者很难获取加密敏感数据的密钥，增加了密钥破解的难度，能够进一步提高敏感数据的安全性。
90.另外，还可为多种密钥生成方案设置密钥管理引擎，该密钥管理引擎可为授权用户提供修改接口，用于对密钥生成方案进行修改，或者增加新的密钥生成方案。该密钥生成方案可根据用户实际需求设置。相应地，在对密钥生成方案进行修改或者增加新的密钥生
成方案后，后续为敏感数据生成密钥的过程则选用该修改后的密钥生成方案或者新的密钥生成方案。
91.在本发明一个实施例中，如图3所示，针对为用户提供存储的敏感数据，在为敏感数据生成对应的密钥的步骤之后，可进一步包括如下步骤：
92.s301：为密钥生成对应的密钥特征标识；
93.s302：将密钥与密钥特征标识对应存储，并将密钥特征标识提供给敏感数据的授权用户；
94.s303：根据授权用户的密钥特征标识，为授权用户提供相应的敏感数据。
95.其中，敏感数据的授权用户可以为发送该敏感数据的生产数据库、产生该敏感数据的业务系统和/或终端，这些授权用户具有密钥特征标识，可通过密钥特征标识获取对应的敏感数据。
96.其中，密钥特征标识可包括敏感数据存储地址信息所转换成的字符串、密钥存储排序编号以及其他随机码，其中，敏感数据存储地址信息所转换成的字符串可以选用现用的字符串转换方法实现，比如使用ascii码表进行字符串转换。
97.其中，将密钥与密钥特征标识对应存储的具体实施方式可为，将加密后的密钥存储地址与密钥特征标识存储在一个密钥管理表中；这样可根据密钥特征标识，确定密钥存储地址，通过解密后的密钥存储地址查找到密钥。将密钥与密钥特征标识分开存储，最好存储于集群中的不同节点上，这样在密钥特征标识所在节点被攻击后，仍能够保证密钥的安全，而攻击者单纯获取到密钥也很难定位出敏感数据的位置。只有密钥特征标识以及密钥均获取到才能得到敏感数据存储地址从而获取到敏感数据。另外，通过上述生成密钥特征标识的方式，在密钥管理表被攻击后，能够方便管理员为密钥恢复对应的密钥管理表。
98.在攻击者获取该密钥特征标识很难从其中解析出有效的信息，通过密钥特征标识进一步保证了密钥以及敏感数据的安全性。
99.在本发明一个实施例中，密钥特征标识包括敏感数据存储地址信息；相应地，如图4所示，针对为授权用户提供相应的敏感数据可包括如下步骤：
100.s401：当接收到具有密钥特征标识的查询请求时，根据密钥特征标识查找密钥，并根据敏感数据存储地址信息，查找加密的敏感数据；
101.s402：利用查找到的密钥，对查找到的加密的敏感数据进行解密，并将解密得到的敏感数据提供给授权用户。
102.其中，密钥特征标识包括敏感数据存储地址信息可以为，密钥特征标识包括由敏感数据存储地址信息经过预设的转换规则转换出的字符串(该预设的转换规则如利用ascii码表中的对应关系进行转换)。
103.通过上述过程实现了在发送给授权用户之前解密，这样避免授权用户管理密钥，即加密和解密都是同一设备完成，能够保证加密和解密的安全性。
104.在本发明一个实施例中，密钥特征标识进一步包括有解密密钥信息、敏感数据存储地址信息；相应地，如图5所示，针对为授权用户提供相应的敏感数据可包括如下步骤：
105.s501：当接收到具有密钥特征标识的查询请求时，解析目标加密方案的特征标识包括的敏感数据存储地址信息，并根据敏感数据存储地址信息，查找加密的敏感数据；
106.s502：将加密的敏感数据发送给授权用户，以使授权用户所在的终端或服务端解
析密钥特征标识包括的解密密钥信息，并利用解析出的解密密钥对加密的敏感数据进行解密。
107.其中，解密密钥信息和敏感数据存储地址信息均可为经过现有字符转换技术转换后的字符串，一般只有授权用户所使用的客户端或者服务端可将该解密密钥信息转换为对应的解密密钥。对于对称密钥生成方案来说，该解密密钥与上面提及的用于加密敏感数据的密钥相同；对于非对称密钥生成方案来说，上述加密敏感数据的密钥为生成的私钥；该解密密钥为对应的公钥。
108.其中，解析敏感数据存储地址信息的过程是将敏感数据存储地址信息对应的字符串转换为对应的敏感数据存储地址。
109.其中，终端或服务端解析密钥特征标识包括的解密密钥信息是指将解密密钥信息对应的字符串转换为对应的解密密钥。
110.通过上述过程实现了对加密的敏感数据的传输，保证了敏感数据传输的安全性。
111.在本发明一个实施例中，数据湖部署于集群；相应地，划分出敏感数据岛的步骤可包括：从集群中划分出多个敏感数据存储节点，多个敏感数据存储节点构成敏感数据岛。实现了敏感数据与非敏感数据在物理上的分开存储，从而进一步保证了敏感数据的安全性。
112.在本发明一个实施例中，设置有规则引擎，其中，规则引擎包括配置的敏感用例以及通过机器学习模型得到的敏感特征；相应地，如图6所示，针对遍历数据写入请求对应的待存储数据的具体实施方式可包括：
113.s601：通过规则引擎读取待存储数据；
114.s602：判断读取到的待存储数据中的部分是否满足配置的敏感用例或者敏感特征，如果是，则执行s603；否则，执行s604；
115.s603：确定待存储数据中的敏感数据，并将确定出的待存储数据中的敏感数据作为遍历的结果，并结束当前流程；
116.s604：确定待存储数据不包括敏感数据。
117.值得说明的是，上述规则引擎中的敏感用例以及通过机器学习模型得到的敏感特征可以进行修改或增加。敏感用例如账号、身份证号、手机号等，该敏感用例可以为用户手动配置。该机器学习模型可以为现有的支持向量机、贝叶斯算法、神经网络等。
118.另外，除了上述遍历数据写入请求对应的待存储数据的步骤可采用规则引擎实现。上述多种密钥生成方案以及为敏感数据生成对应的密钥可以通过加密引擎实现；而上述图4给出的方案可通过解密引擎实现。基于此，本发明实施例提供的数据处理方法可通过一个总引擎(该总引擎包括有规则引擎、加密引擎以及解密引擎)获得敏感数据，并对敏感数据进行加密或解密，可针对不同步骤或阶段调用不同的引擎实现。
119.如图7所使，本发明实施例提供一种数据处理装置700，该数据处理装置700可包括：遍历单元701、加密单元702以及存储处理单元703，其中，
120.遍历单元701，用于响应于生产数据库发送的数据写入请求，遍历数据写入请求对应的待存储数据；
121.加密单元702，用于当遍历单元701遍历的结果包括待存储数据中的敏感数据时，为敏感数据生成对应的密钥；利用密钥加密敏感数据；
122.存储处理单元703，用于存储处理单元，用于在数据湖中，划分出敏感数据岛；将加
密单元702加密后的敏感数据存储到敏感数据岛，以及将待存储数据中的非敏感数据存储到数据湖中的敏感数据岛之外的存储区域。
123.在本发明一个实施例中，加密单元702，进一步用于设置有多种密钥生成方案，从多种密钥生成方案中选择目标密钥生成方案；利用目标密钥生成方案，为敏感数据生成对应的密钥。
124.在本发明一个实施例中，数据处理装置700，进一步包括：提供单元(图中未示出)，其中，
125.加密单元702，进一步用于为密钥生成对应的密钥特征标识；将密钥与密钥特征标识对应存储；
126.提供单元(图中未示出)，用于将加密单元生成的密钥特征标识提供给敏感数据的授权用户，根据授权用户的密钥特征标识，为授权用户提供相应的敏感数据。
127.在本发明一个实施例中，密钥特征标识进一步包括有解密密钥信息、敏感数据存储地址信息；相应地，
128.提供单元(图中未示出)，用于当接收到具有密钥特征标识的查询请求时，解析目标加密方案的特征标识包括的敏感数据存储地址信息，并根据敏感数据存储地址信息，查找加密的敏感数据；将加密的敏感数据发送给授权用户，以使授权用户所在的终端或服务端解析密钥特征标识包括的解密密钥信息，并利用解析出的解密密钥对加密的敏感数据进行解密。
129.其中，上述各个单元可通过相应地引擎实现。比如，遍历单元可通过规则引擎(图中未示出)实现，该规则引擎中配置有敏感用例以及通过机器学习模型得到的敏感特征，该规则引擎可用于读取待存储数据，判断读取到的待存储数据中的部分是否满足配置的敏感用例或者敏感特征，如果是，确定待存储数据中的敏感数据，并将确定出的待存储数据中的敏感数据作为遍历的结果，否则，确定待存储数据不包括敏感数据。
130.又比如，加密单元可通过加密引擎(图中未示出)实现。又比如，提供单元(图中未示出)中的解密部分可通过解密引擎(图中未示出)实现。
131.如图8所示，本发明实施例提供一种数据处理系统800，该数据处理系统800包括：生产数据库801、数据湖802以及上述任一实施例提供的数据处理装置700，其中，
132.生产数据库801，用于将自身的数据作为待存储数据进行传输；
133.数据处理装置700，用于为数据湖划分出敏感数据岛；遍历生产数据库801传输的待存储数据，当遍历的结果包括待存储数据中的敏感数据时，为敏感数据生成对应的密钥；利用密钥加密敏感数据；将加密后的敏感数据发送给敏感数据岛8021，将待存储数据中的非敏感数据发送给数据湖802中的敏感数据岛之外的存储区域8022；
134.数据湖802包括：敏感数据岛8021和敏感数据岛之外的存储区域8022，其中，
135.敏感数据岛8021，用于存储加密后的敏感数据；
136.敏感数据岛之外的存储区域8022，用于存储待存储数据中的非敏感数据。
137.图9示出了可以应用本发明实施例的数据处理方法或数据处理装置的示例性系统架构900。
138.如图9所示，系统架构900可以包括终端设备901、902、903，网络904、服务器905、生产数据库906、数据湖907和查询服务器908。网络904用以在终端设备901、902、903和服务器
905之间、服务器905与生产数据库906之间、服务器905与数据湖907之间、生产数据库906与数据湖907之间以及服务器905与查询服务器908之间提供通信链路的介质。网络904可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
139.用户可以使用终端设备901、902、903通过网络904与服务器905交互，以接收或发送消息等。终端设备901、902、903上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
140.终端设备901、902、903可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
141.服务器905可以是提供各种服务的服务器，例如对生产数据库906传输给数据湖907的敏感数据进行管理的服务器，又比如对用户利用终端设备901、902、903或者查询服务器908所发送的数据查询请求提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对遍历到的敏感数据等数据进行分析等处理，并将处理结果(例如加密后的敏感数据
--
仅为示例)存储到数据湖。
142.需要说明的是，本发明实施例所提供的数据处理方法一般由服务器905执行，相应地，数据处理装置一般设置于服务器905中。
143.应该理解，图9中的终端设备、网络、服务器、生产数据库所用服务器、数据湖所用服务器和查询服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、服务器、生产数据库所用服务器、数据湖所用服务器和查询服务器。
144.下面参考图10，其示出了适于用来实现本发明实施例的服务器的计算机系统1000的结构示意图。图10示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
145.如图10所示，计算机系统1000包括中央处理单元(cpu)1001，其可以根据存储在只读存储器(rom)1002中的程序或者从存储部分1008加载到随机访问存储器(ram)1003中的程序而执行各种适当的动作和处理。在ram 1003中，还存储有系统1000操作所需的各种程序和数据。cpu 1001、rom 1002以及ram 1003通过总线1004彼此相连。输入/输出(i/o)接口1005也连接至总线1004。
146.以下部件连接至i/o接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至i/o接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
147.特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(cpu)1001执行时，执行本发明的系统中限定的上述功能。
148.需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计
算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
149.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
150.描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括遍历单元、加密单元以及存储处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，遍历单元还可以被描述为“遍历数据写入请求对应的待存储数据的单元”。
151.作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：在数据湖中，划分出敏感数据岛；响应于生产数据库发送的数据写入请求，遍历数据写入请求对应的待存储数据；当遍历的结果包括待存储数据中的敏感数据时，为敏感数据生成对应的密钥；利用密钥加密敏感数据；将加密后的敏感数据存储到所述敏感数据岛，以及将待存储数据中的非敏感数据存储到数据湖中的敏感数据岛之外的存储区域。
152.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：设置有多种密钥生成方案；从多种密钥生成方案中选择目标密钥生成方案；利用目标密钥生成方案，为敏感数据生成对应的密钥。
153.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：为密钥生成对应的密钥特征标识；将密钥与密钥特征标识对应存储，并将密钥特征标识提供给敏感数据的授权用户；根据授权用户的密钥特征标识，为授权用户提供相应的敏感数据。
154.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：密钥特征标识包括敏感数据存储地址信息；当接收到具有密钥特征标识的查询请求时，根据密钥特征标识查找密钥，并根据敏感数据存储地址信息，查找加密的敏感数据；利用查找到的密钥，对查找到的加密的敏感数据进行解密，并将解密得到的敏感数据提供给授权用户。
155.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：密钥特征标识进一步包括有解密密钥信息、敏感数据存储地址信息；当接收到具有密钥特征标识的查询请求时，解析目标加密方案的特征标识包括的敏感数据存储地址信息，并根据敏感数据存储地址信息，查找加密的敏感数据；将加密的敏感数据发送给授权用户，以使授权用户所在的终端或服务端解析密钥特征标识包括的解密密钥信息，并利用解析出的解密密钥对加密的敏感数据进行解密。
156.根据本发明实施例的技术方案，通过遍历待存储数据，当遍历出敏感数据时，为敏感数据生成密钥，通过密钥加密敏感数据，然后将加密后的敏感数据以及待存储数据中的非敏感数据存储到数据湖，实现了对数据湖中的敏感数据加密存储，从而保证数据湖中敏感数据的安全性。
157.根据本发明实施例的技术方案，与从已经存储的数据的数据量相比，待存储数据的数据量小得多，那么，与从已经存储的数据中查找敏感数据相比，该从待存储数据中遍历出敏感数据，能够提高敏感数据查找效率。
158.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。