一种利用安全沙箱对数据湖数据进行存取的方法和系统与流程

1.本发明属于数据存储和访问领域，尤其涉及一种利用安全沙箱对数据湖数据进行存取的方法和系统。


背景技术：

2.数据湖本身面向多数据源的信息存储，其中可存储结构化数据以及非结构化数据；针对数据湖中存储的数据，尤其是针对非结构化数据，例如文本文件、图片、视频以及音频等，都以易于读取的方式进行存储。如果一个存储库的安全被破坏，那么未知方就可能会访问所有的数据湖。通过接口访问数据库中的数据，并通过数据交付的方式给请求方。这种场景中若无对应的访问代理控制数据获取机制，可能会导致非法访问请求获取到全部数据。


技术实现要素：

3.为解决上述技术问题，本技术提出一种利用安全沙箱对数据湖数据进行存取的方案。
4.本发明第一方面公开了一种利用安全沙箱对数据湖数据进行存取的方法。所述安全沙箱用于实现对所述数据湖中的数据的安全存储和安全访问，所述安全沙箱包括访问代理模块、数据存储模块、权限管理模块、授权追踪模块和访问审计模块，其中所述访问代理模块包括请求鉴权模块、参数控制模块和数据回执模块，所述数据存储模块包括格式转换模块、数据落地模块和数据接口模块。所述方法具体包括：
5.向所述数据湖存储数据时：
6.所述安全沙箱在接收到请求方发送的存储请求后，由所述访问代理模块中的所述请求鉴权模块执行对所述存储请求的鉴权处理，以判断所述存储请求是否合法；
7.若是，则将所述存储请求发送至所述数据存储模块以获取所述待存储的数据，由所述数据存储模块中的所述格式转换模块对所述待存储的数据进行格式转换，并由所述数据存储模块中的所述数据落地模块将经格式转换的待存储的数据存储至所述数据湖；
8.若否，则禁止对所述待存储的数据的存储进程，向所述请求方返回鉴权不通过的消息；
9.从所述数据湖获取数据时：
10.所述安全沙箱在接收到所述请求方发送的获取请求后，由所述访问代理模块中的所述请求鉴权模块执行对所述获取请求的鉴权处理，以判断所述获取请求是否合法；
11.若是，则将所述获取请求发送至所述参数控制模块以获取所述请求方在所述数据湖中能够访问的数据范围，并由所述数据回执模块经由所述数据存储模块中的所述数据接口模块获取所述请求方请求的且在所述数据范围内的数据，并将获取到的数据发返回至所述请求方；
12.若否，则禁止所述请求方对所述数据湖中的数据进行访问，向所述请求方返回鉴
权不通过的消息。
13.根据本发明第一方面的方法，所述请求鉴权模块执行对所述存储请求的鉴权处理具体包括：
14.校验所述存储请求中的存储应用方标识是否存在：
15.若否，则返回鉴权不通过的消息；
16.若是，则对所述存储应用方表示进行校验，判断所述存储应用方是否为被允许的应用：
17.若否，则返回鉴权不通过的消息；
18.若是，则通过对所述存储应用方标识的校验，进一步校验所述存储请求中的令牌信息是否合法：
19.若否，则返回鉴权不通过的消息；
20.若是，则通过所述鉴权处理。
21.根据本发明第一方面的方法，所述格式转换模块对所述待存储的数据进行格式转换具体包括：
22.调用所述格式转换模块中的结构化数据组件和非结构化数据组件；
23.当所述待存储的数据为结构化数据时，利用所述结构化数据组件将所述待存储的数据转化为所述结构化数据组件包含的结构化模式，并进行加密存储，同时保存所述存储应用方标识、所述加密存储的时间和路径；
24.当所述待存储的数据为非结构化数据时，利用所述非结构化数据组件将所述待存储的数据转化为所述非结构化数据组件包含的非结构化模式，并进行加密存储，同时保存所述存储应用方标识、所述加密存储的时间和路径。
25.根据本发明第一方面的方法，所述获取请求中包含请求应用方标识、鉴权令牌、待获取的数据类型和数据检索条件，其中：
26.所述请求应用标识和所述鉴权令牌用于对所述获取请求的鉴权处理，并且所述请求应用方标识用于确定所述请求方在所述数据湖中能够访问的数据范围；
27.所述待获取的数据类型用于从所述数据湖中获取与所述数据类型对应的结构化数据或非结构化数据；
28.所述数据检索条件用于对待获取的数据进行条件查询，以获取与查询结果对应的数据。
29.根据本发明第一方面的方法，所述参数控制模块在获取所述请求方在所述数据湖中能够访问的数据范围后，判断所述请求方要获取的数据是否在所述能够访问的数据范围中，并将判断结果发送至所述数据回执模块；其中：
30.当所述判断结果为是时，经由所述数据接口模块从所述数据湖中提取出对应的数据，通过格式转换，将所述对应的数据从符合所述安全沙箱的存储规则的格式转换为原始格式，并作为所述获取到的数据从所述数据回执模块返回至所述请求方；
31.当所述判断结果为否时，所述数据回执模块向所述请求方发送超出访问范围的消息。
32.本发明第二方面公开了一种利用安全沙箱对数据湖数据进行存取的系统。所述安全沙箱用于实现对所述数据湖中的数据的安全存储和安全访问，所述安全沙箱包括访问代
理模块、数据存储模块、权限管理模块、授权追踪模块和访问审计模块，其中所述访问代理模块包括请求鉴权模块、参数控制模块和数据回执模块，所述数据存储模块包括格式转换模块、数据落地模块和数据接口模块。所述系统具体包括：
33.第一处理单元，被配置为，当向所述数据湖存储数据时：
34.在检测到所述安全沙箱接收到请求方发送的存储请求后，调用所述访问代理模块中的所述请求鉴权模块执行对所述存储请求的鉴权处理，以判断所述存储请求是否合法；
35.若是，则调用所述请求鉴权模块将所述存储请求发送至所述数据存储模块以获取所述待存储的数据，调用所述数据存储模块中的所述格式转换模块对所述待存储的数据进行格式转换，并调用所述数据存储模块中的所述数据落地模块将经格式转换的待存储的数据存储至所述数据湖；
36.若否，则禁止对所述待存储的数据的存储进程，调用所述请求鉴权模块向所述请求方返回鉴权不通过的消息；
37.第二处理单元，被配置为，当从所述数据湖获取数据时：
38.在检测到所述安全沙箱接收到所述请求方发送的获取请求后，调用所述访问代理模块中的所述请求鉴权模块执行对所述获取请求的鉴权处理，以判断所述获取请求是否合法；
39.若是，则调用所述请求鉴权模块将所述获取请求发送至所述参数控制模块以获取所述请求方在所述数据湖中能够访问的数据范围，并调用所述数据回执模块经由所述数据存储模块中的所述数据接口模块获取所述请求方请求的且在所述数据范围内的数据，并将获取到的数据发返回至所述请求方；
40.若否，则禁止所述请求方对所述数据湖中的数据进行访问，调用所述请求鉴权模块向所述请求方返回鉴权不通过的消息。
41.根据本发明第二方面的系统，所述请求鉴权模块执行对所述存储请求的鉴权处理具体包括：
42.校验所述存储请求中的存储应用方标识是否存在：
43.若否，则返回鉴权不通过的消息；
44.若是，则对所述存储应用方表示进行校验，判断所述存储应用方是否为被允许的应用：
45.若否，则返回鉴权不通过的消息；
46.若是，则通过对所述存储应用方标识的校验，进一步校验所述存储请求中的令牌信息是否合法：
47.若否，则返回鉴权不通过的消息；
48.若是，则通过所述鉴权处理。
49.根据本发明第二方面的系统，所述格式转换模块对所述待存储的数据进行格式转换具体包括：
50.调用所述格式转换模块中的结构化数据组件和非结构化数据组件；
51.当所述待存储的数据为结构化数据时，利用所述结构化数据组件将所述待存储的数据转化为所述结构化数据组件包含的结构化模式，并进行加密存储，同时保存所述存储应用方标识、所述加密存储的时间和路径；
52.当所述待存储的数据为非结构化数据时，利用所述非结构化数据组件将所述待存储的数据转化为所述非结构化数据组件包含的非结构化模式，并进行加密存储，同时保存所述存储应用方标识、所述加密存储的时间和路径。
53.根据本发明第二方面的系统，所述获取请求中包含请求应用方标识、鉴权令牌、待获取的数据类型和数据检索条件，其中：
54.所述请求应用标识和所述鉴权令牌用于对所述获取请求的鉴权处理，并且所述请求应用方标识用于确定所述请求方在所述数据湖中能够访问的数据范围；
55.所述待获取的数据类型用于从所述数据湖中获取与所述数据类型对应的结构化数据或非结构化数据；
56.所述数据检索条件用于对待获取的数据进行条件查询，以获取与查询结果对应的数据。
57.根据本发明第二方面的系统，所述第二处理单元具体被配置为：
58.在所述参数控制模块获取所述请求方在所述数据湖中能够访问的数据范围后，判断所述请求方要获取的数据是否在所述能够访问的数据范围中，并将判断结果发送至所述数据回执模块；其中：
59.当所述判断结果为是时，经由所述数据接口模块从所述数据湖中提取出对应的数据，通过格式转换，将所述对应的数据从符合所述安全沙箱的存储规则的格式转换为原始格式，并作为所述获取到的数据从所述数据回执模块返回至所述请求方；
60.当所述判断结果为否时，所述数据回执模块向所述请求方发送超出访问范围的消息。
61.本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中任一项所述的一种利用安全沙箱对数据湖数据进行存取的方法中的步骤。
62.本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中任一项所述的一种利用安全沙箱对数据湖数据进行存取的方法中的步骤。
63.综上，本发明提供的技术方案基于沙箱以及访问代理相结合的方式确保数据湖中存储的数据的安全性，具体地，通过沙箱控制数据最终落地存储的文件形式，通过访问代理的方式对数据请求进行校验以及鉴权，整体上提供针对数据湖数据的安全解决方案。
附图说明
64.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
65.图1为根据本发明实施例的安全沙箱的示意图；
66.图2为根据本发明实施例的一种电子设备的结构图。
具体实施方式
67.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
68.本发明第一方面公开了一种利用安全沙箱对数据湖数据进行存取的方法。图1为根据本发明实施例的安全沙箱的示意图；如图1所示，所述安全沙箱用于实现对所述数据湖中的数据的安全存储和安全访问，所述安全沙箱包括访问代理模块、数据存储模块、权限管理模块、授权追踪模块和访问审计模块，其中所述访问代理模块包括请求鉴权模块、参数控制模块和数据回执模块，所述数据存储模块包括格式转换模块、数据落地模块和数据接口模块。
69.所述方法具体包括：
70.向所述数据湖存储数据时：
71.所述安全沙箱在接收到请求方发送的存储请求后，由所述访问代理模块中的所述请求鉴权模块执行对所述存储请求的鉴权处理，以判断所述存储请求是否合法；
72.若是，则将所述存储请求发送至所述数据存储模块以获取所述待存储的数据，由所述数据存储模块中的所述格式转换模块对所述待存储的数据进行格式转换，并由所述数据存储模块中的所述数据落地模块将经格式转换的待存储的数据存储至所述数据湖；
73.若否，则禁止对所述待存储的数据的存储进程，向所述请求方返回鉴权不通过的消息。
74.所述方法具体包括：
75.从所述数据湖获取数据时：
76.所述安全沙箱在接收到所述请求方发送的获取请求后，由所述访问代理模块中的所述请求鉴权模块执行对所述获取请求的鉴权处理，以判断所述获取请求是否合法；
77.若是，则将所述获取请求发送至所述参数控制模块以获取所述请求方在所述数据湖中能够访问的数据范围，并由所述数据回执模块经由所述数据存储模块中的所述数据接口模块获取所述请求方请求的且在所述数据范围内的数据，并将获取到的数据发返回至所述请求方；
78.若否，则禁止所述请求方对所述数据湖中的数据进行访问，向所述请求方返回鉴权不通过的消息。
79.在一些实施例中，所述请求鉴权模块执行对所述存储请求的鉴权处理具体包括：
80.校验所述存储请求中的存储应用方标识是否存在：
81.若否，则返回鉴权不通过的消息；
82.若是，则对所述存储应用方表示进行校验，判断所述存储应用方是否为被允许的应用：
83.若否，则返回鉴权不通过的消息；
84.若是，则通过对所述存储应用方标识的校验，进一步校验所述存储请求中的令牌信息是否合法：
85.若否，则返回鉴权不通过的消息；
86.若是，则通过所述鉴权处理。
87.在一些实施例中，所述格式转换模块对所述待存储的数据进行格式转换具体包括：
88.调用所述格式转换模块中的结构化数据组件和非结构化数据组件；
89.当所述待存储的数据为结构化数据时，利用所述结构化数据组件将所述待存储的数据转化为所述结构化数据组件包含的结构化模式，并进行加密存储，同时保存所述存储应用方标识、所述加密存储的时间和路径；
90.当所述待存储的数据为非结构化数据时，利用所述非结构化数据组件将所述待存储的数据转化为所述非结构化数据组件包含的非结构化模式，并进行加密存储，同时保存所述存储应用方标识、所述加密存储的时间和路径。
91.在一些实施例中，所述获取请求中包含请求应用方标识、鉴权令牌、待获取的数据类型和数据检索条件，其中：
92.所述请求应用标识和所述鉴权令牌用于对所述获取请求的鉴权处理，并且所述请求应用方标识用于确定所述请求方在所述数据湖中能够访问的数据范围；
93.所述待获取的数据类型用于从所述数据湖中获取与所述数据类型对应的结构化数据或非结构化数据；
94.所述数据检索条件用于对待获取的数据进行条件查询，以获取与查询结果对应的数据。
95.在一些实施例中，所述参数控制模块在获取所述请求方在所述数据湖中能够访问的数据范围后，判断所述请求方要获取的数据是否在所述能够访问的数据范围中，并将判断结果发送至所述数据回执模块；其中：
96.当所述判断结果为是时，经由所述数据接口模块从所述数据湖中提取出对应的数据，通过格式转换，将所述对应的数据从符合所述安全沙箱的存储规则的格式转换为原始格式，并作为所述获取到的数据从所述数据回执模块返回至所述请求方；
97.当所述判断结果为否时，所述数据回执模块向所述请求方发送超出访问范围的消息。
98.具体地，存储请求到达安全沙箱后，先对请求进行校验，判断当前请求是否合法。若鉴权失败，禁止存储数据存储。鉴权成功后，将请求转发至格式转换，按照沙箱数据格式进行格式的转换。格式转换后，将数据按照沙箱的方式进行存储，存储的方式不可易读，避免数据泄漏。
99.具体地，数据请求到达安全沙箱后，先对请求进行鉴权判断，当前请求是否有数据请求的权限。若无权限，禁止当前请求访问数据。若存在权限，同时对其请求的数据的参数进行校验，判断当前请求可访问数据的范围，只允许访问权限范围内的数据。通过数据回执接口访问存储的数据的统一接口，按照沙箱的数据标准进行数据返回。
100.具体地，安全沙箱中还包含对应的权限管理、授权追踪、访问审计等功能，管理员可以执行数据存储、请求权限控制等，并对操作记录进行详细记录。具体包括：
101.(1)权限管理模块：
102.管理员在系统中配置为数据存储请求应用以及数据获取应用进行注册，配置应用名称、标识、厂商等基础信息。管理员为不同的应用生成唯一应用标识。管理员启用应用，允
许后续应用可将对应的请求发送至当前的系统。若应用需要被注销，则管理员在应用管理中注销应用，后续不接收当前应用的任何数据请求。
103.(2)授权追踪模块：
104.管理员为启用的应用下发鉴权令牌。管理员为数据获取方配置当前可获取数据(包含非结构化数据以及结构化数据)的请求范围。
105.(3)访问审计模块：
106.数据请求到达系统后，系统记录当前应用的标识、请求时间。判断当前是存储数据请求以及获取数据请求；若为存储数据请求，记录当前中的数据包大小。若为获取数据请求，记录当前数据中的请求参数。系统通过应用标识关联应用的基础信息，并将数据进行落地存储。管理员登录后可在访问审计模块对存储/访问的请求进行详细的审计。
107.本发明第二方面公开了一种利用安全沙箱对数据湖数据进行存取的系统。所述安全沙箱用于实现对所述数据湖中的数据的安全存储和安全访问，所述安全沙箱包括访问代理模块、数据存储模块、权限管理模块、授权追踪模块和访问审计模块，其中所述访问代理模块包括请求鉴权模块、参数控制模块和数据回执模块，所述数据存储模块包括格式转换模块、数据落地模块和数据接口模块。
108.所述系统具体包括：
109.第一处理单元，被配置为，当向所述数据湖存储数据时：
110.在检测到所述安全沙箱接收到请求方发送的存储请求后，调用所述访问代理模块中的所述请求鉴权模块执行对所述存储请求的鉴权处理，以判断所述存储请求是否合法；
111.若是，则调用所述请求鉴权模块将所述存储请求发送至所述数据存储模块以获取所述待存储的数据，调用所述数据存储模块中的所述格式转换模块对所述待存储的数据进行格式转换，并调用所述数据存储模块中的所述数据落地模块将经格式转换的待存储的数据存储至所述数据湖；
112.若否，则禁止对所述待存储的数据的存储进程，调用所述请求鉴权模块向所述请求方返回鉴权不通过的消息；
113.第二处理单元，被配置为，当从所述数据湖获取数据时：
114.在检测到所述安全沙箱接收到所述请求方发送的获取请求后，调用所述访问代理模块中的所述请求鉴权模块执行对所述获取请求的鉴权处理，以判断所述获取请求是否合法；
115.若是，则调用所述请求鉴权模块将所述获取请求发送至所述参数控制模块以获取所述请求方在所述数据湖中能够访问的数据范围，并调用所述数据回执模块经由所述数据存储模块中的所述数据接口模块获取所述请求方请求的且在所述数据范围内的数据，并将获取到的数据发返回至所述请求方；
116.若否，则禁止所述请求方对所述数据湖中的数据进行访问，调用所述请求鉴权模块向所述请求方返回鉴权不通过的消息。
117.根据本发明第二方面的系统，所述请求鉴权模块执行对所述存储请求的鉴权处理具体包括：
118.校验所述存储请求中的存储应用方标识是否存在：
119.若否，则返回鉴权不通过的消息；
120.若是，则对所述存储应用方表示进行校验，判断所述存储应用方是否为被允许的应用：
121.若否，则返回鉴权不通过的消息；
122.若是，则通过对所述存储应用方标识的校验，进一步校验所述存储请求中的令牌信息是否合法：
123.若否，则返回鉴权不通过的消息；
124.若是，则通过所述鉴权处理。
125.根据本发明第二方面的系统，所述格式转换模块对所述待存储的数据进行格式转换具体包括：
126.调用所述格式转换模块中的结构化数据组件和非结构化数据组件；
127.当所述待存储的数据为结构化数据时，利用所述结构化数据组件将所述待存储的数据转化为所述结构化数据组件包含的结构化模式，并进行加密存储，同时保存所述存储应用方标识、所述加密存储的时间和路径；
128.当所述待存储的数据为非结构化数据时，利用所述非结构化数据组件将所述待存储的数据转化为所述非结构化数据组件包含的非结构化模式，并进行加密存储，同时保存所述存储应用方标识、所述加密存储的时间和路径。
129.根据本发明第二方面的系统，所述获取请求中包含请求应用方标识、鉴权令牌、待获取的数据类型和数据检索条件，其中：
130.所述请求应用标识和所述鉴权令牌用于对所述获取请求的鉴权处理，并且所述请求应用方标识用于确定所述请求方在所述数据湖中能够访问的数据范围；
131.所述待获取的数据类型用于从所述数据湖中获取与所述数据类型对应的结构化数据或非结构化数据；
132.所述数据检索条件用于对待获取的数据进行条件查询，以获取与查询结果对应的数据。
133.根据本发明第二方面的系统，所述第二处理单元具体被配置为：
134.在所述参数控制模块获取所述请求方在所述数据湖中能够访问的数据范围后，判断所述请求方要获取的数据是否在所述能够访问的数据范围中，并将判断结果发送至所述数据回执模块；其中：
135.当所述判断结果为是时，经由所述数据接口模块从所述数据湖中提取出对应的数据，通过格式转换，将所述对应的数据从符合所述安全沙箱的存储规则的格式转换为原始格式，并作为所述获取到的数据从所述数据回执模块返回至所述请求方；
136.当所述判断结果为否时，所述数据回执模块向所述请求方发送超出访问范围的消息。
137.本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中任一项所述的一种利用安全沙箱对数据湖数据进行存取的方法中的步骤。
138.图2为根据本发明实施例的一种电子设备的结构图，如图2所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非
易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、近场通信(nfc)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
139.本领域技术人员可以理解，图2中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本技术方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
140.本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中任一项所述的一种利用安全沙箱对数据湖数据进行存取的方法中的步骤。
141.综上，本发明提供的技术方案基于沙箱以及访问代理相结合的方式确保数据湖中存储的数据的安全性，具体地，通过沙箱控制数据最终落地存储的文件形式，通过访问代理的方式对数据请求进行校验以及鉴权，整体上提供针对数据湖数据的安全解决方案。
142.请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。