大数据平台全流程数据加密保护方法与流程

1.本发明涉及大数据处理技术领域，特别涉及一种大数据平台全流程数据加密保护方法。


背景技术：

2.目前实现大数据应用的主流技术路线是采用hadoop生态内的一系列大数据组件，分别实现海量多源数据的采集、传输、存储、处理(计算)等功能。数据作为一种“原材料”，经历清洗、转发、存储、计算/查询、分析等，实现从低价值向高价值的转换。然而，现有的大数据平台内的加密技术和实现往往只关注单个组件内部的加密实现，如hdfs加密、hbase加密、fl ink加密等，这些加密技术基本采用加解密算法模块来实现本组件内部的透明加密。这样的数据加密处理会带来以下弊端：
3.首先，这些加密技术往往仅包括国际加密算法，对国产密码算法的支持不足，限制了在我国关键信息基础设施等场景下的应用；
4.其次，这些加密技术往往只能保护单个组件内部的数据机密性，无法应对组件间数据流转的保护要求。
5.此外，现有的数据加密技术中的密钥管理都未采用硬件级的保护方式，无法保证密钥的生成质量和存储安全性；
6.最后，现有大数据平台中的加密技术过于底层，强调加解密动作的“透明”，即减少对访问数据的影响。但同时降低了对数据保护的力度，因为加密的保护强依赖于业务侧的身份认证。


技术实现要素：

7.本发明的目的旨在至少解决所述技术缺陷之一。
8.为此，本发明的目的在于提出一种大数据平台全流程数据加密保护方法，以解决背景技术中所提到的问题，克服现有技术中存在的不足。
9.为了实现上述目的，本发明的实施例提供一种大数据平台全流程数据加密保护方法，包括如下步骤：
10.步骤s1，加密操作：
11.步骤s11，大数据组件触发加密需求，向加解密算法模块调用加密引擎；
12.步骤s12，加解密算法模块向密钥管理系统获取密钥，由所述密钥管理系统进行身份认证和鉴权；
13.步骤s13，所述密钥管理系统如果请求成功，则返回密钥；否则请求失败；
14.步骤s14，所述加解密算法模块进行加密运算，然后向大数据组件返回加密结果；
15.步骤s2，解密操作：
16.步骤s21，大数据组件触发解密请求，向加解密算法模块调用解密引擎；
17.步骤s22，加解密算法模块向密钥管理系统获取密钥，由密钥管理系统进行身份认
证和鉴权；
18.步骤s23，所述密钥管理系统如果请求成功，则返回密钥；否则请求失败；
19.步骤s24，所述加解密算法模块进行解密运算，然后向大数据组件返回解密结果。
20.由上述任一方案优选的是，在所述步骤s11中，所述大数据组件采用手动或自动方式触发加密需求；
21.在所述步骤s21中，所述大数据组件采用手动或自动方式触发解密需求。
22.由上述任一方案优选的是，在加密需求发生后，将加密需求发送至加解密算法模块，所述加解密算法模块向密钥管理系统请求密钥，如果是初次请求则是生成，否则就是获取密钥；然后，密钥管理系统需要对密钥请求方的身份进行认证和鉴权，成功则返回密钥，失败则返回错误码；对于成功的情况，加解密算法模块则继续进行加密运算，并将密文返回给大数据组件。
23.由上述任一方案优选的是，在解密需求发生后，将解密需求发送至加解密算法模块，所述加解密算法模块向密钥管理系统请求密钥；然后，密钥管理系统需要对密钥请求方的身份进行认证和鉴权，成功则返回密钥，失败则返回错误码；对于成功的情况，加解密算法模块则继续进行解密运算，并将密文返回给大数据组件。
24.本发明的实施例还提供一种大数据平台全流程数据加密保护系统，包括：大数据组件、加解密算法模块和密钥管理系统，其中，
25.当执行加密操作时：
26.所述大数据组件触发加密需求，向加解密算法模块调用加密引擎；加解密算法模块向密钥管理系统获取密钥，由所述密钥管理系统进行身份认证和鉴权；所述密钥管理系统如果请求成功，则返回密钥；否则请求失败；所述加解密算法模块进行加密运算，然后向大数据组件返回加密结果；
27.当执行解密操作时：
28.所述大数据组件触发解密请求，向加解密算法模块调用解密引擎；加解密算法模块向密钥管理系统获取密钥，由密钥管理系统进行身份认证和鉴权；所述密钥管理系统如果请求成功，则返回密钥；否则请求失败；所述加解密算法模块进行解密运算，然后向大数据组件返回解密结果。
29.由上述任一方案优选的是，所述大数据组件采用手动或自动方式触发加密需求和解密需求。
30.由上述任一方案优选的是，所述大数据组件在加密需求发生后，将加密需求发送至所述加解密算法模块，所述加解密算法模块向密钥管理系统请求密钥，如果是初次请求则是生成，否则就是获取密钥；然后，密钥管理系统需要对密钥请求方的身份进行认证和鉴权，成功则返回密钥，失败则返回错误码；对于成功的情况，加解密算法模块则继续进行加密运算，并将密文返回给大数据组件。
31.由上述任一方案优选的是，所述大数据组件在解密需求发生后，将解密需求发送至加解密算法模块，所述加解密算法模块向密钥管理系统请求密钥；然后，密钥管理系统需要对密钥请求方的身份进行认证和鉴权，成功则返回密钥，失败则返回错误码；对于成功的情况，加解密算法模块则继续进行解密运算，并将密文返回给大数据组件。
32.本发明实施例的大数据平台全流程数据加密保护方法将传统大数据平台内加密
技术“各自为政”的方式整合为统一管控的方式，客观上实现敏感数据在大数据平台“存储、处理、传输”流转的全过程的加密保护，突破了仅在单一组件内实现加密的限制。本发明实现跨组件密文流转。
33.本发明实施例的大数据平台全流程数据加密保护方法，具有以下有益效果：
34.1、采用“分布式加密，集中化管控”的核心思路，通过在不同的大数据平台组件中部署对应的加解密算法模块，实现各自组件加密赋能的同时，将“密钥”这个核心数据进行集中、安全、合规地管控，从而使密文在跨组件流转时密钥可以及时伴随。
35.2、提供大数据平台内密钥的统一管理。本发明采用“分布式加密，集中化管控”的核心思路，已经将密钥的管理统一化、集中化。同时本发明内的密钥集中管理的设计也支持hadoop kms rest(hadoop原生密钥管理系统管理接口)，从而实现整体大数据平台内整体密钥体系建设的统一化。
36.3、实现密钥安全性的提高。传统的大数据平台内的加密技术对于密钥的管理往往采用软件实现，从而导致随机数(密钥的原材料)生成质量低，且密钥的存储安全强度弱。本发明采用符合国家密码管理认可的安全、合规的硬件级密码模块，提供独立专有的密码运算“黑盒”，提升密钥安全性。
37.4、提供丰富的密码算法。因为本发明中提及的密码运算由加解密算法模块负责，该模块算法扩展性强、平台兼容性好、组件适配能力强，可以支持主流的sm2/3/4、aes、3des、rsa等算法，同时可以扩展pallier、ealgaml等同态加密算法和fpe(format-preserve-encryption)保留格式加密等。
38.5、提供更完善的密码保护机制。现有大数据平台内的加密技术往往采用“存储tde、传输tls”的方式，将安全性过度让渡给了系统的易用性，例如只要通过系统的身份鉴别和鉴权，就可自动解密；tls协议不区分数据是否敏感，全部加密传输。本发明在保障系统易用性的前提下，提升安全性。主要在于仅通过不改动或者少量改动大数据平台内组件代码，即可实现加密赋能。同时，构建第三方基于密码视图下的4a(account、authorization、asset和audit)体系。
39.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
40.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
41.图1a和图1b为根据本发明实施例的大数据平台全流程数据加密保护方法的流程图；
42.图2为根据本发明实施例的密钥管理系统的架构图；
43.图3为根据本发明实施例的加密操作的逻辑流程图；
44.图4为根据本发明实施例的解密操作的逻辑流程图。
具体实施方式
45.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终
相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
46.下面对本发明中涉及的术语名词进行解释说明：
47.tls：传输层安全性协议(英语：transport layer security，缩写作tls)，目的是为互联网通信提供安全及数据完整性保障。
48.tde：transparent data encryption，一种对用户和进程透明的加密保护技术。
49.kms：key management system，一种针对密钥数据进行专门管理的安全系统。
50.本发明在解决大数据场景下敏感数据全生命周期的机密性和完整性问题。从数据流转的视角来看，数据生命周期包括收集，传输，存储，处理，共享和销毁等，本专利采用“分布式加密，集中化管控”的核心思想，充分利用大数据平台分布式运算的性能优势，通过集中地管控数据密钥，从而构建一个边界清晰的密码保护范围，参考图2.
51.通过密钥管理系统集中的管理密钥，以及部署在各个组件上的密码服务中间件，实现各组件中敏感数据的数据加密和解密。加密中间件透明地嵌入各大数据组件，并和密钥管理系统进行密钥交互，在安全获得密钥后利用大数据组件自身的计算性能实现数据的明密文转换。
52.密钥管理系统是一个负责集中化管控所有数据加密密钥的后台系统，管控的范围包括密钥的生成、存储、分发、删除、更新、鉴权、属主身份鉴别、操作日志记录等。加解密算法模块主要承担与具体的大数据组件集成和适配，为大数据组件提供数据加密运算的软件实现，同时将密钥的管理托管在后端的密钥管理系统。
53.从大数据处理的业务逻辑来看，一般会经过etl、kalfa、hive、hbase、mpp、flink、spark等组件，分别实现对数据的清洗、存储/缓存、流处理/批处理、查询等。数据应该在etl，即清洗阶段首先进行加密处理，使得这些敏感数据在进入大数据平台的开始阶段穿上“铠甲”。此后被防护的数据在大数据平台内的给组件流转中都会以密文形式出现，只有在有解密需求，同时通过密码安全侧的身份认证和鉴权后，方可获取密钥实现明文的获取。
54.从数据加密和解密的实现逻辑来看，主要涉及的主体是大数据组件本身，加解密算法模块和密钥管理系统。
55.如图1a和图1b所示，本发明实施例的大数据平台全流程数据加密保护方法，包括如下步骤：
56.步骤s1，加密操作，包括如下步骤：
57.步骤s11，大数据组件触发加密需求，向加解密算法模块调用加密引擎。
58.在步骤s11中，大数据组件采用手动或自动方式触发加密需求。
59.步骤s12，加解密算法模块向密钥管理系统获取密钥，由密钥管理系统进行身份认证和鉴权；
60.步骤s13，密钥管理系统如果请求成功，则返回密钥；否则请求失败；
61.步骤s14，加解密算法模块进行加密运算，然后向大数据组件返回加密结果。
62.具体的，在数据加密逻辑里，首先由大数据组件本身发起加密需求。手动一般指由人员手动触发加密操作，例如执行在hive内的hql语句实现加密。自动指由程序触发的加密操作，如在etl阶段对于某敏感字段进行加密操作。在加密需求发生后，请求会被发送至加解密算法模块，该模块随即向密钥管理系统请求密钥，如初次请求则是生成，否则就是获取
密钥。然后，密钥管理系统需要对密钥请求方的身份进行认证和鉴权，成功则返回密钥，失败则返回错误码。对于成功的情况，软件加密模块则继续进行加密运算，并将密文返回给大数据组件。
63.步骤s2，解密操作，包括如下步骤：
64.步骤s21，大数据组件触发解密请求，向加解密算法模块调用解密引擎。
65.在步骤s21中，大数据组件采用手动或自动方式触发解密需求。
66.步骤s22，加解密算法模块向密钥管理系统获取密钥，由密钥管理系统进行身份认证和鉴权；
67.步骤s23，密钥管理系统如果请求成功，则返回密钥；否则请求失败；
68.步骤s24，加解密算法模块进行解密运算，然后向大数据组件返回解密结果。
69.具体的，在解密需求发生后，将解密需求发送至加解密算法模块，加解密算法模块向密钥管理系统请求密钥；然后，密钥管理系统需要对密钥请求方的身份进行认证和鉴权，成功则返回密钥，失败则返回错误码；对于成功的情况，加解密算法模块则继续进行解密运算，并将密文返回给大数据组件。
70.由上可知，解密的逻辑基本与加密逻辑类似，唯一不同在于不存在密钥生成的情况，都是对已有密钥的获取。
71.如图2所示，本发明实施例的大数据平台全流程数据加密保护系统，包括：大数据组件1、加解密算法模块2和密钥管理系统3。
72.参考图3，当执行加密操作时：
73.大数据组件1触发加密需求，向加解密算法模块2调用加密引擎；加解密算法模块2向密钥管理系统3获取密钥，由密钥管理系统3进行身份认证和鉴权；密钥管理系统3如果请求成功，则返回密钥；否则请求失败；加解密算法模块2进行加密运算，然后向大数据组件1返回加密结果。
74.具体的，大数据组件1在加密需求发生后，将加密需求发送至加解密算法模块2，加解密算法模块2向密钥管理系统3请求密钥，如果是初次请求则是生成，否则就是获取密钥；然后，密钥管理系统3需要对密钥请求方的身份进行认证和鉴权，成功则返回密钥，失败则返回错误码；对于成功的情况，加解密算法模块2则继续进行加密运算，并将密文返回给大数据组件1。
75.参考图4，当执行解密操作时：
76.大数据组件1触发解密请求，向加解密算法模块2调用解密引擎；加解密算法模块2向密钥管理系统3获取密钥，由密钥管理系统3进行身份认证和鉴权；密钥管理系统3如果请求成功，则返回密钥；否则请求失败；加解密算法模块2进行解密运算，然后向大数据组件1返回解密结果。
77.具体的，大数据组件1在解密需求发生后，将解密需求发送至加解密算法模块2，加解密算法模块2向密钥管理系统3请求密钥；然后，密钥管理系统3需要对密钥请求方的身份进行认证和鉴权，成功则返回密钥，失败则返回错误码；对于成功的情况，加解密算法模块2则继续进行解密运算，并将密文返回给大数据组件1。
78.在本发明的实施例中，大数据组件1采用手动或自动方式触发加密需求和解密需求。
79.本发明实施例的大数据平台全流程数据加密保护方法将传统大数据平台内加密技术“各自为政”的方式整合为统一管控的方式，客观上实现敏感数据在大数据平台“存储、处理、传输”流转的全过程的加密保护，突破了仅在单一组件内实现加密的限制。本发明实现跨组件密文流转。
80.本发明实施例的大数据平台全流程数据加密保护方法，具有以下有益效果：
81.1、采用“分布式加密，集中化管控”的核心思路，通过在不同的大数据平台组件中部署对应的加解密算法模块，实现各自组件加密赋能的同时，将“密钥”这个核心数据进行集中、安全、合规地管控，从而使密文在跨组件流转时密钥可以及时伴随。
82.2、提供大数据平台内密钥的统一管理。本发明采用“分布式加密，集中化管控”的核心思路，已经将密钥的管理统一化、集中化。同时本发明内的密钥集中管理的设计也支持hadoop kms rest(hadoop原生密钥管理系统管理接口)，从而实现整体大数据平台内整体密钥体系建设的统一化。
83.3、实现密钥安全性的提高。传统的大数据平台内的加密技术对于密钥的管理往往采用软件实现，从而导致随机数(密钥的原材料)生成质量低，且密钥的存储安全强度弱。本发明采用符合国家密码管理认可的安全、合规的硬件级密码模块，提供独立专有的密码运算“黑盒”，提升密钥安全性。
84.4、提供丰富的密码算法。因为本发明中提及的密码运算由加解密算法模块负责，该模块算法扩展性强、平台兼容性好、组件适配能力强，可以支持主流的sm2/3/4、aes、3des、rsa等算法，同时可以扩展pallier、ealgaml等同态加密算法和fpe(format-preserve-encryption)保留格式加密等。
85.5、提供更完善的密码保护机制。现有大数据平台内的加密技术往往采用“存储tde、传输tls”的方式，将安全性过度让渡给了系统的易用性，例如只要通过系统的身份鉴别和鉴权，就可自动解密；tls协议不区分数据是否敏感，全部加密传输。本发明在保障系统易用性的前提下，提升安全性。主要在于仅通过不改动或者少量改动大数据平台内组件代码，即可实现加密赋能。同时，构建第三方基于密码视图下的4a(account、authorization、asset和audit)体系。
86.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
87.本领域技术人员不难理解，本发明包括上述说明书的发明内容和具体实施方式部分以及附图所示出的各部分的任意组合，限于篇幅并为使说明书简明而没有将这些组合构成的各方案一一描述。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
88.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。