一种大数据平台数据脱敏系统

技术特征：
1.一种大数据平台数据脱敏系统，包括系统架构、系统处理流程、敏感数据识别方法、系统主要功能，其特征在于：所述系统架构包括资源层、数据层、服务层、应用层、安全管理和运维管理，所述系统处理流程包括脱敏需求配置、敏感数据识别、脱敏策略配置、脱敏服务运行和脱敏状态监控五个环节，所述敏感数据识别分为两个阶段，即数据源注册和数据脱敏任务执行，所述系统主要功能主要包括敏感数据识别、数据脱敏、脱敏验证主要部分组成；所述资源层为数据脱敏服务提供基础性物理资源，包括计算资源、网络资源和存储资源；所述数据层包括支持系统完成智能敏感数据发现、脱敏的各类数据库、知识库，针对不同敏感数据的脱敏规则库，管理规则及规则集合的脱敏策略库，支持智能敏感数据发现的本体知识库和机器学习所形成的模型库，运维管理和安全管理所需的权限库；所述服务层以松耦合的方式承载数据脱敏所需的一系列核心服务及中间件，提供数据脱敏、规则化和服务化三大引擎；所述应用层是面向最终用户，按照数据类型，提供数据库脱敏、文件脱敏以及多媒体脱敏；所述运维管理包括用户、策略、数据源系统要素及配置的管理，确保系统的可用性；所述安全管理包括权限、角色和合规性安全隐私要素及配置的管理，确保系统的对外安全性和自身安全性，它与运维管理的协同。2.根据权利要求1所述的一种大数据平台数据脱敏系统，其特征在于：所述脱敏需求配置是根据用户的资产重要性和数据价值对脱敏的粒度、强度和目标进行定义和配置；所述敏感数据识别是对目标系统的全量数据进行智能识别，获取用户数据源中数据元信息、数据结构，对数据字段的内容进行分析，对格式和语义进行识别，对主键及外键进行处理，识别出系统中存在的敏感数据；所述脱敏策略配置提供两种脱敏策略的配置方式，一种是基于系统内置的敏感数据类型，采用智能推荐方式进行脱敏策略的配置；另一种是支持用户自定义脱敏策略以及更改合适的脱敏算法；所述脱敏服务运行按照用户需求进行静态数据脱敏和动态数据脱敏；所述脱敏状态监控是持续对脱敏系统的运行情况进行监控和审计，及时发现异常并做出响应。3.根据权利要求1所述的一种大数据平台数据脱敏系统，其特征在于：所述数据源注册时，系统将连接注册数据源，一方面验证数据源的联通性，一方面将获取该数据源的元数据和部分样例数据，系统将对样例数据执行一次敏感数据的初步识别，其步骤下：s1、系统识别获取的样例数据，通过其数据类型(字符、数值)和数据内容进行敏感数据识别；s2、敏感数据识别由敏感数据识别引擎完成；敏感数据识别引擎采用规则、知识库以及自然语言处理中的命名实体识别、特征词提取，特征密度计算方式进行智能识别；s3、字段属于长字段，则对该字段进行标记；s4、字段不属于长字段，但无法进行敏感数据识别，此时系统将对其字段描述进行语义分析和理解，补充相关信息后进行识别；
s5、识别出的字段将存储在敏感字段识别库中。4.根据权利要求1所述的一种大数据平台数据脱敏系统，其特征在于：所述数据脱敏任务执行阶段为提高敏感数据发现以及数据脱敏的效率，在脱敏任务执行阶段，主要对长字段进行识别，步骤下：s1、系统根据用户配置的参数对访问数据库的所有sql语句进行解析，首先在敏感数据字段库中查验哪些属于敏感字段，已识别出的敏感字段按其脱敏策略执行脱敏；s2、字段为长字段，则获取每一条流经系统的数据，送入敏感数据识别引擎中；s3、根据识别结果进行脱敏。5.根据权利要求1所述的一种大数据平台数据脱敏系统，其特征在于：所述敏感数据识别将针对不同数据的特点，设计敏感数据识别所需的模型、算法、知识库，以覆盖数据库中敏感字段的识别、其中敏感数据的识别、图片和视频中的敏感区域识别。6.根据权利要求1所述的一种大数据平台数据脱敏系统，其特征在于：所述数据脱敏：将针对不同类型的数据形态，实现不破坏其数据格式和可用性的数据脱敏处理。7.根据权利要求1所述的一种大数据平台数据脱敏系统，其特征在于：所述脱敏验证数据脱敏的本质是通过数据变形来保证对敏感信息的保护，主要目标是安全使用数据。

技术总结
本发明提供一种大数据平台数据脱敏系统，涉及大数据脱敏系统领域。包括系统架构、系统处理流程、敏感数据识别方法、系统主要功能，所述系统架构包括资源层、数据层、服务层、应用层、安全管理和运维管理，所述系统处理流程包括脱敏需求配置、敏感数据识别、脱敏策略配置、脱敏服务运行和脱敏状态监控五个环节，所述敏感数据识别分为两个阶段，即数据源注册和数据脱敏任务执行。本发明能够的安全有效的保护大数据信息和数据，并且更加精确理解用户需求、更细的粒度、更高的精确度和可用度、更佳的自动化程度、更好的抗破解能力、更强的扩展能力和更友好的方式呈现，从而满足用户多领域的数据交互、共享和融合需求。共享和融合需求。共享和融合需求。


技术研发人员：钱永钢
受保护的技术使用者：重庆智能工程职业学院
技术研发日：2022.10.21
技术公布日：2023/1/31