一种防止泄露敏感信息的数据共享开放方法及系统与流程

技术特征：
1.一种防止泄露敏感信息的数据共享开放方法，其特征在于，包括：s1、对原始数据所包含的敏感信息进行识别并标定；s2、根据标定结果生成数据处理规则库；s3、根据数据处理规则库生成数据处理任务；s4、执行数据处理任务，对原始数据所包含的敏感信息进行处理；s5、基于处理后的数据和数据共享开放规则对外提供数据共享和开放服务。2.根据权利要求1所述的一种防止泄露敏感信息的数据共享开放方法，其特征在于，所述的步骤s1包括：s101、对原始数据进行抽样；s102、结合机器学习算法，判断抽样数据是否包含敏感信息，以及所述敏感信息的敏感信息类型和敏感等级；s103、根据判断结果，使用标签对数据各信息项的敏感属性进行标定；所述敏感属性包括数据信息项是否包含敏感信息、敏感信息类型以及敏感等级。3.根据权利要求2所述的一种防止泄露敏感信息的数据共享开放方法，其特征在于，所述的步骤s103中使用标签对数据各信息项的敏感属性进行标定，可对各单信息项的敏感属性进行标定；也可以对多个信息项的组合所包含的敏感信息进行标定。4.根据权利要求1所述的一种防止泄露敏感信息的数据共享开放方法，其特征在于，所述的步骤s2根据标定结果，结合机器学习算法，制定数据处理规则，形成数据处理规则库；所述数据处理规则包括数据脱敏、变形、字段屏蔽和字符串替换。5.根据权利要求1所述的一种防止泄露敏感信息的数据共享开放方法，其特征在于，所述的步骤s3中数据处理任务包括一个以上的子任务、抽取任务和数据加载任务，所述子任务用于根据数据处理规则库中的一条处理规则对数据进行处理，所述对数据进行处理包括敏感信息脱敏、加密、变形和替换；所述抽取任务用于抽取原始数据，所述数据加载任务用于对处理后的数据输出到文件、数据库或数据仓库，供数据共享和开放使用；所述步骤s3包括：s301、根据数据处理规则库中的每一条处理规则，生成对数据进行处理的一个子任务；s302、将一个以上的子任务连接在一起，并在第一个子任务前增加数据抽取任务、在最后一个子任务后增加数据加载任务，生成数据处理任务。6.根据权利要求1所述的一种防止泄露敏感信息的数据共享开放方法，其特征在于，所述的步骤s3中的数据处理任务的任务类型包括离线处理任务和实时处理任务，所述离线处理任务能够周期性地对原始数据进行数据处理，获得静态数据，并将静态数据存入数据库或文件系统，静态数据能够直接对外共享或开放；所述实时处理任务指在收到数据共享或数据开放请求时，动态执行数据处理任务，获得动态数据，并向请求方发送动态数据；所述的步骤s4中，数据处理任务根据任务类型由系统调度执行，当任务类型为离线处理任务时，则执行离线处理任务，生成静态数据；当任务类型为实时处理任务时，则在收到数据共享或开放请求时，执行实时处理任务，生成动态数据，并向请求方发送动态数据。7.一种防止泄露敏感信息的数据共享开放系统，其特征在于，包括原始数据存储库、元数据存储库、数据标定模块、规则管理模块、任务管理模块、数据处理模块、数据共享网站和数据开放网站，
所述原始数据存储库，用于保存需要被共享或开放的原始数据，所述原始数据包括结构化的数据、半结构化数据和非结构化数据；所述元数据存储库，用于保存元数据信息，包括数据格式、存储方式、访问方式，是否可以共享、是否可以开放，以及经数据标定模块分析后生成的标签数据，所述标签数据包括是否包含敏感信息、敏感信息类型和敏感等级；所述数据标定模块，与原始数据存储库、元数据存储库和规则管理模块连接，用于对原始数据所包含的敏感信息、敏感信息类型和敏感等级进行识别并标定；所述规则管理模块，与数据标定模块、元数据存储库连接，用于根据标定结果生成数据处理规则库；所述任务管理模块，与规则管理模块和数据处理模块连接，用于根据数据处理规则库生成数据处理任务，对数据处理任务进行管理；所述数据处理任务的任务类型包括离线处理任务和实时处理任务；所述管理包括任务的启动、停止和调度；所述数据处理模块，与原始数据存储库连接，并通过网络隔离设备与数据共享网站和数据开放网站连接；所述数据处理模块用于接收任务管理模块的调度，执行离线处理任务或实时处理任务；所述数据共享网站，以数据资源目录的形式，将共享数据库、共享数据文件系统和共享数据服务接口展现在网站上，并提供数据申请/授权、上线/下线、权限管理、流量管理和日志审计功能；所述数据开放网站，以数据资源目录的形式，将开放数据库、开放数据文件系统和开放数据服务接口展现在网站上，并提供数据申请/授权、上线/下线、权限管理、流量管理和日志审计功能。8.根据权利要求7所述的一种防止泄露敏感信息的数据共享开放系统，其特征在于，所述数据标定模块包含一个敏感数据分析模型，通过机器学习和模型训练，实现采集分析原始数据，并判定各原始数据是否包含敏感信息、敏感信息类型和敏感等级，并生成相应的标签，保存到元数据存储库。9.根据权利要求7所述的一种防止泄露敏感信息的数据共享开放系统，其特征在于，所述规则管理模块，包含一个规则引擎，通过读取元数据存储库中的敏感信息元数据，根据数据存储方式和共享开放属性，匹配对应的数据处理规则。10.根据权利要求7所述的一种防止泄露敏感信息的数据共享开放系统，其特征在于，数据共享网站、数据开放网站、原始数据存储库、元数据存储库、数据标定模块、任务管理模块、数据处理模块及原始数据是物理隔离的，通过单向网闸和安全设备实现数据交换。

技术总结
本发明公开了一种防止泄露敏感信息的数据共享开放方法及系统，系统包括原始数据存储库、元数据存储库、数据标定模块、任务管理模块、数据处理模块、数据共享网站和数据开放网站。该方法包括对原始数据所包含的信息敏感进行识别并标定；根据标定结果生成数据处理规则；根据数据处理规则生成数据处理任务；执行处理任务对原始数据所包含的敏感信息进行处理；基于处理后的数据对外提供数据共享和开放服务。本发明所述的方法及系统能够有效识别数据中的敏感信息，并自动将转换后的数据抽取到物理隔离的共享库、开放库对外提供数据服务，或以数据服务接口的形式对外提供数据共享开放服务，可有效避免敏感信息泄露，且具有极高的处理效率。的处理效率。的处理效率。


技术研发人员：马昌军 李毅 沈自然 徐斌
受保护的技术使用者：南京莱斯网信技术研究院有限公司
技术研发日：2021.08.11
技术公布日：2021/11/8