一种基于数据中台的电网数据安全监测系统的制作方法

1.本发明属于信息处理技术领域，具体涉及一种基于数据中台的电网数据安全监测系统。


背景技术：

2.随着电网大数据中心业务逐步推进，业务部门数据接入，数智国网大数据应用平台、供应链金融、数字化审计、企业级报表中心等数据分析服务，以及面向数据中台及传统业务的数据运维等场景不断增多，数据环境更加复杂，安全合规性要求更高，当前数据安全能力已不能满足业务安全需求。为了更好的对数据安全进行监测，相关单位着手实施基于数据中台的数据安全监测建设工作。
3.现有技术的不足之处：1、安全组件相对独立，关联分析度不高。目前相关安全组件和系统的防护功能呈离散状态分布，缺少关联分析和策略联动；相关日志未进行集中采集和分析提炼，导致中台安全运营工作中无法快速聚焦主要问题进行处置。2、缺乏对数据中台异常行为的实时分析与告警。数据保护伞等安全组件，以静态统计分析与安全审计功能为主。其功能如敏感数据识别，审计数据访问行为等，监测时效性不高（为t 1方式展示结果）。


技术实现要素：

4.本发明的目的在于提供一种基于数据中台的电网数据安全监测系统，通过对接数据保护伞操作日志、sddp接口数据、脱敏日志数据、阿里云平台登录日志和odps操作日志等，统一运用数据中台的实时计算和maxcompute数据仓库存储能力，快速分析并生成告警，解决安全组件相对独立，关联分析度不高问题。
5.为达到上述目的，本发明采用的技术方案如下：本发明提供一种基于数据中台的数据安全监测系统，包括：数据集成模块，数据分析模块，数据计算模块，数据存储模块和态势展示模块；所述数据集成模块用于收集并存储数据保护伞操作日志、数据中台云上数据、脱敏日志数据、阿里云平台登录日志和odps操作日志；所述数据分析模块用于对收集的日志数据进行监控，并生成告警数据；所述数据计算模块用于根据收集的日志数据计算敏感数据以及计算接口服务指标；所述数据存储模块用于存储所述数据集成模块收集的数据，所述数据分析模块生成的告警数据，所述数据计算模块计算的敏感数据和接口服务指标，以及所述态势展示模块计算的指标数据；所述态势展示模块包括sddp态势总览模块，敏感数据态势总览模块和应用展示模块；所述sddp态势总览模块用于监控并分析数据中台中的敏感数据，计算相应的指
标；所述敏感数据态势总览模块用于监控并分析数据集成模块收集的敏感数据，计算相应的指标；所述应用展示模块用于展示所述sddp态势总览模块和敏感数据态势总览模块计算的指标。
6.优选的，所述数据集成模块用于，通过数据中台定时推送的方式，收集数据保护伞操作日志；通过调用sddp接口方式，收集数据中台云上数据；通过数据中台创建sls投递任务，收集脱敏日志数据；通过数据中台消息中间件datahub，收集阿里云平台登录日志；以及，通过数据中台创建sls投递任务，收集odps操作日志。
7.优选的，所述数据集成模块还用于对收集的数据进行预处理，删除格式不合规及属性个数和要求不一致的数据。
8.优选的，所述数据集成模块还用于对预处理后的数据进行去重处理，如果在指定的时间间隔interval内，多次出现仅有时间不同其他属性相同的记录，则只保留该重复记录中的最后一条记录。
9.优选的，所述数据集成模块用于，对去重后的日志数据进行转发存储，将阿里云平台登录日志存储在分布式消息队列kafka中，将其余来源的日志数据存储在数据中台的odps表中。
10.优选的，所述数据分析模块具体用于，消费分布式消息队列kafka中的日志数据，根据数据类型反序列化成对应的对象；将对象转为esper事件并发送到esper；根据esper事件基于预先定义的告警规则生成告警信息并拆分为告警数据，发送给kafka的告警入库队列。
11.优选的，所述数据分析模块还用于，根据待监控数据源元数据的属性定义待监控数据源的告警规则，并将定义的过程翻译为esper的类sql语句。
12.优选的，所述数据分析模块还用于，设置线程池，将不同来源日志产生的告警数据放到不同的线程，并发入库。
13.优选的，所述数据计算模块包括离线计算模块和接口服务指标模块；所述离线计算模块用于定时获取数据保护伞推送的odps操作记录、操作详情、odps异常事件、敏感信息元数据和项目空间元信息，计算出每天新增的敏感数据；所述接口服务指标模块用于根据离线计算模块计算的敏感数据计算接口服务指标。
14.优选的，所述接口服务指标模块还用于，设置中间表，将离线计算模块计算的敏感数据按类型放入相应的中间表中；以及，按照敏感数据识别、敏感数据分布、敏感数据访问热度、敏感数据链路流向和中台数据风险五大类别，对接口服务指标进行分类；所述接口服务指标包括：日识别敏感字段数量，日识别敏感数据量，日识别敏感字段数量，日识别敏感数据量，按照占比的敏感字段量
分布，按照占比的敏感数据量分布，按规则类别的敏感字段量分布，按规则类别的敏感数据量分布 ，敏感数据被访问热度，访问敏感数据的热门账户，按敏感类别的敏感数据被访问热度，按敏感类别的访问敏感数据的热门账户，敏感数据流入流向，敏感数据流出流向，敏感数据链路流入流向，敏感数据链路流出流向，中台数据风险，和涉敏表格数、项目空间数、业务系统数。
15.优选的，所述sddp态势总览模块包括数据中台sddp组件、云盾敏感数据保护api接口、指标进程模块和后台数据服务；所述sddp组件用于监控并分析数据中台中的maxcomputer、oss、ads、ots和rds组件的敏感数据、敏感字段、敏感表和敏感项目空间；所述云盾敏感数据保护api接口用于将sddp组件分析的敏感信息暴露给指标进程模块；所述指标进程模块用于每天定时拉取云盾敏感数据保护api接口，计算出指标数据。
16.优选的，所述敏感数据态势总览模块包括数据保护伞组件、保护伞数据接口服务、数据服务和redis缓存；所述数据保护伞组件用于根据用户配置的规则，监控并分析分布型大数据存储odps中所有项目空间的数据，得出敏感数据、敏感字段、敏感表以及关联的用户操作记录；所述保护伞数据接口服务用于将数据保护伞组件分析的敏感信息暴露给外部应用程序；所述数据服务用于按需调用保护伞数据接口计算出指标数据插入关系型数据库rds中，以及将计算的指标数据插入redis缓存中。
17.优选的，所述数据存储模块包括关系型数据库rds、内存数据库redis和分布型大数据存储odps；所述关系型数据库rds用于存储数据分析模块产生的告警数据，以及sddp态势总览模块中计算的指标数据，以及敏感数据态势总览模块中计算的指标数据；所述内存数据库redis用于存储所述应用展示模块展示的结果数据；所述分布型大数据存储odps用于存储所述数据集成模块收集的日志数据，以及数据计算模块计算的敏感数据，中间表和接口服务指标。
18.与现有技术相比，本发明的优点在于：（1）本发明系统通过采集安全组件日志、数据保护伞日志和sddp接口数据，统一交给大数据平台处理及进行关联分析，解决安全组件相对独立，关联分析度不高问题；（2）本发明系统针对用户登录日志、敏感数据日志、审计数据日志、脱敏日志设计多种实时计算分析场景，快速生成告警并通过平台展现给用户，解决数据中台以静态统计分析与安全审计功能为主，缺乏异常行为的实时分析与告警问题。
附图说明
19.图1为本发明实施例中的基于数据中台的数据安全监测系统架构图；图2为本发明实施例中的数据流转图；图3为本发明实施例中的sddp态势总览模块数据流转图；
图4为本发明实施例中的敏感数据态势总览模块数据流转图。
具体实施方式
20.下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
21.参见图1和图2，本发明实施例提供一种基于数据中台的数据安全监测系统，包括：数据集成模块，数据分析模块，数据计算模块，数据存储模块和态势展示模块。
22.本发明实施例中，数据集成模块用于收集数据保护伞操作日志、数据中台云上数据、脱敏日志数据、阿里云平台登录日志和阿里开放数据处理服务（odps）操作日志，以及将阿里云平台登录日志存储在分布式消息队列kafka中，其余数据存储在数据中台的odps表中，供后续数据分析、数据计算使用。
23.作为一种优选的实施方式，通过数据中台定时推送的方式，收集数据保护伞操作日志；通过调用sddp接口方式，收集数据中台云上数据；通过数据中台创建sls投递任务，收集脱敏日志数据插入odps表中；通过数据中台消息中间件datahub，收集阿里云平台登录日志；通过数据中台创建sls投递任务，收集odps操作日志。
24.作为一种优选的实施方式，数据集成模块还用于将一些格式不合规，属性个数和要求的不一致的数据直接删除，提高数据质量。
25.作为一种优选的实施方式，数据集成模块还用于对数据进行去重，在指定的时间间隔interval内，如果多次出现仅有时间不同，其他属性相同的记录，则只保留该重复记录中的最后一条记录。
26.作为一种优选的实施方式，数据集成模块对去重后的日志数据进行转发处理，将各种日志分别转发给分布式消息队列kafka和数据中台的odps表中，供后续大数据实时关联分析、计算使用。
27.本发明实施例中，数据分析模块用于消费分布式消息队列kafka中的数据，并根据数据类型转换成对应的对象，以及将对象转为复杂事件处理引擎（esper）的事件并发送到esper，以及根据esper事件基于预先定义的告警规则生成告警事件，发送给kafka的告警入库队列。其中，esper是第三方开源的工具，以sdk的方式集成进来，之后部署在阿里云的blink服务上。
28.作为一种优选的实施方式，数据分析模块用于根据kafka队列中数据的类型，反序列化成对应的对象。
29.作为一种优选的实施方式，数据分析模块还用于，根据待监控数据源元数据的属性定义待监控数据源的告警规则，并将定义的过程翻译为esper的类sql语句。
30.例如，阿里云登录日志的元数据就是包含登录名、登录账号、登录ip等信息，当登录ip等于1.1.1.1时生成告警。
31.作为一种优选的实施方式，数据分析模块实时监控待监控数据源，当待监控数据源触发告警规则时，发送告警信息给kafka告警入库队列；作为一种优选的实施方式，数据分析模块还用于将产生的告警信息进行拆分，分成告警数据。
32.作为一种优选的实施方式，数据分析模块设置线程池，不同来源日志产生的告警
数据放到不同的线程池的阻塞队列里，监控线程发现阻塞队列不为空，则取最新的数据，交给线程来处理，然后将处理结果存入到关系型数据库rds中。本发明中有阿里云登录日志，有其他日志，每个日志都可能产生告警，按照不同来源日志产生的告警放到不同的线程，并发入库。
33.本发明实施例中，数据计算模块包括离线计算模块和接口服务指标模块，其中离线计算模块用于离线计算敏感数据，接口服务指标模块用于根据计算的敏感数据计算接口服务指标。
34.离线计算模块获取数据保护伞推送的odps操作记录（dsg_operation_record）、操作详情（dsg_operation_record_detail）、odps异常事件（dsg_operation_risk_info）、敏感信息元数据（dsg_sensitive_data_meta）和项目空间元信息（dsg_tenant_project_meta），计算出每天新增的敏感数据。其中，数据保护伞每天上午6点前将上述数据推送到数据计算模块指定项目空间。
35.为了方便接口服务指标计算，接口服务指标模块新建了11张中间表，用于存放离线计算模块的结果数据，例如每日识别敏感数据数量统计表（dsg_day_sensitive_data_count）、敏感数据字段被访问的次数统计表（dsg_sensitive_data_access）、敏感数据在数据中台各层级中的流向表（dsg_sensitive_data_flow）等。接口服务指标模块将离线计算模块的结果数据按照敏感数据识别、敏感数据分布、敏感数据访问热度、敏感数据链路流向、中台数据风险五大类别，细分成18个接口服务指标，满足与其他业务系统对接以及大屏展示要求。其中，18个接口服务指标包括：指标1 ——日识别敏感字段数量，指标2 ——日识别敏感数据量，指标3 ——日识别敏感字段数量（按敏感规则类别区分），指标4 ——日识别敏感数据量（按照敏感类别区分），指标5 ——敏感字段量分布 (按照占比从高到低返回)，指标6 ——敏感数据量分布 (按照占比从高到低返回)，指标7 ——敏感字段量分布 (按规则类别划分)，指标8 ——敏感数据量分布 (按规则类别划分)，指标9 ——敏感数据被访问热度，指标10 ——访问敏感数据的热门账户，指标11—— 敏感数据被访问热度（按敏感类别划分），指标12 ——访问敏感数据的热门账户，指标13—— 敏感数据流入流向，指标14 ——敏感数据流出流向，指标15—— 敏感数据链路流入流向（按类别），指标16 ——敏感数据链路流出流向（按类别），指标17—— 中台数据风险，指标18 ——涉敏表格数、项目空间数、业务系统数。
36.本发明实施例中，数据存储模块包括关系型数据库rds、内存数据库redis和分布型大数据存储odps。其中，关系型数据库rds用于存储数据分析模块产生的告警数据，以及sddp态势总览模块中指标进程模块计算的指标数据，以及敏感数据态势总览模块中数据服务计算的指标数据；内存数据库redis用于存储应用展示模块展示的结果数据，使得页面有更快的打开速度；分布型大数据存储odps用于存储数据保护伞操作日志、数据中台云上数据、脱敏日志数据、阿里云平台登录日志和odps操作日志，以及数据计算模块计算的敏感数据，中间表和接口服务指标。
37.分布型大数据存储odps是一种快速、完全托管的eb级数据仓库解决方案。随着数据收集手段不断丰富，行业数据大量积累，数据规模已增长到了传统软件行业无法承载的海量数据（百tb、pb、eb）级别。maxcompute致力于批量结构化数据的存储和计算，提供海量数据仓库的解决方案及分析建模服务。根据预设的建表规则通过odps_cmd客户端工具建立
maxcompute数据表，由于maxcompute是分块存储数据，每块数据大小是64兆，为了防止出现大量小文件，设计定时批量插入的方法，数据达到3万条或者时间达到一天，则进行批量操作，利用maxcompute中的tunnel数据传输方法，供离线分析程序使用。
38.本发明实施例中，态势展示模块包括sddp态势总览模块和敏感数据态势总览模块；参见图3，sddp态势总览模块包括数据中台sddp组件、云盾敏感数据保护api接口、指标进程模块、关系型数据库rds、后台数据服务和应用展示模块。其中，sddp组件用于监控并分析数据中台中的maxcomputer、oss、ads、ots、rds等组件的敏感数据、敏感字段、敏感表和敏感项目空间；云盾敏感数据保护api接口用于将sddp组件分析的敏感信息暴露给指标进程模块；指标进程模块用于每天定时拉取云盾敏感数据保护api接口计算出指标数据（如敏感数据top5，敏感表覆盖业务系统top5，敏感数据不同级别分布情况等）插入关系型数据库rds中；应用展示模块用于通过后台数据服务获取关系型数据库rds中的数据，展示给用户。
39.需要说明的是，sddp是阿里云的一个云上组件，主要对oss,ads，rds这些组件的敏感数据做分析，而数据计算模块的离线分析，主要是针对数据保护伞同步过来的数据，还有脱敏日志数据等其他类型的数据，专门做的定制化分析，和sddp起到一个互补作用。
40.参见图4，敏感数据态势总览模块包括数据保护伞组件、保护伞数据接口服务、数据服务、redis缓存、关系型数据库rds数据库和应用展示模块。其中，数据保护伞组件用于根据用户配置的规则，监控并分析分布型大数据存储odps中所有项目空间的数据，得出敏感数据、敏感字段、敏感表以及关联的用户操作记录；保护伞数据接口用于将数据保护伞组件分析的敏感信息暴露给外部应用程序；数据服务用于按需调用保护伞数据接口计算出指标数据（如当日敏感字段数、当日敏感数据量、涉敏表格数、涉敏项目数、涉敏业务、昨日敏感数据访问次数等）插入关系型数据库rds中，同时为了提高页面访问速度，将计算的指标数据插入redis缓存中，应用展示模块通过后台数据服务拿到redis中的数据，展示给用户。
41.以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。