基于规则模型引擎的大数据平台异常访问行为识别方法与系统与流程

本发明涉及数据风险分析，具体涉及基于规则模型引擎的大数据平台异常访问行为识别方法与系统。

背景技术：

1、在大数据平台的应用过程中，数据安全与合规审计是至关重要的环节。为识别用户对敏感数据的异常访问行为，现有技术中已提出一些基于用户行为分析和知识图谱的安全审计方法。

2、例如，一种现有的数据安全审计方法通过api网关拦截用户获取的数据内容，并根据用户获取内容的时间、地点、ip地址等特征构建用户画像。该方法进一步利用知识图谱技术，从数据中抽取账号清单、操作日志、系统权限、数据权限以及数据分类分级等安全要素实体，对这些实体进行标签化并建立关联关系，最终构建知识图谱并输入至数据安全审计模型中，以判断用户是否通过安全审计。

3、然而，上述现有技术在实际应用中存在以下技术缺陷：

4、1、现有技术仅基于“当前查询日志”进行审计，未对查询语句（如sql语句）中涉及的表和字段进行深度的血缘解析与向上溯源。这导致其无法全面判断当前查询所涉及的字段是否为真实敏感字段，也无法评估该查询行为的真实合规性，从而可能遗漏因上游敏感字段传递而引发的风险。

5、2、现有技术未能覆盖通过sql函数拼接、聚合计算、字段映射与变形等复杂加工逻辑对原始敏感数据进行处理后发起的查询场景。在此类场景下，敏感数据可能被“改头换面”，而传统方法难以还原其本质，导致识别能力失效。

6、3、现有技术构建的用户画像未包含人员是否正确获取数据权限、人员所属部门及团队特征等关键信息。这些信息对于判断用户是否在授权范围内进行查询、是否存在职责越权等行为至关重要。

7、4、现有技术的审计模型中未考虑用户是否为高频访问的维度。高频查询行为本身可能是一种异常信号，例如数据运维人员频繁导出大量敏感数据，该维度的缺失会降低对潜在风险行为的识别灵敏度。

8、5、现有技术单纯依赖知识图谱技术进行不同实体（如账号、权限、数据）之间的关联分析，由于缺乏对查询字段的血缘溯源，无法准确获取不同实体在数据流转链路中的真实依赖关系，影响了审计结果的准确性。

9、因此，如何提供一种能够对大数据平台查询行为进行深度血缘解析、全面画像构建，并据此准确识别异常访问行为的方法与系统，是本领域技术人员亟待解决的技术问题。

技术实现思路

1、本发明目的：在于提供基于规则模型引擎的大数据平台异常访问行为识别方法与系统，针对数据库查询方言书写的查询语句，识别查询语句中使用到的当前敏感字段信息或者溯源到上游的敏感字段信息来构建数据画像，并结合查询者的用户画像特征和行为画像特征，构建异常查询访问识别模型，通过定时调度，定期对异常查询行为进行检测并生成对应的报告。

2、为实现以上功能，本发明设计基于规则模型引擎的大数据平台异常访问行为识别方法，包括以下步骤s1-步骤s6，完成查询者异常访问行为的识别：

3、步骤s1：采集数据平台上的查询日志、物理表元数据及视图信息，提取查询语句和查询账号信息，并对所述查询日志进行清洗和标准化处理；

4、步骤s2：对每条查询语句进行血缘解析，构建查询链路的血缘图谱，并确定查询涉及的敏感字段信息，其中所述敏感字段信息包括当前查询字段的敏感标识，以及通过向上溯源确定的上游字段的敏感标识；

5、步骤s3：获取查询对象的数据画像、查询者的用户画像以及查询语句的行为画像；

6、步骤s4：基于规则引擎，利用配置化文件对血缘链路上的字段敏感性特征、用户画像特征和行为画像特征，配置异常访问行为识别规则和风险分类规则，构建异常访问行为评估模型；

7、步骤s5：按照评估模型的风险分类规则，通过定时调度，对审计范围内的自定义查询对象实体批量执行评估任务，并输出评估结果；

8、步骤s6：根据所述评估模型的风险分类规则，将评估结果产出为不同风险等级的查询语句列表。

9、作为本发明的一种优选技术方案：步骤s2中所述查询语句的血缘解析包括：对sql语句进行解析，对查询涉及到的字段沿血缘向上游溯源，并判断字段是否标识为敏感字段以及是否经过人工确认。

10、作为本发明的一种优选技术方案：步骤s3中所述查询对象的数据画像包括查询对象表或字段的分类标签、安全等级、定级状态和所属部门；

11、所述查询者的用户画像包括查询者的岗位、归属部门或团队、授权范围和负责业务范围；

12、所述查询语句的行为画像包括查询的过滤条件、字段加工逻辑、字段变形映射规则、结果导出时间、查询时间段和各段查询频次。

13、作为本发明的一种优选技术方案：步骤s4中所述异常访问行为评估模型通过dsl语言进行配置，支持对规则执行状态进行监控和操作，并查看规则执行结果。

14、作为本发明的一种优选技术方案：步骤s5中所述评估任务被配置为批量执行，并对执行结果生成报告实例，支持报告结果下载。

15、作为本发明的一种优选技术方案：步骤s4中所述查询语句的行为画像中包括用户是否为高频访问的维度信息，用于识别高频查询行为。

16、本发明还设计基于规则模型引擎的大数据平台异常访问行为识别系统，基于以下各模块，实现所述的基于规则模型引擎的大数据平台异常访问行为识别方法：

17、血缘解析功能模块：利用代码解析技术对sql语句进行解析，并对查询查询涉及的敏感字段信息沿血缘向上溯源并判定其敏感级别；并通过取数接口，获取查询语句涉及到的查询对象的数据画像、查询者的用户画像以及查询语句的行为画像；

18、数据服务管理模块：配置针对查询对象的数据画像、查询者的用户画像以及查询语句的行为画像的取数接口，包括查询日志的取数接口管理；

19、规则管理模块：利用规则引擎，配置异常访问行为识别规则，构建异常访问行为评估模型，并支持监控和操作规则执行状态，查看规则执行结果；

20、报告管理模块：管理规则生成的报告实例，支持报告结果的下载。

21、本发明还设计一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于规则模型引擎的大数据平台异常访问行为识别方法。

22、本发明还设计一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于规则模型引擎的大数据平台异常访问行为识别方法。

23、有益效果：相对于现有技术，本发明改变了以往依赖人工分析、专家决策的模式，包括以下优点：

24、1、将安全专家的经验和行业政策要求沉淀到风险评估模型中，并提供了灵活可配置的评估模型修改能力，并便于将该风险识别能力赋能给全公司各部门的安全风控活动中；

25、2、根据政策法规要求和公司管控要求，利用元数据自动化管理能力，结合加工口径特征，定制化扩散敏感标签和确定安全等级，克服了人工打标时效慢、成本高的缺陷；

26、3、利用血缘解析穿透能力构建查询血缘图谱，并对一段时间内的查询日志进行溯源最终可以识别出异常访问数据的行为。并且，只要采集到完整的视图、表和语句元数据，并将对应的敏感信息进行正确打标，异常访问的查询语句都能被识别到，最终实现了风险敞口的“不错不漏”；

27、4、利用算子血缘代码推断能力，并将多层代码合并起来，可以识别到查询数据是否进行了数据变形等，克服了单靠血缘去推导容易丢失关键信息的弊端。另外，将多层代码合并以后进行口径裁剪，再通过分析简化后的口径中用到的条件以及加工逻辑是否可以还原最终的敏感字段，解决了以往“字段变形”、“改头换面”等操作导致无法识别的问题。