一种云敏感数据自动分类分级识别处理方法与流程

本发明涉及云数据安全治理、敏感数据识别，具体为一种云敏感数据自动分类分级识别处理方法。

背景技术：

1、随着华能集团数字化转型不断落地，华能云内部部署大量国产异构数据库，同时业务系统将海量业务文档归档至对象存储，业务持续产出专利文档、业务工作报告、源代码等海量非结构化业务数据；云安全资源池面向不少于200个租户开展常态化数据安全治理，不同租户业务数据库字段格式、业务文档版式、数据存储载体差异巨大；传统敏感识别方案数据源接入能力单一，大多仅支持数据库直连与本地文件读取，缺少对象存储接口适配，面对分片大文件、网络传输乱码、数据包中断场景容错能力差，无法完成结构化-非结构化-对象存储多载体异构数据源一体化识别，识别覆盖维度存在明显短板。

2、现有敏感数据识别普遍采用固定正则匹配或者简单向量相似度匹配工作模式，该类工作模式对特征维度之间的协方差关联关系缺乏考量，无法自动挖掘各特征客观权重；面对业务场景中字段变形、简写、插入噪声干扰的真实业务样本，极易产生漏报、误报；传统非结构化文件风险统计仅简单统计敏感字段出现频次，没有区分敏感实体周边上下文噪声干扰程度：部分命中的敏感字符串周边充斥大量无关干扰文本，属于伪命中；部分敏感实体上下文干净，属于真实高风险命中，传统统计方式对真伪命中不加区分，直接造成风险评估虚高或者虚低；同时也未结合识别置信度做多因子耦合风险评估，仅输出布尔型是否敏感的判定结果，无法输出精细化的文档风险量化指标，难以支撑后续的数据脱敏、数据访问管控等安全处置流程。

3、华能云安全资源池属于国产化多租户云平台，现有识别算法对外输出环节缺少专门安全隔离网关机制，识别原始结果直接对外推送，存在租户数据越界泄露、报文篡改、流量突发冲击第三方平台风险；现有识别工作模式缺少租户标签绑定机制，识别结果无法归属对应租户；传统识别仅支持全量扫描工作模式，面对大规模租户海量数据场景，io与算力开销巨大，缺少增量差分扫描优化工作模式，难以适配华能云200租户规模下常态化数据分类分级业务治理需求。

技术实现思路

1、本发明旨在克服现有技术异构数据源接入容错能力不足、简单匹配模式抗噪声能力弱、非结构化文本无法区分敏感实体周边噪声干扰、缺少多因子耦合风险量化、对外输出缺少安全隔离管控、国产化适配不足的缺陷，提供一种云敏感数据自动分类分级识别处理方法；采用熵权-马氏距离联合判别工作模式实现多维特征样本识别，引入敏感-干扰博弈加权贡献求解工作模式，通过sigmoid博弈函数抑制高噪声伪命中样本的贡献权重，构建多因子耦合文档风险聚合指数；增设多协议自适应数据源接入工作模式以及分级式安全输出网关工作模式，实现结构化、非结构化、对象存储多载体数据一体化识别与安全可控对外输出，适配国产化多租户云安全资源池。

2、一种云敏感数据自动分类分级识别处理方法，应用于华能云数据安全治理、敏感数据识别，云数据安全治理、敏感数据识别包含业务服务层、安全能力层、基础环境层，安全能力层部署数据分类分级安全管理组件，方法包括：

3、s1、数据分类分级安全管理组件采集多源异构数据源，多源异构数据源包含结构化数据库数据源与非结构化文件数据源；

4、s2、对结构化数据源执行字段语义解析，对非结构化数据源执行全文文本解析，提取字段特征、文本特征、元数据特征构成多维融合特征集；

5、s3、将多维融合特征集输入混合识别模型，完成敏感数据识别，输出敏感命中标签；

6、s4、依据预设分级规则库结合敏感命中标签输出数据安全分级结果，并对非结构化数据源统计敏感字段出现频次；

7、s5、输出分类分级识别报告，同时将识别分级结果打上租户标签推送至云数据安全治理、敏感数据识别业务服务层，供上层平台调用展示。

8、优选的，混合识别模型融合规则匹配与多维特征熵权-马氏距离联合判别工作模式，通过熵权法自动求取各特征维度客观权重，再采用马氏距离度量待识别样本与敏感基准样本集的分布差异；马氏距离计算表达式：

9、，

10、式中：马氏距离，为敏感基准样本集协方差矩阵的逆矩阵；当马氏距离小于动态判别阈值，则判定该样本命中敏感数据。

11、优选的，采用敏感-干扰博弈加权贡献求解工作模式，构建博弈权重矩阵区分敏感实体与文本噪声干扰项，非结构化文件博弈加权敏感总贡献计算公式：，式中：为单份非结构化文件博弈加权敏感总贡献值；m为命中敏感字段类型总数；为第k类敏感实体语义显著度系数；为博弈调节超参数；为第k类敏感实体周边文本噪声干扰度；为第k类敏感字段业务风险修正系数；为第k类敏感字段实际出现次数。

12、优选的，具备多协议自适应数据源接入工作模式，支持通过数据库原生驱动、ftp/sftp/local、对象存储s3兼容接口三类接入通道完成数据源采集；数据源接入通道内置协议解析容错子模块，对数据包分片、编码乱码、传输中断的数据源执行断点续采与编码自动转译，适配库表分片、大文件分片流式解析场景。

13、优选的，预设分级规则库内置专利文件、代码、工作报告、业务报表非结构化数据分类分级模板，能够区分不同业务类型文档并匹配对应分级策略。

14、优选的，租户标签来源于云数据安全治理、敏感数据识别多租户共享技术模块，识别分级结果携带租户标签，用于多租户环境下实现敏感数据隔离统计、租户维度分级结果隔离展示。

15、优选的，具备噪声自适应阈值动态整定工作模式，依据数据源噪声熵、样本集离散程度自适应整定马氏距离判别阈值；数据源噪声熵越高，马氏距离判定阈值同步降低，抑制高噪声场景下的误识别。

16、优选的，识别过程支持全量扫描模式与增量差分扫描工作模式；增量差分扫描模式仅采集数据源增量变更部分，跳过未变更静态数据，降低集群计算与io资源消耗。

17、优选的，采用多因子耦合非结构化文件风险聚合计算工作模式，构建文件综合风险聚合指数公式：，式中：为文档综合风险聚合指数；为风险等级权重因子；为文件命中敏感字段最高风险等级量化值；为博弈加权敏感总贡献值；为文件有效文本字符总数；为混合识别模型输出的识别置信度。

18、优选的，具备分级式安全输出网关工作模式，网关内部设置租户数据隔离沙箱，对输出的分类分级识别结果执行脱敏过滤、报文签名完整性校验、输出流量流控；适配国产化鲲鹏服务器集群与统信uosv20操作系统，兼容云数据安全治理、敏感数据识别netconf、srv6编排环境，支持不少于200租户并发识别，经安全输出网关完成数据摆渡推送至华能蓝盾日志汇聚系统、网络态势感知安全运营平台。

19、与现有技术相比，本发明的有益效果如下：

20、1、本发明具备多协议自适应数据源接入工作模式，兼容数据库原生驱动、ftp/sftp/local、对象存储s3兼容三类接入通道；内置协议解析容错子模块，实现分片大文件流式解析、断点续采、编码自动转译，完成数据库、本地文档、对象存储多载体异构数据源一体化采集；内置专利、代码、工作报告专用分类分级模板，补齐传统方案企业业务类非结构化文档识别短板，数据源适配覆盖范围广。

21、2、本发明采用熵权-马氏距离联合判别工作模式，考虑特征维度协方差关联，熵权法自动计算特征客观权重，摆脱人工权重主观偏差；配套噪声自适应阈值动态整定工作模式，提升高噪声业务场景抗干扰能力；引入敏感-干扰博弈加权贡献求解工作模式，引入语义显著度系数、博弈调节超参数，依靠sigmoid博弈抑制函数，根据敏感实体周边噪声干扰度自动调节各项贡献权重，自动抑制上下文干扰带来的伪命中，规避风险评估虚高失真；再通过多因子耦合风险聚合计算工作模式，融合风险等级、博弈加权敏感总贡献、识别置信度输出文档综合风险聚合指数，实现精细化风险量化评估，为后续脱敏、访问管控提供量化依据。

22、3、本发明支持全量扫描、增量差分扫描两种工作模式，增量差分扫描仅扫描变更数据，降低国产化集群算力、io开销；识别结果绑定租户标签，实现租户维度隔离统计展示，适配不少于200租户大规模业务场景。

23、4、本发明具备分级式安全输出网关工作模式，内部设置租户数据隔离沙箱，对外输出前执行脱敏过滤、报文签名完整性校验、输出流量流控，规避租户数据越界泄露、报文篡改、流量冲击第三方平台风险；完整适配华能云安全资源池国产化鲲鹏硬件、统信uos操作系统，兼容netconf、srv6编排环境，识别分级结果经安全网关摆渡推送至华能蓝盾日志汇聚系统、网络态势感知安全运营平台，满足等保三级管控，无需大规模改造现有云安全资源池平台。