一种基于数据安全的分布式数据合规审查方法与流程
本发明涉及数据安全,尤其涉及一种基于数据安全的分布式数据合规审查方法。
背景技术:
1、随着数据资源在政务、金融、医疗、工业互联网及企业经营场景中的持续流动,数据通常分布在不同业务系统、数据库、接口平台和审计节点中,形成多节点、多主体、多路径的数据处理环境。数据合规审查需要同时关注数据对象、字段属性、访问主体、操作行为、权限状态、流转路径和审计记录多类要素,对访问、共享、调用、传输和留痕过程进行连续判断。现有数据合规审查方式多依赖集中式采集、人工规则核验或单一字段匹配,将分布式节点中的原始数据集中到统一平台后再进行审查,容易增加数据跨域流转、集中存储泄露和越权复制的风险,难以满足数据不出域、本地审查和统一汇总的安全要求。
2、现有合规审查方法通常侧重于静态规则匹配、人工核验或简单日志统计,对多源异构数据之间的字段共现关系、访问行为变化、跨节点流转路径和隐含风险来源缺乏有效分析能力。在实际审查过程中,同一数据对象可能存在不同命名方式、不同接口封装形式和不同业务调用路径,单纯依靠固定词表匹配难以准确识别敏感字段及其变体表达;同一访问行为也可能因权限状态、流转方向、操作频次和审计留存情况不同而产生不同合规风险,仅依据单次命中结果难以判断真实违规程度。传统字符串匹配方法在面对长字段、复杂接口参数和大量日志文本时,容易出现状态检索效率低、路径定位不准确和命中结果孤立的问题;传统关系推理模型又难以充分表达数据合规场景中字段、行为、权限、路径和风险之间的复杂联系,导致潜在违规行为识别不充分、风险来源定位不精确、审查报告缺乏可追溯依据。
3、因此,如何提供一种基于数据安全的分布式数据合规审查方法是本领域技术人员亟需解决的问题。
技术实现思路
1、本发明的一个目的在于提出一种基于数据安全的分布式数据合规审查方法,本发明综合利用分布式本地审查、双数组字典树算法、改进transe模型和风险来源归因分析数据安全处理方法,详细描述了从各分布式数据节点采集数据合规审查要素,经过预处理、规则触发强度生成、本地词条匹配、审查风险分布分析、关系推理、风险来源定位到总报告生成的全过程。在结构上创新性地设置三元区间折算、分段跳距重排、分量残差递归修正、向量内部差分扰动和分量交错投影等处理,使原始数据保留在本地节点的同时,实现对合规规则命中、跨节点风险传播和隐性违规关系的综合判别。与现有技术相比,本发明具备数据不出域、审查效率高、风险识别准确、来源定位清晰和适用于多源异构分布式数据环境优点。
2、根据本发明实施例的一种基于数据安全的分布式数据合规审查方法,包括:
3、在各分布式数据节点采集数据合规审查要素,对数据合规审查要素进行预处理,生成待审查数据对象和节点审查摘要;
4、依据节点审查摘要进行跨字段共现频率离散化,执行非线性交互累积运算,生成规则触发强度序列;
5、基于双数组字典树算法对待审查数据对象进行本地匹配,通过三元区间折算进行状态筛取,采用分段跳距重排进行段序寻址,得到词条命中结果;
6、将节点审查摘要与词条命中结果进行字段行为轨迹对齐,执行逐项偏差分解与局部冲突扩展,通过跨节点传播路径标定与路径稳定度递推分析生成审查风险分布序列;
7、对审查风险分布序列进行三元抽取处理,生成审查关系三元组,构建改进transe模型,对审查关系三元组进行关系推理,基于分量残差递归修正进行误差回填,引入向量内部差分扰动进行邻项差值处理,采用分量交错投影进行分量交错排列,得到关系判别结果;
8、根据词条命中结果与关系判别结果进行分层结构校核,将规则触发强度序列作为层级递推输入,执行贡献累积路径分析与风险来源归因排序,生成风险来源定位结果;
9、对审查风险分布序列与风险来源定位结果进行分级压缩编码,对结构化审查摘要执行跨节点一致性校验与冗余消解,生成分布式数据合规审查总报告。
10、可选的,所述数据合规审查要素,包括数据对象、字段属性、访问主体、操作行为、权限状态、流转路径、审计记录。
11、可选的,所述对数据合规审查要素进行预处理,包括数据清洗、格式统一、本地编号、字段归类、缺失补全、重复去除和计数统计。
12、可选的,所述生成待审查数据对象和节点审查摘要,包括:
13、在各分布式数据节点建立本地采集通道,按照采集周期从节点资源目录、接口调用链路、权限凭证索引、数据流转凭证和本地审计索引中读取原始审查条目,为每一原始审查条目配置节点流水号、来源位置号和时间片号;
14、对原始审查条目进行时间片归并、字段路径拼接、主体身份脱敏、流转链路压缩、条目散列摘要生成和异常格式剔除,将处理后的原始审查条目转换为具有统一索引结构的待审查数据对象;
15、按照节点流水号统计待审查数据对象的对象规模、调用频次、权限变动次数、跨域流转次数和审计留存次数,将统计结果与来源位置号、时间片号和条目散列摘要组合生成节点审查摘要。
16、可选的,所述生成规则触发强度序列,包括:
17、按照节点标识和时间片号读取节点审查摘要,将同一时间片内的对象规模、调用频次、权限变动次数、跨域流转次数和审计留存次数依次排列,生成字段行为序列;
18、对字段行为序列进行跨字段共现频率离散化,将当前时间片内任意两类字段同时出现的次数作为共现次数,将共现次数除以当前时间片内全部字段出现次数之和得到共现频率,将共现频率按照从小到大的顺序划分为离散等级并生成第一结构张量;
19、对第一结构张量中的访问主体维度、数据对象维度和操作行为维度进行三轴排列,得到结构张量转移序列,将相邻时间片的结构张量转移序列逐项相减得到时间序列波动项;
20、对结构张量转移序列执行非线性交互累积运算,将当前时间片的结构张量转移值与前一时间片的结构张量转移值相乘,再加上时间序列波动项的绝对值,得到当前时间片的规则触发强度值,按照时间片号依次排列各规则触发强度值,生成规则触发强度序列。
21、可选的,所述得到词条命中结果,包括:
22、依据规则触发强度序列生成本地检索词表,根据本地检索词表构建包含基址数组、校验数组和终止标记数组的双数组字典树结构;
23、读取待审查数据对象,将当前匹配状态、当前字符编码和校验数组关联位置分别转换为基址区间、字符区间和校验区间,对基址区间、字符区间和校验区间执行三元区间折算,得到状态筛取结果;
24、对待审查数据对象中的长字段文本和日志文本进行字符段划分,依据字符段首尾编码和段内相邻字符编码差值生成跳距序列,采用分段跳距重排确定段内访问位置和下一字符段起始状态,得到段序寻址结果;
25、将状态筛取结果和段序寻址结果进行命中确认,对终止标记数组中存在词条终止标记的位置记录命中词条编号、命中对象编号、命中字段位置和命中时间片号,生成词条命中结果。
26、可选的,所述生成审查风险分布序列,包括:
27、读取节点审查摘要和词条命中结果,按照节点标识、时间片号、对象编号和字段位置进行字段行为轨迹对齐,生成多源审查结果序列;
28、对多源审查结果序列进行逐项偏差分解,将当前调用频次与历史调用频次均值相减得到调用偏差,将当前权限变动次数与历史权限变动次数均值相减得到权限偏差,将当前跨域流转次数与历史跨域流转次数均值相减得到流转偏差,按照时间片顺序形成审查冲突链集合;
29、对审查冲突链集合进行局部冲突扩展,将同一时间片、同一对象下存在不同访问主体、不同权限状态或不同流转路径的冲突链进行相邻扩展,按照节点标识和流转路径生成跨节点传播路径;
30、对跨节点传播路径进行路径标定与稳定度递推分析,将同一路径在连续时间片内出现的次数除以路径所属时间片总数得到路径稳定度,将路径稳定度与对应冲突链数量相乘得到路径风险分布值,按照节点标识、时间片号和路径顺序生成审查风险分布序列。
31、可选的,所述得到关系判别结果,包括:
32、对审查风险分布序列进行三元抽取处理,生成审查关系三元组,在原transe模型的平移运算后设置分量残差递归修正,在平移运算前设置向量内部差分扰动,在关系判别前设置分量交错投影,构建改进transe模型;
33、读取审查关系三元组中的头实体、关系和尾实体,分别在实体向量表和关系向量表中查找对应的向量表示,得到头实体向量、关系向量和尾实体向量,将头实体向量与关系向量相加得到预测尾实体向量,将尾实体向量与预测尾实体向量进行逐分量差值处理得到分量残差,将分量残差回填至头实体向量、关系向量和预测尾实体向量,得到修正后预测尾实体向量;
34、引入向量内部差分扰动进行邻项差值处理,分别对头实体向量、关系向量和尾实体向量进行相邻分量差值处理,得到头实体差分序列、关系差分序列和尾实体差分序列,根据头实体差分序列、关系差分序列和尾实体差分序列生成差分偏离序列;
35、采用分量交错投影进行分量交错排列,将头实体向量、关系向量和尾实体向量按照主体分量、对象分量、权限分量、行为分量、规则分量和风险分量进行交错排列,对交错排列后的头实体向量、关系向量和尾实体向量进行逐分量差值处理,得到交错偏离序列;
36、根据修正后预测尾实体向量、差分偏离序列和交错偏离序列生成关系判别值,将关系判别值与审查关系三元组关联生成关系判别结果;
37、以真实审查关系三元组作为正样本,以替换审查关系三元组中任一实体或关系后得到的三元组作为负样本,分别计算正样本关系判别值和负样本关系判别值,按照正样本关系判别值小于负样本关系判别值的训练方向更新改进transe模型,得到训练后的改进transe模型。
38、可选的,所述生成风险来源定位结果,包括:
39、读取词条命中结果、关系判别结果和规则触发强度序列,按照节点标识、时间片号、对象编号和字段位置进行层级归并,生成分层校核序列;
40、对分层校核序列进行结构校核,将词条命中次数与关系判别次数相减后取绝对值得到命中差异值,将命中差异值、关系判别值和对应时间片的规则触发强度值相加得到当前层级风险贡献值,将上一层级风险贡献值与当前层级风险贡献值相加得到递推风险贡献值;
41、按照字段位置、操作行为、权限状态和流转路径的顺序连接递推风险贡献值,生成贡献累积路径,将同一路径内各递推风险贡献值相加得到路径贡献总值,按照路径贡献总值从大到小进行风险来源归因排序,生成风险来源定位结果。
42、可选的,所述生成分布式数据合规审查总报告,包括:
43、读取审查风险分布序列和风险来源定位结果,按照节点标识、时间片号、风险来源、路径风险分布值、路径贡献总值和风险来源排序结果进行摘要字段裁剪,将裁剪后的摘要字段转换为固定长度编码段,生成结构化审查摘要;
44、对结构化审查摘要进行跨节点一致性校验,将具有相同风险来源位置、相同路径标识和相同时间片号的结构化审查摘要进行比对,按照风险等级差值和风险类型差异生成一致摘要和待复核摘要;
45、对一致摘要和待复核摘要进行冗余消解,将具有相同节点标识、相同时间片号、相同风险类型和相同风险来源位置的摘要合并为报告记录,按照节点标识、风险类型、风险等级、风险来源位置和时间片号对报告记录进行分层排列,生成分布式数据合规审查总报告。
46、本发明的有益效果是:
47、本发明通过分布式本地审查与数据安全处理流程,提升了多源异构数据合规审查的自动化能力和安全性。与现有集中式采集审查方式相比,本发明在各分布式数据节点完成数据合规审查要素采集、预处理、本地匹配和风险分析,避免原始数据集中搬移造成的数据泄露、越权复制和跨域流转风险。通过规则触发强度序列、双数组字典树算法和审查风险分布序列的协同处理,能够对字段、行为、权限和流转路径中的异常特征进行快速识别,提高合规规则命中效率和复杂审查场景下的处理稳定性。
48、本发明通过改进transe模型对审查关系三元组进行关系推理,并结合风险来源定位和分级压缩报告生成流程,实现了对隐性违规关系、跨节点风险传播和风险来源的精确分析。分量残差递归修正、向量内部差分扰动和分量交错投影增强了关系判别能力,能够识别单纯词条匹配难以发现的异常访问、违规共享、权限异常和流转风险。与现有依赖人工核验或静态规则匹配的方法相比,本发明具备数据不出域、审查效率高、风险识别准确、来源定位清晰、报告生成规范以及适用于分布式数据环境的技术效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com