基于动态脱敏粒度的数据内容生成方法、系统及存储介质与流程

摘要: 本技术涉及数据处理的,尤其是涉及一种基于动态脱敏粒度的数据内容生成方法、系统及存储介质。背景技术:1、用于敏感数据处理的数据集成分析平台,集成有多类功能模块,具...
基于动态脱敏粒度的数据内容生成方法、系统及存储介质与流程

本技术涉及数据处理的,尤其是涉及一种基于动态脱敏粒度的数据内容生成方法、系统及存储介质。

背景技术:

1、用于敏感数据处理的数据集成分析平台,集成有多类功能模块,具体包括数据连接、字段与参数配置、数据条件筛选、高速运算分析、表格图表可视化分析、大屏仪表盘展示、数据告警分析、数据挖掘工作区,以及用户登录与角色权限管控入口等核心功能模块。其中,数据连接模块适配文件数据、关系型数据库、多维数据库、no-sql数据库及第三方外部系统等多元数据源;数据分析输出端支持表格、可视化图表、透视分析、大屏全景展示等多种结果呈现形式。

2、现有数据平台在运行过程中,可响应用户或业务机构发起的各类数据操作请求,涵盖数据查询、数据智能分析、可视化图表生成、数据文件下载、数据接口调用等多种业务场景。平台在接收各类请求指令后,首先调取业务所需的目标数据集,继而依据系统预先配置的固定脱敏规则,对调取的原始敏感数据进行脱敏处理,完成数据脱敏加工后,将脱敏后的合规数据内容,通过可视化展示、文件输出、接口推送等多种形式对外输出,实现敏感数据的基础化脱敏应用。

3、当前主流的数据脱敏处理系统,其脱敏机制多为静态固化模式,通常在数据入库存储或数据导出输出的前置环节,依据统一预设规则生成固定的脱敏数据副本。该类脱敏方式灵活性与适配性较差,无法根据访问主体身份差异、实时业务请求类型、多样化查询组合条件等动态变量,自适应调整脱敏粒度与脱敏规则,难以适配多主体、多场景、差异化的数据安全管控需求。

技术实现思路

1、为了能够自适应调整脱敏粒度,本技术提供一种基于动态脱敏粒度的数据内容生成方法、系统及存储介质。

2、第一方面,本技术提供一种基于动态脱敏粒度的数据内容生成方法,采用如下的技术方案:

3、一种基于动态脱敏粒度的数据内容生成方法,包括如下步骤:

4、s101:基于预设的数字授权接收对应的原始数据,基于预设的分类规则对原始数据建立目录,目录包括数据资产、字段、指标、时间窗、属性维度和更新批次;其中,针对字段生成粒度属性,粒度属性包括敏感等级、可聚合属性、最小时间粒度、地域粒度、可关联标识、质量标签和语义映射信息;将原始数据隔离在预设的受控数字域,受控数字域中的数据默认为不发布;

5、s102:获取满足预设的属性规则的发布指令,响应于发布指令获取与发布指令对应的属性数据,根据属性数据提取对应的原始数据作为属性内容,将属性数据和对应的属性内容结合得到发布上下文;获取满足预设的请求规则的内容请求,基于预设的分析规则对内容请求进行解析得到请求内容;

6、s103:基于大语言模型根据字段、目录、指标、发布上下文和请求内容生成候选查询计划、聚合方式和内容配置;基于预设的检验规则引擎对候选查询计划执行字段白名单、目的匹配、授权范围、聚合最小单元、禁止组合和/或访问频率的校验;若未通过校验,则拒绝候选查询计划、降低候选查询计划对应字段的粒度属性或转入人工审批;

7、s104:校验通过后调用内设有多种风险属性的风险评估引擎,基于风险评估引擎根据候选查询计划、聚合方式和内容配置输出对应的处理策略;其中,将风险属性标准化得到风险项,根据多个风险项计算出风险值,根据风险值和预设的授权状态输出释放等级及对应的处理策略;

8、s105:调用隐私视图生成引擎按照释放等级与处理策略对非受控数字域的数据和发布上下文执行聚合、分桶、泛化、时间粒度调整、地域粒度调整、小样本抑制、阈值控制和/或受限扰动的可计算变换操作生成候选视图;候选视图中保留完成当前分析任务所需的属性维度和指标,并形成结果摘要、查询计划摘要和策略执行摘要;

9、s106:若风险值大于预设的风险预警值,则仅返回风险提示或不返回分析结果;反之,则对风险值和授权状态进行分级得到风险等级,根据风险等级确定数据内容的脱敏粒度;基于脱敏粒度进行发布结果;

10、s107:在处理策略完成且结果摘要确定后,基于结果摘要、查询计划摘要、策略版本、数据资产或批次版本、接收上下文、输出类型、有效期和随机因子生成统一溯源锚点t;

11、s108:接收待验证的发布结果,提取发布结果对应的载体适配信息或计算结果指纹,在审计域中验证是否与统一溯源锚点t、策略版本、结果摘要和接收上下文一致;校验一致时返回相应的发布批次、策略和有效期;校验不一致时记录为篡改、载体转换异常或无有效来源。

12、通过采用上述技术方案,通过构建带有多维粒度标签(如敏感等级、可聚合性、时间与地域粒度等)的字段属性体系,配合大语言模型辅助生成查询计划及多级校验引擎的筛选,使脱敏策略能够根据请求主体、业务场景和实时风险评分动态调整,有效摆脱了传统静态脱敏对统一规则的依赖。在此基础上,利用风险量化评估与可计算变换操作(如聚合、分桶、泛化等)生成隐私视图,既控制了高敏感数据的暴露风险,又保留了分析任务所需的关键维度和指标,在数据可用性和安全合规之间形成灵活折中。同时,通过嵌入策略版本、结果摘要和随机因子形成的溯源锚点,结合后续指纹一致性校验,建立起贯穿发布全周期的防篡改追踪机制,从而为多主体、多场景下的数据集成分析平台提供了兼具适应性、安全性和可审计性的实用解决方案。

13、可选地,方法还包括如下步骤:

14、基于预设的大语言模型(llm)处理字段目录、指标定义、脱敏后的统计反馈和已授权的发布上下文,用于生成查询候选计划和处理策略的建议,禁止读取患者级原始数据;

15、或者,将预设的大语言模型(llm)部署在隔离受控环境内,获取经授权的受控明细范围,在受控明细范围内完成任务解析或风险辅助判断;审计大语言模型(llm)的输入输出、调用身份、目的和摘要,阻止将原始数据发送至隔离受控环境外与训练环境。

16、通过采用上述技术方案,将大语言模型限定于元数据处理并部署于隔离环境,配合全程输入输出审计,在借助其智能化分析能力的同时,从源头阻断原始数据外泄,确保操作可追溯,兼顾了处理效率与数据安全。

17、可选地,方法还包括如下步骤:

18、候选视图对应于最小可用隐私视图;为每一次可执行的内容请求创建隐私视图描述视图对象,视图对象包括:可用字段集合、聚合粒度、最小群体阈值、时间与地域泛化规则、禁止联动字段、可输出载体、有效期、策略版本和风险等级;

19、从视图对象指定的受控范围读取数据进行计算,视图对象用于执行隐私变换,也用于作为生成结果摘要和统一溯源锚点t的输入,用以在验证时区分对应于同一数据但不同发布策略的结果。

20、通过采用上述技术方案,通过为每次数据请求独立创建包含可用字段、泛化规则、群体阈值及策略版本等完整属性的视图对象,将最小可用隐私视图与具体业务场景精确绑定,既确保每次发布均按既定规则完成隐私变换,又使视图对象作为结果摘要和溯源锚点的生成依据,从而在后续验证环节能够清晰区分同一份原始数据在不同授权策略下的发布结果,有效提升了隐私策略执行的精细度和审计追溯的准确性。

21、可选地,方法还包括如下步骤:

22、风险属性的因子包括字段敏感度、准标识符组合风险、筛选后群体规模、输出粒度、历史相近请求、主体授权偏离度和目的偏离度,将风险属性的因子标准化后形成风险值r=w1s+w2c+w3g+w4h+w5a+w6p,其中s表示字段敏感度,c表示组合可识别风险,g表示结果群体规模风险,h表示历史查询累积风险,a表示授权偏离风险,p表示目的偏离风险;w1至w6为对应的权重。

23、通过采用上述技术方案,通过将字段敏感度、准标识符组合风险、群体规模、历史查询累积、授权偏离及目的偏离六个维度的因子纳入统一量化模型,以加权求和方式生成综合风险值,将原本分散且难以定性判断的多类风险因素转化为可横向比较的量化指标,为后续风险等级划分和脱敏粒度的差异化判定提供了明确、可复用的数值依据,有助于在不同业务场景下实现风险评估的一致性和动态适配性。

24、可选地,方法还包括如下步骤:

25、当风险值位于预设的第一取值范围内,且授权状态为第一状态,则标记为低风险等级,低风险等级用于展示统计图表、趋势、分布及聚合指标;第一状态对应于局部未受限;

26、当风险值位于预设的第二取值范围内,且授权状态为第二状态,则标记为中风险等级,中风险等级在处理策略对应时生成带有受控字段、有效期和下载限制的聚合表或报告;第二状态对应于局部受限;

27、当风险值位于预设的第三取值范围内,且授权状态位于第三状态,则标记为高风险等级,高风险等级的受控明细与api仅在额外授权、独立策略和审计要求均满足时开放;第三状态对应于额外授权;

28、风险值越大,风险等级越高,风险值越小,风险等级越低,第一取值范围内的值<第二取值范围内的值小于第三取值范围内的值。

29、通过采用上述技术方案,通过将风险值分段与授权状态组合联动,动态划分低、中、高三档风险等级,使脱敏策略不再固化绑定于用户角色,而是随主体身份、请求目的、数据敏感度和实时上下文灵活调整,实现了权限管控从静态角色依赖向动态风险适配的转变。不同等级对应差异化的输出形式,低风险侧重统计图表等宽泛展示,中风险输出带时限和下载限制的受控聚合报告,高风险则须满足额外授权与审计要求方可开放明细,从而在保障数据安全的同时兼顾了业务场景的弹性需求,避免了过度脱敏导致分析失效或过度开放引发泄露隐患的两难困境。

30、可选地,方法还包括如下步骤:

31、获取连续的发布指令,并验证连续的发布指令之间的连续相似性,若连续的发布指令具有连续相似性,则获取发布指令对应账号的权限为连续权限;

32、计算连续权限的权限变化趋势,若权限变化趋势为上升,则根据权限变化趋势调节第一取值范围、第二取值范围和第三取值范围;权限变化趋势为上升,则第一取值范围和/或第二取值范围变大,第三取值范围变小;权限变化趋势为下降,则第一取值范围和/或第二取值范围变小,第三取值范围变大;其中,第一取值范围、第二取值范围和第三取值范围的总范围不变。

33、通过采用上述技术方案,通过识别连续发布指令的相似性,跟踪同一账号的权限变化趋势,并据此动态调整低、中、高三级风险评分的区间阈值,使得风险等级的划分不再依赖固定参数,而是随当前操作序列的权限走势自适应偏移。当权限呈上升趋势时,适当扩大低中风险区间、压缩高风险区间,反之则反向调节,从而在同一会话内实现对高风险操作的渐进式收紧或宽松响应,有效防范通过分次请求累积突破管控边界的风险,提升了风险评估对实时行为上下文的敏感度和适应性。

34、可选地,方法还包括如下步骤:

35、发布结果的载体包括图表、报告、下载文件、受授权明细或api响应;统一溯源锚点t采用签名、消息认证码或哈希链方式生成,被校验方用于验证摘要及上下文是否被替换;

36、为不同的载体生成与同一统一溯源锚点t关联的载体适配信息,载体适配信息对应于验证编号或机器可识别标记以在图表和报告中显示;

37、通过发布结果的载体而下载的文件携带与载体适配信息对应的受保护清单、隐藏验证字段或文件级签名;api响应携带与载体适配信息对应的签名字段、响应摘要和验证索引;载体经过渲染、导出或接口转换后,基于统一溯源锚点t关联回相同的发布上下文和处理策略的执行记录。

38、通过采用上述技术方案,为图表、报告、下载文件及api响应等不同载体分别生成与统一溯源锚点关联的适配信息(如验证编号、文件签名或响应摘要),使得同一发布结果无论以何种形式输出或经渲染、导出、接口转换等操作后,仍可通过锚点回链至原始发布上下文和策略执行记录,从而在跨载体流转场景中保持溯源链条的完整性和一致性,有效防范内容替换、载体转换异常等情形下的验证失效。

39、可选地,方法还包括如下步骤:

40、当同一分析结果被导出为载体时,不重新生成无关的独立标识保留同一统一溯源锚点t并写入该载体所需的适配载荷;适配载荷包括统一溯源锚点t的索引、载体类型、结果摘要截断值、策略版本引用、有效期和校验信息;

41、若对于载体对应于的授权状态不为第一状态,则只保留验证编号和预设的受保护的映射关系;审计域通过验证编号及结果摘要完成查验。

42、通过采用上述技术方案,在将同一分析结果导出为图表、报告或文件等不同载体时,统一沿用相同的溯源锚点,仅在载体中写入对应的适配载荷,避免为各输出渠道分别生成独立标识而造成的记录冗余和关联困难;同时针对不同授权状态采取差异化处理,非低风险场景下仅保留验证编号及受保护的映射关系,审计域仍可依据该编号和结果摘要完成查验。由此在降低跨渠道溯源管理复杂度的同时,确保不同授权场景下均可有效追溯原始发布策略和上下文。

43、第二方面,本技术提供一种基于动态脱敏粒度的数据内容生成系统,采用如下的技术方案:

44、一种基于动态脱敏粒度的数据内容生成系统,包括处理器,所述处理器中执行如上述任意一项所述的基于动态脱敏粒度的数据内容生成方法的步骤。

45、第三方面,本技术提供一种存储介质,采用如下的技术方案:

46、一种存储介质,所述存储介质中存储有程序,所述程序被处理器执行时实现上述任意一项所述的基于动态脱敏粒度的数据内容生成方法的步骤。

47、综上所述,本技术包括以下至少一种有益技术效果:本技术通过构建带有多维粒度标签的字段属性体系,配合大语言模型辅助生成查询计划与多级规则校验,使脱敏策略能够随请求主体、业务场景和实时风险评分动态调整;同时基于多因子加权求和的风险量化模型与分级联动机制,将风险评估结果映射为差异化的脱敏粒度和输出形式,在保障数据安全的前提下兼顾分析任务的可用性;此外,通过为每次请求独立创建包含完整参数的隐私视图对象,并结合统一溯源锚点与跨载体适配信息,实现了同一分析结果在多渠道流转中的一致性溯源和防篡改验证,进而为多主体、多场景下的数据集成分析平台提供了一套兼具动态适配能力、安全管控精度和全链路可审计性的完整解决方案。