一种面向企业AI场景的私有化数据隐私保护方法及系统与流程

摘要: 本发明涉及数据隐私保护,尤其涉及一种面向企业ai场景的私有化数据隐私保护方法及系统。背景技术:1、随着人工智能技术在工业生产、质量检测、经营管理及设备运维等企业...
一种面向企业AI场景的私有化数据隐私保护方法及系统与流程

本发明涉及数据隐私保护,尤其涉及一种面向企业ai场景的私有化数据隐私保护方法及系统。

背景技术:

1、随着人工智能技术在工业生产、质量检测、经营管理及设备运维等企业场景中的持续应用,越来越多的企业私有化数据需要被不同下游ai任务调用。现有技术通常采用数据脱敏、匿名化、泛化处理、访问控制以及差分隐私等方式对企业数据进行隐私保护,并依据统一的数据安全规则对敏感字段进行删除、替换或扰动,从而降低企业私有数据在传输、共享及模型调用过程中的泄露风险。

2、然而,不同下游ai任务对数据字段、样本粒度、时间分辨率及个体差异信息的依赖程度存在差异,现有隐私保护方式通常按照固定保护规则或统一隐私强度处理数据,难以同时考虑数据合规最低保护要求与ai任务最低可用保真要求。当隐私保护强度过高时,关键趋势特征或个体差异特征容易被削弱,导致ai任务准确性下降;当保护强度不足时,又可能造成敏感数据保留范围超出合规要求,难以实现隐私安全与数据可用性的协调控制。

3、现有技术对不同数据特征区段通常缺少细粒度的隐私预算分配和动态修正机制,相邻区段采用差异较大的隐私保护强度时,容易形成突变式数据失真,并影响下游ai任务的连续特征识别效果。隐私保护策略多在数据处理前静态设定,缺乏依据ai任务执行反馈对局部隐私预算、过渡区间及保护策略进行持续调整的闭环机制,因此难以适应企业多任务、动态化的数据调用需求。

4、因此,如何提供一种面向企业ai场景的私有化数据隐私保护方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种面向企业ai场景的私有化数据隐私保护方法及系统,本发明充分利用了隐私边界分析、任务需求感知、分层隐私保护及动态策略优化技术,通过采集企业私有化数据并结合下游ai任务需求构建任务需求特征集合,依据合规最低保护边界与任务最低可用保真边界识别冲突数据要素,进一步通过特征分层、隐私预算分配、预算梯度平滑及反馈优化生成适配不同ai任务的任务化数据视图,实现企业私有数据在满足安全合规要求的同时保持人工智能任务所需的数据有效性,具备隐私保护精度高、任务适配能力强、数据可用性高和策略调整灵活的优点。

2、根据本发明实施例的一种面向企业ai场景的私有化数据隐私保护方法,包括:

3、采集企业私有化数据并执行预处理,生成按下游ai任务标识分组的企业私有化数据块;读取所述企业私有化数据块的下游ai任务信息,从所述下游ai任务信息中提取下游ai任务标识、数据字段需求、样本粒度需求、时间分辨率需求、个体差异保留需求及允许失真范围,将提取结果组合,生成任务需求特征集合;

4、依据任务需求特征集合确定各下游ai任务调用的企业私有化数据要素,调用隐私合规知识库确定各数据要素的合规最低保护边界,依据任务需求特征集合确定对应数据要素满足下游ai任务正常执行所需的任务最低可用保真边界,逐项比对所述合规最低保护边界与任务最低可用保真边界,将任务最低可用保真边界超出对应数据要素的合规最低保护边界所限定的数据保留范围的数据要素标记为冲突数据要素,生成冲突数据要素集合;

5、依据冲突数据要素集合中记录的冲突字段、冲突维度、边界差异及关联下游ai任务,对冲突数据要素执行特征分层,生成基础统计层、局部趋势层及个体微观特征层;依据各层数据特征对下游ai任务的任务贡献程度识别关键特征区段和非关键特征区段,并分配局部隐私预算,生成初始分层隐私保护策略;

6、依据初始分层隐私保护策略中相邻特征区段的局部隐私预算差值和区段长度计算预算梯度,基于预算梯度与预设预算梯度阈值识别预算突变边界;对预算突变边界构建用于平滑预算跳变的平滑过渡窗口,生成过渡隐私预算并执行预算补偿,生成修正分层隐私保护策略;

7、依据修正分层隐私保护策略建立对应各下游ai任务的隐私保护处理管道,对企业私有化数据块执行统计聚合、结构化泛化、局部特征保留及定向噪声注入处理,生成对应各下游ai任务的任务保护数据结果并构建任务化数据视图;

8、依据任务化数据视图完成对应下游ai任务的数据分发,采集下游ai任务基于任务化数据视图生成的任务执行反馈,将任务执行反馈与任务需求特征集合进行偏差分析,更新局部隐私预算、平滑过渡窗口及分层隐私保护策略。

9、可选的,所述企业私有化数据包括工业设备运行数据、产品质量检测数据、生产操作记录数据及企业业务管理数据。

10、可选的,所述生成按下游ai任务标识分组的企业私有化数据块,包括读取各企业私有化数据对应的数据源标识、设备标识、采集时间戳及数据字段标识,按照统一时间基准对采集时间戳进行格式转换,依据预设时间窗口对转换后的企业私有化数据进行时间对齐;根据设备标识建立不同数据字段之间的设备关联关系,将属于同一设备且处于同一时间窗口内的数据字段排列为设备数据片段;检测各设备数据片段中的缺失数据、重复数据及异常数据,对缺失数据执行相邻时间点插值,对重复数据执行记录合并,对异常数据执行阈值截断;按照数据字段对应的量纲范围执行归一化处理,并依据下游ai任务标识和数据字段需求对处理后的设备数据片段进行分组,将分组后的设备数据片段作为企业私有化数据块,所述企业私有化数据块用于确定各下游ai任务能够调用的数据要素范围。

11、可选的,所述生成冲突数据要素集合,包括:

12、读取任务需求特征集合中各下游ai任务对应的任务标识、数据字段需求、样本粒度需求、时间分辨率需求、个体差异保留需求及允许失真范围,按照任务标识建立下游ai任务与企业私有化数据块中数据要素之间的调用对应关系;

13、依据所述调用对应关系,从隐私合规知识库中检索各数据要素对应的数据敏感等级、允许使用范围、允许处理方式及输出限制条件,将检索结果按照数据要素进行关联,生成数据要素合规约束集合;

14、基于所述数据要素合规约束集合,确定各数据要素允许保留的数据粒度、时间精度、空间精度、标识信息范围及个体特征范围,将允许保留范围记录为对应数据要素的合规最低保护边界;

15、依据各下游ai任务的数据字段需求、样本粒度需求、时间分辨率需求、个体差异保留需求及允许失真范围,确定完成对应下游ai任务所需保留的数据粒度、时间精度、空间精度、标识关联程度及个体特征完整程度,生成对应数据要素的任务最低可用保真边界;

16、按照数据要素逐项比对合规最低保护边界与任务最低可用保真边界,将任务最低可用保真边界超出合规最低保护边界允许保留范围的数据要素标记为冲突数据要素,并记录冲突字段、冲突维度、边界差异及关联下游ai任务,生成冲突数据要素集合。

17、可选的,所述生成初始分层隐私保护策略,包括:

18、读取冲突数据要素集合中已记录的冲突字段、冲突维度、边界差异及关联下游ai任务,按照数据字段标识和下游ai任务标识建立冲突数据要素与任务需求特征集合之间的对应关系;

19、依据所述对应关系,对各冲突数据要素执行统计特征、时间变化特征、局部关联特征及个体识别特征提取,将仅表征整体分布的数据特征划入基础统计层,将表征连续变化及局部关联的数据特征划入局部趋势层,将表征单一样本差异及身份关联的数据特征划入个体微观特征层;

20、分别将基础统计层、局部趋势层及个体微观特征层中的数据特征输入对应下游ai任务,记录移除各数据特征前后的任务输出偏差,依据任务输出偏差的大小及其与允许失真范围的接近程度,确定各数据特征对对应下游ai任务的任务贡献程度;

21、将任务贡献程度达到预设贡献阈值的数据特征所在的连续字段区段或连续时间区段标记为关键特征区段,将任务贡献程度未达到预设贡献阈值的数据特征所在的连续字段区段或连续时间区段标记为非关键特征区段,并记录各特征区段对应的数据层级、冲突维度、合规最低保护边界及任务最低可用保真边界;

22、依据各特征区段对应的任务贡献程度、边界差异及数据敏感等级,为关键特征区段分配满足任务最低可用保真边界的局部隐私预算,为非关键特征区段分配满足合规最低保护边界的局部隐私预算,将数据层级、特征区段、局部隐私预算及对应处理方式进行关联,生成初始分层隐私保护策略。

23、可选的,所述生成修正分层隐私保护策略,包括:

24、读取初始分层隐私保护策略中各特征区段对应的数据层级、区段排列顺序、局部隐私预算、任务贡献程度、数据敏感等级、合规最低保护边界及任务最低可用保真边界,按照数据字段标识和时间顺序排列属于同一冲突数据要素的特征区段,生成分层隐私预算序列;

25、按照特征区段排列顺序,逐项计算相邻特征区段之间的局部隐私预算差值,将局部隐私预算差值与对应特征区段的区段长度进行关联,生成用于表征相邻特征区段隐私保护强度变化速度的预算梯度,形成预算梯度序列;

26、将预算梯度序列中的各预算梯度与预设预算梯度阈值进行比对,将达到预设预算梯度阈值的相邻特征区段连接位置标记为预算突变边界,所述预算突变边界用于确定需要进行预算平滑处理的区段连接位置,并记录预算突变边界两侧的局部隐私预算、数据层级、任务贡献程度及边界差异;

27、以各预算突变边界为中心向两侧选取连续特征区段,构建平滑过渡窗口,所述平滑过渡窗口用于在高隐私预算区段与低隐私预算区段之间设置连续调整区间;依据窗口两端局部隐私预算的变化方向及预算差值,按特征区段排列顺序逐级调整窗口内部的局部隐私预算,生成对应各平滑过渡窗口的过渡隐私预算序列;

28、统计平滑调整前后的局部隐私预算总量差异,依据关键特征区段的任务贡献程度、任务最低可用保真边界及允许失真范围,将预算减少量补偿至任务输出偏差接近允许失真范围的关键特征区段,将预算增加量从满足合规最低保护边界的非关键特征区段中扣减,对补偿后的局部隐私预算执行合规边界校验,生成修正分层隐私保护策略。

29、可选的,所述生成对应各下游ai任务的任务保护数据结果并构建任务化数据视图,包括:

30、读取修正分层隐私保护策略中各特征区段对应的数据字段标识、数据层级、区段位置、局部隐私预算、合规最低保护边界、任务最低可用保真边界及对应处理方式,按照下游ai任务标识对特征区段进行分组,生成对应各下游ai任务的隐私处理配置集合;

31、依据隐私处理配置集合,建立由数据读取节点、区段定位节点、处理方式选择节点、隐私处理节点及结果校验节点依次连接形成的隐私保护处理管道,并将各下游ai任务对应的数据字段需求及特征区段处理参数写入对应隐私保护处理管道;

32、通过隐私保护处理管道读取企业私有化数据块,依据隐私处理配置集合中的数据字段标识及区段位置定位基础统计层、局部趋势层和个体微观特征层,将定位结果作为统计聚合、结构化泛化、局部特征保留和定向噪声注入的处理对象;对基础统计层执行统计聚合处理,对超出下游ai任务样本粒度需求的数据记录执行结构化泛化处理;

33、依据关键特征区段和非关键特征区段的标记结果,对关键特征区段保留满足任务最低可用保真边界的局部趋势特征及个体差异特征,对非关键特征区段按照对应局部隐私预算执行定向噪声注入,对涉及标识关联的数据字段执行替换、截断或关联解除处理,生成对应各下游ai任务的任务保护数据结果;

34、将任务保护数据结果与对应下游ai任务的数据字段需求、样本粒度需求、时间分辨率需求、个体差异保留需求及允许失真范围进行逐项校验,保留满足合规最低保护边界及任务最低可用保真边界的任务保护数据结果,按照下游ai任务标识、数据字段标识及时间顺序建立数据访问映射关系,生成对应各下游ai任务的任务化数据视图。

35、可选的,所述将任务执行反馈与任务需求特征集合进行偏差分析,更新局部隐私预算、平滑过渡窗口及分层隐私保护策略,包括:

36、读取各任务化数据视图对应的下游ai任务标识、数据访问映射关系及数据使用权限,将任务化数据视图分发至对应下游ai任务,记录数据调用时间、调用字段、调用次数及任务执行状态,生成任务数据调用记录;

37、采集各下游ai任务基于任务化数据视图生成的任务输出结果、任务准确性指标、数据完整性反馈、特征缺失反馈及数据失真反馈,将所述任务执行反馈与任务需求特征集合中的允许失真范围及任务最低可用保真边界进行逐项比对,生成任务执行偏差结果;

38、依据任务执行偏差结果定位产生偏差的数据字段、数据层级及特征区段,对任务执行偏差超出允许失真范围的特征区段增加局部隐私预算或扩大平滑过渡窗口,对任务执行偏差处于允许失真范围内且存在预算冗余的特征区段减少局部隐私预算或缩小平滑过渡窗口,更新分层隐私保护策略;

39、依据更新后的分层隐私保护策略重新校验各特征区段对应的合规最低保护边界,将未满足合规最低保护边界的局部隐私预算调整至对应允许范围,将通过合规边界校验的局部隐私预算、平滑过渡窗口及特征区段处理方式进行关联,生成更新后的分层隐私保护策略。

40、根据本发明实施例的一种面向企业ai场景的私有化数据隐私保护系统,包括:

41、数据采集模块,用于采集企业私有化数据,执行预处理生成企业私有化数据块,并读取企业私有化数据块的下游ai任务信息,生成任务需求特征集合;

42、边界分析模块,用于依据任务需求特征集合确定各下游ai任务调用的企业私有化数据要素,调用隐私合规知识库确定合规最低保护边界和任务最低可用保真边界,逐项比对生成冲突数据要素集合;

43、策略构建模块,用于依据冲突数据要素集合中记录的冲突字段、冲突维度、边界差异及关联下游ai任务执行特征分层,依据任务贡献程度识别关键特征区段和非关键特征区段,分配局部隐私预算,生成初始分层隐私保护策略;

44、策略修正模块,用于依据初始分层隐私保护策略中相邻特征区段的局部隐私预算差值和区段长度计算预算梯度,基于预算梯度识别预算突变边界,构建平滑过渡窗口并执行预算补偿,生成修正分层隐私保护策略;

45、隐私处理模块,用于依据修正分层隐私保护策略建立隐私保护处理管道,对企业私有化数据块执行统计聚合、结构化泛化、局部特征保留及定向噪声注入处理,生成任务保护数据结果并构建任务化数据视图;

46、反馈优化模块,用于依据任务化数据视图完成下游ai任务的数据分发,采集任务执行反馈,将任务执行反馈与任务需求特征集合进行偏差分析,并更新局部隐私预算、平滑过渡窗口及分层隐私保护策略。

47、可选的,所述数据采集模块、边界分析模块、策略构建模块、策略修正模块、隐私处理模块及反馈优化模块依次连接;所述反馈优化模块将更新后的局部隐私预算、平滑过渡窗口及分层隐私保护策略回传至策略修正模块和隐私处理模块,以使隐私保护处理管道依据任务执行反馈进行迭代更新。

48、本发明的有益效果是:

49、本发明通过采集企业私有化数据并结合下游ai任务需求构建任务需求特征集合,依据隐私合规知识库确定数据要素对应的合规最低保护边界,并结合任务需求确定任务最低可用保真边界,通过两类边界的对应比对识别冲突数据要素,能够避免现有技术中采用统一隐私保护强度导致的数据过度保护或保护不足问题,实现企业私有化数据安全要求与ai任务数据需求之间的精准匹配,提高隐私保护策略制定的准确性。

50、本发明通过对冲突数据要素执行基础统计层、局部趋势层及个体微观特征层的特征分层处理,根据不同下游ai任务对不同特征区段的需求确定关键特征区段和非关键特征区段,并分配对应局部隐私预算,同时结合预算梯度、预算突变边界、平滑过渡窗口及预算补偿机制生成修正分层隐私保护策略,能够降低不同区域隐私保护强度变化造成的数据突变问题,在满足合规保护要求的同时保留ai模型所需的重要数据特征,提高任务执行过程中的数据可用性。

51、本发明通过建立面向不同下游ai任务的隐私保护处理管道,将修正分层隐私保护策略应用于企业私有化数据处理过程,生成对应任务保护数据结果和任务化数据视图,并结合任务执行反馈动态调整局部隐私预算、平滑过渡窗口及分层隐私保护策略,能够适应不同ai任务及业务场景的数据调用需求,实现隐私保护过程的动态优化,提高企业私有化数据在多任务人工智能应用环境中的安全性、适配性和持续利用能力。