一种基于数据安全的AI全链路隐私保护决策方法与流程

摘要: 本发明涉及数据安全,尤其涉及一种基于数据安全的ai全链路隐私保护决策方法。背景技术:1、随着人工智能系统在数据采集、清洗、特征处理、模型训练、推理缓存及结果发布...
一种基于数据安全的AI全链路隐私保护决策方法与流程

本发明涉及数据安全,尤其涉及一种基于数据安全的ai全链路隐私保护决策方法。

背景技术:

1、随着人工智能系统在数据采集、清洗、特征处理、模型训练、推理缓存及结果发布环节的持续应用,业务数据在不同处理阶段之间形成复杂关联。现有数据安全方案多集中于单一环节的访问控制、脱敏处理或结果审查,难以对同一数据在完整处理链中的传播范围和实际影响进行持续追踪。

2、当发生数据撤回、授权范围缩减或敏感等级提高时,现有技术通常采用删除原始数据、整体重新训练模型或直接停止相关服务的方式处理。前述方式难以准确定位受影响的数据、缓存和模型参数,容易出现隐私影响清除不完整、无关数据重复处理、模型重训范围过大以及业务恢复时间较长的问题。

3、此外,现有机器遗忘方法通常侧重删除样本对模型参数的影响,但缺少对遗忘前后模型输出变化、发布结果可靠性及隐私事件特定影响的联合判断,难以区分参数调整引起的一般性能波动与隐私事件造成的实质变化,需要解决ai全链路数据影响范围难以确定、隐私影响难以精确解除以及更新后发布结果缺少可靠决策依据的技术问题。

4、因此,如何提供一种基于数据安全的ai全链路隐私保护决策方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于数据安全的ai全链路隐私保护决策方法,本发明基于sisa训练框架构建域控sisa框架,通过超图分片单元形成全链路依赖超图和依赖分片,通过作用分解单元形成身份参数增量、授权参数增量和用途参数增量;隐私事件发生后确定影响闭包、失效参数增量和更新后的分片子模型。反事实聚合单元构建实际事件路径和反事实事件路径,校准决策单元依据路径差分边界、类别概率差值和预测集合,形成保留原发布结果、生成替代发布结果和停止发布三类决策,具有缩小受影响依赖分片范围、减少推理缓存清除、提高发布结果判定准确性的优点。

2、根据本发明实施例的一种基于数据安全的ai全链路隐私保护决策方法,包括如下步骤:

3、获取ai业务的全链路数据,关联生成数据组;

4、基于sisa训练框架,构建域控sisa框架,包括超图分片单元、作用分解单元、反事实聚合单元和校准决策单元;

5、超图分片单元将数据组作为节点,连接生成超边,构建全链路依赖超图,并进行切分,生成多个依赖分片;

6、在作用分解单元中,为各依赖分片配置分片子模型,构建作用参数集,在基础参数冻结状态下更新分片子模型,形成训练后的分片子模型;

7、隐私事件发生后,重新生成全链路数据,构建更新后的作用参数集,再次更新训练后的分片子模型生成更新后的分片子模型;

8、基于反事实聚合单元,将更新后的分片子模型组成实际事件路径,同步构建反事实事件路径,生成实际决策输出、反事实决策输出、实际校准输出和反事实校准输出;

9、校准决策单元根据实际校准输出和反事实校准输出构建实际预测集合、反事实预测集合和路径差分边界,并结合实际决策输出与反事实决策输出确定ai全链路隐私保护决策。

10、可选的,所述关联生成数据组包括:

11、分别采集ai业务在数据采集、数据清洗、特征处理、模型训练、模型推理和结果发布过程中形成的原始数据、清洗数据、特征数据、训练记录、推理缓存和发布记录,组成全链路数据,为每项原始数据配置唯一的数据标识,其中,训练记录包括训练样本、样本类别和训练梯度;

12、按照数据标识,将携带相同数据标识的全链路数据进行关联,归入同一数据组;

13、同步读取各数据组中的特征字段,并构建数据处理关系;

14、同步获取待决策数据、目标分片数、校准覆盖率和校准数据;

15、同步获取隐私事件信息,记录事件类型、目标数据标识。

16、可选的,所述构建域控sisa框架包括:

17、以sisa训练框架中的分片结构、切片结构和聚合结构作为构建基础;

18、在分片结构中接入全链路依赖超图,将训练数据的普通分片替换为依赖分片,并保留每个依赖分片对应1个分片子模型的隔离关系,构建超图分片单元;

19、在切片结构中保留数据切片的顺序训练关系,增加身份参数增量、授权参数增量和用途参数增量的分离保存关系,构建作用分解单元;

20、将聚合结构中的单一聚合过程划分为实际事件路径和反事实事件路径,构建反事实聚合单元;

21、在反事实聚合单元之后,新增校准决策单元,构建由实际校准输出和反事实校准输出进行分位校准、并由实际决策输出和反事实决策输出进行差异判定的校准决策路径;

22、基于超图分片单元、作用分解单元、反事实聚合单元和校准决策单元,完善单元之间的数据连接关系,构建域控sisa框架。

23、可选的,所述生成多个依赖分片包括:

24、在超图分片单元中,将每个数据组设置为一个节点,根据数据处理关系将共同使用同一处理过程的数据组连接为一条超边;

25、针对每条超边,统计共同处理过程数量和共同引用的推理缓存数量,基于各数据组对应的训练梯度计算训练梯度相似度,并进行极差归一化,加权相加得到依赖权重;

26、基于数据组、超边和依赖权重组成全链路依赖超图;

27、按照目标分片数对全链路依赖超图进行多次切分,生成多个候选切分结果,并结合依赖权重,构建跨分片依赖程度,结合训练记录,计算分片样本数量差异和类别比例差异,并进行极差归一化,确定分片结果,划分生成多个依赖分片。

28、可选的,所述形成训练后的分片子模型包括:

29、在作用分解单元中,将每个依赖分片中的训练记录划分为多个数据切片,为每个依赖分片配置一个分片子模型,设置身份参数子空间、授权参数子空间和用途参数子空间和对应的独立附加参数;

30、针对每个数据切片,将同一数据标识对应的训练样本输入分片子模型,结合样本类别,计算身份损失、授权损失和用途损失,并计算三个损失对3组独立附加参数的梯度,同时进行删减保留处理,生成相互正交的身份梯度、授权梯度和用途梯度;

31、基于相互正交的身份梯度、授权梯度和用途梯度,计算身份参数增量、授权参数增量和用途参数增量,组合生成作用参数集;

32、按照数据切片的排列顺序逐个处理各数据切片,基于作用参数集更新3组独立附加参数,结合基础参数组成训练后的分片子模型。

33、可选的,所述生成更新后的分片子模型包括:

34、隐私事件发生后,取得目标数据标识对应数据组的节点及其连接的全部超边,确定初始影响闭包;

35、基于事件类型,确定被移除和被断开的参数增量,作为失效参数增量,比较失效参数增量失效前后的模型输出,构建影响闭包;

36、根据影响闭包中各数据组所属的依赖分片,确定受影响依赖分片,更新清洗数据和特征数据,重新执行数据清洗和特征处理,重新划分受影响数据切片;

37、针对重新划分的各数据切片,重新计算身份损失、授权损失和用途损失,构建更新后的作用参数集;

38、按照数据切片的排列顺序,加载未失效的作用参数集和更新后的作用参数集,依次更新受影响依赖分片对应的训练后的分片子模型,形成更新后的分片子模型,并记录失效参数增量对应的参数子空间类别、增量个数和参数元素数量。

39、可选的,所述生成实际决策输出、反事实决策输出、实际校准输出和反事实校准输出包括:

40、基于反事实聚合单元,将受影响依赖分片对应的更新后的分片子模型与影响闭包外依赖分片对应的训练后的分片子模型进行组合,形成实际事件路径;

41、分别统计各依赖分片的训练样本数量和各样本类别比例,基于训练梯度计算平均梯度方向,计算各特征字段的特征均值和特征协方差,并结合校准数据和对应分片子模型,计算平均损失值和平均预测置信度,组成状态特征;

42、针对每个受影响依赖分片,计算其与各影响闭包外依赖分片之间的状态特征差值,并调用校准数据计算每项状态特征对应的匹配权重;

43、分别对各项状态特征差值进行极差归一化并乘以对应匹配权重,相加得到综合匹配值,确定匹配分片;

44、针对每项失效参数增量,在匹配分片中筛选参数增量并保留;

45、复制隐私事件发生前各依赖分片对应的训练后的分片子模型并按照依赖分片位置组合,将匹配分片中选取的参数增量从前向计算路径中断开,其余附加参数保持有效,形成反事实事件路径;

46、将校准数据输入实际事件路径中的各分片子模型,计算聚合权重;

47、将待决策数据和校准数据分别输入实际事件路径和反事实事件路径,并按照聚合权重求和,生成实际决策输出、反事实决策输出、实际校准输出和反事实校准输出。

48、可选的,所述确定ai全链路隐私保护决策包括:

49、在校准决策单元中,针对校准数据中的每个校准样本,结合实际校准输出,计算实际非一致性分数,结合反事实校准输出,计算反事实非一致性分数;

50、按照样本类别分别对实际非一致性分数和反事实非一致性分数进行分组,结合校准覆盖率,计算实际分位值和反事实分位值;

51、针对实际决策输出中的每个决策类别,计算实际待决策分数,将实际待决策分数不超过对应实际分位值的决策类别加入实际预测集合;

52、针对反事实决策输出中的每个决策类别,计算反事实待决策分数,将反事实待决策分数不超过对应反事实分位值的决策类别加入反事实预测集合;

53、针对每个校准样本,读取实际校准输出与反事实校准输出中对应样本类别的决策类别概率,确定路径差分边界;

54、针对每个决策类别,计算实际决策输出与反事实决策输出中对应概率之间的绝对差值,形成类别概率差值,并与对应决策类别的路径差分边界进行比较,构建ai全链路隐私保护决策。

55、本发明的有益效果是:

56、首先,本发明通过全链路依赖超图确定数据组之间的处理关联,并依据依赖权重、影响覆盖率和残留验证结果形成影响闭包,能够在数据撤回事件、授权范围缩减事件和敏感等级提高事件发生后,准确定位受影响依赖分片、推理缓存及作用参数集,减少无关数据处理和无关分片重训,降低隐私事件处置范围过大造成的计算资源消耗。

57、其次,本发明通过作用分解单元将训练梯度分解为相互正交的身份梯度、授权梯度和用途梯度,并形成身份参数增量、授权参数增量和用途参数增量,能够按照数据标识、特征字段、授权范围和发布用途分别移除、关闭或重新计算对应参数增量,降低目标数据、被取消特征字段及受限发布用途在分片子模型中的残留影响,提高机器遗忘处理的针对性和完整性。

58、此外,本发明通过实际事件路径和反事实事件路径形成实际决策输出、反事实决策输出、实际校准输出和反事实校准输出,并依据预测集合、类别概率差值和路径差分边界执行发布判断,能够区分隐私事件引起的特定输出变化与参数调整造成的一般性能波动,减少错误保留和错误替代,提高更新后的发布结果可靠性,并在无法满足发布条件时及时停止发布。