一种跨域敏感数据动态脱敏溯源方法及系统

摘要: 本发明涉及数据安全与跨域数据处理,具体涉及一种跨域敏感数据动态脱敏溯源方法及系统。背景技术:1、在数据共享、业务协同及分布式数据处理中,包含敏感字段的数据通常需...
一种跨域敏感数据动态脱敏溯源方法及系统

本发明涉及数据安全与跨域数据处理,具体涉及一种跨域敏感数据动态脱敏溯源方法及系统。

背景技术:

1、在数据共享、业务协同及分布式数据处理中,包含敏感字段的数据通常需要在不同安全域或业务域之间进行传输。为降低敏感信息泄露风险,现有技术一般在数据跨域传输前按照目标域对应的脱敏策略,对敏感字段进行遮蔽、替换或其他脱敏处理,并根据目标域的数据使用要求对脱敏策略进行调整。

2、但是,跨域数据通常采用消息队列、数据同步链路等异步方式传输。当目标域脱敏策略在数据持续传输过程中发生变化时,部分采用更新前策略处理的数据可能已经进入目标域,部分仍处于传输过程中,还可能存在数据越序到达的情况。若按照整体数据流的接收进度进行策略切换,与策略变化字段无关的数据延迟也可能阻塞新策略生效;若对相关记录及其下游数据统一重新处理,又会造成未发生脱敏方式变化的字段和无关派生结果被重复处理。

3、因此,如何在脱敏策略仅改变部分敏感字段且跨域数据异步传输的情况下,准确确定相关敏感字段的旧策略有效范围,对仍采用更新前策略的字段进行针对性替代处理,减少无关数据等待和重复处理,并保持更新前后脱敏字段及其派生结果之间的溯源关系,是本领域需要解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种跨域敏感数据动态脱敏溯源方法及系统,以解决跨域数据异步传输过程中目标域脱敏策略发生变化时,采用更新前策略处理的敏感字段可能继续进入目标域,以及按照完整数据流的接收进度进行策略切换容易造成与策略变化无关的数据等待和重复处理的问题。

2、为实现上述目的,本发明采用如下技术方案。

3、一种跨域敏感数据动态脱敏溯源方法,包括如下步骤:

4、s1、获取目标域更新前后的脱敏策略,按字段比较并确定脱敏方式发生变化的敏感字段。

5、所述脱敏策略用于限定进入目标域的敏感字段所采用的脱敏处理方式。对于更新前后脱敏方式保持相同的字段,不将其作为本次策略更新对应的变化敏感字段。

6、s2、根据s1确定的变化敏感字段,从源域向目标域的跨域发送记录中筛选实际携带对应字段且按更新前策略处理的记录,并按原发送顺序形成各变化敏感字段的字段相关发送序列。

7、所述跨域发送记录至少关联发送序号、目标域标识、脱敏策略版本、实际携带字段的字段标识以及源数据定位信息。对于任一变化敏感字段,仅使实际携带该字段的跨域发送记录参与其字段相关发送序列的形成,不携带该字段的跨域发送记录不参与该字段后续旧策略闭合状态的判断。当未筛选出实际携带某一变化敏感字段且按更新前策略处理的跨域发送记录时,该变化敏感字段不进入本次策略更新对应的旧策略闭合前沿和待替代字段确定流程。

8、s3、在检测到目标域的脱敏策略由更新前策略切换至更新后策略时,获取s2形成的各字段相关发送序列,以及该策略更新时刻各序列中记录在目标域的有效确认结果;自各字段相关发送序列起始端依次判断记录是否获得有效确认,将连续获得有效确认的最后一条记录的位置确定为对应变化敏感字段在本次策略更新中的旧策略闭合前沿。

9、所述有效确认是指目标域完成对应跨域记录的接收,并使该跨域记录进入能够被目标域后续数据处理调用的有效数据区域后形成的确认。

10、字段相关发送序列中存在未获得有效确认的记录时,位于该记录之后的记录即使已经越序获得有效确认,也不计入自序列起始端形成的连续有效确认范围。

11、当字段相关发送序列的起始记录在策略更新时尚未获得有效确认时,所述连续有效确认范围为空,将字段相关发送序列的起始边界确定为旧策略闭合前沿,该字段相关发送序列中仍采用更新前策略处理的字段均位于所述旧策略闭合前沿之后。

12、所述旧策略闭合前沿在本次策略更新时确定后保持不变。本次策略更新后,原未获得有效确认的更新前策略记录即使后续到达目标域或者完成有效确认,也不再用于向后扩展本次策略更新对应的旧策略闭合前沿,而是根据已经确定的旧策略闭合前沿判断其中相应字段是否需要替代。

13、s4、根据s3确定的各变化敏感字段的旧策略闭合前沿,确定相应前沿之后仍按更新前策略处理的字段为待替代字段,取得待替代字段对应的源字段,按照更新后策略重新脱敏,得到替代字段及替代记录。

14、对于策略更新时尚未进入目标域有效数据区域的待替代字段,在相应跨域记录后续到达目标域时,不将对应的更新前策略脱敏字段直接写入有效数据区域,而是取得对应源字段并按照更新后策略重新脱敏。

15、对于策略更新时已经越序进入目标域有效数据区域、但位于对应变化敏感字段旧策略闭合前沿之后的更新前策略脱敏字段,同样确定为待替代字段,并采用更新后策略重新脱敏。对于已经进入目标域有效数据区域的待替代字段,在按照更新后策略形成替代字段后,使对应的更新前策略脱敏字段失效,并以所述替代字段作为当前有效字段。

16、当同一跨域记录中还包含无需替代的其他字段时,将重新得到的脱敏字段与所述其他字段组合形成替代记录;当同一跨域记录中不包含无需替代字段时,以重新得到的脱敏字段形成对应的替代记录。

17、当同一跨域记录包含多个变化敏感字段时,分别依据各变化敏感字段对应的旧策略闭合前沿确定其中的待替代字段,使同一跨域记录中的不同字段能够分别保持更新前策略处理结果或者替换为更新后策略处理结果。

18、为保证能够取得与原跨域发送记录对应的源字段,跨域发送时保存相应源数据定位信息。当源数据能够根据历史版本读取时,所述源数据定位信息用于定位对应发送时的源字段;当源数据允许修改且不能根据历史版本恢复发送时的字段值时,在源域受保护存储区保存尚未进入对应字段相关发送序列的连续有效确认范围的敏感字段在发送时的字段值,并使其与发送序号、字段标识和脱敏策略版本关联。

19、检测到策略更新后,对于位于旧策略闭合前沿以内的字段,在完成本次闭合判定后删除对应保存内容;对于位于旧策略闭合前沿之后的待替代字段,在完成更新后策略下的替代处理后删除对应保存内容。是否删除所述保存内容,以本次策略更新时确定的对应敏感字段旧策略闭合前沿和替代处理状态为依据,而不以对应跨域记录是否已经单独获得有效确认为依据。

20、s5、根据s4确定的待替代字段及形成的替代记录,并结合待替代字段与目标域下游派生字段之间的实际输入关系,确定受影响的派生结果,使其失效,并基于所述替代记录得到重新生成结果。

21、对于未使用待替代字段作为输入的派生结果,保持其原有有效状态,不因同一跨域记录中的其他敏感字段发生替代而重新生成。

22、所述输入关系可在目标域执行字段复制、拼接、拆分、字段映射、格式转换或者其他数据处理操作时形成,用于记录对应派生字段实际采用的上游输入字段。

23、s6、根据更新前脱敏字段、s4得到的替代字段及s5得到的重新生成结果之间的对应关系,形成跨策略版本的溯源关系,并据此反查待溯源数据的跨域脱敏过程。

24、获取待溯源数据后,根据待溯源数据与上游输入字段之间的关系确定其对应脱敏字段;存在替代字段时,根据替代字段与更新前脱敏字段之间的对应关系确定相应跨域发送记录、更新前后脱敏策略版本以及源字段,从而反查待溯源数据经历的跨域脱敏过程。

25、进一步地,所述跨域发送记录包括发送序号、目标域标识、脱敏策略版本、记录实际携带字段的字段标识以及源数据定位信息。

26、进一步地,所述有效确认在目标域完成对应跨域记录的有效数据写入或者等效提交后形成,仅表示网络数据已经到达目标域而尚未进入有效数据区域的接收状态不作为所述有效确认。

27、进一步地,同一跨域记录包含多个变化敏感字段时,各变化敏感字段分别具有对应的字段相关发送序列和旧策略闭合前沿,并分别根据相应旧策略闭合前沿确定是否需要替代。

28、本发明还提供一种跨域敏感数据动态脱敏溯源系统,适用于上述方法,包括策略比较模块、发送序列形成模块、闭合前沿确定模块、替代脱敏模块、派生结果重建模块和溯源模块。

29、所述策略比较模块用于获取目标域更新前后的脱敏策略,按字段比较并确定脱敏方式发生变化的敏感字段。

30、所述发送序列形成模块用于根据策略比较模块得到的变化敏感字段,从跨域发送记录中筛选实际携带对应字段且按更新前策略处理的记录,并按原发送顺序形成各变化敏感字段的字段相关发送序列。

31、所述闭合前沿确定模块用于在检测到策略更新时,根据目标域在策略更新时刻对发送序列形成模块得到的各字段相关发送序列中记录形成的有效确认结果,自各序列起始端将连续获得有效确认的最后一条记录的位置确定为对应变化敏感字段的旧策略闭合前沿;若起始记录未获有效确认,以序列起始边界为所述前沿。

32、所述替代脱敏模块用于根据闭合前沿确定模块得到的旧策略闭合前沿,确定相应前沿之后仍按更新前策略处理的字段为待替代字段,取得其源字段,按更新后策略重新脱敏,得到替代字段及替代记录。

33、所述派生结果重建模块用于根据替代脱敏模块得到的待替代字段及所述待替代字段与下游派生字段的输入关系,使受影响的派生结果失效,并基于替代脱敏模块得到的替代记录得到重新生成结果。

34、所述溯源模块用于根据更新前脱敏字段、替代脱敏模块得到的替代字段及派生结果重建模块得到的重新生成结果之间的对应关系形成溯源关系,并据此反查待溯源数据的跨域脱敏过程。

35、与现有技术相比,本发明具有以下有益效果:

36、第一,本发明在脱敏策略发生变化后,根据更新前后策略实际发生变化的敏感字段筛选对应跨域发送记录,分别形成字段相关发送序列,从而即使与策略变化字段无关的记录发生延迟或者未完成有效确认,也不影响相应敏感字段旧策略闭合前沿的确定。

37、第二,本发明以策略更新时刻目标域已经形成的有效确认结果确定各变化敏感字段的旧策略闭合前沿,并使所述旧策略闭合前沿在本次策略更新过程中保持不变,从而使尚未到达目标域的旧策略字段以及已经越序进入目标域但位于旧策略闭合前沿之后的旧策略字段能够按照同一闭合关系进行处理。

38、第三,本发明分别根据各变化敏感字段的旧策略闭合前沿确定待替代字段,仅对需要替代的字段重新执行更新后策略下的脱敏处理,并根据被替代字段与下游派生字段之间的实际输入关系确定需要重新生成的派生结果,减少无关字段和无关派生结果的重复处理。

39、第四,本发明根据更新前脱敏字段、替代字段和重新生成结果之间的对应关系形成溯源关系,使待溯源数据能够沿实际字段替代和派生处理关系反查对应源字段、跨域发送记录以及所经历的脱敏策略变化过程。