一种基于注解缓存与字段开关的敏感字段迁移方法及系统与流程

摘要: 本发明涉及计算机数据库,具体涉及一种基于注解缓存与字段开关的敏感字段迁移方法及系统。背景技术:1、在软件系统的生命周期中,数据库字段的变更是一种常见需求。特别是...
一种基于注解缓存与字段开关的敏感字段迁移方法及系统与流程

本发明涉及计算机数据库,具体涉及一种基于注解缓存与字段开关的敏感字段迁移方法及系统。

背景技术:

1、在软件系统的生命周期中,数据库字段的变更是一种常见需求。特别是在涉及敏感信息(如个人身份信息、金融数据等)的场景下,出于数据安全合规、系统重构或业务逻辑调整等原因,需要将数据库表中的旧字段迁移至新字段。例如,将存储明文密码的字段迁移为加密存储字段,或将分散的敏感数据字段合并重构。

2、目前,实现数据库字段迁移的常规方式主要包括以下两种:一是直接修改数据库表结构及对应的数据访问层代码,将所有引用旧字段的位置逐一替换为新字段;二是通过数据库脚本批量迁移数据后,再统一更新应用程序代码。然而,上述方式在实际应用中均存在明显不足。直接修改方式需要同步变更数据库表结构与应用程序代码,若系统规模较大、涉及模块众多,修改范围广泛,容易出现遗漏,且无法在迁移过程中实现旧字段与新字段的并行运行,一旦出现问题回退困难。脚本迁移方式则通常需要停机维护,影响业务连续性,且迁移完成后应用程序需要立即适配新字段,缺乏灵活的切换机制。

3、此外,在迁移过渡期间,应用程序往往需要同时兼容旧字段和新字段,以保障上层业务接口的稳定性和向后兼容性。现有的处理方式大多依赖开发人员手工编写适配逻辑,不仅工作量大、容易引入人为错误,而且缺乏统一的迁移控制机制,难以根据实际运行情况灵活调整写入策略(如双写新旧字段或仅写入新字段),也无法在查询时自动将新字段数据回填至旧字段,以保持对外接口不变。

4、综上,现有技术中缺乏一种能够基于注解声明迁移关系、支持灵活切换写入模式、并在查询时自动回填数据以保障接口兼容性的敏感字段迁移方案。

技术实现思路

1、为了克服上述技术缺陷,本发明提供一种基于注解缓存与字段开关的敏感字段迁移方法及系统。

2、为了解决上述问题,本发明采用如下技术方案:

3、第一方面,本发明提供了一种基于注解缓存与字段开关的敏感字段迁移方法,包括以下步骤:

4、系统启动阶段,扫描实体类中定义的注解,解析所述注解中的新旧字段映射关系及迁移控制信息,构建字段关系元数据并缓存于内存中;所述迁移控制信息包括写入模式控制信息和查询回填配置;

5、拦截数据库写入请求,获取所述写入请求对应的参数对象,根据所述参数对象匹配所述字段关系元数据,并依据所述写入模式控制信息确定当前的目标写入模式;

6、按照所述目标写入模式及所述映射关系,对所述参数对象中的字段值进行复制和/或移除处理,生成适配当前写入模式的参数对象,并根据所述参数对象改写最终sql的写入字段列表及对应的值,执行数据库写入操作;

7、拦截数据库查询请求,执行查询操作获得查询结果对象后,获取数据库查询操作返回的查询结果对象,根据所述字段关系元数据中的回填配置,将所述查询结果对象中新字段的值回填至旧字段,输出兼容的查询结果对象;

8、其中,所述写入请求和所述查询请求为相互独立的请求分支,分别由对应的拦截器按各自的处理逻辑执行。

9、结合第一方面,本发明提供了第一方面的第一种具体实施,具体的,所述获取所述写入请求对应的参数对象,包括:

10、拦截数据库操作请求,提取请求中的参数载体;

11、识别所述参数载体的结构类型,根据结构类型采用对应的解析方式,得到参数对象;

12、其中,若所述参数载体为单个实体对象,则直接作为所述参数对象;

13、若所述参数载体为集合对象,则将所述集合对象中的每个元素分别作为参数对象;

14、若所述参数载体为映射参数对象,则从所述映射参数对象中提取键值对,并根据键名匹配实体类字段,转换为对应的参数对象;

15、若所述参数载体为动态更新包装对象,则从该包装对象中提取待更新的字段名称及对应的新值集合,并将所述新值集合与对应的实体类字段关联,形成参数对象。

16、结合第一方面,本发明提供了第一方面的第二种具体实施,具体的,所述根据所述参数对象匹配预构建的字段关系元数据,包括:

17、获取所述参数对象对应的实体类型标识;

18、根据所述实体类型标识查找预构建的字段关系元数据,获得字段迁移映射集合,所述字段迁移映射集合包含旧字段名与新字段名的对应关系及字段级迁移控制信息;

19、若所述字段迁移映射集合为空,则跳过字段迁移处理;

20、否则,遍历所述参数对象中的字段,与字段迁移映射集合中的旧字段名进行匹配,建立当前字段的迁移映射关系。

21、结合第一方面,本发明提供了第一方面的第三种具体实施,具体的,所述依据所述写入模式控制信息确定当前的目标写入模式,包括:

22、获取预设的全局写入模式,所述全局写入模式为双写模式或单写模式;

23、获取所述迁移控制信息中包含的字段级写入模式配置;

24、基于所述全局写入模式和所述字段级写入模式配置确定初始写入模式;

25、若存在针对对应数据表及字段的单写禁止规则,且所述初始写入模式为单写模式,则强制将目标写入模式设置为双写模式;否则,将所述初始写入模式作为目标写入模式。

26、结合第一方面,本发明提供了第一方面的第四种具体实施,具体的,所述按照所述目标写入模式及所述映射关系,对所述参数对象中的字段值进行复制和/或移除处理,生成适配当前写入模式的参数对象,包括:

27、当目标写入模式为双写模式时,将所述参数对象中旧字段的值赋给新字段,并保留旧字段的值;

28、当目标写入模式为单写模式时,将所述参数对象中旧字段的值赋给新字段,并将旧字段的值置为空。

29、结合第一方面,本发明提供了第一方面的第五种具体实施,具体的,所述当目标写入模式为双写模式时,将所述参数对象中旧字段的值赋给新字段,并保留旧字段的值,具体包括:

30、确定所述参数对象的类型;

31、若为单个数据对象,则通过反射将旧字段属性值赋值给新字段属性;

32、若为包含多个数据对象的集合,则遍历各元素分别执行所述赋值操作;

33、若为字段更新描述对象,则将旧字段的更新操作同步至新字段,形成同时更新新旧字段的对象。

34、结合第一方面,本发明提供了第一方面的第六种具体实施,具体的,所述当目标写入模式为单写模式时,将所述参数对象中旧字段的值赋给新字段,并将旧字段的值置为空,具体包括:

35、确定所述参数对象的类型;

36、若为单个数据对象,则将旧字段值赋值给新字段后,清空旧字段属性值;

37、若为集合,则遍历各元素分别执行赋值并清空旧字段属性值;

38、若为字段更新描述对象,则将旧字段的更新转移至新字段,并移除旧字段的更新项,形成仅更新新字段的对象。

39、结合第一方面,本发明提供了第一方面的第七种具体实施,具体的,所述获取数据库查询操作返回的查询结果对象,根据所述字段关系元数据中的回填配置,将所述查询结果对象中新字段的值回填至旧字段,输出兼容的查询结果对象,包括:

40、在查询操作返回查询结果对象后,根据所述字段关系元数据获取与查询结果对象实体对应的回填映射;

41、若查询结果对象非空,则根据所述回填映射,将查询结果对象中新字段的值赋给旧字段;

42、若所述回填配置指示回填后屏蔽新字段,则将新字段的值置为空;

43、其中,根据查询结果对象的结构类型,对单个实体对象直接操作,对集合对象遍历操作,对包含数据列表的包装对象提取数据列表操作后重新封装。

44、结合第一方面,本发明提供了第一方面的第八种具体实施,具体的,还包括记录恢复信息步骤:

45、将当前参数对象的原始值、列名与参数值映射、sql set更新片段及当前目标写入模式记录为字段迁移恢复上下文,所述恢复上下文至少包含原始参数对象的深度快照、新旧字段双向映射快照、操作前完整字段值状态、当前线程栈标识及时间戳;

46、所述恢复上下文缓存在threadlocal或请求作用域内,用于异常情况下的对象状态还原及差异比对;

47、若涉及敏感字段值,对所述原始值进行脱敏或对称加密后再存储于恢复上下文中;

48、在数据库操作正常执行后,按需根据所述深度快照还原对象状态;在发生异常时,根据所述深度快照和双向映射快照将当前参数对象还原至操作前状态,并输出字段差异信息;

49、在操作执行完毕后的finally块中清除当前线程的threadlocal中的所述恢复上下文。

50、第二方面,本发明还提供了一种基于注解缓存与字段开关的敏感字段迁移系统,包括:

51、元数据构建与缓存模块,用于系统启动阶段,扫描实体类中定义的注解,解析所述注解中的新旧字段映射关系及迁移控制信息,构建字段关系元数据并缓存于内存中;所述迁移控制信息包括写入模式控制信息和查询回填配置;

52、写入请求拦截模块,用于拦截数据库写入请求,获取所述写入请求对应的参数对象,根据所述参数对象匹配所述字段关系元数据,并依据所述写入模式控制信息确定当前的目标写入模式;

53、写入处理模块,用于按照所述目标写入模式及所述映射关系,对所述参数对象中的字段值进行复制和/或移除处理,生成适配当前写入模式的参数对象,并根据所述参数对象改写最终sql的写入字段列表及对应的值,执行数据库写入操作;

54、查询回填模块,用于拦截数据库查询请求,执行查询操作获得查询结果对象后,获取数据库查询操作返回的查询结果对象,根据所述字段关系元数据中的回填配置,将所述查询结果对象中新字段的值回填至旧字段,输出兼容的查询结果对象;

55、其中,所述写入请求和所述查询请求为相互独立的请求分支,分别由对应的拦截器按各自的处理逻辑执行。

56、与现有技术相比,本发明的有益效果是:

57、1.通过基于实体类注解生成字段关系元数据并缓存,以声明式方式定义旧字段与新字段的映射关系和迁移控制信息,避免了在代码中硬编码字段迁移逻辑,显著减少了手工修改工作量,降低了人为出错风险,提高了迁移配置的可维护性和一致性。

58、2.通过预设的写入模式控制信息动态确定目标写入模式,支持在运行时灵活选择双写或单写等迁移策略,使得新旧字段能够并行运行或平滑切换,保障了业务连续性;双写模式便于数据校验和回退,单写模式可干净地完成最终迁移,实现了迁移过程的精细化管控。

59、3.在数据库查询操作返回结果后,根据字段关系元数据中的回填配置,自动将查询结果对象中新字段的值回填至旧字段,输出兼容的查询结果对象,使得上层调用方仍可通过原有旧字段访问数据,无需修改业务接口和调用逻辑,有效保障了系统的向后兼容性,降低了迁移对整体系统的影响。

60、4.通过拦截数据库操作请求获取参数对象,并在拦截层进行集中的字段复制和/或移除处理,将字段迁移的适配逻辑从业务代码中抽离。该方案不修改上层业务逻辑,仅需新增实体字段、注解和迁移配置,迁移逻辑与业务代码的耦合度显著降低,对业务代码的直接修改范围较小,从而减少了迁移过程中的变更风险,适用于在大型分布式系统中分阶段、渐进式地推进字段迁移工作。