一种基于在线模式变更的数据库迁移方法、设备及介质与流程
本申请涉及数据库,尤其涉及一种基于在线模式变更的数据库迁移方法、设备及介质。
背景技术:
1、随着互联网业务的发展,持续集成与持续交付(ci/cd)要求数据库模式(schema)迁移能够在线上零停机(zero-downtime)进行。数据库表结构变更通常涉及新增列、字段合并或拆分等操作,若迁移过程需要停服或阻塞业务写入,将直接影响业务系统可用性与数据一致性。因此,在线上零停机(zero-downtime)状态下完成数据库模式迁移,同时保证数据一致性与系统稳定,成为数据库在线迁移领域的重要问题。
2、目前,现有数据库在线迁移技术主要分为两类。一类是通过创建影子表(shadowtable)并复制数据来实现迁移,即后台创建目标结构的新表,通过物理复制和二进制日志(binlog)/预写日志(wal)追平数据后执行表名交换,这种方式需要消耗双倍的磁盘空间,在执行表名交换时需要获取排他锁,容易引发高并发下的阻塞甚至死锁;另一种是通过视图与双向触发器来实现迁移,在原表上新增物理列,建立面向不同应用版本的schema视图并配置双向触发器,实现新旧代码并存写入,这种方式容易因触发器长时间持有行级锁而在高并发下引发死锁与性能雪崩,且回填时缺乏时序冲突判定,导致旧数据覆盖业务最新写入而丢失数据,并且触发器级联调用(loopingtriggers)和多层视图嵌套,也会导致查询性能下降。
技术实现思路
1、为了解决上述问题,本申请提出了一种基于在线模式变更的数据库迁移方法,方法包括:
2、响应于数据库模式变更指令,在目标数据表中追加目标新列及隐藏的行级时序版本号列;所述行级时序版本号列为所述目标数据表的行级列,用于记录对应数据行最后一次被业务写入的时序信息;
3、创建第一视图和第二视图,通过所述第一视图映射所述目标数据表的原有列,通过所述第二视图映射所述原有列和所述目标新列,以使第一版本应用和第二版本应用分别通过所述第一视图和所述第二视图对所述目标数据表进行写入;
4、在追加后目标数据表上部署双向触发器,监测所述追加后目标数据表的锁等待队列长度,将所述锁等待队列长度和预设阈值进行比较,根据比较结果确定对应的转换写入方式;所述转换写入方式包括同步转换写入和异步降级写入;
5、通过所述双向触发器,响应于对所述原有列或所述目标新列中任一列的写入操作,基于预设映射关系对变更数据进行转换,按照所述转换写入方式对转换后的变更数据进行写入,并将所述写入操作对应的行级时序版本号列更新为当前事务的时序信息;
6、对所述追加后目标数据表中的历史数据进行异步回填,基于所述行级时序版本号列对回填数据进行冲突校验,校验通过后,基于所述预设映射关系对所述回填数据转换后写入所述目标新列;
7、在所述异步回填完成后,当满足迁移完成条件时,将所述第一版本应用连接切换至所述第二视图,并清理所述第一视图、所述双向触发器及所述原有列,当满足迁移回滚条件时,将所述第二版本应用连接切换至所述第一视图,并清理所述第二视图、所述双向触发器及所述目标新列。
8、另一方面,本申请实施例提供了一种基于在线模式变更的数据库迁移设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述任一项所述的一种基于在线模式变更的数据库迁移方法。
9、另一方面,本申请实施例提供了一种基于在线模式变更的数据库迁移非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令能够执行上述任一项所述的一种基于在线模式变更的数据库迁移方法。
10、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
11、通过在数据库模式迁移过程中实现业务持续运行,新旧版本应用可同时接入并分别通过相应视图进行读写,迁移期间无需停止业务或中断写入。通过双向触发器对新旧列进行实时同步,并在回填历史数据时依据行级时序版本号进行冲突校验,确保回填数据不会覆盖业务已写入的最新数据,从而在迁移全程保持数据一致与完整。
12、并且,在高并发场景下,通过根据锁等待队列长度自适应选择同步转换写入或异步降级写入,有效避免因行锁竞争导致的阻塞与死锁,保障数据库吞吐稳定。迁移无需创建影子表,显著降低存储开销;迁移完成或回滚时仅需切换应用连接的视图,即可实现快速切换与无损回滚。
1.一种基于在线模式变更的数据库迁移方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述监测所述追加后目标数据表的锁等待队列长度,将所述锁等待队列长度和预设阈值进行比较,根据比较结果确定对应的转换写入方式,具体包括:
3.根据权利要求1所述的方法,其特征在于,所述预设映射关系包括由所述原有列至所述目标新列的正向映射关系,以及由所述目标新列至所述原有列的反向映射关系;
4.根据权利要求3所述的方法,其特征在于,所述按照所述转换写入方式对转换后的变更数据进行写入,并将所述写入操作对应的行级时序版本号列更新为当前事务的时序信息,具体包括:
5.根据权利要求4所述的方法,其特征在于,所述将转换后的变更数据写入暂存表,释放所述追加后目标数据表的行锁,并将所述暂存表中的变更数据合并至所述追加后目标数据表,具体包括:
6.根据权利要求1所述的方法,其特征在于,所述对所述追加后目标数据表中的历史数据进行异步回填,基于所述行级时序版本号列对回填数据进行冲突校验,具体包括:
7.根据权利要求6所述的方法,其特征在于,所述基于所述预设映射关系对所述回填数据转换后写入所述目标新列,具体包括:
8.根据权利要求1所述的方法,其特征在于,所述迁移完成条件为所述第一版本应用全部下线且流量全量切换至所述第二视图;所述迁移回滚条件为所述第二版本应用需下线并切回所述第一版本应用;
9.一种基于在线模式变更的数据库迁移设备,其特征在于,包括:
10.一种基于在线模式变更的数据库迁移非易失性计算机存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令能够执行上述权利要求1-8任一项所述的一种基于在线模式变更的数据库迁移方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com