基于动态分表分库的资源交互数据储存方法与流程
本发明涉及财务运营管控,具体为基于动态分表分库的资源交互数据储存方法。
背景技术:
1、资源交互数据特指财务业务流转过程中各类主体对财务资源进行操作所产生的全链路记录,包括但不限于银企直连交易流水、预算额度占用与释放记录、凭证生成与审核操作日志、税务申报接口调用记录、资金池归集下拨指令、费用报销审批轨迹以及主数据同步变更日志等,此类数据不仅是财务核算与审计追溯的法定依据,更是财务平台进行智能风控建模、现金流预测、运营成本分析及合规性实时监控的关键数据资产,具有写入峰值集中(如月末结账、批量支付)、数据精度与一致性要求极高、查询维度复杂且监管留存周期长等显著特征;
2、在现有技术中面对财务业务的特殊性与监管要求的不断升级,常规的资源交互数据储存方案无法适配财务业务周期性潮汐负载,扩容窗口与财务关键作业期严重冲突,如财务业务具有鲜明的周期性特征,月末结账、季末出表、年末决算及集中支付日期间,资源交互数据的写入量可达日常水平的数十倍甚至上百倍,使得静态分片策略无法适配财务业务周期性潮汐负载,扩容需停机或全量重分布,与月末结账等关键作业期严重冲突,缺乏在线平滑分裂能力,其次,单一维度分片键难以兼顾按账户追溯、按人员审计、按会计期间报送等多维合规查询需求,以及,财务资源交互数据的访问频率有着明显的时间规律,一般当期及近三个月数据被高频调取,属于热数据,而三至十二个月数据主要用于月度经营分析、预算执行回顾及内部审计抽查,属于温数据,超过一年的历史数据极少被在线查询,仅在年度审计、税务回溯检查或监管专项核查时被调取,属于冷数据,而缺乏与财务数据生命周期及监管留存要求相匹配的自适应分级存储机制,冷热数据等同存储导致成本攀升且冷数据冗余索引拖慢热查询性能。
3、现有的财务资源交互数据储存方法难以同时满足高并发写入、多维合规查询、在线动态扩缩容及冷热数据自适应管理的需求,基于此,我们提出一种基于动态分表分库的资源交互数据储存方法解决上述问题。
技术实现思路
1、针对现有技术的不足,本发明提供了基于动态分表分库的资源交互数据储存方法,解决了现有的照明装置功能性较差,且缺少清洁结构的问题。
2、为实现上述目的,本发明提供如下技术方案:基于动态分表分库的资源交互数据储存方法,包括以下步骤:
3、s10:接收资源交互数据写入请求,从所述请求中提取资源标识、交互时间戳及交互载荷数据;
4、s20:基于所述资源标识和当前集群的活跃逻辑分片总数,利用一致性哈希算法计算目标逻辑分库标识;
5、s30:基于所述交互时间戳和预设的时间分片粒度,计算目标分表标识;
6、s40:查询预设的分片映射路由表,将所述目标逻辑分库标识和所述目标分表标识映射为物理存储节点地址及目标物理数据表;
7、s50:将所述资源交互数据及所述交互载荷数据写入所述物理存储节点地址对应的所述目标物理数据表中,并更新所述目标逻辑分库的负载指标。
8、进一步,所述步骤s20中利用一致性哈希算法计算目标逻辑分库标识,具体包括:
9、构建包含多个虚拟节点的哈希环,每个物理存储节点映射预设数量的虚拟节点;计算所述资源标识的哈希值,在所述哈希环上沿顺时针方向查找最近的虚拟节点,将所述最近的虚拟节点对应的物理存储节点作为所述目标逻辑分库。
10、进一步,所述步骤s30中计算目标分表标识,具体包括:
11、提取所述交互时间戳的年月信息,按照预设的格式化规则生成时间后缀字符串;将所述目标逻辑分库标识与所述时间后缀字符串拼接,生成所述目标分表标识。
12、进一步,还包括跨分片查询步骤:
13、接收包含非分片键的查询请求,查询预设的全局二级索引表获取对应的资源标识列表;根据所述资源标识列表进行分片分组,生成多个子查询任务并行下发至对应的物理存储节点;接收各物理存储节点返回的子结果集,在内存中进行合并、排序及聚合处理后返回。
14、基于动态分表分库的资源交互数据储存方法,还包括动态分片分裂方法,动态分片分裂方法包括以下步骤:
15、s60:持续监控各物理存储节点的所述负载指标,当目标逻辑分片的负载指标在预设评估周期内超过预设分裂阈值时,触发分片分裂指令;
16、s70:根据所述分片分裂指令创建新物理分片节点,并基于当前路由规则生成所述新物理分片节点的子路由规则;
17、s80:开启双写模式,将新增的资源交互数据同时写入原物理分片节点和所述新物理分片节点;
18、s90:通过变更数据捕获(cdc)技术将所述原物理分片节点的存量数据异步同步至所述新物理分片节点,并在同步延迟低于预设阈值时执行数据一致性校验;
19、s100:校验通过后,执行灰度流量切换,将读请求按预设比例逐步路由至所述新物理分片节点,完成后更新全局路由规则并停止向所述原物理分片节点的冗余写入。
20、进一步,所述负载指标包括:分片数据量、写入tps、cpu使用率及磁盘使用率中的至少一种,所述预设分裂阈值为多维加权计算的综合负载阈值。
21、进一步,所述步骤s100中的灰度流量切换具体包括:
22、按照1%、10%、50%、100%的流量比例阶梯式增加路由至所述新物理分片节点的读请求比例;在每个阶梯维持预设观察时间,若监控到错误率超过预设容忍阈值,则自动回滚至上一阶梯或切回原物理分片节点。
23、基于动态分表分库的资源交互数据储存系统,包括:数据访问层(dal)模块,用于接收数据操作请求,执行sql解析、分片路由计算及结果集合并;
24、分片管理层模块,用于维护分片映射路由表,监控各分片负载指标,并基于负载指标下发分片分裂或合并调度指令;
25、数据同步模块,用于在分片分裂或合并过程中,执行存量数据的全量迁移与增量数据的cdc捕获回放;
26、存储节点层,包含多个物理数据库实例,用于根据所述数据访问层模块的路由结果持久化存储资源交互数据。
27、一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现所述方法的步骤。
28、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述方法的步骤。
29、与现有技术相比,本技术的技术方案具备以下有益效果:
30、1、本发明通过构建包含虚拟节点的一致性哈希环进行逻辑分库路由,并引入基于会计期间的动态时间分表标识生成机制,实现了空间维度与时间维度的双重弹性分片,在月末结账、批量支付等财务高峰期,仅需通过调整虚拟节点映射或新增逻辑分片即可实现写入流量的快速分摊,无需执行全量数据重分布,从而避免了停机扩容与关键作业期的冲突,实现了在线平滑扩缩容;
31、2、本发明采用混合路由策略,使得按账户追溯的精确查询可直接命中单一物理表,按会计期间的全局报送查询可通过时间后缀快速定位目标分表集合,同时,针对按操作人员、审批人等非分片键的审计查询,设计了二级索引表和并行查询机制,将非分片键查询转化为索引定位、分片分组、并行下发、内存合并四个阶段,在保障高并发写入吞吐的同时,降低了多维合规查询的响应延迟;
32、3、本发明通过将时间分片粒度与会计期间对齐,使得数据天然按时间维度物理隔离,结合持续监控的分片负载指标,平台可基于预设的冷热判定规则,对不同时间段的分表自动执行索引降级、数据压缩或存储介质迁移操作,实现热数据驻留高性能的实时查询、冷数据自动下沉至低成本存储满足合规留存的分级管理目标,降低了总体存储成本;
33、4、本发明通过在线分片分裂流水线,形成触发评估、双写保障、增量追赶、一致性校验、灰度切换的流程,保证了在整个迁移过程中写入不中断、数据零丢失、切换可回滚,充分满足财务级零差错的数据一致性要求,有效保障了资金安全与账务完整性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com