一种多分支企业的SaaS体检数据分布式存储与协同方法及电子设备与流程
本申请涉及分布式数据库服务与互联网数据处理领域,符合优先审查分类号g06f16/27,特指一种多分支企业的saas体检数据分布式存储与协同方法及电子设备。
背景技术:
1、大型跨区域集团企业在集中体检期面临大规模并发写入与跨域读取压力。传统的saas多租户数据库采用一致性哈希分片方法,易导致高并发请求落入同一物理分片节点,造成严重的存储倾斜与磁盘瓶颈,引发集群雪崩。现有的通用内容分发网络或全量同步方案未结合体检业务的时序特征,导致无效数据占用边缘节点存储资源,且关键历史档案的跨域拉取延迟高。此外,全局事务控制使得系统在保障多租户强隔离性的同时,并发性能大幅下降。因此,亟需提供一种自适应打散热点与跨域协同的存储与同步机制,以保障高并发下数据的可靠性与一致性。
技术实现思路
1、本申请提供了一种多分支企业的saas体检数据分布式存储与协同方法及电子设备,用于解决现有saas平台在集中体检期因数据倾斜导致的数据库热点瓶颈问题,以及跨地域历史档案拉取延迟高和全局事务阻塞的问题。
2、本申请提供一种多分支企业的saas体检数据分布式存储与协同方法,应用于包含中心云数据库集群及边缘缓存节点群的系统中,包括:采用以租户身份标识为键值的映射规则为访问请求分配初始物理节点;监控各初始物理节点的负载指数,在负载指数超过预设阈值时,引入职工身份标识生成复合哈希键,将热点节点的数据拆分并迁移至低负载物理节点;依据目标体检剩余时间、历史档案大小及健康风险系数生成预热优先级得分,按照预热优先级得分降序从中心云数据库集群拉取历史体检数据至边缘缓存节点群;为每个租户建立独立的共识组,产生新数据时,处于学习者角色的边缘缓存节点将日志条目发往对应租户的中心云主节点,中心云主节点发起半数同步后完成数据落盘。
3、进一步地,负载指数包括读写负载指数和存储负载指数;监控各初始物理节点的负载指数,在负载指数超过预设阈值时,引入职工身份标识生成复合哈希键,将热点节点的数据拆分并迁移至低负载物理节点,包括:周期性采集各初始物理节点的每秒查询率和磁盘使用率;基于每秒查询率计算读写负载指数,基于磁盘使用率计算存储负载指数;在读写负载指数和存储负载指数的加权和连续多个采集周期大于预设阈值时,将对应的初始物理节点标记为热点节点;提取热点节点内的数据访问记录,结合租户身份标识和职工身份标识通过哈希函数计算得到复合哈希键,依据复合哈希键将热点节点内的数据重新路由至低负载物理节点。
4、进一步地,结合租户身份标识和职工身份标识通过哈希函数计算得到复合哈希键,依据复合哈希键将热点节点内的数据重新路由至低负载物理节点,包括:对租户身份标识进行第一哈希运算得到第一哈希值,对职工身份标识进行第二哈希运算得到第二哈希值;将第一哈希值的高位字节与第二哈希值的低位字节进行拼接,得到初始复合键;对初始复合键进行扰动处理以消除哈希冲突,得到复合哈希键;在中心云数据库集群中建立全局路由表,将复合哈希键与低负载物理节点的网络地址进行映射绑定;在数据拆分期间,将热点节点的写入操作重定向至内存缓冲区,等待存量数据依据复合哈希键迁移至低负载物理节点完成后,将内存缓冲区内的增量数据追加至低负载物理节点,并更新全局路由表。
5、进一步地,依据目标体检剩余时间、历史档案大小及健康风险系数生成预热优先级得分,包括:获取预约序列表,从预约序列表中提取当前时间至预定体检时间的差值作为目标体检剩余时间;查询待拉取的历史体检文件的字节数作为历史档案大小;读取体检人员的历史疾病记录,根据设定的风险定级规则匹配出对应的基础风险值,将基础风险值作为健康风险系数;对目标体检剩余时间求倒数得到时间急迫度;将时间急迫度、历史档案大小与健康风险系数分别乘以对应的预设权重系数并求和,得到预热优先级得分。
6、进一步地,按照预热优先级得分降序从中心云数据库集群拉取历史体检数据至边缘缓存节点群,包括:在边缘缓存节点群构建优先级阻塞队列,将计算得到的预热优先级得分连同对应的数据拉取任务压入优先级阻塞队列中;当存在多个数据拉取任务的预热优先级得分相同时,提取数据拉取任务对应的历史档案大小,将历史档案大小较小的数据拉取任务排在优先级阻塞队列的前方;监控边缘缓存节点群的下行网络带宽利用率,在下行网络带宽利用率低于带宽阈值时,工作线程从优先级阻塞队列的头部取出最高优先级的数据拉取任务;解析数据拉取任务中的存储寻址路径,通过局域网直连通道向中心云数据库集群发送分块读取请求,接收返回的历史体检数据并存储至本地固态硬盘中,同时将数据拉取任务标记为已完成。
7、进一步地,为每个租户建立独立的共识组,产生新数据时,处于学习者角色的边缘缓存节点将日志条目发往对应租户的中心云主节点,包括:在底层数据结构中根据租户身份标识对数据空间进行逻辑隔离,在隔离的数据空间内为同一租户分布在不同地域的数据库节点配置状态机;通过选举协议在中心云数据库集群中为各共识组选举出唯一的中心云主节点,将部署在各企业的边缘缓存节点群注册为无投票权的学习者角色;在体检设备产生新数据并写入边缘缓存节点群时,将新数据封装为日志条目,日志条目携带租户身份标识,经由安全加密通道定向发送至中心云主节点。
8、进一步地,中心云主节点发起半数同步后完成数据落盘,包括:中心云主节点接收到日志条目后,验证日志条目中的租户身份标识是否与自身负责的共识组匹配,若匹配失败则拒绝处理并返回错误信号;若匹配成功,中心云主节点将日志条目追加至本地预写日志中,并向同属于该租户共识组内的其他从节点广播追加条目请求;在接收到超过半数的从节点返回的追加成功确认信号后,中心云主节点将日志条目的状态标记为已提交,并应用至本地状态机中完成数据落盘;中心云主节点异步地向处于学习者角色的边缘缓存节点发送提交通知,边缘缓存节点根据提交通知更新本地的读视图。
9、进一步地,本申请所提供的方法还包括:实时监控边缘缓存节点群的可用存储容量,在可用存储容量低于设定的安全水位线时,触发缓存淘汰机制;扫描本地存储的所有历史体检数据,提取每份历史体检数据的最后访问时间戳以及对应的体检业务办结状态;优先筛选出体检业务办结状态为已办结的历史体检数据并删除释放存储空间;若释放后的存储空间低于安全水位线,依据最后访问时间戳,淘汰最久未被访问的历史体检数据。
10、进一步地,本申请所提供的方法还包括:在处于学习者角色的边缘缓存节点与中心云主节点之间的网络连接发生中断时,将生成的新数据记录在本地的重传日志文件中,并启动指数退避重试逻辑探测网络状态;在探测到网络连接恢复后,边缘缓存节点读取重传日志文件中的偏移量记录,向中心云主节点发送包含偏移量记录的同步请求;中心云主节点比对自身的提交索引与偏移量记录,将缺失的增量数据打包回传。
11、本申请还提供一种电子设备,包括存储器和处理器。存储器用于存储计算机程序;处理器与存储器通信连接;处理器执行计算机程序时,实现上述任一项的多分支企业的saas体检数据分布式存储与协同方法。
1.一种多分支企业的saas体检数据分布式存储与协同方法,应用于包含中心云数据库集群及边缘缓存节点群的系统中,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,所述负载指数包括读写负载指数和存储负载指数,所述监控各所述初始物理节点的负载指数,在所述负载指数超过预设阈值时,引入职工身份标识生成复合哈希键,将热点节点的数据拆分并迁移至低负载物理节点,包括:
3.如权利要求2所述的方法,其特征在于,所述结合所述租户身份标识和所述职工身份标识通过哈希函数计算得到所述复合哈希键,依据所述复合哈希键将所述热点节点内的数据重新路由至所述低负载物理节点,包括:
4.如权利要求1所述的方法,其特征在于,所述依据目标体检剩余时间、历史档案大小及健康风险系数生成预热优先级得分,包括:
5.如权利要求4所述的方法,其特征在于,所述按照所述预热优先级得分降序从所述中心云数据库集群拉取历史体检数据至所述边缘缓存节点群,包括:
6.如权利要求1所述的方法,其特征在于,所述为每个租户建立独立的共识组,产生新数据时,处于学习者角色的边缘缓存节点将日志条目发往对应租户的中心云主节点,包括:
7.如权利要求6所述的方法,其特征在于,所述中心云主节点发起半数同步后完成数据落盘,包括:
8.如权利要求1所述的方法,其特征在于,还包括:实时监控所述边缘缓存节点群的可用存储容量,在所述可用存储容量低于设定的安全水位线时,触发缓存淘汰机制;扫描本地存储的所有所述历史体检数据,提取每份所述历史体检数据的最后访问时间戳以及对应的体检业务办结状态;优先筛选出所述体检业务办结状态为已办结的所述历史体检数据并删除释放存储空间;若释放后的存储空间低于所述安全水位线,依据所述最后访问时间戳,淘汰最久未被访问的所述历史体检数据。
9.如权利要求1所述的方法,其特征在于,还包括:在所述处于学习者角色的边缘缓存节点与所述中心云主节点之间的网络连接发生中断时,将生成的新数据记录在本地的重传日志文件中,并启动指数退避重试逻辑探测网络状态;在探测到所述网络连接恢复后,所述边缘缓存节点读取所述重传日志文件中的偏移量记录,向所述中心云主节点发送包含所述偏移量记录的同步请求;所述中心云主节点比对自身的提交索引与所述偏移量记录,将缺失的增量数据打包回传。
10.一种电子设备,其特征在于,包括:存储器,用于存储计算机程序;处理器,与所述存储器通信连接;所述处理器执行所述计算机程序时,实现如权利要求1至9中任一项所述的多分支企业的saas体检数据分布式存储与协同方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com