基建运营数据的分布式存储系统的制作方法

本发明涉及分布式存储，尤其涉及基建运营数据的分布式存储系统。

背景技术：

1、分布式存储技术是云计算、大数据及分布式数据库的重要组成部分，主要面向海量数据的存储、管理、访问及共享需求，通过将数据分散存储于多个物理节点或逻辑节点，实现存储资源的横向扩展、数据冗余保护及高并发访问支持。

2、现有分布式存储通常侧重将完整数据按照固定分片规则分散至多个物理节点或逻辑节点，并通过统一副本数量和静态路由关系提供数据冗余及并发访问支持，实际运行中难以根据查询源地理位置、基建设施类别及访问时段变化提前识别即将出现的热点分片，查询压力突增时，大量请求仍可能集中到保存完整副本的少数节点或中心存储节点，引发请求排队、网络出口拥塞及响应时延波动；完整数据副本在多个节点间复制时，访问频次较少的列数据仍占用传输带宽和边缘存储空间，例如某一区域在短期内持续查询设备状态列，而历史档案列及低频描述列仍随完整副本同步，容易造成有限边缘容量被低使用率内容占据；固定复制路径通常按照预设节点关系执行，未能持续结合网络延迟时长和可用带宽参数调整传递顺序，某条路径发生中断或带宽下降时，后续节点可能长时间无法获得可用副本。因此，需要进行改进。

技术实现思路

1、本发明的目的是解决现有技术中存在的缺点，而提出的基建运营数据的分布式存储系统。

2、为了实现上述目的，本发明采用了如下技术方案：基建运营数据的分布式存储系统包括：

3、时空预测与预热触发模块，用于根据全局查询日志的查询源地理坐标参数与基建识别码参数构建历史时空查询特征序列；经时空图卷积网络模型处理所述历史时空查询特征序列，输出未来目标时间窗口内数据库分片的读取压力预测数值；依据所述读取压力预测数值与系统预设阈值参数确定目标数据库分片，提取所述目标数据库分片的分片标识特征参数生成预热分发数据分片清单；

4、碎片副本提取模块，用于根据抽象语法树解析所述预热分发数据分片清单对应的所述全局查询日志，统计所述目标数据库分片中列名参数的历史访问频次；依据所述历史访问频次与预设高频阈值提取高频列名参数及关联的主键索引标识，剥离低频列数据；聚合所述高频列名参数对应的数据块与所述主键索引标识生成列簇碎片数据集合；依据边缘节点存储约束规则切割所述列簇碎片数据集合生成碎片化列簇副本打包集；

5、网络拓扑规划模块，用于依据边缘数据库节点间的网络延迟时长与可用带宽参数构建权重视图矩阵；根据所述权重视图矩阵构建所述边缘数据库节点间的协作分发拓扑图；在所述协作分发拓扑图中确定与中心云数据库连通的分发种子节点生成分发种子任务集。

6、较佳地，所述系统还包括：

7、协作复制与路由接管模块，用于依据所述分发种子任务集，由所述中心云数据库向所述分发种子节点推送所述碎片化列簇副本打包集；所述分发种子节点依据所述协作分发拓扑图向非种子边缘数据库节点同步所述碎片化列簇副本打包集，生成局部边缘节点副本集；在同步中断时重构所述协作分发拓扑图并指定次级种子节点接续同步；根据所述局部边缘节点副本集生成系统路由重定向表；依据所述系统路由重定向表将目标查询请求路由至目标边缘数据库节点；当所述目标查询请求包含低频缺失列时，所述目标边缘数据库节点利用所述主键索引标识向所述中心云数据库回源拉取缺失列数据完成联合查询；在所述局部边缘节点副本集的生命周期内，所述中心云数据库根据增量日志流向各所述边缘数据库节点推送所述高频列名参数对应的数据状态变更。

8、较佳地，所述历史时空查询特征序列的获取步骤为：

9、读取全局查询日志中的每条查询记录，定位查询源地理坐标参数对应字段和基建识别码参数对应字段，剔除任一字段为空值的查询记录，校验查询源地理坐标参数的经度格式、纬度格式和坐标范围，校验基建识别码参数的字符长度、字符位置和编码结构，将查询源地理坐标参数映射至统一空间网格，将查询发生时间划分至连续时间片，将同一基建识别码参数对应的空间网格位置、时间片序号、时间片内查询次数依次排列，生成历史时空查询特征序列。

10、较佳地，所述预热分发数据分片清单的获取步骤为：

11、根据所述历史时空查询特征序列，按照基建识别码参数对应的数据库分片映射关系，将各序列位置归入对应数据库分片，读取相邻空间网格之间的连接权重，读取连续时间片之间的变化权重，对每个数据库分片在各历史时间片内的查询次数进行空间方向加权聚合和时间方向递推传递，将前一时间片的聚合结果传递至后一时间片，沿未来目标时间窗口逐个时间片计算数据库分片的预期读取次数，汇总未来目标时间窗口内全部时间片的预期读取次数，生成各数据库分片的读取压力预测数值；

12、按照数据库分片对应关系逐一调取系统预设阈值参数，将同一数据库分片的所述读取压力预测数值和系统预设阈值参数进行数值比较，将所述读取压力预测数值超越系统预设阈值参数的数据库分片确定为目标数据库分片，剔除所述读取压力预测数值未超越系统预设阈值参数的数据库分片，提取各目标数据库分片关联的分片标识特征参数，删除重复的分片标识特征参数，按照所述读取压力预测数值的数值顺序排列分片标识特征参数，生成预热分发数据分片清单。

13、较佳地，所述列簇碎片数据集合的获取步骤为：

14、调取所述预热分发数据分片清单中的分片标识特征参数，按照所述分片标识特征参数检索全局查询日志中的对应查询语句，逐条读取抽象语法树内的查询字段节点、筛选字段节点、分组字段节点、排序字段节点及关联字段节点，解析字段节点记录的数据库名称、数据表名称、列名参数及字段别名，将字段别名还原为对应列名参数，将通配字段展开为目标数据库分片内的实际列名参数，删除同一查询语句中重复出现的相同列名参数，按照目标数据库分片分别累计每个列名参数在全部查询语句中的出现次数，生成目标数据库分片中各列名参数的历史访问频次；

15、逐项调取列名参数对应的所述历史访问频次及预设高频阈值，将所述历史访问频次超越预设高频阈值的列名参数确定为高频列名参数，将所述历史访问频次未超越预设高频阈值的列名参数对应数据确定为低频列数据，从目标数据库分片中剥离低频列数据，读取每个所述高频列名参数所在数据表的主键字段定义，提取主键字段定义关联的主键索引标识，按照主键索引标识记录的索引键顺序、索引值范围及数据行位置，将所述高频列名参数对应的数据块排列至相同主键索引标识下，合并主键索引条目、列名参数标识及对应数据块，生成列簇碎片数据集合。

16、较佳地，所述碎片化列簇副本打包集的获取步骤为：

17、读取边缘节点存储约束规则中的单个副本容量上限、单个副本允许列块数量、主键索引范围完整性要求、数据块边界对齐要求及边缘数据库节点剩余存储容量，按照主键索引标识的索引值范围对所述列簇碎片数据集合进行连续排序，从排序起始位置依次累计数据块容量及列块数量，当继续加入下一数据块将超出单个副本容量上限、单个副本允许列块数量或边缘数据库节点剩余存储容量时，在当前主键索引范围结束位置执行切割，禁止拆分同一主键索引范围对应的数据块，将每个切割结果对应的主键索引标识、列名参数标识、数据块边界及容量记录封装为独立副本包，生成碎片化列簇副本打包集。

18、较佳地，所述权重视图矩阵的获取步骤为：

19、实时读取每个边缘数据库节点的节点标识参数，按照节点标识参数建立两两节点通信链路，沿每条节点通信链路连续发送带有发送时间戳及数据长度标记的探测数据块，记录探测数据块的返回时间戳、成功接收字节数量、丢失数据块数量，依据发送时间戳和返回时间戳确定网络延迟时长，依据成功接收字节数量和传输持续时长确定可用带宽参数，剔除探测数据块连续丢失且无法形成有效通信链路的节点组合，按照边缘数据库节点排列顺序，将网络延迟时长及可用带宽参数写入对应行列位置，生成权重视图矩阵。

20、较佳地，所述分发种子任务集的获取步骤为：

21、根据所述权重视图矩阵，读取各行列位置对应的边缘数据库节点组合，按照网络延迟时长递增顺序排列有效通信链路，在网络延迟时长相同时优先排列可用带宽参数数值最大的有效通信链路，从排列首位开始逐条选取有效通信链路，判断新选取的有效通信链路是否使已连接的边缘数据库节点形成闭合回路，形成闭合回路时跳过当前有效通信链路，未形成闭合回路时保留当前有效通信链路，循环执行有效通信链路选取，直至全部边缘数据库节点形成唯一连通结构，生成各边缘数据库节点间的协作分发拓扑图；

22、根据所述协作分发拓扑图，提取每个边缘数据库节点至中心云数据库的可达路径数量、最少路径跳数、路径累计网络延迟时长、路径最小可用带宽参数及直接相邻边缘数据库节点数量，剔除不存在中心云数据库可达路径的边缘数据库节点，按照最少路径跳数递增、路径累计网络延迟时长递增、路径最小可用带宽参数递减、直接相邻边缘数据库节点数量递减的顺序排列剩余边缘数据库节点，将排列首位的边缘数据库节点确定为分发种子节点，当多个边缘数据库节点的排列依据完全相同时，将多个边缘数据库节点共同确定为分发种子节点，记录分发种子节点的节点标识参数及对应协作分发拓扑图连接位置，生成分发种子任务集。

23、较佳地，所述协作复制与路由接管模块的具体步骤为：

24、根据所述分发种子任务集，读取分发种子节点的节点标识参数、协作分发拓扑图连接位置及任务执行顺序，由中心云数据库核验碎片化列簇副本打包集中的副本包编号、主键索引标识、列名参数标识、数据块边界、数据版本标识及完整性校验标识，仅向分发种子节点发送核验通过的副本包和传递指令，分发种子节点按照所述协作分发拓扑图中的相邻节点顺序拆分副本包，写入分块序号、目标节点标识及传输状态标识，向非种子边缘数据库节点逐块发送，非种子边缘数据库节点依据分块序号检查缺失分块，依据完整性校验标识检查错误分块，对缺失分块和错误分块发出重新传递请求，在横向同步期间按照预设心跳发送周期读取节点响应状态，节点响应间隔超过预设心跳超时阈值时，将对应路径标记为中断路径，从所述协作分发拓扑图中删除中断路径，按照剩余可用路径重新排列传递顺序，选取已完整接收碎片化列簇副本打包集且能够连接未完成同步节点的边缘数据库节点作为次级种子节点，由次级种子节点接续发送未完成分块，直至各边缘数据库节点返回完整接收标识，生成局部边缘节点副本集；

25、根据所述局部边缘节点副本集，逐一提取每个局部边缘节点副本对应的边缘数据库节点标识参数、节点网络地址、存储分区标识、分片标识特征参数、主键索引标识、主键索引值范围、高频列名参数、数据版本标识及副本可用状态标识，删除副本可用状态标识表示不可读取的记录，按照分片标识特征参数归并剩余记录，检查同一分片标识特征参数下的主键索引值范围是否存在重叠或缺口，对主键索引值范围重叠的记录保留数据版本标识排序靠后的记录，对主键索引值范围存在缺口的记录标记中心云数据库回源地址，将边缘数据库节点标识参数、节点网络地址、分片标识特征参数、主键索引值范围及高频列名参数写入分布式数据库的全局路由表，建立查询源地理坐标参数、基建识别码参数、分片标识特征参数及边缘数据库节点标识参数之间的对应关系，按照边缘数据库节点的网络延迟时长递增顺序设置同一分片标识特征参数对应的路由优先次序，生成系统路由重定向表；

26、根据所述系统路由重定向表，解析目标查询请求中的查询源地理坐标参数、基建识别码参数、请求列名参数及主键值参数，按照基建识别码参数检索对应的分片标识特征参数，按照查询源地理坐标参数匹配可达的边缘数据库节点标识参数，在多个边缘数据库节点均保存对应局部边缘节点副本时，依次比较路由优先次序、副本可用状态标识及数据版本标识，将目标查询请求发送至排序首位的目标边缘数据库节点，目标边缘数据库节点将请求列名参数同所述局部边缘节点副本集中的高频列名参数逐项核对，将未能匹配的请求列名参数确定为低频缺失列，按照主键索引标识和主键值参数生成相互独立的缺失列回源请求，向中心云数据库并行发送缺失列回源请求，接收缺失列数据后按照主键值参数对齐局部列数据和缺失列数据，完成联合查询，在所述局部边缘节点副本集的生命周期内，中心云数据库逐条读取增量日志流中的分片标识特征参数、列名参数、主键值参数、变更类型及数据版本标识，筛选列名参数属于高频列名参数的日志记录，按照数据版本标识的先后顺序向对应边缘数据库节点发送日志记录，边缘数据库节点依据主键值参数定位局部列数据，按照变更类型执行新增、修改或删除。

27、与现有技术相比，本发明的优点和积极效果在于：

28、本发明中，通过从全局查询日志中联合提取查询源地理坐标参数、基建识别码参数及时间变化关系，形成能够反映不同区域、不同基建设施及不同时段访问规律的历史时空查询特征序列，并据此预测未来目标时间窗口内各数据库分片的读取压力，使数据副本分发由查询到达后的被动响应转变为访问发生前的定向预热，减少突发查询集中访问中心云数据库时产生的排队等待及链路拥塞；依据读取压力预测数值和系统预设阈值参数锁定目标数据库分片，再从全局查询日志的语句结构中解析列名参数访问情况，按照历史访问频次区分高频列名参数和低频列数据，仅提取高频列名参数对应的数据块及关联主键索引标识，可在保留联合查询关联能力的同时压缩副本体量，降低边缘数据库节点的存储占用和副本传输负荷；结合边缘数据库节点间的网络延迟时长、可用带宽参数及中心云数据库连通关系规划协作分发路径，使中心云数据库只承担向分发种子节点的初始推送，由分发种子节点向非种子边缘数据库节点横向扩散碎片化列簇副本打包集，可分散中心出口带宽压力，并缩短多节点副本部署周期；同步路径中断时重新组织节点连接关系并指定次级种子节点接续传输，可避免单一链路故障造成整体预热任务停滞；将局部边缘节点副本集的位置参数写入全局路由关系后，目标查询请求可按网络位置及副本可用情况定向访问目标边缘数据库节点，低频缺失列再依据主键索引标识回源补齐，高频列名参数对应的数据状态变更通过增量日志流持续同步，从而兼顾查询时延、存储开销、数据完整性、状态一致性及故障恢复能力。