一种时序数据库的写入方法及系统与流程

摘要: 本发明属于物联网和工业互联网,特别是涉及一种时序数据库的写入方法及系统。背景技术:1、随着物联网和工业互联网技术的快速发展,海量设备产生的时序数据呈现出高并发写...
一种时序数据库的写入方法及系统与流程

本发明属于物联网和工业互联网,特别是涉及一种时序数据库的写入方法及系统。

背景技术:

1、随着物联网和工业互联网技术的快速发展,海量设备产生的时序数据呈现出高并发写入和频繁的时钟偏移特征。为了保障数据的持久性与系统的高可用性,时序数据库普遍采用预写日志技术,即在数据点写入内存表之前,先将其追加记录到磁盘的日志文件中。当系统发生崩溃并重启时,数据库需要通过回放预写日志来恢复崩溃前的内存表状态。为了缩短系统恢复时间,目前的时序数据库在崩溃恢复阶段引入了并行回放调度机制,通过多线程并发处理日志记录以加速内存表的重建过程。

2、传统技术中,时序数据库在执行预写日志的并行回放时,通常采用基于全局序列号构建依赖图的方式来进行调度。具体而言,系统在写入阶段为每条日志记录分配一个全局递增的序列号,在崩溃恢复阶段,调度器提取日志记录中的全局序列号作为依赖判断的基准,按照全局序列号的物理先后顺序构建依赖图,并调度多个工作线程依据该依赖图进行并行回放。同时,对于同一时间线中因网络重传等原因产生的重复数据点,传统方法通常依赖全局序列号的大小来判定数据的先后顺序,以此实现“最后写入胜出”的覆盖去重逻辑。

3、然而,目前的并行回放调度方式存在由于乱序数据序列号依赖环路导致的回放死锁与重复点不可识别的问题。由于实际应用中数据点常因网络延迟或设备时钟偏差而以乱序时间戳到达,导致同一时间线的数据点在预写日志中的物理写入顺序(即全局序列号顺序)与其逻辑时间戳顺序不一致。现有方法依赖全局序列号构建依赖图,在处理跨文件交错的乱序数据时,不同时间线的数据点会因全局序列号的相互交错等待而形成依赖环路,导致拓扑排序失败与调度死锁;同时,基于全局序列号的去重逻辑在并行回放环境下难以准确判定跨文件交错的同一逻辑时间点的最后写入版本,进而导致重复点不可识别与内存表重建数据不一致。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够避免乱序数据回放死锁且准确识别重复数据点的时序数据库的写入方法及系统。

2、第一方面,本技术提供了一种时序数据库的写入方法,包括:

3、s1、获取时序数据点,并对时序数据点进行双轨编号,生成预写日志条目,预写日志条目包括时间线局部序列号;

4、s2、将时间线局部序列号作为排序键值,并根据时间线标识,对预写日志条目进行依赖关系重组,以构建节点并连接有向边的方式,生成局部序依赖图;

5、s3、对局部序依赖图进行拓扑排序,生成无环调度队列;

6、s4、根据无环调度队列分配的回放顺序,对预写日志条目进行联合哈希去重,生成去重数据点集合,并将去重数据点集合写入内存表,生成重建后的内存表。

7、在其中一个实施例中,s2,包括:

8、s21、根据时间线标识,对预写日志条目进行全局排序,得到同一时间线维度的日志条目聚合集合;

9、s22、根据预设时间跨度,切分日志条目聚合集合,得到多个时间戳有序窗口;

10、s23、根据各时间戳有序窗口在对应时间线局部序列号上的先后顺序,在各时间戳有序窗口之间构建有向边,得到有向边集合;

11、s24、基于有向边集合,合并各节点间的直接和间接依赖关系,生成局部序依赖图。

12、在其中一个实施例中,s4,包括:

13、s41、根据无环调度队列分配的回放范围,提取预写日志条目对应回放范围的日志条目,得到待判定日志条目集合;

14、s42、对待判定日志条目集合中各日志条目的时间线标识和逻辑时间戳进行联合哈希计算,得到各日志条目对应的联合哈希键;

15、s43、以各日志条目的联合哈希键为索引,在预构建的幂等哈希表中进行查找匹配,得到重复点匹配结果;

16、s44、根据重复点匹配结果,对待判定日志条目集合中的重复日志条目进行去重过滤,生成去重数据点集合。

17、在其中一个实施例中,s44,包括:

18、s441、根据重复点匹配结果,将待判定日志条目集合中联合哈希键未命中幂等哈希表的日志条目写入幂等哈希表,得到第一过滤条目集;

19、s442、基于待判定日志条目集合中联合哈希键命中幂等哈希表的日志条目,比较日志条目对应的时间线局部序列号和幂等哈希表中已存的时间线局部序列号,得到序列号比对结果;

20、s443、根据序列号比对结果,对联合哈希键命中的日志条目进行选择性保留,将时间线局部序列号较大的日志条目保留、时间线局部序列号较小的日志条目丢弃,得到第二过滤条目集;

21、s444、合并第一过滤条目集和第二过滤条目集,生成去重数据点集合。

22、在其中一个实施例中,s42,包括:

23、s421、从待判定日志条目集合的各日志条目中分别提取时间线标识和逻辑时间戳,得到待计算参数对;

24、s422、对每个待计算参数对中的时间线标识和逻辑时间戳进行按位异或操作,得到异或中间值;

25、s423、对异或中间值进行哈希计算,得到各日志条目对应的联合哈希键,联合哈希键的表达式如下:

26、;

27、其中,为联合哈希键,为哈希计算函数,为时间线标识,为逻辑时间戳,为按位异或操作符。

28、在其中一个实施例中,s43,包括:

29、s431、以各日志条目的联合哈希键为查询键,在幂等哈希表中进行哈希查找,得到查找状态标识;

30、s432、当查找状态标识指示查询键不存在时,生成未命中匹配结果;

31、s433、当查找状态标识指示查询键存在时,从幂等哈希表中提取与查询键对应的已存时间线局部序列号,得到已存序列号;

32、s434、比对已存序列号和当前日志条目的时间线局部序列号,生成重复点匹配结果,重复点匹配结果包括是否命中和已存序列号信息。

33、在其中一个实施例中,s3,包括:

34、s31、计算局部序依赖图中各节点的入度值,得到节点入度集合;

35、s32、从节点入度集合中选取入度值为零的节点加入调度队列,得到初始调度队列;

36、s33、从局部序依赖图中移除初始调度队列中的节点,并更新被移除节点的邻接节点的入度值,得到更新后的节点入度集合;

37、s34、重复执行s32-s33,直至局部序依赖图中所有节点均被加入调度队列,生成无环调度队列。

38、第二方面,本技术还提供了一种时序数据库的写入系统,包括:

39、双轨编号模块,用于获取时序数据点,并对时序数据点进行双轨编号,生成预写日志条目,预写日志条目包括时间线局部序列号;

40、依赖图构建模块,用于将时间线局部序列号作为排序键值,并根据时间线标识,对预写日志条目进行依赖关系重组,以构建节点并连接有向边的方式,生成局部序依赖图;

41、拓扑排序模块,用于对局部序依赖图进行拓扑排序,生成无环调度队列;

42、联合去重写入模块,用于根据无环调度队列分配的回放顺序,对预写日志条目进行联合哈希去重,生成去重数据点集合,并将去重数据点集合写入内存表,生成重建后的内存表。

43、第三方面,本技术还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如第一方面的时序数据库的写入方法。

44、第四方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面的时序数据库的写入方法。

45、上述一种时序数据库的写入方法及系统,通过引入双轨编号机制为获取的时序数据点生成包含时间线局部序列号的预写日志条目,将时间线局部序列号作为排序键值并结合时间线标识对预写日志条目进行依赖关系重组,以构建节点并连接有向边的方式生成局部序依赖图,切断了跨时间线数据的依赖等待,对局部序依赖图进行拓扑排序生成无环调度队列,根据无环调度队列分配的回放顺序对预写日志条目进行联合哈希去重,将去重数据点集合写入内存表生成重建后的内存表,从而从根本上避免了乱序数据因物理写入顺序交错导致的依赖环路与回放死锁,准确识别出跨文件交错的重复数据点,保障了时序数据库崩溃恢复阶段内存表重建的高效性与数据一致性。