基于连续重锚定的多协议时序事件回放注入方法及系统

摘要: 本发明涉及物联网测试,特别涉及一种基于连续重锚定的多协议时序事件回放注入方法及系统。背景技术:1、在物联网系统的开发验证中,常需将历史采集的传感事件按原始时序重...
基于连续重锚定的多协议时序事件回放注入方法及系统

本发明涉及物联网测试,特别涉及一种基于连续重锚定的多协议时序事件回放注入方法及系统。

背景技术:

1、在物联网系统的开发验证中,常需将历史采集的传感事件按原始时序重新注入被测系统,以复现现场场景并验证告警逻辑与数据处理链路。现有时序事件回放主要面临以下问题:

2、首先,在预先计算并保存各事件目标调度时刻的回放架构中,若运行中变更速率时仅保留原始映射基准并替换速率,未同步折算当前源时间位置、重新计算未出队事件的目标调度时刻和重建有序组织,则加速时可能使大批目标调度时刻落入过去而产生集中出队,减速时可能形成较长等待,从而破坏回放的时序语义。

3、其次,当多协议事件由调度线程直接执行协议发送时,特定协议的发送、确认或重连耗时可能反向阻塞调度过程。缺少独立有界发送队列和独立发送线程时,各协议的网络阻塞域与调度时间轴相互耦合,容易造成多协议回放的调度偏差。

技术实现思路

1、本发明提供一种基于连续重锚定的多协议时序事件回放注入方法及系统,需要解决的技术问题是:在预先计算事件目标调度时刻的架构中,维持变速前后源时间位置的连续性,并隔离异构协议发送耗时对调度时间轴的反向阻塞。

2、为了达到上述发明目的,本发明采用的技术方案为:一种基于连续重锚定的多协议时序事件回放注入方法,包括:

3、s1、将来自数据源的、属于预设格式集合的各事件的原始时间戳归一化为统一时间基准下的归一化时间戳;

4、s2、以单调时钟为运行时间坐标建立虚拟时间轴;设置由源时间锚点与虚拟时钟锚点构成的锚点对;基于各所述事件的归一化时间戳、当前锚点对及当前速率因子,确定各事件在所述虚拟时间轴上的目标调度时刻;并按照所述目标调度时刻对尚未出队的事件建立有序组织;

5、s3、当所述速率因子在回放过程中发生变更时,在锁定调度状态的临界区内依次执行:读取变更瞬间的所述虚拟时间轴当前时刻;按变更前的速率因子与变更前的锚点对,将所述变更瞬间的虚拟时间轴当前时刻折算为当前源时间位置;将所述锚点对更新为由所述当前源时间位置与所述变更瞬间的虚拟时间轴当前时刻构成的新锚点对,并将速率因子更新为变更后的速率因子;按所述新锚点对与变更后的速率因子,对尚未由调度引擎出队的事件重新计算目标调度时刻并重建所述有序组织;对重新计算后目标调度时刻早于所述变更瞬间的事件,按预设迟到策略处理;

6、s4、循环从所述有序组织中取目标调度时刻最早的事件,等待至其目标调度时刻后出队,以非阻塞方式投递至至少两种异构应用层协议适配器中与该事件通道对应的适配器的有界发送队列;各所述异构应用层协议适配器以相互独立的发送线程从各自的有界发送队列中取出事件并执行协议发送。

7、进一步地,在步骤s2中,所述虚拟时间轴当前时刻的确定方式为:在运行状态下,以单调时钟当前读数扣除已完成暂停的累计时长作为所述虚拟时间轴当前时刻;在暂停状态下,以暂停起始时刻的单调时钟读数扣除所述累计时长作为所述虚拟时间轴当前时刻;恢复时将恢复时刻与所述暂停起始时刻之差累加至所述累计时长;

8、所述确定各事件在所述虚拟时间轴上的目标调度时刻,包括:将事件的归一化时间戳与所述源时间锚点之差换算至运行时间单位,除以大于零的速率因子,再叠加所述虚拟时钟锚点;暂停期间尚未出队的事件按源时序间隔整体顺延,无需更新所述锚点对;若所述速率因子的变更发生于暂停状态,变更瞬间的所述虚拟时间轴当前时刻取暂停起始时刻对应的虚拟时刻。

9、进一步地,在步骤s3中,按变更前的速率因子与变更前的锚点对,将所述变更瞬间的虚拟时间轴当前时刻折算为当前源时间位置,包括:将所述变更瞬间的虚拟时间轴当前时刻与变更前的虚拟时钟锚点之差,乘以变更前的速率因子并换算至源时间单位后,叠加变更前的源时间锚点;

10、所述s3还包括:对重新计算后目标调度时刻早于所述变更瞬间的事件,执行预设迟到策略;所述预设迟到策略包括:立即依序投递、丢弃并计数、或经限速追赶投递。

11、进一步地,所述s4中的等待为分段混合等待,包括:计算距目标调度时刻的剩余时间,当所述剩余时间大于预设切换阈值时,以睡眠方式让出处理器;当所述剩余时间不大于所述预设切换阈值时,循环读取所述虚拟时间轴当前时刻并与所述目标调度时刻比较,直至当前时刻不早于目标调度时刻;所述预设切换阈值可配置。

12、进一步地,还包括断链处理步骤:任一所述异构应用层协议适配器检测到其连接中断时,按预设断链处理策略进行处理,所述预设断链处理策略包括暂停顺延、通道丢弃或通道积压补发;其中,所述暂停顺延作用于全局回放;所述通道丢弃与通道积压补发仅作用于该适配器对应的通道;所述通道积压补发在发送时经以事件条数计量的令牌桶进行限流发送;

13、在步骤s4中,所述非阻塞方式投递在所述有界发送队列满时触发溢出策略,所述溢出策略包括丢弃最早积压事件或触发回放暂停;针对所述通道积压补发,若积压时长超过时长阈值或积压条数超过条数阈值,则对对应有界发送队列稳定顺序中最先进入且尚未发送的最早积压事件执行丢弃并计数。

14、进一步地,步骤s1还包括:优先采用数据源的显式单位元数据,缺少时按数值量级推断时间戳单位,推断结果超出预设合理时间窗时触发异常告警;为各所述事件赋予单调递增的内部序号,以所述归一化时间戳与所述内部序号构成的二元组为排序键,保证同时间戳事件的稳定排序;

15、所述异构应用层协议适配器支持的网络协议包括消息队列遥测传输协议、网络套接字协议以及超文本传输协议中的至少两种。

16、进一步地,方法还包括:

17、条件触发暂停步骤:在事件出队时,利用受限条件表达式对出队事件的字段求值,若命中则自动暂停回放;所述受限条件表达式包括字段与数值的比较、区间判断及其逻辑组合;

18、跳转步骤:丢弃跳转目标之前的事件,以所述跳转目标的归一化时间戳与跳转瞬间的所述虚拟时间轴当前时刻更新所述锚点对,并对剩余事件重新计算目标调度时刻并重建所述有序组织。

19、本发明的另一目的在于提供一种基于连续重锚定的多协议时序事件回放注入系统,该系统包括:

20、解析归一化模块,用于将来自数据源的、属于预设格式集合的各事件的原始时间戳归一化为统一时间基准下的归一化时间戳;

21、调度引擎,用于以单调时钟为运行时间坐标建立虚拟时间轴,设置由源时间锚点与虚拟时钟锚点构成的锚点对,基于各事件的归一化时间戳、当前锚点对及当前速率因子确定各事件在虚拟时间轴上的目标调度时刻,并按照目标调度时刻对尚未出队的事件建立有序组织;当速率因子在回放过程中发生变更时,在锁定调度状态的临界区内依次读取变更瞬间的虚拟时间轴当前时刻,按变更前的速率因子与变更前的锚点对折算当前源时间位置,将锚点对更新为由当前源时间位置与变更瞬间的虚拟时间轴当前时刻构成的新锚点对并更新速率因子,按新锚点对与变更后的速率因子对尚未出队的事件重新计算目标调度时刻并重建有序组织,以及对重新计算后目标调度时刻早于变更瞬间的事件执行立即依序投递、丢弃并计数或经限速追赶投递的预设迟到策略;

22、至少两种异构应用层协议适配器,各所述异构应用层协议适配器均配置有独立的有界发送队列和相互独立的发送线程。

23、进一步地,所述调度引擎还用于循环从有序组织中取目标调度时刻最早的事件,采用分段混合等待机制等待至其目标调度时刻后出队,所述分段混合等待机制包括:当距目标调度时刻的剩余时间大于预设切换阈值时以睡眠方式让出处理器,当剩余时间不大于预设切换阈值时循环读取虚拟时间轴当前时刻,直至当前时刻不早于目标调度时刻。

24、进一步地,所述调度引擎经由通道-适配器路由以非阻塞方式将出队事件投递至对应异构应用层协议适配器的有界发送队列,并在有界发送队列满时触发丢弃最早积压事件或回放暂停的溢出策略;各异构应用层协议适配器用于以相互独立的发送线程从各自的有界发送队列中取出事件并执行协议发送,并在检测到自身连接中断时,向调度引擎请求全局暂停顺延、对对应通道执行通道丢弃或通道积压补发,所述通道积压补发在重连后经以事件条数计量的令牌桶进行限流发送。

25、本发明的有益效果为:通过在变速瞬间执行当前源时间位置折算、锚点更新、未出队事件目标调度时刻重算及有序组织重建,在预设事件负载与可调度条件下维持变速前后源时间位置的连续性,降低加速时集中出队和减速时长时间等待的风险;通过调度侧非阻塞投递、各适配器独立有界发送队列与独立发送线程,将协议发送耗时与调度时间轴隔离,支持异构多协议并发注入;基于锚点计算目标调度时刻,使单个事件的等待偏差不继续传递至后续事件。