一种分布式多节点同步采集系统及方法与流程
本技术涉及高速数据采集与工业监测,具体涉及一种分布式多节点同步采集系统及方法。
背景技术:
1、在工业高精度监测领域,尤其是大型结构健康监测、精密设备状态评估以及超声检测等场景中,通常需要在不同物理位置部署多个采集节点,对多个测点的信号进行同步采集与联合分析。随着监测点数量、采集通道数量以及采样速率的增加,分布式多节点采集系统需要同时满足多节点采集时序一致以及大量采集数据实时传输的要求。目前,本领域通常采用分布式多节点采集架构,由多个采集节点分别获取对应测点的采集信号,并通过网络将采集数据传输至后端处理节点进行汇总和分析。为了实现不同采集节点之间的时间关联,通常采用网络时间同步协议对各采集节点进行时钟同步,并在后端根据采集数据的时间信息对不同节点的数据进行时序校正和联合处理。
2、然而,在多节点多通道高速采集场景下,现有技术在数据同步传输方面仍存在一定局限。一方面,基于网络协议进行时间同步时,同步报文在网络传输过程中容易受到网络时延、网络抖动以及节点协议栈处理延迟等因素影响,难以直接保证多个采集节点在采集触发时刻具有较高的一致性;而采用专用硬件同步信号虽然能够改善采集触发的一致性,但不同采集节点之间仍需要统一的时间基准,以便对采集数据进行跨节点时间关联。另一方面,多个采集节点中的多通道采集会产生大量数据,当多个节点的数据集中通过有限的网络传输接口进行传输时,容易形成较大的带宽压力,从而影响数据传输的实时性和稳定性,进而影响后端对多节点采集数据的联合处理。
3、因此,现有分布式多节点多通道采集系统中,如何在保证多个采集节点采集触发时序一致性的同时建立统一的全局时间基准,并提高多节点采集数据的独立传输能力,以便后端基于统一时间信息实现跨节点数据的准确对齐与联合处理,成为亟待解决的技术问题。
技术实现思路
1、本技术提供了一种分布式多节点同步采集系统及方法,可以解决现有分布式多节点采集方案难以在保证高吞吐量的同时实现跨节点数据的严格时间对齐,导致多源采集数据的时序关系存在不确定性的技术问题。
2、为了实现上述目的,本技术提供如下技术方案:
3、本技术的第一方面提供了一种分布式多节点同步采集系统,包括多个采集节点和后端处理节点;所述多个采集节点中的每个采集节点包含多个采集通道,且配置有独立网络传输通道;所述多个采集节点之间通过专用硬件同步通道连接,以接收采集触发信号实现多节点同步采样;所述多个采集节点分别与网络时间同步链路连接,并基于网络时间同步协议获取统一的全局时间基准;所述多个采集节点配置为通过各自的所述独立网络传输通道,将携带基于所述全局时间基准生成的时间戳的采集数据发送至所述后端处理节点;所述后端处理节点配置为基于所述时间戳,对来自不同采集节点的所述采集数据进行跨节点时间对齐与并行处理。
4、上述方案通过构建专用硬件同步通道与网络时间同步链路相融合的双重同步架构,利用硬件通道保障多节点采集触发的瞬时一致性,利用网络链路保障全局时间基准的统一;同时,各采集节点配置独立网络传输通道,从物理层面避免了多节点海量数据汇聚至单一链路造成的拥塞,保障了数据传输的带宽与实时性;后端处理节点基于统一时间基准生成的时间戳进行跨节点数据对齐,确保了分布式采集数据在时空维度上的精确关联。
5、作为一种可选实施方式,所述专用硬件同步通道采用主从分发或级联传递的方式,向所述多个采集节点传输所述采集触发信号;所述网络时间同步链路基于所述网络时间同步协议交互同步报文,以对齐所述全局时间基准,所述全局时间基准用于生成所述时间戳。
6、作为一种可选实施方式,所述专用硬件同步通道的物理拓扑结构为菊花链级联拓扑或星型分发拓扑;所述采集触发信号为共同时钟线信号或级联触发线信号;当所述物理拓扑结构为菊花链级联拓扑时,所述多个采集节点中的主节点生成所述采集触发信号,并通过所述级联触发线信号依次传递至从节点;当所述物理拓扑结构为星型分发拓扑时,同步分发中心通过所述共同时钟线信号同时向所述多个采集节点广播所述采集触发信号。
7、作为一种可选实施方式,所述独立网络传输通道与所述网络时间同步链路共用同一物理网络接口且逻辑隔离,或者采用物理隔离的独立接口;所述后端处理节点配置为提取各所述采集节点上传的所述采集数据中携带的所述时间戳,基于所述时间戳对跨节点的所述采集数据进行时间对齐与数据重组。
8、作为一种可选实施方式,所述采集节点配置为基于udp协议对所述采集数据进行打包,生成数据包;所述数据包的头部封装有所述时间戳和节点标识信息;所述后端处理节点配置为解析所述数据包的头部,基于所述节点标识信息区分不同采集节点的数据流,并基于所述时间戳对属于同一采样周期的不同数据流进行拼接重组。
9、作为一种可选实施方式,所述后端处理节点包含多核处理器;所述后端处理节点配置为采用通道级任务分配策略或节点级任务分配策略,为每个所述采集通道或每个所述采集节点分配独立的计算核心,以通过所述独立的计算核心执行并行信号处理。
10、作为一种可选实施方式,所述独立的计算核心配置为对所述采集数据进行信号滤波处理以滤除环境噪声;对滤波后的数据进行超声回波提取以确定回波信号的飞行时间;基于所述飞行时间以及预设的声弹性系数执行轴力反演计算,输出螺栓轴力的实时监测结果。
11、作为一种可选实施方式,所述采集节点采用fpga与arm异构架构;所述fpga配置为负责多个adc的并行采样控制,以实现对所述多个采集通道的全硬件同步采集,并对所述采集数据进行预处理与高速缓存;所述arm配置为负责运行网络协议栈,从所述高速缓存中读取预处理后的所述采集数据,执行数据打包并通过所述独立网络传输通道进行传输。
12、本技术的第二方面提供了一种分布式多节点同步采集方法,包括:响应于通过专用硬件同步通道接收到采集触发信号,多个采集节点同步执行多通道数据采集,生成采集数据;基于网络时间同步链路和网络时间协议获取全局时间基准,为所述采集数据生成关联所述全局时间基准的时间戳;所述多个采集节点通过各自的所述独立网络传输通道,将携带所述时间戳的所述采集数据分别传输至后端处理节点;所述后端处理节点基于所述时间戳,对来自不同采集节点的所述采集数据进行跨节点时间对齐与并行处理。
13、作为一种可选实施方式,所述响应于通过专用硬件同步通道接收到采集触发信号,多个采集节点同步执行多通道数据采集,生成采集数据,包括:在接收到所述采集触发信号后的同一时钟周期内,启动多通道模数转换采样;所述多个采集节点通过各自的所述独立网络传输通道,将携带所述时间戳的所述采集数据分别传输至后端处理节点,包括:将采样得到的数据与基于所述网络时间协议获取的所述全局时间基准对应的所述时间戳进行绑定封装,通过各自的所述独立网络传输通道发送。
14、有益效果:
15、本技术提供的分布式多节点同步采集系统及方法,通过在多个采集节点之间设置专用硬件同步通道,使多个采集节点响应于采集触发信号同步执行采样,从而提高不同采集节点之间采集时刻的一致性;在此基础上,通过网络时间同步链路使多个采集节点获得统一的全局时间基准,并基于全局时间基准为采集数据生成时间戳,使不同采集节点的采集数据具有统一的时间参照,为后续跨节点数据的时间关联提供基础。
16、进一步地,各采集节点通过各自独立网络传输通道分别向后端处理节点发送携带时间戳的采集数据,降低多个采集节点的数据传输相互汇聚所造成的传输压力,从而提高多节点采集数据的传输能力;后端处理节点基于时间戳对来自不同采集节点的采集数据进行跨节点时间对齐,并对对齐后的采集数据进行并行处理,使不同采集节点的数据能够按照统一的时间基准进行关联和联合处理。由此,能够在提高多节点采集数据传输能力的同时,降低多源数据融合过程中因节点间时序不一致造成的不确定性,实现高吞吐量条件下的跨节点数据准确时间对齐与联合处理,从而解决现有分布式多节点采集方案难以在保证高吞吐量的同时实现跨节点严格时间对齐的技术问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com