基于Java的试验车多源异构数据实时处理方法、介质及设备与流程

摘要: 本发明涉及汽车测试数据处理,特别涉及一种基于java的试验车多源异构数据实时处理方法、介质及设备。背景技术:1、在智能网联汽车道路试验中,试验车搭载的同步采集系...
基于Java的试验车多源异构数据实时处理方法、介质及设备与流程

本发明涉及汽车测试数据处理,特别涉及一种基于java的试验车多源异构数据实时处理方法、介质及设备。

背景技术:

1、在智能网联汽车道路试验中,试验车搭载的同步采集系统能够以高精度(微秒级)采集车辆总线、摄像头、激光雷达、imu等多源异构 数据。这些数据由硬件采集层在采集瞬间打上精确时间戳后,传输至车内的计算单元(工控机)进行实时的汇集、对齐、预处理与存储 ,以供后续分析和回灌。现有技术中,处理此类数据流常采用以下方案:

2、1.基于通用机器人操作系统(ros)的方案:虽提供了数据通信框架,但其在高带宽、多节点、强实时的车载环境下,存在稳定性不足数据易丢失、资源占用高、与特定业务逻辑(如车辆协议解析)结合度低等问题。其时间管理机制在应对硬件精密时间戳的细粒度对齐时也较为笨拙。

3、2.基于c/c++的自研桌面应用程序:性能较高,但开发周期长,跨平台兼容性差,且在多线程管理、内存回收、异常处理等方面对开发要求极高,系统健壮性难以保证。

4、3.简单的java日志记录程序:仅能实现数据的顺序存储,缺乏实时的时间轴对齐、在线的数据质量检查、动态的业务处理管道等高级功能,无法满足实时监控与快速迭代的测试需求。

技术实现思路

1、本发明的目的在于提供一种基于java的试验车多源异构数据实时处理方法、介质及设备,旨在能充分利用硬件同步成果,兼具高性能、高可靠性、高可扩展性,并便于快速开发与部署的车载数据汇集处理软件方案。具体技术方案如下:

2、一种基于java的试验车多源异构数据实时处理方法,所述方法包括以下步骤:

3、s100、通过定制化的数据源适配器并发接入来自不同物理接口的原始数据流,为每个数据流创建独立的接入线程,接收由硬件采集层在采集瞬间已打上高精度纳秒级时间戳的原始数据包,并附加本地接收时间戳,封装为带双时戳的原始数据对象,放入对应的无锁环形缓冲区;

4、s200、由一个主对齐调度线程按可配置的调度周期定量地从各环形缓冲区消费原始数据对象,基于全局单调递增的软件逻辑时间轴,采用前瞻缓冲与插值对齐策略以根据原始数据流的数据类型自适应选择插值算法或最近邻匹配算法,将不同频率、非均匀到达的数据对象精确放置或生成为逻辑时间轴上的离散数据点,形成按逻辑时间严格排序的对齐数据帧;

5、s300、将每个对齐后的数据帧发布至事件总线,可插拔处理组件按配置的责任链顺序订阅并处理,处理结果重新发布至事件总线;

6、s400、由独立的存储线程从事件总线订阅需持久化的数据帧,采用双缓冲队列与组提交策略,在按时间分片的滚动文件中批量写入,并同步生成包含时间戳范围、偏移量和数据块长度的索引文件。

7、进一步地,所述步骤s100中,原始数据流的数据类型包括can报文、惯性测量单元测量值、激光雷达点云、毫米波雷达数据、摄像头图像帧中的多种。

8、进一步地,所述步骤s200中,前瞻缓冲与插值对齐策略包括如下步骤:

9、s210、 维护一个可配置的前瞻缓冲窗口,确保调度线程消费的数据对象覆盖当前对齐点前后足够范围;

10、s220、 对于离散信号类数据,采用线性插值算法,基于当前逻辑时间点前后最近的两条数据计算插值;当前后数据间隔超出预设阈值时,对插值结果标注低置信度标记;对于采样信号类数据,采用最近邻匹配算法,选取时间最接近的采样帧;

11、s230、当某路数据在前瞻窗口内无有效数据时,标记为数据缺失状态。

12、进一步地,所述步骤s300中,可插拔处理组件可进行如下至少一种数据处理:数据有效性校验、单位换算、车辆坐标转换、基于规则的实时报警、数据压缩与滤波、实时目标检测结果融合。

13、进一步地,所述步骤s400中,所述索引文件的每条索引记录至少包含:所属时间分片文件名、起始时间戳、结束时间戳、数据帧数量、起始偏移量和数据块字节长度。

14、进一步地,步骤s400后还包括步骤s500、异常处理与降级机制:当某路数据持续缺失超过心跳超时阈值时,发出告警并对后续对齐帧持续标记缺失,不阻塞其他数据流的处理;当检测到某路数据的硬件时间戳跳变或倒流超出预设偏差阈值时,将该数据源标记为时间戳异常,临时采用本地系统时间戳进行补偿对齐;当环形缓冲区使用率超过高水位线时,触发自适应降级策略。

15、进一步地,高水位线设为80%。

16、进一步地,自适应降级策略包括降低非关键处理频率或对历史数据启用抽稀处理。

17、本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上所述的基于java的试验车多源异构数据实时处理方法的步骤。

18、本发明还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述的基于java的试验车多源异构数据实时处理方法的步骤。

19、本发明提供的一种基于java的试验车多源异构数据实时处理方法、介质及设备,具有以下有益效果:

20、本发明通过软件层的前瞻缓冲与插值对齐策略,将硬件采集层的高精度时间戳价值延续到应用层,实现了数据在应用逻辑时间轴上的严格、精确对齐,为后续分析提供可靠基础。采用无锁环形缓冲区隔离接入与处理,使用独立的处理线程与事件总线实现模块间解耦,通过异步存储与组提交优化i/o,并配套完善的数据缺失检测、时间戳异常处理和自适应降级机制,确保了系统在高负载下的高吞吐、低延迟与稳定运行,避免了数据丢失和系统卡死,提高了性能和可靠性。基于java生态,模块化设计清晰,可插拔的处理管道和事件总线架构,使得新增一种数据源或增加一个处理算法只需实现标准接口并在配置文件中声明即可,满足测试需求快速变化的特点,具有高可扩展性与可维护性。

1.一种基于java的试验车多源异构数据实时处理方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的基于java的试验车多源异构数据实时处理方法,其特征在于,所述步骤s100中,原始数据流的数据类型包括can报文、惯性测量单元测量值、激光雷达点云、毫米波雷达数据、摄像头图像帧中的多种。

3.根据权利要求1所述的基于java的试验车多源异构数据实时处理方法,其特征在于,所述步骤s200中,前瞻缓冲与插值对齐策略包括如下步骤:

4.根据权利要求1所述的基于java的试验车多源异构数据实时处理方法,其特征在于,所述步骤s300中,可插拔处理组件可进行如下至少一种数据处理:数据有效性校验、单位换算、车辆坐标转换、基于规则的实时报警、数据压缩与滤波、实时目标检测结果融合。

5.根据权利要求1所述的基于java的试验车多源异构数据实时处理方法,其特征在于,所述步骤s400中,所述索引文件的每条索引记录至少包含:所属时间分片文件名、起始时间戳、结束时间戳、数据帧数量、起始偏移量和数据块字节长度。

6.根据权利要求1所述的基于java的试验车多源异构数据实时处理方法,其特征在于,步骤s400后还包括步骤s500、异常处理与降级机制:当某路数据持续缺失超过心跳超时阈值时,发出告警并对后续对齐帧持续标记缺失,不阻塞其他数据流的处理;当检测到某路数据的硬件时间戳跳变或倒流超出预设偏差阈值时,将该数据源标记为时间戳异常,临时采用本地系统时间戳进行补偿对齐;当环形缓冲区使用率超过高水位线时,触发自适应降级策略。

7.根据权利要求6所述的基于java的试验车多源异构数据实时处理方法,其特征在于,高水位线设为80%。

8.根据权利要求6所述的基于java的试验车多源异构数据实时处理方法,其特征在于,自适应降级策略包括降低非关键处理频率或对历史数据启用抽稀处理。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-8中任一项所述的基于java的试验车多源异构数据实时处理方法的步骤。

10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-8中任一项所述的基于java的试验车多源异构数据实时处理方法的步骤。