车辆数据的处理方法、装置、设备、存储介质及程序产品与流程
本技术涉及数据处理,具体涉及一种车辆数据的处理方法、装置、设备、存储介质及程序产品。
背景技术:
1、随着车联网技术的快速发展,车辆产生的数据量呈爆发式增长,这些不同类型的车辆数据需要实时上传至云端进行存储和分析,以支持车辆远程监控、故障诊断和驾驶行为分析等业务。
2、但是,在4g/5g网络切换、隧道场景和地下停车场等复杂的网络环境下,由于网络传输延迟的不确定性,导致数据包的存储顺序紊乱,进而会导致后续车辆数据的分析的效率低下。因此,目前亟需解决因车辆数据的存储顺序紊乱而导致数据分析效率低的问题。
技术实现思路
1、鉴于相关技术的上述不足,本技术提供一种车辆数据的处理方法、装置、设备、存储介质及程序产品,有效解决车辆数据的存储顺序紊乱的问题,进而提高数据分析效率。
2、第一方面,本技术提供一种车辆数据的处理方法,所述方法包括:
3、响应于针对第一时间窗口的数据存储请求,构建与所述第一时间窗口相关联的目标时序槽数组,其中,所述第一时间窗口为具有数据分析需求的预设时间窗口,所述数据存储请求用于请求存储在所述第一时间窗口进行数据分析的车辆数据;
4、根据所述目标时序槽数组,对所述第一时间窗口内采集到的第一车辆数据执行存储操作,其中,所述存储操作包括:
5、对所述第一车辆数据进行编码,得到目标编码结果,所述目标编码结果用于与所述第一车辆数据相关的数据分析,所述第一车辆数据为所述第一时间窗口内采集到的任一车辆数据;
6、根据所述第一车辆数据的第一采样时间戳,确定与所述目标编码结果相对应的目标时序槽位置信息,所述目标时序槽位置信息用于指示所述目标时序槽数组中的目标时序槽位置;
7、根据所述目标时序槽位置信息,在所述目标时序槽位置对所述目标编码结果执行存储操作。
8、在可选的实施方式中,所述根据所述第一车辆数据的第一采样时间戳,确定与所述目标编码结果相对应的目标时序槽位置信息,包括:
9、根据所述第一采样时间戳和所述第一时间窗口的窗口基准时间,确定相对时间偏移;
10、根据所述相对时间偏移和采样时间粒度,确定时序槽偏移,所述采样时间粒度为所述第一时间窗口内相邻采样时间戳的间隔时长;
11、根据所述时序槽偏移和所述目标时序槽数组的时序槽数组长度,确定所述目标时序槽位置信息。
12、在可选的实施方式中,所述根据所述目标时序槽位置信息,在所述目标时序槽位置对所述目标编码结果执行存储操作,包括:
13、根据所述目标时序槽位置信息,读取所述目标时序槽位置的原始编码结果;
14、根据所述目标编码结果和所述原始编码结果,确定待存储编码结果;
15、根据所述目标时序槽位置信息,将所述待存储编码结果写入至所述目标时序槽位置。
16、在可选的实施方式中,所述根据所述目标编码结果和所述原始编码结果,确定待存储编码结果,包括如下任一项:
17、将所述目标编码结果替换所述原始编码结果作为待存储编码结果;
18、对所述目标编码结果和所述原始编码结果进行或运算,得到待存储编码结果;
19、根据所述目标编码结果的优先级和所述原始编码结果的优先级,在所述目标编码结果和所述原始编码结果中确定待存储编码结果。
20、在可选的实施方式中,所述目标时序槽位置信息包括目标数组索引和目标位偏移,所述根据所述目标时序槽位置信息,将所述待存储编码结果写入至所述目标时序槽位置,包括:
21、根据所述目标数组索引确定所述目标时序槽数组中的目标时序槽位置;
22、根据所述目标位偏移对应的清零掩码,对所述目标时序槽位置进行清零;
23、根据所述目标位偏移,在清零后的所述目标时序槽位置写入所述待存储编码结果。
24、在可选的实施方式中,所述响应于针对第一时间窗口的数据存储请求,构建与所述第一时间窗口相关联的目标时序槽数组之后,所述方法还包括:
25、响应于获取到第二车辆数据,若所述第二车辆数据的第二采样时间戳位于所述第一时间窗口之前,则将所述第二车辆数据丢弃,或者,将所述第二车辆数据缓存至除所述目标时序槽数组之外的存储空间;
26、响应于获取到第三车辆数据,若所述第三车辆数据的第三采样时间戳位于所述第一时间窗口之后,则滑动所述第一时间窗口,得到第二时间窗口,并将所述第二时间窗口与所述目标时序槽数组关联,其中,所述第二时间窗口为包括所述第三采样时间戳的时间窗口,且所述目标时序槽数组用于重新针对所述第二时间窗口内采样到的所述第三车辆数据执行存储操作。
27、在可选的实施方式中,所述对所述第一车辆数据进行编码,得到目标编码结果,包括:
28、根据所述第一车辆数据,确定相对应的所述第一采样时间戳的目标数据状态;
29、根据所述目标数据状态,对所述第一车辆数据进行比特编码,得到与所述第一采样时间戳相对应的目标比特编码值,其中,所述目标编码结果包括所述目标比特编码值,且所述目标比特编码值用于指示所述目标数据状态。
30、在可选的实施方式中,所述目标数据状态包括数据缺失、状态异常、状态正常和数据可疑中的任一项。
31、第二方面,本技术提供一种车辆数据的处理装置,所述装置包括:
32、数组构建模块,用于响应于针对第一时间窗口的数据存储请求,构建与所述第一时间窗口相关联的目标时序槽数组,其中,所述第一时间窗口为具有数据分析需求的预设时间窗口,所述数据存储请求用于请求存储在所述第一时间窗口进行数据分析的车辆数据;
33、存储操作模块,用于根据所述目标时序槽数组,对所述第一时间窗口内采集到的第一车辆数据执行存储操作,其中,所述存储操作包括:
34、对所述第一车辆数据进行编码,得到目标编码结果,所述目标编码结果用于与所述第一车辆数据相关的数据分析,所述第一车辆数据为所述第一时间窗口内采集到的任一车辆数据;
35、根据所述第一车辆数据的第一采样时间戳,确定与所述目标编码结果相对应的目标时序槽位置信息,所述目标时序槽位置信息用于指示所述目标时序槽数组中的目标时序槽位置;
36、根据所述目标时序槽位置信息,在所述目标时序槽位置对所述目标编码结果执行存储操作。
37、第三方面,本技术提供一种车辆数据的处理设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序实现如本技术第一方面所述的车辆数据的处理方法。
38、第四方面,本技术提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如本技术第一方面所述的车辆数据的处理方法。
39、第五方面,本技术提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如本技术第一方面所述的车辆数据的处理方法。
40、本技术提供的车辆数据的处理方法、装置、设备、存储介质及程序产品,响应于针对第一时间窗口的数据存储请求,构建与第一时间窗口相关联的目标时序槽数组;根据目标时序槽数组,对第一时间窗口内采集到的第一车辆数据执行存储操作,其中,存储操作包括:对第一车辆数据进行编码,得到目标编码结果;根据第一车辆数据的第一采样时间戳,确定与目标编码结果相对应的时序槽位置信息;根据目标时序槽位置信息,在目标时序槽位置对目标编码结果执行存储操作。基于时序槽数组结构进行数据存储,数据内存占用仅取决于时间窗口大小和时间采样粒度,与数据流速和乱序率无关,支持精确的资源规划和容量管理,适合大规模车联网部署。同时将采样时间戳直接映射转换为存储位置,乱序数据直接覆盖或合并,无需进行搜索比较与排序,有效提高了存储效率和数据分析效率,满足车联网实时监控的延迟要求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com