一种用于车辆数据采集设备的数据处理方法和装置与流程

摘要: 本发明涉及数据处理领域,特别是涉及一种用于车辆数据采集设备的数据处理方法和装置。背景技术:1、在汽车产品的全生命周期中,研发测试、生产测试和维修测试是三个必不可...
一种用于车辆数据采集设备的数据处理方法和装置与流程

本发明涉及数据处理领域,特别是涉及一种用于车辆数据采集设备的数据处理方法和装置。

背景技术:

1、在汽车产品的全生命周期中,研发测试、生产测试和维修测试是三个必不可少的关键环节,每个环节均涉及对车辆进行大量的检测项目或长时间的持续检测,故对车辆检测数据的采集是一个必经且核心的环节。目前存在一种车辆数据采集设备,该类设备通常设置有can总线通信接口、以太网接口或wi-fi等无线通信模块,能够通过有线或无线通信方式与车辆的控制器局域网络(can网络)或车载以太网建立连接,从而获取车辆的检测数据。

2、现有的一种数据采集设备的典型工作方式为:设备在测试过程中持续采集单辆车辆的所有检测数据,待测试完成后将全部采集数据上传至服务器或上位机。即,设备采用策略为全量采集、全量上传,而对于采集数据的分析过程啧由服务器或上位机完成,数据采集设备只负责采集数据和上传数据。

3、但是由于测试过程持续时间长、测试项目多,故车辆产生的数据很多,数据采集设备向服务器或上位机传输数据需要大量的时间,在服务器或上位机上传数据是需要长时间占用一个传输通道,所以如何减少单辆车辆需要上传的数据是一个急需解决的问题。

技术实现思路

1、基于此,有必要针对上述的问题,提供一种用于车辆数据采集设备的数据处理方法和装置。

2、本发明实施例是这样实现的,一种用于车辆数据采集设备的数据处理方法,所述用于车辆数据采集设备的数据处理方法包括:

3、s101,按照数据时间戳的先后顺序持续采集车辆的原始检测数据;

4、s102,根据测试项目对原始检测数据进行划分,得到若干个分区的原始检测数据,将每个分区的原始检测数据单独记为一组零级数据;

5、s103,每隔一个预设时间,对于该预设时间内采集到的每组零级数据,识别该零级数据中的重复数据,根据该零级数据中的重复数据生成其引用标识数据进行替换以对该零级数据进行压缩从而得到该零级数据的编译数据;

6、s104,根据最新的编译数据的数据量的压缩比例确定最大压缩级数;

7、s105,判断压缩的次数是否小于最大压缩级数,若是,则最新的编译数据记为i级数据,识别该i级数据中的重复数据,根据该i级数据中的重复数据生成其引用标识数据进行替换以对该i级数据进行压缩从而得到该i级数据的编译数据;其中,i从1开始计数,i为压缩的次数;

8、s106,若压缩的次数大于等于最大压缩级数,则上传最新的编译数据至服务器;

9、s107,重复s104-s106,直到压缩的次数大于等于最大压缩级数。

10、在其中一个实施例中,本发明提供了一种用于车辆数据采集设备的数据处理装置,所述用于车辆数据采集设备的数据处理装置包括:

11、数据采集模块,用于按照数据时间戳的先后顺序持续采集车辆的原始检测数据;

12、数据划分模块,用于根据测试项目对原始检测数据进行划分,得到若干个分区的原始检测数据,将每个分区的原始检测数据单独记为一组零级数据;

13、第一压缩模块,用于每隔一个预设时间,对于该预设时间内采集到的每组零级数据,识别该零级数据中的重复数据,根据该零级数据中的重复数据生成其引用标识数据进行替换以对该零级数据进行压缩从而得到该零级数据的编译数据;

14、级数确定模块,用于根据最新的编译数据的数据量的压缩比例确定最大压缩级数;

15、第二压缩模块,用于判断压缩的次数是否小于最大压缩级数,若是,则最新的编译数据记为i级数据,识别该i级数据中的重复数据,根据该i级数据中的重复数据生成其引用标识数据进行替换以对该i级数据进行压缩从而得到该i级数据的编译数据;其中,i从1开始计数,i为压缩的次数;

16、数据上传模块,用于若压缩的次数大于等于最大压缩级数,则上传最新的编译数据至服务器。

17、本发明实施例提供的一种用于车辆数据采集设备的数据处理方法通过按照数据时间戳的先后顺序持续采集车辆的原始检测数据;根据测试项目对原始检测数据进行划分,得到若干个分区的原始检测数据,将每个分区的原始检测数据单独记为一组零级数据;每隔一个预设时间,对于该预设时间内采集到的每组零级数据,识别该零级数据中的重复数据,根据该零级数据中的重复数据生成其引用标识数据进行替换以对该零级数据进行压缩从而得到该零级数据的编译数据;根据最新的编译数据的数据量的压缩比例确定最大压缩级数;判断压缩的次数是否小于最大压缩级数,若是,则最新的编译数据记为i级数据,识别该i级数据中的重复数据,根据该i级数据中的重复数据生成其引用标识数据进行替换以对该i级数据进行压缩从而得到该i级数据的编译数据,若否,则上传最新的编译数据至服务器;重复确定最大压缩级数以及后续步骤直到压缩的次数大于等于最大压缩级数。这样做,车辆数据采集设备在持续采集数据的过程中,每隔一个预设时间,对采集到的数据进行多次的压缩直到压缩的次数大于等于最大压缩级数,并且每进行一次压缩后根据最新的编译数据的数据量的压缩比例调整最大压缩级数,原始检测数据经过压缩后数据变小,且在压缩的次数未超过最大压缩级数前,不断压缩数据以使得数据进一步变小,解决了减少单辆车辆需要上传的数据的问题。

1.一种用于车辆数据采集设备的数据处理方法,其特征在于,所述用于车辆数据采集设备的数据处理方法包括:

2.根据权利要求1所述的用于车辆数据采集设备的数据处理方法,其特征在于,所述根据测试项目对原始检测数据进行划分,得到若干个分区的原始检测数据,包括:

3.根据权利要求1所述的用于车辆数据采集设备的数据处理方法,其特征在于,所述识别该零级数据中的重复数据,包括:

4.根据权利要求3所述的用于车辆数据采集设备的数据处理方法,其特征在于,所述将所有的主数据集进行比对,确定出该零级数据的相同数据集,包括:

5.根据权利要求1所述的用于车辆数据采集设备的数据处理方法,其特征在于,所述根据该零级数据中的重复数据生成其引用标识数据进行替换以对该零级数据进行压缩从而得到该零级数据的编译数据,包括:

6.根据权利要求1所述的用于车辆数据采集设备的数据处理方法,其特征在于,所述根据最新的编译数据的数据量的压缩比例确定最大压缩级数,包括:

7.根据权利要求6所述的用于车辆数据采集设备的数据处理方法,其特征在于,所述根据压缩比例和最新的编译数据中的引用标识数据连续排列的数量确定出最大压缩级数,包括:

8.根据权利要求1所述的用于车辆数据采集设备的数据处理方法,其特征在于,所述识别该i级数据中的重复数据,包括:

9.根据权利要求1所述的用于车辆数据采集设备的数据处理方法,其特征在于,所述上传最新的编译数据至服务器,之前还包括:

10.一种用于车辆数据采集设备的数据处理装置,其特征在于,所述用于车辆数据采集设备的数据处理装置包括: