一种数据存储方法、系统、电子设备及存储介质与流程

1.本发明属于数据处理领域，尤其涉及一种数据存储方法、系统、电子设备及存储介质。


背景技术：

2.一般车辆在行驶过程中，自动驾驶系统需要实时采集车辆的行驶数据进行存储、分析以及备份等。数据存储过程中，由于需要传输、存储的数据量较大，常规的硬盘存储难以满足传输速度要求，致使存储效率较低。


技术实现要素：

3.有鉴于此，本发明实施例提供了一种数据存储方法、系统、电子设备及存储介质，用于解决现有硬盘存储效率低的问题。
4.在本发明实施例的第一方面，提供了一种数据存储方法，包括：
5.基于车端预上传的本地数据生成第一json文件，并将第一json文件上传至snowball设备；
6.将snowball设备中数据发送至数据中心后，数据中心将snowball设备中数据传输至存储桶中；
7.通过调用预定python工具包获取存储桶中数据，并生成存储桶数据对应的第二json文件；
8.比对第一json文件和第二json文件，判断文件数据是否一致，并基于比对结果生成第三json文件，在第三json文件中标注数据比对是否正常，对比对异常数据进行重传。
9.在本发明实施例的第二方面，提供了一种数据存储系统，包括：
10.上传模块，用于基于车端预上传的本地数据生成第一json文件，并将第一json文件上传至snowball设备；
11.数据传输模块，用于将snowball设备中数据发送至数据中心后，数据中心将snowball设备中数据传输至存储桶中；
12.生成模块，用于通过调用预定python工具包获取存储桶中数据，并生成存储桶数据对应的第二json文件；
13.比对重传模块，用于比对第一json文件和第二json文件，判断文件数据是否一致，并基于比对结果生成第三json文件，在第三json文件中标注数据比对是否正常，对比对异常数据进行重传。
14.在本发明实施例的第三方面，提供了一种装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
15.在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面
提供的所述方法的步骤。
16.本发明实施例中，通过将本地车辆数据上传至云端存储，可以提高数据传输、存储速度，满足tb级数据存储需求，同时，对上传数据进行json文件比对，可以保障数据一致性，保障数据存储准确高效。
附图说明
17.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
18.图1为本发明实施例提供的一种数据存储方法的流程示意图；
19.图2为本发明实施例提供的一种数据存储方法的另一流程示意图；
20.图3为本发明的实施例提供的一种数据存储系统的结构示意图；
21.图4为本发明的实施例提供的电子设备的结构示意图。
具体实施方式
22.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
23.应当理解，本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。此外，“第一”“第二”用于区分不同对象，并非用于描述特定顺序。
24.请参阅图1，本发明实施例提供的一种数据存储方法的流程示意图，包括：
25.s101、基于车端预上传的本地数据生成第一json文件，并将第一json文件上传至snowball设备；
26.将车辆采集的行驶数据上传至云端前，需要根据采集的本地数据生成一个json文件。所述json文件是一种轻量级的数据交换格式，可以采用文本格式来表示或存储数据，将本地数据采用json格式传输可以提高数据传输效率。
27.所述snowball设备是亚马逊云服务提供的数据存储中间设备，可以将本地海量数据转存至snowball中，由snowball传输至至云服务中心。
28.其中，所述第一json文件中至少包含每条本地数据的文件名和大小。
29.s102、将snowball设备中数据发送至数据中心后，数据中心将snowball设备中数据传输至存储桶中；
30.将snowball设备送往亚马逊网络服务(aws)中心，数据中心将snowball中数据传输至aws云端存储桶中。所述存储桶(bucket)为对象的载体，用于存放对象数据，用户可以根据亚马逊云服务提供的api创建存储桶并上传对象数据。
31.可选的，如图2所示，执行调用awsscll的snowball命令，通过云服务接口获取数据存储状态。运行awscll的snowball接口程序，实时获取snowball任务的进度状态，若为已完成状态，则表示snowball作业完成，即snowball设备上数据传输任务已完成。
32.其中，awscll(amazon web servicecommand line interface)是管理aws(amazon web service)服务的命令行工具，使用相应的服务命令来操作访问aws服务。
33.s103、通过调用预定python工具包获取存储桶中数据，并生成存储桶数据对应的第二json文件；
34.其中，调用python中的boto3工具包，读取云端存储桶数据。对于aws云端存储桶中存放的数据，通过bato3软件开发工具包，来获取对应的云端数据。
35.对于存放至云端存储桶中的车端数据，通过工具包的读取命令，来获取对应的存放数据生成json文件，便于进行数据一致性比对。
36.s104、比对第一json文件和第二json文件，判断文件数据是否一致，并基于比对结果生成第三json文件，在第三json文件中标注数据比对是否正常，对比对异常数据进行重传。
37.所述第一json文件为根据本地数据生成的json文件，所述第二json文件为根据云端存储数据生成的json文件，比对第一json文件和第二json文件，判断第一json文件的所有数据是否在第二json文件存在且文件大小一致。基于比对结果，可以生成相应的json文件。
38.其中，为第三json文件中比对异常数据添加第一标识，并为比对正常数据标注为第二标识；获取第三json文件，当检测到异常数据对应的第一标识，则对异常数据进行手动重传。
39.本实施例中，将实车路试中采集的数据在云端进行上传存储及处理，提升了数据传输和处理速度，减少了硬盘使用和维护成本，方便对大批量的tb级的数据进行高效的处理。
40.应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
41.图3为本发明实施例提供的一种数据存储系统的结构示意图，该系统包括：
42.上传模块310，用于基于车端预上传的本地数据生成第一json文件，并将第一json文件上传至snowball设备；
43.其中，所述第一json文件中至少包含每条本地数据的文件名和大小。
44.数据传输模块320，用于将snowball设备中数据发送至数据中心后，数据中心将snowball设备中数据传输至存储桶中；
45.可选的，执行调用awsscll的snowball命令，通过云服务接口获取数据存储状态。
46.生成模块330，用于通过调用预定python工具包获取存储桶中数据，并生成存储桶数据对应的第二json文件；
47.其中，通过调用python中的boto3工具包，获取云端存储桶中数据。
48.比对重传模块340，用于比对第一json文件和第二json文件，判断文件数据是否一致，并基于比对结果生成第三json文件，在第三json文件中标注数据比对是否正常，对比对异常数据进行重传。
49.具体的，为第三json文件中比对异常数据添加第一标识，并为比对正常数据标注为第二标识；获取第三json文件，当检测到异常数据对应的第一标识，则对异常数据进行手动重传。
50.所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程可以参考前述方法实施例中对应的过程，在此不再赘述。
51.图4是本发明一实施例提供的一种电子设备的结构示意图。所述电子设备用于数据存储。如图4所示，该实施例的电子设备4包括：存储器410、处理器420以及系统总线430，所述存储器410包括存储其上的可运行的程序4101，本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
52.下面结合图4对电子设备的各个构成部件进行具体的介绍：
53.存储器410可用于存储软件程序以及模块，处理器420通过运行存储在存储器410的软件程序以及模块，从而执行电子设备的各种功能应用以及数据处理。存储器410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如缓存数据)等。此外，存储器410可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
54.在存储器410上包含网络请求方法的可运行程序4101，所述可运行程序4101可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器410中，并由处理器420执行，以实现行车数据一致性校验等，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序4101在所述电子设备4中的执行过程。例如，所述计算机程序4101可以被分割为上传模块、数据传输模块、生成模块和比对重传模块。
55.处理器420是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器410内的软件程序和/或模块，以及调用存储在存储器410内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体状态监控。可选的，处理器420可包括一个或多个处理单元；优选的，处理器420可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器420中。
56.系统总线430是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如pci总线、isa总线、vesa总线等。处理器420的指令通过总线传递至存储器410，存储器410反馈数据给处理器420，系统总线430负责处理器420与存储器410之间的数据、指令交互。当然系统总线430还可以接入其他设备，例如网络接口、显示设备等。
57.在本发明实施例中，该电子设备所包括的处理420执行的可运行程序包括：
58.基于车端预上传的本地数据生成第一json文件，并将第一json文件上传至snowball设备；
59.将snowball设备中数据发送至数据中心后，数据中心将snowball设备中数据传输
至存储桶中；
60.通过调用预定python工具包获取存储桶中数据，并生成存储桶数据对应的第二json文件；
61.比对第一json文件和第二json文件，判断文件数据是否一致，并基于比对结果生成第三json文件，在第三json文件中标注数据比对是否正常，对比对异常数据进行重传。
62.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
63.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
64.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。