信息处理方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机技术领域。本公开尤其涉及大数据、云计算、自动驾驶等领域。


背景技术：

2.大数据时代的发展，数据采集速度、数据采集质量的优劣决定着各个数据应用场景处理效率的好坏。以自动驾驶为例，所需场景数据的数据采集，目前大多通过专业的采集车外出实采，完成指定采集任务后再实时导出。或者委托第三方进行外包采集以及直接面向大众用户进行众包采集。
3.然而，上述各种数据采集的方式，传输形式多由人工操作执行，且多数传输过程都为触发数据采集后“随采随传”的全量传输，处于低效状态的数据采集模式，导致传输效率也低效，导致涉及自动驾驶的相关任务不能快速迭代更新。


技术实现要素：

4.本公开提供了一种信息处理方法、装置、电子设备及存储介质。
5.根据本公开的一方面，提供了一种信息处理方法，包括：
6.接收云端下发的数据采集任务及采集策略；
7.解析所述采集策略，得到针对所述数据采集任务中采集数据的优先级信息；
8.将所述优先级信息作为所述采集数据对应的重要程度标识，根据所述重要程度标识执行数据采集及数据筛选后的择优传输。
9.根据本公开的另一方面，提供了一种信息处理装置，包括：
10.接收模块，用于接收云端下发的数据采集任务及采集策略；
11.解析模块，用于解析所述采集策略，得到针对所述数据采集任务中采集数据的优先级信息；
12.择优传输模块，用于将所述优先级信息作为所述采集数据对应的重要程度标识，根据所述重要程度标识执行数据采集及数据筛选后的择优传输。
13.根据本公开的另一方面，提供了一种电子设备，包括：
14.至少一个处理器；以及
15.与该至少一个处理器通信连接的存储器；其中，
16.该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任意一实施例所提供的方法。
17.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行本公开任意一项实施例所提供的方法。
18.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本公开任意一项实施例所提供的方法。
19.采用本公开，可以接收云端下发的数据采集任务及采集策略，解析所述采集策略，得到针对所述数据采集任务中采集数据的优先级信息，将所述优先级信息作为所述采集数
据对应的重要程度标识，根据所述重要程度标识执行数据采集及数据筛选后的择优传输，从而可以自动、择优的挑选出高价值数据并上传，降低了人工成本。
20.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
21.附图用于更好地理解本方案，不构成对本公开的限定。其中：
22.图1是根据本公开实施例的信息处理方法的流程示意图；
23.图2是根据本公开实施例的数据权重配置的示意图；
24.图3是根据本公开实施例的基于优先级信息的缓存、回传及限流配置的示意图；
25.图4是根据本公开实施例的存储覆盖配置的示意图；
26.图5是根据本公开实施例的信息处理装置的组成结构示意图；
27.图6是用来实现本公开实施例的信息处理方法的电子设备的框图。
具体实施方式
28.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
29.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。
30.另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
31.数据采集的过程中，以自动驾驶为例，基于研发需求，需要在车端进行数据采集，以得到自动驾驶所需场景数据，这是自动驾驶技术发展迭代的必要操作。然而，全传感器开启后记录的连续帧数据量庞大，不仅要求车端具有大空间存储设备用以数据落盘，还要求在拷贝、传输过程中的稳定性和安全性。同时，冗杂的采集数据也为人工数据检索、清洗和使用带来了巨大的工作量和时间成本。因而，数据的采集的作用是：把有限的空间和人力用于高价值数据的处理(即：数据采集追求精准及数据匹配)，而非针对相似及重复数据的泛泛收集。尤其是，针对面向消费者出售的量产车辆上，通过影子模式、数据闭环等车端数据自采集系统收集到的数据，不同于车端落盘盒子可由工程师人工带回传输，而必须通过网络链路直接上传到企业数据云端。数以万计的量产车辆在运行过程中积累了大量驾驶场景数据，需要在各自用户车端即完成筛选、过滤并择优回传，以提升大众群体非专业化渠道的
采集效率，同时减少传输过程中的流量消耗。
32.为了避免占用车端的性能，降低成本，保障在网络链路可用限流等情况下尽可能传输上述高价值数据，可以采用如下各种采集方式。
33.目前上述自动驾驶所需场景数据，大多通过专业采集车外出实采，采集车上通常配备有较大容量的数据存储设备，在车辆完成指定采集任务后，由研发人员在车端通过笔记本电脑进行人工实时导出数据，或将车辆开回研发场所再导出使用。当遇到长途或大量采集任务，数据不便于及时导出时，还可以在车端搭载一个或多个外接的以超大容量移动硬盘(如移动硬盘为主的数据落盘盒子)，供车辆外出进行长时间的连续数据采集。完成全部任务后将所有硬盘随车带回，或在过程中将移动硬盘邮寄发回以及时供紧急研发需求使用。可见：无论是人工实时导出数据，还是将车辆开回导出，都必然在传输过程中耗费大量时间，造成数据采集的中断，且无法满足各类实时采集任务。而将车端搭载了外接移动硬盘，也只是将数据采集过程在存储量上做了灵活性优化，但并未从根本上解决数据需要拷贝和人工导出的低效问题，处于低效状态的数据采集模式，导致传输效率也低效。
34.除了专业采集车外出实采的数据采集方式，还可以采用外包采集或众包采集的采集方式。其中，针对外包采集而言，部分研发机构可以与第三方公司联合进行外包采集，部分由研发机构提供的数据采集设备具备联网和数据上传能力，数据收集后可以直接在设备中完成向云端的传输。针对众包采集而言，可以直接面向大众用户进行直接众包采集，在众包采集的模式下，可以由数据采集的众包人员，使用后装的摄像头、传感器、或私人收集等设备进行数据收集，后将本地采集数据按照既定的众包要求渠道主动上传。
35.综上所述，然而，无论是专业采集车外出实采的数据采集方式，还是采用外包采集或众包采集的采集方式，这些数据传输形式多由人工操作执行，且多数传输过程都为全量拷贝，不对采集内容进行筛选，最终完成落盘的数据依赖于研发人员投入专门的人力去做清洗、过滤，挑选其中符合研发需要的高价值数据使用，从而占用了大量人工成本。即便在外包采集中使用具备网络传输能力的车辆进行数据上传，以及众包采集中基于众包性质的数据上传，虽能省去用人力来拷贝的流程，但对所传输数据的内容质量未进行把控，海量的实采数据传输到云端后，使用人员需耗费大量精力用于可用数据的检索和筛选。尤其到技术进入长尾工况的迭代阶段，高价值数据逐渐减少，真正能够应用到算法优化的数据挑选如同大海捞针。有价值的数据在车端是既定存在，且能够被应用于技术研发，但被流程上的不足所限制，导致原本可以快速迭代的算法能力和项目进度被拖延。长期处于低效状态的数据采集手段是各家自动驾驶技术研发机构面临的阻碍。
36.本公开，针对自动驾驶场景为例，可以应用于具备上述场景数据自采集能力的自动驾驶车辆上，将云端配置的优先级信息作为采集数据对应的重要程度标识，根据该重要程度标识执行数据采集及数据筛选后的择优传输，实现了对车端本地已采集数据在数据筛选后的择优传输(如择优覆盖存储及传输等)，能够在主机厂的流量限定范围内，自动挑选对研发人员价值最高的数据项，充分过滤以实现对其中价值最高内容的回传。由于可以自动、择优的挑选出高价值数据并上传，解决了上述处于低效状态的数据采集模式以及导致传输效率也低效的问题，不仅降低了人工成本，而且提高了采集效率，尤其是数据筛选后针对高价值数据的择优传输，而非全量传输，还可以减少数据集传输过程中的流量消耗。
37.根据本公开的实施例，提供了一种信息处理方法，图1是根据本公开实施例的信息
处理方法的流程示意图，该方法可以应用于信息处理装置，例如，该装置可以部署于终端(车端：如具备数据自采集能力的自动驾驶车辆)或服务器或其它处理设备执行的情况下，可以执行数据解析、数据采集、数据筛选及择优传输等等。其中，终端可以为用户设备(ue，user equipment)、移动设备、蜂窝电话、无绳电话、个人数字处理(pda，personal digital assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，包括：
38.s101、接收云端下发的数据采集任务及采集策略。
39.s102、解析所述采集策略，得到针对所述数据采集任务中采集数据的优先级信息。
40.s103、将所述优先级信息作为所述采集数据对应的重要程度标识，根据所述重要程度标识执行数据采集及数据筛选后的择优传输。
41.基于上述s101-s103的一示例中，基于车辆(如支持自动驾驶的车辆)自身具备的场景数据自采集能力，通过该车辆来进行数据采集，对车端本地已采集数据进行数据筛选后进行择优传输。其中，该数据筛选是一套自动化数据价值评判的操作逻辑，无需人工介入，从而降低了人工成本。具体的，可以包括：1)在云端提前配置好采集策略，并以任务指令形式下发给车端，车辆接收云端下发的数据采集任务及该采集策略；2)车辆解析该采集策略，得到针对该数据采集任务的优先级信息，比如可以根据每条数据采集策略的权重设置、每日采集次数、多次之间的间隔时长、及每日不同采集次数的权重等得到该优先级信息；3)车辆将该优先级信息(如高优、中高优、中优、低优等)作为该数据采集任务中的采集数据所对应的重要程度标识，根据该重要程度标识执行数据采集及数据筛选后的择优传输，比如，可以根据该采集数据的重要程度，制定传输与缓存形式，并进一步基于约束条件确定数据覆盖策略，最终，对满足传输条件的数据内容执行择优传输并传输给云端。
42.采用本公开，车辆接收云端下发的数据采集任务及采集策略，解析该采集策略，得到针对数据采集任务中采集数据的优先级信息后，可以将该优先级信息作为该采集数据对应的重要程度标识，以便根据该重要程度标识执行数据采集及数据筛选后的择优传输，对车辆本地已收集数据进行数据筛选后再择优传输，可以自动挑选高价值的数据，从而降低了人工成本；通过充分筛选后得到该高价值数据再传输，而非全量传输，提高了采集效率，还可以减少数据集传输过程中的流量消耗。
43.一实施方式中，所述优先级信息，可以根据为所述采集数据所配置的数据权重得到。所述方法还包括：对具有不同数据权重的所述采集数据分别赋值，得到描述不同重要程度的所述优先级信息。采用本实施方式，通过数据权重配置及优先级设定，触发数据采集后，针对不同的采集数据，可以根据之前云端所预先配置的数据权重，得到不同的优先级信息，由于优先级信息是描述采集数据重要程度的，因此，可以为后续数据筛选后的择优传输，提供先决条件。
44.一实施方式中，所述将所述优先级信息作为所述采集数据对应的重要程度标识，根据所述重要程度标识执行数据采集及数据筛选后的择优传输，包括：所述优先级信息为第一优先级(如高优)的情况下，触发数据采集操作，将所述采集数据实时传输给云端；所述优先级信息为非第一优先级(如非高优，即：中高优、中优、低优等)的情况下，触发数据采集操作，将所述采集数据经缓存配置、存储覆盖配置及缓存数据上传配置中至少一项的数据
筛选后再传输给云端。采用本实施方式，根据不同的优先级信息进行数据筛选，针对第一优先级的情况，采集数据由于重要程度为最高，因此，车辆需要将采集数据直接实时传输给云端；针对非第一优先级的情况，采集数据由于重要程度为中高、中、低等情况，因此，车辆无需将采集数据实时传输给云端，而是需要根据缓存配置、存储覆盖配置及缓存数据中至少一项进行数据筛选决策后再传输给云端。通过基于不同优先级信息的数据筛选，可以既保证重要数据传输的时效性，也可以保证其他非重要数据依据不同重要程度、及与上述各配置的匹配需求来择优传输，提高了采集效率。
45.需要指出的是，针对该其他非重要数据，可以根据缓存配置、存储覆盖配置及缓存数据中至少一项进行数据筛选决策后再传输给云端的各种情况，在后续描述中，为了简化描述，将第一数据作为触发数据采集操作后采集的数据，第二数据作为新采集的数据。
46.一、第一种情况，所述优先级信息为非第一优先级的情况下，触发数据采集操作，经缓存配置、存储覆盖配置及缓存数据上传配置中至少一项的数据筛选后再传输给云端，包括：所述优先级信息为第二优先级的情况下，触发数据采集操作，将第一数据进行本地缓存并写入本地数据存储区，在网络条件允许后再传输给云端。其中，所述第一数据，在传输之前一直存储于所述本地数据存储区且不能被第二数据所覆盖。
47.二、第二种情况，所述优先级信息为非第一优先级的情况下，触发数据采集操作，经缓存配置、存储覆盖配置及缓存数据上传配置中至少一项的数据筛选后再传输给云端，包括：所述优先级信息为第三优先级的情况下，触发数据采集操作，将第一数据进行本地缓存并写入本地数据存储区，在网络条件允许后再传输给云端。其中，所述第一数据，在写入所述本地数据存储区到传输之前的时间段能被第二数据所覆盖，且所述第二数据的数据权重大于为所述第一数据配置的数据权重。
48.三、第三种情况，所述优先级信息为非第一优先级的情况下，触发数据采集操作，经缓存配置、存储覆盖配置及缓存数据上传配置中至少一项的数据筛选后再传输给云端，包括：所述优先级信息为第四优先级的情况下，触发数据采集操作，将第一数据进行本地缓存并写入本地数据存储区，直至第二数据传输结束再传输给云端。其中，所述第二数据的数据权重大于为所述第一数据配置的数据权重。
49.采用上述各种实施方式，针对该其他非重要数据，可以进一步实现数据筛选，从而根据不同重要程度及与所配置的各种匹配需求(缓存配置、存储覆盖配置及缓存数据中至少一项的匹配后再决策数据筛选操作)来择优传输，提高了采集效率。
50.一实施方式中，所述本地数据存储区中的采集数据存在不同数据权重的情况下，还包括：触发将新采集数据写入本地数据存储区的操作。响应该写入本地数据存储区的操作，可以根据数据权重及时间来优选覆盖已有采集数据，包括如下内容：
51.一、本地数据存储区中多个已有采集数据的数据权重均小于所述新采集数据的数据权重的情况下，则优先覆盖所述多个已有采集数据中数据权重最低的数据，或者，优先覆盖在时间差值上距离当前时间最远的数据。比如，一种情况是：多个已有采集数据权重值不同，则优先覆盖所述权重值最低的数据；另一种情况是：多个已有采集数据权重值相同，则优先覆盖在时间差值上距离当前时间最远的数据。
52.二、本地数据存储区中多个已有采集数据的数据权重大于等于所述新采集数据的数据权重的情况下，则优先覆盖所述多个已有采集数据中在时间差值上距离当前时间最远
的数据。
53.三、本地数据存储区中多个已有采集数据的数据权重均大于所述新采集数据的数据权重的情况下，丢弃所述新采集数据。即：触发将新采集数据写入本地数据存储区的操作后，该新采集数据不写入本地数据存储区，而是直接丢弃。
54.采用本实施方式，来了新采集数据，需要写入本地数据存储区的情况下，需要将该新采集数据的数据权重，与本地数据存储区已采集数据的数据权重进行比较，按照上述三种方式进行比较来实现优选覆盖，以便将数据权重更高，时间更接近当前时间的择优传输，从而保证了更重要数据、更高时效的传输需求。
55.应用示例：
56.应用本公开实施例一处理流程包括如下内容：
57.将本公开的择优传输的数据采集方式，应用于自动驾驶车辆，可以实现车辆自采集的数据择优传输。对车辆自采集数据择优传输的机制包括：根据所采集数据的重要程度来制定传输与缓存形式，并进一步基于约束条件(如网络限流、缓存容量等)确定采集数据的优先覆盖策略，最后对满足传输条件的高价值数据内容执行上传操作，具体包括如下内容：
58.一、数据权重配置
59.车辆执行数据采集的策略通常在云端提前配置并以任务指令形式下发给车端。在此环节增加对每条数据采集策略的权重设置，以作为车辆运行过程中的场景数据根据对应策略自采集后的数据包权重。
60.其中，对每条策略可进一步设定每日采集次数和多次之间的间隔时长，每日不同采集次数的权重依据数据应用需求而区别性设置，以保证有限采集能力下对高价值数据的优先传输落盘。
61.图2为根据本公开实施例的数据权重配置的示意图，如图2所示，数据权重的取值范围可以为[1，100]区间范围内的整数，其中，手动设置权重范围为[1，n]，(n《100)，该颗粒度能够满足一辆车端多数数据采集任务的优先级区分需求。(n，100]间的权重值为默认最高优数据采集任务预留，即根据研发高优需求配置的常规采集任务，其重要度默认高于其他手动配置任务。n的数值大小可依据高优需求的多少灵活调整，并提前将(n，100]范围内的各项权重对应任务进行系统配置。图2的一示例中，n＝98，即99、100两个权重值为两类高优采集策略预留并配置，98及以下的权重可供手动配置。
[0062]
二、数据优先级规则
[0063]
对具有不同数据权重的采集数据，可以赋予描述不同重要程度的不同优先级信息，进而根据优先级信息配置后续的缓存、回传、流量限制等规则。
[0064]
其中，数据权重为100的数据对应优先级信息为：高优，该类数据通常来自主业务需求或研发核心需求，重要程度为“最高”，车端采集到高优数据后，默认以最高优先级实时回传至云端，不在车端进行缓存，并且不受来自主机厂给量产车辆进行数据传输的流量约束，触发采集后即传输，以由此保证此类高价值数据能够最大程度完成云端落盘收集。
[0065]
数据权重范围在(n，100]的数据对应优先级为：中高优。该类数据重要程度较高，为研发所用的价值明显，但并非必传不可的数据。车端采集后优先实时上传至云端，但在网络条件不佳时可在车端进行缓存，待网络条件允许后即刻上传。写入缓存后不可被后续新
采集的数据覆盖，需一直保留至上传。此部分数据非业务必需项，受量产车辆数据传输流量限制，当车端上传数据达到限定值时，不予以上传，已缓存数据擦除，并在限制范围内停止触发数据采集。
[0066]
数据权重范围在[60，n]的数据对应优先级为：中优。该类数据重要度一般但价值较高，主要为算法研发希望通过量产车端收集扩充的数据内容。车端采集后同样优先实时上传至云端，但在网络条件不佳时可在车端进行缓存，待网络条件允许后即刻上传。但写入缓存后到上传前可以被后续新采集到的更高权重的数据覆盖，车端在传输节点仅上传覆盖后的最新数据项。此部分数据同样受流量限制，仅在流量约束范围内予以上传。
[0067]
数据权重范围在[1，60)的数据对应优先级为：低优。该类数据重要度低，为非核心研发需求所需场景数据，在条件允许时兼顾采集。为不与其他重要任务抢占传输和流量资源，车端采集后默认在本地缓存，不占用实时传输空间。数据写入缓存后到上传前，在流量约束限额内等待其他高权重数据优先缓存覆盖并传输。若直至达到最终上传要求时点，仍无其他采集的高权重数据占用流量限额，则对此部分数据进行上传。
[0068]
图3为根据本公开实施例的基于优先级信息的缓存、回传及限流配置的示意图，如图3所示的一示例中，权重为100的高优数据为与自动驾驶业务密切相关的数据，仅在网络条件良好时产生，且作为功能必须数据必须满足实时传输要求，因此作为最高优先级数据予以实时传输，且不受流量限制。异常回传数据和多任务融合数据重要度高、数据研发价值高，因此，默认作为权重99的中高优数据。权重值98及以下的各类策略数据依照优先级规则进行相应的缓存、覆盖、传输操作。
[0069]
三、缓存配置(即缓存机制设计)
[0070]
除根据第一优先级实时上传的数据外，在车端缓存的数据用于车端对数据重要度的二次筛，进而在缓存数据中再次过滤择优进行上传。
[0071]
当一个策略任务完成一次数据触发采集，并对数据包整体进行压缩、加密后，在网络条件不允许等无法进行数据实时回传时，或优先级较低需事后按权重对比其他数据筛选的，写入嵌入式多媒体控制器(emmc)，将emmc作为用于数据缓存的本地数据存储区，并对emmc做掉电保护，以保留后续需要次日上电后上传的数据。
[0072]
数据的缓存依赖于内存空间，系统应实时监控内存空间状况，并采取相应策略：1)当内存损坏时，停止采集和存储；2)流量限制：以周为单位做严格限制，每日流量允许在日均限制基础上上浮50％；3)当采集的数据量超过规定流量，则按照优先级覆盖规则进行数据覆盖。
[0073]
四、存储覆盖配置(即存储覆盖原则)
[0074]
图4所示为根据本公开实施例的存储覆盖配置的示意图，如图4所示，对已在emmc中缓存的数据，对存储优先级按照既定覆盖原则进行数据覆盖操作。存储优先级设定分为两个维度：数据优先级 时间先后。其中，数据优先级以数据权重值为标准，可以在执行上述数据权重配置过程中予以配置，以及按照上述数据优先级规则进行数据权重与优先级的对应配置。时间先后以数据触发采集的绝对时间衡量。
[0075]
当emmc存储空间已满且存在不同权重值的数据时，按照以下优先覆盖原则进行已采集数据的覆盖：
[0076]
1)将最新产生数据(新采集数据)的数据权重值记为x，且emmc存在比x低权重值的
数据时，则优先覆盖权重值最低的数据，如权重值最低的数据同时存在多条，则覆盖时间最远的一条。
[0077]
2)将最新产生数据(新采集数据)的数据权重值记为x，且emmc内的数据权重值≥x，则优先覆盖时间最远的x权重值数据。
[0078]
3)将最新产生数据(新采集数据)的数据权重值记为x，且emmc内的数据权重值均＞x，则该条数据不写入存储区，丢弃该新采集数据。
[0079]
五、缓存数据上传
[0080]
在网络条件允许进行数据上传，且当月累计数据传输量在主机厂限定的流量范围内时触发数据回传。具体分为以下两类情况：
[0081]
1)若数据存储区有未回传的中高优及以上优先级数据，则触发数据上传。回传顺序为优先传输高优数据，同等优先级数据传输顺序从时间最近到最远依次上传。
[0082]
2)对于权重值为1-50的低优缓存数据，上传机制如下：
[0083]
①
缓存数据当日不回传，等待新缓存数据遵循覆盖原则覆盖。
[0084]
②
当实时回传数据已达到日流量50％上浮限制时，缓存数据擦除，不予回传。
[0085]
③
当日缓存数据在次日车辆首次上电后统一执行回传。
[0086]
a)若次日车辆首次上电后网络条件不佳或存在其他实时回传任务，上一天缓存数据等待网络条件允许或其他实时回传任务结束时回传，等待期间新产生的缓存数据不覆盖上一天数据，计入新一天缓存数据。
[0087]
b)若晚间24点车辆仍处于运行状态，则24点过后立即回传头一天缓存数据。若届时网络条件不佳或存在其他实时回传任务，上一天缓存数据等待网络条件允许或其他实时回传任务结束时回传，等待期间新产生的缓存数据不覆盖上一天数据。
[0088]
④
若因网络条件持续不佳等原因导致缓存数据持续无法上传：
[0089]
c)当缓存数据总数达到周流量上限或存储空间已满时，按时间最远到最近的顺序，优先覆盖时间较远的中、低优已缓存数据；
[0090]
d)当存储空间已满且全为中高优不可覆盖数据时，允许新采集的中高优数据按时间先后，从最远的数据开始覆盖。
[0091]
本应用示例采用上述五部分内容，基于权重配置、优先级规则制定、缓存机制设计、存储覆盖原则设定、缓存数据上传机制这一整套的自动化数据价值评判及操作流程，对量产车端采集数据依照重要程度进行筛选，实现了对车辆自采集数据在数据筛选后的择优覆盖存储及上传，在既定的资金和时间约束范围内实现了最大化效益的高价值数据的择优上传。不仅节省了人工操作投入、低价值数据的传输和清洗成本，还为研发人员直接呈现出时间维度及数据权重维度时间最接近当前时间、精度最高、效率最快、广度最大的这些高价值数据，从源头上强化了自动驾驶算法训练的输入，以加速模型迭代效率，将该自动化数据价值评判及操作流程应用于自动驾驶量产车型上，能够快速实现对繁杂采集数据的筛选过滤，提升数据采集的处理效率。
[0092]
根据本公开的实施例，提供了一种信息处理装置，图5是根据本公开实施例的信息处理装置的组成结构示意图，如图5所示，信息处理装置500包括：接收模块501，用于接收云端下发的数据采集任务及采集策略；解析模块502，用于解析所述采集策略，得到针对所述数据采集任务中采集数据的优先级信息；择优传输模块503，用于将所述优先级信息作为所
述采集数据对应的重要程度标识，根据所述重要程度标识执行数据采集及数据筛选后的择优传输。
[0093]
一实施方式中，所述优先级信息，根据为所述采集数据所配置的数据权重得到；所述装置还包括赋值模块，用于对具有不同数据权重的所述采集数据分别赋值，得到描述不同重要程度的所述优先级信息。
[0094]
一实施方式中，所述择优传输模块，包括：第一处理子模块，用于所述优先级信息为第一优先级的情况下，触发数据采集操作，将所述采集数据实时传输给云端；第二处理子模块，用于所述优先级信息为非第一优先级的情况下，触发数据采集操作，将所述采集数据经缓存配置、存储覆盖配置及缓存数据上传配置中至少一项的数据筛选后再传输给云端。
[0095]
一实施方式中，所述第二处理子模块，用于所述优先级信息为第二优先级的情况下，触发数据采集操作，将第一数据进行本地缓存并写入本地数据存储区，在网络条件允许后再传输给云端；其中，所述第一数据，在传输之前一直存储于所述本地数据存储区且不能被第二数据所覆盖。
[0096]
一实施方式中，所述第二处理子模块，用于所述优先级信息为第三优先级的情况下，触发数据采集操作，将第一数据进行本地缓存并写入本地数据存储区，在网络条件允许后再传输给云端；其中，所述第一数据，在写入所述本地数据存储区到传输之前的时间段能被第二数据所覆盖，且所述第二数据的数据权重大于为所述第一数据配置的数据权重。
[0097]
一实施方式中，所述第二处理子模块，用于所述优先级信息为第四优先级的情况下，触发数据采集操作，将第一数据进行本地缓存并写入本地数据存储区，直至第二数据传输结束再传输给云端；所述第二数据的数据权重大于为所述第一数据配置的数据权重。
[0098]
一实施方式中，所述本地数据存储区中的采集数据存在不同数据权重的情况下，还包括覆盖决策模块，用于触发将新采集数据写入本地数据存储区的操作；所述本地数据存储区中多个已有采集数据的数据权重均小于所述新采集数据的数据权重的情况下，则优先覆盖所述多个已有采集数据中数据权重最低的数据，或者，优先覆盖在时间差值上距离当前时间最远的数据；所述本地数据存储区中多个已有采集数据的数据权重大于等于所述新采集数据的数据权重的情况下，则优先覆盖所述多个已有采集数据中在时间差值上距离当前时间最远的数据；所述本地数据存储区中多个已有采集数据的数据权重均大于所述新采集数据的数据权重的情况下，丢弃所述新采集数据。
[0099]
本公开实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
[0100]
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
[0101]
如图6所示，是用来实现本公开实施例的信息处理方法的电子设备的框图。该电子设备可以为前述部署设备或代理设备。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。
[0102]
如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(rom)602中的计算机程序或者从存储单元608加载到随机访问存储器(ram)603中的计算机程序来执行
各种适当的动作和处理。在ram 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、rom 602以及ram 603通过总线604彼此相连。输入输出(i/o)接口605也连接至总线604。
[0103]
设备600中的多个部件连接至i/o接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0104]
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如信息处理方法。例如，在一些实施例中，信息处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由rom 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到ram 603并由计算单元601执行时，可以执行上文描述的信息处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行信息处理方法。
[0105]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0106]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0107]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0108]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机
具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。
[0109]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0110]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
[0111]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0112]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。