数据上传方法和车辆与流程

摘要: 本技术涉及智能驾驶,并且更具体地,涉及智能驾驶中的一种数据上传方法和车辆。背景技术:1、随着自动驾驶和高级辅助驾驶技术的快速发展,车辆在行驶过程中通过多种传感器...
数据上传方法和车辆与流程

本技术涉及智能驾驶,并且更具体地,涉及智能驾驶中的一种数据上传方法和车辆。

背景技术:

1、随着自动驾驶和高级辅助驾驶技术的快速发展,车辆在行驶过程中通过多种传感器持续采集海量环境感知与车辆状态数据,单车日均数据产出可达数百tb级别,这些数据对于自动驾驶模型的训练与迭代至关重要,尤其是长尾场景数据。其中,长尾场景也称边缘场景,指的是发生概率极低但一旦发生便对自动驾驶系统构成高风险挑战的特殊交通状况,如突发变道、行人横穿、道路施工等。

2、目前,为了保证原始数据的完整性,一般将车辆在行驶过程中产生的全部环境感知数据与状态数据无差别地全量上传至云端。然而,这种将数据进行全量上传的方式至少存在以下问题:

3、一方面,全量上传会大量消耗车端与云端之间的通信带宽,并增加云端的存储成本。另一方面,全量数据中绝大部分为对模型性能提升贡献有限的常态行驶场景,而具有高价值的长尾场景数据占比极低,因此,云端难以快速从海量的全量数据中提取出长尾场景数据,长尾场景数据的获取效率较低。

技术实现思路

1、本技术提供了一种数据上传方法和车辆,既降低了通信带宽消耗和云端存储成本,又使云端能够直接获取经车端预筛选的异常场景数据,无需从海量全量数据中检索提取,提高了异常场景数据的获取效率。

2、第一方面,本技术提供了一种数据上传方法,包括:

3、获取车辆在设定时间窗口内对应的场景数据,并根据所述场景数据确定各场景对应的多个场景特征;

4、获取各场景特征的历史统计数据,并根据所述历史统计数据确定各场景的异常度表征值,所述异常度表征值用于反映各场景特征的当前值相对于历史统计数据的偏离程度;

5、基于所述多个场景在时间维度与空间维度上的邻近程度,对所述多个场景进行聚类处理,得到至少一个场景聚类集合;

6、根据所述异常度表征值,在各场景聚类集合中分别确定出目标场景,并对满足异常场景判定条件的目标场景对应的数据进行上传处理。

7、上述技术方案中,通过获取车辆在设定时间窗口内对应的场景数据,并根据场景数据确定各场景对应的多个场景特征,相当于得到了具有明确物理含义的可量化特征,为后续确定异常度表征值奠定了基础。通过根据各场景特征相对于历史统计数据的偏离程度确定异常度表征值,以量化区分常态场景与异常场景,并结合时空邻近性聚类将分散的异常事件汇聚为场景聚类集合,再以聚类为单位从中确定满足判定条件的目标场景进行上传,使大量非异常场景在上传前即被过滤,仅满足异常场景判定条件的目标场景对应的数据被筛选上传至云端,既降低了通信带宽消耗和云端存储成本,又使云端能够直接获取经车端预筛选的异常场景数据,无需从海量全量数据中检索提取,提高了异常场景数据的获取效率。

8、结合第一方面,在某些可能的实现方式中,所述获取各场景特征的历史统计数据,并根据所述历史统计数据确定各场景的异常度表征值,包括:

9、针对每一场景的各场景特征,获取设定历史时间段内的特征均值和特征标准差,其中,所述目标场景为所述多个场景之一;

10、基于各场景特征对应的当前特征值,以及所述特征均值和所述特征标准差,确定各场景特征的异常偏离度;

11、基于所述各场景特征的异常偏离度,确定对应场景的异常度表征值。

12、上述技术方案中,通过获取各场景特征在设定历史时间段内的特征均值和特征标准差,使得常态行驶场景的各场景特征值能够被准确量化,具体地,常态场景的特征值稳定地落在历史均值附近,异常偏离度低,而异常场景的特征值显著偏离历史均值,异常偏离度高,从而使常态场景与异常场景在车端即可被量化区分。通过基于各场景特征的当前特征值以及特征均值和特征标准差确定各场景特征的异常偏离度,使每一场景特征在当前时刻相对于其自身历史常态的偏差程度都被精确量化,不同特征之间的偏差程度具有可比性。之后,基于各场景特征的异常偏离度确定目标场景的异常度表征值,使多个场景特征的异常偏离度被综合为一个统一的量化指标,该指标能够全面反映目标场景整体偏离历史常态的程度,为后续的聚类处理和异常场景判定提供了可直接比较的数值基础。

13、结合第一方面和上述实现方式,在某些可能的实现方式中,所述基于所述多个场景在时间维度与空间维度上的邻近程度,对所述多个场景进行聚类处理,包括:

14、根据各场景下车辆的位置信息确定各场景之间的空间距离;

15、根据各场景对应的时间信息确定各场景之间的时间差;

16、根据所述空间距离和所述时间差,计算任意两个场景之间的时空联合距离;

17、基于所述时空联合距离,对所述多个场景进行聚类处理。

18、上述技术方案中,通过根据各场景下车辆的位置信息确定各场景之间的空间距离,使得各场景之间的空间邻近程度被量化,为后续的时空联合聚类提供了空间维度的度量基础。通过根据各场景对应的时间信息确定各场景之间的时间差,使得各场景之间的时间邻近程度被量化,为后续的时空联合聚类提供了时间维度的度量基础。通过根据空间距离和时间差计算任意两个场景之间的时空联合距离,使时间和空间两个不同量纲的物理量被统一到同一尺度下,从而能够综合衡量两个场景在时空上的整体邻近程度,避免了单独使用空间距离或时间差进行聚类时丢失另一维度信息的缺陷。之后,基于时空联合距离对多个场景进行聚类处理,将原本孤立的异常场景按照时空关联性组织为具有语义意义的场景聚类集合,使得每个聚类集合能够被作为一个整体进行处理。

19、结合第一方面和上述实现方式,在某些可能的实现方式中,所述根据所述异常度表征值,在各场景聚类集合中分别确定出目标场景,并对满足异常场景判定条件的目标场景对应的数据进行上传处理,包括:

20、在各场景聚类集合中,将异常度表征值最高的场景确定为目标场景;

21、判断所述目标场景的异常度表征值是否满足异常场景判定条件,并对满足异常场景判定条件的目标场景对应的数据进行上传处理。

22、上述技术方案中,通过在各场景聚类集合中,将异常度表征值最高的场景确定为目标场景,使得每个聚类集合仅输出最能反映该聚类整体异常程度的一个代表性场景参与上传判定,而聚类内其余场景被标记为冗余并仅存储本地,实现了聚类级别的数据压缩,显著降低了后续异常场景判定的计算开销。通过判断目标场景的异常度表征值是否满足异常场景判定条件,并对满足异常场景判定条件的目标场景对应的数据进行上传处理,使得最终上传至云端的数据为各聚类集合中异常度最高的代表性场景数据,而非全量场景数据,云端能够直接获取经车端聚类压缩和异常筛选后的异常场景数据,无需从海量全量数据中检索提取,提高了异常场景数据的获取效率。

23、结合第一方面和上述实现方式,在某些可能的实现方式中,所述判断所述目标场景的异常度表征值是否满足异常场景判定条件,包括:

24、获取所述目标场景所属场景聚类集合的聚类密度;

25、若所述目标场景的异常度表征值小于第一设定异常度表征阈值,且所述聚类密度小于第一设定密度阈值,则确定所述目标场景的异常度表征值不满足所述异常场景判定条件;

26、若所述目标场景的异常度表征值大于或等于所述第一设定异常度表征阈值,且所述聚类密度大于或等于所述第一设定密度阈值,则确定所述目标场景的异常度表征值满足所述异常场景判定条件。

27、上述技术方案中,通过确定第一设定异常度表征阈值和第二设定异常度表征阈值,使异常度表征值的判定具有明确的量化标准。通过获取目标场景所属场景聚类集合的聚类密度,并将聚类密度与第一设定密度阈值和第二设定密度阈值进行比较,使判定过程同时考虑了异常事件的时空聚集程度,避免了仅凭单个场景的异常度进行判定时可能产生的误判。进一步地,在目标场景的异常度表征值小于第一设定异常度表征阈值且聚类密度小于第一设定密度阈值时确定不满足异常场景判定条件,使低异常度且低聚集度的场景聚类集合在车端即被过滤,其对应的数据不上传,避免了将低价值数据上传至云端,降低了通信带宽消耗和云端存储成本。

28、结合第一方面和上述实现方式,在某些可能的实现方式中,所述对满足异常场景判定条件的目标场景对应的数据进行上传处理,包括:

29、若所述目标场景的异常度表征值大于或等于所述第一设定异常度表征阈值而小于第二设定异常度表征阈值,且所述聚类密度大于或等于所述第一设定密度阈值而小于第二设定密度阈值,则将所述目标场景对应的数据以延迟上传的方式进行上传处理,其中,所述第一设定异常度表征阈值小于所述第二设定异常度表征阈值,所述第一设定密度阈值小于所述第二设定密度阈值;

30、若所述目标场景的异常度表征值大于或等于所述第二设定异常度表征阈值,且所述聚类密度大于或等于所述第二设定密度阈值,则将所述目标场景对应的数据以实时上传的方式进行上传处理。

31、上述技术方案中,通过在目标场景的异常度表征值大于或等于第一设定异常度表征阈值且聚类密度大于或等于第一设定密度阈值时确定满足异常场景判定条件,并进一步根据异常度表征值与第二设定异常度表征阈值的比较结果以及聚类密度与第二设定密度阈值的比较结果,将数据区分为延迟上传和实时上传两种方式,使中异常等级的数据在网络空闲时批量上传、高异常等级的数据立即实时上传,既保证了极端异常场景的实时性需求,又优化了通信带宽的利用效率,使最终上传至云端的数据均为经车端双重筛选后的异常场景数据,云端无需从海量全量数据中检索提取,提高了异常场景数据的获取效率。

32、结合第一方面和上述实现方式,在某些可能的实现方式中,所述第一设定异常度表征阈值和第二设定异常度表征阈值通过如下方式确定:

33、获取多个历史场景及各所述历史场景对应的标注信息,所述标注信息用于标识所述历史场景是否为异常场景;

34、获取多组候选参数,每组所述候选参数包含第一设定异常度表征阈值候选值和第二设定异常度表征阈值候选值;

35、分别根据各组候选参数对所述多个历史场景进行异常场景判定,并根据所述异常场景判定的结果与所述标注信息的匹配程度,确定各组候选参数对应的匹配度;

36、根据所述匹配度,对所述多组候选参数进行筛选和参数调整,生成下一代候选参数,重复循环执行所述确定各组候选参数对应的匹配度、所述筛选和所述参数调整的步骤,直至满足停止条件;

37、将所述重复循环停止时匹配度最高的一组候选参数中的第一设定异常度表征阈值候选值和第二设定异常度表征阈值候选值确定为第一设定异常度表征阈值和第二设定异常度表征阈值。

38、结合第一方面和上述实现方式,在某些可能的实现方式中,所述根据所述异常场景判定的结果与所述标注信息的匹配程度,确定各组候选参数对应的匹配度,包括:

39、针对目标组候选参数,根据所述异常场景判定的结果与所述标注信息,获取被正确判定为异常场景的历史场景数量、被错误判定为异常场景的历史场景数量、实际异常场景总数量,以及被判定为异常场景的历史场景总数量,其中,所述目标组候选参数为所述多组候选参数之一;

40、根据被正确判定为异常场景的历史场景数量与实际异常场景总数量的比值,确定所述目标组候选参数对应的检出率;

41、根据被错误判定为异常场景的历史场景数量与所有被判定为异常场景的历史场景总数量的比值,确定所述目标组候选参数对应的误报率;

42、根据所述检出率和所述误报率,确定所述目标组候选参数对应的匹配度。

43、上述技术方案中,通过获取多个历史场景及各历史场景对应的标注信息,使各场景特征权重及阈值的优化建立在真实历史数据的基础之上,确保了优化结果与实际场景分布的匹配性,避免了人工凭经验设定权重和阈值的盲目性。通过获取多组候选参数,使权重和阈值的选取不再依赖人工固定设定,而是通过数据驱动的方式自动搜索最优组合,解决了固定权重和固定阈值无法适应不同地区、不同场景类型分布差异的问题。通过分别根据各组候选参数中的权重候选值和阈值候选值对多个历史场景进行异常场景判定,并根据判定结果与标注信息的匹配程度确定各组候选参数对应的匹配度,在确定匹配度时同时兼顾检出率(被正确判定为异常的数量与实际异常总数量的比值)和误报率(被错误判定为异常的数量与所有被判定为异常的总数量的比值),使得匹配度的评价同时覆盖了“异常场景被正确检出的比例”和“正常场景被误判为异常的比例”两个维度,避免了单一评价指标导致的偏科问题,使得最终输出的权重和阈值在检出率和误报率之间取得平衡,在保证异常场景检出能力的同时控制了误报带来的冗余上传。

44、通过根据匹配度对多组候选参数进行筛选和参数调整,并循环执行直至满足停止条件,使候选参数群体在迭代过程中不断向更优方向演化,匹配度逐步提升,最终收敛于全局最优解附近。通过将重复循环停止时匹配度最高的一组候选参数中的各场景特征权重候选值、第一设定异常度表征阈值候选值和第二设定异常度表征阈值候选值确定为最终的权重、第一设定异常度表征阈值和第二设定异常度表征阈值,使得最终输出的权重和阈值为经过历史数据验证的最优参数组合,实现了权重和阈值的场景自适应。

45、结合第一方面和上述实现方式,在某些可能的实现方式中,所述基于所述多个场景在时间维度与空间维度上的邻近程度,对所述多个场景进行聚类处理之前,所述方法还包括:

46、根据各场景对应的位置信息判断各场景是否位于预设地理围栏区域内;

47、将位于所述预设地理围栏区域外的场景删除。

48、上述技术方案中,通过根据各场景对应的位置信息判断各场景是否位于预设地理围栏区域内,使得仅在异常场景高发区域内采集的场景被保留,非关键区域内的场景在聚类处理之前即被前置过滤,从而减少了参与后续聚类处理的场景数量,降低了后续聚类处理的计算量。通过将位于预设地理围栏区域外的场景删除,使无效区域内的场景数据在进入后续处理流程前即被丢弃,减少了无效区域数据的存储开销,并降低了后续聚类和阈值判定的计算量。

49、第二方面,本技术提供了一种数据上传装置,该装置包括:

50、获取模块,用于获取车辆在设定时间窗口内对应的场景数据,并根据所述场景数据确定各场景对应的多个场景特征;

51、确定模块,用于获取各场景特征的历史统计数据,并根据所述历史统计数据确定各场景的异常度表征值,所述异常度表征值用于反映各场景特征的当前值相对于历史统计数据的偏离程度;

52、聚类模块,用于基于所述多个场景在时间维度与空间维度上的邻近程度,对所述多个场景进行聚类处理,得到至少一个场景聚类集合;

53、上传模块,用于根据所述异常度表征值,在各场景聚类集合中分别确定出目标场景,并对满足异常场景判定条件的目标场景对应的数据进行上传处理。

54、第三方面,本技术提供了一种车辆,包括:

55、存储器,用于存储可执行程序代码;

56、处理器,用于从所述存储器中调用并运行所述可执行程序代码,使得所述车辆执行上述第一方面或第一方面任意一种可能的实现方式中的方法。

57、第四方面,提供了一种计算机程序产品,该计算机程序产品包括:计算机程序代码,当该计算机程序代码在计算机上运行时,使得该计算机执行上述第一方面或第一方面任意一种可能的实现方式中的方法。

58、第五方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序代码,当该计算机程序代码在计算机上运行时,使得该计算机执行上述第一方面或第一方面任意一种可能的实现方式中的方法。