HD地图中危险道路对象的众包检测、标识和共享的制作方法

hd地图中危险道路对象的众包检测、标识和共享
技术领域
1.各实施例总体上涉及对象检测。更具体地，实施例涉及在高清(hd)地图中对危险道路对象的众包检测、标识和共享。


背景技术：

2.自主交通工具可使用hd地图自动地确定道路布局、前方可能躺着的什么障碍物等。例如，在“自修复”地图场景中，每个参与交通工具可以将本地感测的数据与所存储的hd地图进行比较，以检测差异特征，然后这些特征可以经由交通工具对基础设施(v2i)链路传送到服务器，以供包括在经更新的hd地图中。服务器可以经由v2i链路将经更新的hd地图传送给参与交通工具，其中，交通工具与服务器之间的通信通常消耗相当大量的网络带宽。实际上，如果差异特征与对道路上的交通工具不构成危险的小对象，则网络带宽可能被浪费。
附图说明
3.通过阅读以下说明书和所附权利要求并通过参考以下附图，实施例的各种优势对本领域技术人员将变得显而易见，其中：
4.图1a
‑
图1d是根据实施例的空间偏差管理解决方案的示例的示图；
5.图2是根据实施例的操作交通工具的方法的示例的流程图；
6.图3是根据实施例的八叉树表示的示例的示图；
7.图4是根据实施例的交通工具子系统的示例的框图；
8.图5是根据实施例的共识构建流水线的示例的框图；
9.图6是根据实施例的众包消息序列的示例的示图；
10.图7是根据实施例的操作交通工具的更加详细的方法的示例的流程图；
11.图8a
‑
图8d是根据实施例的体素语义分割的示例的示图；
12.图9是根据实施例的交通工具与服务器之间的交互的示例的框图；
13.图10a
‑
图10d是根据实施例的来自多个交通工具的多个差异的概率融合的示例的示图；
14.图11是根据实施例的对计算系统进行操作的方法的示例的流程图；
15.图12是根据实施例的整合八叉树表示的方法的示例的流程图；
16.图13是根据实施例的性能增强的平台的示例的框图；以及
17.图14是根据实施例的半导体封装装置的示例的示图。
具体实施方式
18.现在转向图1a
‑
图1d，示出了交通环境(例如，交叉口)的透视图和平面图，在该交通环境中，空间障碍物20(诸如，例如树)落到道路中。如图1b中最佳所示，在空间障碍物20的附近区域中的交通工具22(例如，自主或手动操作的汽车)可以包括检测/捕获空间障碍物20的测距传感器(例如，光检测和测距(lidar或激光雷达)、无线电检测和测距/雷达、声
音导航和测距/声纳)、深度传感器(例如，立体视觉)和/或外观传感器(例如，红、绿、蓝/rgb相机、多光谱红外/ir相机)。在实施例中，交通工具22存储了交通环境的众包地图(例如，静态hd地图)，其中所存储的地图从远程服务器、路边单元(rsu)、基站、基础设施节点等获得。因为空间障碍物20是交通环境中的新的和/或未预料到的改变，因此空间障碍物20是不可见的/未被包括在所存储的地图中。
19.在图示出的示例中，交通工具22从所存储的地图中捕获空间障碍物20作为高分辨率体积偏差24(例如，被表征为例如每体积像素/体素5
‑
10cm的一个或多个差异)，并且从所存储的地图中捕获空间障碍物20作为低分辨率体积偏差26(例如，被表征为例如每体素25
‑
50cm的一个或多个差异)。图1c展示了可以经由交通工具对交通工具(v2v)链路将低分辨率体积偏差26无线地发送(例如，在诸如0.5
‑
1km之类的有限半径上广播)到一个或多个附近的交通工具28(28a
‑
28n，交通工具28可以包括自主交通工具)。
20.如将更详细地讨论的那样，低分辨率体积偏差26在要发送给附近交通工具28的消息中被表示为八叉树30，该八叉树30使偏差26能够以最小的无线带宽消耗进行快速通信。更具体地，当空间障碍物20的体素化(例如，稀疏的三维/3d栅格化)发生时，一旦八叉树30以低分辨率完成，被序列化和被压缩的低分辨率体积偏差26就会被广播。在该阶段，丰富的元数据(例如，纹理、点或其他传感器信号)不被添加到八叉树30中。相反，一旦检测到对象，危险的尺寸和形状就被传递给其他交通工具并且没有如纹理之类的丰富元数据的低分辨率图像是足够的。相应地，针对速度对通信进行优化。事实上，八叉树30表示可以以单个分组进行传递，其中有效载荷大小小于底层通信协议的最大传输单元(mtu)。因此，瞬时地向图示出的附近交通工具28提醒空间障碍物20的危险性，并且可以更安全地导航绕开空间障碍物20。
21.此外，当确定是否向附近交通工具28通知空间障碍物20时，交通工具22可以考虑空间障碍物20的尺寸。因此，较小的对象可以被忽略为不构成安全性风险，而较大的对象则经由低等待时间的v2v链路进行报告。此类方法使得无线带宽消耗能够进一步被减少。
22.图示出的交通工具22还将高分辨率体积偏差24表示为八叉树32，该八叉树32经由交通工具对基础设施(v2i)链路被无线地发送到云计算系统34(例如，服务器、rsu、基站、基础设施节点)，以供进一步处理并被包括在更新的地图中。更具体地，高分辨率体积偏差24不仅可以包含更精细的体素(例如，5cm左右)，而且还可以包含附加数据，诸如，由lidar生成的点云、由相机生成的经注册的图像和其他可用的传感器读数(诸如雷达和/或超声测量)。该附加信息被包括，以使得云计算系统34可以将多个读数和模态整合到更可靠和更精确的模型中，以供人类和机器两者消耗。
23.例如，图1d展示了第一附近交通工具28a可以经由v2i链路(例如，以相对高的分辨率)报告第一体积偏差36，并且第二附近交通工具28b可以经由v2i链路(例如，以相对高的分辨率)报告第二体积偏差38，其中体积偏差24、36、38是根据不同的感知模型生成的。在实施例中，云计算系统34将与体积偏差24、36、38相对应的八叉树表示整合到与众包地图相关联的动态层中。包括多模态数据的高分辨率体素也可由云计算系统34用于进行语义分类。
24.例如，云计算系统34可以将经注册的传感器信号的集合(例如，在亚符号(sub
‑
symbolical)水平上)变换为语义赋予图，其中每个体素包括其类别和置信值的分布。更特别地，传感器信号从它们尚未被解释为独特的元素或符号方面来说可以在一定程度上被认
为是“亚符号的”。因此，亚符号水平可以是原始信号(诸如，例如，来自lidar的经校准的和经注册的读数、来自相机的未失真的图像等等)的水平。传感器信号可以不被称为原始信号，因为它们已经被部分处理以使其尽可能地对于特定传感器是不变的。亚符号水平的示例包括原始捕获的图像，使用特定的失真系数针对透镜失真对该原始捕获的图像进行校正以补偿由该传感器上的透镜引起的、影响由该相机捕获的原始图像的失真。.当针对失真和颜色对图像进行校正时，图像的解释较不依赖于特定的相机。因此，虽然图像可能没有语义含义，但它并不是原始传感器数据，而是已经经历了一些处理，因此，图像是亚符号的。一旦图像被完全地处理，并且视场中的对象可以被标识或被分类，信息现在包括具有相关联的含义的符号以及可以相应地采取的可能动作。
25.图2示出操作交通工具(诸如，例如已经讨论的交通工具22(图1a
‑
图1d))的方法40。方法40可在一个或多个模块中被实现为一组逻辑指令，这组逻辑指令被存储在诸如随机存取存储器(ram)、只读存储器(rom)、可编程rom(prom)、固件、闪存等之类的机器或计算机可读存储介质中，被存储在诸如例如可编程逻辑阵列(pla)、现场可编程门阵列(fpga)、复杂可编程逻辑器件(cpld)之类的可配置逻辑中，被存储在使用诸如例如专用集成电路(asic)、互补金属氧化物半导体(cmos)的电路技术或晶体管
‑
晶体管逻辑(ttl)技术之类的固定功能逻辑硬件或其任何组合中。
26.例如，可以用一种或多种编程语言的任何组合来编写用于实施在方法40中所示的操作的计算机程序代码，这些编程语言包括诸如java、smalltalk、c 等的面向对象的编程语言以及诸如“c”编程语言或类似编程语言的常规的过程编程语言。另外，逻辑指令可包括汇编程序指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、状态设置数据、用于集成电路的配置数据、使对于硬件(例如，主机处理器、中央处理单元/cpu、微控制器等)而言是原生的电子电路和/或其他结构组件个性化的状态信息。
27.所图示出的处理框42提供检测周围环境的众包地图和周围环境的实时体积地图之间的一个或多个差异。该(多个)差异可以是例如与道路中的危险的空间障碍物相对应的体积偏差。在实施例中，框42包括基于尺寸和/或时间存在将(多个)差异分类为一个或多个对象。所图示出的框44经由v2v链路发送第一消息，其中(多个)差异在第一消息中以第一分辨率表示。另外，在框46处经由v2i链路发送第二消息，其中(多个)差异在第二消息中以第二分辨率表示。在所图示的示例中，第一分辨率小于第二分辨率。如已经提到的，(多个)差异可以在第一消息和第二消息中被表示为八叉树或八叉树的部分。在实施例中，第二消息进一步包括使得云计算系统能够更有效地对空间障碍物进行分类并将其添加到众包地图中的外观传感器数据(例如，rgb和/或多光谱ir相机图像)。此外，当基于尺寸和/或时间存在来将(多个)差异分类为(多个)对象时，第一消息和第二消息可专用于超过尺寸阈值(例如，大于x个体素)和时间存在阈值(例如，存在时间长于交通工具与服务器之间的y轮通信)的对象。将此类时间融合技术并入到基于尺寸的分类中，可以确保检测到的对象存在于若干轮(例如，其中每轮表示来自传感器的不同捕获/测量)的差量上。
28.图3示出体积52(例如，3d空间)的八叉树表示50，该体积52包含周围环境的众包地图与周围环境的实时体积地图之间的一个或多个差异(例如，偏差、差量)。八叉树表示50通常不仅捕获体积52内的新的空间障碍物的存在，而且还捕获已经从道路上移走的障碍物(诸如树或垃圾)的不存在(例如，不存在局部体积占用)。
29.八叉树表示法50将体积52分区成八个卦限(octant)，其中，该分区是递归地进行的，以捕获更多的细节。八叉树表示50使得能够在被占用的空间与自由空间之间进行区分。八叉树表示50还使得能够通过添加由传感器感知的新信息来扩展地图(例如，使其对于表示新对象特别有用)。在实施例中，八叉树表示50是紧凑的并且只有对八叉树的改变才会被传递给服务器和/或其他交通工具。在图示出的示例中，被占用的空间在八叉树表示50中被显式地表达，而空的空间通过树中没有子节点的内部节点隐式地表达。此类方法使得八叉树表示50的尺寸比常见的现有学术方法显著地更加紧凑。分辨率也可以通过经序列化的二进制大对象的尺寸来调整。
30.如已经提到的，在与他人共享差量之前，基于尺寸的分类器将所计算的差量作为输入并确定该差量是否构成持续的威胁。该分类器认为某些形状的对象是危险的，因为它们大致足以以对驾驶行为造成问题。此类方法有助于避免对道路上的微小对象进行不必要的报告，并减少交通工具与云服务器之间的通信链路负担。该方法确保以一定的置信度检测到新的改变，因为传感器可能会受到瞬时误差的影响。八叉树表示50的体素或叶子节点被占用的概率取决于当前轮传感器测量和先前的概率估计(例如，先前的概率估计是基于过去在给定时间段内的传感器观测类似地计算出的)。虽然附加的测量可以提供更精细的体素地图和对检测对象的确切形状更多的置信度，但附加的测量可能消耗附加的时间和资源。
31.由于危险对象的存在是安全性关键和时间关键的事件，因此可将停止标准用于时间融合。例如，停止标准可以指定体素的分辨率已达到最小点(例如，5
‑
10cm)或检测到的对象已被分类。注意，附加的体素化可能对于形状改变的动态对象(例如，可能由于大雨而摇晃的垃圾)是有用的，并且本文所描述的技术支持在此类情况下甚至在满足停止标准之后以更精细的颗粒度体素化。
32.存在板载神经网络分类器无法标识某些对象(例如，交通工具的本地系统可能不知晓的新对象的语义含义)的可能性。在此类情况下，包含不可标识的对象的像素(例如，边界框)可与实时体积地图差量一起被传送到云。交通工具可以具有与rsu的直接无线链路，rsu最终连接到云基础设施。由于云可能包括带有更好的经训练的神经网络(nn)分类器系综(ensemble)的强大计算服务器，因此该计算服务器通常有更好的机会标识这些对象。
33.图4示出交通工具子系统60，该系统使用距离感测62(例如，立体视觉、超声波、雷达、lidar)和外观感测64(例如，rgb相机、视觉相机、多光谱ir)来记录和/或捕获周围环境66(例如，道路、交叉口)。距离感测62生成具有局部和/或瞬时数据的体素化地图68，并且外观感测64生成语义分割数据70。在所图示出的示例中，体素化地图68和语义分割数据70被用于生成在子系统60本地的实时语义体积地图72。从(例如，使用众包或其他类似技术生成的)语义体积地图74中减去本地语义体积地图72，该语义体积地图74从进行分类和地图更新的服务器76中接收。因此，将地图差量78输入到基于尺寸的分类和时间融合过滤器80，其中基于经过滤的地图差量78为v2v链路生成第一消息82。第一消息82包括动态对象的经压缩(例如，低分辨率)的体积表示。过滤器80的输出还可以被提供给分组化处理84，该分组化处理84将第二消息86发送给服务器76。如果未经标识的对象检测器88确定语义分割数据70是不完整的，则像素记录器90记载与(多个)未知对象相对应的像素。在所图示出的示例中，像素记录器90的输出也被提供给分组化处理84。因此，第二消息86可以包括经过滤的地图
数据和具有未标识的对象的像素。
34.图5展示了共识构建流水线91如何使用来自多个交通工具的报告或观察结果来在将其与hd地图的当前版本合并之前验证所报告的改变。危险对象或障碍很可能被多个相机和其他传感器从不同的有利位置观察到。然而，仅交通工具中的一些交通工具具有良好的观察结果。图示出的解决方案提供了各个交通工具从其相应的对象检测流水线传递其相应的概率，其中概率信息可用于验证其观察结果。在实施例中，验证由服务器管理hd地图生成以及附近的交通工具生成共识决策两者来进行。多数表决(例如，其中表决权重是检测概率的函数)可用于在观察者之间生成共识决策。
35.与用于进行表决的浅层人工神经网络相比，可以通过调整对各个感知分布之间的马哈拉诺比斯距离(mahalanobis distance)(例如，对点p距分布d的平均值有多少标准差进行量化)或巴特查里亚距离(bhattacharyya distance)(例如，测量两个概率分布的相似性)的加权核相似性来经验地计算权重。该方案还解决了关于在建立共识决策时可能创建和报告不正确的观察结果的欺骗/不良行为者的问题。除了动态对象的体积表示(例如，标识给定对象占用的体素空间中的全部体素空间)，输入数据92包括元数据，诸如由每个参与交通工具共享的分类器信息。
36.输入数据92可由一组透视转换器94处理，该透视转换器94生成经转换的地图96。在该方面，经转换的地图96是相对于每个交通工具的有利位置及其参考帧生成的。在交通工具中存在多个传感器的情况下，有利位置将是该交通工具的融合有利位置。在实施例中，hd地图其自身像其他观察者(例如，交通工具)那样假设不同的有利位置。运动帧可以被注册以对准观察结果(例如，如qiu等人在“avr：增强交通工具现实(avr：augmented vehicular reality)”中所述，mobisys’18，2018年6月10
‑
15日)。该注册可以使用透视变换来进行。例如，刚性运动变换矩阵t
cw
可能包含3x3旋转矩阵和3元素转换向量，其中转换矩阵描述了如何将位置从一个相机的坐标帧变换到另一个相机的坐标帧。可以采用如下所提出的许多方法来计算变换矩阵：
37.对于每个交通工具，可以使用gps(全球定位系统)坐标和惯性传感器来获得完整的6
‑
dof(自由度)，并在给定该信息的情况下计算相对姿势(例如，旋转和平移)。该方法的问题可能是标准的gps接收器通常具有大的误差(例如，大约五米)。该误差在城市峡谷和其他密集的城市环境中尤其如此。此外，精确的gps系统可能需要大量的固定校准时间或复杂的装备配置。另外，此类系统可能相对昂贵的并且不是主流。(例如，vanderbilt研究人员hedgecock等人在“利用单频gps进行准确的实时相对定位(accurate real
‑
time relative localization using single
‑
frequency gps)”，sensys’14，2014年11月3日
‑
5日)所做的一些工作，可能通过使用共享原始卫星测量的接收器的网络仅使用单频gps就实现了亚米准确性。每个参与的节点都能够使用成对的卫星观察结果的组合来对网络中的所有其他节点进行定位是可能的。因此，每个节点能够根据相对于其自身的本地坐标系的一组3
‑
d位置向量来创建“远程”节点位置的内部建图。
38.另一种定位技术是利用交通工具可能具有重叠视场这一事实并且使用基于立体视觉的同步定位和建图(slam)技术对交通工具进行定位。在最简单的场景中，每个交通工具在其他交通工具的视场中都是可见的。由于每个交通工具都知晓其自己的校准，所以它可以相对高准确度地相对于其自己的参考帧精确地定位其他交通工具的位置。然而，存在
一些可能的场景，其中交通工具可能无法看到彼此。在此类情况下，它们依赖于对两个交通工具都可见的外部实体。具体而言，给定一对经校准的立体图像和用于自动检测立体图像中的交通工具边界框的技术，可以对交通工具进行三角测量。在实施例中，还可以计算目标交通工具的密集视差图。因此，给定目标交通工具上的感兴趣的对象，可以计算其深度并且因此计算来自参考交通工具上的立体相机中的一个立体相机的转换向量。给定深度图，还可以计算感兴趣对象的表面法线。在一个示例中，然后，表面法线将用于计算相对取向(例如，参考相机与感兴趣的对象之间的旋转)，从而产生两个交通工具上的两个对象之间的完整的相对姿势。
39.替代方案是利用已经存在的周围场景的全局稀疏3d地图。在此类情况下，交通工具计算由其多相机系统、lidar、雷达等成像的场景的稀疏3d地图，并且然后提取3d特征点，并将这些所提取的点与全局稀疏3d地图进行匹配。然后，交通工具可以相对于高清地图中使用的全局坐标系来定位自身。其他交通工具也可以相对于同一参考来定位其自身。因此，将不同的有利位置转变为用于参考的共同的有利位置可能是相对简单的。
40.另一种方案是通过使用语义信息直接对准体积地图，以找到共同的对象及其在体积空间中的位置。该对准可以用于计算合适的变换矩阵。体积地图可能是原始格式的，并使用迭代最接近点(icp)方法进行对准(例如，如besl等人在“用于3
‑
d形状的注册的方法(a method for registration of 3
‑
d shapes)，ieee模式分析与机器智能期刊，第14卷第2篇，1992年2月”中所述)。另外地，与每个体积地图相对应的八叉树本身可以在不显式计算变换矩阵t
cw
的情况下进行对准(例如，如eggert等人在“用于icp注册和3d点云的对准的基于八叉树的simd策略(octree
‑
based simd strategy for icp registrations and alignment of3d point clouds)”中所述，摄影测量、遥感和空间信息科学年鉴，第i
‑
3卷，2012年)。
41.经转换的地图96和当前(例如，本地)体积地图100被输入到体积地图比较器98，该比较器98生成一组检测概率102。在一些实施例中，检测概率可以利用来自每个观察者的各自的对象检测流水线概率的相应的概率。另外，概率融合组件104可以基于一组检测概率102来生成共识决策。在一些实施例中，这可以使用马哈拉诺比斯或巴特查里亚差异来完成，如已经讨论过的。因此，通过将分类器之间的多样性考虑在内，图示出的共识构建流水线91变得稳健，因为某些分类器在对从各个角度捕获的对象进行分类时更加准确。
42.现在转向图6，虽然对于云计算系统和相邻的交通工具而言，共识构建的流程可能是相似的，但通过v2i链路和v2v共享的信息类型可能是不同的，如已经讨论过的。在v2v通信的情况下，体积地图的粗粒度表示被共享以减少交通工具网络内的数据传输量。然而，在v2v链路上共享信息仍然可能在例如密集的城市环境中引起冗余和过量的数据传输。在图示出的消息收发序列106中，分布式智能定时器设计控制v2v链路上的冗余数据传输。在本地检测到动态对象(例如，诸如倒下的树木)时，每个交通工具以分布式的方式发起/启动定时器，其中定时器值与检测对象的置信度得分(即，概率)成反比。与其他交通工具相比，具有较高的置信度得分的交通工具的定时器有可能首先到期。
43.一旦定时器被触发(例如，到期)，交通工具就会在其相邻区域内广播动态对象的体积表示、分类器元数据、检测到的对象的信息年龄(aoi)等。例如，aoi可以帮助其他交通工具检查/确认接收到的信息的有效性。每个接收相邻交通工具将其本地表示与接收到的
表示进行比较，并且如果其具有较低的置信度或冗余的体积表示，则取消其相应的定时器。在可配置的时间量之后，每个交通工具在收集到的信息上应用诸如例如共识构建流水线91(图5)等之类的技术以做出最终的对象检测决策。
44.在所图示出的示例中，四个交通工具a、b、c以及d实现了基于v2v的共识开发方案。四个交通工具中的每一个交通工具都以一定的概率或置信度检测倒下的树木，并启动定时器以报告树的体积表示。假设交通工具c具有检测到树的更好的概率，其中交通工具d也具有检测到树的良好的概率，但从不同的有利位置。在所图示出的消息收发序列106中，交通工具c的定时器首先到期，因为它具有检测到树的较高的概率。作为对定时器到期的响应，交通工具c将其体积表示和分类器信息广播到相邻区域。在接收到该广播时，交通工具b和交通工具a停止/取消它们相应的定时器，因为它们已经从与交通工具c几乎相同的角度观察到了树，并且具有冗余的体积表示。然而，交通工具d没有停止其定时器，因为它具有不同的体积表示(例如，包含树的体积空间)。最终，交通工具d的定时器到期，这导致交通工具d广播它自己的表示和分类器信息。最后，交通工具a将其本地表示和来自交通工具c、d的信息考虑在内，以确定是否存在倒下的树木的共识。
45.图7示出操作交通工具的更加详细的方法110。方法110一般可以在交通工具(诸如例如已讨论的交通工具22(图1a
‑
图1d))中实现。更具体地，方法110可在一个或多个模块中被实现为一组逻辑指令，这组逻辑指令被存储在诸如ram、rom、prom、固件、闪存存储器等之类的机器或计算机可读存储介质中，被存储在诸如例如pla、fpga、cpld之类的可配置逻辑中，被存储在使用诸如例如asic、cmos或ttl技术之类的固定功能逻辑硬件或其任何组合中。
46.说明性处理块112提供检测周围环境的众包地图和周围环境的实时体积地图之间的一个或多个差异。如已经提到的，该(多个)差异可以是例如与道路中的危险的空间障碍物相对应的体积偏差。在实施例中，框112包括基于尺寸和/或时间存在将(多个)差异分类为一个或多个对象。图示出的框114响应于(多个)差异的检测而发起定时器。在实施例中，定时器被发起至与检测(多个)差异相关联的置信度得分成反比的值。
47.可以在框116处作出对在定时器到期之前是否已经经由v2v链路接收到冗余的体积表示的确定。如果没有，则在框118处作出关于是否在定时器到期之前经由v2v链路接收到更可信(例如，在容许范围内)体积表示的确定。如果否，则框120经由v2v链路发送第一消息，其中(多个)差异在第一消息中以第一分辨率表示。如果在框116处确定已经接收到冗余的体积表示，或者在框118处确定已经接收到更可信的体积表示，则框122取消定时器，并且该方法绕过框120。绕过框120可以减少例如在密集的城市环境中的冗余和过度的数据传输。
48.所图示出的框124生成关于(多个)差异的共识决策。在实施例中，框124基于一组检测概率来生成共识决策，并将分类器之间的多样性考虑在内。在框126处经由v2i链路发送第二消息，其中(多个)差异在第二消息中以第二分辨率表示。在所图示的示例中，第一分辨率小于第二分辨率。如已经提到的，(多个)差异可以在第一消息和第二消息中被表示为八叉树。在实施例中，第二消息进一步包括使得云计算系统能够更有效地对空间障碍物进行分类并将其添加到众包地图中的外观传感器数据(例如，rgb和/或多光谱ir相机图像)。此外，当基于尺寸和/或时间存在来将(多个)差异分类为(多个)对象时，第一消息和第二消
息可专用于超过尺寸阈值(例如，大于x个体素)和时间存在阈值(例如，存在时间长于交通工具与服务器之间的y轮通信)的对象。将此类时间融合技术并入到基于尺寸的分类中，可以确保检测到的对象存在于若干轮(例如，其中每轮表示来自传感器的不同捕获/测量)的差量上。
49.图8a
‑
图8d示出用于包含空间障碍物(诸如，例如自行车130)的道路的体素语义分割。在该方面，可能存在交通工具的板载神经网络分类器可能无法标识某些对象的可能性。例如，新对象的语义对于本地系统可能是未知的。在此类情况下，除了已经提到的体积地图差量之外，还可以将包含诸如自行车130之类的不可标识的对象的像素(例如，边界框)传送到云计算系统。在实施例中，云计算系统具有带有更好的经训练的nn分类器系综的相对强大的计算服务器。因此，云计算系统可能具有标识自行车130的更好的机会。在所图示的示例中，传感器输出包括3d点云132，该3d点云132用于创建特征输入134。深度神经网络136(例如，包括一个或多个隐藏层)在前向传播路径138上进行推断(例如，像素级预测)，其中学习在后向传播路径140上进行。在实施例中，输出是一组经语义分类的体素142。
50.图9示出交通工具144与服务器146之间的v2i交互。在所图示的示例中，服务器146维护地图数据库，并且具有语义分割的体积地图148被存储在交通工具144上。交通工具144发出对地图下载的请求150，并且服务器发送或推送包含经更新的地图的消息152。消息152的发送频率可以利用周期性的定时器来控制。
51.图10a
‑
图10d示出来自多个交通工具的多个地图差异的概率融合的示例。一般而言，有利位置/姿势是正在捕捉场景的观察者(例如，作为整体的交通工具整体或特定传感器)的特定位置(例如，x、y、z
‑
坐标)和取向(滚动角、俯仰角、偏航角)。更具体地，第一有利位置154和第二有利位置156可以捕获包含对象的表面158的不同体素。不同的有利位置154、156之间的几何关系示出哪些体素可以利用偏差来捕获。在一个示例中，2d(二维)离散化网格函数将从不同的有利位置154、156捕获的体素表示为一组高斯网格162(162a
‑
162b，例如密度高程)。高斯网格162被示出为重叠，以表示当两个不同的交通工具在相对接近但仍然(在地理坐标或另一个地理表示(诸如麦卡托(mercator))中的经度、纬度和高程方面)不同的位置捕获表面158时的情况(例如，关于感知、检测和分类操作)。因此，第一高斯网格162a可以与第一有利位置154相对应，而第二高斯网格162b可以与第二有利位置156相对应，其中高斯网格162具有不同的置信度(例如，即每个高斯的σ(sigma))。
52.两个观察结果都可以以使得结果最优地整合测量这样的方式进行组合，测量可以包括多于所图示出的两个测量。对于两组体素，可以根据高斯分布来将它们表示为密度。在实施例中，高斯分布被表示为一个或多个高斯网格162或使用贝叶斯滤波的连续融合，使得能够确定由两组的组合产生的最大后验密度。因此，一组曲线160(160a
‑
160d)可能包括融合曲线160d，该曲线160d使用贝叶斯滤波的形式将第一观察结果曲线160a、第二观察结果曲线160b和第三观察结果曲线160c进行组合(例如，形式上，g
i
(μ
i
←
第i个均值，σ
i
←
第i个标准差)。在所图示出的绘图中，使用的操作是连续结合，即点到点连续乘积。点到点连续乘积可以更好地解释为：基于高斯观察结果1与高斯观察结果2与高斯观察结果3或p(x)＝g1(x，μ1，σ1)*g2(x，μ2，σ2)*g3(x，μ3，σ3)，障碍在“x”点的概率是多少。
53.在体素化点云164的情况下，该过程可以以来自不同交通工具的多个扫描被融合这样的方式产生高密度的多模态区域，从而产生称为融合对象区域166的多个不连接的区
域。此外，出于安全性原因，可以添加例如25
‑
50cm的裕度以创建感兴趣的体积区域
‑‑
称为安全性裕度区域168的边界框。
54.因此，所图示出的解决方案概率性地并且优化地整合来自不同源或交通工具的多个传感器读数。在体素密度方面使用贝叶斯滤波能够整合和解决不同数据样本中的不一致。该整合和解决不仅融合了数据，而且还基于密度分割或熔融多个连接的组件。结果可能是多个较小的障碍或可能是一个较大的障碍。使用概率性方法使得能够克服每个交通工具的自定位的不确定性以及传感器中每一个传感器的校准伪像。最后，安全性裕度168被添加以确保没有交通工具与未被任何传感器捕获到的对象的小部分(例如，倒下的树木的枝干)相撞。
55.图11示出操作计算系统的更加详细的方法170。方法170一般可在计算系统(诸如，例如，已讨论的云计算系统34(图1c)和/或服务器76(图4))中实现。更具体地，方法170可在一个或多个模块中被实现为一组逻辑指令，这组逻辑指令被存储在诸如ram、rom、prom、固件、闪存存储器等之类的机器或计算机可读存储介质中，被存储在诸如例如pla、fpga、cpld之类的可配置逻辑中，被存储在使用诸如例如asic、cmos或ttl技术之类的固定功能逻辑硬件或其任何组合中。
56.所图示出的处理块172提供了从第一交通工具接收第一消息，其中，第一消息包括来自第一有利位置的、环境的众包地图与环境的第一实时体积地图之间的一个或多个差异的八叉树表示。另外，在框174处从第二交通工具接收到第二消息，其中第二交通工具包括来自第二有利位置的(多个)差异的第二八叉树表示。框176将第一八叉树表示和第二八叉树表示整合到与众包地图相关联的动态层中，其中在图示出的框178处将动态层发送到第一交通工具和第二交通工具。
57.图12示出整合存八叉树表示的方法180。方法180一般可以替代已经讨论过的处理框176(图11)。更具体地，方法180可在一个或多个模块中被实现为一组逻辑指令，这组逻辑指令被存储在诸如ram、rom、prom、固件、闪存存储器等之类的机器或计算机可读存储介质中，被存储在诸如例如pla、fpga、cpld之类的可配置逻辑中，被存储在使用诸如例如asic、cmos或ttl技术之类的固定功能逻辑硬件或其任何组合中。
58.图示出的处理框182提供了标识与第一八叉树表示相对应的第一组体素，其中在框184处标识与第二八叉树表示相对应的第二组体素。框186基于第一组体素和第二组体素来生成高斯密度分布。另外，框188可以基于高斯密度分布来标识一个或多个融合对象区域。在实施例中，在框190处在(多个)融合对象区域周围添加一个或多个安全性裕度区域。
59.现在转向图13，示出了性能增强的平台200(例如交通工具、服务器)。在图示出的示例中，平台200被操作为交通工具并且包括机电子系统202(例如，传动系统、转向、导航、板载控制器、事件数据记录器/edr)和具有耦合到系统存储器208的集成存储器控制器(imc)206的主机处理器204(例如，具有一个或多个处理器核的中央处理单元/cpu)。如果平台200被操作为服务器(例如，云计算系统)，则机电子系统202可以被去除。所图示的平台200还包括输入输出(io)模块210，该输入输出(io)模块210与主机处理器204和图形处理器212一起在半导体管芯214上被实现为芯片上系统(soc)。io模块210与例如(例如，能够维持v2v链路和v2i链路的无线和/或有线)网络控制器216、显示器218、机电子系统202、传感器子系统220(例如，激光雷达、雷达、声纳、相机、ir传感器等，或其任何组合)和大容量存储
222(例如，硬盘驱动器/hdd、光盘、固态驱动器/ssd、闪存)进行通信。
60.主机处理器204包括用于执行已讨论的方法40(图2)、方法110(图7)、和/或方法170(图11)、和/或方法180(图12)的一个或多个方面的逻辑224(例如，逻辑指令、可配置逻辑、固定功能硬件逻辑等、或其任何组合)。因此，当平台200被操作为交通工具时，逻辑224检测周围环境的众包地图与周围环境的实时体积地图之间的一个或多个差异，并经由v2v链路发送第一消息，其中(多个)差异在第一消息中以第一分辨率表示。另外，逻辑224可以经由v2i链路发送第二消息，其中(多个)差异在第二消息中以第二分辨率表示，并且其中第一分辨率小于第二分辨率。
61.当平台200被操作为服务器时，所图示的逻辑224从第一交通工具接收第一消息，其中第一消息包括来自第一有利位置的、环境的众包地图与环境的第一实时体积地图之间的一个或多个差异的八叉树表示。逻辑224还可以从第二交通工具接收第二消息，其中第二消息包括来自第二有利位置的(多个)差异的第二八叉树表示。在实施例中，逻辑224将第一八叉树表示和第二八叉树表示整合到与众包地图相关联的动态层中。平台200在从逻辑224减少无线带宽消耗、减少等待时间和/或改善安全性方面来说可被认为是性能增强的。尽管逻辑224被示出在主机处理器204中，但逻辑224可位于平台200中的其他地方。
62.图14示出了半导体封装设备230。设备230可以包括用于实现已经讨论过的方法40(图2)、方法110(图7)、方法170(图11)、和/或方法180(图12)的一个或多个方面的逻辑232，并且可以容易地替代已经讨论过的逻辑224(图13)。所图示的设备230包括一个或多个衬底234(例如，硅、蓝宝石、砷化镓)，其中逻辑232(例如，晶体管阵列和其他集成电路/ic组件)耦合至(多个)衬底234。逻辑232可至少部分地被实现在可配置逻辑或固定功能逻辑硬件中。在一个示例中，逻辑232包括定位(例如，嵌入)在(多个)衬底234内的晶体管沟道区。因此，逻辑232与(多个)衬底234之间的接口可以不是突变结。逻辑232还可被认为包括在(多个)衬底234的初始晶片上生长的外延层。
63.附加说明和示例：
64.示例1包括一种半导体设备，包括：一个或多个衬底以及逻辑，该逻辑耦合至一个或多个衬底，其中逻辑至少部分地在可配置逻辑或固定功能硬件逻辑中实现，该逻辑耦合至一个或多个衬底以：检测周围环境的众包地图与周围环境的实时体积地图之间的一个或多个差异，经由交通工具对交通工具链路发送第一消息，其中一个或多个差异在第一消息中以第一分辨率表示，并且经由交通工具对基础设施链路发送第二消息，其中一个或多个差异在第二消息中以第二分辨率表示，并且其中第一分辨率小于第二分辨率。
65.示例2包括示例1的半导体设备，其中，一个或多个差异在第一消息和第二消息中被表示为八叉树。
66.示例3包括示例1的半导体设备，其中，第二消息进一步包括外观传感器数据。
67.示例4包括示例1的半导体设备，其中，耦合至一个或多个衬底的逻辑用于基于尺寸和时间存在来将一个或多个差异分类为一个或多个对象。
68.示例5包括示例4的半导体设备，其中，第一消息和第二消息专用于超过尺寸阈值和时间存在阈值的对象。
69.示例6包括示例1至示例5中任一项的半导体设备，其中耦合至一个或多个衬底的逻辑用于响应于检测到一个或多个差异而发起定时器，如果在定时器到期之前经由交通工
具对交通工具链路接收到冗余体积表示，则取消定时器，其中，如果在定时器到期之前没有经由交通工具对交通工具链路接收到冗余体积表示，则响应于定时器的到期而发送第一消息，并且关于一个或多个差异生成共识决策。
70.示例7包括示例6的半导体设备，其中定时器被发起至与同检测到一个或多个差异相关联的置信度得分成反比的值。
71.示例8包括至少一种计算机可读存储介质，包括一组指令，该组指令当由交通工具执行时，使交通工具检测周围环境的众包地图与周围环境的实时体积地图之间的一个或多个差异，经由交通工具对交通工具链路发送第一消息，其中一个或多个差异在第一消息中以第一分辨率表示，并且经由交通工具对基础设施链路发送第二消息，其中一个或多个差异在第二消息中以第二分辨率表示，并且其中第一分辨率小于第二分辨率。
72.示例9包括示例8的至少一种计算机可读存储介质，其中，一个或多个差异在第一消息和第二消息中被表示为八叉树。
73.示例10。示例8的至少一种计算机可读存储介质，其中第二消息进一步包括外观传感器数据。
74.示例11包括示例8的至少一种计算机可读存储介质，其中，指令当被执行时使交通工具基于尺寸和时间存在来将一个或多个差异分类为一个或多个对象。
75.示例12包括示例11的至少一种计算机可读存储介质，其中，第一消息和第二消息专用于超过尺寸阈值和时间存在阈值的对象。
76.示例13包括示例8至示例12中任一项的至少一种计算机可读存储介质，其中，指令当被执行时使交通工具响应于检测到一个或多个差异而发起定时器，如果在定时器到期之前经由交通工具对交通工具链路接收到冗余的体积表示，则取消定时器，其中，如果在定时器到期之前没有经由交通工具对交通工具链路接收到冗余体积表示，则响应于定时器的到期而发送第一消息，并且关于一个或多个差异生成共识决策。
77.示例14包括示例13的至少一种计算机可读存储介质，其中定时器被发起至与同检测到一个或多个差异相关联的置信度得分成反比的值。
78.示例15包括一种半导体设备，包括：一个或多个衬底，以及逻辑，逻辑耦合至一个或多个衬底，其中逻辑至少部分地在可配置逻辑或固定功能硬件逻辑中实现，该逻辑耦合至一个或多个衬底以：从第一交通工具接收第一消息，其中，第一消息包括来自第一有利位置的、环境的众包地图与环境的第一实时体积地图之间的一个或多个差异的第一八叉树表示，从第二交通工具接收第二消息，其中，第二消息包括来自第二有利位置的一个或多个差异的第二八叉树表示，并将第一八叉树表示和第二八叉树表示整合到与众包地图相关联的动态层中。
79.示例16包括示例15的半导体设备，其中耦合至一个或多个衬底的逻辑用于标识与第一八叉树表示相对应的第一组体素，标识与第二八叉树表示相对应的第二组体素，并基于第一组体素和第二组体素生成高斯密度分布。
80.示例17包括示例16的半导体设备，其中耦合至一个或多个衬底的逻辑用于基于高斯密度分布来标识一个或多个融合对象区域。
81.示例18包括示例17的半导体设备，其中耦合至一个或多个衬底的逻辑用于在一个或多个融合对象区域周围添加一个或多个安全性裕度区域。
82.示例19包括示例15至18中任一项的半导体设备，其中耦合至一个或多个衬底的逻辑用于将动态层发送到第一交通工具和第二交通工具。
83.示例20包括至少一种计算机可读存储介质，包括一组指令，该组指令当由计算系统执行时，使计算系统从第一交通工具接收第一消息，其中，第一消息包括来自第一有利位置的、环境的众包地图与环境的第一实时体积地图之间的一个或多个差异的第一八叉树表示，从第二交通工具接收第二消息，其中，第二消息包括来自第二有利位置的一个或多个差异的第二八叉树表示，并将第一八叉树表示和第二八叉树表示整合到与众包地图相关联的动态层中。
84.示例21包括示例20的至少一种计算机可读存储介质，其中，指令当被执行时，使计算系统标识与第一八叉树表示相对应的第一组体素，标识与第二八树表示相对应的第二组体素，并基于第一组体素和第二组体素来生成高斯密度分布。
85.示例22包括示例21的至少一种计算机可读存储介质，其中，指令当被执行时使计算系统基于高斯密度分布来标识一个或多个融合对象区域。
86.示例23包括示例22的至少一种计算机可读存储介质，其中，指令当被执行时使计算系统在一个或多个融合对象区域周围添加一个或多个安全性裕度区域。
87.示例24包括示例20至示例23中任一项的至少一个计算机可读存储介质，其中，指令当被执行时使计算系统将动态层发送到第一交通工具和第二交通工具。
88.示例25包括一种操作交通工具的方法，包括检测周围环境的众包地图与周围环境的实时体积地图之间的一个或多个差异，经由交通工具对交通工具链路发送第一消息，其中一个或多个差异在第一消息中以第一分辨率表示，并且经由交通工具对基础设施链路发送第二消息，其中一个或多个差异在第二消息中以第二分辨率表示，并且其中第一分辨率小于第二分辨率。
89.示例26包括一种操作计算系统的方法，该方法包括：从第一交通工具接收第一消息，其中，第一消息包括来自第一有利位置的、环境的众包地图与环境的第一实时体积地图之间的一个或多个差异的第一八叉树表示，从第二交通工具接收第二消息，其中，第二消息包括来自第二有利位置的一个或多个差异的第二八叉树表示，并将第一八叉树表示和第二八叉树表示整合到与众包地图相关联的动态层中。
90.示例27包括用于执行如示例25至26中任一项所述的方法的装置。
91.因此，本文所描述的技术可以在环境的空间变化形式的动态改变被检测到并被反映在hd地图中时，最小化交通工具与服务器之间的通信。该技术还提供了来自多个源的动态hd地图信息层的紧凑表示和共识，并优化了众包地图更新。此外，通过将两个观察结果注册在空时运动帧中来从两个不同的有利位置组合观察结果。另外，提供了一致的、紧凑的、和可扩展的3d空间的表示。通过解决方案解决了验证多个观察结果的问题，该解决方案还考虑将来自不同观察者的3d空间的体积建图进行结合，以实现与当前地图相比更快地计算动态差异。
92.实施例适用于与所有类型的半导体集成电路(“ic”)芯片一起使用。这些ic芯片的示例包括但不限于处理器、控制器、芯片组组件、可编程逻辑阵列(pla)、存储器芯片、网络芯片、芯片上系统(soc)、ssd/nand控制器asic等等。另外，在一些附图中，信号导线用线表示。一些线可以是不同的以指示更具构成性的信号路径，可具有数字标号以指示构成性信
号路径的数目，和/或可在一端或多端具有箭头以指示主要信息流向。然而，这不应以限制性方式来解释。相反，此类增加的细节可与一个或多个示例性实施例结合使用以促进更容易地理解电路。任何所表示的信号线，不管是否具有附加信息，实际上都可包括一个或多个信号，这一个或多个信号可在多个方向上行进，并且可用任何适合类型的信号方案来实现，例如利用差分对来实现的数字或模拟线路、光纤线路、和/或单端线路。
93.示例尺寸/模型/值/范围可能已经被给出，但是实施例不限于此。随着制造技术(例如，光刻法)随时间变得成熟，预料到能制造出更小尺寸的设备。另外，为了说明和讨论的简单并且为了不使实施例的某些方面模糊，到ic芯片和其他组件的公知的功率/接地连接可在附图内示出也可不示出。进一步地，能以框图形式示出布置以避免使实施例模糊，还鉴于相对于此类框图布置的实现的细节高度依赖于将在其内实现实施例的计算系统这一事实，即，此类细节应当很好地在本领域技术人员的见识范围之内。在阐述了具体细节(例如，电路)以描述示例实施例的情况下，对本领域技术人员应当显而易见的是，实施例可以在没有这些具体细节的情况下或者利用这些具体细节的变型来实施。描述因此被视为是说明性的而不是限制性的。
94.术语“耦合的”在本文中可被用于表示所讨论的组件之间的任何类型的直接或间接关系，且可应用于电气的、机械的、流体的、光学的、电磁的、机电的或其他连接。另外，术语“第一”、“第二”等在本文中可仅用于便于讨论，并且不带有特定时间的或按时间顺序的意义，除非另有陈述。
95.如在本技术和权利要求书中所使用的，由术语“中的一个或多个”联接的项列表可意指所列项的任何组合。例如，短语“a、b或c中的一个或多个”可意指a；b；c；a和b；a和c；b和c；或a、b和c。
96.本领域技术人员从前面的描述将领会，实施例的广泛技术能以各种形式来实现。因此，尽管已结合其特定示例描述了实施例，但实施例的真实范围不应当限于此，因为在研究附图、说明书和所附权利要求书之后，其他修改对于本领域技术人员将变得显而易见。