用于评估传感器性能的方法和系统与流程

用于评估传感器性能的方法和系统
1.相关申请的交叉引用
2.本技术要求于2020年8月18日提交的题为“multi sensor quality assessment using3dreconstruction(使用3d重建的多传感器质量评估)”的美国专利申请号63/066,834的优先权权益，其全部内容通过引用并入本文。
技术领域
3.本发明涉及传感器性能评估和资源分配领域。更具体地，本发明涉及实时评估传感器性能和计算资源分配的系统和方法。


背景技术：

4.目前可用的辅助驾驶(driving)系统可以从多个相机获得实时信息，并且可能需要在这些传感器之间实时进行选择。这种选择通常是基于环境条件执行的。例如，在晴朗的白天，可见光(vl)相机可用于获得交通工具周围环境的高分辨率图像；在夜间，对于这一能力，红外(ir)相机可能更优选；并且在有雾的条件下，雷达或光探测和测距(lidar)传感器可能是优选的。然而，这钟选择可能在计算上是浪费的并且是次优的。
5.例如，当前可用的辅助驾驶系统可以被配置为基于图像的明亮区段的比例来评估图像的质量。头灯的使用可能会反射来自靠近交通工具附近的物体的光，但可能会较差地照亮可能较远的物体，尽管这些物体仍然与引导(conduct)交通工具相关。因此，头灯可照亮传感器的大部分视野，从而导致辅助驾驶系统将大部分获得的图像评估为光线充足。换言之，头灯可使vl传感器产生的图像变亮，并使辅助驾驶系统偏向于选择vl传感器，即使远处物体的照明条件可能很差。在这种情况下，当前可用的辅助驾驶系统可能：(a)使用次优选择的vl传感器来计算引导交通工具的驾驶路径，以及(b)将计算资源浪费在不良或冗余的传感器上。


技术实现要素：

6.因此，可能需要一种基于传感器真实环境的三维(3d)重建来评估传感器性能的系统和方法。
7.本发明的实施例可以包括一种用于通过3d重建过程评估一个或更多个传感器通道的性能的方法和系统。
8.术语“传感器”在本文中可用于指代可以被配置为提供关于该设备附近在真实世界中的特殊信息的设备。例如，传感器可以包括vl相机、ir相机、立体相机(例如，ir或vl)、lidar传感器、雷达等。
9.术语“传感器通道”和“传感器集”在本文中可互换使用以指代可用于产生真实世界物体或场景的3d重建的空间传感器组。例如，传感器通道或集可包括两个单独的传感器，例如vl相机，其可被布置以产生表示场景的立体3d信息，如本领域已知的。
10.根据一些实施例，每个传感器通道或集可以包括唯一的或排他的传感器组。例如，
第一传感器通道可以包括传感器a和b，而第二通道可以包括传感器c和d。如本文所详述，本发明的实施例可以(a)基于第一通道的传感器a和b，产生物体或场景的第一3d重建；(b)并基于第二通道的传感器c和d，产生物体或场景的第二3d重建；(c)基于第一3d重建和第二3d重建的评分选择通道(和后续传感器)。
11.附加地或可替代地，传感器通道可以包括非排他的传感器组。例如，本发明的实施例可以从传感器(例如，相机)a、b和c接收空间传感数据，并且可需要在传感器a、b和c当中选择最佳的传感器组合。本发明的实施例可以因此定义了三个通道：第一传感器通道可以包括传感器a和b，第二通道可以包括传感器a和c，并且第三传感器通道可以包括传感器b和c。如本文所详述，本发明的实施例可以继续分别产生三个3d重建数据元素(例如，每个传感器通道的3d重建数据元素)，对3d重建数据元素进行评分，并基于3d重建数据元素的评分选择通道(和后续传感器)。
12.术语“3d重建”可在本文中用于指代可通过其获得真实世界物体或场景的形状或外观的过程。可替代地，术语“3d重建”可在本文中用于指代这种过程的结果或产物，包括例如深度图、点云等。
13.例如，本发明的实施例可以从两个或更多个相机(例如，立体相机)接收多个图像数据元素。实施例可以通过使用立体视觉来提取与接收到的多个图像中描绘的物体或场景有关的3d信息，并且可以产生3d重建数据元素，例如深度图，如本领域已知的。
14.在另一示例中，本发明的实施例可以从雷达或lidar传感器接收表示来自雷达或lidar传感器的真实世界物体的方向和/或距离的一个或更多个数据元素，并且可以产生3d重建数据元素，例如点云，如本领域已知的。
15.根据一些实施例，3d重建可以是或可以包括数据结构(例如，表格、图像、2维(2d)矩阵、3d矩阵等)，其可以传达或包括提取的3d信息。例如，3d重建数据元素可以是深度图，其可以表现为2d矩阵或图像，其中每个条目或像素的值可以表示(a)从视点(例如，传感器)到所描绘场景中的表面的距离；(b)从视点到所描绘场景中的表面的方向。
16.本发明的实施例可以包括一种由至少一个处理器引导交通工具的方法。该方法的实施例可以包括从与交通工具相关联的多个传感器通道接收传感器数据；对于每个传感器通道，基于所述传感器数据计算表示真实世界空间信息的三维(3d)重建数据元素(例如，深度图或点云)。对于每个传感器通道，实施例可以基于3d重建数据元素计算通道分数并且基于通道分数选择多个传感器通道中的传感器通道。本发明的实施例随后可以基于选择的传感器通道的3d重建数据元素引导交通工具。
17.根据一些实施例，可以迭代地完成选择传感器通道，其中每次迭代与特定时间帧有关。在每个时间帧中，可以基于在那个时间帧中选择的传感器通道的3d重建数据元素来引导交通工具。
18.根据一些实施例，在每个时间帧：(a)相关选择的传感器通道的3d重建数据元素可以以第一分辨率或质量表示真实世界空间信息，以及(b)至少一个其他的第二传感器通道可以以第二较差分辨率表示真实世界空间信息。本文在分辨率的上下文中可以使用术语“较差”来指代第二通道的3d重建数据元素的数字表示可具有较差的精度，例如，由较少数量的数据位来表示。
19.根据一些实施例，引导交通工具可包括基于选择的传感器通道的3d重建数据元素
计算驾驶路径；将驾驶路径发送到计算机化的自主驾驶系统，该计算机化的自主驾驶系统适于控制交通工具的至少一种运动特性；基于所述计算的驾驶路径，由计算机化的自主驾驶系统引导交通工具。
20.根据一些实施例，至少一种运动特性可以选自以下各项组成的列表：速度、加速度、减速度、转向方向、方位、姿势和仰角。
21.根据一些实施例，计算通道分数可以包括将3d重建数据元素分割成区域；对于每个区域，计算区域分数；以及汇总区域分数以产生通道分数。
22.根据一些实施例，计算区域分数可包括接收相关性图，将相关性分数与3d重建数据元素的一个或更多个区域相关联；基于3d重建数据元素计算真实世界大小值，其中所述真实世界大小值表示在相关区域中表示的真实世界表面的大小；以及基于真实世界大小值和相关性图计算区域分数。
23.例如，本发明的实施例可以针对3d重建数据元素的一个或更多个区域计算置信度值，并且可以基于相关区域的置信度值计算特定区域的区域分数。
24.本发明的实施例可以对传感器数据应用基于机器学习(ml)的物体识别算法以识别至少一个真实世界物体。本发明的实施例可以将至少一个真实世界物体标记或关联到3d重建数据元素的一个或更多个区域；以及进一步基于相关区域与至少一个真实世界物体的关联来计算特定区域的区域分数。
25.本发明的实施例可以包括从多个传感器接收空间传感器数据，其中每个传感器可以与一个或更多个传感器通道相关联。
26.本发明的实施例可以包括一种用于引导交通工具的系统。该系统的实施例可以包括：计算机化的自主驾驶系统，其适于控制交通工具的至少一种运动特性；非暂时性存储器装置，其中指令代码模块可以存储在该非暂时性存储器装置中；以及至少一个处理器，其与该存储器装置相关联并且被配置为执行指令代码模块。
27.在执行所述指令代码模块时，至少一个处理器可以被配置为：从与交通工具关联的多个传感器通道接收传感器数据；对于每个传感器通道，基于所述传感器数据计算表示真实世界空间信息的3d重建数据元素；对于每个传感器通道，基于3d重建数据元素计算通道分数；基于通道得分，选择多个传感器通道中的传感器通道；以及基于选择的传感器通道的3d重建数据元素，由计算机化的自主驾驶系统引导交通工具。
28.本发明的实施例可以包括一种通过至少一个处理器引导自主交通工具的方法。本发明的实施例可以包括从多个传感器通道接收空间数据。
29.对于每个传感器通道，本发明的实施例可以：基于接收到的空间数据计算3d重建数据元素；将3d重建划分为区域；基于以下至少一项计算每个所述区域的区域分数：对应于该区域的真实世界大小、该区域的深度映射的清晰度以及该区域与真实世界物体的关联；以及计算通道分数。本发明的实施例可以通过执行区域分数的加权和来计算通道分数。本发明的实施例可以基于通道分数随后选择多个传感器通道中的至少一个传感器通道，以及基于所述选择引导自主交通工具。
30.根据一些实施例，从多个传感器通道接收空间数据可以包括从多个传感器接收空间传感器数据，其中每个传感器可以与一个或更多个传感器通道相关联，并且其中计算通道分数可以包括单独计算至少一个传感器通道的各个传感器的质量分数。
31.根据一些实施例，选择传感器通道可以包括：对一个或更多个传感器质量分数应用适于补偿传感器伪影的偏置函数，以获得偏置的传感器质量分数；比较两个或更多个传感器质量分数和/或偏置的传感器质量分数；以及基于所述比较来选择传感器通道。
32.根据一些实施例，至少一个处理器可以：基于通道分数计算选择的至少一个传感器通道的3d重建数据元素的加权平均；基于3d重建数据元素的加权平均计算驾驶路径；以及根据计算的驾驶路径引导自主交通工具。
附图说明
33.在说明书的结论部分中特别指出并明确要求保护被视为发明的主题。然而，本发明的组织和操作方法，连同其目的、特征和优点，在阅读附图时可以通过参考以下详细描述得到最好的理解，其中：
34.图1是描绘根据一些实施例的可以包括在用于评估传感器性能的系统中的计算装置的框图；
35.图2是描绘根据一些实施例的用于评估传感器性能的系统的框图；
36.图3是描绘场景的俯视图的示意图，其中观察者的视野中有多个物体。
37.图4是描绘根据本发明的一些实施例的3d重建评分方法的流程图；
38.图5是描述根据本发明的一些实施例的用于评估传感器性能的系统的应用示例的框图；
39.图6是描绘根据本发明的一些实施例的vl(可见光)通道和ir(红外线)通道随时间的评分的时间刻度图；
40.图7是描绘根据本发明的一些实施例的对多个传感器通道进行评分的过程中的数据流的框图；
41.图8是描绘根据本发明的一些实施例的独立区域评分的过程中的数据流的框图；
42.图9是描绘根据本发明的一些实施例的基于先前计算来计算区域分数的示例的框图；
43.图10是描绘根据本发明的一些实施例的通过至少一个处理器引导交通工具的方法的流程图；和
44.图11是描绘根据本发明的一些实施例的通过至少一个处理器引导交通工具的另一种方法的流程图。
45.应当理解，为了说明的简单和清楚，图中所示的元件未必按比例绘制。例如，为了清楚起见，一些元件的维度可相对于其他元件被放大。此外，在认为合适的情况下，附图标记可以在附图当中重复以指示相应或类似的元件。
具体实施方式
46.本领域的技术人员将认识到本发明可以在不脱离其精神或基本特征的情况下以其他特定形式体现。因此，前述实施例在所有方面都被认为是说明性的，而不是对本文所描述的本发明的限制。因此，本发明的范围由所附权利要求指示，而不是由前述描述指示，并且落入权利要求等同物的含义和范围内的所有变化因此旨在包含在其中。
47.在下面的详细描述中，阐述了许多具体细节以提供对本发明的透彻理解。然而，本
领域的技术人员将理解，可以在没有这些具体细节的情况下实施本发明。在其他情况下，没有详细描述公知的方法、程序和部件以免混淆本发明。关于一个实施例描述的一些特征或元素可以与关于其他实施例描述的特征或元素组合。为了清楚起见，可不再重复讨论相同或相似的特征或元件。
48.尽管本发明的实施例在这方面不受限制，但是使用诸如“处理”、“计算(compute)”、“运算(calculate)”、“确定”、“建立”、“分析”、“核查”等术语的讨论，可以指计算机、计算平台、计算系统或其他电子计算装置的操作和/或过程，其将计算机的寄存器和/或存储器内的表示为物理(例如，电子)量的数据操纵和/或转换为计算机的寄存器和/或存储器或可以存储执行操作和/或过程的指令的其他信息非暂时性储存介质内的类似地表示为物理量的其他数据。
49.尽管本发明的实施例在这方面不受限制，但如本文所用的术语“多”和“多个”可包括例如“多个”或“两个或更多个”。在整个说明书中可以使用术语“多”或“多个”来描述两个或更多个部件、装置、元件、单元、参数等。本文使用的术语“集”可包括一个或更多个项目。
50.除非明确说明，否则本文描述的方法实施例不限于特定顺序或序列。另外，所描述的方法实施例或其元素中的一些可以同时性、在同一时间点或同时发生或执行。
51.现在参考图1，其是描绘根据一些实施例的计算装置的框图，该计算装置可以被包括在用于评估传感器性能的系统的实施例内。
52.计算装置1可以包括处理器或控制器2(其可以是例如中央处理单元(cpu)处理器、芯片或任何合适的计算或可计算装置)、操作系统3、存储器4、可执行代码5、储存系统6、输入装置7和输出装置8。处理器2(或一个或更多个控制器或处理器，可能跨越多个单元或装置)可以被配置为运行本文描述的方法，和/或执行或充当各种模块、单元等。不止一个计算装置1可以被包括在根据本发明的实施例的系统中，并且一个或更多个计算装置1可以充当根据本发明的实施例的系统的部件。
53.操作系统3可以是或可以包括被设计和/或被配置为执行涉及协调、调度、仲裁、监督、控制或以其他方式管理计算装置1的操作的任务的任何代码段(例如，类似于本文描述的可执行代码5的代码段)，例如，调度软件程序或任务的执行，或者使软件程序或其他模块或单元能够进行通信。操作系统3可以是商业操作系统。应当注意，操作系统3可以是可选部件，例如，在一些实施例中，系统可以包括不需要或不包括操作系统3的计算装置。
54.存储器4可以是或可以包括例如随机存取存储器(ram)、只读存储器(rom)、动态ram(dram)、同步dram(sd-ram)、双倍数据速率(ddr)存储器芯片、闪存、易失性存储器、非易失性存储器、高速缓冲存储器、缓冲器、短期存储器单元、长期存储器单元或其他合适的存储器单元或储存单元。存储器4可以是或可以包括多个可能不同的存储器单元。存储器4可以是计算机或处理器非暂时性可读介质，或计算机非暂时性储存介质，例如ram。在一个实施例中，诸如存储器4、硬盘驱动器、另一储存装置等的非暂时性储存介质可以存储指令或代码，该指令或代码在由处理器执行时可以使处理器运行如本文所描述的方法。
55.可执行代码5可以是任何可执行代码，例如应用程序、程序、过程、任务或脚本。可执行代码5可以由可能在操作系统3的控制下的处理器或控制器2执行。例如，可执行代码5可以是可以评估传感器性能的应用程序，如本文进一步描述的。尽管为了清楚起见，图1中示出了单项可执行代码5，但是根据本发明的一些实施例的系统可以包括类似于可执行代
码5的多个可执行代码段，其可以被加载到存储器4中并且使处理器2运行本文所描述的方法。
56.储存系统6可以是或可以包括例如本领域已知的闪存、内部或嵌入本领域已知的微控制器或芯片的存储器、硬盘驱动器、cd-可记录(cd-r)驱动器、蓝光光盘(bd)、通用串行总线(usb)装置或其他合适的可移动和/或固定储存单元。来自一个或更多个空间传感器的数据可以存储在储存系统6中并且可以从储存系统6加载到存储器4中，在存储器中，其可以由处理器或控制器2处理。在一些实施例中，可以省略图1中所示的一些部件。例如，存储器4可以是具有储存系统6的储存能力的非易失性存储器。因此，尽管示出为单独的部件，但储存系统6可以嵌入或包括在存储器4中。
57.输入装置7可以是或可以包括任何合适的输入装置、部件或系统，例如，可拆卸的键盘或小键盘、鼠标、一个或更多个空间传感器(例如，相机)等。输出装置8可以包括一个或更多个(可能是可拆卸的)显示器或监视器、扬声器和/或任何其他合适的输出装置。如框7和框8所示，任何适用的输入/输出(i/o)装置都可以连接到计算装置1。例如，输入装置7和/或输出装置8中可以包括有线或无线网络接口卡(nic)、通用串行总线(usb)装置或外部硬盘驱动器。将认识到，任何合适数量的输入装置7和输出装置8可以可操作地连接到计算装置1，如框7和框8所示。
58.根据本发明的一些实施例的系统可以包括诸如但不限于多个中央处理单元(cpu)或任何其他合适的多用途或特定处理器或控制器(例如，类似于元件2)、多个输入单元、多个输出单元、多个存储器单元以及多个储存单元的部件。
59.现在参考图2，其描绘根据一些实施例的用于评估传感器性能的系统的示例。在图2的非限制性实施示例中，系统100可以被配置为引导或控制诸如自主汽车、自主无人机等的自主交通工具200的移动。本领域技术人员可以理解，系统100的附加也是可能的，可以通过其评估空间传感器的性能。
60.根据本发明的一些实施例，系统100可以被实施为软件模块、硬件模块或其任何组合。例如，系统100可以是或可以包括诸如图1的元件1的计算装置，并且可以适于运行一个或更多个可执行代码模块(例如，图1的元件5)以评估空间传感器的性能，基于评估选择一个或更多个特定传感器，并根据源自选择的传感器的信息采取行动，如本文进一步描述的。
61.如图2所示，箭头可以表示一个或更多个数据元素进出系统100和/或在系统100的模块或元件之间的流动。为清楚起见，图2中省略了一些箭头。
62.图2的示例示出了具有两个传感器通道20的系统100。对于每个通道，可以使用例如立体深度、从运动恢复结构或本领域已知的任何其他方法来创建3d重建。系统100可以使用排他地来自其传感器的数据针对每个通道生成3d重建111或深度估计图。3d重建111然后可以如本文所详述的那样被评分复杂的并且评分较高的通道20可以被选择为优选的。朝向系统目标(例如，引导自主交通工具)的计算可将更多资源分派给从优选通道的20个传感器收集的数据。此外，用户接口(例如，图1的元件7和8)可以根据优选通道决定而改变。
63.根据本发明的一些实施例，系统100可以评估和比较不同传感器通道20(例如20a、20b)的性能，这些传感器通道20可以是或可以包括不同类型的传感器20’(例如20’a、20’b)。
64.例如：传感器通道20a可以包括两个传感器20’a，例如vl相机。vl相机20’a可以以
立体配置布置，其适于产生vl光谱中真实世界物体或场景的3d重建(例如，深度图)。传感器通道20b可以包括两个传感器20’b，例如ir相机。ir相机20’b可以以立体配置布置，其适于产生ir光谱中真实世界物体或场景的3d重建(例如，深度图)。具有适于产生真实世界的3d重建的空间传感器20’的传感器通道20的其他配置也是可能的。
65.如图2所示，系统100可以从多个传感器通道20(例如，分别为20a、20b)接收数据21(例如，21a、21b)。例如，在引导自主交通工具200的实施方式中，系统100可以从传感器通道20或传感器20’(例如与自主交通工具200相关联或安装在自主交通工具200上的立体相机或lidar传感器)接收数据21，例如周围场景的图像。
66.根据一些实施例，传感器数据21对于每个传感器通道可以是排他的。例如，系统100可以从多个传感器20’接收空间传感器数据21，每个传感器20’可以与唯一的传感器通道20(例如，20a或20b)相关联或赋予(attribute)唯一的传感器通道20。附加地或可替代地，传感器数据21在传感器通道之间可以不是排他的。例如，系统100可以从多个传感器20’接收空间传感器数据21，其中每个传感器20’可以与一个或更多个(例如多个)传感器通道20(例如20a和20b)相关联。
67.如图2所示，系统100可以包括3d重建模块110，如本领域已知的，其适于执行基于数据21的3d重建过程。在一些实施例中，3d重建模块110可以被配置为针对每个传感器通道20(例如，20a、20b)计算相应的3d重建数据元素111(例如，分别为111a、111b)。3d重建数据元素111在本文中也可称为深度估计图。
68.根据一些实施例，系统100可以包括通道评分模块130，该模块适于基于各个通道的3d重建数据元素111计算至少一个(例如，每个)通道20的通道分数131(例如，131a、131b)，如本文所详述的。换言之，3d重建数据元素111例如可以是深度图或点云，表示物体和/或场景的真实世界空间信息，并且系统100可以基于产生的3d重建数据元素111评估或比较不同传感器通道20或传感器类型的性能，如本文所详述的。
69.根据一些实施例，系统100可以包括区域分数模块120，该模块适于将3d重建数据元素111分段或划分为对应于各个真实世界物体或区域的多个区或区域120a。例如，3d重建数据元素111可以是2d深度图，并且区域120a可以是深度图中的固定大小的区域(例如，单像素或预定义窗口)。根据一些实施例，区域分数模块120可以计算3d重建数据元素111的每个区域120a的区域分数121，并且通道评分模块130可以汇总区域分数121以产生通道分数131。例如，通道评分模块130可以对源自特定通道20的特定3d重建数据元素111的区域分数值121求和或累加，以产生对应于特定通道20的通道分数131。在另一示例中，通道评分模块130可以对3d重建数据元素111的区域分数值121应用另一个数学函数(计算加权和、计算最大值、计算平均值、计算加权平均)，以产生相关通道20的通道分数131。
70.根据一些实施例，区域分数模块120可以基于相关性图120c计算3d重建数据元素111的每个区域120a的区域分数121。
71.还参考图3，其是描绘场景s100的俯视图的示意图，其中多个物体(例如，v101、v103和v104)在观察者v105的视场v100中。
72.由于它们的位置，物体v101、v103和v104在从观察者v105的视点拍摄的2d图像中可占据相同的视角v102，因此可能看起来具有相同的大小。如图3所示，给定每个物体v101、v103和v104的距离或深度值，本发明的实施例可能够评估物体的真实世界大小。本发明的
实施例可以根据相关性对物体进行分类，该相关性基于(a)它们与观察者的距离、(b)它们相对于观察者v105的角方位和/或(c)对它们真实世界大小的估计。
73.例如，考虑图2的示例实施方式，其中系统100被配置为引导自主交通工具200。在这样的示例中，观察者v105可以是位于自主交通工具200上的传感器。物体v101可以很大很远，例如场景背景中的一座山，因此可被归类为与系统的兴趣或引导自主交通工具200的任务无关或几乎不相关。在另一个示例中，物体v104可以非常近且很小(例如，一只蜜蜂，在前景中飞行)，因此也可能几乎不相关。在另一个示例中，物体v103(例如，第一个行人)可以具有中等大小并且距观察者v105中等距离，因此可被归类为对系统的兴趣或引导自主交通工具200的任务具有关键重要性。在又一个示例中，物体v106(例如，第二个行人)可以具有中档距离，并且具有中档大小，但也可以具有可能使其与引导自主交通工具200的任务无关的取向或角方位α。换言之，行人v106可以关于观察者v105的预定义的前向轴(例如，运动方向)成角度α定位，并且可以不对引导自主交通工具200施加任何障碍，因此可以是被本发明的实施例视为与引导自主交通工具200的任务具有低相关性。
74.根据一些实施例，区域评分模块120可以根据以下公式初始计算3d重建111的区域120a的区域分数121：
75.min(所估计的区大小120d(以m2为单位)，所估计的区大小120d(以m2为单位)(如果相关物体距离50m))。
76.区域评分模块120可以根据附加的考虑修改初始分数，如在以下示例中详述的。
77.根据本发明的一些实施例，区域评分模块120可以基于物体的大小和/或在场景中的位置将相关性权重赋予物体。例如，区域评分模块120可以产生或接收(例如，经由图1的输入装置7)相关性图120c，该相关性图120c可以将相关性分数121关联或赋予如在3d重建数据元素111中所展现的场景的各个区或区域120a。位于区120a中的物体(或其部分)(a)基于它们与观察者v105的距离和/或角方位α被赋予高相关性分数，并且(b)表示在预定义的相关性范围内的估计的真实世界大小可分配高相关性权重或分数121。在另一个示例中，位于区120a中的物体(或其部分)(a)基于它们与观察者v105的距离和/或角方位α被赋予低相关性分数，或(b)具有超出预定义的相关性范围(例如，太小或太大)的估计的真实世界大小可被分配低相关性权重或分数121。
78.换言之，区域评分模块120可以针对3d重建数据元素111的一个或更多个(例如，每个)单独的区或区域120a计算区域分数121。区域评分模块120可以基于相关区域的特征对每个区域分数应用权重。这些特征可包括，例如：系统感兴趣区的给定的它们的深度、大小和/或角方位或取向。
79.附加地或可替代地，系统120可以包括基于机器学习(ml)的物体识别模块150，该模块适于基于传感器数据21(例如，图像)和/或基于3d重建数据元素111(例如，深度图图像)识别至少一个物体(例如，汽车、人等)，如本领域已知的。
80.根据一些实施例，系统100可以采用基于ml的模型150来对传感器数据21和/或3d重建数据元素111应用物体识别算法并且识别至少一个感兴趣的真实世界物体。区域评分模块120可以将至少一个真实世界物体关联到3d重建数据元素的一个或更多个区域120a并且进一步基于相关区域与至少一个真实世界物体的关联来计算特定区域120a的区域分数121。
81.换言之，区域评分模块120可以进一步基于相关区域与物体的关联或标记来计算3d重建数据元素111的一个或更多个(例如，每个)单独区或区域120a的区域分数121。该关联或标记在图2中表示为元素151。例如，在引导自主交通工具200的实施方式中，区域评分模块120可以将一个或更多个区域120a与由物体识别模块150识别的感兴趣物体(例如，行人)关联或标记151，并且可以基于关联或标记151赋予相关性分数。换言之，如果区域120a表示感兴趣物体(例如，行人)的至少一部分，则区域评分模块120可以基于其高水平的相关性或兴趣将相关区域120a赋予高区域分数。可替代地，如果区域120a表示一片树叶，则区域评分模块120可以基于其低水平的相关性或兴趣将相关区域120a赋予低区域分数121。
82.根据一些实施例，区域评分模块120可以进一步基于由区域120a表示的真实世界大小值120d来计算3d重建数据元素111的一个或更多个(例如，每个)单独区或区域120a的区域分数121。例如，区域评分模块120基于3d重建数据元素111计算真实世界大小值120d，表示相关区域中所表示的真实世界表面的大小。例如，3d重建数据元素111可以是2d深度图，并且真实世界大小值120d可以是或者可以表示真实世界表面在传感器通道20的方向上的投影的大小或面积。在另一个示例中，3d重建数据元素111可以是3d点云，并且真实世界大小值120d可以是或者可以表示点云中所表示的真实世界物体的表面的大小或面积。区域评分模块120可以基于真实世界大小值和相关性图来计算区域分数121。例如，区域的区域分数121可以计算为表示区域120a中展现的真实世界表面的面积或大小的数字，并且由相关性图120c中该区域的相关性分数加权。
83.根据一些实施例，3d重建模块可以产生置信度值或置信度分数112，其是表示产生3d重建数据元素111的置信度水平的数值(例如，在[0,1]的范围内)，如本领域已知的。置信度分数112可以与整个3d重建数据元素111全局关联或与3d重建数据元素111的一个或更多个区域120a关联。在这样的实施例中，区域评分模块120可以基于置信水平值112计算3d重建数据元素111的一个或更多个(例如，每个)单独区或区域120a的区域分数121。
[0084]
例如，如果特定区域120a或3d重建数据元素111的置信度水平112低(例如，0.2)，则相应区域120a的区域分数121可由低置信度水平112加权，从而导致低的区域分数121。在另一个示例中，如果特定区域120a或3d重建数据元素111的置信度水平112低于预定义的阈值(例如，0.1)，则相应区域120a的区域分数121可以分配为“0”值。
[0085]
可替代地，如果特定区域120a或3d重建数据元素111的置信度水平112高(例如，0.9)，则相应区域120a的区域分数121可由高置信度水平112加权，从而导致高区域分数121。
[0086]
如本文所详述的，通道评分模块130可以计算总体通道性能分数131，其表示通道20的性能或有效性以提供与系统100的特定兴趣有关的信息。通道性能分数131(例如，131a、131b)可以被计算为3d重建111(例如，分别111a、111b)的区域分数121(例如，分别121a、121b)的汇总(例如，和、平均、最大值)。
[0087]
根据一些实施例，系统100可以包括选择模块160，其适于迭代地(例如，随时间重复)比较多个通道20的通道性能分数131，并且选择至少一个最佳通道。术语“最佳”可在本上下文中用作与一个或更多个选择的或优选的通道20相关的，对应于特定的迭代或时间范围内多个通道20当中的最佳(例如，最高得分)通道性能分数131。系统100然后可以将计算资源(例如，分派处理单元、计算周期、存储器和/或储存装置)集中在从选择的传感器通道
20或传感器类型的传感器20’收集的数据21上，如本文所详述的。
[0088]
根据一些实施例，给定不同类型的多个传感器20’，系统100可以尝试对每个传感器类型或传感器集20单独地执行3d重建。每个3d重建可用于评估通道性能分数131，该分数可被赋予整个传感器通道20，或单独地赋予传感器通道20中的每个传感器20’。通过比较通道性能分数131，可以选择最相关的传感器通道和/或类型。
[0089]
如本文所详述的，例如可以通过对3d重建数据元素中的每个区域120a进行评分并对结果求和来计算通道性能分数131。区120a的评分可以根据系统对区域120a所表示的真实世界物体的空间特征的兴趣来执行。这样的空间特征可以包括例如深度(例如，距图3的观察者v105的距离)、真实世界大小120d值和取向或角方位(例如，在图3中表示为α)。
[0090]
根据一些实施例，在由两种传感器类型或通道20在3d重建111的深度估计中清楚映射(例如，对应于高置信度水平112)的区域120a可以为两个通道20贡献相似的通道性能分数131，由于相似的深度、大小和取向或角方位值。由一种传感器类型或通道20未成功映射的区(例如，对应于低置信度水平112)可对该通道20的通道性能分数131没有贡献。因此，噪声、饱和度、模糊视觉和使3d重建更可能失败的其他图像伪影可降低预期的通道性能分数131。
[0091]
例如，在部分充满雾的场景中，包括第一类型的传感器20’a的第一传感器通道20a可能能够清楚地看穿雾，而包括第二类型的传感器20’b的第二传感器通道20b可能做不到。在这种情况下，在场景中观察到的有雾区120a对第一通道20a的通道性能分数131a的贡献比对第二通道20b的通道性能分数131b的贡献大。此贡献可使通道20的得分高于通道20b的可能性更大。
[0092]
其他伪影可源自错误的校准，并且可通过导致特定通道20的深度估计置信度较低而导致类似的效果。此外，某些区的深度估计的不稳定性或不太可靠的3d重建在它们的分数贡献中可能比清晰、可靠的3d重建被给出更低的权重。因此，选择模块160可以应用偏置函数来比较不同通道20的通道性能分数131，同时补偿这样的传感器伪影。
[0093]
附加地或可替代地，选择模块160可以接收(例如，经由图1的输入装置7)用户偏好分数60。用户偏好分数60可以例如是数值(例如，在[0,100]范围内)，其可以表示用户对特定通道20和/或传感器20’的偏好。选择模块160可以基于用户偏好分数60对一个或更多个通道20的通道评分131应用偏置函数以根据用户的偏好强制选择特定通道20。附加地或替代地，选择模块160可以对一个或更多个传感器的质量得分131’应用偏置函数以根据用户的偏好强制选择特定传感器20’。
[0094]
例如，用户可以将第一通道20的3d重建111的特定区域120a的用户偏好分数60设置为80，并且将第二通道20的该区域120a的用户偏好分数60设置为40。在这样的实施例中，选择160可以与通道评分模块130协作，以应用偏置函数(例如，对第一通道20的3d重建111中的相关区域120a应用双倍权重)来表明用户的偏好。
[0095]
该方法可以实时评估和比较传感器20’和/或传感器通道20之间的相关性，以便有效地分派计算资源。例如，交通工具导航系统可适用于使用多光谱传感器，例如quadsight传感器集。这样的集可以包括对可见光谱敏感的一对传感器，其在本文中可被称为第一vl传感器通道，以及对红外光谱敏感的第二对传感器，其在本文中可被称为第二ir传感器通道。选择模块160可以针对每个时间帧，基于通道的通道性能分数131迭代地选择传感器通
道20，以在传感器类型或通道(其中一个可以是冗余的)之间分派数据分析资源。换言之，选择模块160可以允许系统100计算或执行系统100的目标(例如，引导自主交通工具)，同时将更多计算资源分派给源自优选或选择的通道20的数据21。
[0096]
如图2所示，系统100可以包括驾驶路径模块140，其适于基于选择的通道20的3d重建数据元素111和/或基于选择的通道20的输入数据元素21来计算驾驶路径141。
[0097]
例如，3d重建数据元素111可以是描绘道路的一部分的点云，并且驾驶路径模块140可以被配置为计算与道路的预定义轨迹或方向一致的驾驶路径141。
[0098]
在另一示例中，3d重建数据元素111可以是深度图，其可以包括或表示位于交通工具附近的一个或更多个物体或障碍物，例如，沿着道路的一部分的方向。驾驶路径模块140可以被配置为计算避免与也可能位于该部分道路上的这些物体或障碍物(例如，汽车、行人、垃圾桶等)碰撞的驾驶路径141。
[0099]
在又一示例中，选择的通道20的输入数据元素21可以是从相机传感器20’获得的图像。如本文所详述，基于ml的物体识别模块150可辨识可在图像21中描绘的至少一个物体(例如，汽车、行人等)，且可将图像21分类为包含经辨识的物体。驾驶路径模块140可以被配置为随后根据数据元素21(例如，图像)的分类计算驾驶路径141。例如，驾驶路径141可以包括基于图像的分类(例如，在其他汽车或行人附近)的运动特性(例如，最大速度)的定义。
[0100]
根据一些实施例，驾驶路径141可以包括例如一系列数值，表示可以计划自主交通工具200跟随或驶过的真实世界位置或坐标。
[0101]
根据一些实施例，并且如图2所描绘的，系统100可以包括计算机化的自主驾驶系统170，其适于控制自主交通工具200的至少一种运动特性。可替代地，系统100可以通过任何适当的计算机通信网络通信地连接到自主驾驶系统170，例如可以与自主交通工具200相关联或包括在自主交通工具200中的自动驾驶系统。根据一些实施例，驾驶路径模块140可以将驾驶路径数据元素141发送到计算机化的自主驾驶系统170(例如，经由计算机通信网络)，并且计算机化的自主驾驶系统170可以基于驾驶路径141引导或控制自主交通工具200的运动。
[0102]
自主驾驶系统170可以被配置为产生驾驶信号171，其可以是或可以包括基于驾驶路径141的用于自主交通工具200的控制器200’(诸如图1的控制器2)的至少一个命令。信号171可以配置或命令控制器200’适应或控制自主交通工具200的至少一种运动特性。例如，运动特性可以是自主交通工具200的速度，信号171可以命令控制器200’调整自主交通工具200的油门方位，以根据驾驶路径控制交通工具的速度。在另一示例中，运动特性可以是自主交通工具200的转向方向，并且信号171可以命令控制器200’调整自主交通工具200的转向盘或转向器的方位，以便根据驾驶路径来控制交通工具的转向方向。运动特性的附加示例可以包括例如自主交通工具200的加速度、减速度、取向、姿态和高度/仰角(elevation)。
[0103]
因此，系统100可以被配置为通过(a)基于通道分数131选择多个传感器通道20中的传感器通道20来引导自主交通工具200；(b)基于选择的传感器通道20的3d重建数据元素111来引导自主交通工具200。
[0104]
现在参考图4，其是流程图，描绘了根据本发明的一些实施例的由图2的系统100进行的3d重建的方法m200。
[0105]
根据一些实施例，系统100可以将3d重建过程分成不同的区或区域120a，每个区或
区域120a用作m200a中描述的流程的输入。
[0106]
也可以评估具有可靠深度估计的区120a的大小(如图2所示)。区120a可以根据系统的兴趣、给定其深度、大小和角方位或取向来评分。3d重建111和用于构造它的通道20可以通过计算的区分数120a的总和来评分。通道分数131可以作为一个整体赋予传感器通道20或单独地赋予其传感器20’。通道分数131可以表示通道与基础任务的相关性和/或通道的性能。
[0107]
现在参考图5，其是描绘根据本发明的一些实施例的用于多个传感器性能评估的系统100与包括诸如quadsight传感器集的多个光谱传感器的传感器系统的集成示例的框图。
[0108]
如图5的示例所示，数据流描述了将所提出的通道评分方法集成到使用quadsight传感器集的传感器系统。quadsight传感器集可包括两个传感器通道20：第一传感器通道20(例如，20a)可包括两个vl(可见光)相机，并且第二通道20(例如，20b)可包括两个ir(红外线)敏感相机。
[0109]
vl和ir相机可以被认为是两个独特的传感器通道，每个都适于计算3d重建111(例如，立体深度图)，例如通过使用立体深度算法。
[0110]
根据一些实施例，系统100可以迭代地比较通道20a和20b的通道分数131(例如，分别为131a、13ib)，并且可以仅使用来自更相关通道的数据(例如，具有更好的通道分数131)及其3d重建111，以计算最佳路径141。换言之，系统100可以迭代地选择传感器通道20，其中每次迭代与特定时间帧有关。在每个时间帧中，可以基于该时间帧中选择的传感器通道20的3d重建数据元素111来引导自主交通工具200。
[0111]
根据一些实施例，在每次迭代中，系统100可以假定先前优选的通道20(例如，20a或20b，表示为20-p)在当前迭代中可以更可能是优选的。因此，当计算3d重建111时，系统100可以分派更多的计算资源(例如，计算周期、存储器等)以创建先前优选的通道20-p的准确3d重建111。换言之，在每个时间帧：(a)相关选择的传感器通道20-p的3d重建数据元素111可以以第一分辨率表示真实世界空间信息，以及(b)至少一个其他传感器通道20的3d重建数据元素111可以第二较差分辨率表示真实世界空间信息。
[0112]
因此，本发明的实施例可以包括通过迭代地强调来自选择的通道的数据处理以产生最佳驾驶路径141来对引导自主交通工具的当前可用方法的改进。
[0113]
现在参考图6，其是时间刻度图，描绘了根据本发明的一些实施例的图2的系统100随时间对vl(可见光)通道和ir(红外线)通道的评分。
[0114]
如图6的示例所示，vl和ir相机可以与自主交通工具200相关联或安装在自主交通工具200上。vl和ir相机可以作为两个单独的通道20连续(例如，随时间重复)被评分。在图6的示例所示的时间帧内，交通工具200接近并进入隧道(t400、t401和t402)，然后离开隧道(t403、t404和t405)。在那段时间的大部分时间里，vl相机示出更高的通道分数(131a)，并被评估为更相关的通道20。然而，粗略地在帧433和帧529之间，ir通道分数(131b)超过vl通道分数(131a)，因此被评估为最相关。可以观察到，在该时间帧期间，眩光效应已经使来自vl相机的2d图像的小但关键的区域120a看不见。vl图像中丢失的数据量被系统100评估为关键。该区120a排他地为ir通道的通道分数131b加上大的值。尽管眩光区仅是2d图像的一小部分，并且许多其他区在vl图像中可能看起来更清晰，但选择ir通道是因为在此时间帧
中具有更好的性能。
[0115]
因此，在vl图像中出现眩光期间，系统100可以切换到基于从ir通道20获得的3d重建111来引导自主交通工具200。
[0116]
现在参考图7，其是描绘根据本发明的一些实施例的图1的系统100对多个传感器通道进行评分的过程期间的数据流的框图。
[0117]
图7的示例中描述的数据流类似于本文详述的数据流，例如，关于图2和/或图5，并且为了简洁起见，这里不再重复。如图7的示例所示，可以针对多个通道20中的每一个执行3d重建(例如，深度估计图)111。可以针对每个通道20计算通道分数131。当比较分数时，系统100可更喜欢单个通道20来引导自主交通工具200。然而，可以选择多个最优k通道(例如，具有最高通道分数131的通道)来执行真实世界场景的高分辨率3d重建。
[0118]
现在参考图8，其是描绘根据本发明的一些实施例的独立区域评分过程期间的数据流的框图。
[0119]
图8的示例中描绘的数据流类似于本文详述的数据流，例如，关于图2、图5和/或图7，并且为了简洁起见，这里不再重复。然而，在图8的示例中，观察到的观察区可以被分成多个区120a，这些区120a被独立地评分和比较。这种配置可以允许后续计算(例如，图2的驾驶路径141的计算)使用来自最相关通道20的每个区域120a中的数据21。例如，交通工具导航系统可以选择将其视图分成“左”和“右”区120a，然后可以根据从最相关的传感器类型收集的数据对每个区进行独立分析。
[0120]
现在参考图9，其是描绘根据本发明的一些实施例的基于先前计算的系统100计算区域分数121的示例的框图。
[0121]
用于计算特定区域120a的区域分数121的数据流类似于本文详述的数据流，例如，关于图4，并且为了简洁起见，这里不再重复。然而，在图9的示例中，计算区域分数121的功能可以被改变为动态地对位于特定角方向(例如，图3的角度α)或取向的物体进行动态地赋值或加权，在预先计算的场或范围中的物体多于位于该范围之外的物体。在此上下文中可以使用术语“动态地”来指示角方向的偏好可以随时间改变，例如，由于自主交通工具200的移动和/或场景中其他物体的移动(例如，图3的场景s100)。
[0122]
例如，系统100最近可已经计算出最佳路径141，并且自动驾驶系统170可已经控制自主交通工具控制器200’以根据该路径141引导自主交通工具200。在自主交通工具200的运动期间，系统100可执行可充分覆盖计算出的路径141区的视野(例如，取向α的范围)的估计。系统100可以更新相关性图120c以向新估计的视野(fov)内的区域120a分配更高的相关性权重。可以理解，这样的评分功能可以给予选择在特定区或感兴趣的fov中更相关(具有更高的区域分数121)的通道20更多的权重。附加地或可替代地，系统100可以更新相关性图120c以将更高的权重分配给预期与物体识别模块150识别的重要物体(例如，汽车、行人)相关联的角方位α或取向。
[0123]
现在参考图10，其是流程图，描绘了根据本发明的一些实施例的通过至少一个处理器(例如图1的处理器2)来引导自主交通工具(例如，图2的交通工具200)的方法。
[0124]
如步骤s1005所示，至少一个处理器2可以从与交通工具200相关联的多个传感器通道(例如，图2的通道20)接收传感器数据(例如，图2的数据21)。
[0125]
如步骤s1010所示，对于每个传感器通道20，至少一个处理器2可以基于所述传感
器数据21计算表示真实世界空间信息的3d重建数据元素(例如，图2的3d重建111)。
[0126]
如步骤s1015所示，对于每个传感器通道20，至少一个处理器2可以基于3d重建数据元素111计算通道分数(例如，图2的元素131)。
[0127]
如步骤s1020所示，至少一处理器2可基于通道分数131选择多个传感器通道20中的一个或更多个传感器通道20(例如，图5的20-p)。例如，系统100可以从多个(例如，5个)排他性或非排他性通道接收空间传感器数据21，并且可以基于通道分数131选择预定义数量(例如，1、2)的通道。
[0128]
如步骤s1025所示，至少一个处理器2可以基于选择的或优选的一个或更多个传感器通道20的3d重建数据元素111来引导交通工具200(例如，通过使用图2的计算机化的自主驾驶系统170)，如本文所详述。
[0129]
附加地或可替代地，至少一个处理器2可以基于选择的通道的输入数据21(例如，不使用3d重建数据元素111)来引导交通工具200。例如，选择模块160可以执行至少一个优选通道20的选择，并且可以将该选择通知自主驾驶系统170。自主驾驶系统170可以被配置为使用选择的至少一个优选通道20的数据21来与自主交通工具200的控制器200’协作，以便基于选择的至少一个优选通道20的数据21来引导自主交通工具200。
[0130]
例如，可以选择单个传感器通道20，并且系统100可以继续基于选择的通道20的3d重建111来计算驾驶路径141。
[0131]
在另一个示例中，可以选择多个传感器通道20，对应于得分最高的传感器通道分数131。在这样的实施例中，3d重建模块110可以计算组合多个选择的通道20的3d重建111数据元素的3d重建111数据元素。例如，3d重建模块110可以计算新的3d重建111数据元素，其是多个选择的通道20的多个3d重建111数据元素的加权平均。多个3d重建111数据元素可以由相应的多个通道分数131加权。系统100随后可以继续基于多个选择的通道20的新的加权平均3d重建111计算驾驶路径141。
[0132]
在又一示例中，系统100可以基于一个或更多个选择的传感器20’或传感器通道20的一个或更多个传感器数据元素21来计算驾驶路径141。例如，如本文所详述(例如，关于图2)，系统100可以包括基于ml的物体识别模块150，其适于识别和/或标记(例如，通过边界框)在相机传感器20’中所描绘的一个或更多个物体。根据一些实施例，驾驶路径140可以使用相机传感器20’的图像数据21中标记的一个或更多个物体(例如，汽车)来计算驾驶路径141。
[0133]
现在参考图11，其是流程图，描绘了根据本发明的一些实施例的通过至少一个处理器(例如图1的处理器2)来引导交通工具的另一种方法。
[0134]
如步骤s2005所示，至少一处理器2可从多个传感器通道20接收空间数据21。
[0135]
如步骤s2010所示，对于一个或更多个(例如，每个)传感器通道20，至少一个处理器2可以基于接收到的空间数据21计算3d重建数据元素111。
[0136]
如步骤s2015所示，对于一个或更多个(例如，每个)传感器通道20，至少一个处理器2可以将3d重建划分为区域120a。
[0137]
如步骤s2020所示，对于一个或更多个(例如，每个)传感器通道20，至少一个处理器2可以为所述区域120a中的每一个计算区域分数121。如本文所详述的，区域分数121可以基于对应于区域120a的真实世界大小值120d的估计来计算。附加地或可替代地，可以基于
区域的清晰度或深度映射的置信度水平值112来计算区域分数121。附加地或可替代地，可以基于区域与真实世界物体的关联151来计算区域分数121。
[0138]
如步骤s2025所示，对于一个或更多个(例如，每个)传感器通道20，至少一个处理器2可以计算通道分数131。例如，至少一个处理器2可以通过执行区域分数121的加权和来计算通道分数131。
[0139]
如步骤s2030和s2035所示，至少一个处理器2可以基于通道分数选择多个传感器通道中的至少一个传感器通道20，并且可以基于该选择来引导自主交通工具200，如本文所详述(例如，关于图2)。
[0140]
例如，系统100可以使用从单个选择的传感器通道20获得的空间数据21来产生3d重建111数据元素。图2的驾驶路径模块140随后可以使用3d重建111数据元素来计算驾驶路径141，并且图2的自动驾驶系统170可以与自主交通工具200的至少一个控制器200’协作以基于计算出的驾驶路径141来引导自主交通工具200。
[0141]
在另一个示例中，系统100可以使用从多个传感器通道20获得的空间数据21，根据它们各自的通道分数131选择这些通道以产生对应的3d重建111数据元素。3d重建模块110可以基于每个通道20各自的通道分数131计算选择的至少一个传感器通道20的3d重建数据元素111的加权平均111’。图2的驾驶路径模块140随后可以使用加权平均的3d重建111’数据元素来计算驾驶路径141，并且自动驾驶系统170可以与自主交通工具200的至少一个控制器200’协作以基于计算出的驾驶路径141来引导自主交通工具200。
[0142]
如本文所详述，传感器通道20可包括非排他性传感器组，其中每个传感器与一个或更多个传感器通道相关联。例如，本发明的实施例可以从传感器a、b和c接收空间传感数据，并且可以在传感器a、b和c当中选择传感器的最佳组合。在这样的实施例中，多个非排他性通道20可以被定义。在该示例中，本发明的非排他性传感器通道20因此可以定义三个通道：第一传感器通道可以包括传感器a和b(例如，表示为{a，b})，第二通道可以包括传感器a和c(例如，表示为{a，c})，并且第三传感器通道可以包括传感器b和c(例如，表示为{b，c})。在这样的实施例中，非排他性传感器通道20中的每一个的评估可以基于通道20各自的通道分数131分开完成，如本文所详述。通道评分130可以基于每个传感器的各自通道的通道分数，计算至少一个(例如，每个)传感器通道的一个或更多个单独传感器20’的质量分数131’。例如，对于形成通道的传感器20’的每个组合(例如，通道{a，b}、{a，c}和{b，c})，每个传感器20’可以赋予对那个通道计算的通道分数131。随后，可以为每个传感器20’计算总体传感器质量分数131’作为通道分数131的总和。有关此示例，传感器a的传感器质量分数131’可以是通道{a，b}和{a，c}的通道分数131的总和，传感器b的传感器质量分数131’可以是通道{a，b}和{b，c}的通道分数131的总和。因此，通道分数模块130可以单独计算至少一个传感器通道20的各个传感器20’的质量分数。图2的选择模块160可以随后基于通道分数131和/或基于单独传感器20’的质量分数131’来选择一个或更多个通道20和/或一个或更多个单独传感器20’。
[0143]
自动驾驶系统170可以继续基于选择的至少一个传感器20’和/或传感器通道20的空间传感器数据21来引导自主交通工具200，如本文所详述的。
[0144]
附加地或可替代地，通道分数模块130可以被配置为对一个或更多个传感器质量分数131’应用偏置函数，该函数适于补偿传感器20’的伪影。因此，通道分数模块130可以获
得偏置的传感器质量分数131’。选择模块160随后可以比较两个或更多个相应传感器的两个或更多个传感器质量分数131’和/或偏置的传感器质量分数131’，以基于该比较选择至少一个传感器20’和/或传感器通道20。如本文所详述的，系统100可继续基于选择的至少一个传感器20’和/或传感器通道20来引导自主交通工具200。
[0145]
本发明的实施例可以包括基于来自选择的传感器通道的数据引导自主交通工具的实际应用。本发明的实施例可以包括对当前可用的自主交通工具技术的多项改进。
[0146]
例如，如本文所详述的，系统100可以动态地和迭代地产生场景的3d重建并且基于3d重建的质量，例如，基于每个传感器通道对周围场景的理解评估和比较不同传感器通道或传感器类型的性能。
[0147]
附加地，系统100可以根据系统的感兴趣区，例如基于区域的深度(例如，距观察传感器的距离)、大小、与观察传感器相关的角方位或取向和/或与场景中存在的感兴趣物体的关联，通过计算3d重建中的子区域的分数来评估通道性能。换言之，本发明的实施例对传感器通道的选择可以考虑特定应用的特定偏好和兴趣，例如引导自主陆地交通工具、引导自主空中飞行器或利用空间传感器的任何其他实施。
[0148]
附加地，系统100随后可以基于从选择的通道和/或从不同通道的区域120a的汇合获得的数据，基于通道评分131和/或区域评分121来引导自主交通工具。因此，本发明的实施例可以使用手头的最佳数据迭代地执行引导自主交通工具的基本任务。
[0149]
附加地，系统100可以将计算资源集中在从选择的传感器集或传感器类型收集的数据上，以提高适于引导自主交通工具的计算装置的性能，并从临时最佳或优选的传感器通道20获得更高分辨率的3d重建模型111。
[0150]
除非明确说明，否则本文描述的方法实施例不限于特定顺序或序列。此外，本文描述的所有公式仅意在作为示例并且可以使用其他或不同的公式。附加地，所描述的方法实施例或其元素中的一些可以在同一时间点发生或执行。
[0151]
虽然本文已经说明和描述了本发明的某些特征，但是本领域技术人员可以想到许多修改、替换、改变和等同物。因此，应当理解，所附权利要求旨在涵盖落入本发明的真实精神内的所有此类修改和变化。
[0152]
已经展现了各种实施例。这些实施例中的每一个当然可以包括来自所展现的其他实施例的特征，并且未具体描述的实施例可以包括本文描述的各种特征。