用于训练和验证感知系统的方法和系统与流程

用于训练和验证感知系统的方法和系统
1.相关申请的交叉引用
2.本技术要求在2019年9月22日提交的符合35u.s.c.119(e)的美国临时申请62/903,846的权益，其通过引用结合到本文中。
技术领域
3.本公开一般涉及用于感知对象的系统，诸如在自主驾驶的背景下，并且具体地涉及用于训练和验证这样的系统的方法和系统。


背景技术：

4.深度神经网络的引入使得可能在广泛的检测和分类问题上的性能方面取得重大进步。这对于感知道路上的对象，例如在自主驾驶的情况下，是特别有利的。然而，在自主驾驶场景中对神经网络的使用存在限制。这些限制以等待时间和电功率的形式出现，这要求牺牲计算复杂度和训练集的大小。简而言之，完全实现高性能深度神经网络所需的资源在自主交通工具中是不可用的。另一个因素是提供由感知软件处理的输入的传感器的成本和可用性；在许多情况下，具有最准确读数的传感器可能太昂贵而不能在销售给公众的交通工具中实现。
5.总之，自主交通工具面临理想地适合于高性能神经网络的感知挑战，然而这样的神经网络在商业上可行的产品中几乎不能实现。因此，希望具有使用可用的交通工具级计算硬件和相对经济的传感器的神经网络的某些优点。


技术实现要素：

6.根据第一广义方面，提供了一种计算机实现的方法，包括：
7.处理包含深度信息的图像，以识别图像中包含满足特定标准的未指定对象的感兴趣区域；
8.使用被训练为检测和分类场景中的已知对象的神经网络来处理所识别的感兴趣区域；以及
9.输出对象描述符和由所述神经网络检测和分类的对象在所述图像中的位置指示。
10.根据另一个广义方面，提供了一种感知系统，包括：存储器，其存储计算机可读指令；输入/输出端；以及连接到存储器和输入/输出端的处理实体。所述处理实体被配置为执行所述计算机可读指令以：
11.经由所述输入/输出端接收包含深度信息的图像；
12.处理所述图像以识别所述图像中的感兴趣区域，所述感兴趣区域包含满足特定标准的未指定对象；
13.使用被训练为检测和分类场景中的已知对象的神经网络来处理所识别的感兴趣区域；以及
14.经由所述输入/输出端输出对象描述符和由所述神经网络检测和分类的对象在所
述图像中的位置指示。
15.根据另一个广义方面，提供了一种计算机实现的方法，包括：
16.从参考传感器组接收第一训练信号并且从测试传感器组接收第二训练信号，所述参考传感器组和所述测试传感器组同时暴露于共同场景；
17.处理所述第一训练信号以获得包含与所述场景相关联的参考深度信息的参考图像；
18.使用所述第二训练信号和所述参考图像来训练神经网络，以将来自所述测试传感器组的后续测试信号变换成包含推断的深度信息的测试图像。
19.根据另一个广义方面，提供了一种感知系统，包括：
20.参考传感器组；
21.测试传感器组；以及
22.计算装置，被配置为：
23.从所述参考传感器组接收第一训练信号并且从所述测试传感器组接收第二训练信号，所述参考传感器组和所述测试传感器组同时暴露于共同的场景；
24.处理所述第一训练信号以获得包含与所述场景相关联的参考深度信息的参考图像；以及
25.使用所述第二训练信号和所述参考图像来训练神经网络，以将来自所述测试传感器组的后续测试信号变换成包含推断的深度信息的测试图像。
26.根据另一个广义方面，提供了一种计算机实现的方法，包括：
27.使用神经网络将从测试传感器组获得的实时信号变换成包含深度信息的图像，所述神经网络由神经网络参数组表征；
28.计算实时信号和/或图像的特征特性，所述特征特性是测试特征特性；
29.基于所述测试特征特性与参考特征特性的比较，来验证所述神经网络的性能，所述参考特征特性与所述神经网络参数组相关联；以及
30.输出指示所述验证的结果的信号。
31.根据另一个广义方面，提供了一种感知系统，包括：
32.测试传感器组；
33.计算装置，被配置为：
34.使用神经网络将从所述测试传感器组获得的实时信号变换成包含深度信息的图像，所述神经网络由神经网络参数组表征；
35.计算实时信号和/或图像的特征特性，所述特征特性是测试特征特性；
36.基于所述测试特征特性与参考特征特性的比较，来验证所述神经网络的性能，所述参考特征特性与所述神经网络参数组相关联；以及
37.输出指示所述验证的结果的信号。
38.根据另一个广义方面，提供了一种计算机实现的方法，包括：
39.将从第一传感器组获得的信号变换成包含深度信息的第一图像；
40.处理所述第一图像以识别包含满足特定标准的未指定对象的感兴趣区域；
41.对所述第一图像的感兴趣区域中的已知对象执行第一检测和分类；
42.使用神经网络将从第二传感器组获得的信号变换成包含深度信息的第二图像；
43.处理所述第二图像以识别包含满足所述标准的未指定对象的感兴趣区域；
44.对所述第二图像的感兴趣区域中的已知对象执行第二检测和分类；以及
45.基于所述第一对象检测和分类以及所述第二对象检测和分类的结果来验证所述神经网络的性能。
46.根据另一个广义方面，提供了一种感知系统，包括：
47.第一传感器组；
48.第二传感器组；
49.计算装置，被配置为：
50.将从所述第一传感器组获得的信号变换成包含深度信息的第一图像；
51.处理所述第一图像以识别包含满足特定标准的未指定对象的感兴趣区域；
52.对所述第一图像的感兴趣区域中的已知对象执行第一检测和分类；
53.使用神经网络将从所述第二传感器组获得的信号变换成包含深度信息的第二图像；
54.处理所述第二图像以识别包含满足所述标准的未指定对象的感兴趣区域；
55.对所述第二图像的感兴趣区域中的已知对象执行第二检测和分类；
56.基于所述第一对象检测和分类以及所述第二对象检测和分类的结果来验证所述神经网络的性能。
附图说明
57.现在将结合附图描述这些和其它方面，其中：
58.图1是根据非限制性实施例的感知系统的框图。
59.图2是根据非限制性实施例的示出了可以由图1的感知系统的元件执行的方法中的步骤的流程图。
60.图3a是根据非限制性实施例的感知系统的框图。
61.图3b是根据非限制性实施例的用于训练图3a的感知系统的训练单元的框图。
62.图4是根据非限制性实施例的示出了可以由图3a和图3b的系统的元件执行的方法中的步骤的流程图。
63.图5是根据另一非限制性实施例的用于训练图3a的感知系统的训练单元的框图。
64.图6a是根据非限制性实施例的感知系统和验证单元的框图。
65.图6b是根据非限制性实施例的图6a的验证单元和用于训练图6a的感知系统的训练单元的框图。
66.图7是根据非限制性实施例的示出了可以由图6a和图6b的系统的元件执行的方法中的步骤的流程图。
67.图8a是根据另一非限制性实施例的感知系统和验证单元的框图。
68.图8b是根据非限制性实施例的图8a的验证单元和用于训练图8a的感知系统的训练单元的框图。
69.图9是根据非限制性实施例的两个感知系统和验证单元的框图。
70.图10是根据非限制性实施例的示出了可以由图9的系统的元件执行的方法中的步骤的流程图。
71.图11是可用于实现本文描述的各种方法和系统的计算装置的框图。
具体实施方式
72.图1示出了根据具体的非限制性实施例的感知系统100的示例。感知系统100可操作地耦接到产生传感器信号104的多个传感器102。
73.传感器102可以包括有源传感器(其中反射信号被分析并与由源发射的信号进行比较)和无源传感器(其中没有有目的地发射的信号)。有源传感器的示例可以包括激光雷达、雷达和声纳等等。激光雷达可以包括定向波束激光雷达和/或闪光激光雷达。激光雷达可包括机械(例如，旋转)激光雷达以及固态激光雷达。固态激光雷达可以包括由微机电系统(mems)操纵的光束和/或使用液晶相位光栅(lcpg)的光束，如美国专利8,982,313和/或美国专利9,195,092中描述的，该专利通过引用并入本文。无源传感器的示例可以包括相机、麦克风和振动传感器等等。
74.在一些实施例中，感知系统100可以被实现为实现多个功能单元的计算装置。具体地，功能单元可以包括原始数据融合(rdf)单元108、第一级检测(fld)单元110和神经网络112。
75.rdf单元108可以对从多个传感器接收的多个信号执行原始数据融合。特别地，rdf单元108被配置为处理传感器信号104，以产生图像信号106。在一些实施例中，原始数据融合可涉及从多个图像产生高分辨率合成图像，所述多个图像可以是例如激光雷达图像、雷达图像和相机图像，其中的一些可为较低分辨率图像。
76.一般而言，rdf单元108产生的图像信号106可以包含对颜色信息和深度信息两者进行编码的图像。在一些特定的非限制性实施例中，包含深度信息的图像可以是rgbd图像，即包括每个像素的颜色信息和深度信息的图像。在一些特定的非限制性实施例中，包含深度信息的图像可以是rgbdv图像，即包括每个像素的颜色信息、深度信息以及速度(或运动)信息的图像。这样的图像有时被称为“图(map)”。rgbdv可为编码3d对象信息的有效方式。
77.在一些实施例中，为了产生包含深度信息的图像，rdf单元108可将图像处理技术应用于传感器信号104，例如上采样、下采样、内插、投影、压缩、解压缩和图像扭曲等中的一个或多个。原始数据融合的示例实施方式在例如包括vayavision sensing公司的美国专利10,445,928和zoox公司的美国专利10,468,062中有描述，这两个专利在此通过引用并入本文。在其它实施例中，rdf单元108可以实现神经网络。在其它实施例中，传感器102与rdf单元108集成到rgbd相机中，如在fossati等人的“consumer depth cameras for computer vision:research topics and applications”，2013中描述的，在此通过引用并入本文。在进一步的实施例中，rdf单元108可以执行用于估计来自rgbd传感器的速度的算法，如在p.kim,h.urn和h.j.kim,“6-dgf velocity estimation using rgb-d camera based on optical flow,”2014ieee international conference on systems,man,and cybernetics(smc),san diego,ca,2014,pp.4008-4013中描述的，在此通过引用并入本文。
78.fld单元110被配置成处理图像信号106，以产生对象信号114，该对象信号被馈送到神经网络112。具体而言，fld单元110可以被配置为处理包含深度信息的图像，以识别图像中的包含满足特定标准的未指定对象的感兴趣区域(roi)。未指定对象可以是被检测到但未被识别或未被分类的对象。然后，包含这种对象的roi被编码到对象信号114中。
79.因此，fld单元110可被配置为在不需要分类或标记的情况下进行检测。例如，fld单元110接收可以是rgbdv信号的图像信号。fld单元110可以使用rgbdv信号或图中编码的3d对象信息来应用直接检测。这可以是捕获问题的物理学并将其馈送到神经网络112的计算引擎中的有效方式。在实施例中，fld单元110的检测操作可以是无监督的。fld单元110被配置成检测可驾驶区域(例如，道路)中符合特定标准的对象。该标准可以包括对象的高度大于预定最小高度。由于fld单元110可凭借其操作来检测先前未遇到的对象，且在先前未分类的条件下，fld单元110所检测到的对象可被称为“未指定的”。fld单元110被配置为从接收到的rgbdv图像计算每像素高度图。高度图可以表示为具有与rgbdv图像相同的x和y维度的阵列，并且其中与特定x和y位置相对应的元素的值表示道路上方的该像素的检测高度。高度图上的检测阈值识别可能影响驾驶路径的对象。来自计算机视觉检测设备的任何适当算法可用于为高度图设定阈值。因此，低到足以安全驾驶的对象不影响驾驶路径。当然，可以使用更复杂的对象检测算法来降低假阳性的发生率。在自主驾驶场景中，检测阈值可以是动态的，并且使得检测阈值取决于感知系统100所安装至的交通工具的特征，以便适应不同的离地间隙。此外，可以使用其它标准，例如估计的对象体积。
80.神经网络112被配置为处理对象信号114，以产生检测信号116和分类信号118。例如，神经网络112可以被配置为使用被训练为检测场景中的已知对象并对其进行分类的参数化机器学习模型来处理在对象信号114中识别的roi。在图1中，由神经网络112使用的参数被表示为150。
81.检测信号116可以包括对象描述符，并且分类信号118可以包括由神经网络112检测和分类的对象在图像中的位置指示。对象描述符和位置指示可以显示在显示器上、存储在存储器中和/或馈送到其它功能单元，例如路径规划和决策单元。
82.结果，神经网络112可以对其高度大于预定最小高度的对象执行其检测和分类操作。这可以允许神经网络112的复杂度保持较低。例如，在神经网络被实现为卷积神经网络(cnn)的情况下，卷积层的数量可以保持较小(例如，1或2)，因为在标记的训练数据中存在可能的变化的数量的隐含减少。例如，受监督的神经网络检测需要大量的标记(分类)的训练数据。标记需要涵盖多种不同的情况。标记“汽车”是不够的。需要标记从不同视角看到的、具有不同遮挡水平的、并且在不同光线和天气条件下的不同类型的汽车。通过将fld单元110实施为神经网络112的前驱级，可能输出的范围变窄。例如，尽管对象可能很大，但如果它很薄且平放在地面上，则它将不需要由神经网络112来检测或分类，因为它将不会被fld单元110在发送到神经网络112的对象信号114中识别。
83.由神经网络112输出的对象描述符可以包括对象类(例如，汽车、卡车、人、自行车、建筑物、植被等)或子类(例如，对于“汽车”类，子类可以是“自主汽车”或“人驾驶的汽车”；对于“人”类，子类可以是“静止的”、“行走的”、“跑步的”等)。替代地，类和子类的其它示例是可能的。
84.由神经网络112输出的对象描述符还可以包括深度指示(例如，深度值)、体积的估计、速度和方向的估计等。
85.如神经网络112所输出的，一个或多个对象在给定图像中的位置指示可以包括图像内的边界框。每个边界框可以围绕与对象描述符相关联的对应对象。例如，边界框可以是2d边界框或3d边界框。在其它情况下，一个或多个对象在图像中的位置指示可以采取轮廓、
切割或分段形状的形式。
86.对象描述符可以与相关联的边界框一起显示，或者它可以与相关联的边界框一起存储在存储器中。
87.在一些情况下，由fld单元110识别的所有未指定对象由神经网络112检测并分类，即，存在足够的训练数据来识别来自fld单元110的对象信号中的所有可能对象。然而，在一些情况下，fld单元110检测到的未指定对象包括神经网络112不能分类的对象。在这种情况下，神经网络112可输出指示fld单元110所识别的一个或多个对象未被神经网络分类的信号。这为感知系统100提供了“后退”，由此，将总是(即，由fld单元110)识别道路上存在潜在危险(由于其高度或其它标准)的对象，即使神经网络112可能无法成功地对其进行分类。
88.神经网络112可以在训练阶段被训练。这可以包括数据信号的前馈以产生输出，然后反向传播误差以用于梯度下降优化。例如，在一些实施例中，可以通过使用参考图像组和关于对象的参考数据以及参考图像中的对象的类来训练神经网络112。也就是说，神经网络112被馈送多个参考图像并且被提供有“地面实况”(即，被告知哪些对象和对象的类在参考图像中以及它们在参考图像中出现在哪里)，从而神经网络112被训练以识别(即，检测和分类)除了参考图像之外的图像中的那些对象，诸如由fld单元110提供的感兴趣区域。训练导致收敛于该参数组150。
89.关于对象类、边界框和训练用于自主交通工具情况的对象检测的神经网络的附加信息可以在pendleton等人的“perception,planning,control,and coordination for autonomous vehicles”,machines 2017,5(1),6中找到，在此通过引用将其并入本文。
90.应当理解，fld单元110不需要训练以便能够检测未指定或未预期的对象，即，在神经网络112的训练集之外的对象。这可以允许神经网络112的训练集被减少，并且可以允许神经网络112在实时操作时在计算上更高效。
91.在训练期间使用直接检测是一种自动化标记的方式，并且可以有助于神经网络112的可制造性和实时可用性。
92.应注意，在神经网络112实施为卷积神经网络(cnn)的情况下，引入fld单元110通过将学习集中于图像的特定部分(即，roi中)来减少cnn中的卷积层的数量(即，深度神经网络dnn的“深度”)。另一种查看提供第一级检测的效果的方式是提供对象存在的默认分类。神经网络112能够细化对汽车、行人等的分类，但是如果不能，则默认存在分类提供关键的安全网。当可能不存在具有用于所有可能对象和事件的标签的完整训练集时，这在驾驶员和斜坡上升或新驾驶场景的引入期间可能特别重要。
93.这样，提供了一种感知系统，其包括存储计算机可读指令的存储器、输入/输出端以及连接到存储器和输入/输出端的处理实体。参考图2，这样的处理实体被配置为执行计算机可读指令以：经由输入/输出端接收包含深度信息的图像202；处理图像，以识别图像中的包含满足特定标准的未指定对象的感兴趣区域204；使用被训练为检测和分类场景中的已知对象的神经网络，来处理所识别的感兴趣区域206；以及经由输入/输出端，输出对象描述符和由神经网络检测和分类的对象在图像中的位置指示208。
94.本公开涵盖感知系统100的变型。参考图3a和图3b，现在将描述根据具体的非限制性实施例的示例感知系统300和用于训练感知系统300的示例训练单元316。
95.具体地，参考图3a，感知系统300被配置为从生产传感器组304接收测试信号320。
参考图3b，训练系统316被配置为从参考传感器组302接收第一训练信号308，并且还被配置为从生产传感器304接收第二训练信号310。注意，生产传感器304输出测试信号320和第二训练信号310，不同之处在于，由生产传感器304输出的信号在训练阶段被称为“第二训练信号”310，而在实时场景期间被称为“测试信号”320。
96.参考传感器302可以是能够产生覆盖宽范围的驾驶场景的精确rgbdv图像的高质量传感器，而生产传感器304可以是更适合用于商业产品或实时环境的低成本传感器。这样，参考传感器302有时被称为“地面实况传感器”，而生产传感器304有时被称为“大量制造(hmv)传感器”或“测试传感器”。在激光雷达的情况下，例如，用作参考传感器的激光雷达传感器可以具有比该激光雷达传感器的生产版本更高的分辨率、更大的视场、更大的精度、更好的snr、更大的范围、更高的灵敏度和/或更大的功耗。举一个具体的示例，参考传感器组302可以包括覆盖360
°
视场的激光雷达，其具有0.1
°
的角分辨率和200m的范围，而生产传感器组304可以包括覆盖120括视场的激光雷达，其具有0.5有的角分辨率和100m的范围，以及覆盖120，视场的雷达，其具有2其的角分辨率和200m的范围。
97.这样，该生产传感器组304可以不同于该参考传感器组302。特别地，生产传感器304和参考传感器302可以是不同类型的。在其它情况下，该生产传感器组304是该参考传感器组302的子集，即，该参考传感器组302可以包括不在该生产传感器组304中的传感器，反之亦然。
98.参考传感器组302和/或生产传感器组304可以包括传感器的各种组合，诸如一个或多个激光雷达传感器和一个或多个非激光雷达传感器(诸如雷达传感器、相机和/或声学传感器(例如，声纳))。激光雷达的存在可特别适合于其中生产传感器304将被安装到交通工具(诸如陆地、水上或空中交通工具)的应用。
99.参考图3b，训练单元316用于在训练阶段训练感知系统300。特别地，训练单元316从参考传感器302接收第一训练信号308，并处理它们，以获得包含与场景相关联的参考深度信息的参考图像312。为此，训练单元316可以实现原始数据融合(rdf)单元314，其可以与以上在感知系统100的上下文中描述的rdf单元108相似或相同。因此，这里不需要详细描述rdf单元314。
100.训练单元316被配置为处理(i)从rdf单元314接收的参考图像312和(ii)从生产传感器304接收的第二训练信号310，以产生参数组340，其在实时场景期间被感知系统300的神经网络318使用(见图3a)。
101.具体地，在训练阶段之后的实时场景期间，神经网络318被配置为基于在训练阶段期间确定的参数340将从生产传感器304接收的测试信号320变换成测试图像322。在一些实施例中，测试图像322可以是rgbd图像，即包括每个像素的颜色信息和深度信息的图像，而在其它实施例中，测试图像322可以是rgbdv图像，即包括每个像素的颜色信息、深度信息和速度信息的图像。
102.通常，参数340可以表示由神经网络318在将测试信号320变换成包含深度和/或速度信息的测试图像322时使用的任何可变量。在一个实施例中，参数包括在创建测试图像322时赋予每个生产传感器304不同的相对重要性的权重。在其它实施例中，参数包括应用于测试信号320的不同非线性函数的权重和偏置值，以便导致神经网络辅助的数据融合。
103.在特定的非限制性实施例中，神经网络318是卷积神经网络(cnn)。cnn通过其权重
向量q＝[w；b]被参数化，其中w是控制神经间连接的权重组，而b是神经元偏置值组。将权重组w组织为图像滤波器，其中在训练期间学习系数。cnn内的卷积层利用图像像素的局部空间相关性来学习平移不变卷积滤波器，其捕获判别式图像特征。关于卷积神经网络(cnn)、循环神经网络(rnn)和深度强化学习(drl)的实施方式的进一步信息可以在grigorescu等人的“a survey of deep learning techniques for autonomous driving”,journal of field robotics,volume 37,issue 3,april 2020,pp.362-386中找到，其通过引用并入本文。
[0104]
在一些实施例中，神经网络318与单个参数组340相关联，而在其它实施例中，基于诸如环境光水平和天气条件的因素，针对不同条件，神经网络318可以与多个参数组340相关联。
[0105]
继续描述感知系统300，测试图像322被提供给第一级检测(fld)单元324，其可以与以上在感知系统100的上下文中描述的fld单元110相似或相同。因此，不需要对fld单元324进行进一步描述。只要fld单元324可被配置为处理包含深度信息的测试图像322以识别图像中包含满足某些标准的未指定对象的感兴趣区域(roi)就足够了。这样，所识别的对象由对象信号326指示，该信号由fld单元324馈送到神经网络338。由于在感知系统300中有两个神经网络，所以神经网络318将被称为“第一神经网络”，并且神经网络338将被称为“第二神经网络”。
[0106]
第二神经网络338从fld单元324接收对象信号326，并且还从第一神经网络318接收测试图像322。第二神经网络338被配置成基于测试图像322处理对象信号326，以产生检测信号330和分类信号332。第二神经网络338可以与以上结合图1描述的神经网络112相似或相同，在本实施例中，第二神经网络338被配置为基于在用于检测和分类场景中的已知对象的训练阶段获得的第二组参数350来处理对象信号326中识别的roi。
[0107]
检测信号330可以包括对象描述符，并且分类信号332可以包括由第二神经网络338检测和分类的对象在测试图像322中的位置指示。对象描述符和位置指示可以显示在显示器上、存储在存储器中和/或馈送到其它功能单元，例如路径规划和决策单元。
[0108]
本实施例的一个动机是解决对传感器精度的需求(例如通过使用参考传感器302获得的)与通过使用批量生产的传感器(即，生产传感器304)的经济方案的需求之间的冲突。这可以通过以下方式来实现：训练感知系统300，使得其在(在不存在来自参考传感器302的第一训练信号308的情况下)处理来自生产传感器304的未来测试信号320时的行为，接近其在存在来自参考传感器302的第一训练信号308的情况下处理类似于测试信号320的第二训练信号310时的过去的行为。具体地，这涉及训练单元316在训练阶段训练第一神经网络318。
[0109]
具体地，参考图3b，参考传感器302和生产传感器304在训练阶段暴露于共同场景。这样，参考图像312包含与场景相关联的参考深度信息。包含在参考图像312中的参考深度和速度信息可以被称为场景中的各种对象的“地面实况”，因为该信息是从高质量传感器获得的并且已知是准确的。
[0110]
由于地面实况是随意自动生成的，因此不需要深度神经网络通常所需的那种复杂、大量的标记操作。相反，本实施例将无监督学习的使用方便性益处与监督学习的准确性和高性能相结合。本实施例与传统方案不同的第二种方式是学习的是可测量的物理量(距
离或速度)，其存在于每个图像中，因此可以从适当数量的参考图像中学习。这与学习分类(例如“行人穿过道路”)形成对比，因此不需要训练组(标记的组)包括多种场景，其中许多场景可能以相当低的概率出现。最后，不必实时生成包含地面实况的参考图像312。它是一种没有安全性暗示的低频率操作，并且可以利用传统上可用的计算效率量完成。
[0111]
训练单元316的rdf单元314生成参考图像312。此外，训练单元316从与参考传感器302同时感测相同场景的生产传感器304接收第二训练信号310。训练单元316被配置为实现具有与第一神经网络318相同结构的“内部神经网络”316a。这样，内部神经网络316a被配置成基于神经网络参数组(以下称为“内部参数”)，将第二测试信号310变换成图像(以下称为“内部图像”)。应当理解，内部神经网络316a和第一神经网络318不需要是不同的神经网络，而是可以对应于相同的软件代码块，其在训练阶段被称为内部神经网络316a，并且在实时使用期间被称为第一神经网络318。
[0112]
在一个实施例中，训练单元316实现算法块316b，该算法块316b迭代地改变内部神经网络316a的内部参数，以便最小化误差，诸如参考图像312(其包含地面实况深度信息)和(从第二训练信号310产生)内部图像之间的误差。可以基于各种标准，例如像素值之间的最小均方误差，来测量误差。
[0113]
一旦算法块316b收敛到内部参数组，内部神经网络316a就被认为已经被训练，并且这些内部参数变成提供给第一神经网络318的参数340。从这一点来看，尽管生产传感器304本身可能不如参考传感器302准确，但是由第一神经网络318产生的测试图像322中包含的推断的深度和/或速度信息可以具有改进的准确性。推断的深度和/或速度信息与对应的地面实况值匹配的程度将取决于训练数据的巨大性(vastness)、多样性和质量，以及神经网络的复杂性和完善度(sophistication)。
[0114]
第一神经网络318还可以实现计算机视觉算法，该计算机视觉算法使用一些或全部第二训练信号310，以进一步提高测试图像322的精度。例如，在感知系统300在交通工具中实现的情况下，第一神经网络318可以包含计算机视觉算法以计算交通工具的自运动(自我运动(egomotion))。其它计算机视觉算法可专门用于检测无源传感器(相机)信号中的运动，或加强主动测量(例如，来自激光雷达)与所推断的深度和/或速度信息之间的关联。这可以导致用于确定参数340的算法块316b更快收敛。
[0115]
这样，一旦在训练阶段(使用高性能参考传感器302)已经确定了第一神经网络单元318的参数340，它们就可以与生产传感器304一起用于估计或推断实时场景中的rgbdv图像。生产传感器304和推断所需的处理能力因此可以与大量制造在成本上更兼容，但是仍然可以实现高精度，这可以允许更安全的自主驾驶。
[0116]
这样，已经提供了一种系统，其包括参考传感器组302、测试传感器组304、训练单元316和感知系统300。训练单元316和感知系统300可以在单个计算装置中实现。参考图4，这样的计算装置可以被配置为：从该参考传感器组接收第一训练信号并且从该测试传感器组接收第二训练信号，该参考传感器组和该测试传感器组同时暴露于共同场景402；处理第一训练信号以获得包含与场景相关联的参考深度信息的参考图像404；以及使用第二训练信号和参考图像来训练神经网络，以便将来自测试传感器组的后续测试信号变换成包含推断的深度信息的测试图像406。
[0117]
在一些实施例中，训练单元316可以适于计算用于第二神经网络338的参数组350。
因此，参考图5，示出了用于训练感知系统300的示例训练单元516。训练单元516类似于训练单元316，除了它包括附加的元件或功能。特别地，训练单元516被配置为计算第二组参数350并将其发送到感知系统300的第二神经网络338。为了计算第二组参数350，训练单元516被配置为用内部第一级检测(fld)单元516c处理参考图像312，以产生内部对象信号516d。具体而言，内部fld单元516c可以与fld单元324相同，因为它处理它接收的给定图像(在这种情况下，为参考图像312)，以识别图像中的感兴趣区域(roi)，这些感兴趣区域包含满足某些标准(例如，在道路上方具有最小高度)的未指定对象。
[0118]
内部对象信号516d由具有与第二神经网络338相同结构的第二内部神经网络516e处理。这样，第二内部神经网络516e被配置为基于内部参数组处理在内部对象信号516d中识别的roi，以检测和分类场景中的已知对象。应当理解，第二内部神经网络516e和第二神经网络338不必是不同的神经网络，而是可以对应于相同的软件代码块，该软件代码块在训练期间被称为第二内部神经网络516e，并且在实时使用期间被称为第二神经网络338。
[0119]
在一个实施例中，训练单元516实现算法块516f，其迭代地改变内部神经网络516e的内部参数，以便最小化误差，诸如由内部神经网络516e产生的检测分类结果与由监督输入516g提供的地面实况检测和分类信息之间的误差。可以基于各种标准，例如假阳性率或假阴性率，来测量误差。
[0120]
一旦算法块516f收敛到内部参数组，内部神经网络516e就被认为已经被训练，并且内部参数变成提供给第二神经网络338的第二组参数350。从这一点开始，即使生产传感器304本身可能不如参考传感器302可靠，包含在由第二神经网络338产生的检测信号330和分类信号332中的分类和位置信息也可被认为是可靠的。分类和位置信息与相应的地面实况值匹配的程度将取决于训练数据的巨大性、多样性和质量，以及神经网络的复杂性和完善度。
[0121]
在一些实施例中，第二神经网络338与单个第二组参数350相关联，而在其它实施例中，基于诸如环境光水平和天气条件的因素，针对不同条件，第二神经网络338可以与多个第二组参数350相关联。
[0122]
本领域技术人员将理解，神经网络通常被认为是“黑盒子”，因为内部工作可能是复杂的，并且可能难以解释神经网络如何做出决定。这对于生产系统，尤其是关键性安全的生产系统，可能是不令人满意的。相反，关键性安全的生产系统中的模块应当能够报告其健康状况或针对变化的条件对其自身进行调整。具体地，应当可以确定感知系统(诸如感知系统300)是否正在产生有效结果，无论是在图像生成的水平还是在对象检测和分类的水平。一种查看这个问题的方法是考虑用于训练的参考数据，并确定当前被馈送到给定神经网络以供推断的测试数据与所使用的参考数据相似的程度。如果存在显著差异，则与神经网络相关联的参数可能不可靠。这将指示神经网络结果的较低置信度，并且可以发信号通知警报，或者可以选择不同的参数组。
[0123]
因此，参考图6a和图6b，提供了验证系统602，以用于验证感知系统300的性能。
[0124]
如上所述，对于感知系统300，第一神经网络318用于将从生产传感器组304获得的实时信号320变换成包含深度和/或速度信息的测试图像322(例如rgbdv图像或图)。因此，第一神经网络318仍然由参数组表征，但是在该实施例中，这些参数被表示为640*并且由验证单元602提供。也就是说，验证单元602做出关于要提供给第一神经网络318以在实时场景
中使用的参数组640*的决定。该决定可以基于各种因素。
[0125]
特别地，参考图6b，考虑训练阶段。在训练阶段，算法块316b计算并跟踪“特征特性”组604j，其表征主要的环境条件(例如，光、天气、运动、风景等)，在该环境条件下，当训练内部神经网络316a(其对应于感知系统300的第一神经网络318)时，算法块316b生成参数组640j。
[0126]
可以通过以下方式确定特征特性组604j：处理在训练阶段从生产传感器304接收的第二训练信号310和/或处理在训练阶段由内部神经网络316a产生的内部图像。在一些实施例中，特征特性可以具有统计性质，诸如平均值、标准差、最大值或可能在后处理之后从第二训练信号310和/或内部图像导出的其它统计数据。特征特性的示例可以包括“平均灰度级”、“平均速度”、“平均距离”、“平均对象速度”和“平均对象距离”等等。
[0127]
可被称为“参考特征特性”的特征特性组604j与其已被生成的参数组640j相关联地存储在存储器中。为了表示可能存在多个训练子阶段的事实，每个训练子阶段具有不同的主要环境条件，提供表642，其中多个参考特征特性组被表示为604a、604b......，且相关联的多个神经网络参数组被表示为604a、604b......。验证单元602访问表642。当然，存在表示相关数据和关系的其它方式，并且这些方式在本公开的范围内。
[0128]
在实时场景期间，并且参考图6a，验证单元602被配置为计算由第一神经网络318产生的测试信号320和/或测试图像322的类似特征特性。这些特征特性代表当前主要的环境条件，并且将被称为“测试特征特性”，以将它们与参考特征特性区分开。应当注意，在实时场景期间，在本实施例中，由第一神经网络318使用的神经网络参数组由640*表示，其中，从640a、640b等中选择640*。
[0129]
在操作中，验证单元602的任务是评估当前由第一神经网络318使用的神经网络参数组640*是否适合于生产传感器304所暴露的实时环境条件。
[0130]
为此，验证单元602被配置为：
[0131]
获得与所述当前神经网络参数(即，640*)相关联的参考特征特性(即，604*)。这可以通过查阅表642来完成。
[0132]
如上所述，基于测试信号320和/或测试图像322，实时计算测试特征特性；
[0133]
执行测试特征特性与参考特征特性的比较；以及
[0134]
基于所述比较采取动作。
[0135]
作为非限制性示例，该比较可以涉及计算特征特性的相应对(参考特征特性与测试特征特性)之间的距离度量。验证单元602然后基于该比较采取动作。例如，如果距离度量低于特定阈值，则验证单元602可断定由第一神经网络318使用的当前的参数组640*适合于生产传感器304所暴露至的实时场景，并且可不需要特定的进一步动作。然而，如果一个或多个距离度量高于阈值，则验证单元602可断定由第一神经网络318使用的当前的参数组604*不适合于生产传感器304所暴露的场景。在这种情况下，可能需要进一步的动作，例如触发警报。
[0136]
在比较步骤的更先进的版本中，验证单元602可以并行地或顺序地将测试特征特性与和各个参数组640a、640b、......相关联的每个参考特征特性组604a、604b、......进行比较。这将允许验证单元602选择最合适的参数组作为参数组640*馈送至第一神经网络318。换言之，对该参数组640*的选择可以基于当前环境与所有先前环境的特征特性的比
较，其中针对所述先前环境已经执行了训练并且已经产生了单独的参数组640a、640b、......。
[0137]
本领域技术人员将理解，上述系统和/或方法可以使用特征特性作为支持(anchor)。具体地，在实时操作期间，该方法和/或系统被配置为监控特征特性，并且确定训练组(即，用于训练第一神经网络318的数据)何时无效。
[0138]
这样，已经提供了一种系统，该系统包括测试传感器组和实现感知系统的计算装置、训练单元和验证单元。参考图7，计算装置可以被配置为：使用神经网络将从该测试传感器组获得的实时信号变换成包含深度和/或速度信息的图像，该神经网络由神经网络参数组表征702；计算实时信号和/或图像的特征特性，该特征特性是测试特征特性704；基于测试特征特性与参考特征特性的比较，来验证神经网络的性能，参考特征特性与神经网络参数组相关联706；并且输出指示验证结果的信号708。
[0139]
在变型中，还可基于当前条件是否与在用于确定第二组参数的训练阶段期间存在的那些条件相匹配的评估，来验证与第二神经网络338相关联的第二组参数。
[0140]
因此，参考图8a和图8b，提供验证系统802，以用于验证感知系统300的性能。
[0141]
如上所述，对于感知系统300，第二神经网络338被配置成基于测试图像322，处理来自fld单元324的目标信号326，以产生检测信号330和分类信号332。具体地，第二神经网络338被配置为使用在训练阶段获得的第二组参数来处理在对象信号326中识别的roi，以检测和分类场景中的已知对象。
[0142]
这样，第二神经网络338仍然由参数组表征，但是在该实施例中，第二神经网络338使用的参数被表示为850*并且由验证单元802提供。也就是说，验证单元802做出关于要将哪个参数组850*提供给第二神经网络338以用于实时场景的决定。该决定可以基于各种因素。
[0143]
特别地，参考图8b，考虑第一和第二内部神经网络316a和516e的训练阶段。在训练阶段期间，算法块316b计算并跟踪主要环境条件(例如，光、天气、运动、风景等)的“特征特性”组604j，在该环境条件下(i)当训练内部神经网络316a时由算法块316b生成第一参数组640j，以及(ii)当训练内部神经网络316e时由算法块316f生成第二参数组850j。
[0144]
上述特征特性组604j可以通过以下方式确定：处理在训练阶段从生产传感器304接收的第二训练信号310和/或处理在训练阶段由内部神经网络316a产生的内部图像。在一些实施例中，特征特性可以具有统计性质，诸如平均值、标准差、最大值或从第二训练信号310和/或内部图像导出的其它统计数据。特征特性的示例可以包括“平均灰度级”、“平均交通工具速度”、“平均交通工具距离”等等。
[0145]
特征特性组604j(j＝a，b，......)，也称为“参考特征特性”组，与第一组参数640j(j＝a，b，......)和第二组参数850j(j＝a，b，......)相关联地存储在存储器中。为了表示可能存在多个训练阶段的事实，每个训练阶段具有不同的主要环境条件，提供表842，其中多个参考特征特性组被表示为604a、604b、......，相关联的第一组参数(针对第一神经网络318)被表示为640a、640b、......，并且相关联的第二组参数(针对第二神经网络338)被表示为850a、850b、......。验证单元802可以访问表842。当然，存在表示相关数据和关系的其它方式，并且这些方式在本公开的范围内。
[0146]
类似于先前关于验证单元602所描述的，验证单元802被配置为计算在实时操作期
间由第一神经网络318产生的测试信号320和/或测试图像322的类似特征特性。这些特征特性代表当前主要的环境条件，并且将被称为“测试特征特性”，以将它们与参考特征特性区分开。应当注意，在操作期间，在该实施例中，由第一神经网络318使用的神经网络参数组由640*表示，并且由第二神经网络338使用的神经网络参数组由850*表示，其中，640*是640a、640b等中的一个，并且其中，850*是850a、850b等中的一个。
[0147]
在操作中，验证单元802的任务是评估由第一神经网络318当前使用的神经网络参数组640*是否适合于生产传感器304所暴露的实时环境条件。这已经在验证单元602的上下文中描述。另外，验证单元802的任务是评估由第二神经网络338当前使用的神经网络参数组850*是否适合于生产传感器304所暴露的实时环境条件。
[0148]
为此，验证802被配置为：
[0149]
获得与当前第二组神经网络参数(即，850*)相关联的参考特征特性(即，604*)。这可以通过查阅表842完成。
[0150]
如上所述，基于测试信号320和/或测试图像322，实时计算测试特征特性；
[0151]
执行测试特征特性与参考特征特性的比较；
[0152]
基于比较，采取动作。
[0153]
通过非限制性示例，该比较可以涉及计算特征特性的相应对(参考特征特性与测试特征特性)之间的距离度量。然后，验证单元802基于该比较采取动作。例如，如果距离度量低于特定阈值，则验证单元802可以断定由第二神经网络338使用的当前第二组参数850*适合于生产传感器304所暴露的场景，并且可以不需要特定的进一步动作。然而，如果一个或多个距离度量高于阈值，则验证单元802可以断定由第二神经网络338使用的当前第二组参数850*不适合生产传感器304所暴露的场景。在这种情况下，可能需要进一步的动作，例如触发警报。
[0154]
注意，验证单元802可断定由第二神经网络338使用的当前第二组参数850*不适合于生产传感器304所暴露的场景，但由第一神经网络318使用的当前第一组参数640*是合适的，反之亦然。
[0155]
在比较步骤的更先进的版本中，验证单元802可以并行地或顺序地将测试特征特性与和相应的第二组参数850a、850b、......相关联的每个参考特征特性组604a、604b、......进行比较。这将允许验证单元802选择最合适的第二组参数以作为参数850*供给第二神经网络338。换言之，对参数850*的选择可以基于当前环境与所有先前环境的特征特性的比较，其中针对所有先前环境，已经执行了训练并且已经产生了单独的第二组参数850a、850b、......。
[0156]
本领域技术人员将理解，上述系统和/或方法可以使用特征特性作为支持。具体地，在实时操作期间，该方法和/或系统被配置为监控特征特性，并且确定训练组(即，用于训练第二神经网络338的数据)何时无效。
[0157]
本领域技术人员还将理解，验证是确定系统或方法执行到指定的什么程度的过程。当交通工具被置于新的场景、环境、地理环境中时，对于管理者、认证，或者在新的软件安装之后，可以预期验证。
[0158]
基于神经网络的感知方案可能需要创建用于验证的标记数据组，这可能是昂贵且耗时的过程。替代地，使用参考传感器(即，地面实况传感器)和生产传感器可使验证过程更
有效。特别地，两个并行感知系统可以在测试场景中实现，一个基于来自参考传感器的参考数据，另一个基于来自生产传感器的测试数据。可以将结果进行比较，并且可以相对于参考数据测量测试数据的性能。因此，验证提供了关于性能对于测试场景是否足够好的评估。
[0159]
因此，现在参考图9，其中示出了用于使用感知系统100验证感知系统300的结果的环境。
[0160]
具体地，如上所述，感知系统100包括：
[0161]
rdf单元108，其被配置为将从第一传感器(即，参考传感器302)组获得的信号变换成包括包含深度信息的第一图像的参考数据106；
[0162]
fld单元110，其被配置为处理第一图像，以识别包含满足特定标准的未指定对象的感兴趣区域。这些感兴趣区域可以在信号114中传送；
[0163]
神经网络112，其被配置为处理信号114，以便对第一图像的感兴趣区域中的已知对象执行检测和分类。
[0164]
如上所述，感知系统300包括：
[0165]
第一神经网络318，其被配置为将从第二传感器(即，生产传感器304)组获得的信号变换成包括包含深度信息的第二图像的测试数据322；
[0166]
fld单元324，其被配置为处理第二图像，以识别包含满足所述标准的未指定对象的感兴趣区域。这些感兴趣区域可以在信号326中传送；
[0167]
第二神经网络338，其被配置为处理信号326，以便对第二图像的感兴趣区域中的已知对象执行第二检测和分类。
[0168]
基于感知系统100执行的第一检测和分类(如检测信号116和分类信号118所表示的)以及感知系统300执行的第二检测和分类(如检测信号330和分类信号332所表示的)的结果，验证单元902被配置为验证感知系统300的性能(并且，具体地，第一神经网络328和/或第二神经网络338的性能)。
[0169]
通过非限制性示例，比较可以涉及计算对应的检测结果组之间的距离度量。然后，验证单元902基于该比较采取动作。例如，如果距离度量低于特定阈值，则验证单元902可以断定感知系统300的第一神经网络318和第二神经网络338当前使用的参数组适合于生产传感器304所暴露的场景，并且可以不需要特定的进一步动作。然而，如果一个或多个距离度量高于阈值，则验证单元902可以断定当前由第一神经网络318和/或第二神经网络338使用的参数组不适合于生产传感器304所暴露的场景。在这种情况下，可能需要进一步的动作，例如触发警报。
[0170]
这样，已经提供了操作地耦接到第一传感器组的第一感知系统、操作地耦接到第二传感器组的第二感知系统、验证单元。第一感知系统、第二感知系统和验证单元中的部分或全部可以由计算装置实现。参考图10，计算装置可以被配置为：将从第一传感器组获得的信号变换成包含深度信息的第一图像1002；处理第一图像以识别包含满足特定标准的未指定对象的感兴趣区域1004；对第一图像的感兴趣区域中的已知对象执行第一检测和分类1006；使用神经网络将从第二传感器组获得的信号变换成包含深度信息的第二图像1008；处理第二图像以识别包含满足标准的未指定对象的感兴趣区域1010；对第二图像的感兴趣区域中的已知对象执行第二检测和分类1012；以及基于第一对象检测和分类以及第二对象检测和分类的结果来验证神经网络的性能1014。
[0171]
本领域技术人员将理解，在本公开中所提及的神经网络在不同的实施例中可以采取各种形式，包括感知器、卷积神经网络、递归神经网络、长期/短期存储器、门控递归单元、hopfield网络、boltzmann机器、深度信念网络、自动编码器和生成对抗网络等等。
[0172]
本领域技术人员将理解，本公开中描述的感知系统可以适用于各种商业应用，包括各种类型的自主、半自主或辅助陆地交通工具(轮式或履带式)、船、水下交通工具、空中交通工具(诸如无人机)和太空交通工具。这样的交通工具可以是有人驾驶的或无人驾驶的，并且可以运载乘客或货物。感知系统相对于地面参考点可以是移动的或固定的。
[0173]
对系统的任何引用应当加以必要的变更而应用于由系统执行的方法和/或存储指令的计算机程序产品，所述指令一旦由系统执行就将使系统执行该方法。
[0174]
对方法的任何引用应当加以必要的变更而应用于被配置为执行该方法的系统和/或存储指令的计算机程序产品，该指令一旦被系统执行就将使系统执行该方法。
[0175]
对计算机程序产品的任何引用应当加以必要的变更而应用于由系统执行的方法和/或被配置为执行存储在非暂时性计算机可读介质中的指令的系统。
[0176]
对通信信道或通信单元的任何引用可包括任何类型的通信链路和/或信道，诸如无线或有线、直接链路或间接链路、蜂窝通信、卫星通信、wi-fi通信等。
[0177]
对计算机化系统的任何引用指包括至少一个硬件处理器、硬件存储器单元等的一个或多个计算机。
[0178]
术语“和/或”是附加的或替代的。
[0179]
实现相同功能的组件的任何布置被有效地“关联”，使得实现期望的功能。因此，本文中组合以实现特定功能的任何两个组件可以被视为彼此“相关联”，使得实现期望的功能，而不管架构或中间组件。同样，如此关联的任何两个组件也可以被看作彼此“可操作地连接”或“可操作地耦接”以实现期望的功能。
[0180]
此外，本领域技术人员将认识到，上述操作之间的边界仅仅是说明性的。多个操作可以被组合成单个操作，单个操作可以被分布在附加操作中，并且操作可以在时间上至少部分重叠地执行。此外，替代实施例可以包括特定操作的多个实例，并且在各种其它实施例中可以改变操作的顺序。
[0181]
又例如，在一个实施例中，所示示例可以被实现为位于单个集成电路上或同一装置内的电路系统。替代地，这些示例可被实现为以合适的方式彼此互连的任何数量的单独的集成电路或单独的装置。
[0182]
又例如，示例或其部分可以被实现为物理电路系统或可转换为物理电路系统的逻辑表示的软件或代码表示，诸如以任何适当类型的硬件描述语言。
[0183]
此外，某些特征或实施例的实现不限于在不可编程硬件中实现的物理装置或单元，而是还可以应用于能够通过根据适当的程序代码操作来执行期望的装置功能的可编程装置或单元，诸如大型机、小型计算机、服务器、工作站、个人计算机、笔记本、个人数字助理、电子游戏、汽车和其它嵌入式系统、蜂窝电话和各种其它无线装置，在本技术中通常被表示为“计算机系统”。
[0184]
某些实施例还可以在存储指令的非瞬态计算机程序产品中实现，所述指令可以形成用于在计算机系统上运行的计算机程序，至少包括用于当在诸如计算机系统的可编程设备上运行时执行根据本发明的方法的步骤或者使得可编程设备能够执行根据本发明的装
置或系统的功能的代码部分。计算机程序可以使存储系统将磁盘驱动器分配到磁盘驱动器组。
[0185]
计算机程序是诸如特定应用程序和/或操作系统的指令列表。计算机程序可以例如包括以下中的一个或多个：子例程、函数、过程、对象方法、对象实现、可执行应用、小服务程序、小应用、源代码、目标代码、共享库/动态加载库和/或设计用于在计算机系统上执行的其它指令序列。
[0186]
计算机程序可以内部地存储在非暂时性的计算机程序产品上。所有或一些计算机程序可以设置在永久地、可移除地或远程地耦接到信息处理系统的计算机可读介质上。计算机可读介质可以包括，例如但不限于，任意数量的以下介质：包括磁盘和磁带存储介质的磁存储介质；光学存储介质，例如光盘介质(例如，cd-rom、cd-r等)和数字视频盘存储介质；非易失性存储器存储介质，包括基于半导体的存储器单元，诸如闪存、eeprom、eprom、rom；铁磁数字存储器；mram；易失性存储介质，包括寄存器、缓冲器或高速缓存、主存储器、ram等。
[0187]
计算机进程通常包括执行(运行)程序或程序的一部分、当前程序值和状态信息、以及操作系统用来管理进程的执行的资源。操作系统(os)是管理计算机资源的共享并向程序员提供用于访问这些资源的接口的软件。操作系统处理系统数据和用户输入，并通过分配和管理任务和内部系统资源作为服务来响应用户和系统的程序。
[0188]
计算机系统例如可以包括至少一个处理单元、相关联的存储器和多个输入/输出(i/o)装置。当执行计算机程序时，计算机系统根据计算机程序处理信息，并通过i/o装置产生结果输出信息。
[0189]
图11是计算设备的框图，其可以表示用于实现上述功能中的一个或多个的计算装置1110。计算设备1110包括处理器1120和存储由处理器1120读取和执行的计算机可读指令的存储器1130，从而使得处理器1120执行各种方法和过程。i/o 1140接收传感器信号并从计算装置输出信号。总线1150可以允许处理器1120、存储器1130和网络i/o 1140的互连。
[0190]
如本文所述，“计算机实现的方法”不应必然地被推断为由单个计算装置执行，使得该方法的步骤可以由多于一个的协作计算装置执行。
[0191]
某些实施例可以采用符合各种网络标准的装置，并且用于各种应用，包括例如其它wlan标准和其它无线标准。这可以是参考传感器102和生产传感器104的情况，其可以经由有线或无线技术发送它们的输出。在本文的上下文中，术语“无线”及其派生词可以用于描述可以通过使用调制的电磁辐射经由非固体介质来传送数据的电路、装置、系统、方法、技术、通信信道等。该术语并不意味着相关联的装置不包含任何导线，尽管在一些实施例中它们可能不包含。在本文的上下文中，术语“有线”及其派生词可以用于描述可以通过使用调制的电磁辐射通过固体介质来传送数据的电路、装置、系统、方法、技术、通信信道等。该术语并不意味着相关的装置通过导电线耦接。
[0192]
应当理解，在整个说明书讨论中，使用诸如“处理”、“计算(computing、calculating)”、“确定”、“分析”等术语是指计算机或计算系统或类似的电子计算装置的动作和/或处理，其将表示为诸如电子的物理量的数据操纵和/或转换为类似地表示为物理量的其它数据。
[0193]
以类似的方式，术语“处理器”可以指处理例如来自寄存器和/或存储器的电子数
据以将该电子数据转换成例如可以存储在寄存器和/或存储器中的其它电子数据的任何装置或装置的一部分。“计算机”或“计算装置”或“计算机器”或“计算平台”可以包括一个或多个处理器。在一个示例性实施例中，本文描述的方法可由接受包含一组指令的计算机可读(也称为机器可读)代码的一个或多个处理器执行，所述指令在由一个或多个处理器执行时，执行本文描述的方法中的至少一个。包括能够执行指定要采取的动作的一组指令(顺序的或其它方式的)的任何处理器。因此，一个示例是包括一个或多个处理器的典型处理系统。处理系统还可以包括存储器子系统，该存储器子系统包括主ram和/或静态ram和/或rom。
[0194]
此外，计算机可读载体介质可以形成计算机程序产品或被包括在计算机程序产品中。计算机程序产品可以存储在计算机可用载体介质上，该计算机程序产品包括用于使处理器执行如本文所述的方法的计算机可读程序装置。
[0195]
在整个说明书中，对“一个实施例”、“示例性实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，在本说明书中各处出现的短语“在一个实施例中”、“在示例性实施例中”或“在实施例中”不一定都指同一实施例，而是可以指同一实施例。此外，如本领域普通技术人员从本公开中将显而易见的，在一个或多个实施例中，可以以任何合适的方式组合特定特征、结构或特性。类似地，应当理解，在示例实施例的以上描述中，为了使公开流畅并且帮助理解各个发明方面中的一个或多个方面，有时将各个特征一起分组在单个实施例、附图或其描述中。然而，这种公开方法不应被解释为反映了所要求保护的发明需要比每个权利要求中明确记载的特征更多的特征的意图。相反，如所附权利要求所反映的，发明方面可以在于少于单个前述公开的实施例的所有特征。因此，随附权利要求特此明确地并入到此详细描述中，其中每一权利要求独立地作为单独实施例。此外，虽然本文描述的一些实施例包括一些但不包括其它实施例中所包括的其它特征，但是不同实施例的特征的组合意味着在本发明的范围内，并且形成不同的实施例，如本领域技术人员将理解的。例如，在随附权利要求中，可以以任何组合使用任何要求保护的实施例。
[0196]
然而，其它修改、变化和替代也是可能的。因此，说明书和附图应被认为是说明性的而不是限制性的。
[0197]
除非另有说明，否则诸如“第一”和“第二”的术语用于任意区分这些术语所描述的元件。因此，这些术语不一定旨在指示这些元件的时间或其它优先次序，在相互不同的权利要求中叙述的某些措施的纯粹的事实不指示这些措施的组合不能被有利地使用。
[0198]
在前述说明书中，已经参考实施例的具体示例描述了本发明。然而，很明显，在不背离所附权利要求书中所阐述的本发明的范围的情况下，可以对其进行各种修改和改变。