用于对用于训练远程机器学习模型的数据进行智能机载选择的自主交通工具系统的制作方法

用于对用于训练远程机器学习模型的数据进行智能机载选择的自主交通工具系统
1.交叉引用和优先权要求
2.本专利文档要求2020年12月16日提交的美国专利申请第17/124,413号的优先权，该申请通过引用整体结合于此。


背景技术：

3.能够预测或预报对象行为对于自主交通工具的操作是重要的。对对象行为的准确预报使得自主交通工具能够实施预想的计划和控制，而不是对其环境做出反应。这使得自主交通工具的行驶行为更自然，以及提高了其乘客的舒适性和安全性。
4.自主交通工具从许多传感器收集大量数据，以便执行对象检测和对象行为预测。重要的是获得关于交通工具事件的真实世界数据，其可以用于开发或训练用于交通工具控制的系统。然而，感兴趣的真实世界交通工具事件是稀少的，并且难以从连续收集的真实世界数据中分离出来，因为来自行驶会话的总的真实世界数据集往往包含与交通工具操作相关的冗余和/或大量不相关或不太相关的信息。此外，真实世界数据通常在计算网络的“边缘”处(例如，在行驶期间的交通工具中)被收集，其中计算能力和存储空间是受限的(例如，受物理约束、热约束、功率约束等的限制)，并且往往基本上在云中(例如，在远程计算系统处)被处理和/或存储，这与通信时延和带宽成本相关联。期望满足云计算处的准确度要求，同时平衡与计算边缘相关联的时延/成本要求。然而，对于自主交通工具来说，有时难以确定来自哪些源的哪些图像或信息应该被处理并用于机器学习模型。
5.本文档描述了旨在解决上述问题和/或其他问题的方法和系统。


技术实现要素：

6.在各种场景中，公开了用于在车上和在自主交通工具上选择有用的训练数据日志以用于训练机器学习模型的系统和方法。该系统包括自主交通工具，该自主交通工具包括多个传感器、处理器和存储编程指令的非暂时性计算机可读介质。该处理器被配置为执行各种方法。可选地，计算机可读介质和/或编程指令可以被包括在计算机程序产品中。
7.该方法可以包括：从自主交通工具的传感器接收与自主交通工具的周围环境相对应的多个传感器数据日志，以及识别每个传感器数据日志内的一个或多个事件。该方法还包括：分析每个传感器数据日志内已识别的一个或多个事件的特征，以确定该传感器数据日志是否满足用于训练机器学习模型的一个或多个有用性标准，并且如果该传感器数据日志满足用于训练机器学习模型的一个或多个有用性标准，则将该传感器数据日志发送到远程计算设备以用于训练机器学习模型。特征可以包括空间特征、时间特征、边界框不一致或基于地图的特征。可选地，自主交通工具可以丢弃不满足用于训练机器学习模型的一个或多个有用性标准的传感器数据日志。
8.在各种实施方式中，事件可以包括在传感器数据日志内检测到对象。
9.在各种实施方式中，该方法还可以包括识别机器学习模型的一个或多个属性。可
选地，该方法可以包括使用一个或多个属性以用于分析该传感器数据日志内已识别的一个或多个事件的特征。这些属性的示例可以包括但不限于机器学习模型的实际准确度、机器学习模型的期望准确度、机器学习模型的假阳性率、机器学习模型的假阴性率、机器学习模型的收敛性、机器学习模型的输出、机器学习模型的统计拟合、使用机器学习模型解决的问题的标识、和/或机器学习模型的训练状态。
10.在某些实施方式中，特征包括空间特征。在这样的实施方式中，该方法可以分析该传感器数据日志内已识别的一个或多个事件的特征，以用于通过比较使用由多个传感器中的第一传感器收集的第一传感器数据日志而识别的第一事件和使用由多个传感器中的第二传感器收集的第二传感器数据日志而识别的对应事件，来确定该传感器数据日志是否满足用于训练机器学习模型的一个或多个有用性标准。该方法然后可以包括分析第一事件与对应事件之间的差异是否大于阈值。可选地，该方法还可以包括：当第一事件与对应事件之间的差异大于阈值时，确定第一传感器数据日志和第二传感器数据日志在空间上不一致，并且如果机器学习模型的准确度在使用空间上不一致的数据日志进行训练时将会提高，则确定第一数据日志或第二数据日志满足用于训练机器学习模型的一个或多个有用性标准。附加地和/或替代地，该方法可以包括：如果第一事件与对应事件之间的差异小于阈值，则确定第一传感器数据日志和第二传感器数据日志不是在空间上不一致的，并且如果机器学习模型的统计拟合指示过拟合，则确定第一数据日志或第二数据日志不满足用于训练机器学习模型的一个或多个有用性标准。
11.在某些实施方式中，特征包括时间特征。在这样的实施方式中，该方法可以分析该传感器数据日志内已识别的一个或多个事件的特征，以用于通过使用由多个传感器中的第一传感器收集的第一传感器数据日志而识别事件来确定该传感器数据日志是否满足用于训练机器学习模型的一个或多个有用性标准。该方法然后可以包括确定该事件是否能够使用由第一传感器在收集第一传感器日志之后立即收集的第二传感器数据日志来识别。可选地，该方法还可以包括：如果该事件不能使用第二传感器数据日志来识别，则确定第一传感器数据日志和第二传感器数据日志在时间上不一致，并且如果机器学习模型的准确度在使用在时间上不一致的数据日志训练时将会提高，则确定第一数据日志或第二数据日志满足用于训练机器学习模型的一个或多个有用性标准。附加地和/或替代地，该方法可以包括：如果该事件能够使用第二传感器数据日志来识别，则确定第一传感器数据日志和第二传感器数据日志不是在时间上不一致的，并且如果机器学习模型的统计拟合指示过拟合，则确定第一数据日志或第二数据日志不满足用于训练机器学习模型的一个或多个有用性标准。
12.在某些实施方式中，特征包括边界框不一致。在这样的实施方式中，该方法可以分析该传感器数据日志内已识别的一个或多个事件的特征，以用于确定该传感器数据日志是否满足用于训练机器学习模型的一个或多个有用性标准，包括使用由多个传感器中的第一传感器收集的第一传感器数据日志来识别边界框内的对象。该方法然后可以包括：跟踪对象，以用于预测由第一传感器在收集第一传感器日志之后立即收集的第二传感器数据日志中的对象的边界框，以及确定该对象是否能够使用第二传感器数据日志在所预测的边界框内被识别。可选地，该方法还可以包括：如果该对象不能使用第二传感器数据日志在所预测的边界框内被识别，则确定第一传感器数据日志和第二传感器数据日志包括边界框不一致；以及如果机器学习模型的准确度将在使用边界框不一致数据日志进行训练时将会提
高，则确定第一数据日志或第二数据日志满足用于训练机器学习模型的一个或多个有用性标准。附加地和/或替代地，该方法可以包括：如果该对象能够使用第二传感器数据日志在所预测的边界框内被识别，则确定第一传感器数据日志和第二传感器数据日志不包括边界框不一致，以及如果机器学习模型的统计拟合指示过拟合，则确定第一数据日志或第二数据日志不满足用于训练机器学习模型的一个或多个有用性标准。
13.在某些实施方式中，特征包括基于地图的特征。在这样的实施方式中，该方法可以分析所述传感器数据日志内已识别的一个或多个事件的特征，以用于确定所述传感器数据日志是否满足用于训练机器学习模型的一个或多个有用性标准，包括确定使用该传感器数据日志而识别的事件违反(violate)基于地图的特征。该方法然后可以包括：当传感器日志违反基于地图的特征时，确定该传感器日志满足一个或多个有用性标准。
14.在各种实施方式中，该方法还可以包括：从远程服务器接收与用于训练机器学习模型的传感器数据日志的有效性相关的信息，以及(使用所接收的信息)更新对随后接收的传感器数据日志内已识别的一个或多个事件的特征的分析，以用于确定随后接收的传感器数据日志是否满足用于训练机器学习模型的一个或多个有用性标准。
附图说明
15.图1是示出示例自主交通工具系统的框图。
16.图2示出了示例交通工具控制器系统。
17.图3示出了根据一个实施例的用于对用于训练远程机器学习模型的数据进行智能机载选择的示例方法的流程图。
18.图4示出了包括(多个)检测到的边界框和掩膜(mask)的示例图像数据日志。
19.图5是示出可能的电子系统、子系统、控制器、和/或av的其他组件、和/或外部电子设备的各种元件的框图。
具体实施方式
20.如在本文档中所使用的，单数形式“一”、“一个”和“该”包括复数引用，除非上下文中另有清楚指示。除非另有定义，否则本文中使用的所有技术术语和科学术语具有与本领域普通技术人员通常理解的相同的含义。如本文档中所使用的，术语“包括”意味着“包含但不限于”。与本文档相关的附加术语的定义被包括在本具体实施方式的末尾。
21.用于自主交通工具的控制和导航的各种算法(诸如用于检测图像中的对象的对象检测算法)使用机器学习模型，机器学习模型使用带标签的训练数据来训练。虽然这种训练这种模型需要大量的训练数据(即，带标签的图像)，但是由于存储器和传输的约束，使用由自主交通工具收集的所有数据或大多数数据是不可行的。通常，被动学习方法接受随机选择的训练数据。然而，训练数据的这种随机选择需要可能不会改进机器学习模型的训练的昂贵标签(例如，当随机选择的训练数据不包括有用信息时)。在主动学习中，选择“有用的”数据(例如，错误预测的标签、不确定的预测标签等)以用于机器学习模型的后续训练，而不是被动地接受随机选择的数据。与被动学习相比，主动学习可以显著减少所需的训练数据量，同时实现与被动学习相似的分类准确度。
22.本公开的各方面通过在计算边缘(即，收集传感器数据的交通工具)处智能地选择
原始数据样本以用于远程服务器处的训练中的后续存储、注释和/或使用，来改进机器学习模型的训练。
23.图1是示出示例系统100的框图，示例系统100包括经由网络110与一个或多个数据存储102和/或一个或多个服务器103通信的自主交通工具101。尽管示出了一个自主交通工具，但是多个自主交通工具可以通过网络110彼此通信耦合和/或通信耦合到数据存储102和/或服务器103。网络110可以是任何类型的网络，诸如局域网(local area network，lan)、广域网(wide area network，wan)(诸如互联网)、蜂窝网络、卫星网络或其组合，并且可以是有线的或无线的。(多个)数据存储102可以是任何种类的数据存储，诸如但不限于(多个)地图数据存储、(多个)历史信息数据存储、(多个)交通信息数据存储、(多个)用户信息数据存储、(多个)兴趣点数据存储或(多个)任何其他类型的内容数据存储。(多个)服务器103可以是任何种类的服务器或服务器集群，诸如但不限于web或云服务器、应用服务器、后端服务器或其组合。
24.如图1所示，自主交通工具101可以包括传感器系统111、机载计算设备112、通信接口114和用户接口115。自主交通工具101还可以包括交通工具中所包括的某些组件(例如，如图2所示)，诸如发动机、车轮、方向盘、变速器等，这些组件可以由机载计算设备112使用各种通信信号和/或命令来控制，诸如加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等。
25.传感器系统111可以包括一个或多个传感器，该一个或多个传感器耦合到自主交通工具101和/或被包括在自主交通工具101内，并且被配置用于感测或测量自主交通工具的环境的属性。这种传感器的示例包括但不限于lidar系统、无线电检测和测距(radio detection and ranging，radar)系统、激光检测和测距系统、声音导航和测距(sound navigation and ranging，sonar)系统、一个或多个相机(例如，可见光谱相机、红外相机等)、温度传感器、位置传感器(例如，全球定位系统(global positioning system，gps)等)、定位传感器、燃料传感器、运动传感器(例如，惯性测量单元(inertial measurement unit，imu)等)、湿度传感器、占用传感器等。传感器数据可以包括描述自主交通工具101的周围环境内的对象的定位的信息、关于环境本身的信息、关于自主交通工具101的运动的信息、关于自主交通工具的路线的信息等。当自主交通工具101在表面上行驶时，至少一些传感器可以收集关于该表面的数据。
26.lidar系统可以包括被配置为使用光来感测或检测自主交通工具101所处环境中的对象的传感器。通常，lidar系统是一种结合了光学远程感测技术的设备，其可以通过用光照射目标来测量到目标(例如，地面)的距离或目标的其他属性。作为示例，lidar系统可以包括被配置为发射激光脉冲的激光源和/或激光扫描仪以及被配置为接收激光脉冲的反射的检测器。例如，lidar系统可以包括由旋转反射镜反射的激光测距仪，并且激光在一维、二维或更多维中围绕被数字化的场景扫描，从而以指定的角度间隔收集距离测量。例如，lidar系统可以被配置为发射激光脉冲作为光束，并且扫描该光束以生成二维或三维的距离矩阵。在示例中，lidar系统可以包括诸如光(例如，激光)源、扫描仪和光学器件、光电检测器和接收器电子器件、以及位置和导航系统的组件。在一个示例中，lidar系统可以被配置为使用紫外光(ultraviolet，uv)、可见光或红外光对对象进行成像，并且可以用于很宽范围的目标，包括非金属对象。在一个示例中，很窄的激光光束可以用于以高分辨率绘制对
象的物理特征。
27.图2示出了交通工具201的示例系统架构，诸如图1自主交通工具的自主交通工具101。交通工具201可以包括发动机或马达202以及用于测量交通工具和/或其环境的各种参数的各种传感器。两种类型的交通工具所共有的操作参数传感器包括例如：位置传感器236，诸如加速度计、陀螺仪和/或惯性测量单元；速度传感器238；以及里程表传感器240。交通工具201还可以具有时钟242，该系统架构使用时钟242来确定操作期间的交通工具时间。时钟242可以被编码到交通工具机载计算设备212中，机载计算设备212可以是单独的设备，或者多个时钟可以是可用的。
28.交通工具201还可以包括进行操作以收集关于交通工具所行驶的环境的信息的各种传感器。这些传感器可以包括例如：定位传感器260，诸如gps设备；对象检测传感器，诸如一个或多个相机262；lidar传感器系统264；和/或雷达和/或声纳系统266。传感器还可以包括环境传感器268，诸如降水传感器和/或环境温度传感器。对象检测传感器可以使得交通工具201能够检测在任何方向上在交通工具201的给定距离或范围内的对象，同时环境传感器收集关于交通工具的行驶区域内的环境条件的数据。该系统架构还将包括用于捕获环境的图像的一个或多个相机262。
29.在操作期间，信息从传感器传送到机载计算设备212。机载计算设备212分析由传感器捕获的数据，并且可选地基于分析的结果来控制交通工具的操作。例如，机载计算设备212可以：经由制动控制器222控制制动；经由转向控制器224控制方向；经由节气门控制器226(在燃气动力的交通工具中)或马达速度控制器228(诸如电动交通工具中的电流电平控制器)控制速度和加速度；差速齿轮控制器230(在具有变速器的交通工具中)；和/或诸如辅助设备控制器214的其他控制器。
30.地理定位信息可以从定位传感器220传送到机载计算设备212，机载计算设备212然后可以访问与定位信息相对应的环境的地图，以确定环境的已知固定特征，诸如街道、建筑物、停车标志和/或停车/通行信号。从相机262捕获的图像和/或从诸如lidar系统264的传感器捕获的对象检测信息从那些传感器传送到机载计算设备212。对象检测信息和/或捕获的图像可以由机载计算设备212处理，以检测交通工具201附近的对象。另外地或替代地，交通工具201可以将任何数据发送到远程服务器系统103(图1)以用于处理。用于基于传感器数据和/或捕获的图像进行对象检测的任何已知或将要已知的技术都可以在本文档公开的实施例中使用。
31.机载计算设备212可以获得、检索和/或创建地图数据，该地图数据提供关于自主交通工具201的周围环境的详细信息。机载计算设备212还可以基于例如三维位置数据(例如，来自gps的数据)、三维方位数据、预测定位等来确定av在环境(局部化)中的定位、方位、姿态等。例如，机载计算设备212可以接收gps数据以确定av的纬度、经度和/或海拔位置。其他定位传感器或系统(诸如基于激光的局部化系统、惯性辅助gps或基于相机的局部化系统)也可以用于识别交通工具的定位。交通工具的定位可以包括绝对地理定位(诸如纬度、经度和海拔)以及相对定位信息(诸如相对于紧邻其周围的其他汽车的定位，这往往可以用比绝对地理定位更少的噪声来确定)。地图数据可以提供关于以下各项的信息：不同道路、路段、车道段、建筑物或其他项目的标识和定位；交通车道的定位、边界和方向(例如，停车车道、转弯车道、自行车道或特定道路内的其他车道的定位和方向)以及与交通车道相关联
的元数据；交通控制数据(例如，标志牌、交通灯或其他交通控制设备的定位和指示)；和/或提供协助机载计算设备212分析自主交通工具201的周围环境的信息的任何其他地图数据。地图数据还可以包括用于确定冲突区域或空间中的对象和/或交通工具的通行权的信息和/或规则。
32.在某些实施例中，地图数据还可以包括与交通工具沿着一条或多条车道行驶的常见模式相对应的参考路径信息，使得对象的运动被约束到参考路径(例如，对象通常行驶的交通车道内的定位)。这种参考路径可以是预定义的，诸如交通车道的中心线。可选地，参考路径可以基于一段时间内对交通工具或其他对象的历史观察来生成(例如，用于直线行驶、车道合并、转弯等的参考路径)。
33.在某些实施例中，机载计算设备212还可以包括和/或可以接收与用户的行程或路线相关的信息、关于路线的实时交通信息等。
34.机载计算设备212可以包括路线控制器231和/或可以与路线控制器231通信，路线控制器231为自主交通工具生成从起始位置到目的地位置的导航路线。路线控制器231可以访问地图数据存储，以识别交通工具可以行驶的、从起始位置到目的地位置的可能路线和路段。路线控制器231可以对可能的路线评分，并且识别到达目的地的优选路线。例如，路线控制器231可以生成使在路线期间行驶的欧几里德距离或其他成本函数最小化的导航路线，并且可以进一步访问交通信息和/或对可能影响在特定路线上行驶将花费的时间量的估计。取决于实施方式，路线控制器231可以使用各种路线方法(诸如迪杰斯特拉(dijkstra)算法、贝尔曼-福德(bellman-ford)算法或其他算法)生成一条或多条路线。路线控制器231还可以使用交通信息来生成反映路线的预期条件(例如，一周中的当前日期或一天中的当前时间等)的导航路线，使得为高峰时间期间的行驶生成的路线可能不同于为深夜的行驶生成的路线。路线控制器231还可以生成到目的地的超过一条的导航路线，并且将这些导航路线中的超过一条的导航路线发送给用户，以供用户从各种可能的路线当中进行选择。
35.在各种实施方式中，机载计算设备212可以确定自主交通工具201的周围环境的感知信息。基于由一个或多个传感器提供的传感器数据和所获得的定位信息，机载计算设备212可以确定自主交通工具201的周围环境的感知信息。感知信息可以表示普通驾驶员在交通工具的周围环境中将会感知到什么。感知数据可以包括与自主交通工具201的环境中的一个或多个对象相关的信息。例如，机载计算设备212可以处理传感器数据(例如，lidar或radar数据、相机图像等)，以便识别自主交通工具201的环境中的对象和/或特征。对象可以包括交通信号、道路边界、其他交通工具、行人和/或障碍物等。机载计算设备212可以使用任何现在或以后已知的对象识别或检测算法、视频跟踪算法和计算机视觉算法(例如，在多个时间段内逐帧迭代地跟踪对象)来确定感知。在一个实施例中，机载计算设备212可以包括检测和标记对象的对象检测器。示例对象检测器是卷积神经网络(convolutional neural network，cnn)。对象检测器可以输出图像或点云，该图像或点云包括围绕检测到的对象的边界框、对象的标签和/或指示检测到的对象被正确标记的置信度的边界框分数。
36.在一些实施例中，机载计算设备212还可以为环境中的一个或多个已识别对象确定对象的当前状态。对于每个对象，状态信息可以包括但不限于：当前定位；当前速度和/或加速度；当前航向；当前姿势；当前形状、大小或足迹；类型(例如，交通工具、行人、自行车、
静态对象或障碍物)；和/或其他状态信息。如下面更详细讨论的，机载计算设备212也可以识别在任何给定时间被对象占据的车道。
37.机载计算设备212可以执行一个或多个预测和/或预报操作。例如，机载计算设备212可以预测一个或多个对象的未来定位、轨迹和/或动作。例如，机载计算设备212可以至少部分地基于感知信息(例如，包括如下所述确定的估计形状和姿态的每个对象的状态数据)、定位信息、传感器数据和/或描述对象、自主交通工具201、周围环境和/或它们的(多个)关系的任何其他数据来预测对象的未来定位、轨迹和/或动作。例如，如果对象是交通工具，并且当前行驶环境包括十字路口，则机载计算设备212可以预测对象是否将有可能直线前进或进行转弯。如果感知数据指示十字路口没有交通灯，则机载计算设备212也可以预测交通工具在进入十字路口之前是否必须完全停止。
38.机载计算设备212的预测和/或预报操作还可以用于通过跟踪图像帧序列中的帧之间的先前检测和/或分类的对象来减少需要重新执行对象识别的数据样本(例如，图像)的数量。在一些示例中，可以经由点跟踪(诸如通过确定性方法(例如，利用基于对象的对象分类的参数约束)或统计方法(例如，卡尔曼(kalman)滤波))来执行对象跟踪。在一些其他示例中，可以经由内核滤波和内核跟踪(诸如使用基于模板的方法或多视图外观方法)来执行对象跟踪。可选地，可以经由剪影跟踪(诸如使用形状匹配、边缘匹配和/或轮廓跟踪)来执行对象跟踪。然而，对象跟踪和轨迹预测和/或确定可以使用运动分析来确定，或者经由任何合适的方法或技术以其他方式合适地执行。
39.在各种实施例中，机载计算设备212可以确定自主交通工具的运动计划。例如，机载计算设备212可以基于感知数据和/或预测数据来确定自主交通工具的运动计划。具体地，给定关于邻近对象的未来定位的预测和其他感知数据，机载计算设备212可以为自主交通工具201确定相对于处于他们的未来定位的对象最佳地导航自主交通工具的运动计划。
40.在一个或多个实施例中，机载计算设备212可以接收预测，并且制定关于如何处理自主交通工具201的环境中的对象的决策。例如，对于特定对象(例如，具有给定的速度、方向、转弯角度等的交通工具)，机载计算设备212基于例如交通条件、地图数据、自主交通工具的状态等来决定是否反超、让行、停止和/或通过。此外，机载计算设备212还为自主交通工具201计划在给定路线上行驶的路径以及行驶参数(例如，距离、速度和/或转弯角度)。也就是说，对于给定的对象，机载计算设备212决定对该对象做什么，并且确定如何做。例如，对于给定的对象，机载计算设备212可以决定通过该对象，并且可以确定是在该对象的左侧还是右侧通过(包括诸如速度的运动参数)。机载计算设备212还可以评估检测到的对象与自主交通工具201之间的碰撞风险。如果风险超过可接受的阈值，则它可以确定在自主交通工具遵循所定义的交通工具轨迹和/或在预定义的时间段(例如，n毫秒)内实施一个或多个动态生成的紧急机动的情况下是否能够避免碰撞。如果能够避免碰撞，则机载计算设备212可以执行一个或多个控制指令来执行谨慎的操纵(例如，适度减速、加速、变道或急转弯)。相反，如果不能避免碰撞，则机载计算设备212可以执行一个或多个控制指令以用于执行紧急操纵(例如，制动和/或改变行驶方向)。
41.例如，如果机载计算设备212基于对象轨迹预测确定对象有可能违反与自主交通工具的通行权协议，则机载计算设备212可以为自主交通工具确定避免在冲突空间中与这样的对象碰撞的运动计划。
42.如上所述，生成关于自主交通工具的移动的计划和控制数据以供执行。机载计算设备212可以例如：经由制动控制器控制制动；经由转向控制器控制方向；经由节气门控制器(在燃气动力的交通工具中)或马达速度控制器(诸如电动交通工具中的电流电平控制器)控制速度和加速度；差速齿轮控制器(在具有变速器的交通工具中)；和/或其他控制器。
43.在本文档中讨论的各种实施例中，描述可以陈述交通工具或交通工具中包括的控制器(例如，在机载计算系统中)可以实施编程指令，该编程指令使得交通工具和/或控制器制定决策并使用该决策来控制交通工具的操作。然而，实施例不限于这种布置，因为在各种实施例中，分析、决策制定和/或操作控制可以全部或部分由与交通工具的机载计算设备和/或交通工具控制系统进行电子通信的其他计算设备来处理。这样的其他计算设备的示例包括与乘坐在交通工具中的人相关联的电子设备(诸如智能电话)，以及经由无线通信网络与交通工具进行电子通信的远程服务器。任何这样的设备的处理器可以执行下面将讨论的操作。
44.返回参考图1，通信接口114可以被配置为允许自主交通工具101与外部系统(诸如，例如外部设备、传感器、其他交通工具、服务器、数据存储、数据库等)之间的通信。通信接口114可以利用任何现在或以后已知的协议、保护方案、编码、格式、封装等，诸如但不限于wi-fi、红外链路、蓝牙等。用户接口系统115可以是在交通工具101内实施的外围设备的一部分，包括例如键盘、触摸屏显示设备、麦克风和扬声器等。
45.现在参考图3，流程图示出了一种用于对相关数据进行机载选择以用于随后传输到远程服务器并在机器学习模型的训练中使用的示例方法。该方法可以实时地或接近实时地(例如，当记录图像数据时)、在延迟之后或在任何合适的时间执行。该方法可以针对行驶会话执行预定次数，可以针对行驶会话以预定频率迭代地执行，或者在任何合适的时间执行。该方法的多个实例可以针对多个并发的行驶会话而并发地执行(例如，针对不同的交通工具，经由不同的交通工具系统)。然而，可以在任何合适的时间执行任何合适数量的方法实例。
46.在302，自主交通工具的机载计算设备可以从一个或多个传感器接收原始数据日志。在操作(例如，行驶)期间，在安装到交通工具的交通工具系统处收集(例如，记录、获得等)数据日志。这种原始数据日志的示例可以包括但不限于点云、2d图像、3d图像、音频日志等。数据日志可以包括单个数据点(例如，单个图像、单个点云帧)、数据序列(例如，图像序列、视频、点云帧的突发等)、和/或任何其他合适的数据样本。传感器数据的单个“日志”是指传感器在连续时间段“t”内收集的数据。数据日志可以包括以帧为单位的传感器测量数据，或者随时间(诸如周期性地、间歇地、响应于感测事件等)的扫描。数据日志数据可以持续地(例如，连续地)、周期性地、随机地、在触发事件(例如，行驶事件、数据值或信号超过阈值等)发生时、和/或以任何其他合适的时间特性进行记录。
47.可选地，数据日志还可以包括由机载计算设备通过使用该数据日志作为机器学习模型的输入而生成的信息(例如，感知信息、检测信息等)。这种信息可以被系统用来分析用于训练该机器学习模型的各种数据日志选择策略的有效性(在下面讨论)。例如，数据日志可以包括由机载计算设备生成的检测边界框、跟踪器多边形或预测轨迹。
48.在304，机载计算设备可以识别、标记和/或跟踪每个接收的原始数据日志(例如，点云、相机图像等)中的一个或多个对象和/或事件。例如，示例对象检测模型(例如，卷积神
经网络(cnn)、掩模r-cnn等)可以用于检测和标记每个接收的原始数据日志中的一个或多个对象和/或事件。对象检测模型可以输出图像或点云，该图像或点云包括围绕检测到的对象的边界框、检测到的对象上的掩膜和/或对象的标签。边界框指示未标记的数据日志的被认为包含已识别对象的区域。因此，可以向边界框被分配指示被认为包含在边界框内的已识别对象的标签。每个检测到的对象可以由其定位(质心或中心点)、边界、标签分类或者甚至大小来表示。在一个实施例中，对象检测器可以输出图像或点云，该图像或点云包括围绕检测到的对象的边界框和/或检测到的对象的标签。检测到的和/或被跟踪的对象可以被打上时间戳。图4示出了包括边界框401a-n和掩膜402a-n的图像400。
49.机载计算设备然后可以识别(306)将使用数据日志进行训练的(多个)机器学习模型的一个或多个属性。这些属性的示例可以包括例如实际和/或期望的准确度、假阳性率、假阴性率、收敛性、统计拟合、机器学习模型的输出、使用机器学习模型解决的问题、机器学习模型的训练状态等。通过调整机器学习模型的操作参数来训练机器学习模型，直到获得期望的训练输出。通过将训练输出与训练数据的已知特性进行比较，可以手动地或自动地完成对训练输出是否是期望的确定。当学习机器的训练输出距离训练数据的已知特性在预定误差阈值内时，学习机器被认为是经训练的。
50.机载计算设备可以从例如训练(多个)机器学习模型的远程服务器接收信息。替代地和/或附加地，可以基于例如当前执行的机器学习模型的当前输出、使用(多个)机器学习模型解决各种问题所需的输出等来识别属性。机器学习模型的示例可以包括但不限于跟踪模型、形状估计模型、对象检测模型、姿态估计模型、分类和标记模型、分割模型、运动计划模型、预报模型、预测模型等。
51.可选地，机载计算设备还可以接收和/或识别用于训练机器学习模型的现有训练数据集内的数据的分布和/或特性。例如，机载计算设备可以识别数据日志中的在训练数据中缺失或未充分表示的特征和/或实例(例如，某些类型的对象(诸如垃圾车、建筑相关对象等)可能在用于训练对象检测模型的训练数据集中缺失和/或未充分表示；与事件(诸如交通工具没有在红灯时停止)相关联的数据日志可能在用于训练运动计划模型的训练数据集中缺失和/或未充分表示)。在另一示例中，某些类型的特征和/或实例可能在现有的训练数据中被过度表示。
52.机载计算设备然后可以处理每个数据日志，以通过分析与数据日志中识别的对象或事件相关的一个或多个特征来确定它对于训练机器学习模型是否将是有用的(308)。这种特征的示例可以包括但不限于空间特征、时间特征、基于地图的特征、边界框不一致、检测和/或标记准确度、数据日志的定性属性、在数据日志内检测到的(多个)对象和/或(多个)事件的(多个)类型等(下面关于对象检测模式进行更详细的描述)。如果数据日志满足一个或多个有用性标准，例如，数据日志可以用于初始训练机器学习模型，数据日志可以减少训练时间，数据日志可以提高机器学习模型的准确度，数据日志可以减少过拟合(即，日志数据具有减少的冗余)等等，则数据日志是“有用的”。数据日志可以用作负面数据日志(即，不一致的预测)。例如，在数据日志内检测到的指示不正确检测结果的事件或对象可以被如此标记，使得它们可以用于调整模型以获得更好的未来性能(即，模型从错误中进行学习的学习)。指示正确检测结果的数据日志也可能需要被如此标记，使得它们可以被用作正面数据日志来加强模型输出，而不是从错误中进行学习。
53.为确定数据日志的有用性而分析的特征可以与将被训练(或使用数据日志更新)的机器学习模型的类型和属性以及当前训练数据集的特性相关联。例如，对于一种或多种类型的对象具有低检测准确度的对象检测模型可以通过使用包括该对象的真阳性检测(和/或假阳性)的数据日志和/或包括标记有正确信息的不正确检测的数据日志进行训练来更新；并且机载计算设备可以将任何这种数据日志识别为有用的。类似地，先前过拟合的机器学习模型可以使用在现有训练数据中表示不足和/或缺失的数据日志(即，有用的数据日志)来训练，并且冗余的(即，过度表示的)数据日志可以被识别为无用的。这些特征的示例可以包括但不限于空间特征、时间特征、边界框特征、基于地图的特征等。
54.数据日志的空间特征可以用于识别基于来自多个传感器模态(即，不同类型的传感器)的数据的对象检测之间的不一致。可以使用来自不同模态的数据(例如，来自例如lidar或radar传感器的距离数据)交叉检查从某些模态的数据(例如，来自相机的视频图像)中检测到的感兴趣区域，以用于识别包括空间不一致的数据日志。例如，深度信息、形状信息和/或大小信息可以跨模态进行一致性评估。示例包括从被动传感器(例如，摄像机)在特定时刻获取的数据中检测到的对象和/或事件与从主动传感器(例如，lidar传感器)在同一时刻获取的数据中检测到的对象和/或事件之间的不一致。例如，可以将在时刻a从视频数据检测到的对象及其估计深度与提供由例如lidar传感器在时刻a获取的深度信息的主动传感器数据进行比较，以识别由相机和/或lidar(在时刻a)获取的数据日志中的不一致。例如，如果基于由相机收集的数据而估计检测到的对象具有估计的大小和深度，如果来自lidar传感器的数据近似地确认对象的大小和深度，则在空间域中的数据日志中不存在不一致，并且对象有可能被认为是正确检测到的。然而，如果(来自不同模态的)对象的深度和/或大小的差异高于阈值，则数据日志可能被标记为不准确、假阳性和/或假阴性检测。这种可能导致不准确、假阳性和/或假阴性的不一致数据日志(即，负面数据日志)可以被认为对于训练和/或更新机器学习模型以及正确的标签或信息(例如，大小、深度、类型等)是“有用的”。替代地和/或附加地，在空间上一致的数据日志(即，正面数据日志)可以被认为是用于进行学习以加强检测模型的输出的有用数据。正面(与已识别的准确标签在空间上一致)和负面(与正确的标签和/或已识别的标签在空间上不一致)两者的数据日志可能对于训练机器学习模型都是有用的，因为例如正面数据日志与负面数据日志之间的最佳平衡可能对于提高模型性能是关键的。在一些示例中，如果数据日志具有在现有训练数据集中过度表示的标签，则这种数据日志可以被认为是冗余的和无用的。相反，如果数据日志具有在现有训练数据集中表示不足的标签(无论在空间上一致还是不一致)，则这种数据日志可以被认为是有用的。
55.在各种实施方式中，时间特征可以用于确定从同一传感器模态获取的数据日志的连续帧(例如，连续视频帧)是否包含时间噪声或不一致。对象跟踪算法(例如，轮廓跟踪、基于内核的跟踪、基于cnn的方法)可以用于跨帧跟踪对象，以检测这种时间不一致或噪声。
56.这种时间特征可以揭示当前检测的结果与更早的检测结果是不一致的。例如，检测到的对象可能消失，然后重新出现在连续的数据日志(例如，视频帧、点云)中，并且这种数据日志可以被识别为在时域上不一致。类似地，其中在第一个获取的数据日志中检测到停放的交通工具而在随后的数据日志中没有检测到停放的交通工具的两个连续数据日志可以被识别为不一致。在另一示例中，其中在第一个获取的数据日志中检测到的交通工具
的姿态与在随后的数据日志中的姿态显著不同(超过阈值程度)的两个连续数据日志可以被识别为不一致。这可能是由不同的原因造成的。没有更早检测到的相应对象可能是由于先前没有检测到相同的对象或者先前没有以足够高的置信度检测到相同的对象(但是现在以足够的置信度检测到该对象)。这可能发生在对象先前较小、被遮挡或者由于天气条件(下雨、下雪或太阳眩光等)而没有被可靠地检测到，但是现在由于运动，对象在视图中看起来更大、距离更近、更可见或者处于能够更可靠地检测到它的更好定位(例如，遮挡消失)。这种场景也可以指示存在的假阳性情形。替代地，存在一个或多个更早检测到的对象，但是目前没有检测到相应的对象。这种场景可能在以下时发生：对象由于条件(没有遮挡、没有下雨、没有下雪、没有太阳眩光等)而先前很近，且因此很大或者被可靠地检测到，但是现在对象由于运动而更远，且因此更小并且更不可见(可能甚至消失，例如，前面的汽车转了个弯，使得它不再可见)、被遮挡或者由于其他外部条件而使得对象目前不能被可靠地检测到。这种场景也可以指示存在的假阴性情形。包含时间不一致的(多个)数据日志可以被认为对于利用适当标签(即，假阳性、假阴性和/或不准确)训练和/或更新机器学习模型是有用的。替代地和/或附加地，在时间上一致的数据日志可以被认为是有用的正面数据日志。具体地，正面(与已识别的准确标签在时间上一致)和负面(与正确的标签和/或已识别的标签在时间上不一致)两者的数据日志对于训练机器学习模型都是有用的，因为例如正面数据日志与负面数据日志之间的最佳平衡对于提高模型性能是关键的。在一些示例中，如果数据日志具有在现有训练数据集中过度表示的标签，则这种数据日志可以被认为是冗余的和无用的。相反，如果数据日志具有在现有训练数据集中表示不足的标签(无论在时间上一致还是不一致)，则这种数据日志可以被认为是有用的。
57.类似于时间特征，数据日志中的边界框不一致可以用于识别数据日志是否有用。例如，对于包括的顺序的数据日志，机载计算系统可以基于第一数据日志与第二数据日志之间的检测到的对象(在第一数据日志中检测到的对象)的预测轨迹(由跟踪模型确定)来定义关于检测到的对象的跟踪边界框。取决于该对象是否由检测模型在第二数据日志中的边界框内检测到，边界框不一致可以用于训练和/或更新检测模型和/或跟踪模型(例如，通过将边界框标记为假阳性、真阳性、假阴性或真阴性)。例如，跟踪模型可能不正确地预测了检测到的对象的轨迹，并且当边界框是真阴性检测时，数据日志可以用作负面数据日志。替代地，检测模型可能已经缺失了检测，并且当边界框是假阴性检测时，数据日志可以是检测模型的有用的阴性数据日志。在另一场景中，跟踪模型和检测两者可能都是准确的，并且数据日志可以用作正面数据日志以提高检测的准确度(真阳性检测)。
58.在一些实施方式中，基于地图的特征可以用于确定检测到的对象是否违反地图约束。例如，在建筑物内检测到的汽车违反了地图约束，并且其中检测到汽车的(多个)数据日志可以不被认为对于训练和/或更新机器学习模型是有用的。地图约束可以是硬约束和/或统计建模的。违反地图约束的数据日志可以用作负面数据日志，而不违反地图约束的数据日志可以用作正面数据日志。
59.在310，如果数据日志被识别为是有用的(308：是)，则机载计算设备可以将该数据日志发送到远程计算设备以用于更新和/或训练机器学习模型，并且丢弃(312)未被识别为有用的数据日志(308：否)。由于有太多的传感器数据要存储在自主交通工具的实际机载计算系统中，因此本文公开的主动学习系统有助于减少存储在数据库中的数据日志量，并且
在数据库中的数据日志的数量和质量之间找到平衡，以优化系统性能和成本。此外，可以分析不同种类的错误(例如，缺失的对象、不准确的位置)对性能的影响，以及利用不同数量的数据训练相同的模型。
60.在312，机载计算设备可以接收与所选择的有用数据(在310中发送)在改进使用发送的数据训练的机器学习模型中的有效性相关的信息，并且相应地调整确定数据日志是否有用(即，数据选择)的步骤308(314)。具体地，机载计算设备可以基于所接收的有效性信息来修改对数据日志对于训练机器学习模型是否有用的确定。例如，在某些示例中，所接收的有效性信息可以指示，当与基于地图特征而选择的数据日志相比时，基于时间特征的数据日志选择策略(即，确定数据的有用性)而产生的数据日志更能提高机器学习模型的性能。在这样的示例中，机载计算设备可以赋予基于时间特征而不是地图特征的数据选择策略更多的权重(例如，当基于时间特征的数据选择和基于地图特征的数据选择的结果之间存在冲突时)。机载计算设备可以类似地分配(和/或周期性地更新)与上述各种数据日志选择策略相关的权重。类似地，所接收的有效性信息可以指示，当与使用随机数据选择策略而选择的数据相比时，基于空间特征的数据日志选择策略(即，确定数据的有用性)而产生的数据日志更能提高机器学习模型的性能。因此，机载计算设备可以减少使用随机数据选择策略的频率，并且增加使用基于空间特征的数据日志选择策略的频率。机载计算设备可以类似地分配(和/或周期性地更新)与上述各种数据日志选择策略相关的频率。
61.机载计算可以从例如远程服务器接收与所选择的有用数据的有效性相关的信息。远程服务器可以基于例如对机器学习模型的性能(例如，准确度、处理成本等)的变化、机器学习模型的优化函数(例如，包括随着与机器学习模型的目标输出的偏差增加而增加的惩罚的损失函数)的变化、机器学习模型的参数的变化等的分析来确定有效性。
62.为了在全局级别上进一步增强性能，本教导公开了大型车队中的每个自主交通工具上的原位计算机辅助感知系统可以自动地选择适当的带标签的训练数据，并且将其发送到远程机器学习模型训练/更新服务器。以这种方式，在远程机器学习模型训练/更新服务器处整合来自不同类型环境的数十万组带标签的训练数据(在交通工具运行时生成)，使得机器学习模型可以基于来自源的大范围的带标签的训练数据来更新(并且可以被部署回车队中的自主交通工具)。由于这种车队数据提供了与各种各样的感知条件和情形相关的有意义的数据，因此可以在连续的基础上训练和再训练全局模型，以处理不同条件下的预期任务。
63.虽然以上描述涉及选择原始或未标记的图像以用于后续标记和用于训练执行对象检测的机器学习模型，但是本公开不限于此。具体地，本公开的方法和系统可以用于选择任何种类的原始数据以用于训练许多不同种类的模型，诸如但不限于跟踪模型、运动计划模型、预报模型、预测模型等。例如，系统可以将预测模型所预测的轨迹与近期的实时轨迹进行比较，以生成预测模型的一致和不一致的数据日志(如上所述)，并且选择有用的数据日志以用于训练/更新预测模型。
64.图5示出了可以被包括在系统(诸如av的内部处理系统、外部监控和报告系统、或者远程服务器)的任何电子组件中的内部硬件的示例。电气总线500充当将硬件的其他所示组件互连的信息高速公路。处理器505是系统的中央处理设备，被配置为执行执行程序指令所需的计算和逻辑运算。如本文档和权利要求中所使用的，术语“处理器”和“处理设备”可
以指单个处理器或共同执行一组操作的一组处理器中的任何数量的处理器，诸如中央处理单元(central processing unit，cpu)、图形处理单元(graphics processing unit，gpu)、远程服务器或它们的组合。只读存储器(read only memory，rom)、随机存取存储器(random access memory，ram)、闪存、硬盘驱动器和其他能够存储电子数据的设备构成了存储器设备525的示例。存储器设备可以包括单个设备或设备集合，数据和/或指令在设备集合之间进行存储。本发明的各种实施例可以包括包含编程指令的计算机可读介质，该编程指令被配置为使得一个或多个处理器和/或设备执行在先前附图的上下文中描述的功能。
65.可选的显示接口530可以允许来自总线500的信息以视觉、图形或字母数字格式显示在显示设备535上，诸如在交通工具的仪表板内显示系统上。还可以提供音频接口和音频输出(诸如扬声器)。与外部设备的通信可以使用各种通信设备540来进行，诸如无线天线、射频识别(radio frequency identification，rfid)标签和/或短程或近场通信收发器，其中的每一个都可以可选地经由一个或多个通信系统与设备的其他组件通信连接。(多个)通信设备540可以被配置为通信连接到通信网络，诸如互联网、局域网或蜂窝电话数据网络。
66.硬件还可以包括用户接口传感器545，用户接口传感器545允许从诸如键盘或小键盘、操纵杆、触摸屏、触摸板、遥控器、定点设备和/或麦克风的输入设备550接收数据。还可以从能够捕获视频和/或静止图像的相机520接收数字图像帧。该系统还可以从运动和/或位置传感器570(诸如加速度计、陀螺仪或惯性测量单元)接收数据。该系统还可以从诸如在本文当中较早描述的lidar系统560接收数据。
67.上面公开的特征和功能以及替代方案可以结合到许多其他不同的系统或应用中。各种组件可以在硬件或软件或嵌入式软件中实施。本领域技术人员可以做出各种目前未预见或未预想的替代、修改、变化或改进，其中的每一个也旨在被所公开的实施例所涵盖。
68.与上面提供的公开相关的术语包括：
[0069]“自动化设备”或“机器人设备”是指包括处理器、编程指令和一个或多个物理硬件组件的电子设备，其可以响应于来自处理器的命令而在最少或没有人工干预的情况下移动。通过这种移动，机器人设备可以执行一个或多个自动功能或功能集合。这种操作、功能或任务的示例可以包括但不限于操作车轮或推进器以实现驱动、飞行或其他运输动作，操作机器人升降机以用于装载、卸载、医疗相关过程、建筑相关过程等。示例自动化设备可以包括但不限于自主交通工具、无人机和其他自主机器人设备。
[0070]
术语“交通工具”是指能够运载一个或多个乘员和/或货物并且由任何形式的能量提供动力的任何移动形式的运输工具。术语“交通工具”包括但不限于汽车、卡车、货车、火车、自主交通工具、飞机、空中无人机等。“自主交通工具”是具有处理器、编程指令和动力传动系统组件的交通工具，动力传动系统组件可由处理器控制，而不需要人类操作员。自主交通工具可以是完全自主的，因为它对于大多数或所有的行驶条件和功能都不需要人类操作员，或者它可以是半自主的，因为在某些条件下或对于某些操作可能需要人类操作员，或者人类操作员可以凌驾于交通工具的自主系统并可以控制交通工具。自主交通工具还包括其中自主系统增强交通工具的人类操作的交通工具，诸如具有驾驶员辅助转向、速度控制、制动、停止和其他系统的交通工具。
[0071]
术语“机器学习模型”或“模型”是指一组算法例程和参数，该算法例程和参数可以基于一组输入特征来预测现实世界过程的(多个)输出(例如，对象轨迹、患者的诊断或治
疗、基于用户搜索查询的合适推荐等的预测)，而无需显式地编程。软件例程的结构(例如，子例程的数量和它们之间的关系)和/或参数的值可以在训练过程中确定，这可以使用被建模的真实世界过程的实际结果。这种系统或模型被理解为必然植根于计算机技术，并且事实上，在没有计算技术的情况下不能被实施或者甚至不能存在。虽然机器学习系统利用各种类型的统计分析，但是机器学习系统与统计分析的区别在于无需显式编程和植根于计算机技术的学习能力。
[0072]
典型的机器学习流水线可以包括根据样本数据集(称为“训练集”)构建机器学习模型，对照一个或多个附加的样本数据集(称为“验证集”和/或“测试集”)来评估模型以决定是否保持模型并衡量模型有多好，以及在“生产”中使用模型以对照由应用服务捕获的实时输入数据来进行预测或制定决策。
[0073]
术语“边界框”是指表示对象的定位的矩形框。边界框可以在数据中由对应于框的第一个角(诸如右上角)的x轴和y轴坐标[x
max
,y
max
]以及对应于矩形的与第一个角相对的角(诸如左下角)的x轴和y轴坐标[x
min
,y
min
]来表示。它可以被计算为包含对象的所有点的最小矩形，可选地加上附加的空间以允许误差裕量。对象的点可以是由一个或多个传感器检测到的点，诸如由相机捕获的图像的像素或者由lidar传感器捕获的点云的点。
[0074]“电子设备”或“计算设备”是指包括处理器和存储器的设备。每个设备可以具有其自己的处理器和/或存储器，或者处理器和/或存储器可以与在虚拟机或容器布置中的其他设备共享。存储器将包含或接收编程指令，该编程指令在由处理器执行时使得电子设备根据该编程指令执行一个或多个操作。
[0075]
术语“存储器”、“存储器设备”、“数据存储”、“数据存储设施”等均是指其上存储有计算机可读数据、编程指令或两者的非暂时性设备。除非特别声明，否则术语“存储器”、“存储器设备”、“数据存储”、“数据存储设施”等旨在包括单个设备实施例、其中多个存储器设备一起或共同存储一组数据或指令的实施例、以及这些设备内的各个扇区。
[0076]
术语“处理器”和“处理设备”是指被配置为执行编程指令的电子设备的硬件组件。除非特别声明，否则单数术语“处理器”或“处理设备”旨在包括单个处理设备实施例和其中多个处理设备一起或共同执行过程的实施例。
[0077]
在本文档中，术语“通信链路”和“通信路径”意味着第一设备向一个或多个其他设备发送通信信号和/或从一个或多个其他设备接收通信信号所经由的有线路径或无线路径。如果设备能够经由通信链路发送和/或接收数据，则该设备是“通信连接的”或“通信耦合的”。“电子通信”是指在两个或更多个电子设备之间经由一个或多个信号传输数据，无论是通过有线网络传输还是通过无线网络传输，也无论是直接地传输还是经由一个或多个中间设备间接地传输。
[0078]
在本文档中，当诸如“第一”和“第二”的相对次序术语被用来修饰名词时，这种使用仅仅是为了将一个术语与另一术语区分开来，而不是为了要求顺序的次序，除非特别声明。
[0079]
此外，诸如“垂直”和“水平”或者“前面”和“后面”的相对位置术语在使用时旨在相对于彼此，而不必是绝对的，并且仅指与这些术语相关联的设备的一个可能位置，这取决于设备的方位。当本文档使用术语“前面”、“后面”和“侧面”来指交通工具的某个区域时，它们是指交通工具相对于交通工具默认行驶区域的区域。例如，汽车的“前面”是相比于交通工
具尾灯更靠近交通工具前灯的区域，而汽车的“后面”是相比于交通工具头灯更靠近交通工具尾灯的区域。此外，术语“前面”和“后面”不一定限于面向前面或面向后面的区域，而是分别还包括相比于后面更靠近前面的侧面区域、或者反之亦然的侧面区域。交通工具的“侧面”旨在是指交通工具的最前面和最后面之间的面向侧面的部分。