具有有效率的元数据生成和导出的汽车数据处理系统的制作方法

具有有效率的元数据生成和导出的汽车数据处理系统
1.优先权要求
2.本专利申请要求于2019年12月13日提交的美国临时专利申请62/948,027的权益，通过引用将其公开内容并入本文。
技术领域
3.本公开一般地涉及汽车数据处理，并且特别地涉及用于车辆中的元数据生成和导出的方法和系统。


背景技术：

4.自动驾驶汽车和其他车辆在一天的驾驶行程中生成并且处理大量的数据，该数据有时是太字节量级的。自动驾驶汽车中的数据源可以包括(例如)摄像头和其他传感器、高级驾驶员辅助系统(adas)、远程信息控制单元(tcu)、信息娱乐系统以及各种电子设备控制单元(ecu)。常规上，数量庞大的数据被定期上传到远程处理器。
5.上文的描述是作为本领域的相关技术的概览而提供的，不应被理解为承认其包含的任何信息构成了相对于本专利申请的现有技术。


技术实现要素：

6.本文描述的实施例提供了一种汽车数据处理系统，其包括存储子系统和处理器。该存储子系统被设置在车辆中，并且被配置为至少存储由该车辆的一个或多个数据源产生的数据。该处理器被安装在车辆中，并且被配置为向被存储在该存储子系统中的或者在被存储到该存储子系统的途中的数据应用至少一个模型，该模型在该数据中标识一个或多个指定的感兴趣特征，从而生成对指定的感兴趣特征在所存储的数据中的出现进行标记的元数据，并且将该元数据的至少部分导出至位于该车辆外部的外部系统。
7.在一些实施例中，该处理器被配置为标识相同的感兴趣特征在由所述数据源中的两个或更多不同数据源产生的数据中的出现，并且在生成所述元数据中对所述数据进行标记，从而使在由该数据源中的两个或更多不同数据源产生的数据中呈现的相同的感兴趣特征的出现相互链接。在实施例中，由该数据源中的两个或更多数据源产生的数据是相同类型的数据。在另一个实施例中，由该数据源中的两个或更多数据源产生的数据是不同类型的数据。在又一个实施例中，该数据源中的两个或更多数据源被设置在该车辆中的不同位置处。
8.在一些实施例中，该处理器还被配置为：响应于所导出的元数据，从该外部系统接收对该数据的与该感兴趣特征有关的一个或多个选定部分的请求；并且至少将该数据的选定部分提供给该外部系统，但所提供的少于该数据的全部。在示例性实施例中，该处理器被配置为向该外部系统提供该数据的两个或更多选定部分，该两个或更多选定部分是由该数据源中的两个或更多不同数据源产生的并且与相同的感兴趣特征相关联。
9.在所公开的实施例中，该处理器被配置为根据选择标准选择该元数据的供导出的
部分。在实施例中，该处理器被配置为导出元数据而不同时导出对应于该元数据的数据。
10.在示例性实施例中，该存储子系统被配置为至少存储由该车辆中的多个独立数据源产生的数据。在另一个实施例中，该存储子系统被配置为至少存储由被安装在该车辆中的不同位置处的多个数据源产生的数据。在实施例中，该存储子系统被配置为存储两个或更多不同类型的数据。
11.在一些实施例中，该处理器被配置为从外部系统接收模型。在实施例中，该处理器被配置为在该车辆连接到停靠站的同时导出元数据。在另一个实施例中，该处理器被配置为在独立于该车辆是否连接到停靠站的情况下导出元数据。
12.在一些实施例中，该模型包括人工智能(ai)推理模型，并且该处理器被配置为通过向该数据应用该ai推理模型而生成元数据。在实施例中，该处理器被配置为从该外部系统接收预先训练的ai推理模型，并且更新对该车辆中的ai推理模型的训练。
13.在一些实施例中，该存储子系统包括被配置为存储由多个数据源产生的数据的集中式存储装置。在实施例中，该集中式存储装置被配置为存储由该数据源中的两个或更多数据源产生的不同类型的数据。
14.在实施例中，该处理器还被配置为：向该数据应用不同于第一模型的第二模型，该第二模型在该数据中标识一个或多个第二感兴趣特征；根据第二模型向元数据添加第二感兴趣特征的第二出现；并且向该外部系统提供以下一者或多者：(i)仅与感兴趣特征的出现有关的元数据，(ii)仅与第二感兴趣特征的第二出现有关的元数据，以及(iii)与该出现和该第二出现都有关的元数据。在实施例中，该处理器被配置将结构化形式的元数据存储到该存储子系统中。
15.此外，根据本文描述的实施例，还提供了一种汽车数据处理方法，其包括至少将车辆的一个或多个数据源产生的数据存储到被设置在该车辆中的存储子系统中。使用被安装在车辆中的处理器，向被存储在该存储子系统中的或者在被存储到该存储子系统的途中的数据应用至少一个模型，该模型在该数据中标识一个或多个指定的感兴趣特征，从而生成对该指定的感兴趣特征在所存储的数据中的出现进行标记的元数据。将该元数据的至少部分导出至位于该车辆外部的外部系统。
16.此外，根据本文描述的实施例，还提供了一种汽车数据处理系统，其包括多个数据源和处理器。该数据源安装在车辆中，并且被配置为生成数据。该处理器安装在该车辆中并且被配置为：收集由该数据源生成的数据，并且将该数据本地存储在被设置在该车辆中的存储装置中，而不将该数据导出至该车辆外；在本地存储数据中标识一个或多个感兴趣部分；并且在该车辆连接到停靠站且该停靠站耦合至相对于该停靠站位于远程位置的外部系统的同时，至少将所标识的感兴趣部分上传至该外部系统，所上传的少于所本地存储的数据的全部。
17.在一些实施例中，该处理器被配置为在独立于该车辆是否连接到停靠站的情况下收集并存储该数据以及标识该感兴趣部分。在实施例中，该处理器被配置为从该数据源中的产生相同类型的数据的两个或更多不同数据源收集数据。在另一个实施例中，该处理器被配置为从该数据源中的产生不同类型的数据的两个或更多不同数据源收集数据。
18.在又一个实施例中，该处理器被配置为从该数据源中的被设置在该车辆中的不同位置处的两个或更多不同数据源收集数据。在所公开实施例中，该处理器被配置为标识并
上传由该数据源中的两个或更多不同数据源产生并且与相同的感兴趣特征相关联的两个或更多感兴趣部分。
19.根据本文描述的实施例，还提供了一种汽车数据处理方法，其包括由被安装在车辆中的多个数据源生成数据。使用被安装在车辆中的处理器，收集由该数据源生成的数据，并且将该数据本地存储在被设置在该车辆中的存储装置中，而不将该数据导出至该车辆外；标识所本地存储的数据的一个或多个感兴趣部分；并且在该车辆连接到停靠站且该停靠站耦合至相对于该停靠站位于远程位置的外部系统的同时，至少将所标识的感兴趣部分上传至该外部系统，所上传的少于所本地存储得数据的全部。
20.根据本文描述的实施例，还提供了一种汽车数据处理系统，其包括多个数据源、分组网络和处理器。该数据源分布在车辆中的不同位置处并且被配置为生成数据。该分组网络被设置在该车辆中，并且被配置为将数据从多个数据源传递至该车辆中的中央存储位置。该处理器被安装在该车辆中并且被配置为：生成对应于从该多个数据源传递并且被存储在该中央存储位置处的数据的元数据；并且将该传感器数据的一个或多个选定部分传递至位于该车辆外部的外部系统，该选定部分是基于对应于从多个数据源传递并且被存储在该中央存储位置处的数据的元数据而被选定的。
21.在实施例中，该多个数据源包括被配置为产生不同类型的数据的两个或更多不同数据源。在另一个实施例中，由该数据源中的该两个或更多数据源产生的数据是不同类型的数据。在所公开的实施例中，该处理器被配置为至少部分地响应于从外部系统接收的对一个或多个感兴趣特征的指示来选择该传感器数据的该一个或多个部分。
22.在示例性实施例中，该处理器被配置为通过向被存储在该中央存储位置处的数据应用人工智能(ai)推理模型而生成该元数据。在实施例中，在生成该元数据中，该处理器被配置为对一个或多个感兴趣特征在该数据中的一次或多次出现进行标记。在另一个实施例中，在生成该元数据时，该处理器被配置为对相同的感兴趣特征在两个或更多不同类型的数据中或者在由两个或更多不同数据源生成的数据中的出现进行标记。
23.此外，根据本文描述的实施例，还提供了一种汽车数据处理方法，其包括：由分布在车辆中的不同位置处的多个数据源生成数据；以及通过被设置在该车辆中的分组网络，将该数据从该多个数据源传递至该车辆中的中央存储位置。使用被安装在车辆中的处理器，生成对应于从该多个数据源传递并且被存储在该中央存储位置处的数据的元数据；并且将该传感器数据的一个或多个选定部分传递至位于该车辆外部的外部系统，该选定部分是基于对应于从该多个数据源传递并且被存储在该中央存储位置处的数据的元数据而被选定的。
24.根据本文描述的实施例，还提供了一种汽车数据分析系统，其包括用于与车辆通信的接口和计算机。该计算机被配置为：定义模型，该模型在该车辆的一个或多个数据源产生的数据中标识一个或多个指定的特征；向被安装在该车辆中的处理器提供该模型；从该车辆中的该处理器接收元数据，其中该元数据是由该处理器使用该模型生成的并且对该指定的特征在该数据中的出现进行标记；并且分析所接收的元数据。
25.在实施例中，该接口被配置为在该车辆连接到停靠站的同时接收该元数据。在另一个实施例中，该接口被配置为在独立于该车辆是否连接到停靠站的情况下从该车辆接收元数据。
26.在一些实施例中，该模型包括人工智能(ai)推理模型，并且该计算机被配置为训练该ai推理模型并且将所训练的ai推理模型提供给该车辆中的处理器。在所公开的实施例中，该计算机被配置为响应于所接收的元数据向该车辆中的该处理器发送对所存储的数据的一个或多个选定部分的请求，从该处理器接收所请求的一个或多个选定部分，并且分析该数据的一个或多个选定部分。
27.在另一个实施例中，该计算机被配置为请求所存储的数据的由该数据源中的两个或更多不同数据源产生的两个或更多选定部分。在又一个实施例中，该计算机被配置为请求所存储的数据的与相同的感兴趣特征相关联的两个或更多选定部分。
28.此外，根据本文公开的实施例，还提供了一种汽车数据分析方法，其包括：在位于车辆外部的计算机中，定义模型，该模型在由该车辆的一个或多个数据源产生的数据中标识一个或多个指定的特征；以及向被安装在该车辆中的处理器提供该模型。在位于该车辆外部的该计算机中，从该车辆中的该处理器接收元数据，其中该元数据是由该处理器使用该模型生成的并且对该指定的特征在该数据中的出现进行标记。分析所接收的元数据。
29.通过下文结合附图对本公开的实施例所做的详细描述，将更加充分的理解本公开，在附图中：。
附图说明
30.图1是示意性地示出了根据本文描述的实施例的汽车数据处理器系统的框图；
31.图2是示意性地示出了根据本文描述的实施例的图1的汽车系统中的元数据生成和处理的方法的流程图。。
具体实施方式
32.现代车辆生成源自于各种数据源的巨量的各种类型数据。例如，自动驾驶汽车可以生成来自视频摄像头的一项或多项视频馈送、从设置在车辆中的各种位置处的传感器流传递的各种种类的传感器数据、雷达和激光雷达信息、驾驶员行为信息、来自信息娱乐子系统和用户应用程序的信息以及定位和导航信息，例如，gps数据和地图。在通常的一天的驾驶中，自动驾驶汽车可以生成大约四太字节的数据。
33.车辆在运行期间产生的数据如果得到正确分析能够提供极有价值的信息。例如，gps数据和汽车驾驶数据能够用于更新通勤预测模型；摄像头的连续镜头能够用于优化自动驾驶汽车的自主驾驶能力和安全过程；驾驶行为信息能够被保险公司用来确定驾驶员的保险费，这里只是举出了几个例子。
34.执行这样的分析所需的计算能力通常远超现有技术水平的能力或者可承受的车载计算资源的能力。因此，在各种实施例中，为了有效地分析数据，将原始数据中的至少一些导出至外部系统，例如，基于云的数据处理系统。另一方面，关于时间、带宽和功耗的限制又使得将原始数据的全部从车辆传递至外部系统是不可行的。这些约束条件限制了分析在车辆中生成的数据的有效性以及从其提取有价值并且可行动的信息的有效性。
35.鉴于上述内容，本文描述的实施例提供了用于处理、传达和分析车辆中生成的数据的改进的方法和系统。
36.在一些所公开的实施例中，在车辆中部署汽车数据处理系统。该汽车数据处理系
统包括耦合至处理器的存储子系统。在车辆的操作期间，存储子系统存储由各种数据源产生的原始数据。处理器通过标识指定的感兴趣特征来对原始数据进行预处理，并且生成标记指定的感兴趣特征在原始数据中的出现的元数据。该元数据或者至少该元数据的选定部分被从车辆导出至外部系统。
37.该外部系统通常分析元数据以标识感兴趣的原始数据的特定部分，并且从车辆检索出这些特定部分以供分析。在实施例中，汽车数据处理系统被配置为在车辆连接到停靠站的同时与该外部系统通信。在该实施例中，处理器在持续进行的基础上将该元数据本地存储在该存储子系统中。当车辆停靠时，即停车并且连接到停靠站时，处理器将积累的元数据传输至该外部系统。
38.在一些实施例中，车载处理器标识感兴趣特征，并且通过向原始数据应用预先训练的人工智能(ai)推理模型而生成元数据。该ai模型可以是由(例如)该外部系统提供的。在一些实施例中，处理器应用几种不同的ai模型，例如，用于标识不同的感兴趣特征，或者用于在不同类型的原始数据中标识相同的感兴趣特征。下文将描述所公开的技术的几个实施方式示例和演示性使用情况。
39.在一些实施例中，相同的感兴趣特征(例如，对象或事件)可能呈现在由两个或更多数据源产生的两个或更多不同原始数据流中，例如，该两个或更多数据源可以是相同类型的但是设置在车辆中的不同位置处的传感器、或者可以是设置在车辆中的相同的位置或不同位置处的不同类型的传感器。在一些实施例中，车载处理器标识不同原始数据流中的感兴趣特征(例如，对象或事件)，并且生成元数据，该元数据对原始数据的对于相同的感兴趣特征在不同流中的出现是共性的或被其共享的部分进行标记。在发明名称为“metadata generation for multiple object types”的美国专利申请公开文本2020/0042548中阐述了与不同媒体对象有关的元数据的生成和处理的其他方面，通过引用将其公开内容并入本文。
40.通常地，元数据比原始数据小几个数量级、更简单，而且具有结构化格式。照此，可以使用适中的带宽在短时间段内将元数据传输至外部系统。外部系统随后基于元数据请求的原始数据的特定部分也比原始数据总量小得多。因此，所公开的技术提供了最佳的“工作量划分”，其(i)克服了车载系统与外部系统之间的通信瓶颈，并且(ii)不损害数据分析的质量。
41.图1是示意性地示出了根据本文描述的实施例的汽车数据处理器系统20的框图。系统20被安装在车辆中，并且包括各种传感器24、多个电子设备控制单元(ecu)32、高级驾驶员辅助系统(adas)28、信息娱乐系统30和中央计算机34。
42.例如，传感器24可以包括视频摄像头、速度传感器、加速度计、音频传感器、红外线传感器、雷达传感器、激光雷达传感器、超声波传感器、测距仪或其他接近传感器或者任何其他适当传感器类型。在本示例中，每个ecu 32(有时称为“区域ecu”)连接到安装在车辆的相应区域中的传感器。每个ecu 32通常控制其相应的传感器24并且从该传感器收集数据。在实施例中，传感器24中的一个或多个(例如，图像传感器)直接连接到adas 28，而不经由ecu 32。
43.在本语境下，系统20中的产生数据的任何元件(例如，包括传感器24、ecu 32、adas 28、信息娱乐系统30和中央计算机34)被视为“数据源”。ecu 32、adas 28、信息娱乐系统30
和中央计算机34被看作车辆的“电子子系统”的示例。可以看出，某一系统部件可以既充当数据源又充当电子子系统。
44.在一些实施例中，系统20的各种电子子系统被部署在车辆中的各种不同位置处，并且通过安装在车辆中的分组(packet)网络通信。在本示例中，该分组网络包括以太网网络，但是也可以使用其他适当网络协议。该网络包括多条以太网链路36以及一个或多个以太网开关40。在各种实施例中，该网络中使用的比特率可以是根据ieee 802.3ch的10g比特每秒(10gbps)、根据ieee 802.3bp的1000mbps、根据ieee 802.3bw的100mbps、根据ieee 802.3cg的10mbps(10base-t1s)或者任何其他适当的比特率。例如，链路36可以包括双绞线铜链路或者任何其他类型的适于以太网通信的链路。
45.在图1的示例中，系统20还包括集中式存储装置44(又被称为“存储子系统”)和处理器48。例如，于2020年11月11日提交的发明名称为“automotive network with centralized storage”的美国专利申请17/094,844中阐述了汽车网络中的集中式存储设备的各方面，通过引用将其公开内容并入本文。
46.存储装置44存储由车辆中的各种数据源(例如，传感器和/或电子子系统)提供的原始数据45。在一些实施例中，处理器48标识原始数据45中的指定的感兴趣特征，生成对指定的感兴趣特征元数据46在原始数据中的出现进行标记，并且将元数据46存储在存储装置45中。在实施例中，处理器48通过向原始数据45应用计算人工智能(ai)引擎来标识感兴趣特征。处理器48将元数据的至少部分导出至位于车辆外部的外部系统，例如，导出至位于车辆外部的基于云的数据处理系统或者另一适当计算机。
47.在实施例中，集中式存储装置44包括直接连接到安装在车辆中的分组网络的固态驱动器(ssd)。从附图中可以看出，在本示例中，集中式存储装置44包括经由相应的链路36连接到两个不同开关40的两个不同端口的两个接口。该方案提供了一定程度的冗余性，因为单个接口的(或者对应链路的)故障将不会使集中式存储装置44与该网络断开连接。
48.在本示例中，处理器48和存储装置44通过快速计算机总线，例如，高速外围部件互连(pcie)总线相互通信。替代地，在一些实施例中，处理器48可以独立地连接到该分组网络，在这种情况下，处理器48和存储装置44通过该网络相互通信。处理器48被配置为使用数据链路52与该车辆连接到的用于传递数据的停靠站或者任何其他适当接口(附图中未示出)通信。
49.通常地，数据源(传感器和/或电子子系统)通过该网络向集中式存储装置44发送原始数据45。在各种实施例中，数据源和集中式存储装置44可以使用任何适当协议通信，诸如通过组构(fabrics)的高速非易失性存储器(non volatile memory express over fabrics，nvme-of)协议或者通过tcp的nvme。于2020年11月11日提交的发明名称为“automotive network with centralized storage”的美国专利申请17/094,844中描述了可以在系统20中应用的集中式存储设备的其他方面，通过引用将其公开内容并入本文。
50.如图1中所示，通信系统20及其部件的(例如，各种装置和电子子系统的和/或集中式存储装置44的)的配置方式仅仅是为了清楚起见而描绘的示例性配置方式。在替代实施例中，可以使用任何其他适当配置方式。例如，系统20可以包括以任何其他适当方案布局和连接的任何其他适当类型的电子子系统和/或装置。作为另一示例，该分组网络(包括链路36和开关40)可以具有任何其他适当拓扑结构。
51.系统20及其部件的不同元件可以是使用专用硬件或固件实施的，例如，使用例如专用集成电路(asic)或者现场可编程门阵列(fpga)中的硬连线或可编程逻辑。另外地或替代地，系统20的部件的(例如，ecu 32、存储装置44和/或处理器48的)一些功能可以是以软件方式实施的和/或使用硬件元件和软件元件的组合实施的。为了清楚起见，从附图中省略了对于所公开技术的理解而言非必需的元件。
52.在一些实施例中，ecu 32、存储装置44和/或处理器48的一些功能可以是在一个或多个可编程处理器中实施的，该处理器以软件方式进行编程，以执行本文描述的功能。该软件可以被通过网络以电子形式下载至该处理器中的任何处理器，或者其可以被替代地或者另外地提供和/或存储在诸如磁、光或电子存储器的非易失性有形介质上。
53.如上文所指出的，车辆中的各种数据源(例如，传感器和电子子系统)在车辆的进行中的操作期间产生并且发送原始数据45，以供存储在集中式存储装置44中。例如，原始数据45可以包括视频数据、音频数据、传感器数据、雷达和/或激光雷达数据、驾驶员行为数据、来自信息娱乐子系统和/或用户应用程序的数据、诸如gps数据和地图的定位和/或导航数据以及/或者任何其他适当类型的数据。
54.可以看出，原始数据中的至少一些(例如，视频)可以是非结构化的。原始数据通常具有多种不同类型(模态)并且通常源自于安装在车辆中的多个不同位置处的多个不同类型的多个独立数据源。在一些实施例中，多个原始数据流是由相同类型的多个传感器(例如，多个视频摄像头或者多个激光雷达)生成的，这些传感器中的每个被设置在车辆中的不同位置处。在其他实施例中，相同类型的传感器的多个实例被设置在车辆中的相同的位置处，以提供相同类型的原始数据的冗余流。
55.处理器48扫描原始数据45，以便标识一个或多个指定的感兴趣特征，生成对指定的感兴趣特征在原始数据中的出现进行标记的元数据46的数据库，并且将元数据46存储在存储装置45中。在各种实施例中，例如，处理器48可以搜索任何适当的感兴趣特征，例如：
56.·
在视频中可见或者在传感器数据中可检测的车辆附近的对象或环境条件(例如，障碍物、交通标志、另一车辆或者接近车辆的行人)。
57.·
与驾驶员行为有关的事件(例如，车辆减速、响应于交通信号灯加速、转向以避免事故或躲避障碍物、或者对交通标志做出反应)。
58.·
与车辆的道路行为有关的事件(例如，自动驾驶效果)。
59.·
与附近车辆的存在或行为有关的事件，例如，拥挤交通或顺畅交通情境。
60.·
与驾驶员干预车辆的自主操作有关的事件。
61.·
与外部元件(例如，其他车辆、信号灯、道路传感器)的通信。
62.·
车辆中的机械症状(例如，因轮胎气压的损失而导致的响应度或噪声的变化、一个或多个刹车片的磨损、由于车前灯或者其他灯烧坏而带来的可视性损失、由于车载网络问题而带来的下降的连接性)。
63.上文的感兴趣特征的列表只是为了举例而给出的。另外地或替代地，处理器48可以标识任何其他可能有兴趣进行分析的适当特征。
64.如上文所指出的，在一些情况下，某一感兴趣特征(例如，对象或事件)出现在多个数据源的原始数据中。该多个数据源(并且因而该原始数据流)可以是不同类型的(例如，视频、音频、激光雷达、雷达等)，或者可以是相同类型的原始数据(例如，在车辆的不同位置处
捕获的视频)的多个实例。例如，道路事故或者机械损坏或故障可以在视频馈送中可见、在音频数据中可听、可以被各种传感器感测到和/或可以被一个或多个电子子系统报告。给定的感兴趣特征在不同数据源的原始数据中的这样的出现的相关性本身是很有价值的。因而，在一些实施例中，处理器48使用相同的标签对来这样的感兴趣特征(例如，对象或事件)的出现进行标记，或者否则以将在不同传感器的数据中的出现相互链接的方式来进行标记。
65.在各种实施例中，处理器48可以使用各种技术来标识原始数据45中的指定的感兴趣特征。在一些实施例中，处理器48运行计算人工智能(ai)引擎，该引擎被配置为编译并且应用在原始数据45中标识感兴趣特征的预先训练的ai推理模型。在一些实施例中，处理器48向原始数据应用几种不同ai模型，例如，用于标识不同的感兴趣特征，或者用于在不同类型的原始数据中标识相同的感兴趣特征。
66.在实施例中，处理器48从外部系统接收一个或多个预先训练的人工智能(ai)模型，例如，在车辆连接到停靠站的同时经由数据链路52接收。在车辆的进行中的操作期间，处理器48对由各种数据源提供的原始数据45应用该一个或多个预先训练的ai模型。
67.处理器48使用该一个或多个ai模型标识感兴趣特征在原始数据45中的出现，并且生成对这些出现进行标记的元数据46。处理器48可以对已经存储在存储装置44中的原始数据和/或在被存储到存储装置44的途中的原始数据应用ai模型。元数据46被暂时存储在存储装置44中。在适当时间，例如，在车辆连接到停靠站时，处理器48将在车辆中计算出的元数据46传输至外部系统，而通常不传递原始数据的全部。
68.注意，由于元数据46的数据尺寸相对较小(当然是在与原始数据相比时)，因而在一些实施例中，使车辆使用其与停靠站的连接来将元数据传输至外部系统的这种做法不是必需的。在实施例中，处理器48可以在独立于车辆是否连接到停靠站的情况下，例如，通过适当的无线链路，诸如蜂窝链路、移动wi-fi连接性耦合或者其他适当的无线链路来在车辆运行期间将元数据46传输至外部系统。类似地，在实施例中，外部系统可以在独立于车辆是否连接到停靠站的情况下，例如，通过适当的无线链路来将ai模型发送至处理器48。一般而言，经由停靠站的通信(例如，接收ai模型，以及导出元数据和/或所请求的原始数据的部分)被视为离线过程。
69.在一些实施例中，处理器48将元数据46的全部传输至外部系统。在其他实施例中，处理器48使用选择标准仅选择元数据46的部分，并且仅将元数据的选定部分发送至外部系统。
70.所公开的技术可以被用于在各种使用情况中分析很宽范围的各种各样的特征。例如，考虑一种使用情况，在该使用情况中外部系统分析当动物呈现在道路上或道路附近时自动驾驶车辆的行为。为了执行这类分析，在实施例中，外部系统训练在原始视频数据中标识动物的ai模型。处理器48接收预先训练的ai模型，编译该模型，并且对车辆中的各种摄像头所提供的视频摄像头馈送应用该模型。基于所标识的感兴趣特征的出现(视频中动物的呈现)，处理器48生成对呈现动物的视频帧进行标记的元数据。被标记的帧可以位于来自设置车辆中的不同位置处的两个或更多视频传感器的视频流中。处理器48将元数据上传至外部系统，以供初始分析。
71.在实施例中，之后外部系统可以请求原始数据45的与所标识的出现有关的感兴趣
部分，例如，比动物的呈现略微提前开始的视频选段。注意，所请求的原始数据的感兴趣部分未必恰好是所标识的该出现的部分。例如，外部系统可以记录视频中的标识到动物的时间，并且请求对应于这些时间的传感器数据。在实施例中，处理器48可以在外部系统不请求的情况下上传原始数据的感兴趣部分，例如，连同元数据一起上传。
72.作为另一个示例，考虑外部系统分析在下雨条件下出现行人时自动驾驶车辆的行为的使用情况。为了执行这类分析，在实施例中，外部系统为处理器48提供多个预先训练的ai模型，例如，用于标识视频中的下雨场景的模型、用于标识视频中的行人的另一模型、以及用于标识其他类型传感器(例如，环境条件传感器)的输出中的下雨条件的其他可能模型。使用这些模型，处理器48生成对视频中的该场景正在下雨的时间间隔、以及视频中的示出行人的时间间隔进行标记的元数据，并且有可能在其他传感器的原始数据中这样做。外部系统稍后可以寻找各种类型的间隔之间的交集(即，标识包含行人的具有下雨条件的时间间隔)，并且请求对应于这些时间间隔的传感器数据和/或子系统数据。
73.上文的两个示例是高度简化的，并且不以任何方式构成限制，并且其给出目的仅在于演示所公开技术的有效性。例如，其他示例可以涉及更大数量的不同类型的数据源。
74.图2是示意性地示出了根据本文描述的实施例的元数据生成和处理的方法的流程图。该图的左侧描绘了由外部系统(例如，基于云的数据处理系统)执行的动作。该图的右侧描绘了由车辆中的系统20执行的动作。
75.在模型训练操作60中，外部系统训练ai推理模型，以标识某种类型的原始数据45中的某一感兴趣特征(例如，标识视频数据中的人、标识音频数据或传感器数据中的机械故障等)。例如(但非必须)在车辆连接到停靠站的同时，将所训练的模型提供给处理器48。在编译操作64期间，处理器48将ai模型编译为在处理器的计算ai引擎上运行。在实施例中，处理器48可以更新对ai模型的训练，以考虑本地输入，例如，使用在特定车辆中获取的数据执行另外的训练。这样的更新可以是有用的，例如，更好地拟合具体车辆通常行驶的区域。可以在任何阶段，例如，在车辆连接到停靠站的同时和/或在车辆行驶的同时执行该种类的另外的训练。
76.在数据收集操作68中，车辆中的各种数据源生成原始数据45，并且发送原始数据，以供存储在存储装置44中。在标识操作72中，处理器48通过应用ai模型标识感兴趣特征在原始数据45中的出现。
77.在元数据生成操作76中，处理器48生成对所标识的出现进行标记的元数据46。元数据46中的每个标签通常指示被标识的感兴趣特征以及该出现在原始数据中的位置(例如，视频中的帧号或者取决于原始数据的类型的其他位置)。处理器48可以对已经存储在存储装置44中的原始数据和/或在被存储在存储装置44的途中的原始数据应用ai模型。
78.如上文所指出的，元数据生成可以被应用至多组原始数据，并且元数据生成可以涉及核对在由相同类型或不同类型的不同传感器提供的不同组的原始数据中呈现的相同的感兴趣特征(例如，对象或事件)的标签。
79.在元数据存储操作80中，处理器48将元数据46存储在存储装置44中。在通知操作84中，处理器48向外部系统通知元数据46可用。在元数据检索操作88中，外部系统从车辆的存储装置44取出元数据46。在各种实施例中，可以由外部系统将元数据46从车辆“拉出”，或者可以由车辆主动将元数据“推送”给外部系统。例如，处理器48可以周期性地或者在车辆
连接到停靠站时向外部系统推送元数据。
80.在初始分析操作92中，外部系统对元数据运行适当的初始分析。该初始分析通常基于该元数据确定关于感兴趣特征的原始数据45的一个或多个感兴趣部分。在数据检索操作96中，外部系统从车辆的存储装置44取出原始数据45的感兴趣部分。之后，在分析操作100，外部系统分析原始数据的感兴趣部分。
81.在实施例中，可以用不同ai模型重复上文描述的过程，不同ai模型由处理器48重映射给计算ai引擎，并且予以应用，从而对不同的感兴趣特征(或者不同类型的原始数据中的相同的感兴趣特征)进行标记。处理器48可以向现有元数据数据库增添新的元数据，或者生成元数据46的单独数据库并将其存储在存储装置44中。
82.尽管本文描述的实施例可以处理汽车系统中获取的原始数据，但是本文描述的方法和系统也可以用于其他应用中，例如，用于处理各种其他种类的非结构化原始数据，例如，视频库分析、语音呼叫分析等。
83.应当指出，上文描述的实施例是以举例方式阐述的，本发明不限于上文具体示出和描述的内容。相反，本发明的范围包括上文所描述的各种特征的组合和子组合两者，以及本领域技术人员在阅读前述描述时将想到的且在现有技术中未公开的该各种特征的变型和修改形式。通过引用结合到本专利申请中的文献应当被视为本技术的整体部分，除非在这些所结合的文献中以和本说明书中明确或隐含地做出的定义相矛盾的方式定义了任何术语，此时应当仅考虑本说明书中的定义。