自主交通工具系统的制作方法

自主交通工具系统
相关申请的交叉引用
1.本技术要求于2019年3月29日提交的题为自主交通工具系统(“autonomous vehicle system)”的美国临时专利申请第62/826,955号的权益和优先权，该临时专利申请的全部内容通过引用结合于此。
技术领域
2.本公开总体上涉及计算机系统领域，并且更具体地涉及实现自主交通工具的计算系统。


背景技术：

3.一些交通工具被配置成用于在自主模式下操作，在自主模式下，交通工具在几乎没有或没有来自驾驶员的输入的情况下导航通过环境。此类交通工具通常包括被配置成用于感测与交通工具的内部和外部环境有关的信息的一个或多个传感器。交通工具可以使用感测到的信息导航通过环境或确定乘客状态。例如，如果传感器感测到交通工具正在接近障碍物，则交通工具可以导航绕开障碍物。作为另一示例，如果传感器感测到驾驶员变得昏昏欲睡，交通工具可能会发出警报声或减速或停车。
附图说明
4.图1是示出示例自主驾驶环境的简化示图。
5.图2是图示出配备有自主驾驶功能的交通工具(和对应的车载计算系统)的示例实现方式的简化框图。
6.图3图示出根据某些实施例的神经网络的示例部分。
7.图4是图示出在各种交通工具中可支持的(例如，由它们的对应车载计算系统支持的)示例自主驾驶级别的简化框图。
8.图5是图示出可在一些自主驾驶系统中实现的示例自主驾驶流程的简化框图。
9.图6是示出根据至少一个实施例的评级和验证众包自主交通工具传感器数据的示例过程的简化图。
10.图7是根据至少一个实施例的对自主交通工具的传感器数据进行评级的示例过程的流程图。
11.图8是根据至少一个实施例的对自主交通工具的传感器数据进行评级的示例过程的流程图。
12.图9是根据至少一个实施例的用于自主交通工具数据收集的示例环境的简化图。
13.图10是根据至少一个实施例的用于自主交通工具的示例众包数据收集环境的简化框图
14.图11是根据至少一个实施例的用于计算传感器数据良好性得分的示例热图的简化图。
15.图12是根据至少一个实施例的计算自主交通工具传感器数据的良好性得分的示例过程的流程图。
16.图13描述了根据某些实施例的数据分类、评分和处置的流程。
17.图14描绘了根据某些实施例的用于处置基于归类的数据的示例流程。
18.图15描绘了根据某些实施例的智能地生成合成数据的系统。
19.图16描绘了根据某些实施例的用于生成合成数据的流程。
20.图17描绘了用于生成对抗性样本和基于对抗性样本来训练机器学习模型的流程。
21.图18描绘了根据某些实施例的用于生成模拟攻击数据集和使用模拟攻击数据集训练分类模型的流程。
22.图19图示出根据某些实施例的非线性分类器的操作。
23.图20图示出根据某些实施例的线性分类器的操作。
24.图21描绘了用于基于线性分类器的准确性而触发动作的流程。
25.图22是图示出示例门控循环单元(gru)和长短时记忆(lstm)架构的图示。
26.图23描绘了根据某些实施例的用于异常检测的系统。
27.图24描绘了根据某些实施例的用于检测异常的流程。
28.图25图示出根据一个实施例的在道路的一部分上限制交通工具的自主性级别的方法的示例。
29.图26图示出地图的示例，其中列出的道路的每个区域示出道路的该部分的道路安全性得分。
30.图27图示出根据本文所述的至少一个实施例的用于保护交通工具的计算机视觉系统中的隐私的通信系统。
31.图28a
‑
图28b图示出鉴别器的示例。
32.图29图示出根据至少一个实施例的gan配置系统的附加的可能组件和操作细节。
33.图30示出通过使用基于stargan的模型来修改输入图像的不同面部属性而生成的示例经伪装的图像。
34.图31示出由基于stargan的模型从真实面部的输入图像生成的示例经伪装的图像，以及评估真实图像和经伪装的图像的面部识别引擎的结果。
35.图32a示出由基于stargan的模型从真实面部的输入图像生成的示例经伪装的图像，以及评估真实图像和经伪装的图像的情绪检测引擎的结果。
36.图32b是与图32a所图示出的情感检测引擎针对输入图像和经伪装的图像的示例处理相对应的输入参数和输出结果的列表。
37.图33示出由基于icgan的模型执行的真实面部的输入图像到经伪装的图像的示例转换。
38.图34图示出在交通工具中实现的经配置的gan模型的附加的可能操作细节。
39.图35图示出根据至少一个实施例的交通工具中的经配置的gan模型2730生成经伪装的图像以及在机器学习任务中使用经伪装的图像的示例性操作。
40.图36是图示出与配置生成对抗网络(gan)相关联的可能操作流程的高级别流程的简化的流程图，该生成对抗网络被训练成用于在面部的图像上执行属性转移。
41.图37是图示出当经配置的gan模型在系统中实现时、与交通工具的隐私保护计算
机视觉系统的操作相关联的可能操作流程的高级别流程的简化流程图。
42.图38是图示出与当经配置的gan模型被应用于输入图像时可能发生的操作相关联的可能操作流程的高级别流程的简化流程图。
43.图39图示出用于自主交通工具的按需隐私符合性系统。
44.图40图示出由交通工具收集的数据和被定义为确保数据的隐私符合性的对象的表示。
45.图41示出根据至少一个实施例的用于按需隐私符合性系统的示例策略模板。
46.图42是图示出交通工具数据系统的可能组件和一般操作流程的简化框图。
47.图43从各种可能的人类行为者和硬件和/或软件行为者的角度图示出边缘或云交通工具数据系统的特征和活动。
48.图44是用于针对由自主交通工具收集到的数据创建策略的按需隐私符合性系统的示例门户屏幕显示。
49.图45示出在对图像应用车牌模糊策略之前和之后从交通工具收集到的示例图像。
50.图46示出在对图像应用面部模糊策略之前和之后从交通工具收集到的示例图像。
51.图47是图示出与按需隐私符合性系统中在交通工具处收集到的加标签数据相关联的高级别的可能操作流程的简化流程图。
52.图48是图示出与按需隐私符合性系统中的策略实施相关联的高级别的可能操作流程的简化流程图。
53.图49是图示出与按需隐私符合性系统中的策略实施相关联的高级别的可能操作流程的简化流程图。
54.图50是根据至少一个实施例的用于自主交通工具的自动化的控制回路的简化图。
55.图51是根据至少一个实施例的用于自主交通工具的自动化的通用数据输入(gdi)的简化图。
56.图52是根据至少一个实施例的示例gdi共享环境的示图。
57.图53是根据至少一个实施例的示例区块链拓扑的示图。
58.图54是根据至少一个实施例的使用有向无环图(dag)拓扑的示例“无链”区块的示图。
59.图55是根据至少一个实施例的用于自主交通工具的示例安全交通工具内通信协议的简化框图。
60.图56是根据至少一个实施例的用于自主交通工具的示例安全交通工具间通信协议的简化框图。
61.图57是根据至少一个实施例的用于自主交通工具的示例安全交通工具内通信协议的简化框图。
62.图58a描绘了根据某些实施例的用于确定多个传感器的采样率的系统。
63.图58b描绘了根据某些实施例的用于生成情境模型的机器学习算法。
64.图59描绘了根据某些实施例的用于生成融合
‑
情境字典的融合算法。
65.图60描绘了根据某些实施例的用于确定选择性采样和融合传感器权重的推断阶段。
66.图61图示出针对各个情境的各传感器的有差异的权重。
67.图62a图示出根据某些实施例的用于学习传感器在不同情境下的权重的方法。
68.图62b图示出根据某些实施例的用于在不同情境下学习传感器的权重的更详细的方法。
69.图63描绘了根据某些实施例的用于确定采样策略的流程。
70.图64是根据至少一个实施例的自主交通工具之间的示例vlc或li
‑
fi通信的简化图。
71.图65a
‑
图65b是根据至少一个实施例的自主交通工具上的示例vlc或li
‑
fi传感器位置的简化图。
72.图66是根据至少一个实施例的受试交通工具与交通交通工具之间的示例vlc或li
‑
fi通信的简化图。
73.图67是根据至少一个实施例的在自主交通工具的传感器融合过程中使用vlc或li
‑
fi信息的示例过程的简化图。
74.图68a图示出来自单个传感器的单个传感器数据流的处理流水线。
75.图68b图示出直接从激光雷达数据获得的示例图像。
76.图69示出用于处理多个传感器数据流的示例并行处理流水线。
77.图70示出了处理流水线，其中来自多个传感器的数据通过滤波动作被组合。
78.图71示出处理流水线，其中来自多个传感器的数据在上文概述的传感器抽象的所有动作之后通过融合动作来进行组合。
79.图72描绘了根据某些实施例的用于生成包括高分辨率图像和对应的低分辨率图像的训练数据的流程。
80.图73描绘了根据某些实施例的用于从低分辨率图像生成高分辨率图像的模型的训练阶段。
81.图74描绘了根据某些实施例的用于从低分辨率图像生成高分辨率图像的模型的推断阶段。
82.图75描绘了根据某些实施例的用于使用知识精炼来训练学生模型的训练阶段。
83.图76描绘了根据某些实施例的用于使用知识精炼来训练的学生模型的推断阶段。
84.图77描绘了根据某些实施例的用于增加所捕获的图像的分辨率以用于对象检测的流程。
85.图78描绘了根据某些实施例的用于基于方法全体来训练机器学习模型的流程。
86.图79图示出其中自主交通工具具有被遮挡的传感器，从而使驾驶情况具有潜在的危险的情况的示例。
87.图80图示出了使用交通工具协作的系统的示例高级架构图。
88.图81图示出其中由多个交通工具设想多个动作的情况的示例。
89.图82描绘了具有动态可调节的图像传感器和校准标记的交通工具。
90.图83描绘了图82的、具有已被旋转的图像传感器的交通工具。
91.图84描绘了根据某些实施例的用于调整交通工具的图像传感器的流程。
92.图85是根据实施例的处理器的示例图示。
93.图86图示出根据实施例的以点对点(ptp)配置布置的计算系统。
具体实施方式
94.图1是示出示例自主驾驶环境的简化示图100。交通工具(例如，105、110、115等)可被提供有通过车载计算系统促进的不同级别的自主驾驶能力，这些车载计算系统具有以硬件、固件和/或软件实现的逻辑以实现相应的自主驾驶堆叠。此类自主驾驶堆叠可允许交通工具自控制或提供驾驶员辅助，以检测道路、从一点导航到另一点、检测其他交通工具和道路行为者(例如，行人(例如，135)、骑自行车者等)、检测障碍和危险物(例如，120)、以及道路状况(例如，交通、道路状况、天气状况等)、并且相应地调整对交通工具的控制和引导。在本公开内，“交通工具”可以是被设计用来运载一个或多个人类乘客的有人驾驶车辆(例如，汽车、卡车、厢式货车、公共汽车、摩托车、火车、空中运输飞行器、救护车等)、在有或没有人类乘客的情况下驾驶的无人车辆(例如，货运车辆(例如，卡车、基于铁路的车辆等))、用于运输非人类乘客的车辆(例如，牲畜运输车辆等)、和/或无人机(例如，基于陆地的无人机或机器人或空中无人机或机器人，它们用于在驾驶环境中移动(例如，收集关于驾驶环境的信息、为其他交通工具的自动化提供辅助、执行道路维护任务、提供工业任务、提供公共安全和应急响应任务等))。在一些实现方式中，交通工具可以是被配置成在多种不同模式下交替操作的系统(例如，乘客交通工具、无人驾驶交通工具或无人机交通工具)，以及其他示例。交通工具可以在环境内“驾驶”，以使交通工具沿着地面(例如，铺砌或未铺砌道路、路径或景观)移动、通过水或通过空气移动。在这个意义上，取决于实现方式，“公路”或“道路”可以具体化为室外或室内基于地面的路径、水渠、或所定义的空中边界。因此，应该领会，以下公开和相关的实施例可以同样应用于各种情境和交通工具实现方式示例。
95.在一些实现方式中，环境内的交通工具(例如，105、110、115)可“被连接”，在于车载计算系统包括用于使用一种或多种技术(例如，ieee802.11通信(例如，wifi)、蜂窝数据网络(例如，第三代伙伴规划(3gpp)网络(4g、5g、6g等)、全球移动通信系统(gsm)、通用分组无线电服务、码分多址(cdma)等)、蓝牙、毫米波(mmwave)、zigbee、z
‑
波等)来支持无线通信的通信模块，从而允许车载计算系统连接至其他计算系统(诸如，其他交通工具的车载计算系统、路边单元、基于云的计算系统、或其他支持基础设施)并与其他计算系统通信。例如，在一些实现方式中，交通工具(例如，105、110、115)可与提供传感器、数据和服务以支持交通工具自身的自主驾驶能力的计算系统通信。例如，如在图1的说明性示例中所示，支持无人机180(例如，基于地面的和/或空中的)、路边计算设备(例如，140)、各种外部(例如，交通工具外部的或“外来的”)传感器设备(例如，160、165、170、175等)以及其他设备可作为与实现在交通工具(例如，105、110、115)上的计算系统、传感器和逻辑分离的自主驾驶基础设施而被提供，以支持并改进通过交通工具提供的自主驾驶结果，以及其他示例。交通工具还可通过无线通信信道与其他连接的交通工具通信，以共享数据并协调自主驾驶环境内的移动，以及其他示例通信。
96.如在图1的示例中所图示，自主驾驶基础设施可包含各种不同的系统。此类系统可取决于位置而变化，其中，较发达的道路(例如，特定市政或收费站官方控制的道路、处于城市地区的道路、已知对于自主驾驶汽车有问题的道路部分等)具有相比于其他道路部分更多数量或更先进的支持基础设施设备。例如，可提供补充传感器设备(例如，160、165、170、175)，包括用于观察道路部分和在环境内移动的交通工具并生成描述对传感器的观察或使对传感器的观察具体化的对应数据的传感器。例如，传感器设备可被嵌入在道路本身内(例
如，传感器160)、在路边或高架标牌上(例如，传感器165在标志125上)、传感器(例如，170、175)被附接至电子路边装备或固定装置(例如，交通信号灯(例如，130)、电子路标、电子公告牌等)、专用路边单元(例如，140)以及其他示例。传感器设备还可包括通信能力，以将它们收集到的传感器数据直接传输至附近连接的交通工具或传输至基于雾或基于云的计算系统(例如，140、150)。交通工具可获取由外部传感器设备(例如，160、165、170、175、180)收集的传感器数据、或使由其他系统(例如，140、150)基于来自这些传感器设备(例如，160、165、170、175、180)的传感器数据生成的观察或推荐具体化的数据，并且在传感器融合、推断、路径规划、以及有车载自主驾驶系统执行的其他任务中使用该数据。在一些情况下，此类外来传感器和传感器数据可能实际上处于交通工具内，诸如以附接至交通工具的售后市场传感器、由交通工具的乘员携带或穿戴的个人计算设备(例如，智能电话、可穿戴设备等)的形式。包括行人、骑行者、无人机、无人驾驶飞行器、机器人、电子摩托车等在内的其他道路行为者也可被提供有传感器或携带有传感器，以生成描述自主驾驶环境的传感器数据，该传感器数据可由自主交通工具、基于云或基于雾的支持系统(例如，140、150)、其他传感器设备(例如，160、165、170、175、180)使用和消耗，以及其他示例。
97.由于自主交通工具系统可拥有不同级别的功能和复杂性，因此可能要求支持基础设施不仅要补充一些交通工具的感测能力而且要补充计算机和机器学习功能从而实现一些交通工具的自主驾驶功能。例如，用于促进机器学习模型训练和使用此类机器学习模型的计算资源和自主驾驶逻辑可被设置在车载计算系统上，整体地或部分地在车载系统和一些外部系统(例如，140、150)两者上。例如，连接的交通工具可与路边单元、边缘系统、或在道路的特定路段本地的基于云的设备(例如，140)通信，其中此类设备(例如，140)能够提供数据(例如，从本地传感器(例如，160、165、170、175、180)聚合的传感器数据或从其他交通工具的传感器报告的数据)、对由交通工具提供的数据执行计算(作为服务)以(例如，基于在设备140处收集的或来自附近传感器设备的传感器数据等)来补充交通工具本机的能力和/或将信息推送至正在经过或正在接近的交通工具。连接的交通工具(例如，105、110、115)还可以或可替代地与基于云的计算系统(例如，150)通信，基于云的计算系统可提供类似的存储器、感测和计算资源以增强交通工具处可用的那些存储器、感测和计算资源。例如，基于云的系统(例如，150)可从处于一个或多个位置的多种设备收集传感器数据，并利用该数据来建立和/或训练机器学习模型，该机器学习模型可在基于云的系统处使用(以将结果提供给与基于云的系统150通信的各个交通工具(例如，105、110、115)或将结果推送至交通工具以供其车载系统使用)，以及其他示例实现方式。接入点(例如，145)可被设置在环境内并用于促进基于云的系统(例如，155)与各个交通工具(例如，105、110、115)之间通过一个或多个局域网或广域网(例如，155)的通信，这些接入点诸如，蜂窝电话塔、路边单元、安装至各种路边基础设施的网络接入点、由相邻的交通工具或建筑物提供的接入点以及其他接入点。通过此类基础设施和计算系统，应当领会本文中所讨论的示例、特征和解决方案可整体地由此类车载计算系统、基于雾的计算设备或边缘计算设备、或基于云的计算设备中的一个或多个执行，或者整体地由前述设备的组合通过这些系统之间的通信和协作来执行。
98.一般而言，本文中所讨论的“服务器”、“客户端”、“计算设备”、“网络元件”、“主机”、“平台”、“传感器设备”、“边缘设备”、“自主驾驶系统”、“自主交通工具”、“基于雾的系
统”、“基于云的系统”、以及“系统”等一般可以包括可操作以接收、传送、处理、存储、管理与自主驾驶环境相关联的数据和信息的电子计算设备。如本文档中所使用，术语“计算机”、“处理器”、“处理器设备”或“处理设备”旨在涵盖任何合适的处理装置，包括中央处理单元(cpu)、图形处理单元(gpu)、专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、张量处理器、以及其他矩阵算术处理器，以及其他示例。例如，可使用多个计算设备和处理器(诸如包括多个服务器计算机的服务器池)来实现被示出为环境的单个设备的元件。进一步地，计算设备中的任何计算设备、全部计算设备、或者一些计算设备可适于执行任何操作系统(包括linux、unix、microsoft windows、apple os、apple ios、google android、windows server等)并且适于执行使对特定操作系统(包括定制操作系统和专有操作系统)的执行虚拟化的虚拟机。
99.下文所描述或附图中所图示的流程、方法、过程(或其部分)中的任一者或者本文中所描述或附图中所图示的各种组件中的任何组件的功能均可由任何合适的计算逻辑来执行，该计算逻辑诸如一个或多个模块、引擎、块、单元、模型、系统、或其他合适的计算逻辑。本文中对“模块”、“引擎”、“块”、“单元”、“模型”、“系统”或“逻辑”可指用于执行一个或多个功能的硬件、固件、软件和/或每一者的组合。作为示例，模块、引擎、块、单元、模型、系统、或逻辑可包括与非暂态介质相关联的诸如微控制器或处理器之类的硬件，该非暂态介质用于存储适于由该微控制器或处理器执行的代码。因此，在一个实施例中，对模块、引擎、块、单元、模型、系统、或逻辑的引用可指硬件，该硬件被专门配置成用于识别和/或执行要保存在非暂态介质上的代码。此外，在另一实施例中，对模块、引擎、块、单元、模型、系统、或逻辑的使用是指包括代码的非暂态介质，该代码专门适于由微控制器或处理器执行以执行预定的操作。并且如可以被推断，在又一实施例中，术语模块、引擎、块、单元、模型、系统、或逻辑可指硬件和非暂态介质的组合。在各实施例中，模块、引擎、块、单元、模型、系统、或逻辑可包括微处理器或可操作以执行软件指令的其他处理元件、诸如专用集成电路(asic)之类的分立的逻辑、诸如现场可编程门阵列(fpga)之类的经编程的逻辑器件、包含指令的存储器设备、逻辑器件的组合(例如，如将在印刷电路板上发现的)、或其他合适的硬件和/或软件。模块、引擎、块、单元、模型、系统、或逻辑可包括一个或多个门电路或其他电路组件，其可以由例如晶体管来实现。在一些实施例中，模块、引擎、块、单元、模型、系统、或逻辑可完全被具体化为软件。软件可被具体化为记录在非暂态计算机可读存储介质上的软件包、代码、指令、指令集和/或数据。固件可被具体化为硬编码(例如，非易失性的)在存储器设备中的代码、指令或指令集、和/或数据。此外，被图示为分开的逻辑边界通常不同并且潜在地重叠。例如，第一模块和第二模块(或多个引擎、块、单元、模型、系统、或逻辑)可共享硬件、软件、固件、或其组合，同时潜在地保留一些独立的硬件、软件或固件。
100.下文所描述的和附图中的流程、方法、和过程只是表示可以在特定实施例中执行的功能。在其他实施例中，可以在流程、方法和过程中执行附加的功能。本公开的各种实施例构想用于实现本文所描述的功能的任何合适的信令机制。本文图示出的功能中的一些功能可以在适当的情况下在流程、方法、和过程内被重复、被组合、被修改、或被删除。另外，在不脱离特定实施例的范围的情况下，可以在流程、方法和过程内以任何合适的顺序执行功能。
101.现在参考图2，示出了图示装配有自主驾驶功能的交通工具(和对应的车载计算系
统)105的示例实现方式的简化框图200。在一个示例中，交通工具105可装配有一个或多个处理器202，诸如中央处理单元(cpu)、图形处理单元(gpu)、专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、张量处理器、以及其他矩阵算术处理器，以及其他示例。此类处理器202可耦合至集成硬件加速器设备(例如，204)或具有集成硬件加速器设备，该集成硬件加速器设备可被提供有用于加速某些处理和存储器访问功能的硬件，诸如与机器学习推断或训练(包括下文所描述的机器学习推断或训练中的任何一种)、特定传感器数据(例如，相机图像数据、激光雷达点云等)的处理、执行涉及自主驾驶的某些算术功能(例如，矩阵算术、卷积算术等)有关的功能，以及其他示例。可提供一个或多个存储器元件(例如，206)来存储机器可执行指令以及存储机器学习模型(例如，256)、传感器数据(例如，258)、以及与要由交通工具执行的自主驾驶功能有关的接收到的、所生成的、或所使用的其他数据，这些机器可执行指令实现交通工具上实现的自主驾驶堆叠的模块或子模块中的任一者的全部或部分。各种通信模块(例如，212)也可被提供、实现在在硬件电路和/或软件中，以实现由交通工具的系统使用从而通过采用一种或多种网络通信技术的一个或多个网络信道与其他外来计算系统通信的通信能力。这些各个处理器202、加速器204、存储器设备206、以及网络通信模块212可在交通工具系统上通过一个或多个互连结构或链路(例如，208)互连，这些互连结构或链路诸如利用诸如外围组件互连快速(pcie)、以太网、opencapi
tm
、gen
‑
z
tm
、upi、通用串行总线(usb)、用于加速器的高速缓存一致性互连(ccix
tm
)、超微半导体
tm
(amd
tm
)的infinity
tm
、通用通信接口(cci)或高通
tm
的centriq
tm
互连的互连结构或链路等等。
102.继续图2的示例，示例交通工具(和对应的车载计算系统)105可包括车载处理系统210、驾驶控制(例如，220)、传感器(例如，225)、以及(多个)用户/乘员接口(例如，230)等等硬件和/或软件中此类示例模块实现的自主交通工具的功能。例如，在一些实现方式中，车载处理系统210可实现自主驾驶堆叠和过程流(例如，如图5的示例中所示出和所讨论)的全部或部分。自主驾驶堆叠可以在硬件、固件或软件中实现。可提供机器学习引擎232以结合被提供和实现在交通工具处或用于交通工具的一个或多个自主功能和特征(诸如本文中的示例中所讨论)来利用交通工具105处所提供的各种机器学习模型(例如，256)。此类机器学习模型256可包括人工神经网络模型、卷积神经网络、基于决策树的模型、支持向量机(svm)、贝叶斯模型、深度学习模型、以及其他示例模型。在一些实现方式中，示例机器学习引擎232可包括一个或多个模型训练器引擎252，以参与对机器学习模型256中的一个或多个的训练(例如，初始训练、继续训练等)。还可提供一个或多个推断引擎254，以利用经训练的机器学习模型256来推导各种推断、预测、分类和其他结果。在一些实施例中，本文所述的机器学习模型训练或推断可以(诸如由计算系统140或150)在交通工具外执行。
103.可利用设置在交通工具处的(多个)学习引擎232来支持车载处理系统210并提供由车载处理系统210的其他逻辑组件和模块使用的结果，从而实现自主驾驶堆叠和其他有关自主驾驶的特征。例如，数据收集模块234可被提供有用于确定要从哪个源收集数据的逻辑(例如，针对由交通工具使用的各种机器学习模型256的训练或使用中的输入)。例如，可选择特定的源(例如，内部传感器(例如，225)或外来传感器(例如，115、140、150、180、215等)，并且选择以哪个频率和保真度可以对数据进行采样。在一些情况下，此类选择和配置可至少部分自主地由数据收集模块234使用一个或多个对应的机器学习模型来作出(例如，
以考虑到特定的检测到的场景而在适当时收集数据)。
104.传感器融合模块236也可用于管理由车载处理系统的机器学习引擎232和其他模块(例如，238、240、242、244、246等)利用的各种传感器输入的使用和处理。可提供一个或多个传感器融合模块(例如，236)，该一个或多个传感器融合模块可从多个传感器数据源(例如，在交通工具上或在交通工具外)推导出输出。源可以是同构或异构类型的源(例如，来自共同类型的传感器的多个实例的多个输入、或来自多个不同类型的传感器的实例的多个输入)。示例传感器融合模块236可应用直接融合、间接融合以及其他示例传感器融合技术。在一些情况下，与提供自主驾驶功能或其他功能结合，传感器融合的输出可作为输入(连同潜在附加的输入一起)被馈送到车载处理系统的另一模块和/或一个或多个机器学习模型，诸如本文中所讨论的实例解决方案中所描述。
105.在一些示例中，可提供感知引擎238，感知引擎238可将各种传感器数据(例如，258)当作输入以执行对象识别和对检测到的对象的跟踪等等与对交通工具105遇到(或将要遇到)的环境的自主感知相对应的此类示例功能，在一些实例中，各种传感器数据包括来自外来源和/或传感器融合模块236的数据。感知引擎238可使用深度学习诸如通过一个或多个卷积神经网络和其他机器学习模型256执行从传感器数据输入的对象识别。还可执行对象跟踪以从传感器数据输入自主地估计对象是否正在移动，并且如果对象正在移动，则估计对象沿什么轨迹移动。例如，在给定的对象被识别之后，感知引擎238可检测给定对象相对于交通工具如何移动。例如，可使用此类功能来检测在环境内移动的、可能影响交通工具在道路上的路径的对象，这些对象诸如其他交通工具、行人、野生动物、骑自行车者等，以及其他示例使用。
106.在某个实现方式中，还可将定位引擎240包括在车载处理系统210内。在一些情况下，定位引擎240可被实现为感知引擎238的子组件。定位引擎240也可利用一个或多个机器学习模型256和传感器融合(例如，激光雷达和gps数据的传感器融合等)，以确定交通工具的高置信度位置及其在给定的物理空间(或“环境”)内占据的空间。
107.交通工具105可进一步包括路径规划器242，该路径规划器242可利用诸如数据收集(例如，234)、传感器融合(例如，236)、感知引擎(例如，238)、以及定位引擎(例如，240)等等(例如，推荐引擎244)之类的各种其他模块的结果来为交通工具确定路径规划和/或动作规划，该路径规划和/或动作规划可由驾驶控制装置(例如，220)用于控制在环境内对交通工具105的驾驶。例如，路径规划器242可利用这些输入和一个或多个机器学习模型来确定驾驶环境内各种事件的概率，以确定要在该环境内采取的有效的实时规划。
108.在一些实现方式中，交通工具105可包括用于从由交通工具105自身的传感器(例如，225)生成的传感器数据以及来自外来传感器(例如，在传感器设备115、180、215等上)的传感器数据生成各种推荐的一个或多个推荐引擎244。一些推荐可由推荐引擎244确定，这些推荐可作为输入被提供给交通工具的自主驾驶堆叠的其他组件以影响由这些组件作出的确定。例如，可确定推荐，当被路径规划器242考虑时，该推荐使得路径规划器242从其(若非推荐的话)通常原本确定的决策或规划偏离。推荐还可由推荐引擎(例如，244)基于对乘员舒适性和体验的考虑来生成。在一些情况下，可基于这些推荐(这些推荐是从由交通工具的传感器和/或外来传感器捕获的传感器数据(例如，258)确定的)来预测性地且自主性的操纵交通工具内的内部特征。
109.如上文所介绍，一些交通工具实现方式可包括使用者/乘员体验引擎(例如，246)，该使用者/乘员体验引擎可利用传感器数据和交通工具的自主驾驶堆叠内的其他模块的输出基于由传感器数据(例如，258)捕获的观察来引起驾驶操纵和对交通工具的车厢环境的改变，以增强交通工具内乘员的体验。在一些实例中，设置在交通工具上的用户接口(例如，230)的用于使得用户能够与交通工具及其自主驾驶环境进行交互的各方面可被增强。在一些情况下，可生成信息性演示并通过用户显示器(例如，音频、视觉和/或触觉演示)来提供该信息性演示，以帮助影响和改进交通工具(例如，105)内的乘员体验，等等其他示例使用。
110.在一些情况下，还可提供系统管理器250，该系统管理器250监测由交通工具上的各种传感器收集的信息以检测与交通工具的自主驾驶系统的性能有关的问题。例如，可由系统管理器250检测计算错误、传感器停机和传感器问题、(例如，通过通信模块212提供的)通信信道的可用性和质量、交通工具系统检查(例如，与电机、传动装置、电池、冷却装置、电气系统、轮胎等有关的问题)、或其他操作事件。可在由系统管理器250生成的系统报告数据中标识此类问题，在一些情况下，此类问题可被用作对机器学习模型256和相关自主驾驶模块(例如，232、234、236、238、240、242、244、246等)的输入，以使得交通工具系统健康和交通工具系统问题能够与传感器数据258中所收集的其他信息一起在交通工具105的自主驾驶功能中被考虑。
111.在一些实现方式中，交通工具105的自主驾驶堆叠可与驾驶控制装置220耦合以影响交通工具如何被驾驶，驾驶控制装置620包括转向控制装置(例如，260)、加速器/油门控制装置(例如，262)、制动控制装置(例如，264)、信号发送控制装置(例如，266)以及其他示例。在一些情况下，还可完全或部分地基于用户输入来控制交通工具。例如，用户接口(例如，230)可包括驾驶控制装置(例如，实体的或虚拟的方向盘、加速器、制动器、离合器等)以允许人类驾驶员能够从自主驾驶系统取得控制(例如，采用接管或在驾驶员辅助动作之后)。可利用其他传感器来接受用户/乘员输入，这些传感器诸如语音检测292、姿势检测相机294，以及其他示例。用户接口(例如230)可捕获乘员
‑
用户的期望和意图，并且交通工具105的自主驾驶堆叠可将这些当作控制交通工具的驾驶(例如，驾驶控制装置220)时的附加输入。在一些实现方式中，驾驶控制可由外部计算系统管理，诸如在其中乘员利用外部设备(例如，智能电话或平板)来提供驾驶方向或控制的情况下，或者在其中外部驾驶员或系统接管对交通工具的控制(例如，基于紧急事件)的远程代客泊车服务的情况下，等等其他示例实现方式。
112.如上文所讨论，交通工具的自主驾驶堆叠可利用由被设置在交通工具上的以及交通工具外部的各种传感器生成的各种传感器数据(例如，258)。作为示例，交通工具105可拥有传感器225的阵列，以收集与交通工具的外部以及周围环境、交通工具系统状态、交通工具内部状况有关的各种信息以及可由交通工具的处理系统210的模块使用的其他信息。例如，此类传感器225可包括全球定位(gps)传感器268、光检测和测距(lidar)传感器270、二维(2d)相机272、三维(3d)或景深相机274、声学传感器276、惯性测量单元(imu)传感器278、热传感器280、超声传感器282、生物传感器284(例如，面部识别、语音识别、心率传感器、体温传感器、情绪检测传感器等)、雷达传感器286、天气传感器(未示出)，以及其他示例传感器。此类传感器可被组合利用，以确定交通工具在其中操作的环境的各种属性和状况(例如，天气、障碍物、交通、道路状况等)、交通工具内的乘客(例如，乘客或驾驶员感知或警觉
性、乘客的舒适度或情绪、乘客的健康或生理状况等)、交通工具的其他内容(例如，包裹、牲畜、货物、行李等)、交通工具的子系统，以及其他示例。传感器数据258还可(或替代地)由并非一体化地耦合至交通工具的传感器提供，这些传感器包括其他交通工具上(例如，115)的传感器(该传感器可通过交通工具对交通工具通信或其他技术与交通工具105通信)、基于地面的或空中的无人机180上的传感器、由交通工具105的内部或外部的人类用户携带的用户设备215(例如，智能电话或可穿戴设备)的传感器、以及被安装或提供有其他路边元件(诸如路边单元(例如，140)、路标、交通信号灯、路灯等)的传感器。来自此类外来传感器设备的传感器数据可从传感器设备直接提供至交通工具或者可通过数据聚合设备或作为由其他计算系统(例如，140、150)基于这些传感器所生成的结果来提供，等等示例实现方式。
113.在一些实现方式中，自主交通工具系统105可与其他计算系统对接并利用由其他计算系统提供的信息和服务，以增强、实现或以其他方式支持设备105的自主驾驶功能。在一些实例中，一些自主驾驶特征(包括本文中所讨论的示例解决方案中的一些)可通过交通工具外部的计算系统的服务、计算逻辑、机器学习模型、数据或其他资源来实现。当此类外部系统对交通工具不可用时，可能是这些特征至少暂时被禁用。例如，可提供和利用外部计算系统，这些外部计算系统可被托管在路边单元或基于雾的边缘设备(例如，140)、其他(例如，较高级别的)交通工具(例如，115)、以及基于云的系统150(例如，通过各种网络接入点(例如，145)可访问)中。路边单元140或基于云的系统150(或交通工具(例如，105)与其交互的其他协作系统)可包括被图示为属于示例车载处理系统(例如，210)的逻辑的全部或部分，以及潜在地包括附加功能和逻辑。例如，基于云的计算系统、路边单元140、或其他计算系统可包括支持模型训练和推断引擎逻辑中的任一者或两者的机器学习引擎。例如，此类外部系统可能拥有更高端计算资源和更发达或最新近的机器学习模型，允许这些服务提供优于将在交通工具的处理系统210上本机地生成的结果的结果。例如，车载处理系统210可依赖于通过基于云的服务提供的用于某些任务并处置某些场景的机器学习训练、机器学习推断、和/或机器学习模型。事实上，将会领会，在一些实现方式中，所讨论且被图示为属于交通工具105的模块中的一个或多个模块可替代地或冗余地被设置在基于云的计算系统、基于雾的计算系统或支持自主驾驶环境的其他计算系统。
114.本文中的各实施例可利用一个或多个机器学习模型来执行自主交通工具堆叠的功能(或本文中所描述的其他功能)。机器学习模型可由计算系统执行以渐进地改进特定任务的性能。在一些实施例中，可在训练阶段期间基于训练数据来调整机器学习模型的参数。随后可在推断阶段期间使用经训练的机器学习模型基于输入数据来做出预测或决策。
115.本文中所描述的机器学习模型可采取任何合适的形式或利用任何合适的技术。例如，这些机器学习模型中的任何机器学习模型均可利用监督式学习、半监督式学习、无监督式学习、或强化学习技术。
116.在监督式学习中，可使用包含输入和相应的期望输出两者的训练数据集来建立模型。每个训练实例可包括一个或多个输入并且包括期望输出。训练可包括通过训练实例迭代以及使用目标函数来教导模型预测针对新的输入的输出。在半监督式学习中，训练集中的输入的部分可能缺少期望输出。
117.在无监督式学习中，可从仅包含输入而不包含期望输出的数据集建立模型。无监督式模型可用于通过发现数据中的模型而找到该数据中的结构(例如，对数据点的分组或
聚类)。可在无监督式学习模型中实现的技术包括例如自组织图、最近邻映射、k均值聚类、以及奇异值分解。
118.强化学习模型可被给予正反馈或负反馈以改进准确性。强化学习模型可尝试使一个或多个目标/回报最大化。可在强化学习模型中实现的技术可包括例如q学习、时间差(td)和深度对抗网络。
119.本文中所描述的各实施例可利用一个或多个分类模型。在分类模型中，输出可被限于值的有限集合。分类模型可输出针对具有一个或多个输入值的输入集合的类。本文中对分类模型的引用可构想实现例如下列技术中的任何一种或多种技术的模型：线性分类器(例如，逻辑回归或朴素贝叶斯分类器)、支持向量机、决策树、提升树、随机森林、神经网络或最近邻。
120.本文中所描述的各实施例可利用一个或多个回归模型。回归模型可基于具有一个或多个值的输入集合从连续范围输出数值。本文中对回归模型的引用可设想实现例如下列技术(或其他合适技术)中的任何一种或多种技术的模型：线性回归、决策树、随机森林、或神经网络。
121.在各种实施例中，本文所讨论的机器学习模型中的任何一种可以利用一个或多个神经网络。神经网络可以包括在构造生物大脑之后松散地建模的一组神经单元，生物大脑包括通过突触连接的神经元的大的集群。在神经网络中，神经单元通过链路连接到其他神经单元，链路可能对连接的神经单元的激活状态有兴奋或抑制作用。神经单元可利用其输入的值来执行功能以更新神经单元的膜电位。当超过与神经单元相关联的阈值时，神经单元可以将尖峰信号传播到连接的神经单元。可以训练或以其他方式调整神经网络以执行各种数据处理任务(包括由自主交通工具堆叠执行的任务)，诸如计算机视觉任务、语音识别任务、或其他合适的计算任务。
122.图3图示出根据某些实施例的神经网络300的示例部分。神经网络300包括神经单元x1
‑
x9。神经单元x1
‑
x4是分别接收主输入i1
‑
i4的输入神经单元(其可以在神经网络300处理输出时保持恒定)。可以使用任何合适的主输入。作为一个示例，当神经网络300执行图像处理时，主输入值可以是来自图像的像素的值(并且在处理图像时主输入的值可以保持恒定)。作为另一示例，当神经网络300执行语音处理时，应用于特定输入神经单元的主输入值可以基于输入语音的变化而随时间改变。
123.虽然图3中示出了特定拓扑和连接性方案，但是本公开的教导可以在具有任何合适的拓扑和/或连接性的神经网络中使用。例如，神经网络可以是前馈神经网络、递归网络、或具有神经单元之间的任何合适的连接性的其他神经网络。作为另一示例，虽然神经网络被描绘为具有输入层、隐藏层和输出层，但神经网络可以具有以任何合适的方式布置的任何合适的层，在所描绘的实施例中，每个两个神经单元之间的链路具有突触权重，其指示两个神经单元之间的关系的强度。突触权重被描绘为wxy，其中x指示突触前神经单元，并且y指示突触后神经单元。神经单元之间的链路可能对连接的神经单元的激活状态有兴奋或抑制作用。例如，取决于w15的值，从x1传播到x5的尖峰可以增加或减少x5的膜电位。在各实施例中，连接可以是定向的或不定向的。
124.在各个实施例中，在神经网络的每个时间步长期间，神经单元可以接收任何合适的输入，诸如来自多个神经单元中的一个或多个神经单元的偏置值或一个或多个输入尖
峰，该一个或多个神经单元经由相应的突触连接到该神经单元(这一组神经单元被称为该神经单元的扇入神经单元)。应用于神经单元的偏置值可以是应用于输入神经单元的主输入和/或应用于神经单元的一些其他值(例如，可以在神经网络的训练或其他操作期间调整的恒定值)的函数。在各实施例中，每个神经单元可以与其自身的偏置值相关联，或者偏置值可以应用于多个神经单元。
125.神经单元可以利用其输入的值及其当前的膜电位执行功能。例如，可以将输入添加到神经单元的当前的膜电位以生成更新的膜电位。作为另一示例，诸如sigmoid传递函数的非线性函数可以应用于输入和当前的膜电位。可以使用任何其他合适的函数。然后神经单元基于函数的输出更新其膜电位。
126.转向图4，示出简化框图400，该简化框图400图示出示例级别的自主驾驶，这些级别的自主驾驶在各种交通工具中可被支持(例如，由它们对应的车载计算系统支持)。例如，可定义级别的范围(例如，l0
‑
l5(405
‑
435))，其中第5级(l5)对应于具有最高级别自主驾驶功能(例如，全自动化)的交通工具而第0级(l0)对应于最低级别的自主驾驶功能(例如，无自动化)。例如，l5交通工具(例如，435)可拥有能够在每一个驾驶场景均提供与将由人类驾驶员提供的驾驶性能相等或更好的自主驾驶性能的完全自主计算系统。l4交通工具(例如，430)也可被认为是完全自主的并且能够自主地执行安全性关键的驾驶功能并且贯穿从起始位置到目的地的整个行程有效地监测道路状况。l4可以不同于l5，不同之处在于：在l4的自主能力被限定在交通工具的“操作设计域”内的限制内，其可能并非包括所有的驾驶场景。l3交通工具(例如，420)提供自主驾驶能力以在一组特定的交通和环境状况下将安全性关键功能完全转移至交通工具但其仍然期望人类驾驶员的参与和可用性从而处置所有其他场景中的驾驶。相应地，l3交通工具可提供切换协议，以编制从人类驾驶员到自主驾驶堆叠的控制转移以及从自主驾驶堆叠返回到人类驾驶员的控制转移。l2交通工具(例如，415)提供驾驶员辅助功能，其允许驾驶员偶尔脱离于物理地操作交通工具，以使得驾驶员的手和脚两者都可周期性地脱离于对交通工具的物理控制。l1交通工具(例如，410)提供对一种或多种特定功能(例如，转向、制动等)的驾驶员辅助，但仍要求对交通工具的大多数功能的恒定的驾驶员控制。l0交通工具可被认为是不自主的——人类驾驶员控制交通工具的驾驶功能的全部(虽然如此，但此类交通工具仍然可以被动地参与在自主驾驶环境内，诸如通过向更高级的交通工具提供传感器数据、使用传感器数据来增强交通工具内的gps和信息娱乐服务等)。在一些实现方式中，单个交通工具可支持在多个自主驾驶级别下的操作。例如，驾驶员可控制和选择在给定的行程期间使用哪个支持的自主性级别(例如，l4或更低级别)。在其他情况下，交通工具可例如基于影响道路或交通工具的自主驾驶系统的状况在级别之间自主地切换。例如，响应于检测到一个或多个传感器已经被损害，鉴于传感器问题，l5或l4交通工具可转移到较低模式(例如，l2或更低)以使人类乘员参与，以及其他示例。
127.图5是图示出可在一些自主驾驶系统中实现的示例自主驾驶流程的简化框图500。例如，在自主(或半自主)交通工具中实现的自主驾驶流程可包括感测和感知阶段505、规划和决策阶段510、以及控制和动作阶段515。在感测和感知阶段505期间，数据由各种传感器生成并被收集以供自主驾驶系统使用。在一些实例中，数据收集可包括数据滤波和从外部源接收传感器。该阶段还可包括传感器融合操作、对象识别以及其他感知任务，诸如使用一个或多个机器学习模型执行的定位。规划和决策阶段510可利用传感器数据和各种感知操
作的结果来作出对前方(多条)道路的概率预测并基于这些预测来确定实时路径规划。规划和决策阶段510可附加地包括作为对检测到障碍和其他事件的反应而作出有关路径规划的决策以决定鉴于这些事件是否采取动作以及要采取何种动作来安全地对所确定的路径进行导航。基于规划和决策阶段510的路径规划和决策，控制和行动级515可通过致动器将这些决定转换为动作以操纵驾驶控制装置以及辅助控制装置，驾驶控制装置包括转向装置、加速装置、制动装置，辅助控制装置诸如转向信号等、传感器清洁器、雨刷、前大灯等。
128.如本文所述，高清地图可用于各个自主驾驶应用中，包括车载系统本身以及向自主交通工具提供驾驶辅助的外部系统(例如，基于云或路边的系统、远程代客泊车系统等)。因此，在自主驾驶/自主交通工具控制中使用的高清地图的准确性是至关重要的。为了生成高清地图并对其进行维持，得到动态的并且最新的数据是重要的。如果存在环境的任何改变(例如，存在道路施工、事故等)，高清地图应该被更新以反映该改变。在一些实现方式中，来自多个自主交通工具的数据可以被众包并用于更新高清地图。然而，在一些情况下，对接收到的数据的信任或置信度可能是有问题的。一个挑战可能包括理解和编纂从汽车中的每一个汽车接收到的数据的可信度。例如，来自自主交通工具的数据可能是较低保真度的(例如，来自较差能力的传感器)、无意中被损坏(例如，随机位翻转)、或被恶意修改。此类低质量(或无质量)的数据进而可能损坏服务器中存在的高清地图。
129.相应地，在若干实施例中，由自主交通工具的各个传感器收集的数据可以与被下载到自主交通工具的高清地图的相关的片中存在的数据进行比较。如果所收集的数据与高清地图数据之间存在差异，则可将差量(高清地图片与新收集到的数据的差异)传输到主控高清地图的服务器，使得该特定位置处的高清地图片可以被更新。在传输到服务器之前，可以在每个自主交通工具处对数据进行本地评级，并在更新高清地图之前在服务器处再次进行验证。尽管本文描述为服务器在更新高清地图之前验证自主交通工具传感器数据，但在一些情况下，差量信息也可以被发送到收集数据的自主交通工具附近的其他自主交通工具，以便快速更新其高清地图。其他自主交通工具可以在更新其高清地图之前以服务器进行的相同方式分析该数据。
130.图6是示出根据至少一个实施例的评级和验证众包自主交通工具传感器数据的示例过程的简化图。在所示的示例中，每个自主交通工具602从与其耦合的一个或多个传感器(例如，(多个)相机、激光雷达、雷达等)收集数据。自主交通工具602可以使用传感器数据来控制自主交通工具的一个或多个方面。当每个自主交通工具从其一个或多个传感器收集数据时，自主交通工具可以确定放置在所收集的数据中的置信度的量。例如，置信度得分可以基于与传感器数据的收集有关的信息，诸如例如，数据收集时的天气数据(例如，晴天的相机信息可能比雾天的相机得到更大的置信度得分)、传感器设备配置信息(例如，相机流的位率或分辨率)、传感器设备操作信息(例如，相机流的位误差率)、传感器设备认证状态信息(例如，传感器设备是否先前已被自主交通工具认证，如下文进一步所述)、或本地传感器确证信息(例如，指示自主交通工具的两个或更多个相机中的每一个相机在同一视频帧中或在同一时间检测到对象的信息)。
131.自主交通工具可以计算置信度得分，该置信度得分可以被维持在与数据相关联的元数据中。在一些实现方式中，置信度得分可以是零与一之间(而不是信任一切或不信任一切的二进制决策)，或零与另一个数字(例如，10)之间的连续尺度。另外，在收集设备能够认
证或证明的情况下(例如，在自主交通工具接受来自该设备的数据之前，该设备由自主交通工具认证)，该设备的认证/证明状态可以在由传感器设备收集的数据的元数据中被指示(例如，作为标志、数字签名、或指示传感器设备的认证状态的其他类型的信息)，允许服务器604或其他自主交通工具在使用数据来更新高清地图之前更充分地验证/证实/信任数据。在一些情况下，自主交通工具本身可以由服务器认证(例如，使用数字签名技术)。在此类情况下，从自主交通工具的不同传感器收集的数据可以在被传输或以其他方式传递到服务器或附近的自主交通工具之前、由自主交通工具内的主处理器或处理单元进行整合，并且在某些情况下进行认证。
132.如何对不同设备进行打分的值可以由用于收集和整合数据的策略来定义。该策略还可以指示自主交通工具何时上传新收集到的数据，例如，何时更新高清地图。例如，该策略可以说明，来自高清地图片与新收集的数据的差量必须高于某个阈值，以将数据发送回服务器以供更新高清地图。例如，建筑工地材料(桶、装备等)可能会导致高清地图数据和所收集的数据之间的大的差量，而道路上的卵石/石头可能会导致较小的差量，因此建筑工地相关的数据可能会被传递到云，而卵石数据可能不会被传递到云。该策略还可以指示，在上传数据之前，与数据相关联的置信度得分必须高于某个阈值。作为示例，置信度得分可能被要求高于0.8(例如)，以便将所有数据发送回/发布到服务器。
133.一旦从自主交通工具接收到，服务器可以在利用差量信息对高清地图应用更新之前执行附加的验证动作。例如，服务器可以验证与数据共享的(例如，在其元数据中的)置信度得分/度量。只要(多个)置信度得分值满足服务器策略(例如，用于更新地图的所有差量数据必须具有大于阈值(诸如0.9)的置信度得分)，那么服务器就可以考虑用于更新高清地图的数据。在一些情况下，服务器可以维持最近看到的自主交通工具的列表，并且可以跟踪自主交通工具中的每个自主交通工具的信任得分/值以及用于更新地图的数据的置信度得分。在一些实施例中，信任得分可被用作服务器是否使用数据来更新高清地图的附加滤波器。在一些情况下，信任得分可以基于所接收的数据的置信度得分。作为示例，如果置信度得分高于第一阈值，则自主交通工具的置信度得分可被增加(例如，递增( 1))，并且如果置信度得分低于第二阈值(第二阈值低于第一阈值)，则自主交通工具的置信度得分可被减少(例如，递减(
‑
1))。如果置信度得分在第一阈值与第二阈值之间，那么自主交通工具的信任得分可以维持不变。在一些实现方式中，可以利用基于iot的信誉系统(例如，eigentrust(特征信任)或peertrust(对等信任))进行这种跟踪。在一些情况下，传感器数据可以与来自该区域中的其他自主交通工具的传感器数据相关，以确定该传感器数据是否是受信任的。
134.在一些实施例中，当每个汽车将数据发布到服务器时，自主交通工具可以利用伪匿名证书对数据进行签名。例如，自主交通工具可以使用为v2x通信设计的方案中的一个方案。在一些情况下，当在服务器处收到经签名的数据时，只要该数据不是来自被列入黑名单的自主交通工具，它就可以被传递给高清地图模块以供更新高清地图。在其他情况下，数据被签名还是未被签名可用于确定自主交通工具的信任得分。
135.如果在服务器处的认证和/或信任验证不成功，则从其接收到的数据的自主交通工具的信任得分可能是排名低的或被减少的，并且该数据可能被忽略/不能用于更新高清地图。在一些情况下，如果自主交通工具的信任得分下降至低于指定的阈值，则可将该自主
交通工具列入黑名单。如果在服务器处的认证和/或信任验证是成功的，那么自主交通工具的信任得分可以被增加，并且从自主交通工具接收到的数据可以用于更新高清地图。如本文所述的机制还可以实现信任的传递性，允许自主交通工具使用来自更远的源(例如，其他自主交通工具)的数据，并且可用于对任何其他目的(例如，训练机器学习模型)所需的任何众包数据进行排名。
136.图7是根据至少一个实施例的对自主交通工具的传感器数据进行评级的示例过程的流程图。图7中所示的示例过程中的操作可由自主交通工具的各个方面或组件执行。示例过程可以包括附加的或不同的操作，并且可以以所示的顺序或以另一顺序来执行操作。在一些情况下，图7中所示的操作中的一个或多个操作被实现为包括多个操作、子过程或其他类型的例程的过程。在一些情况下，操作可以被组合、以另一顺序执行、并行执行、迭代或以其他方式重复执行或以另一方式执行。
137.在702处，传感器数据从自主交通工具的传感器中被接收。该传感器数据可以包括来自相机设备、激光雷达传感器设备、雷达设备、或另一类型的自主交通工具传感器设备的数据。
138.在704处，传感器数据的置信度得分被确定。该置信度得分可以基于从在702处接收到的传感器数据或其他传感器数据(例如，天气或其他环境信息)、传感器设备认证状态信息(例如，在接受其数据之前传感器设备是否被自主交通工具认证)、本地传感器确证数据、或可能对确定是否信任所获得的传感器数据有用的其他信息(例如，设备传感器能力或设置(例如，相机视频位率)、所接收的传感器数据的位误差率等)或对传感器数据的信任级别获得或收集的信息。
139.在706处，确定置信度得分是否高于阈值。如果是，则在702处接收到的传感器数据与高清地图数据之间的差量值在708处被确定，并且如果在710处确定差量值高于阈值，则自主交通工具在712处对数据进行签名并将数据发布到服务器以供更新高清地图。如果置信度得分低于其对应的阈值或差量值低于其对应的阈值，则数据将不会被发布到服务器以供更新高清地图。
140.图8是根据至少一个实施例的对自主交通工具的传感器数据进行评级的示例过程的流程图。图8中所示的示例过程中的操作可以由服务器设备(诸如维持自主交通工具的高清地图的服务器)的各个方面或组件执行或者由自主交通工具的一个或多个组件执行。示例过程可以包括附加的或不同的操作，并且可以以所示的顺序或以另一顺序来执行操作。在一些情况下，图8中所示的操作中的一个或多个操作被实现为包括多个操作、子过程或其他类型的例程的过程。在一些情况下，操作可以被组合、以另一顺序执行、并行执行、迭代或以其他方式重复执行或以另一方式执行。
141.在802处，传感器数据从自主交通工具中被接收。传感器数据可以包括与该传感器数据相关联的置信度得分，该置信度得分指示由传感器设备收集的数据的置信度级别。可根据上文描述的过程700来计算置信度得分。在一些情况下，置信度得分可以被包括在元数据中。
142.在804处，将置信度得分与策略阈值进行比较。置信度得分大于阈值，则在806处基于置信度得分来更新自主交通工具的信任得分。如果否，则在812处传感器数据被忽略。
143.在808处，确定自主交通工具是否至少部分地基于信任得分而被信任。在一些情况
下，确定自主交通工具是否是受信任的可以基于自主交通工具是否已被列入黑名单(例如，如上文所述)。在一些情况下，确定自主交通工具是否是受信任的可以基于自主交通工具的传感器数据与来自附近其他自主交通工具的传感器数据的相关性(例如，以验证传感器数据是准确的)。如果自主交通工具是受信任的，那么传感器数据可被用于在810处更新高清地图。如果否，则在812处传感器数据被忽略。替代地，基于信任得分的信任级别可用于确定自主交通工具对传感器数据的信任级别，并且因此相应地基于范围或尺度来更新高清地图。
144.正如本文所讨论的，众包数据收集可以在一大群自主交通工具的帮助下由建立数据集组成。源和数据供应商愿意利用相关的、缺失的或新的信息来丰富数据。
145.从一大群自主交通工具中获取数据，可以使数据收集变得迅速，从而使得加快自主交通工具的模型生成。当对数据进行众包时，数据中的一些数据可能是不完整的或不准确的，并且即使当数据可能是完整的和准确的时，管理如此大量的数据仍然是困难的。此外，众包数据呈现了其自身的真实世界挑战，即没有平衡的正类别和负类别，以及由不同自主交通工具使用的不同传感器引起的噪音水平差异。因此，以帮助标识其良好性的方式对众包收集的数据进行评分和排名可能是有益的。
146.因此，在一些方面，众包数据可以基于自主交通工具的地理位置信息进行评分和排名。在一些方面，可以通过考虑除交通工具元数据之外的位置元数据对众包数据进行评分和排名。通过使用地理位置信息对数据进行评分和排名，可以生成特定于位置的模型，而不是特定于交通工具的模型。
147.图9是根据至少一个实施例的用于自主交通工具数据收集的示例环境900的简化图。该示例环境900包括自主交通工具数据评分服务器902、众包数据存储设备906和多个自主交通工具910，每个自主交通工具经由网络908连接到彼此。虽然未示出，但自主交通工具910中的每一个自主交通工具包括一个或多个传感器，这些传感器被自主交通工具用于控制自主交通工具并协商自主交通工具在各位置之间的行程。如进一步描述的，示例环境900可用于对来自自主交通工具910中的每一个自主交通工具的数据收集进行众包。具体而言，当自主交通工具910中的每一个交通工具驾驶时，自主交通工具将聚集来自耦合到自主交通工具的多个传感器中的每一个传感器的传感器数据，诸如相机数据、激光雷达数据、地理位置数据、温度或其他天气数据。在一些情况下，自主交通工具可以经由网络908将其传感器数据传送到自主交通工具数据评分服务器902。自主交通工具数据评分服务器902可进而如本文所述地对数据进行评分或排名，并基于评分/排名来确定是否将数据存储在众包数据存储设备906中。
148.在一些情况下，由自主交通工具发送的数据包括图像数据和传感器数据，并且还可能具有一些相关联的元数据。这两个数据源可以结合使用或单独使用，以提取并且生成与位置相关的元数据/标签。累积的特定于位置的元数据可以是如地理坐标之类的信息，例如：“45
°
31'22.4256”n和122
°
59'23.3880”w”。它也可以是指示环境情境的附加环境信息，诸如地形信息(例如“丘陵”或“平地”)、海拔信息(例如，“59.1m”)、温度信息(例如，“20℃”)，或与该地理位置相关联的天气信息(例如，“晴朗”、“有雾”或“有雪”)。特定于位置和相关元数据(诸如天气)中的全部可用于对自主交通工具发送的数据进行评分，以便确定是否将数据存储在众包数据存储设备中。在一些情况下，数据评分算法可以通过使用基于位
置情境的热图或密度图的级联对数据进行评分来实现关于数据收集的地理位置饱和度，如下文进一步所述。
149.例如，如果存在数个位置元数据类别(如地理坐标、海拔、天气等)，可以使用位置得分来确定自主交通工具的传感器数据的总体良好性得分。位置得分可以是所有类别的加权总和，并可以通过以下等式来描述：score
location
＝∑(α.geocoordinates β.elevation γ.weather
…
)(得分位置＝∑(α.地理坐标 β.海拔 γ.天气
…
))其中，变量地理坐标(geocoordinates)、海拔(elevation)和天气(weather)中的每一者都是根据热图、任何类型的密度图、或任何类型的密度分布图(例如，图30的热图3000)确定的值，并且α、β、γ是与每个位置元数据类别相关联的权重(每个权重可以基于单独的密度图来计算)。在一些情况下，位置得分的变量中的每一个变量都在0
‑
1之间，并且位置得分也在0
‑
1之间。
150.在位置得分计算之后，与传感器数据相关联的附加质量(例如，诸如噪声水平、图像数据中的感兴趣的对象等)可用于确定传感器数据的总体良好性得分。在一些情况下，传感器数据的总体良好性得分是所有数据质量的累积加权的总和，并且可通过以下等式描述：score
goodness
＝∑(a.score
location
b.score
noise
c.score
objectdiversity

…
)(得分良好性＝∑(a.得分
位置
b.得分
噪声
c.得分
对象多样性

…
))其中a、b、c是与数据质量类别相关联的权重。在一些情况下，总体良好性得分的变量中的每一个变量都在0
‑
1之间，并且总体良好性得分也在0
‑
1之间。自主交通工具数据评分算法(例如，由外部数据储存库系统或其他实现数据评分系统的计算系统执行)输出的总体良好性得分可与自主交通工具的传感器数据相关联，并且可用于确定是否将自主交通工具数据传递给众包数据存储设备。
151.在一些实现方式中，示例自主交通工具数据评分服务器902包括处理器903和存储器904。示例处理器903执行例如用于执行本文所述的一个或多个功能的指令。该指令可以包括程序、代码、脚本或存储在存储器中的其他类型的数据。附加地或者替代地，指令可以被编码为预编程或可重新编程的逻辑电路、逻辑门、或其他类型的硬件或固件组件。处理器903可以是或可以包括通用的微处理器，作为专门的协处理器或另一种类型的数据处理装置。在一些情况下，处理器903可以被配置成用于执行或解释存储在存储器904中的软件、脚本、程序、功能、可执行文件或其他指令。在一些情况下，处理器903包括多个处理器或数据处理装置。示例存储器904包括一个或多个计算机可读介质。例如，存储器904可以包括易失性存储器设备、非易失性存储器设备，或其组合。存储器904可以包括一个或多个只读存储器设备、随机存取存储器设备、缓冲器存储器设备、或这些存储器设备和其他类型的存储器设备的组合。存储器904可以存储可由处理器903执行的指令(例如，程序、代码、脚本或其他类型的可执行指令)。虽然没有示出，但自主交通工具910中的每一个自主交通工具可以包括与处理器903和存储器904类似的处理器和存储器。
152.图10是根据至少一个实施例的用于自主交通工具的示例众包数据收集环境1000的简化框图示例环境1000包括自主交通工具1002、云中的自主交通工具数据评分/排名服务器1004以及众包数据存储设备1006。在所示的示例中，自主交通工具包括用于其传感器
数据的其自己的存储设备和用于基于传感器数据来导航自主交通工具的ai系统。自主交通工具将其传感器数据中的全部或部分传感器数据发送到自主交通工具数据评分/排名服务器，该数据评分/排名服务器提取包括在数据中的元数据并存储该元数据。该服务器还分析来自自主交通工具的图像和传感器数据，以提取附加的信息/元数据并存储信息。然后，所存储的元数据被服务器的评分模块用来计算基于位置的得分(例如，上文所描述的位置得分)和数据质量得分(例如，上文所描述的总体良好性得分)。基于这些得分，服务器确定是否将自主交通工具传感器数据传递给众包数据存储设备。
153.在一些情况下，服务器还可以计算将与自主交通工具相关联的交通工具可靠性得分。该得分可以基于历史位置得分、良好性得分或其他信息，并且可以是由众包管理系统用作用于提供自主交通工具的身份以供未来数据打分/排名的一些情境的度量。交通工具可依赖性得分也可用于激励自主交通工具在未来参与提供其数据。
154.图11是根据至少一个实施例的用于计算传感器数据良好性得分的示例热图1100的简化图。在所示的示例中，热图根据地理坐标元数据表示众包数据的可用性。热图中的每个位置指示与数据可用性相关联的值。在所示的示例中，数值范围从0到1。地图上的较亮区域将指示从这些位置获得最少的数据量，而较暗区域指示密集的所收集的数据的区域。所收集的数据密度变化的原因可能是以下因素中的一个或多个因素：人口密度、工业发展、地理状况等。因此，数据评分算法的目标可以是对数据进行评分，使得在热图的较亮区域的地理坐标中收集足够的数据。由于所收集的数据在较亮区域中是稀缺的，所以将被宽松地评分。另一方面，如果从地图的较暗区域收集数据，该区域具有密集的数据，则诸如数据中的噪声之类的因素将对数据得分具有更大的影响。
155.位置得分的每个变量/因素都可以具有与其相关联的单独的热图。例如，参考上文的位置得分，地理坐标变量将具有与其相关联的第一热图，海拔变量将具有与其相关联的第二热图，并且天气变量将具有与其相关联的第三热图。热图中的每一个热图都可以包括不同的值，因为针对变量中的每一个变量收集到的数据量可能取决于位置而不同。不同热图的值可用于例如，通过如上所述的经加权的总和计算位置得分。
156.图12是根据至少一个实施例的计算自主交通工具传感器数据的良好性得分的示例过程1200的流程图。示例过程1200中的操作可以由自主交通工具数据评分服务器902(例如，图9的服务器)的组件或连接到自主交通工具数据评分服务器902的组件执行。示例过程1200可以包括附加的或不同的操作，并且可以以所示的顺序或以另一顺序来执行操作。在一些情况下，图1200中所示的操作中的一个或多个操作被实现为包括多个操作、子过程或其他类型的例程的过程。在一些情况下，操作可以被组合、以另一顺序执行、并行执行、迭代或以其他方式重复执行或以另一方式执行。
157.在1202处，从一个或多个自主交通工具接收传感器数据。该传感器数据可以包括(例如，来自相机的)视频或图像数据和点数据值(例如，温度、气压等)中的一者或多者。
158.在1204处，从传感器数据获得地理位置和其他环境信息。
159.在1206处，为传感器数据计算得分，该得分指示传感器数据的总体良好性或质量。该得分是基于在1204处获得的地理位置和环境信息。例如，该得分可以基于从如上所述的地理位置和环境信息计算出的位置得分。在一些情况下，该得分也可以基于与传感器数据相关联的附加的评分信息。例如，该得分可以基于噪声得分、对象多样性得分、或为传感器
数据计算出的其他得分。
160.在1208处，确定在1206处计算出的得分是否高于阈值，或在值的范围内。如果是，则在1210处将传感器数据存储在用于收集众包自主交通工具传感器数据的数据库中。当被存储时，传感器数据可与计算出的良好性得分相关联。如果得分低于阈值，或在值的范围之外，则在1209处传感器数据被丢弃或以其他方式不被存储。
161.涉及持续收集数据以帮助训练用于自主交通工具的ai算法的方法可能会遇到可扩展性(由于需要大量的数据和为了获得该数据而驾驶数英里)和确切可用性(具有覆盖自主交通工具可能遇到的所有可能的道路场景所需的足够数量的数据集的机会)的问题。因此，自主交通工具可以受益于用于训练自主交通工具的ai系统的更有效和更丰富的数据集。在本公开的各个实施例中，可以通过对数据集进行分类以引导每个类别的收集过程来改善数据集。在一些实施例中，每个数据集可基于其类别进行评分，并且数据集的得分可用于确定用于所收集的数据的处理技术。
162.在特定的实施例中，由自主交通工具收集的数据经历了新颖的处理，包括归类、评分、和基于归类或评分的处置。在各个实施例中，该新颖的处理(或其一个或多个子部分)可以由与自主交通工具联网的计算系统(例如，远程处理系统1304)(例如，在云中)离线执行和/或由自主交通工具的计算系统(例如，自主交通工具计算系统1302)在线执行。
163.图13描述了根据某些实施例的数据归类、评分和处置的流程。图13描述了耦合至远程处理系统1304的自主交通工具计算系统1302。系统1302和系统1304中的各个模块中的每个模块可以使用任何合适的计算逻辑来实现。自主交通工具计算系统1302可以经由任何合适的互连与远程处理系统1304耦合，包括点对链路、网络、结构等，以将数据从交通工具传输到远程处理系统(例如，从汽车上复制数据然后将数据重新复制到云集群的特殊设备)。在其他实施例中，来自系统1302的数据可以经由合适的通信信道对系统1304(或者反之亦然)可用(例如，通过从系统中的一个系统移除包含此类数据的存储设备并将其耦合到另一个系统)。自主交通工具计算系统1302可以被集成在自主交通工具内，该交通工具可以具有本文所述的其他交通工具的任何合适的组件或特性，并且远程处理系统1304可以具有本文所述的其他远程(例如云)处理系统的任何合适的组件或特性。例如，远程处理系统1304可以具有系统140或150的任何合适的特性，并且计算系统1302可以具有交通工具105的计算系统的任何合适的特性。
164.在流程中，各个数据流1306由交通工具1302收集。每个数据流1306可以从交通工具的传感器(诸如本文所述的传感器中的任何一个或多个传感器或其他合适的传感器)收集。数据流1306可以被存储在交通工具的存储设备1308中，并且也可以被上传到远程处理系统1304。
165.数据流可以被提供给人工智能(ai)对象检测器1310。检测器1310可以执行与对象检测相关联的操作。在特定的实施例中，检测器1310可以包括训练模块和推断模块。训练模块可用于训练推断模块。例如，随着时间的推移，训练模块可以分析多个经上传的数据集以确定将由推断模块使用的参数。经上传的数据流可以作为输入被馈送到推断模块，并且推断模块可以输出与一个或多个检测到的对象1312相关联的信息。
166.对象检测器1310的推断模块的输出的格式可以基于应用而变化。作为一个示例，检测到的对象信息1312可以包括一个或多个图像，该一个或多个图像包括一个或多个检测
到的对象。例如，检测到的对象信息1312可以包括较大图像的感兴趣区域，其中感兴趣区域包括一个或多个检测到的对象。在一些实施例中，检测到的对象信息1312的每个实例包括感兴趣的对象的图像。在一些实例中，感兴趣的对象可以包括多个检测到的对象。例如，检测到的交通工具可以包括多个检测到的对象，诸如车轮、框架、窗户等。在各个实施例中，检测到的对象信息1312还可以包括与(多个)检测到的对象相关联的元数据。例如，对于在检测到的对象信息1312的实例中检测到的每个对象而言，元数据可以包括描述对象的类型(例如，交通工具、树、行人等)、对象的位置(例如，坐标)、对象的深度、与对象相关联的情境(例如，本文所述的情境中的任一种，诸如一天中的时间、道路类型、或与用于检测对象的数据的捕获相关联的地理位置)或其他合适信息的一个或多个分类器。
167.检测到的对象信息1312可以被提供给对象检查器1314以供进一步处理。对象检查器1314可以包括任何合适数量的检查器，这些检查器提供用于将类别分配给检测到的对象信息1312的实例的输出。在所描绘的实施例中，对象检查器1314包括最著名对象(bko)检查器1316、对象多样性检查器1318和噪声检查器1320，虽然本公开构想了任何合适的检查器或检查器的组合。在各个实施例中，对象检查器1314的检查器可以彼此并行地或按顺序地执行其操作。
168.除了检测到的对象信息1312之外，对象检查器1314还可以接收经上传的数据流。在各个实施例中，bko检查器1316、对象多样性检查器1318、和噪声检查器1320中的任一个或多个可以利用原始数据流。
169.响应于接收检测到的对象信息1312的实例，bko检查器1316咨询bko数据库(db)1322以确定检测到的对象信息1312的实例的一个或多个检测到的对象的常见性级别。bko db 1322是存储最著名(例如，最常检测到的)对象的指示的数据库。在一些实施例中，bko db 1322可以包括最著名的对象的列表，并且不在该列表上的对象可以被视为不是最著名的对象，因此特定对象的常见性级别可以使用二进制值(最著名的或不是最著名的)来表达。在其他实施例中，bko db 1322可以包括多个对象中每个对象的更细化的常见性级别。例如，bko db 1322可以包括针对每个对象从范围(例如，从0到10)中选出的得分。在特定的实施例中，可以针对每个对象存储多个常见性级别，其中每个级别指示该对象针对特定情境的常见性级别。例如，自行车在城市街道上可能有高的常见性级别，但在高速公路上具有低的常见性级别。作为另一实例，拉推车的动物(诸如驴或马)，除了世界上少数几个情境和地区之外，在其他所有地方具有低常见性级别。也可以确定组合常见性级别，例如，与西方国家相比，在东南亚国家在车道上甚至在高速公路上行进的一个或多个轻便摩托车是常见的。常见性得分可以根据适用于特定环境的特定规则集来定义。
170.bko db 1322可以随着数据被收集而动态地进行更新。例如，bko db 1322的逻辑可以从bko检查器1316(例如，此类信息可以被包括在对对象的常见性级别的请求中)或从另一个实体(例如，对象检测器1310)接收表示检测到的对象的信息。在各个实施例中，该信息还可以包括与检测到的对象相关联的情境。该逻辑可以更新bko db 1322中的信息，该信息指示特定对象的检测了多少次和/或检测频率。在一些实施例中，该逻辑还可以确定对象的常见性级别是否已经改变(例如，如果检测到对象的频率已经超过阈值，则对象的常见性级别可能上升)。
171.响应于来自bko检查器1316的请求，bko db 1322可以返回对象的常见性级别。然
后，bko检查器1316将该级别提供给类别分配器1324。
172.对象多样性检查器1318基于多样性来对检测到的对象信息1312的实例进行评分(例如，包括对象的流是否是多样化的，这可以基于每个流的对象数量和每个对象的常见性)。当检测到的对象信息1312的实例包括大量的检测到的对象时，该实例的多样性得分可能较高，并且当检测到的对象是异构的时，多样性得分更高。例如，检测到的汽车或自行车可能包括多个检测到的对象(例如，车轮、框架等)，并可能接收相对高的多样性得分。然而，同质对象可能会导致相对较低的多样性得分。然而，很少一起看到的多个对象可能会接收相对高的多样性得分。例如，比赛中的多个自行车或道路上的多个跑步者(例如，在马拉松比赛中)相对于一个人跑步的场景可能被认为是多样性的。对象多样性检查器1318可以基于任何合适的信息来确定多样性，任何合适的信息诸如原始传感器数据、来自bko检查器1316的检测到的对象的指示以及来自bko检查器1316的检测到的对象的数量。
173.噪声检查器1320分析与被检测到的对象信息1312的实例相关联的被上传的数据流，并确定与该实例相关联的噪声得分。例如，当底层数据流具有低信噪比时，实例可能具有较高的得分。如果底层数据流中的一个或多个似乎被破坏，则噪声得分将更低。
174.类别分配器1324接收对象检查器1314的各种检查器的输出并基于检查器的输出来为检测到的对象信息1312的实例选择一个或多个类别。本公开构想了可用于影响数据处置策略的任何合适的类别。一些示例类别是常见数据、少数类数据、富含多样化对象的数据、和噪声数据。可以基于从对象检查器1314接收到的输出来将这些类别中的任何一个或多个类别应用于实例。
175.常见数据类别可以应用于频繁遇到的对象，并且因此系统可能已经具有用于此类对象的稳健的数据集。少数类数据类别可应用于包括首次或相对不频繁的对象的实例。在各个实施例中，常见数据类别和少数类数据两者均可以基于检测对象的绝对频率和/或检测对象的特定于情境的频率。富含多样化对象的数据类别可适于包括多个多样化对象的实例。噪声数据类别可适于具有相对高噪声的数据的实例。在其他实施例中，可以使用任何合适的类别。作为示例，这些类别可以包括“非常罕见”类别、“中度罕见”类别、“中度常见”类别和“非常常见”类别或“非常嘈杂”类别、“有点嘈杂”类别和“不嘈杂”类别。
176.在一些实施例中，在为检测到的对象信息1312的实例选择一个或多个类别(或不选择类别)之后，基于类别选择的附加元数据可以通过元数据模块1326与该实例相关联。在特定的实施例中，此类元数据可以包括基于类别选择的被检测对象信息1312的实例的得分。在特定的实施例中，该得分可以指示数据的重要性。得分可以以任何合适的方式来确定。作为一个示例，被归类为常见数据的实例(或以其他方式被分配为指示高发生频率的类别)可以收到相对低的得分，因为由于类似的数据已经被用于训练系统的高可能性，此类数据可能不会改善系统的功能。作为另一示例，被归类为少数类数据的实例可能接收相对高的得分，因为此类数据不太可能已经被用于训练系统。作为另一示例，被归类为富含多样化对象的数据的实例可能比未被归类为富含多样化对象的数据的类似实例接收更高的得分，因为具有多样化对象的实例可能被认为对训练目的更有用。作为另一示例，被归类为噪声数据的实例可能比未被归类为噪声数据的类似实例接收更低的得分，因为具有较高噪声的实例可能被认为对训练目的不太有用。
177.在一些实施例中，除了得分之外(或作为替代方案)，任何合适的元数据可以与被
检测到的对象信息1312的实例相关联。例如，与底层数据流相关联的情境中的任何情境可以被包括在元数据内，并且该情境可以影响得分(例如，第一情境中的常见数据可能是第二情境中的少数数据)。
178.数据的实例、归类决策、基于归类的得分和/或附加元数据可以被提供给数据处理程序1330。数据处理程序1330可相对于数据实例执行一个或多个动作。本公开构想了任何合适的动作。例如，数据处理程序1330可以清除具有较低得分的、或某一类别或类别组合的实例。作为另一示例，数据处理程序1330可以存储具有较高得分的、或某一类别或类别组合的实例。作为另一示例，数据处理程序1330可以产生对生成与实例相关联的合成数据的请求(例如，数据处理程序1330可以请求生成与被分类为少数类数据的对象相关联的合成数据)。作为另一示例，数据处理程序1330可以生成对由一个或多个自主交通工具的传感器收集与该实例的对象相关的更多数据的请求。作为又一示例，数据处理程序1330可以确定该实例(和/或底层数据流)应被包括在可用于(例如，由对象检测器1310)训练的数据集中。
179.数据的实例、归类决策、基于归类的得分和/或附加元数据还可以被提供给数据评分训练器1328。数据评分训练器1328按照类别和/或得分对模型进行训练。在各个实施例中，检测到的对象的实例及其相关联的得分和/或类别可以被数据评分训练器1328用作基础事实。训练器1328输出训练模型1332。训练模型被提供给交通工具ai系统1334，并可由交通工具用于对交通工具ai系统1334检测到的对象进行归类和/或评分。在各个实施例中，用于训练模型的数据实例是基于类别和/或得分被滤波的。例如，可以从训练集中省略包括通常遇到的对象的实例。
180.交通工具ai系统1334可以包括用于执行任何合适的自主驾驶操作(诸如自主交通工具堆叠的操作中的一个或多个操作)的电路和其他逻辑。在特定实施例中，交通工具ai系统1334可以接收数据流1306并处理数据流1306以检测对象。
181.车载类别分配器1336可以具有类别分配器1324的任何一个或多个特征。与检测到的对象的实例有关的信息(例如，检测到的对象以及情境)可以被提供给类别分配器1336，该类别分配器1336为该实例选择一个或多个类别(诸如上文所描述的类别中的一个或多个类别或其他合适的类别)。在一些实施例中，类别分配器1336或计算系统1302的其他逻辑还可以(或替代地)将得分分配给(多个)被检测到的对象的实例。在一些实施例中，得分可以基于由类别分配器1336对检测到的对象的归类。在其他实施例中，得分可由自主交通工具确定，而无需由自主交通工具明确地确定类别。在各个实施例中，分配给检测到的对象的类别和/或得分使用一个或多个机器学习推断模块而被确定，该推断模块利用由数据评分训练器1328生成的参数。
182.类别分配器1336的输出可以被提供给车载数据处理程序1338，车载数据处理程序1338可以具有数据处理程序1330的任何一个或多个特性。在各个实施例中，类别分配器1336的输出也可以被提供给bko数据库1322以促进基于在线学习和评分来更新bko数据。
183.数据处理程序1338可以具有数据处理程序1330的任何一个或多个特性。数据处理程序1338可以基于车载类别分配器1336的输出来做出如何处置由交通工具捕获的数据流的决策。例如，数据处理程序1338可以基于类别分配器1336的输出来采取上述动作中的任何一种动作或执行与数据相关联的其他适当的动作。仅作为一个示例，数据处理程序1338可以确定与检测到的对象相关联的数据是被存储在交通工具中还是基于数据评分而被清
除。
184.在各个实施例中，用于对数据进行评分的基于位置的模型可以合成数据的紧急性或重要性，以及为由自主交通工具做出的更好决策提供有用的引导。所捕获的数据的位置可由自主交通工具计算系统1302或远程计算系统1304用于(例如，通过使用位置作为输入从数据库或其他服务)获得与数据的捕获相关联的其他情境数据，诸如天气、交通、行人流量等。此类捕获的数据可以以特定的粒度被收集，以便形成信息的时间序列。同一位置可与在该位置半径内捕获的每个数据流相关联，并可允许交通工具改善其在该区域内的感知和决策能力。上述模块中的任一模块可以考虑该位置。仅作为一个示例，bko db 1322可以存储特定于位置的数据(例如，用于第一位置的各个对象的一系列常见性级别、用于第二位置的各个对象的单独的常见性级别列表，等等)。
185.图14描绘了根据某些实施例的用于处置基于归类的数据的示例流程。在1402处，标识来自由交通工具的一个或多个传感器捕获的数据中的一个或多个对象的实例。在1404处，通过对照多个类别检查该实例并将多个类别中的至少一个类别分配给该实例来执行该实例的归类。在1406处，基于实例的归类来确定得分。在1408处，至少部分地基于该得分来选择该实例的数据处置策略。在1410处，基于所确定的数据处置策略来处理该实例。
186.创建高质量的机器学习模型包括在训练期间使用稳健的数据集以供模型创建。一般而言，模型仅与它用于训练的数据集一样好。在许多应用(诸如用于对象或人标识的图像训练)中，数据集收集相当简单。然而，在其他情况下，不太常见的情境或其组合的数据集收集可能是非常困难的。这对模型开发提出了困难的挑战，因为模型可能承担基于不充分的数据来标识或分类情境的任务。在理想的情况下，用于训练对象检测模型的数据集对于每个类别都具有相等或类似的数据量。然而，从交通工具传感器收集到的数据集通常是不平衡的，因为交通工具遇到的正数据远远多于负数据。
187.在本公开的各个实施例中，系统可以创建合成数据，以便增强缺乏针对一个或多个情境的真实数据的数据集。在一些实施例中，生成对抗网络(gan)图像生成器创建合成数据。gan是一种生成模型，该生成模型使用机器学习(更具体地，深度学习)以基于作为到gan的输入的关键字的列表来生成图像(例如，静态图像或视频剪辑)。gan使用用于创建图像的这些关键字。各个实施例还采用逻辑来确定哪些关键字被供应给gan以用于图像生成。仅仅向gan馈送随机数据会导致很多无法使用的数据。某些情境组合可能与真实世界中的发生情况不匹配。例如，在沙特阿拉伯的暴风雪中，小丑在高速公路的中间是几乎不可能的事件。作为另一示例，在下雪的公路上遇到自行车是不太可能的(尽管比前一种常见更可能)。因此，系统可以(例如，通过使用关键字“自行车”、“雪”和“高速公路”)为该场景生成图像，但不为前一场景生成图像。通过智能地控制合成数据创建，系统可以创建图像(以用于训练)，否则交通工具在真实生活中需要很长的时间才能遇到。
188.各个实施例在使数据可用性和模型创建大众化方面可能是有价值的。例如，实体在诸如自主驾驶作为服务之类的空间中的成功在很大程度上取决于该实体可获得的数据集的数量和多样性。因此，在市场达到成熟的几年内，早期开始收集数据的现有参与者可能具有不公平的优势，潜在地排挤后来者的创新。此类数据差异也可能阻碍学术界的研究，除非机构通过与已经积累了大数据集的其他实体的关系具有对大量数据的访问权。各个实施例可以通过增加可用于训练模型的数据的可用性来改善此类压力。
189.图15描绘了根据某些实施例的智能地生成合成数据的系统1500。系统1500表示包括任何合适的组件的任何合适的计算系统，任何合适的组件诸如用于存储信息的存储器和用于执行系统1500的功能中的任何功能的一个或多个处理器。在所描绘的实施例中，系统1500访问真实数据源1502，并将真实数据源存储在图像数据集1504和非图像传感器数据集1506中。真实数据源1502可以表示从现场交通工具或模拟驾驶环境中收集到的数据。此类真实数据可以包括图像数据，诸如来自一个或多个相机的视频数据流、来自一个或多个激光雷达的点云、或从一个或多个交通工具或支持基础设施(例如路边相机)获得的类似成像数据。收集到的图像数据可以使用任何合适的存储介质被存储在图像数据集1504中。真实数据源还可以包括非图像传感器数据，诸如来自可能与交通工具相关联的众多传感器中的任何传感器的数据。非图像传感器数据也可以被称为时间序列数据。该数据可以采取任何合适的形式，诸如时间戳和相关联的值。非图像传感器数据可以包括，例如，来自运动传感器、gps、温度传感器、或交通工具中使用的、以任何给定速率生成数据的任何过程的测量。收集到的非图像传感器数据可以使用任何合适的存储介质被存储在非图像数据集1506中。
190.情境提取模块1508可以访问图像数据和非图像传感器数据的实例并可以确定与数据相关联的情境。两种类型的数据可以被联合地或单独地使用以生成情境(其可以表示单个状况或状况的组合)，诸如本文所描述的情境中的任何情境。例如，可以单独使用成像数据来生成情境“下雪”。作为另一示例，成像数据和温度数据可用于生成情境“有雾并且潮湿的”。在又一示例中，传感器数据可单独用于生成“超速”的情境。(多个)所确定的情境通常被表达为与原始数据相关联的元数据。
191.情境提取模块1508可以采取任何合适的形式。在特定的实施例中，模块1508实现分类算法(例如，机器学习算法)，该算法可以接收一个或多个数据流作为输入并从中生成情境。所确定的情境被存储在具有相关联的时间戳的元数据/情境数据集1510中，相关联的时间戳可用于将情境映射回原始数据流(例如，图像数据和/或非图像传感器数据集)。这些所存储的元数据流可以叙述某一时段内的驾驶环境状况。对于模型开发而言，图像数据和非传感器图像数据通常被收集在云中，并且数据科学家和机器学习专家被赋予访问权，以使他们能够生成可用于自主交通工具的不同部分内的模型。
192.关键字评分模块1512将检查情境数据的实例(其中情境可以包括元数据的一个或多个片段)，并且对于每个被检查的实例，标识指示每个情境实例的发生频率的常见性级别。该常见性级别可以指示系统遇到特定情境有多频繁(无论是通过应用于真实数据源的情境还是通过应用于合成地生成的图像的情境)。特定情境的常见性级别可以表示有多少具有该特定情境的数据可用于系统(例如，在模型训练中使用)。常见性级别可以与情境相关联地被保存(例如，在元数据/情境数据集1510或其他合适的存储位置中)。
193.关键字评分模块1512可以以任何合适的方式确定常见性级别。例如，每当遇到情境实例时，可以递增专用于该情境的计数器。在其他示例中，可以搜索元数据/情境数据集1510，以确定该情境有多少个实例被存储在数据库1510中。在一个示例中，一旦情境被遇到了阈值次数，该情境可以被标记为“众所周知的”等等，以便不被选择为合成图像生成的候选者。在一些实施例中，元数据/情境数据集1510可以存储具有每个情境的相关联的常见性级别的情境的表。
194.关键字/情境选择器模块1514可以访问元数据/情境数据集(或其他存储设备)并
分析各种情境及其相关联的常见性级别以标识用于合成图像生成的候选者。在特定的实施例中，模块1514寻找不太常见的情境(因为系统可能已经具有针对非常常见的情境的足够的数据)。模块1514可以通过在一个会话中分析多个情境(例如，定期地或在触发时)，以分批的方式搜索此类情境，或者可以响应于其常见性级别的改变而分析情境。模块1514可以选择一个或多个情境，每个情境包括一个或多个描述该情境的关键字。例如，参考上面的示例，所选择的情境可以包括关键字“自行车”、“雪”和“高速公路”。
195.在选择情境作为用于合成图像生成的候选者之后，模块1514可以查阅情境可能性数据库1516以确定所选择的情境是否在真实世界中发生。情境可能性数据库1516可以使用从书籍、文章、互联网网站、或其他合适的源汇编的数据(例如，文本、图片、和视频)来生成。情境可能性数据库1516的数据可以随着更多的数据可在线获得而被丰富。可以以任何合适的方式(例如，通过抓取网站并从此类网站中提取数据、利用数据源的应用编程接口、或其他合适的方法)从在线源来收获数据。图像数据(包括图片和视频)可以使用机器学习或其他分类算法进行处理，以确定与图像中存在的对象和情境相关联的关键字。可对所收集的数据进行索引，以促进搜索数据库中的关键字，如搜索关键字与其他关键字的接近度。所聚集的数据可以形成允许推断特定的情境是否在真实世界中发生的情境的库。
196.在选择情境作为用于合成图像生成的候选者之后，模块1514可以查阅情境可能性数据库1516，以确定情境的关键字一起出现在情境可能性数据库1516内的所收集的数据源中有多频繁。如果关键字从未一起出现，则模块1514可以确定该情境没有出现在真实世界中，并可以确定不针对该情境生成合成图像。在一些实施例中，如果关键字确实一起出现(或一起出现超过阈值次数)，则做出该情境确实在真实世界中发生的决策，并且该情境的关键字被传递给gan图像生成器1518。
197.在特定的实施例中，情境是否在真实生活中发生和/或是否已经针对该情境生成合成图像的指示可以与该情境相关联地被存储在元数据/情境数据集1510(或其他合适的存储设备)中，使得模块1514可以避免针对特定情境执行不必要的情境可能性数据库1516的查找。另外，如果确定特定的情境不在真实世界中发生，则模块1514可以确定该特定情境的子情境也不在真实世界中发生(其中子情境继承父情境的关键字中的全部关键字并包括至少一个附加的关键字)。在一些实施例中，在某些状况下(例如，在对情境可能性数据库1516进行主要更新时)，即使在第一次分析中确定不在真实世界中发生，也可以再次对情境是否在真实世界中发生进行分析。
198.在确定根据情境可能性数据库1516内的信息被选择为用于合成图像生成的候选者的情境确实在真实世界中发生时，该情境被提供给gan图像生成器1518。图像生成器1518可以包括用于生成表示情境的图像数据(例如，一个或多个图片或视频剪辑)的适当的逻辑。例如，继续上面的示例，如果情境具有关键字“自行车”、“雪”和“高速公路”，则图像生成器1518可以生成一个或多个图像数据实例，每个实例描绘雪中高速公路上的自行车。在各个实施例中，gan图像生成器1518可以被调整用于提供对模型训练有用的图像数据。作为示例，生成器1518可以生成具有在雪中的各种类型的高速公路上的各种类型的自行车(任选地在图像内的不同位置)的图像。
199.由图像生成器1518生成的图像数据可以被放置到图像数据集并与用于生成图像的情境相关联地存储。此类图像可用于训练一个或多个模型(例如，机器学习模型)，以由自
主交通工具用于检测对象。因此，系统1500可以标识不太可能的情境，确定此类情境是否可能存在于真实世界中，并且然后生成此类情境的合成图像，以便丰富数据集，从而改善分类和对象标识性能。
200.在各个实施例中，系统100还可以包括用于接收来自人类或其他行为者(例如，计算实体)的输入以引导本文所述的功能中的任何功能的模块。例如，可以接收关于某种情境是否是可能的明确输入。在一些实施例中，对情境可能性数据库1516的查询的子集可用于询问人类操作者情境是否是现实的。例如，如果对数据库1516的搜索一起返回情境关键字的非常少的实例，则在将情境传递给图像生成器1518之前，可以询问人类操作者该情境是否是现实的。作为另一示例，人类操作者或计算实体可以直接向gan图像生成器1518注入关键字，以用于生成所期望的情境的图像。然后，此类图像可以与它们相关联的情境一起存储到图像数据集1504中。在一些实施例中，人类输入可以经由要由自主交通工具或由众包平台(诸如亚马逊土耳其机器人(amazon mechanical turk))使用的计算模型的开发者提供。
201.在一些实施例中，该系统可以偏向于情境和相关联的关键字的特定集合。例如，如果模型开发者知道模型在有雾期间或在夜间不太准确，那么模型开发者可以触发使用这些关键字来生成附加合成图像数据集，以便训练模型以获得经改善的性能。在各个实施例中，所生成的合成图像数据也可用于模型测试，以确定模型的准确性。在一些实施例中，合成数据图像可以在它们被添加到图像数据集之前用于测试模型。例如，如果当前的模型难以准确地对合成图像进行分类，则此类图像可被认为对训练有用，以改善模型性能，并且随后可被添加到图像数据集1504。
202.在各个实施例中，系统1500的全部或部分可以与交通工具的机载计算系统分开(例如，系统1500或其组件可以位于云计算环境中)。在其他实施例中，系统1500的全部或部分可以与交通工具的机载的、车载计算系统集成，诸如本文所讨论的。
203.在特定的实施例中，机载情境检测算法可由交通工具响应于由交通工具捕获的数据而执行。交通工具可以存储并使用情境可能性数据库1516的快照(例如，作为gan的并行方法)。在上传与罕见事件相关联的数据时，图像生成器1518可使用来自由交通工具执行的情境检测算法的数据作为输入，以生成这些罕见的情境的更多实例。
204.图16描绘了根据某些实施例的用于生成合成数据的流程。在1602处，标识与从交通工具的一个或多个传感器捕获的传感器数据相关联的情境，其中该情境包括多个文本关键字。在1604处，确定针对情境的附加图像数据是期望的。在1606处，情境的多个文本关键字被提供给合成图像生成器，该合成图像生成器用于基于情境的多个文本关键词来生成多个图像。
205.在自主交通工具的操作期间中，大量的视觉分类和音频识别算法被执行。由于其最先进的性能，深度学习算法可被用于此类应用。然而，此类算法，尽管它们的高度有效的分类性能，但可能容易受到攻击。关于计算机视觉，对抗性攻击者可能会通过非常小的扰动来操纵图像，这些扰动可能是人眼无法注意到的，但可能会扭曲图像，足以导致深度学习算法对图像误分类。此类攻击可能是无针对性的，使得只要图像被误分类、攻击者就可能对图像的所得到的分类漠不关心，或者攻击可以是有针对性的，使得图像被扭曲以便利用有针对性的分类器进行分类。类似地，在音频空间中，攻击者可以注入不影响人类听到实际句子的噪音，但语音转文本的算法将完全误解语音。最近的结果还表明，对对抗性扰动的脆弱性
不限于深度学习算法，但也可能影响经典的机器学习方法。
206.为了改善机器学习算法的安全性，本公开的各个实施例包括用于创建专门模仿对手可能创建的攻击的合成数据的系统。为了合成图像的攻击数据，构想了多个对手，并且根据分类器已经知晓的图像中生成对抗性图像，并且然后与底层良性图像(底层良性图像中的至少一些底层良性图像被用作对抗性图像的底层图像)一起在训练集中使用，以训练用于交通工具的对象检测的机器学习模型。
207.图17描绘了用于生成对抗性样本和基于对抗性样本来训练机器学习模型的流程。该流程可以包括使用多个不同的攻击方法1702来生成对抗性样本。一个或多个参数1704可以被确定以建立训练数据集。这些参数可以包括例如以下各项中的一项或多项：良性样本与对抗性样本的比率、要使用的各种攻击强度(以及针对攻击方法中的每一种方法的特定攻击强度的比率)、攻击类型的比例(例如，有多少攻击将利用第一种攻击方法，有多少将利用第二种攻击方法，等等)，以及对对抗性样本的误分类的惩罚项。对抗性样本可以通过任何合适的计算来生成，诸如本文所讨论的。
208.在根据参数生成对抗性样本之后，对抗性样本可以在1706处被添加到训练集的良性样本中。然后，该训练集可在1708处由计算系统用于训练分类模型。训练的输出可用于在1710处为交通工具建立稳健的ai分类系统(例如，可由例如推断引擎254执行的ml模型)。下面更详细地描述该流程的各个部分。
209.可以使用任何数量的预期攻击方法来生成合成图像。例如，可以利用以下各项中的一项或多项来生成合成图像：快速梯度符号方法、迭代快速梯度符号法、深度欺骗、通用对抗性扰动、或其他合适的攻击方法。
210.经由快速梯度符号方法生成对抗性图像可以包括根据底层图像评估神经网络的损失函数的梯度、获取梯度的符号、并且然后将其乘以步长(例如，攻击的强度)。然后，结果被添加到原始图像中，以创建对抗性图像。经由迭代快速梯度符号方法生成对抗性图像可以包括在多个梯度步上的步长的迭代攻击，而不是单个攻击(如快速梯度符号方法中的情况)，其中每个迭代都被添加到图像中。经由深度欺骗方法生成对抗性图像可以包括在输入点处使损失函数线性化并应用在线性近似正确时切换类别所必要的最小的扰动。这可以迭代地被执行，直到网络的所选类别切换。经由通用对抗性扰动方法生成对抗性图像可以包括对整个训练集计算扰动，并且然后将其添加到图像中的全部图像(而其他攻击方法中的一些攻击方法单独地攻击图像)
211.在一些实施例中，可以利用使用不同攻击强度的已知分类器根据单个图像生成多个对抗性图像。例如，对于特定的攻击方法而言，可以使用第一攻击强度根据良性图像生成第一对抗性图像，并且可以使用第二攻击强度根据同一良性图像生成第二对抗性图像。
212.在一些实施例中，多个攻击方法可被应用于根据单个良性图像生成多个对抗性图像。例如，第一攻击方法可与一个或多个攻击强度一起用于根据良性图像生成一个或多个对抗性图像，并且第二攻击方法可与一个或多个攻击强度一起用于根据同一良性图像生成一个或多个附加的对抗性图像。
213.任何合适数量的攻击方法和任何合适数量的攻击强度可被用于针对合成数据集生成对抗性图像。此外，在一些实施例中，攻击方法和攻击强度可以跨良性图像分布(例如，并非所有方法和/或强度都应用于每个良性图像)。例如，一种或多种攻击方法和/或一个或
多个攻击强度可应用于第一良性图像，以生成一个或多个对抗性图像，不同的一种或多种攻击方法和/或一个或多个攻击强度可应用于第二良性图像，以生成一个或多个附加的对抗性图像，等等。在一些实施例中，攻击强度可以针对来自要训练的每个类的图像的攻击而变化。
214.在各个实施例中，每种类型的攻击的比例可以基于对真实世界状况的估计而变化(例如，以匹配预期攻击的类型的比率)。例如，合成数据集中的对抗性图像的50％可以使用第一种攻击方法生成，对抗性图像的30％可以使用第二种攻击方法生成，并且对抗性图像的20％可以使用第三种攻击方法生成。
215.在各个实施例中，良性图像与对抗性图像的比例也可以从一个合成数据集变化到另一个合成数据集。例如，可以测试具有良性图像与对抗性图像的不同比率的多个合成数据集，以(例如，基于对象检测准确性)确定最优比率。
216.每个对抗性图像与正确的基础事实标签(例如，底层良性图像的类别)的关联被存储。在一些实施例中，对抗性图像可以各自存储有相应的攻击标签(例如，如果分类器没有对对抗性数据进行训练、对抗性图像通常会接收的标签，该标签可能是攻击者在有针对性的攻击中所期望的标签)。此类对抗性图像和相关联的分类器的集合可以形成模拟攻击数据集。
217.模拟攻击数据集可以与良性图像(和相关联的已知分类器)的集合进行混合，并用于训练监督机器学习分类模型，诸如神经网络、决策树、支持向量机、逻辑回归、k
‑
最近邻算法、或其他合适的分类模型。因此，合成攻击数据可用作增强，以提高对深度学习算法或经典ml算法攻击的弹性(resiliency)。在训练期间，具有其正确标签的对抗性图像被并入为训练集的一部分，以完善学习模型。此外，在一些实施例中，如果学习算法在训练期间倾向于将对抗性图像分类为攻击者所期望的标签，则学习模型的损失函数可能会引发惩罚。因此，学习算法将发展对图像的对抗性攻击的弹性。
218.上面描述的方法中的任何方法可适于对音频数据进行类似的攻击。针对音频数据的任何合适的攻击方法都可用于生成对抗性音频样本。例如，可以使用基于扰动基于梯度下降的输入样本的方法。这些攻击方法可以是一次性攻击或迭代攻击。如同图像攻击那样，可以使用多种不同的攻击方法，音频攻击可以在攻击强度上不同，根据攻击方法生成的对抗性样本的比率可以不同，并且对抗性样本和良性样本的比率也可以不同。对抗性音频样本可用于训练任何合适的文本转语音(例如wavenet、deepvoice、tacotron等)或语音识别(例如具有隐马尔可夫模型的深度模型、连接时序分类模型、基于注意力的模型等)机器学习模型。
219.图18描绘了根据某些实施例的用于生成模拟攻击数据集和使用模拟攻击数据集训练分类模型的流程。在1802处，访问包括多个图像样本或多个音频样本的良性数据集。良性数据集的样本具有已知标签。在1804处，生成包括多个对抗性样本的模拟攻击数据集，其中对抗性样本是通过对良性数据集的样本执行多个不同的攻击方法而生成的。在1806处，使用对抗性样本、已知标签、和多个良性样本对机器学习分类模型进行训练。
220.半自主和自主交通工具系统在很大程度上依赖机器学习(ml)技术进行对象标识。随着时间的流逝，用于分类的模型必须被更新(包括重新训练)，以便它们继续准确地反映使用期间在新事件(例如，暴风雪的改变)和改变的模式(例如，交通密度的增加)两方面所
经历的改变的环境。虽然对ml模型的更新可以以定期的方式执行，但是当有效的模型被不必要地替换时，此类更新可能导致资源使用过度，或者当更新不够频繁时可能导致更大数量的误分类。
221.在本公开的各个实施例中，在对象检测期间使用多个分类器，每个分类器具有不同的属性，并且一个分类器的行为可用于确定何时应更新(多个)其他分类器(例如，使用最近检测到的对象重新训练)。例如，简单的分类器(例如线性分类器)的行为可用于确定何时更新更稳健的或复杂的分类器(例如非线性分类器)。简单的分类器可以充当用于对更稳健的分类器进行必要的更新的早期检测系统(就像“煤矿中的金丝雀”一样)。虽然简单分类器可能无法像其他分类器那样提供稳健的或准确的对象检测，但简单分类器可能更容易受到环境改变的影响，并且因此相对于非线性分类器而言可能更容易检测到环境的改变。在特定的实施例中，监测在改变的环境中相对地更易受准确性退化影响的分类器，并且当该分类器的准确性下降到特定量时，对分类器的重新训练被触发。
222.尽管本公开侧重于使用线性分类器作为简单分类器和使用非线性分类器作为更稳健的分类器的实施例，但其他实施例可以利用任何合适的分类器作为简单且稳健的分类器。例如，在特定的实施例中，稳健分类器可以是复杂的非线性分类器，并且简单分类器可以是不太复杂的非线性分类器。简单分类器(例如，线性分类器)和稳健分类器(例如，非线性分类器)可以由任何合适的计算系统来实现。
223.尽管以下示例中的线性分类器和非线性分类器的类边界被描绘为沿两个维度(x和y维度)对样本进行分类以简化解释，但在各个实施例中，线性分类器或非线性分类器可以沿任何合适数量的维度对样本进行分类(例如，到分类器的输入向量可以具有任何数量的特征值)。例如，代替直线作为线性分类器的类边界，超平面可用于分割n维输入空间，其中超平面的一侧上的所有样本利用一个标签进行分类，而超平面的另一侧上的样本利用另一个标签进行分类。
224.线性分类器可以基于输入样本的多个特性(也被称为特征值)的线性组合的值做出分类决策。本公开构想使用任何合适的线性分类器作为简单分类器。例如，可以使用基于正则化最小二乘法、逻辑回归、支持向量机、朴素贝叶斯(bayes)、线性判别分类器、感知器的分类器、或其他合适的线性分类技术。
225.非线性分类器通常确定不能利用线性超平面很好地近似的类边界，并且因此这些类边界是非线性的。本公开构想使用任何合适的非线性分类器作为稳健分类器。例如，可以使用基于二次判别分类器、多层感知器、决策树、随机森林、k最近邻、全体或其他合适的非线性分类技术的分类器。
226.图19图示出根据某些实施例的非线性分类器的操作。该非线性分类器可用于对具有一个或多个特征值的任何合适的输入样本(例如，事件)进行分类。图19描绘了具有第一类的多个样本1904和第二类的多个样本1906的第一数据集1900。非线性分类器被配置成用于基于样本的特征值和由非线性分类器定义的类边界来区分样本是第一类还是第二类。
227.数据集1900可以表示用于训练非线性分类器的样本，而数据集1950表示相同的样本以及第一类型的附加样本1908和第二类型的附加样本1910。类边界1912表示在基于包括新样本1908和1910的训练集重新训练非线性分类器之后、非线性分类器的类边界。虽然新类边界1912仍可使非线性分类器能够正确地标记新样本，但由于类边界1902和1912具有一
般类似的属性，因此移动数据模式可能不容易显现。
228.图20图示出根据某些实施例的非线性分类器的操作。图20描绘与图19相同的数据集1900和1950。类边界2002表示在对数据集1900进行训练之后、线性分类器的类边界，而类边界2004表示在基于包括新样本1908和1910的训练集对线性分类器进行重新训练之后、线性分类器的类边界。新的数据模式(以新样本1908和1910来例示)可能是明显的，因为在不对线性分类器进行重新训练的情况下，新样本将被不正确地归类。
229.因此，线性分类器可以提供数据正在改变的早期警告，从而导致监测改变的数据集并主动对新模型进行训练的能力。在特定的实施例中，系统可以监测线性分类器的准确性，并且当准确性下降到低于阈值量时，对线性和非线性分类器的重新训练可以被触发。可以使用包括最近数据的训练集来执行重新训练。
230.由于分类器的组合被设计用于提供早期改变检测，同时保留稳健的分类，因此除了检测环境中的转变之外，各种实施例可用于检测攻击。攻击数据一般会与训练数据不同，训练数据被假定为以简洁的方式(例如，从一个或多个自主交通工具的传感器)或使用合成生成技术(诸如本文所讨论的那些或其他合适的数据生成技术)收集。因此，线性分类器的准确性损失将提供攻击的早期指示(例如，线性分类器的准确性将以比非线性分类器的准确性更快的速度降级)。另外，由于分类器功能不同，攻击者可能更加难以同时绕过两个系统。
231.在特定的实施例中，线性分类器随时间的改变可允许系统确定哪些数据是新的或有趣的，以维持以用于进一步的训练。例如，当检测到线性分类器的准确性的改变时，可以分析最近获得的数据(和/或被不正确地分类的数据)以确定感兴趣的数据，并且该感兴趣的数据可以用于综合地生成相关的数据集(使用本文所述的技术中的任何技术或其他合适的合成数据生成技术)以用于训练线性分类器和非线性分类器。
232.由于分类器将因与训练数据不相似的数据而改变，因此可以分析和维持新的样本实例以用于进一步的训练。例如，在图20中，样本1908和1910导致线性分类器的类边界移动。对于将来的训练集，可以对这些新样本的子集进行采样和维持。在特定的实施例中，可以对这些新样本随机地进行采样，以避免将数据偏置引入训练集。在其他实施例中，对于未来的训练集，可以维持某个类的不成比例的数量(例如，如果该类的样本数量明显少于其他类的样本数量)。
233.尽管该示例描述了两类分类器，但各个实施例也可以根据本文描述的概念提供多类分类(例如，利用简单且稳健的分类器)。例如，可以使用一系列的超平面，其中每个类i(针对1
‑
n而言)与作为整体的其他类进行比较(例如，一个相对于所有)。作为另一示例，可以使用一系列的超平面，其中每个类i(对于1
‑
n而言)与其他类j(对于1
‑
n而言)单独地进行比较(例如，一个相对于一个)。
234.图21描绘了用于基于线性分类器的准确性而触发动作的流程。在2102处，线性分类器对来自交通工具的输入样本进行分类。在2104处，非线性分类器对来自交通工具的相同输入样本进行分类。在特定的实施例中，此类分类可以并行地执行。在2106处，线性分类器的准确性的改变被检测。在2108处，响应于线性分类器的准确性的改变而触发至少一个动作。
235.自主交通工具可以配备有若干传感器，这些传感器即使在相对较小的时间段内
(例如，毫秒)也产生大量的数据。在对此类系统至关重要的实时数据处理方式的假设下，应先处理在时间t收集到的数据，然后再在时间t 1记录生成的下一个数据(其中这里的单位1是特定的传感器的最大分辨率)。对于相机(该相机一般以30帧/秒操作)和激光雷达(该激光雷达一般以20次扫描/秒操作)而言，33ms分辨率和50ms分辨率可能被认为是可接受的分辨率。因此，高速决策是期望的。事件或情况是由一段时间内的一系列记录形成的，因此可以基于当前的数据点以及先前的数据点，基于时间序列问题来做出各种决策。在实践中，预定义的处理窗口被考虑，因为处理所有被记录的数据可能是不可行的，而且随着时间的推移，被记录的数据的效果趋于减弱。
236.检测与传感器数据的预期行为不匹配的模式的过程被称为异常检测。确定异常的原因被称为异常识别。出于各种原因，异常识别对机器学习算法而言是困难的任务。首先，机器学习算法依赖于看到的数据(训练阶段)来估计用于检测和识别对象的预测模型的参数。然而，这与异常的特性相反，异常是在没有预定义特性的情况下的罕见事件(并且因此不太可能被包括在传统的训练数据中)。第二，异常的概念不一定是恒定的，并且因此在传统的分类问题中可能不会被视为单个的类。第三，传统机器学习算法中的类的数量是预定义的，并且当接收到不相关的输入数据时，ml算法可能会找到最可能的类并相应地标记数据，因此异常可能不被检测到。
237.在本公开的各个实施例中，提供了用于异常检测和识别的机器学习架构。在特定的实施例中，新类别(例如，“未知的”)被添加到循环神经网络中，以增强模型，从而既能实现基于时间的异常检测，并且又能通过移除不正确的肯定情况来增加异常检测率。各个实施例可适于各种应用，包括用于自主交通工具的对象检测。相应地，在一个实施例中，该架构的至少部分可以由感知引擎238实现。
238.在特定的实施例中，该架构可以包括一个或多个ml模型，包括或基于门控循环单元(gru)或长短时记忆网络(lstm)神经网络。图22表示示例gru和lstm架构。此类网络被普遍用于自然语言处理(nlp)。gru于2014年引入，并且具有比lstm更简单的架构，并且近年来已被用于越来越多的应用中。在gru架构中，遗忘门和输入门两者被合并在一起，以形成“更新门”。另外,单元状态和隐藏状态也被组合。
239.图23描绘了根据某些实施例的用于异常检测的系统2300。添加异常检测器可以增强系统的智能，以便能够报告先前不会被检测到的未知情况(例如，基于时间的事件)。可以提供基于lstm或gru架构的新ml模型(本文称为智能循环单元(sru)模型2302)，并与标准lstm或gru模型(“基线模型”2304)结合使用。在各个实施例中，sru模型2302的架构可以与基线预测器的架构类似，但可以专门被调整用于检测异常。在各个实施例中，系统2300既能对新到达的异常数据序列进行编码(例如，将该序列编码为未知类)，也能将给定的数据表示解码为异常标签(例如，随着时间的推移，标识新的异常类并相应地应用标签)。任何合适的数据序列都可以被系统2300识别为异常。例如，异常可以是未知的检测到的对象或未知的检测到的事件序列。在各个实施例中，添加sru模型可以增强系统的智能，以报告先前(在训练阶段或测试阶段)未被系统看到的未知情况(基于时间的事件)。系统可能能够对新的异常数据序列进行编码，并为其分配标签，以创建新的类别。当标签被生成时，对该类型的异常的任何给定数据表示可以被解码。
240.系统2300展示了在训练和推断阶段上提取异常事件的方法。异常阈值2306是在训
练期间计算出的，其中网络计算经学习的事件、未经学习的事件和异常事件之间的边界线。在特定的实施例中，异常阈值2306是基于基线模型2304和sru模型2302中的一者或两者使用的sigmoid函数。异常阈值2306可用于在训练期间调整sru模型2302的参数。
241.通过丰富训练数据集2308以包含预期的正常情况，整个网络可以收敛到只将未知情况视为异常的状态(因此异常样本不需要被包括在训练数据集中)。这是异常检测器2310将识别出不能利用经学习的数据正确地处置情况的检测点。训练数据集2308可以包括或基于任何合适的信息，诸如来自相机的图像、来自激光雷达的点云、从图像或点云中提取的特征、或其他合适的输入数据。
242.在训练期间，训练数据集2308既被提供给基线模型2304又被提供给sru模型2302。每个模型可以输出，例如，所预测的类以及预测置信度(例如，表示分类是正确的评定概率)。在一些实施例中，输出可以包括多个类，每个类均具有相关联的预测置信度。在一些实施例中，例如，基于gru模型，输出可以是指示输出如何基于输入而改变的时间序列。sru模型2302可以比基线模型(例如2304)对未知类更敏感。误差计算器2312可以基于基线模型2304的输出与sru模型2302的输出之间的差来确定误差。
243.在推断期间，测试数据2314(在一些实施例中，测试数据2314可以包括从自主交通工具的一个或多个传感器聚集或得到的信息)被提供给基线模型2304和sru模型2302。如果由误差计算器2312计算出的表示模型输出之间的差的误差相对较高，则系统2300确定不被包括在训练数据中的对象的类并且检测到异常。例如，在推断期间，系统可以使用异常检测器2310来确定测试数据的误差是否大于异常阈值2306。在一个示例中，如果误差大于异常阈值2306，则异常类可被分配给该对象。
244.在各个实施例中，异常检测器2310可以将未知类的笼统(catchall)标签分配给该对象。在另一实施例中，异常检测器2310可以将特定的异常类分配给对象。在各个实施例中，异常检测器可以将各个异常类分配给各个对象。例如，第一异常类可以被分配给具有类似特性的第一多个对象中的每一个对象，第二异常类可以被分配给具有类似特性的第二多个对象中的每一个对象，等等。在一些实施例中，对象的集合可以被分类为笼统的(例如，默认的)异常类，但是一旦系统2300识别出具有类似特性的类似对象，就可以为此类对象创建新的异常类。
245.所标记的输出2314指示所预测的类(所预测的类可以是训练数据集的类中的一个类或是异常类)。在各个实施例中，所标记的输出还可以包括所预测的类的预测置信度(在一些情况下，该预测置信度可以是异常类的预测置信度)。
246.图24描绘了根据某些实施例的用于检测异常的流程。在2402处，将从图像数据提取的特征提供给第一类预测模型和第二类预测模型。在2404处，确定第一类预测模型的输出与第二类预测模型的输出之间的差。在2406处，基于第一类预测模型的输出与第二类预测模型的输出之间的差来将异常类分配给所提取的特征。
247.自主交通工具在其特性方面极大地不同。例如，交通工具的自主性级别可以从l1变化至l5。作为进一步的示例，交通工具可以有各种各样的传感器。此类传感器的示例包括激光雷达、相机、gps、超声波、雷达、高光谱传感器、惯性测量单元、以及本文所述的其他传感器。另外，交通工具配备有的每种类型的传感器的数量可能有所不同。例如，特定交通工具可能具有两个相机，而另一交通工具具有十二个相机。
248.另外，交通工具具有不同的物理动力学，并配备有不同的控制系统。一个制造商可能具有与另一个制造商不同的控制方案的车载处理系统。类似地，来自同一制造商的不同型号，或甚至同一型号交通工具的不同修剪级别，可能具有不同的车载处理和控制系统。此外，不同类型的交通工具可能实现不同的计算机视觉或其他计算算法，因此，交通工具在类似情况下可以彼此不同地进行响应。
249.考虑到自主交通工具之间的可能的差异(例如，自主性级别、传感器、算法、处理系统等)，不同交通工具的相对安全性水平之间将存在差异。这些差异也可能取决于每个交通工具正在行进的道路的部分。另外，不同的交通工具可能比其他交通工具更擅长处理某些情况，诸如例如，恶劣的天气。
250.由于目前的自主交通工具没有能力处理其可能遇到的每一种情况，特别是在其可能遇到的每一种类型的状况下，确定自主交通工具是否具有在当前状况下处置道路的一部分的能力可能是有价值的。
251.图25图示出根据一个实施例的在道路的一部分上限制自主交通工具的自主性级别的方法2500的示例。方法2500可以被认为是使用自主驾驶安全性得分的动态地理围栏的方法。
252.方法2500包括在2510处确定道路的一部分的道路安全性得分。这可以包括确定道路的一部分的自主驾驶安全性得分限制。该道路安全性得分可以是通过对对自主交通工具的安全性至关重要的驾驶参数进行加权和评分而计算出的单个得分。该得分可以表示道路的区域的当前安全性级别。该得分可以是标准化的值，这意味着该值对于道路上的每一个个体自主交通工具都是一样的。在一些实施例中，该安全性得分可以是动态的，根据道路的特定区域的当前状况不断地改变。可用于计算得分的标准的示例可以包括，但不限于：天气状况、一天中的时间、驾驶表面的状况、道路上其他交通工具的数量、道路上自主交通工具的百分比、该区域的行人数量、以及是否存在建筑。在确定道路得分时，可以考虑这些状况或其他可能影响该部分道路上自主驾驶交通工具的安全性的状况中的任何一个或多个状况。在一些示例中，得分标准可以由一组专家和/或监管方来确定。可以对标准进行加权，以允许某些状况比其他状况更加影响安全性得分。在一个示例中，安全性得分可以从0变化到100，尽管可以使用任何一组数字或者可以以任何其他合适的方式来表达安全性得分。
253.图26图示出地图2600的示例，其中列出的道路2610的每个区域示出道路的该部分的道路安全性得分2620。该地图可以由交通工具以与当前gps地图类似的方式显示，其中交通和速度限制被显示在地图上。在一些示例中，地图系统(例如，路径规划器模块242)可以基于来自传感器的输入或道路的地理区域的其他数据来计算安全性得分。在其他示例中，该得分可以在交通工具外部(例如，由140或150)计算，并且该得分被传送到交通工具。
254.方法2500进一步包括在2520处确定交通工具的安全性得分。该安全性得分可以被认为是自主交通工具安全性得分。该安全性得分可用于表示自主交通工具的相对安全性，并可用于确定汽车可自主地行驶的道路的得分限制。与道路安全性得分类似，交通工具安全性得分可以是通过对交通工具的重要安全性要素进行加权计算出的单个得分。针对交通工具安全性得分要考虑的标准的示例可以包括：交通工具上的传感器类型(例如，激光雷达、相机、gps、超声波、雷达、高光谱传感器、和惯性测量单元)、每种传感器的数量、传感器的质量、由交通工具实现的驾驶算法的质量、可用的道路建图数据量等。对每种类型的交通
工具的测试可以由专家/监管方进行，以确定每种交通工具的安全性得分(或其部分)。在一个示例中，具有先进算法和非常多样化的传感器集合的交通工具可以具有较高的得分，诸如100分中的80分。具有不太先进的算法和较少数量和类型的传感器的另一交通工具将具有较低的得分，诸如100分中的40分。
255.接下来，方法2500包括在2530处将交通工具安全性得分与道路安全性得分进行比较。该比较可以包括确定自主交通工具是否足够安全以在道路的特定部分上自主地驾驶。例如，如果道路具有95的安全性得分，而汽车具有50的安全性得分，则汽车被认为不够安全以而无法在该路段上自主地驾驶。然而，一旦道路的安全性得分降低到50分或以下，汽车就可以再次自主地进行驾驶。如果汽车不够安全而无法自主地驾驶，则应由驾驶员接管驾驶职责，并且因此交通工具可能向驾驶员警示进行切换。在一些示例中，可以存在分层的方法来确定汽车是否足够安全以进行自主地驾驶。例如，道路可以具有多个得分：l5得分、l4得分和l3得分等。在此类示例中，汽车安全性得分可用于确定各个交通工具对于道路的给定部分可以使用什么自主性级别。如果汽车具有50的得分，并且该得分在适于l4操作的得分范围内，则该交通工具可以以l4自主性级别来驾驶。
256.最后，方法2500在2540处以防止自主交通工具进入道路的不安全部分结束。这可以包括向交通工具警示它不能够在特定的路段上自主地驾驶。附加地或者替代地，这可以包括向驾驶员警示需要接管驾驶职责，并且一旦驾驶员参与就将驾驶职责移交给驾驶员。如果道路具有如上所述的分层评分级别，则可以确定交通工具的适当自主性级别，并且取决于该交通工具在道路的特定部分上被允许的自主性级别，可以提供自主性级别将要下降以及驾驶员必须参与或准备参与的警报。
257.图像和视频数据可以由驾驶环境中的各个行为者(诸如由移动交通工具(例如汽车、公共汽车、火车、无人机、地铁等)和其他运输交通工具、路边传感器、行人和其他源)收集。此类图像和视频数据有时可能包含人的图像。例如，可以通过安装在交通工具上的向外或向内的图像捕获设备或者通过从其他电子设备或网络向与交通工具集成的计算系统进行图像的数据传输来获得此类图像。该数据可以用来标识人和他们在某些时间点的位置，既引起安全性担忧又引起隐私担忧。当图像描绘儿童或其他易受伤害的人时，这尤其成问题。
258.在一些实现方式中，示例自主驾驶系统(包括在云或雾中实现的车载自主驾驶系统和支持系统)可以利用机器学习模型来伪装由集成在交通工具中或被附接在交通工具上的相机或其他图像捕获设备捕获的图像中所描绘的面部。在示例实施例中，可以使用经训练的生成对抗网络(gan)来为多个域(例如，面部属性)使用单个模型进行图像到图像转换。经训练的gan模型可以被测试，以选择面部属性或面部属性的组合，该面部属性或面部属性的组合在被转移到图像中描绘的已知面部以修改(或伪装)已知面部时，导致面部检测模型不能在经修改(或经伪装的)的面部中标识该已知面部。经训练的gan模型可以利用所选择的面部属性或面部属性的组合进行配置。经配置的gan模型可在交通工具中被供应，以接收由与交通工具相关联的图像捕获设备捕获到的图像或由交通工具中的计算系统从其他电子设备或网络接收到的其他图像。经配置的gan模型可被应用于捕获到的或接收到的描绘面部的图像，以便伪装面部，同时保留揭示与面部相关联的人有关的信息的特定属性(或特征)。此类信息可以包括例如图像被捕获时人的注视和/或情绪。
259.随着在移动交通工具中实现的智能驾驶系统变得更加复杂，并且甚至部分地或完全地自主，由这些移动交通工具收集到的图像和视频数据的数量和质量都显著增加。图像和视频数据可由任何类型的移动交通工具收集，移动交通工具包括但不一定限于汽车、公共汽车、火车、无人机、船只、地铁、飞机和其他运输交通工具。由安装在移动交通工具上的图像捕获设备所获得的图像和视频数据的增加的质量和数量，可以使得能够标识图像和视频数据中捕获到的人，并可以揭示与此类人在特定时间点的位置有关的信息。此类信息既引起了安全性担忧又引起了隐私担忧，当捕获到的数据包括儿童或其他易受伤害的个人时，这可能是特别令人不安的。
260.在自主交通工具的情况下，由交通工具收集到的图像和视频数据(例如，高达5tb/小时)可用于训练自主驾驶机器学习(ml)模型。这些模型旨在理解交通工具周围的场景，检测对象和行人，以及预测他们的轨迹。
261.在一些地区(例如欧盟、美国的一些州等)，标识信息是受保护的，并且可能对保留该受保护的信息的任何实体征收严厉的经济处罚。此外，知晓运输交通工具在不断收集该数据，可能会影响公众对自主交通工具的信任和采用，并且甚至可能负面地影响公众对服务交通工具的情绪。因此，如果不加以解决，这些用户隐私问题会潜在地阻碍至少一些自主交通工具技术的采用。
262.保护图像和视频数据的隐私的一种方法是模糊或像素化数据中的面部。虽然模糊和像素化在出于全面地检测人的目的、采用基本的计算机视觉算法的情况下可以起作用，但这些方法不适用于旨在理解人的注视和意图的现代算法。例如，当自主汽车遇到行人并基于预测行人将要做什么(例如，步入人行道、等待信号灯改变等)来确定反应(例如，减速、停车、按喇叭、继续正常行驶等)时，此类信息可能是特别有用的，并且甚至是必要的。对行人的注视和意图研究越来越多，以增加内置到交通工具的“智能”。通过检测来自行人的面部的注视和意图，智能算法旨在预测行人的轨迹，并且因此避免事故。例如，正在看其电话的行人比直视交通工具的另一行人更有可能错过正在经过的交通工具。机器学习算法需要从面部提取一些标志来预测注视。面部的模糊或像素化使这项任务变得不切实际。
263.如图27所示，通信系统2700解决了许多上述问题(以及更多)。在至少一个实施例中，保护隐私的计算机视觉系统采用生成对抗网络(gan)来保护计算机视觉应用中的隐私，同时维持数据的实用性并最小地影响计算机视觉能力。gan通常由两个神经网络组成，两个神经网络在本文中可称为“生成器”(或“生成模型”)和“鉴别器”(或“鉴别模型”)。生成器从一个(真实)数据集学习，并且然后试图生成与训练数据集相似的新数据。鉴别器试图在(由生成器产生的)新数据和真实数据之间进行鉴别。生成器的目标是通过产生似乎来自真实数据分布的新颖的合成实例来增加鉴别网络的错误率(例如，“欺骗”鉴别器网络)。
264.至少一个实施例可以使用专门用于面部属性转移的预训练的gan模型。在通信系统2700中，预训练的gan模型可用于将真人图像中的面部属性替换为这些属性的变体，同时维持其他机器学习能力所需要的面部属性，其他机器学习能力可以是交通工具的计算机视觉能力的一部分。一般而言，gan模型被预训练来处理描绘面部(例如，真人面部的数字图像)的输入图像，以通过修改或改变属性来产生描绘面部的新图像。该新图像在本文被称为“经伪装的”面部或“假的”面部。通信系统2700可以利用一个或多个所选择的域属性(例如，年龄、性别)配置预训练的gan模型，以控制哪些属性或特征被用来修改输入图像。
265.经配置的gan模型可以在具有一个或多个图像捕获设备的交通工具中被供应，以用于捕获行人、其他交通工具操作者、乘客或进入交通工具的某个范围内的任何其他个人的图像。当人的图像被交通工具的图像捕获设备中的一个图像捕获设备捕获时，该图像可以准备由经配置的gan模型进行处理。处理可以包括，例如，重设定图像尺寸、检测图像中描绘的面部、以及使面部对齐。经处理的图像可以被提供给预先配置的gan模型，该模型基于预先配置的域属性(例如，年龄、性别)来修改图像中描绘的面部。gan模型的生成器产生描绘经修改的或经伪装的面部的新图像，并在不揭示面部已被伪装的人的标识信息的情况下、将新图像提供给其他交通工具计算机视觉应用和/或提供给数据收集库(例如，在云中)，以用于信息聚集或其他目的。由gan模型产生的新图像在本文中被称为“经伪装的图像”和“假的图像”。
266.通信系统2700可以提供若干个示例的潜在优势。预计自主交通工具技术的持续增长可能会在日常使用中产生大量的可标识图像。本文中描述的实施例解决了拍摄个人的隐私问题，同时维持数据的实用性并最小地影响计算机视觉能力。特别是，本文的实施例可以使人的面部的图像无法识别，同时保留在交通工具中实现的其他计算机视觉能力所需的面部属性。用户隐私可以既具有社会含义又具有法律含义。例如，若不解决实时捕获的图像中固有的用户隐私问题，计算机视觉能力的采用就可能会受到阻碍。因为本文的实施例减轻了自主交通工具(和其他具有图像捕获设备的交通工具)的用户隐私问题，所以实施例可以帮助增加对自主交通工具的信任，并促进该技术的采用，以及帮助交通工具制造商、交通工具所有者、和无线服务提供商遵守越来越多的联邦、州和/或地方隐私法规。
267.转向图27，图27图示出了根据本文所述的至少一个实施例的用于保护交通工具的计算机视觉系统中的隐私的通信系统2700。通信系统2700包括生成对抗网络(gan)配置系统2710、数据收集系统2740和交通工具2750。一个或多个网络(诸如网络2705)可以促进交通工具2750与gan配置系统2710之间以及交通工具2750与数据收集系统2740之间的通信。
268.gan配置系统2710包括具有发生器2722和鉴别器2724的gan模型2720。gan模型2720可以被配置有所选择的目标域，从而得到具有发生器2732、鉴别器2734、和目标域2736的经配置的gan模型2730。gan模型2720还包含可以在众多不同的实施例中实现的适当的硬件组件，包括但不一定限于处理器2737和存储器2739。
269.经配置的gan模型可以在交通工具(诸如交通工具2750)中被供应。在至少一个实施例中，经配置的gan模型可被供应为交通工具的隐私保护计算机视觉系统2755的一部分。交通工具2750还可以包括一个或多个图像捕获设备，诸如用于捕获行人(诸如行人2702)、其他驾驶员、乘客和任何其他靠近交通工具的人的图像(例如数字照片)的图像捕获设备2754。计算机视觉系统2755还可以包括用于处理来自经配置的gan模型2730的经伪装的图像的应用2756，以对图像执行评估，并基于特定的实现方式来采取任何适当的动作(例如，自主交通工具的驾驶反应，向驾驶员发送警报等)。适当的硬件组件也在交通工具2750中被供应，包括但不一定限于处理器2757和存储器2759，处理器2757和存储器2759可以在许多不同的实施例中实现。
270.数据收集系统2740可以包括数据储存库2742，用于存储由经配置的gan模型2730在被供应在交通工具中时产生的经伪装的图像。经伪装的图像可以与和计算机视觉系统2752所采取的图像评估和/或动作相关的信息结合存储。在一个示例实现方式中，数据收集
系统2740可以是用于接收交通工具数据(诸如经伪装的图像和由自主交通工具生成的潜在的其他数据)的云处理系统。数据收集系统2740还包含可以在众多不同的实施例中实现的适当的硬件组件，包括但不一定限于处理器2747和存储器2749。
271.图28a和图28b图示出生成对抗网络(gan)产生gan模型(例如，2720)的示例机器学习阶段，gan模型可用于本文所述的实施例中，以实现向数字图像中描绘的面部的面部属性转移。目前，来自被训练用于转移面部属性的gan的扩展模型是可用的，包括但不一定限于stargan、icgan、diat和cyclegan。
272.在图28a中，显示了鉴别器2724的初始训练阶段。在一个示例中，鉴别器2724可以是处理图像并学习将这些图像分类为真实或假的标准的卷积神经网络(cnn)。训练数据2810可以包括真实图像2812和假图像2814。真实图像2812描绘人类面部，而假图像2814描绘人类面部以外的事物。训练数据被馈送到鉴别器2724，以应用深度学习(例如，经由卷积神经网络)来学习将图像分类为真实面部或虚假面部。
273.一旦鉴别器被训练成将人类面部的图像分类为真实的或假的，就可以如图28b所示那样训练gan。在一个示例中，生成器2722可以是去卷积(或反卷积)神经网络。生成器2722从输入图像2822中获取输入图像，并通过基于目标域2824执行面部属性转移来将其转换成经伪装的(或假的)图像。在至少一个实施例中，域属性在空间上被复制并与输入图像串接。生成器2722试图生成不能被鉴别器从真实图像中区分出来的假图像2826。
274.如图28a所示，被训练用于识别真实的或假的人类面部的鉴别器2724接收假图像2826并对假图像应用卷积操作以将其分类为“真实的”或“假的”。最初，生成器可能产生具有高损失值的假图像。随着训练的继续，生成器损失的反向传播可用于更新生成器的权重和偏置，以产生更真实的图像。当假图像“欺骗”鉴别器将其分类为“真实的”时，就可以使用反向传播来更新鉴别器的权重和偏置，以更准确地将“真实的”人类面部与“假的”(例如，由生成器生成的)人类面部区分开。训练可以如图28b所示继续，直到阈值百分比的假图像已被鉴别器分类为真实。
275.图29图示出根据至少一个实施例的gan配置系统2710的附加的可能组件和操作细节。在gan配置系统2710中，目标域可以被标识并被用来配置gan模型2720。目标域指示将由gan模型用于修改输入图像中描绘的面部的一个或多个属性。不在目标域中的某些其他属性不被修改，并且因此被保留在由gan模型的生成器2722产生的经伪装的图像中。例如，在交通工具技术中，可能期望保留的属性包括注视属性，注视属性可以指示由面部表示的人的意图。人的轨迹可以基于人的注视和推断的意图来确定。在交通工具技术中可能有用的另一个属性是情绪。由所捕获的图像中的面部指示的情绪可以指示该面部所表示的人在特定时间是否正在经历特定的情绪(例如，乘坐共享服务的乘客是高兴还是不高兴的、另一交通工具的驾驶员是否有路怒症的迹象、行人是害怕还是激动，等等)。尽管任何面部属性可以被保留，但为了易于说明，将参考利用最佳目标域配置gan模型2720来描述图29中所示的gan配置系统，该最佳目标域在不要求保留面部的其他标识特征的情况下，使面部中的注视和情绪属性保持不变。
276.在至少一个实施例中，可以选择用于图像变换的目标域以实现最大的身份伪装，同时维持面部的注视和/或情绪。例如，最佳目标域可以指示一个或多个属性，该一个或多个属性最小化识别人的概率，同时维持其凝视和情绪表达与原始图像中一样或基本上与原
始图像一样。图29图示出确定最优目标域的一个可能的实施例。
277.gan配置系统2710包括gan模型2720、属性检测引擎2717(例如，情感检测模块和/或注视检测模块)、以及面部识别引擎2718。gan模型2720被预训练来通过将一个或多个面部属性转移到面部，来修改图像中描绘的面部，以产生新的经伪装的图像(例如，经伪装的图像2916)。要转移的特定面部属性是基于被提供给gan模型的生成器的所选择的目标域2914。可以使用任何数量的合适的gan模型，包括例如stargan、icgan、diat、或cyclegan。
278.为了利用用于匿名化面部的最佳目标域来配置gan模型2720，同时保留所期望的面部属性(例如，注视和意图、情绪)，测试图像2912与所选择的目标域2914可以一起被馈送到gan模型2720的生成器2722。对于给定的测试图像，生成器2722可以产生经伪装的图像(例如，经伪装的图像2916)，其中测试图像中的、与所选择的目标域2914相对应的属性被修改。例如，如果所选择的目标域包括“年龄”和“性别”的属性标识符，那么在经伪装的图像中描绘的面部从测试图像中被修改成看起来更老，并且具有相反的性别。然而，面部的其他属性(诸如注视和情绪)保持不变或至少最小化地改变。
279.在至少一个实施例中，属性检测引擎2717可以被提供以评估所期望的属性在经伪装的图像2916中是否仍然是可检测的。例如，情绪检测器模块可以评估经伪装的图像以确定在经伪装的图像所描绘的经修改的面部中检测到的情绪是否与测试图像(例如2912)中描绘的其对应的真实面部中检测到的情绪相同(或基本上相同)。作为另一示例，注视检测器模块可以评估经伪装的图像以确定在经伪装的图像中描绘的经修改的面部中检测到的注视是否与测试图像中描绘的其对应的真实图像中检测到的注视相同(或基本上相同)。因此，在至少一些实施例中，测试图像2912，或指定测试图像中指示的属性的标签(例如，高兴、生气、分心、注视的方向等)，也可以被提供给属性检测引擎2717以做出比较。其他所期望的属性也可以被评估，以确定它们在经伪装的图像中是否是可检测的。如果所期望的一个或多个属性(例如，情绪、注视)没有被检测到，那么可以选择指示一个新属性或一组新属性的新目标域以输入到生成器2722。然而，如果所期望的一个或多个属性被检测到，那么经伪装的图像可以被馈送到面部识别引擎2718以确定经伪装的面部是否是可识别的。
280.面部识别引擎2718可以是任何合适的面部识别软件，该面部识别软件被配置成或被训练成用于识别所选择的一群人(例如，一群名人)。例如，celebrity endpoint(名人端点)是可以检测超过一万个名人的面部识别引擎，并且可以用于本文所述的一个或多个测试场景，其中测试图像2912是可以被celebrity endpoint识别的名人的图像。在至少一个场景中，在gan模型2720处理测试图像2912之前，这些测试图像可以由面部识别引擎2718处理，以确保它们可被面部识别引擎识别。在另一场景中，某些可被面部识别引擎2718识别的图像可以由gan配置系统2710访问，以用作测试图像2912。
281.一旦生成了经伪装的图像(并且所期望的属性在经伪装的图像中仍然是可检测的)，经伪装的图像就可以被馈送到面部标识引擎2718以确定是否可以从经伪装的图像中标识出人。如果面部识别引擎从经伪装的图像中识别出人，那么生成器就没有充分地使面部匿名化。因此，可以选择指示一个新属性或一组新属性的新目标域以输入到生成器2722。然而，如果面部识别引擎不能从经伪装的图像中标识出人，那么用于生成经伪装的图像的所选择的目标域被确定为已成功地使面部匿名化，同时保持所期望的属性。在至少一个实施例中，一旦阈值数量(或百分比)的图像被成功地匿名化，并且所期望的属性被保留，则被
成功地匿名化图像的所选择的目标域可用于配置gan模型2720。在一个示例中，所选择的目标域可以被设置为gan模型2720的目标域，以在自主交通工具的实时操作中使用。
282.应当显而易见的是，gan配置系统2710中的活动中的一些活动可以由用户动作执行或可以自动地执行。例如，新目标域可以由承担利用最佳目标域配置gan模型的任务的用户选择以输入到gan模型2720。在其他场景中，目标域可以被自动地选择。另外，尽管可以对经伪装的图像和测试图像进行视觉比较，但此类人工工作量会显著地降低确定图像中描绘的人的身份是否被充分地伪装以及所期望的属性是否被充分地保留使得经伪装的图像将在计算机视觉应用中有用的效率和准确性。
283.图30示出通过使用基于stargan的模型来修改输入图像3002的不同面部属性而生成的示例经伪装的图像3004。用于修改输入图像3002的属性包括头发颜色(例如，黑发、金发、棕发)和性别(例如，男性、女性)。基于stargan的模型也可用于生成具有其他经修改的属性(诸如年龄(例如，看起来更老)和肤色(例如，苍白、棕色、橄榄色等))的图像。另外，这些属性的组合也可用于修改图像，包括h g(例如头发颜色和性别)、h a(例如头发颜色和年龄)、g a(例如性别和年龄)，以及h g a(例如头发颜色、性别、和年龄)。其他现有的gan模型可以提供属性修改，诸如重建(例如，脸部结构的改变)、秃发、刘海、眼镜、浓妆、和微笑。可以将这些属性转换中的一个或多个应用于测试图像，并且可以评估转换后的(或经伪装的图像)以确定用于配置用于交通工具的gan模型的最佳目标域，如本文先前所述。
284.图31示出由基于stargan的模型从真实面部的输入图像3102生成的示例经伪装的图像3104，以及评估真实图像和经伪装的图像的面部识别引擎(例如，2718)的结果。经伪装的图像3104是通过改变输入图像3102的不同面部属性而生成的。该示例中用于修改输入图像3102的属性包括黑发、金发、棕发和性别(例如，男性)。面部识别引擎的使用说明了从gan模型生成的图像如何能使面部匿名化。由法国巴黎的sightengine公司提供的示例面部识别引擎识别名人。因此，当非名人输入图像被sightengine处理时，结果可能指示输入图像未被识别出，或者潜在地可能误标识非名人输入图像。图31所示的sightengine的结果3106指示由输入图像3102表示的人不是sightengine被训练来识别的名人。然而，面部识别引擎误标识了经伪装的图像3104中的一些经伪装的图像。例如，结果3106指示具有黑发的经伪装的图像被识别为女性名人1，并且具有性别翻转的经伪装的图像被识别为男性名人2。此外，值得注意的是，当性别改变时，面部识别引擎将经伪装的图像识别为描绘来自相反性别的人，这增加了对真实的人的隐私的保护。
285.在其他测试场景中，输入图像可以包括可由面部识别引擎识别的名人。名人的这些输入图像可以通过gan模型被馈送，并基于所选择的目标域来进行伪装。最佳目标域可以基于面部识别引擎不识别阈值数量的经伪装的图像和/或不正确地识别阈值数量的经伪装的图像来确定，如本文先前所述。
286.图32a示出由基于stargan的模型从真实面部的输入图像3202生成的示例经伪装的图像3204，以及评估真实图像和经伪装的图像的情绪检测引擎的结果。经伪装的图像3204是通过改变输入图像3202的不同面部属性而生成的。用于修改输入图像3202的属性包括黑发、金发、棕发和性别(例如，男性)。图32a还示出情绪检测引擎的示例结果3208a
‑
3208e，该情绪检测引擎可将图像中的面部表情作为输入，并检测面部表情中的情绪。如结果3208a
‑
3208e所示，情绪检测引擎很大程度上未检测到愤怒、蔑视、厌恶、恐惧、中立、悲伤
和惊讶的情绪，除了在结果3208b中对具有黑发的经伪装的图像的最小的愤怒检测，以及在结果3208e中对具有性别翻转的经伪装的图像最小的愤怒和惊讶检测。相反，该引擎在输入图像和每个经伪装的图像中都强烈地检测到了快乐。图32a示出，尽管未能识别人，但gan模型的伪装方法在经伪装的图像3204中的每一者中保留了输入图像3202中的情绪。
287.图32b是与图32a所图示出的情感检测引擎针对输入图像3202和经伪装的图像3204的示例处理相对应的输入参数和输出结果的列表3250。
288.图33示出由基于icgan的模型执行的真实面部的输入图像3310到经伪装的图像3320的示例转换。在图33中，输入图像中人的注视(由帧3312突出显示)与经伪装的图像中人的注视(由帧3322突出显示)是相同的或基本上相同的。尽管由于某些标识特征已被修改，面部可能无法被识别为同一个人，但面部的其他特征(诸如注视)被保留。在自主交通工具场景中，保留面部图像中的注视使交通工具的板载智能能够基于行走的人的注视来预测和推测其轨迹，并在不牺牲个人隐私的情况下，潜在地从被保留的特征中收集其他有价值的信息。
289.图34图示出在交通工具(例如，2750)中实现的经配置的gan模型(例如，2730)的附加的可能操作细节。经配置的gan模型2730被配置有目标域2736，目标域2736指示要被应用于所捕获的图像的一个或多个属性。在至少一个实施例中，目标域2736可以包括表示属性(诸如性别、头发颜色、年龄、皮肤颜色等)的一个或多个属性标识符。在一个示例中，生成器2732可以将由目标域2736指示的属性转移到所捕获的图像3412中描绘的面部。该属性转移的结果是由生成器2732产生的经伪装的图像3416。在一个非限制性示例中，目标域2736包括性别和年龄属性标识符。
290.所捕获的图像3412可以由安装在交通工具上的相机或其他图像捕获设备获得。所捕获的图像的可能类型的示例包括但不一定限于：行人、骑自行车者、慢跑者、其他交通工具的驾驶员和交通工具内的乘客。这些类型的所捕获的图像中的每一个图像都可以为交通工具的计算机视觉系统提供相关信息，以便做出与涉及紧密接近于交通工具的人和其他交通工具的实时事件有关的智能预测。
291.经伪装的图像3416可以被提供给被授权接收数据的任何合适的系统、应用、云等。例如，经伪装的图像3416可以被提供给交通工具中或云中的计算机视觉系统(例如2755)的应用(例如2756)，和/或被提供给数据收集系统(例如2740)。
292.在至少一些实施例中，经配置的gan模型2730可以继续被实时地训练。在这些实施例中，经配置的gan模型2730执行鉴别器2734，鉴别器2734接收由生成器产生的经伪装的图像，诸如经伪装的图像3416。鉴别器确定经伪装的图像是真实的还是假的。如果鉴别器将经伪装的图像分类为真实的，那么鉴别器的损失值可以被反向传播到鉴别器，以学习如何更好地预测图像是真实的还是假的。如果鉴别器将经伪装的图像分类为假的，那么生成器损失值可以被反向传播到生成器，以继续训练生成器生成更有可能欺骗鉴别器将其分类为真实的经伪装的图像。然而，应显而易见的是，在至少一些实施例中，连续的实时训练可能不会被实现。相反，经配置的gan模型2730的生成器2732可以在没有对应的鉴别器2734或者鉴别器2734不活动或选择性地活动的情况下被实现。
293.图35图示出根据至少一个实施例的交通工具2750中的经配置的gan模型2730生成经伪装的图像3516以及在机器学习任务中使用经伪装的图像的示例性操作。在3512处，具
有人类面部的交通工具数据由安装在交通工具上的一个或多个图像捕获设备收集。为了从视觉上图示出图35中所示的操作，图35示出了描绘真实面部的示例输入图像3502和描绘经修改的面部的示例经伪装的图像3508。先前已参考图33示出和描述这些示例图像。应该注意的是，图像3502是出于说明性目的而提供的，并且面部可能是通常由与交通工具相关联的图像捕获设备所捕获的图像的小部分。另外，在一些场景中，具有人类面部的交通工具数据3512可以包含从与交通工具相关联的图像捕获设备接收到的所捕获的图像和/或从与交通工具分开的图像捕获设备(例如，其他交通工具、无人机、交通信号灯等)接收到的所捕获的图像。
294.面部检测和对齐模型3520可以检测和对齐来自交通工具数据的图像中的面部。在至少一个实施例中，监督学习模型(诸如多任务级联卷积网络(mtcnn))既可以被用于检测又可以被用于对齐。面部对齐是涉及估计面部的某些组成部分(例如，眼睛、鼻子、嘴巴)的位置的计算机视觉技术。在图35中，面部检测在示例图像3504中被示出，并且眼睛的对齐在示例图像3506中被示出。
295.检测到的面部与目标域2736一起被馈送到经配置的gan模型2730。在一个示例中，对检测到的面部进行性别和年龄变换的组合可以降低面部识别概率，同时维持面部的所期望的特征，诸如情绪和注视信息。经配置的gan模型2730的生成器基于目标域2736和来自面部检测和对齐模型3520的输入图像来生成经伪装的图像3516，如图像3508所图示。
296.应注意，虽然面部识别3518在本示例中失败(例如，经伪装的图像3508的面部不能被识别为原始图像3502中所示的同一个人)，但面部的某些特征(诸如注视)被保留。在自主交通工具的场景中，交通工具的车载智能(例如，计算机视觉系统2755)仍然可以基于移动的人(例如，行走、跑步、骑自行车、驾驶汽车等)的注视来预测和推测他们的轨迹。由于图像数据中人的标识特征中的一些标识特征在图像被处理时被丢弃(例如，通过被变换或被修改)，在不损害计算机视觉应用从经伪装的图像中获得有价值信息的能力的情况下，由恶意或窥探行为者(例如，黑客或监视实体)恢复数据中人的身份的尝试将失败。
297.经伪装的图像可以基于特定的实现方式和需要被提供给任何系统、应用或云。在该示例中，经伪装的图像3516被提供给交通工具上的计算机视觉应用3540，以帮助预测由面部表示的人的动作。例如，注视检测3542可以确定人(例如，行人、另一驾驶员等)正在看哪里，并且轨迹预测3544可以预测此人可能采取的轨迹或路径。例如，如果行人正在看他们的手机或示出被分心的其他迹象，并且如果预测轨迹指示此人可能进入交通工具的路径，那么可以发出适当的命令以采取一个或多个动作，诸如向驾驶员发出警报、按喇叭、降低速度、停车、或任何其他适当的动作或动作组合。
298.在另一示例中，经伪装的图像3516可用于确定由面部表示的人的情绪。这可能是有用的，例如，对于服务提供商(诸如运输服务提供商)而言，确定其乘客对服务是满意还是不满意。在至少一些场景中，此类评估可以远离交通工具来完成，例如，由服务提供商的云处理系统3550来完成。因此，由交通工具上的图像捕获设备所捕获的个人(例如，出租车上的乘客)的照片可以与其他系统、应用、设备等共享。例如，情绪检测3552可以检测经伪装的图像中描绘的人的特定情绪。动作预测/评估3554可以预测经伪装的图像中描述的人可能采取的特定动作。例如，极端愤怒或痛苦可被用来向驾驶员发出警报。本文的实施例通过伪装面部以防止面部识别，同时保留能够实现成功的注视和情绪检测的某些属性来保护用户
隐私。
299.转向图36，图36是图示出与配置生成对抗网络(gan)相关联的高级别的可能操作流程3600的简化流程图，该生成对抗网络被训练成用于在面部的图像上执行属性转移。在至少一个实施例中，一组操作对应于图36的活动。gan配置系统2710可以利用该组操作的至少部分。gan配置系统2710可以包括用于执行这些操作的一个或多个数据处理器2737。在至少一个实施例中，gan模型2720的生成器2722、属性检测引擎2717和面部识别引擎2718可以各自执行操作中的一个或多个操作。在一些实施例中，流程3600的操作中的至少一些操作可以利用用户交互来执行。例如，在一些场景中，用户可以为要被测试的新目标域选择属性。在其他实施例中，例如，新目标域的属性可以随机地或基于算法自动地被选择。
300.在3602处，gan模型的生成器接收面部的测试图像。在至少一个实施例中，在流程3600中处理的测试图像可以由面部识别引擎2718先验地评估，以确保它们可被引擎识别。在3604处，生成器获得指示将用于伪装测试图像中的面部的一个或多个属性的目标域。
301.在3606处，生成器被应用于测试图像，以基于所选择的目标域(例如，性别、年龄、头发颜色等)来生成经伪装的图像。经伪装的图像描绘了来自如基于一个或多个属性进行修改的测试图像的面部。
302.在3608处，经伪装的图像被提供给属性检测引擎，以确定在经伪装的图像中所期望的属性是否是可检测的。例如，注视属性可能是期望保留的，使得计算机视觉系统应用可以检测注视并预测与注视相关联的人的意图和/或轨迹。在另一示例中，情绪可能是要保留的期望属性，使得第三方可以评定作为客户的人的情绪，并确定客户正具有什么类型的体验(例如，满意的、恼怒的等)。可以基于特定的实现方式和需求和/或消耗经伪装的图像的机器学习系统的类型来评估任何其他期望属性。
303.在3610处，作出关于期望属性是否是可检测的确定。如果期望属性中的一个或多个期望属性是不可检测的，那么在3616处，可以选择新的目标域以用于测试。新的目标域可以指示单个属性或属性的组合，并且可以由用户手动地选择或自动地选择。流程传回到3604，在3604处，新选择的目标域在生成器处被接收，并且使用新选择的目标域执行另一个测试。
304.如果在3610处，确定所期望的属性在经伪装的图像中是可检测的，那么在3612处，经伪装的图像被提供给面部识别引擎以确定经伪装的图像是否是可识别的。在3614处，做出经伪装的图像是否被面部检测引擎识别的确定。如果经伪装的图像被识别，那么在3616处，可以选择新的目标域以用于测试。新的目标域可以指示单个属性或属性的组合，并且可以由用户手动地选择或自动地选择。流程传回到3604，在3604处，新选择的目标域在生成器处被接收，并且使用新选择的目标域执行另一个测试。
305.在3614处，如果确定经伪装的图像未被面部检测引擎识别，那么在3618处，可以通过将gan模型的目标域设置为由生成器用于生成经伪装的图像的目标域来配置该gan模型。在至少一个实施例中，由生成器使用的所选择的目标域可以不用于配置生成器，直到某个阈值数量的经伪装的图像尚未被面部检测引擎识别，该某个阈值数量的经伪装的图像基于相同的所选择的目标域而被伪装。
306.图37是图示出当经配置的gan模型(例如，2730)在系统中实现时，与交通工具(例如，2750)的隐私保护计算机视觉系统(例如，2755)的操作相关联的高级别的可能操作流程
3700的简化流程图。在至少一个实施例中，一组操作对应于图37的活动。经配置的gan模型2730和面部检测和对齐模型3520可以各自利用该组操作的至少部分。经配置的gan模型2730以及面部检测和对齐模型3520可以包括用于执行这些操作的一个或多个数据处理器2757。
307.在3702处，保护隐私的计算机视觉系统接收由与交通工具相关联的图像捕获设备所捕获的图像。在其他场景中，计算机视觉系统可以从紧密接近于交通工具的另一设备接收图像。例如，该图像可以由经过接收该图像的交通工具的另一交通工具获得。
308.在3704处，做出关于所捕获的图像是否描绘面部的确定。如果做出所捕获的图像不描绘面部的确定，那么流程3700可以结束，并且经配置的gan模型不处理所捕获的图像。
309.如果在3704处做出所捕获的图像确实描绘面部的确定，那么在3706处，在所捕获的图像中检测到面部。例如，可以在所捕获的图像中检测到与面部相对应的一组像素。在3708处，检测到的面部被对齐，以估计面部组成部分(例如，眼角、嘴角、鼻角等)的位置。在3710处，可以基于检测到的面部和所估计的面部组成部分的位置来生成生成器的输入图像。在至少一个示例中，监督学习模型(诸如多任务级联卷积网络(mtcnn))既可以被用于检测又可以被用于对齐。
310.在3712处，经配置的gan模型的生成器被应用于输入图像，以基于生成器中设置的目标域来生成经伪装的图像。由目标域指示的属性在至少一个实施例中可以包括年龄和/或性别。在其他实施例中，如果此类(多个)属性得到不可识别但保留所期望的属性的经伪装的图像，则属性(例如，头发颜色、眼睛颜色、皮肤颜色、化妆等)的其他组合或单个属性可由目标域指示。
311.在3714处，经伪装的图像被发送到适当的数据接收方，包括但不一定限于以下各项中的一项或多项：云数据收集系统、计算机视觉系统中的应用和政府实体(例如，监管实体(诸如州交通部门等))。
312.图38是图示出与当经配置的gan模型(例如，2730)被应用于输入图像时可能发生的操作相关联的高级别的可能操作流程3800的简化流程图。在至少一个实施例中，一组操作对应于图38的活动。经配置的gan模型2730(包括发生器2732和鉴别器2734)可以各自利用该组操作的至少部分。经配置的gan系统2730可以包括用于执行这些操作的一个或多个数据处理器2757。在至少一个实施例中，流程3800的操作可以与在3712处指示的操作相对应。
313.在3802处，交通工具中经配置的gan模型的生成器接收输入图像。例如，可以通过检测和对齐由交通工具捕获的图像中描绘的面部来生成输入图像。在3804处，生成器基于生成器的预先配置的目标域(例如，性别和年龄)从输入图像生成经伪装的图像。
314.在3806处，经配置的gan模型的鉴别器从生成器接收经伪装的图像。在3808处，鉴别器对经伪装的图像执行卷积神经网络操作，以将经伪装的图像分类为真实的或假的。
315.在3810处，做出关于经伪装的图像的分类的确定。如果鉴别器将经伪装的图像分类为假的，那么在3812处，生成器损失被传播回生成器，以继续训练生成器生成被鉴别器分类为“真实的”经伪装的图像(例如，欺骗鉴别器的经伪装的图像)。在3814处，生成器可以基于目标域和生成器损失从输入图像生成另一个经伪装的图像。然后流程可以传递到3810，以确定鉴别器如何对新的经伪装的图像进行分类。
316.如果鉴别器在3810处将经伪装的图像分类为真实的，那么在3816处，鉴别器损失可以被传播回鉴别器，以继续训练鉴别器以更准确地识别假的图像。
317.流程3800图示出其中经配置的gan模型在交通工具中被实现时实时地继续训练其生成器和鉴别器的示例流程。在一些场景中，在所选择的时间段期间可以暂停训练，直到期望附加的训练，例如以更新经配置的gan模型。在这些场景中，在至少一些时间段期间，当所捕获的图像被处理时，只有生成器可以执行神经网络操作。鉴别器可以不执行，直到附加的训练被发起。
318.附加的(或替代的)功能可以在一些实现方式中被提供以提供与结合自主驾驶系统收集到的图像数据相关联的隐私保护。例如，可以为自主交通工具提供按需的隐私符合性系统。在实施例中，描述性标签与“惰性”按需方法结合使用，以延迟对所收集的交通工具数据应用隐私措施，直到需要隐私措施。描述性标签被用来指定数据的不同属性。参考图39至图49所使用的，术语“属性”意指数据的特征、特性、或特点。属性可用于主观地定义隐私条款，以符合隐私法规和要求。被应用于来自特定交通工具的数据集的标签在云中或在交通工具中被评估，以确定“惰性”策略是否要被应用于数据集。如果惰性策略被应用，那么对数据集的某些方面进行私有化或匿名化的处理将被延迟，直到数据集将以可能潜在地损害隐私的方式被使用。
319.新技术(诸如自主交通工具)由以下表征：(i)对大量传感器数据的收集，以及(ii)规范所收集的数据的使用和处置的就地的、正在制定的和经常改变的严格法律和法规。在一些边缘设备(诸如l4/l5自主交通工具)中，相机和视频数据能以5tb/小时的速率生成。该数据可以包含可能引起隐私和安全性担忧、并可能受制于各个政府法规的个人标识信息。该个人标识信息可以包括，但不一定限于，包括儿童的人的图像、地址或私人财产的图像、交通工具的位置的确切坐标、和/或交通工具牌照的图像。在一些地区(例如欧盟)，个人标识信息在法律上受到保护，并可能对拥有该受保护信息的任何实体征收严厉的经济处罚。
320.在传统的数据中心中，通常使用一个符合性策略在整个数据集上实现数据管理技术(通常只实现一次)，该符合性策略可以作为新的或经修改的政府立法的结果而突然变得过时。进一步地，由一些边缘设备生成的数据量(例如，5tb/小时)使得高效的符合性策略的应用无法扩展。
321.一般而言，通过处理所有数据文件来应用目前的符合性策略(诸如数据隐私)以确保符合性。这些策略通常采用一组预定义的搜索标准来检测潜在的隐私侵犯行为。该方法对于数据丰富的环境(诸如自主交通工具)而言是低效的，并且是不可扩展的。目前，自主交通工具可以跨其传感器阵列收集多达5tb/小时的数据。当与其他移动边缘设备相组合时，传感器数据被生成的速率可以潜在地淹没标准处理通道以及实施符合性的附加数据管理分析。
322.另外，目前的符合性解决方案是不能迅速地适应隐私法规的持续改变和演变，以及这些法规相对于地区、情境、和行业的分散性质的僵化的、一次性实现方式。例如，美国的自主救护车可能收集既受限于交通部的法规，又受限于健康保险携带和责任法案(hipaa)的数据。此外，各州和各国的隐私法规可能不同。跨州界或国界的自主交通工具需要实时调整其处理，以符合新地区的法规。僵硬的一次性实现方式可以潜在地在这些场景中和其他场景中创建符合性责任风险。
323.现代数据符合性技术也会阻碍应用开发并导致部署问题。通常，这些技术将数据储存起来或者完全删除未被处理的数据。此类动作可能对公司基于数据处理的能力开发流水线造成显著的阻碍。
324.如图39所示，用于自主交通工具的按需隐私符合性系统3900解决了许多上述问题(以及更多)。本文的实施例通过将描述性标签附接到数据上来丰富由交通工具捕获到的或以其他方式获得的数据。标签指定可用于主观地定义符合性所需的隐私条款的不同的属性。在至少一个实施例中，标签是扁平的并且易于分配和被人类理解。它们可用于描述数据的不同方面，包括例如位置、质量、一天中的时间和/或用途。本文所描述的至少一些实施例还包括基于数据的实际内容(诸如图片中的对象、当前位置、和/或一天中的时间)使用机器学习进行的自动标签分配。
325.实施例还应用“惰性”按需方法来解决隐私符合性问题。在惰性按需方法中，处理数据以应用隐私策略被尽可能地推迟，直到数据被实际用于可能损害隐私的情况。在自主驾驶交通工具中收集到的数据经常被用于机器学习(ml)。机器学习通常对数据应用采样来生成训练和测试数据集。考虑到仅由单个自主交通工具收集的大量数据，处理这些样本数据集以按需应用隐私策略确保更好地使用计算资源。此外，可以基于标签来选择数据以用于索引和/或存储，这也优化了资源使用。
326.按需隐私符合性系统3900提供了若干优势。该系统包括可以在交通工具(移动边缘设备)内或在数据中心/云基础设施中执行的计算高效的且情境驱动的符合性策略引擎。使用标签来丰富交通工具数据收集的效用，与结构化元数据不同的是，标签是扁平的，并且易于分配和被人类(技术人员和非技术人员两者)理解。在本文的实施例中使用标签确保在不需要检查数据集中的每个帧或每个文件的情况下，在正确的数据集上执行正确的隐私符合性过程。因此，可以节省大量的数据中心资源。这些标签确保交通工具数据免受监管隐私侵犯行为。因此，使用、存储、或处理交通工具数据的实体(例如，公司、服务提供商、交通工具制造商等)仍然符合相关的符合性和监管法规。这可以防止此类实体遭受巨额罚款。此外，随着法规的改变，本文的实施例可以在不需要对系统进行大量的代码修改或重新实现的情况下适应这些改变。例如，当监管机构添加或更新隐私法规时、当交通工具离开受制于一个监管机构的区域并且进入受制于另一个监管机构的区域时(例如，跨州界驾驶、跨国家边界驾驶等)，法规可能改变。另外，通过解决监管符合性问题，本文所述的实施例可以增加对由交通工具(和其他边缘设备)收集到的数据及其管理生命周期的信任。除了数据隐私保证外，实施例还能出于审核和报告目的实现可追溯性。此外，本文描述的模块化可扩展框架可以包括新的、创新的过程。
327.转向图39，按需隐私符合性系统3900包括云处理系统3910、交通工具3950、和促进交通工具3950与云处理系统3910之间通信的网络3905。云处理系统3910包括云交通工具数据系统3920、用于接收交通工具数据的数据摄取组件3912、云策略3914、和被加标签的索引数据3916。交通工具3950包括边缘交通工具数据系统3940、边缘策略3954、数据收集器3952、以及众多传感器3955a
‑
3955f。图39的要素还包含适当的硬件组件，包括但不一定限于可以在许多不同的实施例中实现的处理器(例如3917、3957)和存储器(例如3919、3959)。
328.在交通工具3950中，数据收集器3952可以从传感器3955a
‑
3955f接收近乎连续的数据馈送。传感器可包括本文所述的任何类型的传感器，包括用于捕获静止图像(例如，图
片)和移动图像(例如，视频)的图像捕获设备。所收集的数据可以至少暂时被存储在数据收集器3952中，并被提供给边缘交通工具数据系统3940，以将标签和边缘策略3954应用于从所收集的数据形成的数据集。标签可以是有助于组织网络内容，以易于人类理解的方式对其进行标记，并对其编制索引以用于搜索的任何用户生成的词。可以基于标签来将边缘策略3954应用于数据集。策略将与数据集相关联的一个或多个标签与一个或多个过程进行相关联。这些过程在系统设计中被定义为对数据集执行某种修改以防止访问任何个人标识信息的第一类实体。
329.在至少一些场景中，由交通工具收集的交通工具数据的数据集被提供给云处理系统3910中的云交通工具数据系统3920，以基于其标签对数据集应用云策略3914。在该场景中，从交通工具收集到的数据可被形成为数据集、被加标签、以及被提供给数据摄取组件3912，然后数据摄取组件3912将数据集提供给云交通工具数据系统3920，以用于基于其标记将云策略3914应用于数据集。在至少一个实施例中，被应用于来自特定交通工具(例如3950)的数据集的云策略3914可能是由边缘交通工具数据系统3940在该数据集被留在交通工具的情况下应用于数据集的相同策略。在至少一些场景中，云交通工具数据系统3920还可以将标签应用于数据(或是用于补充已经由边缘交通工具数据系统3940应用的标签的附加标签)。在至少一些实施例中，可以在可以最高效地完成的任何地方执行加标签。例如，虽然存在能够在云中实现地理的(地理)加标签的技术，但它通常由交通工具执行，因为图像捕获设备可以包含全球定位系统，并提供与受试者位置相关的实时信息。
330.转向图40，图40图示出由交通工具收集的数据4010和被定义为确保数据的隐私符合性的对象的表示。对象包括一个或多个标签4020、一个或多个策略4030、以及一个或多个过程4040。在至少一个实施例中，数据4010可以是数据集，该数据集包括一个或多个文件、图像、视频帧、记录、或包含电子格式信息的任何对象。一般来说，数据集是由单独的要素(例如，文件、图像、视频帧等)形成的相关的信息集的集合。
331.标签(诸如标签4020)可以是数据的表征元数据。标签可以指定数据格式(例如，视频等)、质量(例如，低分辨率等)、地点(例如，美国、欧盟等)、区域(例如，高速公路、农村、郊区、城市等)、交通负荷(例如，轻、中等、重等)、人类的存在(例如，行人、骑自行车者、驾驶员等)以及与数据相关的任何其他信息。标签可以是有助于组织网络内容，以易于人类理解的方式对其进行标记，并对其编制索引以用于搜索的任何用户生成的词。在一些实施例中，一个或多个标签可以被手动分配。至少一些标签可以使用机器学习被自动地分配。例如，训练神经网络可以被训练以标识所收集的数据的各种特性，并相应地对每个数据集进行分类。例如，卷积神经网络(cnn)或支持向量机(svm)算法可用于标识数据集中的、相对于郊区社区在高速公路上拍摄的图片或视频帧。郊外社区包含行人和私人财产的图片的概率更高，并且将潜在地受制于隐私法规。该数据集可被分类为“郊区”，并且适当的标签可被附接到该数据集或以其他方式与该数据集相关联。
332.过程(诸如过程4040)可以是被定义为rest应用编程接口(api)的致动动作，rest应用编程接口(api)将数据集作为输入并将一些处理应用于数据集，从而得到新的数据集。过程的示例包括但不一定限于将数据匿名化脚本应用于个人标识信息(例如gps位置等)、模糊个人标识信息或图像(例如面部、牌照、私人或敏感财产地址等)、将敏感数据像素化、以及编辑敏感数据。
333.在系统设计中，过程被定义为第一类实体。在至少一个实施例中，过程可以是典型的匿名化、改变、修正、压缩、存储等。这使得模块化流水线设计能够被使用，在该模块化流水线设计中，过程是可容易插拔的、可容易替换的和可容易追溯的。因此，数据的改变可以被跟踪，并且符合性要求可以被审核。另外，随着新法规被颁布或现有法规被更新，该模块化流水线设计促进引入新的隐私过程。
334.策略(诸如策略4030)将一个或多个标签与一个或多个过程相关联。例如，如先前所描述的被加标签有“郊区”的数据集可受制于将“郊区”标签与匿名化(例如，模糊、编辑、像素化等)人的面部和私人财产信息的隐私过程相关联的策略。在该情况下，该标签能够基于该数据集的性质和它所包含的潜在隐私含义将正确的过程与正确的数据集相匹配。
335.图41示出根据至少一个实施例的用于按需隐私符合性系统3900的示例策略模板4110。策略模板4110包括“惰性”属性4112，该属性将策略定义为按需策略，该策略的应用被推迟并随后根据请求而被应用。更具体地，该策略在数据集被用于可能潜在地损害隐私的情况之前不会被应用。在确定该策略被指定为惰性策略后，数据集被标记，以供稍后处理。例如，在被标记的(例如，图像的)数据集被采样以用于机器学习之前，该策略可被应用于对数据集中的图像中的面部进行模糊。
336.策略模板4110还包括条件4114，该条件由标签的结合或分离指示。因此，一个或多个标签可以在条件4114中与期望的结合或分离一起使用。标签的示例可以包括但不一定限于行人、夜晚、白天、高速公路、农村、郊区、城市、美国、欧盟、亚洲、低分辨率、高分辨率、地理的(地理)位置以及日期和时间。
337.策略模板4110进一步包括动作4116，动作4116指示如果条件从数据集上的标签被满足，则要对数据集执行的单个过程或(多个)过程的结合。如图41所示，示例条件可以是：高分辨率与(and)行人与(and)(美国或(or)欧洲)，并且示例过程的组合是用于对面部进行模糊与对数据进行压缩。因此，该示例策略适用于根据其标签包含高分辨率数据和行人以及在美国或欧洲收集的数据集。如果数据集满足该标签的组合，则一个或多个过程被应用于对图像中的行人面部进行模糊并应用于对数据进行压缩。
338.图42是图示出交通工具数据系统4200的可能组件和一般操作流程的简化框图。交通工具数据系统4200可表示云交通工具数据系统(例如，3920)和/或边缘交通工具数据系统(例如，3940)。交通工具数据系统4200包括分割引擎4210、加标签引擎4220、和策略实施引擎4230。交通工具数据系统4200通过对来自交通工具的数据集加标签并基于附接到数据集的标签对数据集应用策略来确保从附接到自主交通工具(例如，3950)的传感器(例如，3955a
‑
3955f)中收集的数据的隐私符合性。
339.分割引擎4210可以接收新数据4202，新数据4202是由交通工具(例如，3950)的数据收集器(例如，3952)收集的数据。分割引擎4210可以对新数据4202执行分割过程，以从新数据形成数据集。例如，新数据可以被分割成数据集，每个数据集包含相关信息集的集合。例如，数据集可以包含与特定的某天、地理位置等相关联的数据。另外，分割可以专用于应用。在至少一个实施例中，可以对每个数据集应用标签。
340.加标签引擎4220可以包括针对数据集输出标签4224的机器学习模型4222。机器学习模型4222可以被训练成基于给定的数据输入来标识适当的标签。例如，给定高速公路、郊区街道、城市街道、或农村道路的图像或视频帧，模型4222可以标识适当的标签，诸如“高速
公路”、“郊区”、“城市”或“农村”。可使用的合适的机器学习技术的示例包括，但不一定限于卷积神经网络(cnn)或支持向量机(svm)算法。在一些示例中，单个机器学习模型4222可以针对每个数据集生成一个或多个标签。在其他实施例中，一个或多个机器学习模型可以在加标签引擎中使用，以标识可能适用于数据集的各种标签。
341.策略实施引擎4230可以包括策略选择器4232、策略4234、和处理队列4239。策略选择器4232可以从标记引擎4220接收经加标签的数据集。如果交通工具数据系统4200在边缘设备(例如交通工具3950)中实现，则策略4234表示边缘策略(例如3954)，或者如果交通工具数据系统4200在云处理系统(例如3910)中实现，则策略4234表示云策略(例如3913)。策略选择器4232检测数据集上的一个或多个标签，并在4233处，基于检测到的标签来标识一个或多个策略。策略定义了在哪种情况下哪个过程是适用的。例如，策略可以说，对于被加标签为美国的所有图像，对车牌进行模糊。
342.如4235处所示，策略选择器4232确定所标识的一个或多个策略是否被指定为惰性策略。如果基于数据集的标签来针对数据集标识的策略被指定为惰性的，则该数据集被标记为按需处理，如4236处所示。因此，惰性策略不会立即被应用于数据集。相反，在数据集被查询、被读取、被复制或以可能损害数据集内容的隐私的任何其他方式访问之前，数据集被存储在该策略中。例如，如果被标识的策略指示要对图像中的面部进行模糊，并被指定为惰性策略，那么数据集中的任何图像不会立即被处理以对面部进行模糊，而是数据集被标记为按需处理并被存储。当数据集随后被访问时，该数据集可被添加到处理队列4239中，以应用所标识的策略来对该数据集的图像中的面部进行模糊。一旦策略被应用，对数据集的访问请求可以被满足。
343.如果基于数据集的标签来针对数据集标识的策略没有被指定为惰性的，则该数据集添加到如4238处所示的处理队列4239。然后经标识的策略被应用于该数据集。例如，如果针对数据集的经标识的策略指示对文件中的数据进行加密的过程，并且没有被指定为惰性策略，那么该数据集被添加到处理队列4239以对该数据集进行加密。如果没有与数据集相关联并且被指定为惰性的策略，那么一旦策略中的全部策略已被应用于(例如，经加密的)数据集，策略就被添加到可以在不需要进一步的隐私策略处理的情况下被访问的符合策略的数据4206。
344.交通工具数据系统4200的能力中的一些能力可以在边缘设备(例如，交通工具3950)中实现，以优化数据流。例如，可以在边缘处应用隐私滤波器，以防止敏感数据被保存在云(例如3910)上，并且因此确保符合如最新法规(诸如欧盟通用数据保护法规(gdpr))所实施的数据最小化规则。例如，隐私策略可以被定义以通过利用不太精确的位置数据(诸如城市)替代gps坐标来使位置数据匿名化。该策略可以被定义为非惰性策略，以应用于交通工具(边缘)中的所有位置数据，以防止精确位置被发送到云。
345.在至少一个实施例中，情境策略可用于基于实时事件或将附加的情境添加到被加标签的数据集的其他信息来影响车载处理。作为说明而非限制，现在将对两个示例进行描述。在第一个示例中，许多国家采用其中当儿童面临危险时警报(例如，美国的安珀(amber)警报)会被触发的系统。该儿童安全性情境策略可以被传递给微目标的地理区域(诸如事件周围的动态搜索半径)、被传递给其所有者已选入安珀
‑
警报类型的系统的交通工具。对于被加标签有“高速公路”的数据，在安珀
‑
警报类型的条件下，惰性策略被设置为“否”，并且
数据被发送到交通工具机器学习引擎，以用于利用光学字符识别(ocr)、交通工具颜色(如果给出)、交通工具描述(如果给出)实时处理车牌。在该场景中，为了维持“交通工具群”的隐私，只有在“开始点击和结束点击”内获得的gps信息被发送到执法部门，执法部门可以对来自安珀警报的行为者
‑
交通工具受试者周围的“交通工具群”的检测或点击进行三角测量。
346.在应用情境策略的第二个非限制性示例中，可以为情境策略选择微目标地理区域。例如，在一些城市中，大量的无家可归的人往往聚集在公共公园周围和高速公路匝道结构的侧面或下方，这创建了独特的微目标地理区域。对于这些局部化的微区域，情境策略或功能可以是“人类的可能性很高”。即使数据集可能被加标签为“高速公路”或“高速公路匝道”，并且这些标签的相关策略可能被指定为惰性策略，但情境策略可以推翻惰性处理，并将数据引导到车内交通工具数据系统(例如，4200)以用于针对人类/行人进行处理。虽然人类/行人可能不会被检测为正在道路本身上，但高速公路周围的人群可能具有在非常少的警告的情况下个人飞奔穿过道路的较多实例。对人类/行人的标识可以向交通工具中的决策处理引擎发出信号，以致动比原本将保证的速度更慢的速度，从而让交通工具有时间进行反应。
347.交通工具数据系统4200既可用于其中从交通工具收集大量数据以构建机器学习模型的研究和设计系统，又可用于其中从交通工具收集数据以持续更新高清地图、跟踪交通堵塞、或在出现新用例时重新训练模型的运行中的系统。在研究和设计系统中，可以利用测试数据持续地训练机器学习模型4214，以学习如何利用适当的标签对数据集进行分类。测试数据可以包括来自测试交通工具的真实数据。
348.交通工具数据系统4200中的加标签、策略、和处理，被用于创建高度高效的实施工作流，该工作流被轻松地集成到交通工具的计算资源利用框架中。在具有超过150个电子控制单元、1
‑
2个adas/av引擎、和中央
‑
服务器控制器的交通工具中，有可能基于计算可用性和策略将处理路由到不同的计算单元。
349.转向图43，图43从各种可能的人类行为者和硬件和/或软件行为者的角度图示出边缘或云交通工具数据系统4200的特征和活动4300。在至少一个示例中，加标签4350是指将适当的标签(例如，行人、高速公路、农村、郊区、城市、gps位置等)应用于数据集。在至少一个实施例中，自动数据集加标签4212可以由加标签引擎4220执行。如前所述，加标签引擎4220的机器学习模型(例如，cnn、svm)可以被训练来识别从交通工具收集到的数据中的图像和其他信息，并输出应用于输入数据的标签。在交通工具数据系统中也可以(或替代地)使用手动加标签。例如，数据提供者4338可以定义标签4315、更新标签4317、并执行手动数据集加标签4319。
350.数据科学家4336可以定义标签4315和更新标签4317，并且此外，可以定义模型4312和更新模型4313。机器学习模型(如cnn或svm)可以被训练以区分数据集的内容以选择适当的标签。例如，模型可以被训练以在来自高速公路和农村道路的图像与来自郊区道路和城市街道的图像之间进行区分。来自郊区道路和城市街道的图像可能具有更多的行人，在郊区道路和城市街道中，例如，应该应用用于对面部进行模糊的隐私策略。因此，在一个示例中，经训练的cnn或svm模型将被加标签引擎4220用来将图像的数据集分类为“高速公路”、“农村”、“城市”或“郊区”。加标签引擎4220可以自动地将标签附接到数据集上。
351.对于策略实施4360，数据工程师4334可以定义过程4325和更新过程4327。例如，第一过程可以被定义为对图像的面部进行模糊，第二过程可以被定义为对汽车的车牌进行模糊，第三过程可以被定义为利用不太精确的位置信息替换gps坐标，第四过程可以被定义为对数据进行加密。数据所有者4332可以定义策略4321和更新策略4323。例如，可以通过选择特定的条件(例如，标签的结合或分离)并将动作(例如，过程的结合)分配给该条件来定义策略。该策略可以与满足该条件的数据集相关联。由该策略定义的动作将立即对经加标签的数据集执行，或者如果该策略被指定为本文进一步描述的“惰性”策略，则按需执行。
352.如果策略未被指定为惰性，则策略实施引擎4230可以实时实施策略4304，并且如果策略被指定为惰性，则策略实施引擎4230可以按需4302实施策略。消费数据集(例如，请求对数据集的访问)的数据消费者4340可以触发策略实施引擎4230以实施与数据集相关联的策略。这可能在数据集被标记为由于与数据集相关联的策略被指定为惰性策略而进行按需处理时发生。
353.图44是用于针对由自主交通工具收集到的数据创建策略的按需隐私符合性系统的示例门户屏幕显示4400。门户屏幕显示4400允许策略被创建并任选地被指定为“惰性”。描述4402字段允许用户提供策略的描述，诸如“对车牌进行模糊”。标签选择框4404允许用户选择标签用作策略的条件。用户可以选择按需框4406以将策略指定为“惰性”。如果没有选择该框，那么该策略就不会被指定为“惰性”。策略描述表4408提供了哪些策略被指定为“惰性”以及哪些策略未被指定为“惰性”的视图。例如，在图44的示例中，对面部进行模糊的策略被指定为惰性，并且因此，对面部进行模糊的策略要按需应用于数据集。在另一个示例中，对车牌进行模糊的策略没有被指定为“惰性”，因此，对车牌进行模糊的策略被立即应用到数据集，以对数据集中的图像中的车牌进行模糊。
354.图45示出在对图像应用车牌模糊策略之前和之后从交通工具收集到的示例图像。图像4500a是具有未被遮挡和可辨认的牌照4504a的图像。在4510处应用对车牌进行模糊的策略，并得到图像4500b，由于应用于表示图像中的车牌的像素的模糊技术，该图像4500b具有被遮挡的和无法辨认的车牌4504b。
355.图46示出在对图像应用面部模糊策略之前和之后从交通工具收集到的示例图像。图像4600a是具有未被遮挡且可识别的一些人类面部的图像(由白色框突出显示)。在4610处应用对面部进行模糊的策略，并且得到图像4600b，由于应用于表示图像中的面部的像素的模糊技术，该图像4600b具有被遮挡的和不可识别的面部(由白色框突出显示)。
356.转向图47，图47是图示出与按需隐私符合性系统(诸如系统3900)中在交通工具处收集到的加标签数据相关联的高级别的可能操作流程4700的简化流程图。在至少一个实施例中，一组操作对应于图47的活动。交通工具数据系统4200可以利用该组操作的至少部分。交通工具数据系统4200可包括用于执行操作的一个或多个数据处理器(例如，用于云交通工具数据系统的3927、用于边缘交通工具数据系统的3957)。在至少一个实施例中，分割引擎4210和加标签引擎4220各自执行操作中的一个或多个操作。为了便于讨论，将参考交通工具3950中的边缘交通工具数据系统3940来描述流程4700。
357.在4702处，由交通工具3950收集的数据被边缘交通工具数据系统3940接收。数据可以由交通工具中的数据收集器3952从包括图像捕获设备的多个传感器中收集。
358.在4704处，交通工具的地理位置被确定，并且在4706处日期和时间可以被确定。在
一些实现方式中，可能希望在边缘处执行地理加标签和/或日期和时间加标签，其中实时信息是容易获得的，即使收集到的数据随后被发送到对应的云交通工具数据系统以供附加的加标签和策略实施。相应地，在4708处，数据可以被分割成数据集。
359.在4710处，一个或多个标签被附接在数据上，指示交通工具的位置和/或与数据的收集相关联的日期和时间。在该场景中，在标签被应用之前执行分割，并且地理位置标签和/或日期和时间标签可以被应用于数据集。在其他场景中，地理位置标签和/或日期和时间标签可被应用于随后被分割成数据集并被加上适当的地理位置标签和/或日期和时间标签的单个数据实例。
360.在4712处，机器学习模型(例如cnn、svm)被应用于数据集，以标识与数据集相关联的一个或多个标签。在4714处，所标识的一个或多个标签与数据集相关联。策略可以通过与数据集一起存储、被附加到数据集、被映射到数据集、被链接到数据集或以其他方式与数据集相关联而被“附接”到数据集。
361.在至少一些场景中，用户(例如交通工具所有者、数据提供者)可以手动将标签附接到数据集。例如，如果驾驶员看到道路上的障碍物或事故，该驾驶员可以手动地将信息输入交通工具数据系统。加标签引擎可以使用该信息来针对一个或多个相关数据集创建新的标签。因此，附加的情境信息可以被实时地手动添加到数据中。
362.图48是图示出与按需隐私符合性系统(诸如系统3900)中的策略实施相关联的高级别的可能操作流程4800的简化流程图。在至少一个实施例中，一组操作对应于图48的活动。交通工具数据系统(诸如交通工具数据系统4200)可以利用该组操作的至少部分。交通工具数据系统4200可包括用于执行操作的一个或多个数据处理器(例如，用于云交通工具数据系统的3927、用于边缘交通工具数据系统的3957)。在至少一个实施例中，策略实施引擎4230执行操作中的一个或多个操作。为了便于讨论，将参考交通工具3950中的边缘交通工具数据系统3940来描述流程4800。
363.在4802处，交通工具3950的边缘交通工具数据系统3940中的策略实施引擎接收包括由交通工具收集的数据的加标签的数据集。该数据集可以在参考图47描述的活动之后被接收。例如，一旦从交通工具收集到的数据被分割成数据集，并由加标签引擎进行加标签，那么经加标签的数据集就被策略实施引擎接收。
364.在4804处，与数据相关联的一个或多个标签被标识。在4806处，做出关于将哪个策略应用于数据集的确定。例如，如果与数据集相关联的标签满足特定策略的条件，则该策略将被应用于数据集。在4808处，所确定的策略与数据集相关联。策略可以通过与数据集一起被存储、被附加到数据集、被映射到数据集、被链接到数据集或以其他方式与数据集相关联而与数据集“相关联”。
365.在4810处，做出关于是否有任何情境策略与数据集相关联的确定。情境策略可以推翻惰性策略和/或非惰性策略。例如，如果交通工具接收到安珀类型儿童警报，则用于在被加标签为“高速公路”的数据集中对车牌进行模糊的惰性策略可能被设置为“否”。然而，代替于立即对数据集中的车牌进行模糊，可以使用ocr来获得数据集中的车牌信息。因此，如果情境策略是适用的，那么在4812处，数据集被添加到处理队列，以便将情境策略应用于数据集。然后流程被传递到4824处，在4824处，数据集被标记为符合策略的，并被存储以供后续使用(例如，发送到执法部门等)。在一些情况下，使用可能是暂时的，直到情境策略不
再有效(例如，安珀类型儿童警报被取消)。在该场景中，策略实施引擎可以再次处理数据集以应用任何非惰性策略，并且如果任何惰性策略与数据集相关联并且尚未被应用于数据集，则标记数据集以用于按需处理。
366.如果在4810处确定情境策略未与数据集相关联，那么在4814处可以做出关于是否有任何非惰性策略与数据集相关联的确定。如果非惰性策略不与数据集相关联，那么这意味着一个或多个惰性策略与数据集相关联，如4816所示。也就是说，如果一个或多个策略在4808处与数据集相关联，并且如果该一个或多个策略不是情境的(在4810处确定的)并且不是非惰性的(在4814处确定的)，那么这些策略是惰性的。因此，在4818处，数据集被标记用于按需惰性策略处理并被存储。
367.如果在4814处确定一个或多个非惰性策略与该数据集相关联，那么在4820处，该数据集被添加到处理队列中，以便将(多个)非惰性策略应用到该数据集。在4822处，做出关于是否有任何惰性策略与数据集相关联的确定。如果一个或多个惰性策略与数据集相关联，那么在4818处，数据集被标记用于按需惰性策略处理并被存储。如果一个或多个惰性策略未与该数据集相关联，那么在4824处，该数据集被标记为符合策略的，并被存储以供随后访问和/或使用。
368.图49是图示出与按需隐私符合性系统(诸如系统3900)中的策略实施相关联的高级别的可能操作流程4900的简化流程图。在至少一个实施例中，一组操作对应于图49的活动。交通工具数据系统(诸如交通工具数据系统4200)可以利用该组操作的至少部分。交通工具数据系统4200可包括用于执行操作的一个或多个数据处理器(例如，用于云交通工具数据系统的3927、用于边缘交通工具数据系统的3957)。在至少一个实施例中，策略实施引擎4230执行操作中的一个或多个操作。一般来说，流程4900可以被应用于已经被标记用于按需处理的数据集。
369.应当注意，在至少一个实施例中，当对数据集的访问请求被接收到时，可以做出关于该数据集是否被标记用于按需处理的确定。如果数据集被标记用于按需处理，那么在4902处，做出已被请求访问的数据集被标记用于按需处理的确定。由于该数据集已被标记用于按需处理，因此与该数据集相关联的至少一个策略被指定为惰性策略。对数据集的访问请求可以是来自任何设备或应用的、例如以任何其他合适的方式读取、共享、接收、采样或访问数据集的请求。
370.在4904处，与该数据集相关联的策略被标识。在4904处，做出关于所标识的策略是否被指定为惰性的确定。如果确定所标识的策略被指定为惰性，那么在4906处将所标识的策略应用于数据集。如果所标识的策略没有被指定为惰性，或者一旦所标识的策略被应用到数据集，则在4908处，做出另一个策略是否与数据集相关联的确定。如果另一个策略与该数据集相关联，则流程传递回到4904，以标识与该数据集相关联的另一个策略，并继续如前所述的处理。流程可以继续循环，直到与数据集相关联并被指定为惰性的所有策略已被应用到数据集。
371.如果在4908处确定另一个策略没有与数据集相关联，那么在4910处做出关于适用的监管位置是否已经改变的确定。例如，如果交通工具在本地(例如，在交通工具中)存储具有被指定为惰性的至少一个策略的数据集，并且如果交通工具随后移动到另一个监管区域，则可以执行评估以确定新的监管区域是否需要附加的隐私符合性动作。因此，如果适用
的监管位置没有被改变，那么流程可以传递到4918，以授予对符合策略的数据集的访问权。
372.如果适用的监管位置已经改变，那么在4912处，经更新的地理位置标签与数据集相关联。在4914处，做出关于是否有任何新的一个或多个策略应用于该数据集。如果没有新的策略应用于数据集(至少部分地基于新的地理位置标签)，那么流程可以传递到4918以授予对符合策略的数据集的访问权。
373.如果至少一个新策略确实适用于数据集，那么在4916处，新策略(或多个新策略)被应用于数据集。然后，在4918处，可以授予对符合策略的数据集的访问权。
374.应当注意，如果数据集未被标记用于按需处理，并且接收到对数据集的访问请求，那么在至少一个实施例中，做出该数据集是符合策略的确定，并且流程可以进行到4910处。因此，符合策略的数据集仍然可以被评估，以确定交通工具的新监管位置是否影响要应用到该数据集的策略。
375.图50是根据至少一个实施例的用于自主交通工具5010的控制回路的简化图。如图50所示，自动驾驶可以依赖于使用逻辑引擎5002(逻辑引擎5002包括感知、融合规划、驾驶员策略和决策方面)的非常快速的反馈回路，以及基于此类引擎输出的av 5004分布式致动。这些元模块中的每一个元模块均可以依赖于被假定为可信的输入或处理。
376.图51是根据至少一个实施例的用于自主交通工具的自动化的通用数据输入(gdi)的简化图。在智慧城市和智能基础设施的自动驾驶和运输的情境下，输入可以采取以下形式：原始数据5102(例如，数字、符号、事实)、信息5104(例如，被处理和组织以进行建模的数据)、知识5108(例如，收集到的信息，收集到的信息可能是结构化的或情境的)，经验5110(例如，通过过去的动作收获的知识)，理论框架5106(例如，用于解释行为)，或理解5112(例如，分配含义、解释行为为什么发生、或应用分析)。这些不同类型的输入的每一个输入都可以被称为通用数据输入(gdi)。如图51所示，gdi可用于提供智慧(例如，判断、经评估的理解、适当/良好/正确/恰当的动作)。所显示的数据可以由任何合适类型的存储器存储和/或由自主交通工具的车载计算系统的一个或多个处理器处理。
377.图52是根据至少一个实施例的示例gdi共享环境5200的示图。在所示的示例中，存在被自我交通工具5202周围的邻域5212中的其他交通工具行为者5204和车队交通工具行为者5206包围的自我交通工具(例如，受试自主交通工具)5202。另外，在自我交通工具5202周围存在基础设施传感器，包括交通信号灯传感器5208和路灯传感器5210。
378.如所示，自我交通工具5202可以与环境5200中的其他行为者或传感器中的一者或多者进行通信。gdi可以在所示的行为者之间共享。自我交通工具5202和其他行为者之间的通信可以在以下场景中的一个或多个场景中实现：(1)自己到自己，(2)广播给其他自主交通工具(1:1或1:许多)，(3)广播出去给其他类型的行为者/传感器(1:1或1:许多)，(4)从其他自主交通工具(1:1或1:许多)接收，或者(5)从其他类型的行为者/传感器(1:1或1:许多)接收。
379.在一些实施例中，自我交通工具5202可以处理由其自身的传感器生成的gdi，并且在一些情况下，可以与邻域5200中的其他交通工具共享gdi，使得其他交通工具可以使用gdi来进行决策(例如，使用其相应的逻辑引擎进行规划和决策)。gdi(gdi可被假定为受信任的)可以来自自我自主交通工具本身的异构传感器(这些异构传感器可包括来自以下电子控制单元的一个或多个电子控制单元的信息：自适应巡航控制、电子制动系统、传感器集
群、网关数据发射器、力反馈加速器踏板、车门控制单元、天窗控制单元、安全带预紧装置、座椅控制单元、制动致动器、关闭速度传感器、侧面卫星、前置传感器、安全气囊控制单元、或其他合适的控制器或控制单元)或来自其他gdi行为者交通工具(例如，附近的汽车、车队行为者交通工具(诸如公共汽车)、或其他类型的交通工具)、智慧城市基础设施要素(例如，基础设施传感器(诸如高架灯柱或交通信号灯中的传感器/计算机等)、第三方应用(诸如地图服务或软件更新提供商、交通工具的oem、政府实体等。进一步地，在一些实施例中，自我交通工具5202可以从邻域中的其他交通工具和/或基础设施传感器中的一者或多者中接收gdi。对这些gdi源中的任何一个gdi源的任何恶意攻击都可能导致一人或多人受伤或死亡。当恶意攻击被应用于车队、城市、或基础设施中的交通工具时，交通工具可以大规模地传播错误的动作，从而产生可怕的后果，造成混乱并侵蚀公众对技术的信任。
380.在一些实例中，与潜在不受信任的源共享数据可以经由区块链技术来完成。共享gdi可包括由与交通工具相关联的一个或多个计算系统实现的以下要素中一个或多个要素：
·
用于封装gdi的结构。
·
描述gdi如何与其他gdi相关的拓扑
·
许可策略(例如，与linux/unix系统中的chmod类似)，例如：
·
用于确定谁可以读取gdi的读取
‑
访问策略
·
用于确定谁可以写入gdi的写入
‑
控制策略
·
用于确定谁可以实际地执行可执行的gdi组件(例如，运行模型、更新软件等)的执行控制策略。
·
用于确定拓扑的有效状态的状态策略
·
应用于gdi的所有权策略(与linux/unix系统中的chgrp/chown类似)。例如，自身的、群组、所有的。
381.图53是根据至少一个实施例的示例区块链拓扑5300的示图。如所示，gdi的结构可以包括“区块”5302，“区块”5302包括头部、主体(主体包括gdi细节)和脚部。拓扑结构包括具有基于密码的头部和脚部(参见例如图53)的区块的链接列表(或者，线性网络)。链中的区块n的头部包含将区块n建立为链接列表中的前驱区块n
‑
1的后继的信息。在一些实例中，(例如，通过存储区块和验证新区块)实现区块链的(多个)计算系统可以实施以下要素中的一个或多个要素：
·
许可策略，许可策略可以包括，例如：1.用于指示谁可以读取区块信息的读取访问策略是基于根据密码散列(诸如椭圆曲线数字信号算法)生成的公钥
‑
私钥对匹配。2.用于指示谁可以附加到区块，并且因此，谁可以将头部信息“写入”附加区块的写入控制策略是基于用于验证前一个区块的能力，其中验证时间是关键约束。3.作为智能合约被嵌入在区块信息中的执行控制策略。
·
基于分布式共识的状态策略，用于在存在冲突的状态信息时确定区块链的哪个状态是有效的。对建立“有效状态”的奖励是写入控制许可。这方面的示例包括工作量证明(解决密码谜题的第一个矿工(在目标的消逝的时间内并且密码谜题的难度由中央平台动态地限制)被认为已经建立了“有效状态”，并且因此在该特定时间被授予写入控制许可)，
权益证明(将密码谜题分配给具有最高赌注/财富/利益的矿工，并且一旦谜题被解开，就将写入控制许可授予该矿工)，燃烧证明(授予写入控制许可以交换烧毁其拥有的货币)，等等。
·
可以在消息细节中捕获的所有权信息。
382.图54是根据至少一个实施例的使用有向无环图(dag)拓扑5400的示例“无链”区块的示图。在一些实例中，为了解决可扩展性，已经开发了使用dag(诸如iota平台)的新平台。在dag中，状态策略(以及因此写入控制许可)可以基于工作量证明，工作量证明可用于将先前的区块确认为任何当前未被确认的区块。
383.然而，在一些情况下，诸如此类的类似于区块的技术可以通过许可策略、状态策略、或给定平台的可扩展性中的一者或多者带来挑战。例如，许可策略和状态策略中固有的可能是椭圆曲线密码学(ecc)的使用，这到目前为止已经足够了，但这些密码学技术在未来可能是不够的。例如，基于ecc的签名(基于ecc的签名是基于椭圆曲线离散对数问题)在受制于高效量子算法时可能是技术中风险最大的组成部分之一，其中最不安全的组成部分是：(1)与公钥相关联的静态地址，以及(2)未被处理的区块(尚未附加到区块链或区块dag(block
‑
dag)的区块)。进一步地，此类技术可能容易受到不良行为者的供应链拦截(例如，对于车队交通工具行为者而言)。
384.此类类似于区块的技术以及系统的示例问题包括具有许可策略的问题。如果静态地址被盗，其相关联的数据中的全部数据和交易以及货币价值可能成为黑客盗贼的财产。这是因为黑客盗贼可以通过完全所有权收获读取、写入和/或执行的许可。其他问题可能涉及国家政策。例如，在未被处理的区块的情况下，估计到2028年量子算法能够从公钥中得出私钥。具体而言，schor的算法可以使用量子计算机确定质因子。而grover的算法可以做密钥搜索。在私钥和地址已知的情况下，从该地址引入新的区块(可能具有有害数据或有害合约)是可能的。读取访问和共识(并且因此写入控制)一直是基于椭圆曲线密码学。然而，加密货币实现方式中的漏洞导致了大量的金钱损失。在针对自主交通工具提出的目前的区块链技术中，地址被盗或消息被盗(包括智能合约被盗)可以通过交通工具的反馈回路产生负面反响，直至人命损失和/或对基础设施的灾难性损坏。其他问题可能与可扩展性相对应。现代去中心化区块链技术目前每秒执行<20次交易(使用去中心化点对点推模型)，而visanet可每秒执行高达56k个交易消息(使用中心化的拉模型)。对于自动驾驶和智慧城市而言，交易必须按至少visanet的量级来执行。
385.因此，本公开的各方面可包括以下要素中的一个或多个要素，这些要素可在自主驾驶计算系统中实现，以帮助解决这些问题：
·
在自主交通工具内，可以创建一个或多个安全私钥(例如，利用英特尔sgx(软件防护扩展))。私钥可用于生成相应的对应公钥。
·
数字签名可用于基于私钥的所有数据。数字签名可以是传感器数据的散列，然后使用私钥对该散列进行加密。
·
可在自主交通工具内使用未经允许的区块链(例如，可能不需要验证添加到区块链中的某人)。所有通信总线都可以能够读取区块，并且自主交通工具的内部网络可以确定谁可以写入区块链。
·
自主交通工具可以在预期外生数据时与经许可的区块链(例如，具有可以基于
交通工具类型(诸如车队交通工具(例如公共汽车)相对于自有乘客交通工具相对于临时/租赁乘客交通工具(诸如出租车))的访问策略；读取访问可能基于密钥协商)或动态dag系统进行对接。读取访问可以是基于订阅的，例如，可以基于付费的升级策略来授予软件更新。
·
当广播数据以用于数据共享时，可使用临时公钥(例如，基于临时椭圆曲线迪菲
‑
赫尔曼(diffie hellman)交换或另一种类型的一次性签名方案)来生成秘密密钥以解锁要被共享的数据。
386.通过使用数字签名，可以将时间戳和真实签名与所有数据相关联，以供下游进一步使用。静态私钥可被维持在安全飞地中。另外，通过将共识协议上的时间约束设置为致动时间调整的量级(例如，毫秒)，可以阻止针对一个或多个传感器的欺骗或黑客攻击企图。进一步地，在自主交通工具的(多个)内部网络内的网络/网关协议(在总线接口或网关协议级别上)可能只中继经验证的区块链。另外，通过(经由区块链)创建交通工具内部数据库，可以为自主交通工具创建“黑匣子”(可审计数据记录器)。
387.图55是根据至少一个实施例的用于自主交通工具的示例安全交通工具内通信协议5500的简化框图。例如，该协议5500可由图52的自我交通工具5202使用，以确保其数据免受恶意行为者的影响。该示例协议可用于将来自耦合到自主交通工具的传感器(例如，激光雷达、相机、雷达、超声波等)的数据传递到自主交通工具的逻辑单元(例如，与上面关于图50所描述的逻辑单元类似的逻辑单元)。在所示的实例中，数字签名被附加到传感器数据(例如，对象列表)。该数字签名可以基于传感器的安全私钥。可以基于诸如secp256k1之类的基于ecc的协议来生成私钥。在一些情况下，可以通过对传感器数据进行散列化并使用私钥对散列进行加密来生成数字签名。
388.传感器数据5502(具有数字签名)在通过某些网络协议5506被传递给感知、融合、决策逻辑单元5508(例如，车载计算系统)之前被添加为基于区块的拓扑(例如，如图所示的未经许可的区块链)5504中的区块。在某些实施例中，只有区块链上的数据可以由自主交通工具内的网络/通信协议转发。在将区块/传感器数据传递到逻辑单元之前，网络协议可以验证区块的数据(例如，将传感器数据的时间戳与区块链的共识协议中的时间约束进行比较)。进一步地，在某些实施例中，网络协议可以在将区块转发给逻辑单元之前验证区块中的传感器数据的数字签名。例如，网络协议可以具有对与用于生成传感器数据的数字签名的私钥相关联的公钥的访问权，并且可以使用该公钥来验证数字签名(例如，通过使用公钥对散列进行解密并验证散列的匹配)。区块链5504可以被认为是未经许可的，因为它在添加到区块链之前不需要任何验证。在一些情况下，自主交通工具的一个或多个方面可以确定谁可以写入区块链。例如，在驾驶通过令人讨厌的街区期间，由相机检测到“令人讨厌的”的街区或导航地图警报被触发，自主交通工具的内部网络可恢复到验证所有，直到交通工具安全地离开该街区是可能的。
389.图56是根据至少一个实施例的用于自主交通工具的示例安全交通工具之间通信协议5600的简化框图。例如，该协议5600可由图52的自我交通工具5202用于验证来自其他交通工具的一个或多个交通工具、后端(例如基于云的)支持系统、或基础设施传感器的数据。该示例协议可用于将来自自主交通工具(该自主交通工具可以包括自有交通工具、临时/租用交通工具或车队交通工具)的传感器数据传送到另一自主交通工具的逻辑单元(例
如，与上面关于图50所描述的逻辑单元类似的逻辑单元)。在所示的实例中，来自第一自主交通工具的传感器数据(该传感器数据可包括如上所述的数字签名)被添加为基于区块的拓扑(例如，经许可的区块链或动态dag的节点)5602中的区块，并被发送到第二自主交通工具，其中一个或多个智能合约5604被提取。智能合约可以包含可以推翻如何在感知、融合、决策逻辑单元5608中处理数据的信息(诸如新的监管符合性处理策略或甚至可执行代码)。例如，新的策略可以推翻感知流程，使得检测行人/人和他们的面部的相机感知引擎组件只能提取面部标志、姿势、运动，而不是他们的整个特征图。类似地，如果第一自主交通工具恰好是政府警车，则智能合约可以包含临时感知处理推翻和车牌搜索，以检测当前自主交通工具的相机是否在其附近区域中标识了感兴趣的车牌。
390.在某些实施例中，交通工具的外生数据和软件更新可以作为智能合约到达。如果智能合约和/或传感器数据被网络协议5606验证，则传感器数据随后被传递给第二自主交通工具的感知、融合、决策逻辑单元5608。在一些情况下，网络协议可以使用临时公钥(例如，基于椭圆曲线diffie
‑
hellman)。在动态环境中使用临时公钥允许在运行中创建和共享公钥，而汽车可以暂时连接到行为者交通工具或其驾驶过程中经过的基础设施。这种类型的临时密钥交换允许仅在自我汽车被连接的短时间的持续时间内进行安全数据交换。
391.图57是根据至少一个实施例的用于自主交通工具的示例安全交通工具内通信协议的简化框图。在所示的实例中，安全交通工具内通信协议利用彼此交互的两个区块链(a和b)。另外，交通工具内通信协议利用交通工具内“黑匣子”数据库5720。示例传感器数据5702和5712、区块链5704和5714、网络协议5706和逻辑单元5708可以与图55中所示和上文描述的相似组件类似地被实现，并且智能合约5716可以与图56中所示和上文描述的智能合约5604类似地被实现。
392.在所示的示例中，由逻辑单元5708生成的信息可以被提供给自主交通工具的致动单元5710以致动和控制自主交通工具的操作(例如，如上文关于图50所述)，并且致动单元可以向逻辑单元提供反馈。在被用于致动之后，传感器数据5702、由逻辑单元5708生成的信息、或由致动单元5710生成的信息可以被存储在交通工具内数据库5720中，交通工具内数据库5720可以进而充当自主交通工具的“黑匣子”。
[0393]“黑匣子”可以起到与用于记录某些方面和用于提供航空运输的通信和数据的黑匣子类似的作用。例如，由于被记录在区块链中的gdi是不可变的，如果它被存储在自主交通工具内的存储系统中，它可以由政府实体在事故场景中恢复，或由软件系统供应商在软件更新期间恢复。然后，该gdi可以被用来模拟一大组潜在下游致动。另外，如果致动记录器也记录到存储系统，那么端点致动记录器数据与上游gdi一起可用来筛选出任何错误的中间阶段。这将提供自主交通工具内故障标识的高概率，并将故障归因于自我交通工具的内部，归因于来自行为者交通工具、车队、基础设施或其他第三方的错误数据。
[0394]
自主交通工具可以具有各种不同类型的传感器，诸如一个或多个激光雷达、雷达、相机、全球定位系统(gps)、惯性测量单元(imu)、音频传感器、热传感器或其他传感器(诸如本文所述的传感器或其他合适的传感器)。这些传感器每秒可能共同生成大量的数据(例如，兆兆字节)。此类数据可以被自主交通工具堆叠的感知和传感器融合系统消费。在许多情况下，传感器数据可包括由于捕获相同信息的不同传感器或捕获不改变或仅轻微改变的信息的特定传感器(例如，在安静的高速公路上驾驶时、在低交通量状况期间、或在交通信
号灯处停车时)而引起的各种冗余。这些冗余可能显著地增加对资源(诸如硬件、特殊数据处置大数据生态系统、传感器融合算法、以及用于在处理流水线的不同阶段中接近实时地处理数据的其他算法优化)的要求。在一些系统中，为了改善传感器系统的信噪比(snr)，传感器融合算法(诸如基于例如卡尔曼滤波器的算法)可以使用相等的权重组合来自多个传感器的数据。由于总方差的改善，这可能得到相对于来自单个传感器的数据的经改善的snr。
[0395]
在本公开的特定实施例中，经改善的传感器融合系统可以利用来自成本效益和/或功率高效的传感器的较低质量的信号，同时仍满足总体系统的snr要求，从而引起总体系统的成本的降低。各种实施例可通过以下各项中的一项或两项来减少与传感器数据冗余相关联的缺点：1)基于情境的非均匀数据采样，以及2)基于情境的自适应传感器融合。
[0396]
在特定的实施例中，自主交通工具的采样系统可以通过基于与自主交通工具相关联的情境对数据进行采样来执行非均匀的数据采样。该采样可基于任何合适的情境(诸如场景改变的频率、天气状况、交通情况、或其他情境信息(诸如本文所述的情境中的任何情境)。此类非均匀的数据采样可以显著地降低资源的要求和整个处理流水线的成本。替代以设定的时间间隔(例如，每秒钟)对来自每个传感器的数据进行采样，对一个或多个传感器的采样可以基于情境来被定制。
[0397]
在一个实施例中，传感器的采样率可以针对给定的天气状况调整到传感器的灵敏度。例如，当存在特定天气状况时被发现产生有用数据的传感器的采样率可以比在天气状况期间产生不可用数据的传感器更频繁地被采样。在一些实施例中，各种传感器的相应采样率与交通密度或场景变化率相关。例如，相对于在轻交通量中捕获的样本，更高的采样率可用于密集交通中的一个或多个传感器。作为另一示例，相对于当场景静止时捕获的样本数量，当场景快速改变时每单位时间可以捕获更多的样本。在各个实施例中，相对于具有低成本、每单位功耗的高吞吐量、和/或较低功率要求的传感器，具有高成本、每单位功耗的高吞吐量和/或高功率要求的传感器被节约使用，以在不损害安全性要求的情况下节省成本和能源。
[0398]
图58a描绘了根据某些实施例的用于确定多个传感器的采样率的系统。该系统包括基础事实数据5802、机器学习算法5804、和输出模型5806。基础事实数据5802被提供给机器学习算法5804，机器学习算法5804处理此类数据并提供输出模型5806。在特定的实施例中，机器学习算法5804和/或输出模型5806可以由机器学习引擎232或不同的计算系统(例如，140、150)的机器学习引擎实现。
[0399]
在本示例中，基础事实数据5802可以包括传感器套件配置数据、每个传感器的采样率、情境、和安全性结果数据。基础事实数据5802可以包括多个数据集，每个数据集与采样时间段相对应，并指示传感器套件配置、每个传感器使用的采样率、采样时间段的情境、以及采样时间段内的安全性结果。数据集可以与由实际自主交通工具执行的采样或与由模拟器产生的数据相对应。传感器套件配置数据可包括与自主交通工具的传感器配置相关联的信息，诸如，传感器的类型(例如，激光雷达、2
‑
d相机、3
‑
d相机等)、每种类型的传感器的数量、传感器的分辨率、传感器在自主交通工具上的位置、或其他合适的传感器信息。每个传感器的采样率可以包括在采样时间段内用于对应套件配置中的每个传感器的采样率。情境数据可包括在采样时间段期间存在的任何合适的情境数据(例如，天气、交通、场景改变
等)。安全性结果数据可以包括采样时间段内的安全性数据。例如，安全性结果数据可包括在采样时间段内是否发生事故、在采样时间段内自主交通工具离事故有多近、或在采样时间段内安全性的其他表达的指示。
[0400]
机器学习算法5804可以是用于分析基础事实数据并输出模型5806的任何合适的机器学习算法，模型5806被调整用于基于特定情境来为给定传感器套件的多个传感器中的每个传感器提供采样率。在训练阶段期间，经由机器学习算法5804学习每个传感器的采样率。任何合适的机器学习算法可用于提供输出模型5806。作为非限制性的示例，机器学习算法可以包括随机森林、支持向量机、任何合适的神经网络、或强化算法(诸如下面描述的或其他强化算法)。在特定的实施例中，模型5806可以与机器学习模型256一起被存储。
[0401]
输出模型5806可在推断阶段用于输出给定特定情境的采样率的向量(例如，为正在被使用的传感器套件的每个传感器输出一个向量)。在各个实施例中，输出模型5806可以被调整用于尽可能地减少采样率或采样期间使用的功率，同时仍维持可接受的安全性级别(例如，没有事故、交通法规遵守率，等等)。在其他实施例中，模型5806可以被调整成有利于任何合适的操作特性，诸如安全性、所使用的功率、传感器吞吐量、或其他合适的特性。在特定的实施例中，模型5806基于安全性与功耗之间的联合优化(例如，该模型可以寻求在维持阈值水平安全性的同时使功耗最小化)。
[0402]
除了改变传感器的采样率之外或者作为改变传感器的采样率的替代，在一些实施例中，通过基于情境调整每个传感器的权重来实现传感器融合改善。可以通过基于情境对来自传感器的数据进行不同的适应性加权来改善信噪比(以及因此，总方差)。
[0403]
在特定的实施例中，为了协助对象跟踪，当基础事实数据可用于不同的情境和在这些不同的情境下在各个时刻的对象位置时，可使用预测情境的机器学习算法和促进对象位置预测的跟踪融合算法的组合，根据训练数据来确定融合权重。
[0404]
图58b描绘了根据某些实施例的用于生成情境模型5858的机器学习算法5852。在特定的实施例中，机器学习算法5852和情境模型5858可以由机器学习引擎232或不同的计算系统(例如，140、150)的机器学习引擎执行。图58b描绘用于构建用于探知情境的ml模型的训练阶段。机器学习算法5852可以是用于分析传感器数据5856和对应的情境信息5854(作为基础事实)的任何合适的机器学习算法。传感器数据5856可以从一个或多个自主交通工具的传感器被捕获，或者可以是模拟数据。机器学习算法5852输出被调整用于基于从运行中的自主交通工具输入的传感器数据提供情境的模型5858。任何合适类型的机器学习算法可被用于训练和输出输出模型5858。作为非限制性示例，用于预测情境的机器学习算法可以包括诸如支持向量机或深度神经网络之类的分类算法。
[0405]
图59描绘了根据某些实施例的用于生成融合
‑
情境字典5910的融合算法5902。图59描绘了用于构建用于探知传感器融合权重的ml模型的训练阶段。融合算法5902可以是用于分析传感器数据5904、对应的情境信息5906(作为基础事实)和对应的对象位置5908(作为基础事实)的任何合适的机器学习算法。传感器数据5904可以从一个或多个自主交通工具的传感器被捕获，或者可以是模拟数据(例如，使用本文所述的模拟技术中的任何一种模拟技术或其他合适的模拟技术)。在一些实施例中，传感器数据5904可以是用于训练ml模型的相同传感器数据5856，或者可以是至少部分不同的数据。类似地，情境信息5906可以与情境信息5854相同，或者可以是至少部分不同的信息。融合算法5902输出融合
‑
情境字典
5910，融合
‑
情境字典5910被调整用于基于来自运行中的自主交通工具的传感器数据输入来提供权重。
[0406]
任何合适的机器学习算法可用于训练和实现融合
‑
情境字典。作为非限制性的示例，机器学习算法可以包括用于预测传感器融合权重的回归模型。
[0407]
在各个实施例中，融合算法5902是基于神经网络的。在训练期间，融合算法5902可以取得来自各个传感器的数据(例如，传感器数据5904)和基础事实情境信息5906作为输入、使用不同的权重将数据融合在一起、使用经融合的数据预测对象位置、以及利用使所预测的位置和基础事实位置(例如，对象位置的对应位置5908)之间的误差最小化的成本函数(诸如均方根误差(rmse)等等)。在各个实施例中，融合算法可以为给定的情境选择融合权重，以使对象跟踪性能最大化。因此，融合算法5902可以使用试图使特定特性(例如，对象跟踪性能)最大化或最小化的优化算法进行训练，并且然后可以在考虑到所预测状况的结果的情况下，使用得到的融合
‑
情境字典5910的权重来更有效地融合来自传感器的新数据集。
[0408]
图60描绘了根据某些实施例的用于确定选择性采样和融合传感器权重的推断阶段。在特定的实施例中，推断阶段可以由机器学习引擎232和/或传感器融合模块236执行。在推断阶段期间，由自主交通工具捕获的传感器数据6002被提供给情境模型5858。情境模型5858的输出是情境6006。情境6006可被用于在6012处触发选择性采样。例如，情境可被提供给输出模型5806，该模型5806可为自主交通工具的多个传感器中的每个传感器提供采样率。然后，自主交通工具可以使用指定的采样率利用其传感器对数据进行采样。
[0409]
在6014处，插值可以被执行。例如，如果第一传感器以两倍于第二传感器的频率进行采样，并且来自第一传感器和第二传感器的样本将被融合在一起，则第二传感器的样本可以被插值，使得每个传感器的样本之间的时间是相同的。可以使用任何合适的插值算法。例如，经插值的样本可以采用前一个(时间上)实际样本的值。作为另一示例，经插值的样本可以是前一个实际样本和下一个实际样本的平均值。尽管示例侧重于在传感器数据级别的融合，但也可以替代地或附加地在输出端执行融合。例如，在解决对象跟踪问题时，可以利用不同的传感器来采取不同的方法。最后，在后分析阶段，各个输出的互补方面被组合以产生经融合的输出。因此，在一些实施例中，可替代地在传感器数据被融合在一起之后执行插值。
[0410]
情境6006还可以被提供给融合
‑
情境字典5910，并且从融合
‑
情境字典5910输出一系列融合权重6010，其中每个融合权重指定对应传感器的权重。融合权重用于融合策略模块6016中以自适应地对传感器数据进行加权并输出经融合的传感器数据6018。任何合适的融合策略可被用于组合来自两个或更多个传感器的数据。在一个实施例中，融合策略指定来自两个或更多个传感器的数据的简单加权平均。在其他实施例中，可以使用更复杂的融合策略(诸如本文所述的融合策略中的任何融合策略)。例如，基于证据理论(dempster
‑
shafer)的算法可被用于多传感器融合。经融合的传感器数据6018可用于任何合适的目的，诸如检测对象位置。
[0411]
在各个实施例中，模拟和诸如强化学习之类的技术也可用于自动地学习基于情境的采样策略(例如，速率)和传感器融合权重。由于大量的驾驶场景，确定对不同传感器的采样有多频繁以及对哪些传感器分配什么权重是具有挑战性的。由于希望在不损害安全性的情况下实现不同的目标(诸如高对象跟踪准确性和低功耗)，基于情境的采样的复杂度也会
增加。重放在真实世界中收集到的传感器数据或模拟虚拟道路网络和交通状况的模拟框架为训练基于情境的模型和探索适应性策略的影响提供了安全环境。
[0412]
除了上述监督学习技术之外，在各个实施例中，学习基于情境的采样和融合策略可以通过训练支持多个目标(例如，安全性和功耗两者)的强化学习模型来确定。在各个实施例中，对象检测准确性、对象跟踪准确性、功耗、或安全性中的任何一者或多者可作为被优化的目标。在一些实施例中，如果没有足够的实际数据可用，此类学习可以在模拟环境中执行。在特定的实施例中，强化学习被用来训练代理，该代理具有找到减少功耗的同时通过准确地标识交通工具的路径中的对象(例如，汽车和行人)来维持安全性的传感器融合权重和采样策略的目的。在训练期间，安全性可能是硬约束，使得达到阈值水平的安全性，而降低功耗是期望的但非必要的软约束。
[0413]
图61呈现了针对各个情境的各传感器的有差异的权重。表中的h表示来自特定传感器的测量被赋予较高评级的场景。作为各个示例，激光雷达传感器在夜间被赋予比相机传感器、雷达传感器、或声学传感器相对更大的权重，但是在白天期间，相机传感器可能被赋予相对更大的权重。
[0414]
图61表示可由融合
‑
情境字典5910或由本文所述的强化学习模型提供的输出的示例(例如，该示例表示在不同情境下各个传感器的相对权重)。在其他实施例中，传感器权重输出可以是数值，而不是图61中所示的归类的高评级相对于低评级。
[0415]
图62a图示出根据某些实施例的用于学习传感器在不同情境下的权重的方法。首先，可以针对每个单独的传感器(例如相机、激光雷达、或雷达)训练尽可能准确地检测对象的模型。尽管任何合适的机器学习模型可用于对象检测模型，但在一些实施例中，对象检测模型是有监督机器学习模型(诸如用于相机数据的深度神经网络)或无监督模型(诸如用于激光雷达点云的dbscan(带有噪声的应用的基于密度的空间聚类))。
[0416]
接下来，可以训练模型以通过使用强化学习自动地学习基于情境的传感器融合策略。强化学习模型使用由每个传感器检测到的当前的对象集合和情境来学习传感器融合策略。该策略预测在每个时间步长应用的传感器权重，这将使奖励最大化，奖励包括多个目标，例如，使对象跟踪准确性最大化和使功耗最小化。
[0417]
因此，如图62a所描绘，(例如，由计算系统的机器学习引擎实现的)强化学习算法代理可以基于包括传感器数据和情境的环境来管理传感器融合策略以及基于诸如跟踪准确性和功耗的结果来管理奖励，并以传感器权重的形式产生在传感器融合期间使用的动作。可以使用任何合适的强化学习算法(诸如基于q学习的算法)来实现该代理。
[0418]
在该框架下，特定传感器的权重对于特定的情境而言可以是零值的。零值权重或低于给定阈值的权重指示该传感器不需要针对该特定情境进行采样，因为其输出在传感器融合期间不被使用。在每个时间步长中，该模型针对给定的情境的每个传感器生成具有一个权重的向量。
[0419]
该方法的替代实现方式可以利用多代理(每个传感器一个代理)强化学习模型，其中每个代理对权重和采样率做出本地决策，但是该模型试图实现全局目标(或目标的组合)，诸如增加的对象跟踪准确性和低功耗。在此类实施例中，如果特定代理做出没有实现全局目标的决策，那么它可能会受到惩罚。
[0420]
图62b图示出根据某些实施例的用于在不同情境下学习传感器的权重的更详细的
方法。在该方法中，针对激光雷达训练对象检测模型6252，并且针对相机训练对象检测模型6254。在特定的实施例中，对象检测模型6254是有监督机器学习模型(诸如深度神经网络)，并且对象检测模型是无监督模型(诸如用于激光雷达点云的dbscan)。
[0421]
如图62b所描绘，强化学习算法代理可以基于环境6258(环境6258包括例如情境、检测到的对象、基础事实对象、传感器功耗、和安全性)来管理传感器融合策略6256，以及基于结果(诸如检测准确性、功耗和安全性)来管理奖励6260。动作6262可以以传感器权重6264的形式来产生，以便在传感器融合期间使用。可以使用任何合适的强化学习算法(诸如基于q学习的算法)来实现该代理。
[0422]
图63描绘了根据某些实施例的用于确定采样策略的流程。在6302处，获得由交通工具的多个传感器采样的传感器数据。在6304处，获得与经采样的传感器数据相关联的情境。在6306处，基于情境来确定交通工具传感器的一组采样率或用于执行传感器数据融合的传感器的一组权重中的一者或两者。
[0423]
在各个实施例中，上述推断模块中的任何模块可以由自主交通工具的计算系统或耦合到自主交通工具的其他计算系统实现，而上述训练模块中的任何训练模块可以由耦合到一个或多个自主交通工具的计算系统(例如，由耦合到多个自主交通工具的集中式计算系统)或由自主交通工具的计算系统实现。
[0424]
尽管上述示例已经关于对象检测进行了描述，但是这些概念可被应用于其他自主驾驶操作，诸如语义分割和对象跟踪。
[0425]
第5级(“l5”，完全自主)自主交通工具可能使用激光雷达传感器作为主要发送源，这不会帮助经济上扩展到广泛的终端消费者。另一方面，第2级(“l2”)或其他较低级别自主交通工具(具有较低的自动化级别)可能通常使用相机作为主要感测源，并可能以渐进模式引入激光雷达(通常是低成本版本的激光雷达传感器)以获得信息冗余并且还与相机传感器关联。相比于相机，激光雷达提供的一条信息是交通工具与其周围交通工具/对象之间的距离，并且还提供周围交通工具和对象的高度信息。然而，激光雷达可能是包括在自主交通工具中的最昂贵的传感器技术之一。
[0426]
因此，在一些实施例中，低成本的基于光的通信技术可用作激光雷达传感器的替代，以提供激光雷达提供的深度信息和高度信息，同时通过替代信息来提供传感器的成本的节省。此类通信模块可以被部署在自主交通工具、路边单元、和监测驾驶环境中的交通和事件的其他系统上。在一些实现方式中，可以利用li
‑
fi(光保真)技术来(实时地)传达每个交通工具的确切位置、交通工具的高度、以及与交通工具尺寸/高度有关的任何其他信息，这些信息可能对周围交通工具保持安全距离是有用的。基于光的通信技术(例如li
‑
fi)可通过使交通工具配备有光源(例如led)和光电检测器被应用于不同类型的交通工具，包括汽车、摩托车、和自行车。li
‑
fi可以在不同类型的交通工具之间被应用(例如，自行车可以使用lifi向其周围的交通工具传达其位置和任何其他有用的信息以帮助维持安全距离)。
[0427]
li
‑
fi是用于设备之间的无线通信的新兴的技术，该技术利用光在光波上传送数据(例如，位置信息)。li
‑
fi可被视为在无线通信方面与wi
‑
fi类似(例如，可利用类似的协议，诸如ieee 802.11协议)，但与wi
‑
fi不同的是，li
‑
fi使用光通信而不是无线电频率波，li
‑
fi可能允许大得多的带宽。li
‑
fi可能能够通过可见光通信(vlc)传送高速数据，其中可以达到千兆位/秒(gbps)的带宽。li
‑
fi可以使用400thz(780nm)与800thz(375nm)之间的可
见光进行通信，但在一些实例中，也可以使用紫外(uv)或红外(ir)辐射进行通信。
[0428]
图64是根据至少一个实施例的自主交通工具6410、6420之间的示例vlc或li
‑
fi通信的简化图。在所示的示例中，交通工具的发送光源(例如，6412、6422)(例如，装有发光二极管(led)的交通工具的灯)将经调制的光束(例如，6431、6432)传送到另一交通工具的光电检测器(例如，光电二极管)。交通工具可以配备有信号处理模块(例如，6416、6426)，该信号处理模块对发射的光束进行调制，使得光束包括嵌入式数据(例如，如上文和下文进一步描述的发送交通工具的位置信息或高度信息)，并对接收到的光信号进行解调。接收方交通工具的光电检测器(例如，6414、6424)接收来自发送方交通工具的光信号，并将幅度改变转换为电信号(然后该电信号通过解调被转换回数据流)。在一些实施例中，通过具有包括光电检测器(例如，光电二极管)阵列的光电传感器，从多个光源同时接收li
‑
fi设备是可能的。
[0429]
在一些实例中，这也可以允许从一个光源的多个通道进行多次接收以获得增加的吞吐量，或者从多个光源进行接收。多个通道可以被实现为光(可见光、红外光和/或紫外光)谱上的不同通道(波长)。
[0430]
位置或其他交通工具数据(例如，交通工具的高度、交通工具的尺寸、或可以帮助其他周围交通工具创建传送方交通工具的结构的其他信息)可以通过对光波的调制来传送。经传送的数据的尺寸可以在几字节的量级。例如，交通工具的位置信息在其遵循度分秒(dms)格式(例如，距自由女神像最近的位置为40
°
41
′
21.4"n 74
°
02
′
40.2"w)的情况下可以利用大约12个数字和2个字符，这可以利用大约7
‑
8字节(例如，“ascii码”的每个数字为4位，每个字符为4位)。作为另一实例，交通工具的高度信息(例如，以米为单位，具有一个小数位)可以利用大约4位的数据。作为另一示例，交通工具的尺寸信息(该信息可包括以米为单位的交通工具的长度和宽度)可利用用于长度的大约1字节的数据和用于宽度的4位的数据(例如，对于长度“考虑总线”具有1
‑
2个小数位，对于宽度具有1个小数位)。
[0431]
任何合适的调制方案可用于交通工具之间的通信。可用于本公开的实施例的调制方案的示例包括：
·
‑
开关键控(ook)，开关键控(ook)是幅移键控(ask)的形式：其中led可以被打开或关闭以对二进制数字的数字串进行建模
·
‑
可变脉冲位置调制(vppm)：其中m位通过在2m个可能要求的时间移位中的一个时间移位中发射单脉冲来编码。这是每t秒重复一次(这是可变的)，以具有位速率(m/t bps)
·
‑
色移键控(csk)：色移键控(csk)是在ieee 802.15.7标准中引入的，色移键控(csk)对使用红led、绿led、蓝led的混合、并改变每个led的闪烁速率来传送数据的光中的数据进行编码。
[0432]
由交通工具传送的位置、高度、尺寸或其他信息的采样率可以采取至少两种形式。作为一个示例，采样可以是主动的，其中每个交通工具以给定的频率持续发送其位置(或其他)信息。例如，在高度拥挤的区域、高碰撞风险区域、或在夜间期间，可以选择主动采样。在该情况下，光电检测器可被视为从接收到的数据中带来感测“深度”信息的物理传感器，传感器融合不断考虑来自光电检测器的输入。作为另一个示例，采样可以是基于事件的，其中每个交通工具一旦检测到其周围的(多个)其他交通工具，就会发送其位置信息。在该情况
下，光电检测器可被视为每当在周围检测到交通交通工具时从接收到的数据中按需带来感测“深度”信息的物理传感器，并且传感器融合可以以基于事件的方式考虑来自光电检测器的输入。
[0433]
在一些情况下，每个交通工具可以利用现有的光源(前灯、后灯、侧灯、或放置在车顶的led)并调制来自这些源的光波，从而以特定的频率或以事件驱动的形式(例如，当交通工具相机检测到周围的交通工具时，或当交通工具在交通信号灯或停车标志处停车时)传送所需的数据。
[0434]
图65a
‑
图65b是根据至少一个实施例的自主交通工具6500上的示例vlc或li
‑
fi传感器位置的简化图。图65a示出自主交通工具6500的鸟瞰图，而图65b示出自主交通工具6500的侧视图。自主交通工具6500包括传感器6502、6503、6504、6505、6506、6507、6508。每个传感器可以包括光源(或多个光源，例如，led阵列)和光电检测器(或多个光电检测器，例如，光电检测器阵列)。在一些实施例中，可以利用交通工具的现有光源(例如，前灯(针对传感器6502、6503)、后灯(针对传感器6507、6508)和侧灯(针对传感器6504、6505))来将每个交通工具的位置信息实时传递给周围交通工具的全部视场。这允许每个交通工具计算距所有周围交通工具的距离(替换激光雷达目前提供的深度信息)。可以提供高度信息(以及尺寸或有助于保持安全距离和实时发现周围情况的任何相关信息)。传感器也可以被放置在交通工具的、没有当前的光源的其他位置，诸如在如针对传感器6506所示的交通工具的顶部上。传感器也可以被放置在自主交通工具6500上的其他位置，而不是图65中所示的那些位置。
[0435]
图66是根据至少一个实施例的受试交通工具6610和交通交通工具6620之间的示例vlc或li
‑
fi通信的简化图。具体而言，图66示出了受试自主交通工具在其传感器融合过程中如何考虑来自由交通交通工具的li
‑
fi数据传输的(多个)周围交通交通工具位置信息(以及交通交通工具如何以类似方式取得其周围的受试交通工具的位置信息)。受试自主交通工具也可以利用相同过程来处理来自其他交通交通工具的其他li
‑
fi数据传输(未示出)。
[0436]
在所示的示例中，每个交通工具均配备有视觉系统(在其他传感器中)和li
‑
fi发射器(例如led和信号处理电路/软件)以及li
‑
fi接收器(例如光电检测器(pd)和信号处理电路/软件)。如所示，每个交通工具中的传感器融合模块/堆叠从基于相机的视觉系统获取常规的输入，并从光电检测器获取附加的输入。
[0437]
图67是根据至少一个实施例的在自主交通工具的传感器融合过程中使用vlc或li
‑
fi信息的示例过程的简化图。示例过程6700中的操作可由自主交通工具(例如，图66的自主交通工具中的一者或两者)的组件执行。示例过程6700可以包括附加的或不同的操作，并且可以以所示的顺序或以另一顺序来执行操作。在一些情况下，图6700中所示的操作中的一个或多个操作被实现为包括多个操作、子过程或其他类型的例程的过程。在一些情况下，操作可以被组合、以另一顺序执行、并行执行、迭代或以其他方式重复执行或以另一方式执行。
[0438]
在6702处，自主交通工具接收来自另一交通工具(“交通交通工具”)的经调制的光信号。在一些情况下，自主交通工具可以从多个交通交通工具接收经调制的光信号。
[0439]
在6704处，对经调制的光信号进行采样。采样可以以特定的频率(例如，每几毫秒
一次)、或者响应于检测到的事件(例如，检测到交通交通工具处于自主交通工具的周围区域中)来完成。
[0440]
在6706处，经采样的信号被解调以获得交通交通工具的位置和尺寸信息。该位置信息可以包括指示交通交通工具的确切位置的信息。例如，位置信息可包括交通交通工具的、以dms格式或以其他格式的地理坐标。尺寸信息可以包括指示交通交通工具尺寸的信息，并且可以包括交通交通工具的长度、宽度、和/或高度(例如，以米为单位)。
[0441]
在6708处，在6706处获得的位置信息被用于自主交通工具的传感器融合过程中。例如，自主交通工具可以在自主驾驶流水线的感知阶段中使用该位置信息。
[0442]
降低用于实现自主驾驶功能的底层技术和组件的成本可能被认为是使自主驾驶在经济上对大众消费市场可行并加速其在道路上采用的关键要素。自主交通工具的高成本部分原因在于使用高性能传感器(诸如激光雷达传感器、雷达传感器、相机、惯性测量单元(imu)、全球导航卫星系统(gnss)接收器和其他传感器)。高成本的部分原因在于对高性能数据处理、高带宽数据通信、和大容量存储的需求。传感器和计算能力两者都需要使用汽车级组件并满足功能安全性标准以高度稳健的方式实时处理极大量的数据。高成本的部分原因在于自主交通工具的开发过程。
[0443]
自主交通工具和相关联的传感器的开发过程通常包括通过各种模拟和现场测试的方法，对感知、规划和控制软件算法和硬件组件进行开发、训练和测试。具体而言，用于自主交通工具的现代感知系统可以利用机器学习方法(机器学习算法需要对感知(例如，计算机视觉)算法进行训练)，从而得到专用于手头任务和传感器的经训练的模型。基于现代机器学习的方法需要收集非常大的数据集，以及非常大的工作量来获得基础事实算法输出(例如，“数据加标签”)，这些都是非常昂贵的。这些数据集通常取决于所使用的特定传感器和数据的特性。为便于在除了针对其最初开发算法的那些域之外的域中重新使用感知算法而做出的工作量涉及到迁移学习(transfer learning)和域适应(domain adaptation)的概念。尽管做出了巨大的工作量，这些算法的重新使用仍然是困难的和未解决的问题。
[0444]
降低成本的一种方法可包括将各种感测和规划数据处理子系统整合到更少的计算组件中，逐步地减少处理流水线的占用和功率需求，并达到规模经济。降低成本的另一种方法是使对较少数据处理组件的重复使用最大化，并跨需要在单个自主交通工具中执行的多个任务以及跨多个类型的自主交通工具利用共同的组件。这可能涉及使用共同的感知算法、共同的算法训练数据集和共同的机器学习模型。
[0445]
根据一些实施例，数据处理流水线利用相机(视觉)数据和激光雷达(深度/距离/范围)数据两者的共同的组件，这可以使相机数据和激光雷达数据两者能够利用共同的处理组件。这可以降低自主交通工具的开发成本，并且可以降低组件本身的成本。
[0446]
在一些实施例中，传感器数据可以从相机数据和激光雷达数据两者都具备的原始物理特性中被抽象出来，成为能够以更加统一的方式处理数据的更加标准化的格式。这些技术可以被认为是一种预处理，该种预处理可以降低噪声或降低数据的传感器专用特性，同时保留数据的保真度和数据中包含的关键场景信息。所得到的经抽象的和标准化的数据可以被提供给标准的感知组件/算法(例如，用于自主交通工具的控制过程的感知阶段/子系统中的感知组件/算法)，例如对象检测、路标检测、交通标志检测、交通信号灯检测、交通工具检测、或行人检测，这些对于自主驾驶是必需的。所得到的经抽象的和标准化的数据使
感知算法和必须从数据中识别自主交通工具周围世界的状态的其他处理组件能够更容易迁移学习和域适应。除了检测，感知阶段/子系统可以更一般地包括分类功能，例如，检测特定的交通标志和/或对交通标志的确切类型进行分类、或将交通工具分为特定类型，诸如客车、货车、卡车、紧急交通工具和其他交通工具。此外，感知阶段/子系统可能涉及估计道路代理的位置和速度以及其状态的其他维度。此外，自主交通工具感知阶段/子系统可以对道路代理的动作或行为进行分类或识别。感知阶段/系统的所有这些功能可能取决于(多个)传感器的特定细节，并可能受益于传感器数据的抽象。
[0447]
在一些实例中，传感器数据抽象和标准化可以实现在单个交通工具中使用的相同类型的不同传感器之间的共同处理。例如，多种类型的相机可用于单个交通工具(例如，以下各项中的一项或多项的组合：透视相机、鱼眼相机、全景相机)。不同类型的相机可能具有极大地不同的视场或对图像平面的不同投影。每种类型的相机也可以在交通工具上的特定配置中使用。诸如可见光、红外光、热视觉、和其他波长的成像之类的模态各自具有其自己的特性。同样，多种类型的、具有不同的特性的激光雷达可以在交通工具上使用。因此，在本公开的某些方面，来自不同类型的相机的传感器数据可以被抽象成共同的格式，并且来自不同类型的激光雷达的传感器数据也可以类似地被抽象成共同的格式。
[0448]
本公开的各方面可以实现传感器数据在各模态和传感器类型内以及跨各模态和传感器类型的低级别融合。广义地讲，用于自主驾驶和移动机器人的低级别传感器融合包括将来自具有重叠视场的多种模态的传感器数据进行组合。例如，在一些情况下，传感器融合可以包括以下各项中的一项或多项：
·
严格地组合重叠视场内的数据，但也可用包括将来自具有一定重叠的不同视场的数据拼合在一起(例如，图像拼接、全景图像创建)。
·
将以特定分辨率捕获的多个相机图像进行组合，以实现超分辨率(例如，以高于相机分辨率的分辨率创建图像)。这可以允许使用较低成本的相机来实现高成本相机的分辨率。
·
将多个激光雷达数据扫描进行组合以增加其分辨率。就我们所知，利用激光雷达数据实现超分辨率是全新的领域。
·
将以给定的有限动态范围捕获的多个相机图像进行组合，以实现更高的动态范围。
·
将多个相机图像或多个激光雷达扫描进行组合来实现降噪，例如，抑制每个单独的相机图像或激光雷达扫描中存在的噪声。
·
将相机图像和激光雷达图像进行组合，以实现对存在于两种模态中但具有独立的“噪声”源的对象的更高检测率。
[0449]
在图68a中示出了一个实施例，图68a图示出用于来自单个传感器的单个传感器数据流6802的处理流水线6800。原始传感器数据通过若干个传感器抽象动作6804、6806、6808被转换并标准化为“场景数据”格式6810。场景数据随后被提供给检测阶段/算法6812，检测阶段/算法6812可以包括交通工具检测组件、行人检测组件或对自主驾驶至关重要的其他检测组件。检测阶段使用共同的对象模型，该共同的对象模型可以与源自多种类型的传感器的场景数据组合使用，因为场景数据6810已经从原始传感器数据6802中被抽象。在机器学习模型(诸如深度神经网、卷积神经网、全连接神经网、递归神经网等)的情况下，抽象动
作(6804、6806、6808)既在训练期间被应用又在推断期间被应用。为了简洁起见，图68a仅示出推断阶段。
[0450]
在一个示例中，示例传感器抽象过程可以包括对传感器响应值进行标准化的动作(例如，6804)。在相机图像的情况下，例如，这可能包括对像素值(例如，灰度值或彩色值)进行标准化。例如，自主交通工具的不同相机可能具有不同的位深度(诸如每像素8位、每像素10位或12位)、或不同的色彩空间(通常被表示为rgb或yuv(亮度、色度)、或在不同的色彩空间中)。响应标准化动作可以使用传感器响应的模型(例如，相机响应函数)来将响应值转换为标准化的范围和表示。在一些实施例中，这也可以使以不同曝光量捕获的相机图像能够组合成高动态范围的图像。传感器响应模型的参数可以是已知的(例如，从曝光和其他传感器设置)，也可以从数据本身来进行估计。
[0451]
在激光雷达的情况下，原始传感器数据可以是深度值或距离值的形式。深度值可以基于水平角(方位角)和垂直角(仰角)被转换为x、y、z点位置值。作为示例，x轴可以接近于与交通工具纵轴垂直，y轴可以接近于与交通工具纵轴平行，并且z轴可以接近于指向上，远离地面。出于对象识别的目的，原始深度值或x、y、z值中的一者或两者可能是最有用的。因此，激光雷达值可以被表示为单个的标量或者被表示为一对值或值三元组。在一些实施例中，这些值本身可以被转换为标准化的范围。在一些实例中，激光雷达传感器可以提供跨水平视场和垂直视场的深度值或距离值的二维(2
‑
d)阵列，并且该阵列可以与2
‑
d图像的形式相同。图68b示出了直接从激光雷达数据获得的此类图像的示例。在本公开的某些方面，激光雷达传感器数据可以以该2
‑
d阵列形式被保留，而不是被表示为点云。将数据保留在2
‑
d中的重要后果是，相机数据和激光雷达数据两者都被表示为2
‑
d阵列或图像。
[0452]
继续该示例，传感器抽象过程可以通过翘曲(warping)(例如，6806)传感器数据继续进行。在一些实施例中，翘曲阶段可以包括空间升尺度或降尺度操作。简单的升尺度或降尺度可以用来改变相机图像或激光雷达阵列的空间分辨率。如图68b所示的示例所图示，激光雷达传感器数据6850的分辨率在水平维度上是高的，但在垂直维度上是低的。为了促进传感器抽象、传感器融合、和使用共同检测模型的对象检测，因此可能期望增加激光雷达阵列的垂直分辨率。这样做的一种方法是使用与图像处理中开发的那些技术相同或类似的技术来应用升尺度操作。
[0453]
在一些实施例中，翘曲还包括对感测过程中固有的几何效应的校正。作为示例，翘曲可以对透视相机与鱼眼相机之间的差异进行校正。翘曲动作可以将鱼眼图像转换为透视图像或全景图像。同样，这可以在稍后阶段实现共同的检测模型。翘曲动作还可以考虑相机或激光雷达传感器的配置和视场，这可以使来自多个传感器的图像或激光雷达扫描组合成马赛克或全景图像(又称图像拼合)。
[0454]
在一些实施例中，翘曲动作还可以包含对相机运动的校正，包括由于汽车运动而引起的运动以及由于振动而引起的非预期运动。这可实现对在稍微不同的时刻捕获到的多个图像或激光雷达扫描进行组合，并将两个捕获时刻之间的传感器的运动考虑在内。对同一场景的多个图像的此种组合实现改善的分辨率(超级分辨率)、降噪、以及其他形式的传感器融合。传感器运动的参数和所需的其他参数可以(例如，使用其他传感器)来被测量，或者可以从数据本身被估计。总而言之，翘曲动作可以考虑传感器数据流之间的许多类型的几何差异，并且可以得到数据到标准化配置的空间和时间对准(或注册)。
[0455]
在一些实现方式中，传感器抽象可以继续对数据应用滤波(例如，6808)。该滤波可以利用来自单个时刻的数据，或者可以涉及使用来自先前时刻和当前时刻的数据进行滤波。例如，可以使用单个相机图像或多个相机图像(或图像帧)。
[0456]
在一些实施例中，可以使用时间递归滤波方法。时间递归的图像滤波器可以使用在先前时刻先前经滤波的图像，并将其与在当前时间感测到的图像数据进行组合。作为具体的示例，可以使用卡尔曼滤波器(或卡尔曼滤波器的变型)。该滤波器(例如，卡尔曼滤波器或其变型)可以结合基于先前时刻的数据的预测动作和基于当前时间的数据的更新动作。也可以使用本领域中已知的其他滤波器，诸如粒子滤波器、直方图滤波器、信息滤波器、贝叶斯滤波器、高斯滤波器。
[0457]
在一些情况下，滤波动作可以使用传感器噪声模型，以适当计及和抑制来自不同类型的传感器、相机和/或激光雷达的噪声。噪声模型描述原始传感器数据中噪声的性质和强度，同时跟踪进行滤波之前的流水线操作(例如，响应标准化和翘曲)，以及它们对数据中噪声的影响。作为示例，原始数据中噪声的强度在响应标准化动作期间被调制。而且，噪声的空间特性在翘曲动作期间也可能受到影响。传感器噪声模型的参数可以基于测量或者可以从数据本身而被估计。滤波动作也可以使用场景模型，场景模型可以捕获从先前数据中预测当前数据的不确定性或噪声。例如，当前时间动作的数据与先前时间动作的数据之间的关系取决于自主交通工具及其传感器的运动。该运动可以在一些剩余的不确定性或噪音范围内被测量或被估计。场景模型将该不确定性考虑在内。场景模型还可以描述真实信号中的、由于场景本身(没有噪声的情况下)而引起的显著变化的幅度。该信息可以被滤波动作用来衡量数据中观察到的变化的重要性。滤波动作也可以使用包括附加的特性(诸如在相机的情况下的透镜、成像、和固态传感器特性)的传感器的模型，并且可能导致空间模糊或其他效果。滤波动作可以减少这些特性的影响或将数据标准化到共同水平，例如共同的模糊水平。因此，在图像的情况下(例如)，滤波动作可以取决于情况使用众所周知的卷积或去卷积技术来减少或增加模糊水平。传感器模型也跟踪先前的数据抽象操作对整个数据的模糊水平的影响。最后，滤波动作跟踪其输出在整个输出数据中的噪声和模糊水平。如果滤波动作是时间递归过程(例如一种卡尔曼滤波)，那么该信息可以在下一个时刻期间使用。该信息也可由后续过程(诸如经抽象的传感器数据的传感器融合)使用，或由检测阶段使用。
[0458]
滤波动作还可以考虑个体样本的有效性，并且可以使用有效性或占用映射来指示有效样本。例如，在激光雷达数据中，在没有收到激光雷达返回或没有以足够的信号强度收到激光雷达返回的情况下，个体样本可以是无效的。而且，考虑到以不同视角和视场捕获的多个传感器图像或阵列，例如，当组合具有重叠(但不相同)视场的图像时图像或传感器阵列的一些部分可能被认为是无用的。
[0459]
图69、图70和图71示出用于来自多个传感器的多个传感器数据流的处理流水线的实施例。
[0460]
图69示出用于处理多个传感器数据流6902的示例并行处理流水线6900。流水线6900的每个方面与图68a所示和上文所述的流水线6800中的对应方面相同，其中每个流水线处置来自不同传感器(传感器a和b)的传感器数据。在所示的示例中，共同的检测/感知算法(或经训练的机器学习模型)(例如，6912)被应用于多于一个传感器数据流6902，但没有
任何融合。例如，在所示的示例中，共同的对象模型被馈送到两个流水线6900的两个检测块6912。数据抽象想法的一个益处在于，检测/感知算法可以被训练并被应用于来自各个传感器的“经抽象的”数据，并且因此，为每个传感器开发检测算法所需的成本/努力可能较少。
[0461]
图70示出了处理流水线7000，其中来自多个传感器的数据通过滤波动作被组合。在所示的示例中，传感器抽象过程包括在7004处对每个相应的传感器数据流7002进行标准化，并在7006处对每个相应的传感器数据流7002进行翘曲，然后在滤波动作7008处将这些数据流进行组合。传感器抽象过程的每个动作可以以与上文关于图68a所描述的对应传感器抽象过程动作类似的方式被执行。滤波动作7008可以利用每个相应的传感器数据流的传感器噪声模型，以及场景模型来产生抽象的场景数据7010。然后，抽象的场景数据可以被传递给检测过程/算法7012，以用于对象检测。检测过程/算法可以以与上文关于图68a所描述的检测阶段/算法类似的方式执行。作为示例，流水线7000可在图像拼接、超分辨率、或高动态范围成像的情况中使用，由此多个图像可通过滤波动作来进行组合。
[0462]
图71示出处理流水线7100，其中来自多个传感器的数据在上文概述的传感器抽象的所有动作之后通过融合动作来进行组合。在所示的示例中，传感器抽象过程包括在7104处对每个相应的传感器数据流7102进行标准化，在7106处对每个相应的传感器数据流7102进行翘曲，以及在7008处对每个相应的传感器数据流7103应用滤波。传感器抽象过程的每个动作可以以与上文关于图68a所描述的对应传感器抽象过程动作类似的方式被执行。用于每个数据流的相应滤波动作7008可以利用用于对应的传感器数据流的传感器噪声模型，以及场景模型来产生用于相应传感器数据的经抽象的场景数据7010。然后，经抽象的场景数据可以被传递到融合阶段7112，其中经抽象的场景数据被融合，然后将经融合的数据提供给检测过程/算法7014以用于对象检测。检测过程/算法可以以与上文关于图68a所描述的检测阶段/算法类似的方式执行。作为示例，流水线7100可在激光雷达和相机数据融合的情况中使用，由此来自激光雷达传感器的数据和来自相机的数据在检测阶段之前被组合。
[0463]
图68、图70、图71中所示的示例过程中的操作可由自主交通工具的各个方面或组件执行。示例过程可以包括附加的或不同的操作，并且可以以所示的顺序或以另一顺序来执行操作。在一些情况下，图68、图70、图71中所示的操作中的一个或多个被实现为包括多个操作、子过程或其他类型的例程的过程。在一些情况下，操作可以被组合、以另一顺序执行、并行执行、迭代或以其他方式重复执行或以另一方式执行。
[0464]
自主交通工具可以具有各种不同类型的传感器，诸如一个或多个激光雷达、雷达、相机、全球定位系统(gps)、惯性测量单元(imu)、音频传感器、热传感器或其他传感器(诸如本文所述的传感器或其他合适的传感器)。这些传感器可用于辅助由交通工具执行的感知。由于感知通常是自主交通工具堆叠中执行的第一个功能，感知中的错误将以有害的方式影响后续功能，诸如传感器融合、定位、路径规划或其他阶段。此类错误可能会导致事故并且随之导致人们对自主交通工具失去信任和接受。为了缓解感知方面的错误，许多系统利用高质量、高分辨率相机和其他传感器。然而，这些高质量的组件可能会增加自主交通工具的成本，并增加消耗的功率，这进而可能会减缓对自主交通工具的接受。
[0465]
本公开的各个实施例可以通过提供基于超分辨率升尺度方法的可扩展传感器方法来解决该问题。例如，可以部署具有相对低分辨率的传感器。然后，可以通过使用超分辨率处理方法将从此类传感器获得的低分辨率数据升尺度为高分辨率数据。任何合适的超分
辨率升尺度方法都可以被利用。例如，可以通过各种深度神经网络(诸如深度生成模型)来执行升尺度。作为另一示例，可以使用使用知识精炼技术训练的模型来执行升尺度。在各个实施例中，此类网络可以对真实世界的数据进行训练，以从低分辨率数据中得到高分辨率数据。
[0466]
图72描绘了根据某些实施例的用于生成包括高分辨率和对应的低分辨率图像的训练数据的流程。该流程可以开始于使用一个或多个高分辨率传感器捕获高分辨率图像7202(具有高质量)。在7204处，高分辨率图像随后被转换为看起来像使用一个或多个低分辨率传感器生成的图像(例如，低分辨率图像7206)。高分辨率到低分辨率的转换7204可以以任何合适的方式被执行。在各个示例中，一个或多个低通滤波器可被应用于高分辨率图像(例如，导致图像的平滑)，可对高分辨率图像执行子采样，噪声可被添加到高分辨率图像(例如，椒盐噪声可被添加以模仿天气状况(例如，雨或雪))，高分辨率图像可以被下采样、彩色图像的通道(例如，rgb值)可以被随机化(例如，以模拟各种光照条件)，其他技术可被执行，或者各技术的组合可被计算系统(例如，车载计算系统)执行。可以使用来自任何数量的传感器的数据执行图72的流程任何次数，以生成丰富的训练数据集。
[0467]
附加地或替代地，训练数据可以通过使用高分辨率传感器和低分辨率传感器同时捕获图像来获得。得到的图像可以在位置和时间方面进行校准，使得图像表示在同一时刻的相同的视场。因此，每个高分辨率图像可以具有对应的低分辨率图像。
[0468]
图73描绘了根据某些实施例的用于从低分辨率图像生成高分辨率图像的模型7310的训练阶段。在训练阶段期间，基于深度学习的生成网络7302可以接收作为基础事实的高分辨率图像7306和对应的低分辨率图像7304。网络7302生成作为输出的高分辨率图像7308，并将这些图像与基础事实的高分辨率图像7306进行比较。所生成的高分辨率图像与对应的基础事实图像之间的误差被反向传播以训练网络7302的参数。在一些实施例中，误差是基于损失函数的，该损失函数也考虑到对抗性攻击的稳健性。一旦模型7310被训练，该模型7310可以被部署在交通工具中以用于在配备有低分辨率相机的汽车中(例如，使用推断引擎)进行推断。该训练方法具体优点在于，它不需要昂贵的针对基础事实的加标签过程，并且因此在某种意义上是无监督的。
[0469]
在各个实施例中，可以使用任何合适的机器学习模型来从低分辨率图像生成高分辨率图像(也被称为图像超分辨率)。例如，可以使用生成神经网络(其中可能存在或不存在攻击者)。在一些实施例中，该模型可以基于卷积神经网络(cnn)、邻域嵌入回归、随机森林、或其他合适的机器学习架构。作为各个示例，可以使用非常深的超分辨率(vdsr)模型、学习方法的单图像超级分辨率(sisr)模型、重建方法的sisr模型、超级分辨率卷积神经网络(srcnn)、或任何其他合适的模型。
[0470]
图74描绘了根据某些实施例的用于从低分辨率图像生成高分辨率图像的模型7310的训练阶段。在推断阶段期间，由一个或多个低分辨率相机捕获的低分辨率图像7402被供应给生成模型7310。生成模型7310使用训练期间确定的参数来处理图像7402，并输出高分辨率图像7406。由生成模型7310生成的高分辨率图像可用于感知或自主交通工具堆叠的其他合适的块。
[0471]
尽管上述示例集中于相机图像数据的处理，但类似的超分辨率升尺度方法可应用于其他传感器数据，诸如激光雷达数据。原始激光雷达数据可包括跨视场的深度或距离测
量阵列。超分辨率处理可以以与相机图像数据非常类似的方式应用于此类二维(2
‑
d)阵列。如上所述，可以使用收集到的高分辨率激光雷达数据作为基础事实来训练基于深度学习的生成网络。随后，经训练的网络可以被部署在自主交通工具中，以将低分辨率的激光雷达数据升尺度为高分辨率的激光雷达数据。在特定的实施例中，类似的超分辨率处理方法也可用于将以点云格式的激光雷达数据升尺度。
[0472]
在本公开的各实施例中，知识精炼技术可用于支持可扩展的感测。知识精炼是通过将知识从较大的教师模型或教师模型的全体迁移到学生来改善学生模型的准确性的技术。尽管诸如激光雷达和相机之类的传感器之间的感测技术不同，但它们所能检测到的特征存在重叠。例如，3d相机可以提供深度信息，尽管3d相机以比激光雷达传感器的分辨率更低的分辨率提供深度信息，激光雷达传感器提供场景的高分辨率3d建图。一般来说，使用较低分辨率传感器训练的模型往往不如使用较高分辨率传感器训练的模型准确，即使人类观察者可能能够正确地标识低分辨率图像中的对象。在本公开的特定实施例中，知识提炼可用于将知识从使用各种类型的高成本传感器(例如，激光雷达和高分辨率相机)训练的教师模型的全体迁移到使用低成本传感器(例如，低分辨率相机或低分辨率激光雷达)的学生模型。
[0473]
在训练期间，知识精炼使用多任务损失将知识从教师迁移到学生，该多任务损失使模型的主要任务(例如，对象检测)的损失以及教师网络如何编码其特征与学生网络如何编码其特征之间的精炼损失最小化。训练数据是通过使用校准和时间戳同步数据而生成的，以确保高成本传感器和低成本传感器两者均在观看同一场景。
[0474]
图75描绘了根据某些实施例的用于使用知识精炼来训练学生模型7504的训练阶段。首先，使用高成本传感器7506和7508训练包括模型7510和7512的全体7502的教师模型，以便尽可能准确地检测对象。接下来，来自教师模型7510和7512的全体7502的知识通过根据由教师模型的全体7502预测的对象概率分布计算软目标7512和7514，并使用软目标7512和7514来教导学生模型7520如何归纳信息，从而被迁移到学生模型7520。软目标7512和7514与从基础事实标签7526获得的硬目标(预测7524)结合使用，以改善学生模型的准确性。
[0475]
任何合适的模型可以被用于模型的全体7502或学生模型7520。在特定的实施例中，这些模型中的一个或多个模型包括卷积神经网络(cnn)。在一些实施例中，这些模型中的一个或多个模型包括循环神经网络(rnn)(例如，在学习如何通过预测限制对象的多边形坐标的序列来对场景中的像素进行归类的分割模型中)。又其他实施例可以包括包含任何合适的神经网络的模型或其他机器学习模型。
[0476]
在特定的实施例中，软目标7512、7514和7522可以从不是最终输出的相应分类算法(例如，神经网络)的层中被提取。例如，在对象检测模型中，软目标可以指示以下各项中的一项或多项：对象的边界框的尺寸、针对对象确定的一个或多个类、或与每个类相关联的可能性(例如，.7猫，.3狗)。在分割模型中，对于每个像素，软目标可以指示该像素相对于不同语义类别的softmax概率。在特定的实施例中，软目标可以包括来自神经网络的特定层的特征图的信息。
[0477]
经融合的软目标7516可以以任何合适的方式从软目标7512和7514确定。作为各个示例，软目标可以使用加权平均数、dempster
‑
shafer理论、决策树、贝叶斯推断、模糊逻辑、
从本文描述的基于情境的传感器融合方法衍生的任何技术、或其他合适的方式被组合。在一个实施例中，可以对边界框执行联合操作，其中，对于由模型7510预测的边界框和由模型7512预测的边界框而言共同的区域被确定为7516中经融合的软目标的边界框。在各个实施例中，软目标可以以任何合适的方式被融合在一起。
[0478]
硬预测7524可以是模型7520的最终输出。作为示例，硬预测7524可以包括针对检测到的对象或像素所预测的类别。
[0479]
精炼损失7530是由高成本传感器预测的经融合的软目标7516与由低成本相机7518预测的对应软目标7522之间的差异。
[0480]
替代于仅根据学生损失7528(例如，硬预测7524和基础事实标签7526之间的差异)优化学生模型7520，多任务损失(包括学生损失7528和精炼损失7530)被用于调整学生模型7520的参数。
[0481]
图76描绘了根据某些实施例的用于使用知识精炼训练的学生模型的推断阶段。在推断期间，学生模型仅使用来自一个或多个低成本传感器的数据(在相机图像数据的情况下)检测对象。在其他实施例中，类似的推断过程可能涉及激光雷达数据输入(例如，来自具有较低分辨率的低成本激光雷达)。在这种情况下，学生模型也将利用lidar数据作为输入来进行训练。
[0482]
在各个实施例中，所描绘的模型可以适于任何合适的传感器。父全体7502或学生模型可以包括任何数量、质量和/或类型的传感器。例如，学生模型可以使用来自低成本的激光雷达传感器(例如，具有比作为教师全体的一部分的高分辨率激光雷达传感器的分辨率更低的分辨率)的数据来进行训练。在另一个实施例中，学生模型可以利用来自低分辨率相机7518以及低分辨率激光雷达(或任何其他合适的质量或类型的传感器)两者的数据进行训练以具有经融合的软目标和硬目标，该经融合的软目标和硬目标用于确定学生的损失7528并且与经融合的软目标7516进行比较以确定精炼损失7530。在此类实施例中，类似的推断过程当被部署在交通工具时可用于激光雷达和相机数据输入的组合。
[0483]
在特定的实施例中，高分辨率传感器数据从自主交通工具中被捕获。使用诸如低通滤波、子采样、或其他合适的技术之类的技术将高分辨率传感器数据转换为低分辨率传感器数据。生成机器学习模型被训练用于将低分辨率传感器数据转换为高分辨率传感器数据。在推断期间，通过使用经训练的生成机器学习模型将低分辨率传感器数据转换为高分辨率传感器数据，在交通工具处执行对象检测操作。
[0484]
在另一个特定的实施例中，通过使用来自不同类型的传感器(例如，相机、激光雷达等)的高分辨率数据来训练机器学习模型的全体，以执行自主交通工具堆叠的任务。通过结合机器学习模型全体的经融合的软预测目标与学生机器学习模型的软预测目标之间的精炼损失来将来自使用高分辨率传感器数据训练的机器学习模型全体的知识迁移到使用低分辨率传感器数据训练的学生机器学习模型。在推断期间，通过利用使用低分辨率传感器数据的经训练的学生机器学习模型来在交通工具处执行对象检测操作。
[0485]
图77描绘了根据某些实施例的用于增加所捕获的图像的分辨率以用于对象检测的流程。在7702处，第一图像数据由交通工具的第一传感器捕获，该第一图像数据具有第一分辨率。在7704处，使用机器学习模型将第一图像数据转换为具有第二分辨率的第二图像数据，其中，第二分辨率高于第一分辨率。在7706处，基于第二图像数据对交通工具执行对
象检测操作。
[0486]
图78描绘了根据某些实施例的用于基于方法全体来训练机器学习模型的流程。在7802处，机器学习模型全体被训练以执行自主交通工具堆叠的任务，该全体包括使用具有第一分辨率的图像数据训练的第一机器学习模型和第二机器学习模型。在7804处，至少部分地基于机器学习模型全体的经融合的软预测目标与第三机器学习模型的软预测目标之间的精炼损失来训练第三机器学习模型。
[0487]
众所周知，人类具有有限的感知能力。考虑到自主交通工具上的传感器数量，自主交通工具的可能益处之一在于接收更大量的与道路有关的信息的能力，从而增加安全性。然而，即使是自主交通工具，其传感器阵列也易于出现错误和盲区。在自主交通工具的感知和运动规划方中确认并考虑到这些限制是重要的。
[0488]
安装在路边单元上的激光雷达和雷达可以沿道路存在，这可以给道路上的交通工具提供附加的信息。类似地，协作式感测的使用与自主交通工具的协作式驾驶非常好地适配。作为一个示例，卡车和服务车队的列队在协作式驾驶正在被使用时可以利用协作式感测。作为另一示例，道路上的消费者交通工具(这些交通工具可能不知晓彼此)也可以有助于协作式驾驶并进行协作式感测。
[0489]
图79图示出其中自主交通工具具有被遮挡的传感器，从而使驾驶情况具有潜在的危险的情况的示例。可以看到，交通工具7905尾随交通工具7910。考虑到交通工具7910的尺寸，交通工具7915对于交通工具7905而言是被遮挡的。在图79中描述的情况下，交通工具7905移动以经过交通工具7910。然而，交通工具7915同时正在改变车道，并且交通工具7905没有意识到这种情况的潜在危险。然而，当自主交通工具能够接收来自周围交通工具和/或其他外部传感器的附加信息时，这些危险中的一些危险可以被缓解。另外，使用交通工具之间的其他通信可以创建更安全的驾驶环境。
[0490]
虚拟现实感知的概念设想汽车通过周围交通代理(诸如，例如道路上的动态汽车、监控相机、安装在交叉口或转弯处的相机、交通标志、和交通信号灯)的眼睛看到其环境。当交通工具的感知和/或动态地图不是最新的时，该信息可用于遮挡检测。另外，经增强的感知可以通过以仅依赖于车载传感器组所不能实现的方式增强感知场来改善决策。例如，当交通工具接近被遮挡的人行横道时，具有来自非交通工具上的传感器的信息可以改善安全性。如果汽车现在可以使用来自其他交通代理的传感器看到被遮挡的人行横道，则可以正确地确定正在接近的交通工具的速度。
[0491]
组合协作式感测、协作式决策、和语义通信语言的系统和方法可以极大地改善自主交通工具的安全性。在图80所示的高级架构图中图示出了使用交通工具协作的系统的示例。图80的系统8000可以为自主交通工具提供协作式感测、决策和通用语义通信语言。当交通工具与一个或多个周围的交通工具通信以基于由相应交通工具的传感器感测的数据进行通信时，发生协作式感测。
[0492]
图80的示例示出包括协作式地通信的两个交通工具(v1和v2)的系统。根据图80中描绘的示例，每个交通工具包括内部感测模块8020、增强的感测模块8030、外部感测模块8010、协作式决策器8050、自主交通工具决策器模块8040、和轨迹规划和执行模块8060。
[0493]
内部感测模块8020包括自主交通工具的感测信息，诸如由自主交通工具在路线规划和执行时传统意义上使用的数据。作为示例，感测模块8020可以包括由车载传感器感测
到的信息。外部感测模块8010包括从另一交通工具获得的信息(例如，v1的感测模块8010可以包括从v2接收到的所感测的信息)。该数据可以采取任何形式。在一些实施例中，该数据经由语义通信进行交换。在本公开的各个实施例中，由交通要素(例如交通工具或路边计算单元)利用的新颖的语义语言允许交通工具以快速和安全的模式管理其通信。这种用于交通中的通信的通用语言可以包括感测数据和规划数据两者，并可由其他交通组件共享和利用。语义通信可以作为广播或基于请求/响应的方式来被执行。此外，语义语言可以使用任何可用的传输协议(例如，蓝牙或zigbee)来进行传输。如果两个交通工具试图共享它们从其传感器接收到的所有数据，那么数据传输的规模可能太大，并且传输和分析花费太长时间。在需要立即做出决策的情况下，语义通信将允许关于道路上的重要安全性问题进行快速通信。作为示例，语义语言将允许交通工具彼此共享具体情况，诸如交通工具或其他对象的位置以及交通工具或对象的移动模式或规划(诸如交通工具改变车道的规划)。
[0494]
如上所述，从一个交通工具到另一个交通工具的所感测数据的传输可被视为协作式感测。自主交通工具通常配备有广泛范围和数量的传感器。由这些传感器提供的数据可以使用计算机视觉算法或基于激光雷达/雷达的数据处理方法进行实时分析。根据本文提出的实施例，来自传感器的数据可以被处理和分析，并且可以在交通工具之间共享结果。物理传感器中的每个物理传感器在范围、视场、天气状况等方面都具有其自己的限制。正如参考图79的示例所讨论的，在道路上存在其中交通工具的传感器中有一个或多个传感器被遮挡的许多实例。协作式感测允许交通工具使用来自另一交通工具或其他交通对象(例如，沿道路的交通传感器和相机(诸如图1中所图示出那些传感器中的任何传感器或其他合适的传感器))的数据来增强自主交通工具的视场。
[0495]
参考图80的实例，系统8000还可以包括每个交通工具上的协作式决策器模块8050。协作式决策器模块8050可以接收与另一交通工具的决策相关的数据，诸如交通工具的经规划的路线。因此，自主交通工具可以鉴于新的数据集来调整其自己的路径规划，并且具体地是运动规划。与另一交通工具的决策相关的数据可以包括与另一交通工具做出的决策相关的数据。例如，如果两个交通工具正在规划切换车道，那么它们可以向彼此发出警报，并且两个交通工具可以相应地协调和规划它们的动作。协作式决策可以比使用自主交通工具之间的纯协商更加普遍和可靠，并且在一些实施例中可以考虑由交通工具或其他传感器感测到的附加对象。协作式决策可以允许解决更复杂的优化问题，并且结果可以与周围的交通组件(例如，其他交通工具或路边辅助计算单元)共享。根据一些示例，协作式决策器模块8050使用语义语言彼此通信。
[0496]
协作式决策、协作式感测和语义语言中的任何一者或多者可允许自主交通工具更有效地和安全地行进。作为示例，两个主要的潜在碰撞情况涉及两个交通工具之间的高速差和/或前向交通工具与后向交通工具之间的小距离。基于时间的碰撞指标可以在数学上被定义。此类指示符可用于在安全的轨迹与不安全的轨迹之间进行区分。在一些实施例中，交通工具可以在不需要对由另一交通工具感知的原始数据进行重复计算和分析的情况下分析潜在危险情况的透彻图片。当数据集被压缩时，较小的带宽被用来发送信息。图81图示出其中由多个交通工具设想多个动作的情况的示例。对协作式决策、协作式感测和语义语言的组合将使交通工具能够在该情况和其他情况下安全地进行操纵。
[0497]
系统8000还包括增强的感测模块8030。这些模块从外部源(例如，交通工具外部的
任何源，诸如图1中所示的源中的任何源)接收传感器信息。该数据可以补充经由外部感测模块8010和语义通信从其他交通工具接收到的传感器数据。在一个示例中，模块8030可以接收包括由(或基于由)一个或多个传感器从附近的另一交通工具或交通代理收集到的数据的完整数据流。
[0498]
自主交通工具决策器模块8040可以基于从传感器(无论是内部传感器还是外部传感器)接收到的信息来做出自主交通工具驾驶决策。根据一个示例实施例，协作式决策器模块8050与自主交通工具决策器模块8040分开，从而允许由自主交通工具在其决策和规划时考虑附加的信息。
[0499]
系统8000还包括每个交通工具的轨迹规划和执行模块8060。模块8060可以执行由交通工具的决策器模块8040或8050做出的驾驶决策；或者可以基于由这些模块确定的决策来规划交通工具的轨迹。
[0500]
图80中描绘的系统仅仅表示在特定实施例中可能出现的模块。其他实施例可包括本文未具体提及的附加模块。另外，一个或多个模块可以被省略，或者模块可以在其他实施例中被组合。
[0501]
为了实现围绕自主交通工具的360度感知，各个系统可能包括具有不同模态的众多传感器。在一些情况下，此类传感器可能导致传感器之间的冗余。然而，增加的传感器数量可能添加硬件成本(例如，既在传感器的价格方面上又在相关联的处理单元的价格方面上)，并可能导致自主交通工具堆叠对特定传感器配置的依赖性。这抑制了自主交通工具解决方案跨各种类型的交通工具的可扩展性(例如，紧凑型交通工具可能利用与运动多功能型交通工具的配置非常不同的配置)。当使用固定的传感器时，传感器配置(例如，传感器的类型和传感器在交通工具上的位置)是为每个自主交通工具类型而定制的，以实现交通工具周围感知范围内的完全冗余。
[0502]
本公开的各个实施例提供了自适应图像传感器以实现可变视场(fov)和聚焦范围。类似于人类的视觉系统，特定的实施例可以通过实现传感器的垂直旋转和水平旋转(类似于眼球和颈部移动以扩大视场)来将物理移动添加到传感器。特定的实施例可以利用可以旋转以覆盖更大的fov的一个或多个变焦(ptz)相机。在相机旋转之后，可使用一个或多个被附接在交通工具上的标记来执行校准阶段。在一些实施例中，机器学习算法可以被训练以自动进行校准过程，当特定的传感器要被重新校准时，调用对标记的使用。各个实施例消除了对交通工具上的传感器的固定位置的依赖性，以及用于实现视场的完全覆盖的多个冗余传感器。在各个实施例中，外部机械实施和智能(例如，对原始传感器数据进行预处理)可以将功能添加到已经存在的传感器。可以通过本文描述的实施例中的一个或多个实施例来实现各种优点，诸如减少传感器的数量、减少需要被感测的数据量、或减少感测期间使用的功率。
[0503]
标准单目相机的标准视场是40
°
乘30
°
，在自主交通工具的情境中，该视场是相对狭窄且有限的视场。由于传感器的该受限的视场，因此许多自主交通工具包括交通工具上的不同位置处的多个传感器。取决于av的轨迹，交通工具周围的各个传感器所感测到的数据并不是同等重要的，它们也不具有同等有用的信息。例如，对于在空旷的高速公路上驾驶的av而言，对av最有用的信息可能从来自一个或多个前向传感器(而来自后向传感器的数据并不那么重要，但可以偶尔被检查)获得。
[0504]
在本公开的各个实施例中，交通工具可以包括用于传感器的自动化机械底座，以使传感器能够在左、右、上和下方向上旋转。尽管相机的固定注视可能是有限的(例如，到40
°
乘30
°
)，但机械底座的运动将有效地增加视场。因此，可以通过移动一个或多个传感器的注视/注意力来捕获交通工具的环境的有用信息。在特定的实施例中，传感器的移动是基于在交通工具周围检测到的运动而智能地自动进行的。
[0505]
图82描绘了具有动态可调节的图像传感器8202a
‑
c和校准标记8204a
‑
d的交通工具8200。交通工具8200可以具有本文所述的交通工具(例如105)中的任何交通工具的任一个或多个特征。图像传感器8202可以包括用于实现传感器的功能的任何合适的逻辑。尽管该示例描绘了图像传感器8202和校准标记8204的特定数量和位置，但是各个实施例可以包括安装在交通工具的任何合适位置处的任何合适数量的图像传感器和校准标记。
[0506]
在各个实施例中，校准标记8204被附接到交通工具8200。标记8204可以被放置在交通工具外部的任何合适的位置处。标记8204可以具有任何合适的形状(例如，小球体、点、圆柱体等)。标记可具有与标记所附接的交通工具8200的外部部分不同的颜色，以便在校准期间执行的图像捕获期间辅助检测。标记和相机的具体位置(以及它们之间的距离)可在校准期间用于动态地调整图像传感器8202的视场或其他参数。
[0507]
响应于来自交通工具8200的控制单元(例如，系统管理器250)的控制信号，图像传感器8202可以在水平和/或垂直方向上旋转。在一些实施例中，图像传感器8202也可以被安装在轨道或其他机械装置上，以便图像传感器可以响应于控制信号而被垂直地或水平地移位。图像传感器8202可以响应于任何合适的条件而被移动(例如，在水平和/或垂直方向上旋转和/或移位)到任何合适的位置。例如，在所描绘的实施例中，交通工具在正常操作期间可以具有三个前向的相机8202a、8202b和8202c。为了响应即将到来的车道改变，图像传感器8202c可以如图83所描述的水平地被旋转(例如，以捕获交通工具8200的侧面和后面的视场)。一旦车道改变已完成(或者，例如，响应于确定没有潜在的危险对象在视场中)，图像传感器可以返回到其原始位置。传感器8202b可以以类似的方式旋转，以响应于控制信号而捕获交通工具的另一侧。在另一个示例中，通常面向前方的传感器(例如8202a)可以在水平方向上旋转(例如180度)，以周期性地捕获交通工具8200的后方的图像。
[0508]
一个或多个标记8204可被用于对一个或多个图像传感器8202的移动进行校准。作为示例，当图像传感器8202要被移动时，控制单元可以提供调整指令(其中，该指令可以直接包括调整单位或对图像传感器8202可以转换为调整单位的传感器配置的标识)。在各个示例中，调整单位可以包括水平旋转的程度、垂直旋转的程度、水平距离、垂直距离、变焦级别和/或其他合适的调整。传感器8202可以影响所指令的调整并可以发起图像数据(例如，图片或视频)的捕获。
[0509]
来自传感器8202的图像数据被馈送回交通工具的控制单元。控制单元可以处理图像并检测图像数据中的一个或多个标记8204d的位置和/或尺寸。如果一个或多个标记在图像中未处于正确位置和/或不是正确的尺寸，控制单元可确定附加的调整指令并将其提供给传感器。附加的图像捕获和调整可以被执行，直到(多个)标记在图像数据内是所期望的尺寸和/或具有所期望的位置(在一些实施例中，在第二次调整之后，图像传感器可以被假定为处于合适的配置中，而无需对(多个)标记进行附加的分析)。在各个实施例中，调整指令和(例如，如由图像中的标记的位置和尺寸反映的)结果由控制单元存储，并用于细化未
来的调整指令。
[0510]
在特定的实施例中，替代嵌入在交通工具8200中的显式标记，汽车的轮廓可被用作校准的标记，尽管此类实施例可能调用用于校准的更密集处理。
[0511]
在一些实施例中，不在每次移动传感器8202时执行校准。在其他实施例中，可以不在每次移动传感器8202时执行校准，而是例如周期性地、每n次移动传感器执行一次校准、或者响应于确定校准将是有用的而执行校准。
[0512]
在各个实施例中，控制单元可以响应于与汽车相关联的检测到的状况而引导一个或多个传感器的移动。在特定的实施例中，可以基于对传感器数据(例如，来自一个或多个图像传感器8202或交通工具的其他传感器或相关联的传感器)的基于时间的分析来检测此类状况。在一些实施例中，传感器的运动可以响应于一个或多个传感器的视场中的运动而被引导(例如，特定的图像传感器8202可以具有其被调整以跟踪对象的运动，例如，以跟踪另一交通工具经过交通工具100或被交通工具100经过)。在各个实施例中，移动可以响应于对驾驶环境改变的检测而被引导(例如，当在高速公路上驾驶时，传感器可能占主导地面对前进方向，但在城市驾驶期间可能更经常面向侧面)。在一些实施例中，用于引导传感器移动的状况可以是所预测的状况(例如，基于减速、检测到指示城市驾驶的对象、和/或gps数据从高速公路到城市的所预测的合并)。在各个实施例中，可以利用机器学习来检测状况，以触发一个或多个传感器的移动。
[0513]
图84描绘了根据某些实施例的用于调整交通工具的图像传感器的流程。在8402处，用于交通工具的图像传感器的位置调整指令被生成。在8404处，来自交通工具的图像传感器的图像数据被接收。在8406处，图像数据内交通工具的标记的位置和尺寸被检测。在8408处，基于图像数据内交通工具的标记的位置和尺寸来生成用于交通工具的图像传感器的第二位置调整指令。
[0514]
图85
‑
图86是根据本文中所公开的实施例的可使用的示例性计算机架构的框图。也可使用针对处理器和计算系统的本领域中已知的其他计算机架构设计。一般而言，用于本文中所公开的实施例的合适的计算机架构可以包括但不限于图85
‑
图86中所图示的配置。
[0515]
图85是根据实施例的处理器的示例图示。处理器8500是可以与上文的实现方式结合使用的一种类型的硬件设备的示例。处理器8500可以是任何类型的处理器，诸如微处理器、嵌入式处理器、数字信号处理器(dsp)、网络处理器、多核处理器、单核处理器、或用于执行代码的其他设备。虽然在图85中图示出仅一个处理器8500，但处理元件可替代地包括多于一个的图85中所图示的处理器8500。处理器8500可以是单线程核，或者对于至少一个实施例，处理器8500可以是多线程的，因为其每个核可包括多于一个硬件线程上下文(或“逻辑处理器”)。
[0516]
图85还图示出根据实施例的耦合至处理器8500的存储器8502。存储器8502可以是对于本领域技术人员而言已知或以其他方式可用的各种各样的存储器(包括存储器层级结构的各层)中的任何存储器。此类存储器元件可以包括但不限于随机存取存储器(ram)、只读存储器(rom)、现场可编程门阵列(fpga)的逻辑块、可擦除可编程只读存储器(eprom)、以及电可擦除可编程rom(eeprom)。
[0517]
处理器8500可以执行与本文中详细描述的算法、过程、或操作相关联的任何类型
的指令。一般而言，处理器8500可以将元件或制品(例如，数据)从一种状态或事物变换成另一种状态或事物。
[0518]
代码8504(其可以是用于由处理器8500执行的一条或多条指令)可被存储在存储器8502中，或者可被存储在软件、硬件、固件、或其任何合适的组合中，或者在适当的情况下并且基于特定需要而被存储在任何其他内部或外部组件、设备、元件、或对象中。在一个示例中，处理器8500可以遵循由代码8504指示的指令的程序序列。每条指令进入前端逻辑8506并且由一个或多个解码器8508处理。解码器可生成诸如采用预定义格式的固定宽度的微操作之类的微操作作为其输出，或者可生成反映原始代码指令的其他指令、微指令、或控制信号。前端逻辑8506还包括寄存器重命名逻辑8510和调度逻辑8512，调度逻辑8512一般分配资源并对与供执行的指令对应的操作进行排队。
[0519]
处理器8500还可以包括具有一组执行单元8516a、8514b、8516n等的执行逻辑8514。一些实施例可包括专用于特定功能或功能集合的数个执行单元。其他实施例可包括仅一个执行单元或可以执行特定功能的一个执行单元。执行逻辑8514执行由代码指令指定的操作。
[0520]
在对由代码指令指定的操作的执行完成之后，后端逻辑8518可以对代码8504的指令进行引退。在一个实施例中，处理器8500允许乱序执行但要求对指令的有序引退。引退逻辑8520可以采取各种已知的形式(例如，重排序缓冲区等等)。以此方式，至少对于由解码器所生成的输出、硬件寄存器和由寄存器重命名逻辑8510利用的表以及由执行逻辑8514修改的任何寄存器(未示出)而言，处理器8500在代码8504的执行期间被转换。
[0521]
虽然未在图85中示出，但处理元件可包括与处理器8500一起处于芯片上的其他元件。例如，处理元件可包括与处理器8500一起的存储器控制逻辑。处理元件可包括i/o控制逻辑和/或可包括与存储器控制逻辑一起被集成的i/o控制逻辑。处理元件还可包括一个或多个高速缓存。在一些实施例中，非易失性存储器(诸如闪存或熔丝)也可与处理器8500一起被包括在芯片上。
[0522]
图86图示出根据实施例的以点对点(ptp)配置布置的计算系统8600。具体而言，图86示出了其中处理器、存储器以及输入/输出设备通过数个点对点接口互连的系统。一般而言，本文中所描述的计算系统中的一个或多个计算系统能以与计算系统8500相同或类似的方式来配置。
[0523]
处理器8670和8680还可各自包括集成存储器控制器逻辑(mc)8672和8682以与存储器元件8632和8634通信。在替代实施例中，存储器控制器逻辑8672和8682可以是与处理器8670和8680分开的分立逻辑。存储器元件8632和/或8634可以存储要由处理器8670和8680使用于获取本文中所概述的操作和功能中的各种数据。
[0524]
处理器8670和8680可以是任何类型的处理器，诸如结合本文中其他附图所讨论的那些处理器。处理器8670和8680可经由分别使用点对点(ptp)接口电路8678和8688的点对点接口8650来交换数据。处理器8670和8680可各自经由使用点对点接口电路8676、8690、8686和8694的各个点对点接口8652和8654与芯片组8698交换数据。芯片组8690还可经由接口8638与协处理器8638交换数据，协处理器8639诸如高性能图形电路、机器学习加速器、或其他协处理器3738，接口3739可以是ptp接口电路。在替代实施例中，图86中所图示的ptp链路中的任一者或全部可被实现为多分支总线而不是ptp链路。
[0525]
芯片组8690可经由接口电路8696与总线8620通信。总线8620可具有通过该总线通信的一个或多个设备，诸如总线桥8618和i/o设备8616。经由总线8610，总线桥8618可与其他设备通信，这些其他设备诸如用户接口8612(诸如键盘、鼠标、触摸屏、或其他输入设备)、通信设备8626(诸如调制解调器、网络接口设备、或可通过计算机网络8660通信的其他类型的通信设备)、音频i/o设备8614、和/或数据存储设备8628。数据存储设备8628可存储代码8630，该代码8630可由处理器8670和/或8680执行。在替代实施例中，总线架构的任何部分可利用一个或多个ptp链路来实现。
[0526]
图86中所描绘的计算机系统是可用于实现本文中所讨论的各实施例的计算系统的实施例的示意性图示。将会领会，图86中所描绘的系统的各组件能以芯片上系统(soc)架构或以能够实现本文中所提供的示例和实现方式的功能和特征的任何其他合适的配置来组合。
[0527]
尽管本文中所描述和图示的系统和解决方案中的一些已被描述为包含多个元件或与多个元件相关联，但并非所明确图示或描述的所有元件均可用于本公开的每个替代实现方式中。另外，本文中所描述的元件中的一个或多个元件可位于系统外部，而在其他实例中，可将某些元件包括在一个或多个其他所描述的元件以及未在所图示的实现方式中描述的其他元件内，或者可将某些元件作为一个或多个其他所描述的元件以及未在所图示的实现方式中描述的其他元件的部分。此外，某些元件可与其他组件相组合，并且除本文中所描述的那些目的之外还可用于替代目的或附加目的。
[0528]
进一步地，应该理解到，上文所呈现的示例是仅为了说明某些原则和特征的目的而提供的非限制性示例，并且不一定限制或约束本文中所描述的概念的可能的实施例。例如，各种不同的实施例可以利用本文中所描述的特征和组件的各种组合来实现，包括通过本文中所描述的组件的各种实现方式所实现的组合。从本说明书的内容应当领会其他实现方式、特征和细节。
[0529]
尽管已经在某些实现方式和一般相关联方法的方面描述了本公开，但这些实现方式和方法的更改和置换将对于本领域技术人员来说是显而易见的。例如，本文中描述的动作可以以与所描述的顺序不同的顺序来执行，并仍获得期望的结果。作为一个示例，所附附图中描绘的过程并不一定要求所示的特定顺序、或顺序地来实现所期望的结果。在某些实现方式中，多任务处理和并行处理可能是有利的。另外，也可以支持其他用户接口布局和功能。其他变型落在所附权利要求的范围之内。
[0530]
虽然本说明书包含许多具体实现细节，但这些具体实现细节不应当被解释为对任何发明或可声称权利的范围的限制，而是被解释为针对特定发明的特定实施例的特征的描述。也可将在本说明书中单独的各实施例的情境中所描述的某些特征以组合的形式，在单个实施例中实现。反之，也可单独地在多个实施例中，或在任何合适的子组合中实现在单个实施例的情境中所描述的各种特征。此外，虽然在上文中可能将多个特征描述为以某些组合的方式起作用且甚至最初是如此要求保护的，但是，在一些情况下，可将来自所要求保护的组合的一个或多个特征从组合中删除，并且所要求保护的组合可以针对子组合或子组合的变型。
[0531]
类似地，虽然在附图中以特定顺序描绘了多个操作，但不应当将此理解为要求按所示的特定顺序或顺序地执行此类操作，或者要求要执行所有示出的操作才能达成期望的
结果。在某些情况下，多任务处理和并行处理可能是有利的。此外，不应当将上文所描述的各实施例中的各种系统组件分开理解为在所有实施例中都要求进行此类分开，并且应当理解，一般可将所描述的程序组件和系统一起集成在单个的软件产品中，或将其封装近多个软件产品中。
[0532]
可以提供计算系统，包括车载计算系统(例如，用于实现自动驾驶堆叠的至少一部分并启用交通工具的自动驾驶功能)、路边计算系统(例如，与交通工具分开；在专用路边机柜中、在交通标志上、在交通信号灯或灯柱等上实现的路边计算系统)、实现支持自主驾驶环境的基于云的或基于雾的系统的一个或多个计算系统、或者远离自主驾驶环境的计算系统，这些计算系统可以包括使用以下各项中的一项或组合来执行或实现以下示例中的一个或组合的逻辑：一个或多个数据处理装置(例如，中央处理单元、图形处理单元、张量处理单元、asic、fpga等)、加速器硬件、其他硬件电路、固件、和/或软件。
[0533]
示例a1是一种方法，该方法包括从服务器接收高清地图数据；从耦合到自主交通工具的传感器设备接收传感器数据；基于与传感器数据的收集相关联的信息来计算传感器数据的置信度得分；基于传感器数据与高清地图中的、与自主交通工具在传感器数据被获得时的位置相对应的信息的比较来计算差量值；以及基于置信度得分和差量值来确定是否将传感器数据发布到服务器以用于更新高清地图。
[0534]
示例a2包括示例a1的主题，其中该方法进一步包括：响应于确定该置信度得分高于第一阈值并且该差量值高于第二阈值而将该传感器数据发布到该服务器。
[0535]
示例a3包括示例a1的主题，其中与传感器数据的收集相关联的信息包括以下各项中的一项或多项：数据收集时的天气数据、传感器设备配置信息、传感器设备操作信息、本地传感器确证数据、或传感器设备认证状态信息。
[0536]
示例a4包括示例a1
‑
a3中任一项的主题，其中该方法进一步包括利用伪匿名数字证书对传感器数据进行签名。
[0537]
示例a5包括示例a4的主题，其中伪匿名数字证书是基于v2x协议的。
[0538]
示例a6是一种设备，该设备包括存储器和耦合到存储器的处理电路，其中处理电路被配置成用于执行示例a1
‑
a5中任一项的方法。
[0539]
示例a7是一种系统，该系统包括用于执行示例a1
‑
a5中任一项的方法的装置。
[0540]
示例a8包括一种产品，该产品包括一种或多种有形计算机可读非暂态存储介质，包括计算机可执行指令，这些指令在由至少一个计算机处理器执行时可操作用于使至少一个计算机处理器能够实现示例a1
‑
a5的方法中的任一项的操作。
[0541]
示例a9是一种方法，该方法包括：从自主交通工具(av)接收传感器数据，该传感器数据包括指示传感器数据的置信度水平的置信度得分；至少部分地基于与该av相关联的信任得分来确定该av是否是受信任的，其中该信任得分至少部分地基于置信度得分和先前从该av接收到的传感器数据的一个或多个其他置信度得分；以及响应于确定该av是受信任的而使用该传感器数据更新高清地图。
[0542]
示例a10包括示例a9的主题，其中该方法进一步包括：确定置信度得分是否高于阈值，其中响应于置信度得分高于阈值而进一步更新高清地图。
[0543]
示例a11包括示例a9的主题，其中信任得分进一步基于传感器数据是否由av使用伪匿名数字证书来进行签名。
[0544]
示例a12包括示例a9的主题，其中确定av是否是受信任的是进一步基于av是否被列入黑名单。
[0545]
示例a13包括示例a9的主题，其中确定av是否是受信任的进一步基于传感器数据与来自该av附近的其他av的传感器数据的相关性。
[0546]
示例a14包括示例a9的主题，其中该方法进一步包括基于置信度得分来更新av的信任得分。
[0547]
示例a15包括示例a14的主题，其中更新信任得分包括以下各项中的一项或多项：响应于置信度得分高于第一阈值而递增信任得分，以及响应于置信度得分低于第二阈值而递减信任得分。
[0548]
示例a16是一种设备，该设备包括存储器和耦合到存储器的处理电路，其中处理电路被配置成用于执行示例a11
‑
a15中任一项的方法。
[0549]
示例a17是一种系统，该系统包括用于执行示例a11
‑
a15中任一项的方法的装置。
[0550]
示例a18包括一种产品，该产品包括一种或多种有形计算机可读非暂态存储介质，包括计算机可执行指令，这些指令在由至少一个计算机处理器执行时可操作用于使至少一个计算机处理器能够实现示例a11
‑
a15的方法中的任一项的操作。
[0551]
示例b1是一种方法，该方法包括从自主交通工具接收传感器数据；从传感器数据获得地理位置信息，该地理位置信息指示自主交通工具的位置；至少基于该地理位置信息来计算传感器数据的良好性得分；将良好性得分与阈值进行比较；以及响应于良好性得分高于阈值而将传感器数据存储在数据库中。
[0552]
示例b2包括示例b1的主题，其中该方法进一步包括基于地理位置信息来计算位置得分；以及计算良好性得分是基于位置得分和与传感器数据相关联的一个或多个其他得分。
[0553]
示例b3包括示例b2的主题，其中计算位置得分包括：访问与地理位置信息相关联的热图，该热图指示在多个位置处收集到的传感器数据量；从与由地理位置信息指示的位置相关联的热图获得值；以及使用来自热图的值计算位置得分。
[0554]
示例b4包括示例b2
‑
b3中任一项的主题，其中，良好性得分是位置得分和与传感器数据相关联的一个或多个其他得分的加权和。
[0555]
示例b5包括示例b2
‑
b4中任一项的主题，其中位置得分是地理位置信息和一个或多个附加类别的环境信息的加权和，每个类别的环境信息指示自主交通工具的位置的状况。
[0556]
示例b6包括示例b5的主题，其中一个或多个附加类别的环境信息包括以下各项中的一项或多项：指示自主交通工具的海拔的海拔信息、指示自主交通工具外的温度的温度信息、指示自主交通工具附近的天气状况的天气信息、以及指示由自主交通工具所穿越的区域的特征的地形信息。
[0557]
示例b7包括示例b5的主题，其中计算位置得分包括针对一个或多个附加类别的环境信息中的每一类别的环境信息：访问与该附加类别相关联的热图，该热图指示在多个位置处收集到的传感器数据量；从与由地理位置信息指示的位置相关联的热图中获得值；以及使用所获得的值来计算位置得分。
[0558]
示例b8包括示例b2
‑
b7中任一项的主题，其中所述一个或多个其他得分包括以下
各项中的一项或多项：传感器数据的噪声得分、以及传感器数据的对象多样性得分。
[0559]
示例b9包括示例1
‑
8中任一项的主题，其中从传感器数据获得地理位置信息包括以下各项中的一项或多项：获得传感器数据中的地理坐标信息以及分析传感器数据的元数据以获得地理位置信息。
[0560]
示例b10包括示例1
‑
9中任一项的主题，其中该方法进一步包括基于良好性得分来计算与自主交通工具相关联的交通工具可靠性得分。
[0561]
示例b11是一种设备，该设备包括存储器和耦合到存储器的处理电路，其中处理电路用于执行示例b1
–
b10的方法中一项或多项。
[0562]
示例b12是一种系统，该系统包括用于执行示例b1
–
b10的方法中一项或多项的装置。
[0563]
示例b13是一种产品，该产品包括一种或多种有形计算机可读非暂态存储介质，包括计算机可执行指令，这些指令在由至少一个计算机处理器执行时可操作用于使至少一个计算机处理器能够实现示例b1
–
b10的方法的操作。
[0564]
示例c1是一种方法，该方法包括从由交通工具的一个或多个传感器捕获的数据中标识一个或多个对象的实例；通过对照多个类别检查该实例并将多个类别中的至少一个类别分配给该实例来执行该实例的归类；基于该实例的归类来确定得分；至少部分地基于该得分来为该实例选择数据处置策略；以及基于所确定的数据处置策略来处理该实例。
[0565]
示例c2包括示例c1的主题，其中多个类别中的一个类别是指示一个或多个对象的检测频率的类别。
[0566]
示例c3包括示例c2的主题，其中检测频率指示在与捕获实例的一个或多个底层传感器数据流相关联的特定情境内的一个或多个对象的检测频率。
[0567]
示例c4包括示例c1
‑
c3中任一项的主题，其中多个类别中的一个类别是指示实例的多个检测到的对象之间的多样性水平的类别。
[0568]
示例c5包括示例c1
‑
c4中任一项的主题，其中多个类别中的一个类别是指示实例的一个或多个底层数据流的噪声水平的类别。
[0569]
示例c6包括示例c1
‑
c5中任一项的主题，其中该方法进一步包括基于实例的归类和由一个或多个传感器捕获的数据的情境来确定得分。
[0570]
示例c7包括示例c1
‑
c6中的任一项的主题，其中所选择的数据处置策略用于删除实例和该实例的一个或多个底层传感器数据流。
[0571]
示例c8包括示例c1
‑
c6中的任一项的主题，其中所选择的数据处置策略用于保存实例和实例的一个或多个底层传感器数据流以用于训练对象检测模型。
[0572]
示例c9包括示例c1
‑
c6中任一项的主题，其中所选择的数据处置策略用于生成包括至少一个图像的合成数据，该图像是与实例的检测到的图像相同类型的对象，该合成数据用于训练对象检测模型。
[0573]
示例c10包括示例c1
‑
c9中任一项的主题，进一步包括向机器学习训练模型提供归类结果，以及向交通工具的计算系统提供机器学习训练模型的参数，以用于对由交通工具检测到的对象的归类。
[0574]
示例c11是一种交通工具，该交通工具包括用于执行示例c1
–
c10的方法中一项或多项的计算系统。
[0575]
示例c12是一种设备，该设备包括存储器和耦合到存储器的处理电路，其中处理电路用于执行示例c1
–
c10的方法中的一项或多项。
[0576]
示例c13是一种系统，该系统包括用于执行示例c1
–
c10的方法中一项或多项的装置。
[0577]
示例c14包括至少一种机器可读介质，包括指令，其中这些指令当被执行时实现设备或实现如示例c1
‑
c10中任一项所述的方法。
[0578]
示例d1是一种方法，该方法包括：标识与从交通工具的一个或多个传感器捕获的传感器数据相关联的情境，其中该情境包括多个文本关键字；确定针对情境的附加图像数据是期望的；以及将该情境的多个文本关键字提供给合成图像生成器，该合成图像生成器用于基于该情境的多个文本关键字来生成多个图像。
[0579]
示例d2包括示例1的主题，其中合成图像生成器是生成对抗网络。
[0580]
示例d3包括示例d1
‑
d2中的任一项的主题，其中，确定针对情境的附加图像数据是期望的包括确定指示与情境相关联的可用传感器数据量的情境的常见性级别。
[0581]
示例d4包括示例d1
‑
d3中的任一项的主题，其中，确定针对情境的附加图像数据是期望的包括分析来自数据库的结果以确定所标识的情境是否是现实的。
[0582]
示例d5包括示例d4的主题，其中数据库包括从各个互联网数据源获得的数据的汇编。
[0583]
示例d6包括示例d4
‑
d5中任一项的主题，其中数据库包括从图像数据中提取的多个文本关键字，这些图像数据是从各个互联网数据源获得的。
[0584]
示例d7包括示例d1
‑
d6中任一项的主题，其中，该方法进一步包括：响应于确定情境的常见性级别而确定情境是否是现实的，其中，确定情境是否是现实的独立于确定情境的常见性级别而被确定。
[0585]
示例d8包括示例1
‑
7中任一项的主题，其中，响应于确定情境具有较低的常见性级别但仍是现实的而执行向合成图像生成器提供情境的多个文本关键字。
[0586]
示例d9包括示例1
‑
8中任一项的主题，其中所述多个文本关键字描述交通工具的操作环境。
[0587]
示例d10包括示例1
‑
9中任一项的主题，其中与所标识的情境相关联的传感器数据和由合成图像生成器生成的多个图像被添加到数据集中，以用于训练交通工具的一个或多个模型。
[0588]
示例d11是一种设备，该设备包括存储器和耦合到存储器的处理电路，处理电路用于执行示例d1
–
d10的方法中的一项或多项。
[0589]
示例d12是一种系统，该系统包括用于执行示例d1
–
d10的方法中一项或多项的装置。
[0590]
示例d13包括至少一种机器可读介质，包括指令，其中这些指令当被执行时实现设备或实现如示例d1
‑
d10中任一项所述的方法。
[0591]
示例e1是一种方法，该方法包括：访问包括多个图像样本或多个音频样本的良性数据集，良性数据集的样本具有已知标签；生成包括多个对抗性样本的模拟攻击数据集，其中对抗性样本通过对良性数据集的样本执行多种不同的攻击方法而生成；以及使用对抗性样本、已知标签、和多个良性样本来训练机器学习分类模型。
[0592]
示例e2包括示例e1的主题，其中该方法进一步包括将经训练的机器学习分类模型提供给交通工具，以用于对由该交通工具的一个或多个传感器检测到的样本进行分类。
[0593]
示例e3包括示例e1
‑
e2中任一项的主题，其中多种不同的攻击方法包括以下各项中的一种或多种：快速梯度符号法、迭代快速梯度符号法、深度欺骗法、或通用对抗性扰动。
[0594]
示例e4包括示例e1
‑
e3中任一项的主题，其中该方法进一步包括通过按照基于预期攻击比率的比率执行多种不同攻击方法来生成模拟攻击数据集。
[0595]
示例e5包括示例e1
‑
e4中任一项的主题，其中生成模拟攻击数据集包括利用多种不同攻击方法中的至少一种攻击方法的多个不同攻击强度。
[0596]
示例e6包括示例e1
‑
e5中任一项的主题，其中该方法进一步包括测量良性样本与对抗性样本的多个比率的分类准确性，以确定在训练期间使用的良性样本与对抗性样本的最优比率。
[0597]
示例e7包括示例e1
‑
e6中任一项的主题，其中该方法进一步包括在训练期间对对抗性样本的误分类施加惩罚。
[0598]
示例e8包括示例e1
‑
e7中任一项的主题，其中，良性数据集包括图像样本的集合。
[0599]
示例e9包括示例e1
‑
e7中任一项的主题，其中良性数据集包括音频样本的集合。
[0600]
示例e10是一种设备，该设备包括存储器和耦合到存储器的处理电路，处理电路用于执行示例e1
–
e9的方法中的一项或多项。
[0601]
示例e11是一种系统，该系统包括用于执行示例e1
–
e9的方法中一项或多项的装置。
[0602]
示例e12包括至少一种机器可读介质，包括指令，其中这些指令当被执行时实现设备或实现如示例e1
‑
e9中任一项所述的方法。
[0603]
示例f1是一种方法，该方法包括通过线性分类器对来自交通工具的输入样本进行分类；通过非线性分类器对来自交通工具的输入样本进行分类；检测线性分类器的准确性的改变；以及响应于线性分类器的准确性的改变而触发至少一个动作。
[0604]
示例f2包括示例f1的主题，其中所触发的至少一个动作包括重新训练线性分类器和非线性分类器。
[0605]
示例f3包括示例f1
‑
f2中任一项的主题，其中所触发的至少一个动作包括基于最近分类的输入样本来生成合成数据。
[0606]
示例f4包括示例f1
‑
f3中任一项的主题，其中所触发的至少一个动作包括确定是否对输入样本进行了攻击。
[0607]
示例f5包括示例f1
‑
f4中任一项的主题，其中所触发的至少一个动作包括对最近分类的输入样本的随机采样，该随机采样用于重新训练线性分类器和非线性分类器，最近分类的输入样本的其他样本不用于重新训练。
[0608]
示例f6包括示例f1
‑
f5中任一项的主题，其中检测线性分类器的准确性的改变包括检测线性分类器的准确性已经落到低于阈值。
[0609]
示例f7包括示例f1
‑
f6中任一项的主题，其中该方法进一步包括至少部分地基于使用非线性分类器对输入样本进行分类来执行对象检测。
[0610]
示例f8包括示例f1
‑
f7中任一项的主题，其中，输入样本从交通工具的一个或多个传感器被收集。
[0611]
示例f9是一种设备，该设备包括存储器和耦合到存储器的处理电路，处理电路用于执行示例f1
‑
f8的方法中的一项或多项。
[0612]
示例f10是一种系统，该系统包括用于执行示例f1
–
f8的方法中一项或多项的装置。
[0613]
示例f11包括至少一种机器可读介质，包括指令，其中这些指令当被执行时实现设备或实现如示例f1
‑
f8中任一项所述的方法。
[0614]
示例g1是一种方法，该方法包括将从图像数据中提取的特征提供给第一类预测模型并提供给第二类预测模型；确定第一类预测模型的输出与第二类预测模型的输出之间的差异；以及基于第一类预测模型的输出与第二类预测模型的输出之间的差异来将异常类分配给所提取的特征。
[0615]
示例g2包括示例g1的主题，其中第一类预测模型是包括门控循环单元(gru)或长短时记忆网络(lstm)神经网络的基线预测模型。
[0616]
示例g3包括示例g1
‑
g2中任一项的主题，其中第二类预测模型基于lstm神经网络。
[0617]
示例g4包括示例g1
‑
g3中任一项的主题，其中该方法进一步包括基于第一类预测模型的第二输出与第二类预测模型的第二输出之间的第二差异来将第二异常类分配给第二经提取的特征。
[0618]
示例g5包括示例g1
‑
g4中任一项的主题，其中该方法进一步包括在第一类预测模型和第二类预测模型的训练期间，基于第一类预测模型的输出与第二类预测模型的输出之间的差异来确定异常阈值。
[0619]
示例g6包括示例g1
‑
g5中任一项的主题，进一步包括输出与被分配给经提取的特征的异常类相关联的预测置信度。
[0620]
示例g7是一种设备，该设备包括存储器和耦合到存储器的处理电路，处理电路用于执行示例g1
‑
g6的方法中的一项或多项。
[0621]
示例g8是一种系统，该系统包括用于执行示例g1
–
g6的方法中一项或多项的装置。
[0622]
示例g9包括至少一种机器可读介质，包括指令，其中这些指令当被执行时实现设备或实现如示例g1
‑
g6中任一项所述的方法。
[0623]
示例h1是一种方法，该方法包括确定交通工具的安全性得分；确定道路的至少部分的道路得分；将道路得分与安全性得分进行比较；以及确定交通工具在道路的至少部分上的可接受的自主性级别。
[0624]
示例h2包括示例h1的主题，其中确定交通工具的可接受的自主性级别包括如果安全性得分大于或等于道路得分，则确定允许交通工具被自主地驾驶。
[0625]
示例h3包括示例h1
‑
h2中的任一项或多项的主题，其中安全性得分使用多个加权要素而被确定。
[0626]
示例h4包括示例h1
‑
h3中的任一项或多项的主题，其中道路得分使用多个加权要素而被确定。
[0627]
示例h5包括示例h1
‑
h4中的任一项或多项的主题，其中道路得分被动态地计算以考虑道路的至少部分的当前状况。
[0628]
示例h6包括示例h1
‑
h5中的任一项或多项的主题，其中安全性得分被动态地计算以考虑交通工具的当前状况。
[0629]
示例h7包括示例h1
‑
h6中的任一项或多项的主题，其中该方法进一步包括在地图用户界面上显示道路的至少部分的道路得分。
[0630]
示例h8包括示例h1
‑
h7中的任一项或多项的主题，其中道路得分使用天气状况的加权值而被确定。
[0631]
示例h9包括示例h1
‑
h8中的任一项或多项的主题，其中道路得分使用道路的至少部分的状况的加权值而被确定。
[0632]
示例h10包括示例h1
‑
h9中的任一项或多项的主题，其中安全性得分使用交通工具的传感器的加权值而被确定。
[0633]
示例h11包括示例h1
‑
h10中的任一项或多项的主题，其中安全性得分使用由交通工具实现的一个或多个自主驾驶算法的加权值而被确定。
[0634]
示例h12包括示例h1
‑
h11中的任一项或多项的主题，其中计算安全性得分包括对交通工具进行测试。
[0635]
示例h13是一种系统，该系统包括用于执行示例h1
‑
h12中的任一项或多项的装置。
[0636]
示例h14包括示例13的主题，其中该装置包括至少一种机器可读介质，包括指令，其中这些指令当被执行时实现示例h1
‑
h12中的任一项或多项的方法。
[0637]
示例i1是一种方法，该方法包括：接收由与交通工具相关联的图像捕获设备捕获的图像；在所捕获的图像中检测面部；针对生成对抗网络(gan)的第一神经网络生成输入图像，该输入图像描绘在所捕获的图像中检测到的面部；至少部分地基于将第一神经网络应用于输入图像来生成经伪装的图像，其中输入图像中描绘的面部的注视属性被包括在经伪装的图像中，并且输入图像中描绘的面部的一个或多个其他属性在经伪装的图像中被修改。
[0638]
示例i2包括示例i1的主题，其中第一神经网络是生成模型，并且其中gan包括第二神经网络，第二神经网络是鉴别模型。
[0639]
示例i3包括示例i1
‑
i2中任一项的主题，其中第二神经网络是卷积神经网络，卷积神经网络用于将由第一神经网络产生的经伪装的图像分类为真实的或虚假的。
[0640]
示例i4包括示例i1
‑
i3中任一项的主题，其中第一神经网络是生成经伪装的图像的反卷积神经网络。
[0641]
示例i5包括示例i1
‑
i4中任一项的主题，其中该方法进一步包括：估计在所捕获的图像中检测到的面部的一个或多个面部组成部分的位置，其中至少部分地基于检测到的图像和一个或多个面部组成部分的位置来生成输入图像。
[0642]
示例i6包括示例i1
‑
i5中任一项的主题，其中在经伪装的图像中被修改的一个或多个其他属性包括年龄和性别。
[0643]
示例i7包括示例i1
‑
i5中任一项的主题，其中在经伪装的图像中被修改的一个或多个其他属性从包括以下各项属性的组中选择：年龄、性别、头发颜色、秃发、刘海、眼镜、化妆、皮肤颜色、和嘴部表情。
[0644]
示例i8包括示例i1
‑
i7中任一项的主题，其中第一神经网络至少部分地基于目标域生成经伪装的图像，该目标域指示在所捕获的图像中检测到的面部中要修改的一个或多个其他属性。
[0645]
示例i9包括示例i1
‑
i8中任一项的主题，其中gan模型基于gan模型根据测试图像
生成经伪装的图像以及面部识别模型无法标识至少阈值数量的经伪装图像而预先配置有目标域。
[0646]
示例i10包括示例i1
‑
i9中任一项的主题，其中在所捕获的图像中检测到的面部的情绪属性被包括在经伪装的图像中。
[0647]
示例i11包括示例i10的主题，其中该方法进一步包括：将伪装的图像发送到与交通工具相关联的数据收集系统，其中该数据收集系统用于基于经伪装的图像中的情绪属性来检测情绪。
[0648]
示例i12包括示例i1
‑
i11中任一项的主题，其中该方法进一步包括：将经伪装的图像提供给交通工具的计算机视觉应用，其中该计算机视觉应用是基于经伪装的图像中的注视属性来检测注视，并且基于检测到的注视来标识经伪装的图像中表示的人类的轨迹。
[0649]
示例i13是一种设备，该设备包括存储器和耦合到存储器的处理电路，处理电路用于执行示例i1
‑
i12的方法中的一项或多项。
[0650]
示例i14是一种系统，该系统包括用于执行示例i1
‑
i12的方法中一项或多项的装置。
[0651]
示例i15包括至少一种机器可读介质，包括指令，其中这些指令当被执行时实现设备或实现如示例i1
‑
i13中任一项所述的方法。
[0652]
示例j1是一种方法，该方法包括：接收包括由交通工具收集到的数据的数据集，其中一个或多个标签与该数据集相关联；基于一个或多个标签来确定要应用于该数据集的第一策略；确定该第一策略是否被指定为惰性策略；基于确定第一策略被指定为惰性策略而将数据集标记为按需处理，而不对数据集应用第一策略；在将数据集标记为按需处理之后，接收对数据集的第一请求；以及响应于接收对数据集的第一请求而将第一策略应用于数据集。
[0653]
示例j2包括示例j1的主题，其中将第一策略应用于数据集包括以下各项中的至少一项：使数据集中的图像中的一个或多个面部模糊、使数据集中的图像中的一个或多个车牌模糊、匿名化数据集中的个人标识信息、或修改数据集中的位置信息。
[0654]
示例j3包括示例j1
‑
j2中任一项的主题，其中该方法进一步包括：确定交通工具的地理位置；以及将标签与数据集相关联，该标签包含指示交通工具的地理位置的信息。
[0655]
示例j4包括示例j1
‑
j3中任一项的主题，其中该方法进一步包括：使用机器学习模型来标识用于与数据集相关联的一个或多个标签中的至少一个标签。
[0656]
示例j5包括示例j1
‑
j4中任一项的主题，其中数据集在交通工具或远离交通工具的云处理系统的一者中的策略实施引擎处被接收。
[0657]
示例j6包括示例j1
‑
j5中任一项的主题，其中该方法进一步包括：基于一个或多个标签来确定要应用到数据集的第二策略；确定第二策略是否被指定为惰性策略；以及基于确定第二策略未被指定为惰性策略来将第二策略应用于数据集。
[0658]
示例j7包括示例j6的主题，其中将第二策略应用于数据集包括对数据集中的至少一些数据进行模糊、匿名化、或修改。
[0659]
示例j8包括示例j1
‑
j7中任一项的主题，其中该方法进一步包括：接收包括由交通工具收集到的第二数据的第二数据集，其中一个或多个第二标签与第二数据集相关联；基于一个或多个第二标签来确定要应用于第二数据集的第二策略，其中第二策略被指定为惰
性策略；以及基于确定情境策略可适用于第二数据集来推翻惰性策略指定并将情境策略应用于第二数据集。
[0660]
示例j9包括示例j8的主题，其中情境策略包括第二策略所要求的至少一个动作。
[0661]
示例j10包括示例j1
‑
j9中任一项的主题，其中方法进一步包括：基于接收到对数据集的第一请求来确定交通工具的当前位置；确定交通工具的当前位置是否与不同于与数据集相关联的先前位置的法规相关联；基于确定交通工具的当前位置与不同的法规相关联来将经更新的标签附接到数据集，该经更新的标签包括指示交通工具的当前位置的信息；确定至少部分地基于经更新的标签将新策略应用于数据集；以及将新策略应用于该数据集。
[0662]
示例j11包括示例j1
‑
j10中任一项的主题，其中该方法进一步包括：接收包括由交通工具收集到的第三数据的第三数据集，其中一个或多个第三标签与第三数据集相关联；基于一个或多个第三标签来确定要被应用于第三数据集的第三策略；以及基于确定第三策略未被指定为惰性策略而将第三策略应用于第三数据集；以及基于确定没有要应用于第三数据集的策略被指定为惰性策略并且基于对第三数据集应用被确定为适用于第三数据集的每个策略来将第三数据集标记为符合策略的。
[0663]
示例j12包括示例j1
‑
j11中任一项的主题，其中该方法进一步包括：在接收到对数据集的第一请求之后接收对数据集的第二请求；以及响应于接收到对数据集的第二请求而将第四策略应用到数据集，其中一个或多个标签响应于适用于数据集中的数据的法规改变而与第四策略相关联。
[0664]
示例j13是一种设备，该设备包括存储器和耦合到存储器的处理电路，处理电路用于执行示例j1
‑
j12的方法中的一项或多项。
[0665]
示例j14是一种系统，该系统包括用于执行示例j1
‑
j12的方法中一项或多项的装置。
[0666]
示例j15包括至少一种机器可读介质，包括用于生成经伪装的图像的指令，其中这些指令当被执行时实现设备或实现如示例j1
‑
j13中任一项所述的方法。
[0667]
示例k1是一种方法，该方法包括从耦合到自主交通工具(av)的传感器接收传感器数据；将数字签名应用于传感器数据；将新的区块添加到基于区块的拓扑，该新的区块包括传感器数据和数字签名；验证数字签名；以及基于数字签名被验证将该区块传递到av的逻辑单元。
[0668]
示例k2包括示例k1的主题，其中基于区块的拓扑是未经允许的区块链。
[0669]
示例k3包括示例k1的主题，其中数字签名是基于椭圆曲线加密(ecc)协议。
[0670]
示例k4包括示例k1
‑
k3中任一项的主题，其中验证区块包括使用共识协议的时间约束来验证传感器数据的时间戳。
[0671]
示例k5是一种设备，该设备包括存储器和耦合到存储器的处理电路，处理电路用于执行示例k1
‑
k4的方法中的一项或多项。
[0672]
示例k6是一种系统，该系统包括用于执行示例k1
‑
k4的方法中一项或多项的装置。
[0673]
示例k7是一种产品，该产品包括一种或多种有形计算机可读非暂态存储介质，包括计算机可执行指令，这些指令在由至少一个计算机处理器执行时可操作用于使至少一个计算机处理器能够实现示例1
‑
4的方法的操作。
[0674]
示例k8是一种方法，该方法包括在第一自主交通工具(av)处接收基于区块的拓扑的区块，该区块包括来自耦合到第二自主交通工具(av)的传感器的传感器数据和与该传感器数据相关联的数字签名；验证该数字签名；以及响应于验证该数字签名而将该区块传递到第一av的逻辑单元。
[0675]
示例k9包括示例k8的主题，其中基于区块的拓扑结构包括区块链或动态无环图(dag)中的一者或多者。
[0676]
示例k10包括示例k8的主题，其中基于区块的拓扑是未经允许的区块链。
[0677]
示例k11包括示例k8
‑
k10中任一项的主题，其中数字签名使用基于临时公钥而生成的秘钥来被验证。
[0678]
示例k12包括示例k11的主题，其中临时公钥基于椭圆曲线迪菲
‑
赫尔曼交换。
[0679]
示例k13包括示例k8
‑
k12中任一项的主题，其中该方法进一步包括从区块中提取一个或多个智能合约。
[0680]
示例k14是一种设备，该设备包括存储器和耦合到存储器的处理电路，处理电路用于执行示例k8
‑
k13的方法中的一项或多项。
[0681]
示例k15是一种系统，该系统包括用于执行示例k8
‑
k13的方法中一项或多项的装置。
[0682]
示例k16是一种产品，该产品包括一种或多种有形计算机可读非暂态存储介质，包括计算机可执行指令，这些指令在由至少一个计算机处理器执行时可操作用于使至少一个计算机处理器能够实现示例k8
‑
k13的方法的操作。
[0683]
示例l1是一种方法，该方法包括获得由交通工具的多个传感器采样的传感器数据；确定与经采样的传感器数据相关联的情境；以及基于该情境来确定交通工具传感器的一组采样率或用于执行传感器数据融合的传感器的一组权重中的一者或两者。
[0684]
示例l2包括示例l1的主题，其中该方法进一步包括将情境提供为机器学习算法的输出，该机器学习算法接收经采样的传感器数据作为输入。
[0685]
示例l3包括示例l2的主题，其中机器学习算法使用数据集作为基础事实进行训练，其中每个数据集包括情境、多个传感器的采样率、和安全性结果。
[0686]
示例l4包括示例l1
‑
l3中任一项的主题，其中该方法进一步包括：使用融合
‑
情境字典为传感器提供一组权重，该融合
‑
情境字典接收来自多个传感器的情境作为输入并输出该组权重。
[0687]
示例l5包括示例l4的主题，其中融合
‑
情境字典通过使用情境信息和对象位置作为基础事实来训练机器学习算法而提供。
[0688]
示例l6包括示例l1
‑
l5中的任一项的主题，其中情境被用于确定交通工具的传感器的一组采样率和用于执行传感器数据融合的传感器的一组权重。
[0689]
示例l7包括示例l1
‑
l6中任一项的主题，其中该方法进一步包括基于一组权重来对来自多个传感器的样本进行组合。
[0690]
示例l8包括示例l1
‑
l7中任一项的主题，其中该方法进一步包括使用强化学习模型基于情境来确定该组权重。
[0691]
示例l9包括示例l8的主题，其中强化学习模型使用传感器样本和情境的环境来训练。
[0692]
示例l10包括示例l8
‑
l9中任一项的主题，其中强化学习模型使用基于对象跟踪准确性和功耗最小化的奖励来训练。
[0693]
示例l11是一种设备，该设备包括存储器和耦合到存储器的处理电路，处理电路用于执行示例l1
‑
l10的方法中的一项或多项。
[0694]
示例l12是一种系统，该系统包括用于执行示例l1
–
l10的方法中一项或多项的装置。
[0695]
示例l13包括至少一种机器可读介质，包括指令，其中这些指令当被执行时实现设备或实现如示例l1
‑
l10中任一项所述的方法。
[0696]
示例m1是一种方法，该方法包括在受试自主交通工具(av)处接收来自交通交通工具的经调制的光信号；对经调制的光信号进行采样；对经采样的光信号进行解调以获得交通交通工具的位置信息；以及在受试av的传感器融合过程中使用交通交通工具的位置信息。
[0697]
示例m2包括示例m1的主题，其中经调制的光信号以特定的频率被采样。
[0698]
示例m3包括示例m2的主题，其中特定频率被主动地选择。
[0699]
示例m4包括示例m2的主题，其中特定频率基于事件被选择。
[0700]
示例m5包括示例m1的主题，其中经调制的光信号响应于检测到交通交通工具的存在而被采样。
[0701]
示例m6包括示例m1的主题，其中位置信息包括以度分秒格式的交通交通工具的地理坐标。
[0702]
示例m7包括示例1的主题，其中经调制的光被解调以进一步获得交通交通工具的尺寸信息，该尺寸信息包括交通交通工具的长度、宽度、或高度中的一者或多者。
[0703]
示例m8包括示例m1
‑
m7中任一项的主题，其中经调制的光根据li
‑
fi协议被传送。
[0704]
示例m9包括示例m1
‑
m7中任一项的主题，其中经调制的光信号根据开关键控(ook)、幅移键控(ask)、可变脉冲位置调制(vppm)、或色移键控(csk)进行调制。
[0705]
示例m10包括示例m1
‑
m7中任一项的主题，其中经调制的光包括以下各项中的一项或多项：具有在375nm与780nm之间的波长的可见光、红外光和紫外光。
[0706]
示例m11是一种设备，该设备包括存储器和耦合到存储器的处理电路，处理电路用于执行示例m1
‑
m10的方法中的一项或多项。
[0707]
示例m12是一种系统，该系统包括用于执行示例m1
‑
m10的方法中一项或多项的装置。
[0708]
示例m13是一种产品，该产品包括一种或多种有形计算机可读非暂态存储介质，包括计算机可执行指令，这些指令在由至少一个计算机处理器执行时可操作用于使至少一个计算机处理器能够实现示例m1
‑
m10的方法的操作。
[0709]
示例n1是一种方法，该方法包括：从耦合到自主交通工具的传感器获得传感器数据；将传感器抽象过程应用于传感器数据以产生经抽象的场景数据，其中传感器抽象过程包括以下各项中的一项或多项：将响应标准化过程应用于传感器数据；将翘曲过程应用于传感器数据；以及将滤波过程应用于传感器数据；以及在用于自主交通工具的控制过程的感知阶段中使用经抽象的场景数据。
[0710]
示例n2包括示例n1的主题，其中传感器数据包括来自第一传感器的第一传感器数
据和来自第二传感器的第二传感器数据，其中第一传感器和第二传感器是相同的传感器类型，并且应用传感器抽象过程包括以下各项中的一项或多项：将相应的响应标准化过程应用于第一传感器数据和第二传感器数据中的每一者；将相应的翘曲过程应用于第一传感器数据和第二传感器数据中的每一者；以及将滤波过程应用于第一传感器数据和第二传感器数据的组合。
[0711]
示例n3包括示例n1的主题，其中传感器数据包括来自第一传感器的第一传感器数据和来自第二传感器的第二传感器数据，其中第一传感器和第二传感器是不同的传感器类型，并且应用传感器抽象过程包括以下各项中的一项或多项：将相应的响应标准化过程应用于第一传感器数据和第二传感器数据中的每一者；将相应的翘曲过程应用于第一传感器数据和第二传感器数据中的每一者；以及将相应的滤波过程应用于第一传感器数据和第二传感器数据中的每一者，以产生与第一传感器数据相对应的第一经抽象的场景数据和与第二传感器数据相对应的第二经抽象的场景数据；并且该方法进一步包括对第一经抽象的场景数据和第二经抽象的场景数据应用融合过程；其中经融合的第一经抽象的场景数据和第二经抽象的场景数据被用于感知阶段。
[0712]
示例n4包括示例n1
‑
n3中任一项的主题，其中应用响应标准化过程包括以下各项中的一项或多项：将图像的像素值进行标准化、将图像的位深度进行标准化、将图像的色彩空间进行标准化、以及将激光雷达数据中的深度值或距离值的范围进行标准化。
[0713]
示例n5包括示例n1
‑
n3中任一项的主题，其中应用响应标准化过程基于传感器响应的模型。
[0714]
示例n6包括示例n1
‑
n3中任一项的主题，其中应用翘曲过程包括执行以下各项中的一项或多项：空间升尺度操作、降尺度操作、与传感器相关联的几何效应的校正过程、和传感器的运动的校正过程。
[0715]
示例n7包括示例n1
‑
n3中任一项的主题，其中应用翘曲过程基于传感器配置信息。
[0716]
示例n8包括示例n1
‑
n3中任一项的主题，其中应用滤波过程包括应用以下各项中的一项或多项：卡尔曼滤波器、卡尔曼滤波器的变型、粒子滤波器、直方图滤波器、信息滤波器、贝叶斯滤波器、和高斯滤波器。
[0717]
示例n9包括示例n1
‑
n3中任一项的主题，其中应用滤波过程基于传感器的模型中的一者或多者和场景模型。
[0718]
示例n10包括示例n1
‑
n3中任一项的主题，其中应用滤波过程包括：确定传感器数据的有效性以及响应于确定传感器数据是无效的而丢弃传感器数据。
[0719]
示例n11是一种设备，该设备包括存储器和耦合到存储器的处理电路，处理电路用于执行示例n1
‑
n10的方法中的一项或多项。
[0720]
示例n12是一种系统，该系统包括用于执行示例n1
‑
n10的方法中一项或多项的装置。
[0721]
示例n13是一种产品，该产品包括一种或多种有形计算机可读非暂态存储介质，包括计算机可执行指令，这些指令在由至少一个计算机处理器执行时可操作用于使至少一个计算机处理器能够实现示例n1
‑
n10的方法的操作。
[0722]
示例o1是一种方法，该方法包括：由交通工具的第一传感器捕获第一图像数据，该第一图像数据具有第一分辨率；使用机器学习模型将第一图像数据转换为具有第二分辨率
的第二图像数据，其中第二分辨率高于第一分辨率；以及基于该第二图像数据来执行交通工具的对象检测操作。
[0723]
示例o2包括示例o1的主题，其中交通工具的第一传感器包括相机。
[0724]
示例o3包括示例o1的主题，其中交通工具的第一传感器包括激光雷达。
[0725]
示例o4包括示例o1
‑
o3的主题，其中机器学习模型使用训练集进行训练，该训练集包括由第二传感器捕获的第三图像和通过将第三图像扭曲成看起来具有比第三图像分辨率更低的分辨率而生成的第四图像。
[0726]
示例o5包括示例o4的主题，其中第四图像通过使用以下各项中的任一项或多项扭曲第三图像而生成：将低通滤波器应用于第三图像；对第三图像进行子采样；对第三图像进行下采样；将噪声注入到第三图像；或使第三图像的通道随机化。
[0727]
示例o6包括示例o1
‑
o4中任一项的主题，其中机器学习模型使用训练集进行训练，该训练集包括由具有第一分辨率的第二传感器捕获的第三图像和由具有第二分辨率的第三传感器捕获的第四图像。
[0728]
示例o7包括示例o1
‑
o5中任一项的主题，其中机器学习模型包括卷积神经网络架构。
[0729]
示例o8包括示例o1
‑
o6中任一项的主题，其中机器学习模型包括生成神经网络。
[0730]
示例o9是一种设备，该设备包括存储器和耦合到存储器的处理电路，处理电路用于执行示例o1
‑
o8的方法中的一项或多项。
[0731]
示例o10是一种系统，该系统包括用于执行示例o1
‑
o8的方法中一项或多项的装置。
[0732]
示例o11包括至少一种机器可读介质，包括指令，其中这些指令当被执行时实现设备或实现如示例o1
‑
o8中任一项所述的方法。
[0733]
示例o12是一种方法，该方法包括：训练机器学习模型的全体以执行自主交通工具堆叠的任务，该全体包括使用具有第一分辨率的图像数据训练的第一机器学习模型并且包括第二机器学习模型；以及至少部分地基于机器学习模型全体的经融合的软预测目标与第三机器学习模型的软预测目标之间的精炼损失来训练第三机器学习模型。
[0734]
示例o13包括示例o12的主题，其中该方法进一步包括：进一步基于表示基础事实标签与第三机器学习模型的硬预测目标之间的差异的损失来训练第三机器学习模型。
[0735]
示例o14包括示例o12
‑
o13中任一项的主题，其中具有第一分辨率的图像数据是由一个或多个激光雷达捕获的数据。
[0736]
示例o15包括示例o12
‑
o13中任一项的主题，其中具有第一分辨率的图像数据是由一个或多个相机捕获的数据。
[0737]
示例o16包括示例o12
‑
o15中任一项的主题，其中第三机器学习模型使用具有第二分辨率的图像数据来训练，该第二分辨率低于第一分辨率。
[0738]
示例o17包括示例o12
‑
o16中任一项的主题，其中第三机器学习模型使用由一个或多个相机捕获的图像数据来训练。
[0739]
示例o18包括示例o12
‑
o16中任一项的主题，其中第三机器学习模型使用由一个或多个激光雷达捕获的图像数据来训练。
[0740]
示例o19包括示例o12
‑
o18中任一项的主题，其中第三机器学习模型是使用由一个
或多个激光雷达捕获的图像数据训练的第四机器学习模型和使用由一个或多个相机捕获的图像数据训练的第五机器学习模型的组合。
[0741]
示例o20是一种设备，该设备包括存储器和耦合到存储器的处理电路，处理电路用于执行示例o12
‑
o19的方法中的一项或多项。
[0742]
示例o21是一种系统，该系统包括用于执行示例o12
‑
o19的方法中一项或多项的装置。
[0743]
示例o22包括至少一种机器可读介质，包括指令，其中这些指令当被执行时实现设备或实现如示例o12
‑
o19中任一项所述的方法。
[0744]
示例p1是一种系统，该系统包括：存储器，用于存储所感测的数据；第一自主交通工具的内部感测模块，该内部感测模块包括用于发起由第一自主交通工具感测到的数据到第二自主交通工具的外部感测模块的传递的电路；第一自主交通工具的外部感测模块，第一自主交通工具的外部感测模块用于接收来自第二自主交通工具的内部感测模块的数据；以及第一自主交通工具的协作式决策器，该协作式决策器包括用于基于与第二自主交通工具的协作式决策器的通信来确定驾驶动作的电路。
[0745]
示例p2包括示例p1的主题，其中第一自主交通工具的内部感测模块用于使用语义语言与第二自主交通工具的外部感测模块通信。
[0746]
示例p3包括示例p1
‑
p2中任一项或多项的主题，其中第一自主交通工具的外部感测模块用于使用语义语言与第二自主交通工具的内部感测模块通信。
[0747]
示例p4包括示例p1
‑
p3中任一项或多项的主题，其中第一自主交通工具的协作式决策器用于使用语义语言与第二自主交通工具的协作式决策器模块通信。
[0748]
示例p5包括示例p1
‑
p4中任一项或多项的主题，其中该系统包括第一自主交通工具的增强的感测模块。
[0749]
示例p6包括示例p1
‑
p5中任一项或多项的主题，其中在第一自主交通工具的协作式决策器与第二自主交通工具的协作式决策器之间传递的数据包括与第一自主交通工具或第二自主交通工具的动作规划有关的数据。
[0750]
示例p7包括示例p1
‑
p6中任一项或多项的主题，其中第一自主交通工具的内部感测模块用于分析由第一自主交通工具感测到的数据。
[0751]
示例p8包括示例p1
‑
p7中任一项或多项的主题，其中系统进一步包括：虚拟现实感知模块，该虚拟现实感知模块包括用于接收从一个或多个外部代理感测的数据的电路，以使用从一个或多个外部代理感测到的数据查看第一自主交通工具的周围环境。
[0752]
示例p9是一种方法，该方法包括使用语义语言将数据从第一自主交通工具共享给第二自主交通工具。
[0753]
示例p10包括示例p9的主题，其中该数据包括与一个或多个交通状况相关的关键数据。
[0754]
示例p11包括一种系统，该系统包括用于执行示例p9
‑
p10中的任一项或多项的装置。
[0755]
示例p12包括示例p11的主题，其中该装置包括至少一种机器可读介质，包括指令，其中这些指令当被执行时实现示例p9
‑
p10中的任一项或多项的方法。
[0756]
示例q1是一种方法，该方法包括：由包括电路的控制单元生成用于交通工具的图
像传感器的位置调整指令；在控制单元处接收来自交通工具的图像传感器的图像数据；检测图像数据内交通工具的标记的位置和尺寸；以及由控制单元基于图像数据内交通工具的标记的位置和尺寸生成针对交通工具的图像传感器的第二位置调整指令。
[0757]
示例q2包括示例q1的主题，其中位置调整指令指定交通工具的图像传感器的水平旋转角度。
[0758]
示例q3包括示例q1
‑
q2中任一项的主题，其中位置调整指令指定交通工具的图像传感器的垂直旋转的角度。
[0759]
示例q4包括示例q1
‑
q3中任一项的主题，其中位置调整指令指定交通工具的图像传感器的水平移动距离。
[0760]
示例q5包括示例q1
‑
q4中任一项的主题，其中位置调整指令指定交通工具的图像传感器的垂直移动距离。
[0761]
示例q6包括示例q1
‑
q5中任一项的主题，其中该方法进一步包括响应于与交通工具相关联的检测到的状况而生成针对图像传感器的位置调整指令。
[0762]
示例q7包括示例q1
‑
q6中任一项的主题，其中该位置调整指令是交通工具的图像传感器的一系列周期性的位置调整指令的一部分。
[0763]
示例q8包括示例q1
‑
q7中任一项的主题，其中，交通工具的标记被设置在交通工具的外部，并且是与交通工具的外部不同的颜色。
[0764]
示例q9是一种设备，该设备包括存储器和耦合到存储器的处理电路，处理电路用于执行示例q1
‑
q8的方法中的一项或多项。
[0765]
示例q10是一种系统，该系统包括用于执行示例q1
–
q8的方法中一项或多项的装置。
[0766]
示例q11包括至少一种机器可读介质，包括指令，其中这些指令当被执行时实现设备或实现如示例q1
‑
q8中任一项所述的方法。
[0767]
因此，己经描述了主题的具体实施例。其他实施例在以下权利要求的范围内。在一些情况下，权利要求书中所列举的动作可以用不同顺序来执行，并且仍然获得期望结果。此外，在附图中描绘的过程不一定需要所示出的特定顺序或相继顺序来实现期望的结果。