用于用户可理解的可解释学习模型的方法、系统和设备与流程

用于用户可理解的可解释学习模型的方法、系统和设备
1.相关申请的交叉引用
2.本技术要求2020年8月27日提交的美国临时专利申请63/071135的优先权，其内容通过引用合并于此。
技术领域
3.技术领域总体涉及自主、半自主和常规的车辆用户可解释学习输出方法、系统和设备，更具体地涉及具有学习架构并捕获原始分类器学习到的语义以便计算预测输出的用户可理解的解释的扩展卷积神经网络(cnn)的可解释学习系统的方法、系统和设备。


背景技术：

4.公众在使用自主和半自主驾驶功能时会有所勉强。这是由于技术的新颖性以及自主和半自主车辆执行各种驾驶操纵时的不透明性质。公众因不透明性质查看这些系统，而没有能力或以有限的能力来独立判断、评估或预测正在执行的当前或将来的自动驾驶操纵。这是因为用于自主和半自主车辆的当前数据驱动学习模型是黑匣子。这些系统可以非常准确地执行和预测有关驾驶条件和周围环境的数据样本的分类，但对于用户而言，关于当前或将要执行的自动化过程没有任何清晰度。因此，从人类用户的角度来看，模型是无法正确解释为什么系统基于其计算获得输出和动作的黑匣子。缺乏必要的工具和系统来向驾驶员提供有关驾驶操纵的充分反馈，以提高驾驶员在使用自主和半自主系统时所感受到的固有不适水平。
5.连接主义学习模型的使用可以是或被认为是成功地以高准确率预测数据样本类。然而，用于实现连接主义学习模型的黑匣子的可解释性水平很低。
6.因此，用户可以从深入理解为什么复杂的机器学习模型会产生某种输出中获益。
7.期望实现可解释学习方法、系统和设备，其利用学习架构来提供对诸如卷积神经网络(cnn)之类的神经网络(nn)的扩展，处理和捕获由原始分类器学习的语义内容，以便由实现的cnn(或任何其他nn)进一步处理，并生成预测输出的用户可理解的语义解释。
8.期望具有方法、系统和设备来实现扩展架构，并通过扩展来处理可解释分类器中的给定分类器的语义内容；为可以验证对用户的输出的新学习系统构造和训练可解释分类器的连接集，并可以使用适当的标准来量化输出，并使用语义表达解释成功或基本原理。
9.此外，结合附图以及前述技术领域和背景技术，根据随后的详细描述和所附权利要求，本公开的其他期望特征和特性将变得显而易见。


技术实现要素：

10.提供了方法、系统和设备，以通过可解释学习系统改进自主或半自主车辆，可解释学习系统用学习架构扩展了卷积神经网络(cnn)或其他神经网络(nn)，以捕获原始分类器学习的语义以计算预测输出的用户可理解解释。
11.在一示例性实施例中，提供了一种用于构造可解释用户输出的方法。该方法包括：
接收特征集的输入数据，用于在由原始分类器的多个层构成的神经网络(nn)处处理，其中原始分类器已被冻结有与输入数据的特征有关的权重集；确定语义函数以用语义类别对数据样本分类；确定神经网络内原始分类器的每一层的语义准确率水平，其中原始分类器是训练模型；针对语义类别的训练样本，计算具有每一层的节点的平均激活的代表性向量，用于通过计算测试集中的样本与每个语义类别的可用层的距离进行评估；为每一层和每个语义类别计算多个测试样本，其在每一层中彼此最接近，以指定具有最高分数的层，该最高分数表示每个测试样本中的最佳语义；通过类别分支将指定层扩展到神经网络，以提取语义内容的语义数据样本，并且用于基于多个语义类别在神经网络处通过扩展来扩展可解释分类器；训练神经网络的可解释分类器的连接集，以基于多个语义类别中的至少一个语义类别来以与每个输出解释相关的准确率度量计算输出解释集；以及由训练的可解释分类器针对每个语义类别基于提取的语义数据样本比较每个输出解释的准确率度量，以生成用户可理解格式的输出解释。
12.在各个示例性实施例中，该方法包括；计算多个解释作为输出；以及计算构成的解释的反事实解释，其中指定层是最佳语义内容层。该方法包括：配置具有多个层的可解释分类器，其中每一层配置有权重集；用与最佳语义内容层相关的定义的语义类别集标记可解释分类器的提取的输入数据样本；针对可解释分类器的多个层中的每一层计算激活质心；以及基于激活质心，计算可解释分类器的具有最大语义准确率的层。该方法包括：基于语义函数以及可选地重新定义的语义函数为语义类别集中的每个语义类别计算最大语义准确率。
13.该方法包括：通过运行通过原始分类器的每一层的输入数据样本以观察每一层所包含的节点的激活数量，基于所述一定量的计算出的语义准确率，指定原始分类器的至少一层；对于每个语义类别，确定针对每个样本的节点层的每个节点激活与针对训练集中的所有数据样本的对应节点层中的节点激活的平均之间的距离集；对每个连续的输入数据样本重复确定步骤，直到在每一层中为每个接收到的输入数据样本和每个语义类别计算每一层的节点的平均向量值；在原始分类器的每一层中，保留每个节点的平均向量值；在每一层中，对向量中的节点的平均进行评分，其中平均配置为向量；为数据集中的所有数据样本所接收的每一层的向量值分数集求和，其中每一层中的带分数的向量值用于确定具有最大值的层；以及将具有最大值的层指定为最佳语义内容层。
14.神经网络包括卷积神经网络(cnn)和cnn的扩展。该方法还包括：通过扩展原始分类器，针对驾驶舒适性通过nn的扩展来扩展可解释分类器，以经由指定层提取语义内容以预测与车辆动力学和车辆控制的特征集相对应的语义类别。该方法还包括：在冻结原始分类器的权重集的同时，针对驾驶舒适性训练可解释分类器的nn扩展的连接集；以及向nn扩展的输出添加解释器，以与提取的语义内容的数据样本相关。该方法还包括：通过扩展原始分类器针对轨迹预测扩展可解释分类器，以经由指定层提取语义内容以预测与包括卷积社交池化的样本数据的语义特征集相关的语义类别。该方法还包括训练用于轨迹计划的可解释分类器的连接集，以及向输出添加解释器以与包括卷积社交池化的样本数据的语义特征集的数据样本相关。
15.在另一示例性实施例中，提供了一种用于构造可解释用户输出的系统。该系统包括：处理器，其配置为接收输入数据以在由原始分类器的多个层构成的神经网络处处理特
征集，其中原始分类器已被冻结有与输入数据的特征有关的权重集；处理器配置为确定语义函数以用语义类别对数据样本分类，并且确定神经网络内原始分类器的每一层的语义准确率水平，其中原始分类器是训练模型；处理器配置为针对语义类别的训练样本计算具有每一层的节点的平均激活的代表性向量，以通过计算测试集中的样本与每个语义类别的可用层的距离来评估；处理器配置成为每一层和每个语义类别计算多个测试样本，其在每一层中彼此最接近，以指定具有最高分数的层，该最高分数表示每个测试样本中的最佳语义，其中指定层是最佳语义内容层；处理器配置为通过类别分支将最佳语义内容层扩展到神经网络，以从原始分类器的语义内容中提取语义数据样本集到神经网络，并用可解释分类器扩展nn，以定义多个语义类别；处理器配置为训练神经网络的可解释分类器的新连接集，以基于多个语义类别中的至少一个语义类别来以与每个输出解释相关的准确率度量计算由解释构成的输出解释集；以及处理器配置为由训练的可解释分类器针对每个语义类别基于提取的语义数据样本比较每个输出解释的准确率度量，并且生成用户可理解格式的输出解释。
16.在各个示例性实施例中，系统包括处理器配置为计算多个解释作为输出以及构成的解释的反事实解释。该系统还包括处理器配置为：应用具有多个层的可解释分类器，其中每一层配置有权重集；用与最佳语义内容层相关的定义的语义类别集标记可解释分类器的提取的输入数据样本；针对可解释分类器的多个层中的每一层计算激活质心；以及基于激活质心，计算可解释分类器的具有最大语义准确率的层。
17.该系统还包括处理器配置为：基于语义函数以及可选地由重新定义的语义函数为定义的语义类别集中的每个语义类别计算最大语义准确率，其中重新定义的语义函数提供更多的抽象语义类别。该系统还包括处理器配置为：通过处理通过原始分类器的每一层的输入数据样本以确定每一层所包含的节点的激活数量，基于所述一定量的计算出的语义准确率，指定原始分类器的至少一层；响应于确定节点激活数量，对于每个语义类别，确定针对每个样本的节点层的每个节点激活与针对训练集中的所有数据样本的对应节点层中的节点激活的平均之间的距离集；对每个连续的输入数据样本重复确定，直到在每一层中为每个接收到的输入数据样本和每个语义类别计算每一层的节点的平均向量值；在原始分类器的每一层中，保留每个节点的平均向量值；在每一层中，对向量中的节点的平均进行评分，其中平均配置为向量；为数据集中的所有数据样本所接收的每一层的向量值分数集求和，其中每一层中的带分数的向量值用于确定具有最大值的层；以及将具有最大值的层指定为最佳语义内容层。该系统还包括处理器配置为：通过扩展原始分类器，针对驾驶舒适性通过卷积神经网络(cnn)的扩展来用可解释分类器扩展nn，以经由指定层提取语义内容以预测与车辆动力学和车辆控制的特征集相对应的语义类别；仅训练来自原始cnn的新连接的权重集到扩展架构，其中针对驾驶舒适性训练的原始cnn的权重集被保持冻结；以及向cnn的输出添加解释器，以与提取的语义内容相关的数据样本相关。该系统还包括处理器配置为：通过扩展原始分类器针对轨迹预测用可解释分类器扩展nn，以经由指定层提取语义内容以预测与包括卷积社交池化的样本数据的特征集相关的语义类别；仅训练来自原始cnn的新连接的权重到扩展架构，其中针对预测驾驶轨迹训练的原始cnn的权重集被保持冻结；以及向cnn的输出添加解释器，以与包括卷积社交池化的样本数据的特征集相关的数据样本相关。
18.在又一示例性实施例中，提供了一种执行可解释分类器的设备。该设备包括部署在车辆中的至少一个处理器，该至少一个处理器被编程为：接收特征集的输入数据，用于在由原始分类器的多分类器层构成的卷积神经网络(cnn)处处理，其中原始分类器已被冻结有与输入数据的特征有关的权重集；确定语义函数以用语义类别对数据样本分类；确定神经网络内原始分类器的每一层的语义准确率水平，其中原始分类器是训练模型；针对语义类别的训练样本，计算具有每一层的节点的平均激活的代表性向量，用于通过计算测试集中的样本与每个语义类别的可用层的距离进行评估；为每一层和每个语义类别计算多个测试样本，其在每一层中彼此最接近，以指定具有最高分数的层，该最高分数表示每个测试样本中的最佳语义；重新定义语义函数，以通过训练模型确定原始分类器的每一层的语义准确率来改变语义准确率以生成更多语义内容，其中语义函数的重新定义是提供更多抽象语义类别的可选步骤；通过类别分支将指定层扩展到神经网络，以提取从语义内容导出的语义数据样本，并构建神经网络的可解释分类器以定义多个语义类别；训练神经网络的可解释分类器的连接集，以基于多个语义类别中的至少一个语义类别来以与每个输出解释相关的准确率度量计算输出解释集，其中输出解释是良好定义的句法句子；以及由训练的可解释分类器针对每个语义类别基于提取的语义数据样本比较每个输出解释的准确率度量，以生成用户可理解格式的输出解释。
19.在各个示例性实施例中，该设备包括至少一个处理器，其被编程为将可解释分类器配置为具有多个层，其中每一层配置有权重集；用定义的语义类别集标记可解释分类器的提取的输入数据样本；将定义的语义类别集与最佳语义内容层相关；为可解释分类器的多个层中的每一层计算激活质心；并基于激活质心来计算可解释分类器的具有最大语义准确率的层。
20.该设备还包括至少一个处理器，其被编程为：基于重新定义的语义函数来计算最大语义准确率，其中包括针对语义类别集的重新定义的语义类别；以及使用重新定义的语义类别创建用户可理解格式的输出解释。
附图说明
21.在下文中，将结合以下附图描述示例性实施例，其中，相同的标号表示相同的元件，并且其中：
22.图1示出了根据示例性实施例的描绘示例车辆的框图，其可以包括可解释学习系统的处理器；
23.图2是示出根据实施例的使用可解释学习系统的类别分支或节点的示例性解决方案的功能图；
24.图3a和3b是根据实施例的可解释学习系统的示例性流程图；
25.图4a、4b、4c、4d、4e、4f和4g是根据实施例的示例性流程图，示出了原始分类器中的指定层的计算，该原始分类器包含相对于语义类别的语言的大部分语义数据，配置具有优化计算的样本数据集，并计算可解释学习系统的每一层的语义准确率；
26.图5是根据实施例的可解释学习系统的另一流程图；
27.图6是根据实施例的可解释学习系统的示例性驾驶舒适性预测的示例图；
28.图7是根据实施例的用于解释可解释学习系统的车辆轨迹预测的示例图；
29.图8是根据实施例的用于可解释学习系统的车辆轨迹预测的可解释cnn的示例性流程图；以及
30.图9是根据实施例的用于可解释学习系统的驾驶舒适性预测的cnn的示例图。
具体实施方式
31.以下详细描述本质上仅是示例性的，并不旨在限制应用和用途。此外，无意受到在先前技术领域、背景技术、发明内容或以下详细描述中提出的任何明示或暗示的理论的约束。
32.如本文所用，术语“模块”是指任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，单独地或以任何组合，包括但不限于：专用集成电路(asic)、现场可编程门阵列(fpga)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或成组)和存储器、组合逻辑电路和/或提供所描述的功能的其他合适部件。
33.本文可以根据功能和/或逻辑块部件以及各种处理步骤来描述本公开的实施例。应当理解，可以通过配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现这样的块部件。例如，本公开的实施例可以采用各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。另外，本领域技术人员将理解，可以结合任何数量的系统来实践本公开的实施例，并且本文描述的系统仅仅是本公开的示例性实施例。
34.自动化计划系统的性能可以通过其所产生的行动的价值和实现它们所产生的成本的函数来衡量。本公开描述了针对学习模型与基于模型的计划工作的相交的方法、系统和设备，其使得能够解释黑匣子的内部工作，其可以提供环境信息，并且有助于指导基于模型的计划者决定采取什么实际行动。着重于计算此类计划环境的语义。通过将语义添加到计划知识中，可以提高用户决策的价值和用户的信任度。本公开描述了用于帮助用户理解由基于复杂决策过程的原因来执行功能的ai系统所计算的高级特征的方法。除其他事项外，本公开描述了一种解释器部件，其负责产生人类可理解的解释，其中在良好定义的语法句法句子中包括预测的格式和相关的语义解释。
35.在示例性实施例中，本公开描述了在两个分类器中学习语义的算法方法，这两个分类器在与自动驾驶有关的两个不同域中训练以解释驾驶舒适性和驾驶轨迹的预测性分类。
36.自主和半自主车辆能够感测其环境并基于感测的环境进行导航。这样的车辆使用多种类型的感测设备来感测其环境，比如雷达、激光雷达、图像传感器、相机设备等。
37.可以将自主车辆的轨迹计划或生成视为车辆从一种可行状态过渡到另一种可行状态的实时计划，基于车辆动力学满足车辆的限制，并受导航车道边界和交通规则的约束，同时避免包括其他道路使用者在内的障碍物以及地面不平整度和沟渠。
38.卷积神经网络(cnn)和递归神经网络(rnn)等分类器的使用被认为是复杂的数据驱动学习模型，通常从用户角度将其实现为黑匣子。换句话说，对执行复杂功能的内部算法的实际工作没有任何清晰的解释。在自主或半自主驾驶领域，当开发人员或客户不清楚即将发生、正在发生的某个预测的基础是什么，或者事实上对于特定情况来说它是否是正确的时，这种情况变得更加普遍。
39.量化分类器学习系统成功的性能度量是其预测的准确率。准确率度量量化分类器相对于其已学习的训练集预测程度。这种度量通常不足以使用户理解为什么分类器预测了某个输出。当学习系统在实际产品中实现并在实际执行中时，用户的这种理解很重要。用户经常需要或希望了解决策中使用的某种学习系统的基本原理，并且在客户的情况下，这种原理的呈现可以增强用户体验，并为技术人员提供对汽车系统自动化行为的洞察。
40.在各个示例性实施例中，本公开描述了以可理解用户格式解释分类器的预测中的每一个的架构和方法。
41.在各个示例性实施例中，本公开描述了成功地扩展给定分类器、对其进行训练和评估以产生对其原始预测的解释的方法。本公开在两个领域中描述了这种语义解释的益处：舒适驾驶和驾驶轨迹。在第一个中，本公开解释了为什么分类器预测人会感到舒适或没有给定特定的驾驶风格。例如，由可解释分类器提供的语义原因可能包括交通拥堵、行人、骑自行车的人和乱闯马路者。在第二域中，可解释分类器可以解释为什么预测车辆会改变车道或保持其当前车道或制动。作为示例，这些解释可以包括其他车辆切入、相邻车道上的交通更快或更慢，以及在同一车道上积累的交通导致减速。在该域，还可以证明，各种解释也包括对比性原因。这是因为并非总是可以将一种语义原因应用于某个实例，而另一种解释则不应被用或是不适用的。例如，车辆减速的原因可能是交通量的增加，而不是因为车辆切入前方车道。
42.在各个示例性实施例中，本公开描述了用于计算给定域的语义类别的集合的方法、系统和设备，包括类别的期望抽象水平；计算原始分类器含义中的最佳层，即原始分类器的保持大部分语义对应于总输入集的层；训练可解释分类器网络，保持原始学习模型权重不变；测试可解释分类器网络并量化其解释准确率，并为原始分类器的每个预测确定并计算解释的可理解的用户格式。
43.在各个示例性实施例中，本公开描述了计算语义类别语言的系统、方法和设备；计算原始分类器中的层，保持与语义类别语言和样本数据集相关的大部分语义；计算每一层的语义准确率；通过抽象、同义词等将语义语言改进为更高级别语言；扩展学习架构；训练包含可解释分类器的扩展中的新边缘；计算每个确定的语义类别的解释输出的解释准确率；以及格式化可理解的用户解释。
44.图1示出了描绘示例性车辆10的框图，其可以包括实现可解释学习系统100的处理器44。通常，输入特征数据由可解释学习系统(或简称为“系统”)100接收。系统100部分地基于接收到的特征数据确定可解释输出。
45.如图1所示，车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上并且基本包围车辆10的部件。车身14和底盘12可以共同形成框架。车轮16-18分别在车身14的相应拐角附近旋转地联接至底盘12。在所示实施例中，车辆10被描述为乘用车，但应当理解，也可以使用任何其他车辆，包括摩托车、卡车、运动型多用途车(suv)、休闲车(rv)、船舶、飞机等。尽管在车辆10中描绘了本公开，但可以预期的是，所提供的方法不限于运输系统或运输行业，而是并且可应用于实现cnn类型学习模型的任何服务、设备或应用。换句话说，可以相信，所介绍的针对可解释学习系统描述的方法、系统和设备在各种不同领域和应用中具有广泛的适用性。
46.如图所示，车辆10通常包括推进系统20、传动系统22、转向系统24、制动系统26、传
感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34以及通信系统36。在该示例中，推进系统20可以包括电机比如永磁体(pm)电动机，以及其他电气和非电气设备也同样适用。传动系统22构造成根据可选速比将动力从推进系统20传递到车轮16和18。
47.制动系统26构造成向车轮16和18提供制动扭矩。在各个示例性实施例中，制动系统26可以包括摩擦制动、线制动、诸如电机的再生制动系统和/或其他适当的制动系统。
48.转向系统24影响车轮16和/或18的位置。虽然出于说明性目的被描绘为包括方向盘25，但在本发明范围内预期的一些示例性实施例中，转向系统24可以不包括方向盘。
49.传感器系统28包括一个或多个感测装置40a-40n，其感测车辆10的外部环境和/或内部环境的可观察到的状况并生成与之相关的传感器数据。
50.致动器系统30包括一个或多个致动器设备42a-42n，其控制一个或多个车辆特征，比如但不限于推进系统20、传动系统22、转向系统24和制动系统26。在各个示例性实施例中，车辆10还可以包括图1中未示出的内部和/或外部车辆特征，比如各种门、行李箱和舱室特征，比如通风、音乐、照明、触摸屏显示部件等。
51.数据存储设备32存储可用于控制车辆10的数据。在各个示例性实施例中，数据存储设备32或类似系统可位于车上(在车辆10中)或可远程位于云端、服务器或个人设备(即智能手机、平板电脑等)上。数据存储设备32可以是控制器34的一部分，与控制器34分离，或者是控制器34的一部分和分离系统的一部分。
52.控制器34包括至少一个处理器44(与系统100集成或连接到系统100)和计算机可读存储设备或介质46。处理器44可以是任何定制的或可商购的处理器、中央处理单元(cpu)、图形处理单元(gpu)、专用集成电路(asic)(例如实现神经网络的定制asic)、现场可编程门阵列(fpga)、与控制器34相关的多个处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、其任何组合或通常用于执行指令的任何设备。例如，计算机可读存储设备或介质46可以包括只读存储器(rom)、随机存取存储器(ram)和保持活动存储器(kam)中的易失性和非易失性存储。kam是持久性或非易失性存储器，其可以在处理器44掉电时用于存储各种操作变量。可以使用许多已知的存储设备中的任何一种来实现计算机可读存储设备或介质46，比如prom(可编程只读存储器)、eprom(电prom)、eeprom(电可擦除prom)、闪存或能够存储数据的任何其他电、磁、光或组合存储设备，其中一些表示可执行指令，由控制器34在控制车辆10时使用。
53.指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。当由处理器44执行时，指令从传感器系统28接收并处理信号(例如传感器数据)，执行用于自动控制车辆10的部件的逻辑、计算、方法和/或算法，并且基于逻辑、计算、方法和/或算法生成传输至致动器系统30的控制信号以自动控制车辆10的部件。尽管在图1中仅示出了一个控制器34，但车辆10的实施例可包括任意数量的控制器34，它们通过任何合适的通信介质或通信介质的组合进行通信，并且配合以处理传感器信号，执行逻辑、计算、方法和/或算法，并且生成控制信号以自动控制车辆10的特征。
54.作为示例，系统100可以包括嵌入在控制器34内的任意数量的附加子模块，其可被组合和/或进一步划分以类似地实现本文所述的系统和方法。另外，可以从传感器系统28接收、从与车辆10相关的其他控制模块(未示出)接收和/或由图1的控制器34内的其他子模块
(未示出)确定/建模的至系统100的输入。此外，输入也可能要经过预处理，比如子采样、降噪、归一化、特征提取、丢失数据减少等。
55.图2是示出了根据实施例的使用可解释学习系统的类别分支或节点的示例性解决方案200的功能图。在图2中，功能图包括接收输入特征的示例性原始分类器205的多层l1(215),l2(220),
…
ln(230)集。根据原始分类器205所提供的配置来加权到每一层的输入特征。通过学习模型基于使用语义函数的计算解决方案从多层集中选择示例性(或指定的)层l*(225)，以从原始分类器205的层集中的每个可用层l1(215),l2(220),
…
ln(230)确定包含最可用语义信息的层。由于确定或指定的层l*(225)包含最多语义信息，因此确定为该层是“最佳”候选者，以充当锚点用于连接到扩展的可解释分类器(即类别分支210)。w0是被计算的初始(即第一)语义语言，并且“w”是被学习来解释预测输出oc的语言中的单词或类别。因此，基于到原始分类器205的输入特征的数据，计算语义类别集。类别分支210扩展原始分类器205，以从接收到的语义数据样本中提取与学习的预测相关的语义类别，并用作输出解释的基础，该解释通过解释制作器245以用户可理解的方式进行格式化。可解释分类器从数据集中学习为什么要为某个输入特征输出某个预测。解释来自语义类别。更简而言之，对于给定的分类器(c)，构造了关于该分类器为何针对特定输入(ic)输出特定输出(oc)的解释。通过类别分支210的扩展，以及另一神经网络的进一步处理，扩展的cnn分类器(类别分支210的)将构成或构造可解释分类器(可解释c)：对于每个输出oc，可解释c将输出具有解释的oc。
56.图3a和3b是根据实施例的示出可以由图2的可解释学习系统200执行的方法300的示例性流程图。在各个示例性实施例中，示例性方法300包括各种任务或步骤，其使某个原始分类器205(图2)能够接收形式为[x1,x2,
…
,xn]的输入，以便输出与每个输入相关的类。也就是说，对类的解释是预测的，并且依赖于语义函数f1,f2,
…
,fk，其针对数据集中的参数x1,
…
,xn计算f1(x1,x2,
…
,xn),f2(x1,x2
…
,xn),
…
,fk(x1,x2,
…
,xn)。语义函数f1(),
…
,fk()是与为给定分类器或原始分类器进行的预测相关的解释。针对数据集中语义数据的每个样本，对数据集中的参数x1,
…
,xn执行函数的计算。
[0057]
通过扩展给定分类器网络的架构，能够训练新分类器网络(即另一神经网络)的扩展连接，并且新分类器网络可以学习什么函数f()对应于数据输入x1
…
xn和输入x1
…
xn的原始分类器的类预测输出(此训练可能会导致一个以上函数作为可能的解释，并且还包括为什么某个函数不能解释该预测)。在评估新分类器的扩展连接时，神经网络需要以人类可理解格式评估在输出解释中产生的输出。
[0058]
在示例性方法300的任务310、320和330中，可解释学习系统200定义语义语言。根据现有分类器的输入集中的数据计算语义类别语言。分类器的原始训练中不会使用此数据。例如，在任务310，自主车辆为什么制动、改变车道或不改变而继续行驶的一组函数被定义用于是可能解释的函数集(f1,
…
,f6)：f1＝开路，f2＝左切，f3＝右切，f4＝减速，f5＝左车道更快，f6＝右车道更快。
[0059]
在任务320，对于给定的数据集[x1,
…
,xn]，可解释学习系统200计算6个函数f1
…
f6中的每一个。例如，f5(自主-车道，自主-速度，自主-在前-车道，自主-在前-速度，其他v1-速度，其他v1-车道,
…
,其他vk-速度，其他vk-车道)。
[0060]
在示例性情况下，对车道id进行编码，使得连续的车道在id上的绝对差为1，并且
向左的车道总是具有较小的id。可以在语义函数中使用的示例计算代码如下：
[0061]
在325，计算f5()
[0062]
对于所有车辆，其他vi：
[0063]
如果其他vi-车道＝自主-车道-1，则将其他vi(速度，车道)添加到其他车辆列表
[0064]
对于其他车辆列表中的所有车辆
[0065]
和速度 ＝其他车辆列表中的其他vi
[0066]
平均左车道速度＝和速度/尺寸(其他车辆列表)
[0067]
如果(平均左车道速度》自主-在前-速度)则
[0068]
返回左-车道-更快＝1
[0069]
否则返回左-车道-更快＝0
[0070]
因此，在327，根据f函数的语义来计算f1(),f2(),f3(),f4()和f6()。
[0071]
在各个示例性实施例中，语言的元素将被视为可能的解释，该解释可用于计算以解释分类器的输出。用这种语言，可解释学习系统200将w0定义为在上下文中包括可由用户识别以影响或改变分类输出的元素。例如，在驾驶环境中，w0可能被定义为包括“事故”、“交通拥堵”、“人行横道”、“危险”等。这些是语义结构，用户在尝试解释某种驾驶行为时可能会用它来描述驾驶情况。
[0072]
在任务310至330中的各个示例性实施例中，为了构造语义标记，可解释学习系统200用从语义语言w0获取的附加类别标记给定分类器数据集中的所有或近似所有样本。在各个实施例中，可以通过手动注释或通过计算来完成标记。
[0073]
在任务330，可解释学习系统200改进语义函数f1()至f6()。例如，在某些域中，可解释学习系统200在计算语义准确率之后认识到可以从f函数中计算出新函数g()。例如，如果f1()＝行人横过马路，f2()＝动物横过马路，则可解释学习系统可以定义新函数g1(f1,f2)＝vru(弱势道路使用者)正在过马路＝f1()或f2()。
[0074]
在任务340，可解释学习系统200计算或指定(语义上)最佳层。为了扩展给定分类器或原始分类器以输出对其每个预测输出的解释，有必要计算原始分类器中的层，将从该层中指定用于扩展学习架构。指定层被表示为层l*。可解释学习系统200的目的是确定包含最多语义信息或数据的层。原始分类器在执行分类时不考虑它的哪一层包含最多的语义信息。为了计算指定层l*，必须首先在原始分类器中计算每一层l的质心。还应注意，原始分类器可以是cnn分类器。质心由原始分类器针对w0(已定义的语义语言)中的每个类别w和给定训练集上的分类器中的每一层l进行计算。每个质心通过以下函数进行引用，其中样本x的层l的激活是向量，其包括当x是要评估的样本时该层中所有节点的激活：
[0075][0076]
接下来，在340，给定已经用它们的语义类别标记的测试特征数据集，可解释学习系统200为原始分类器中的每一层l计算语义准确率。语义准确率度量(针对任何层l和语义类别wi计算)是测试集中所有样本的f
l
(wi)语义预测成功的平均。这意味着在给定的层l中，激活样本的距离最接近计算的质心。由于测试特征数据样本也被标注有语义标签，因此可解释学习系统200还可以计算有多少样本最接近其(语义)对应质心。可解释学习系统200仅
计算最接近值作为具有最小距离的值。在各个示例性替代实施例中，可解释学习系统200可以配置为实施不同的距离度量，并且阈值影响确定语义准确率或度量的质量。度量的语义准确率如下：
[0077][0078][0079]
然后，可解释学习系统200通过采用或选择具有语义准确率的最大值的层l来找到用于语义语言w0的指定层l*。
[0080]
在任务340，改进语义函数f1()至f6()。例如，在某些域中，可以从f函数中计算出新函数g。例如，如果f1()＝行人正在过马路，f2()＝动物正在过马路，则定义新函数g1(f1,f2)＝vru正在过马路＝f1()或f2()。
[0081]
在各个示例性实施例中，并且在任务330，可解释学习系统200配置为改进语义语言w0。可以定义新语言w1作为任务1中定义的语义语言的改进。例如，对于某些复杂域，可能希望向用户输出更简单的解释，其可能包括使用抽象、同义词或相关单词包。
[0082]
在任务350，可解释学习系统200构建可解释分类器并训练可解释分类器内的新连接集以创建新神经网络。
[0083]
在各个实施例中，可解释学习系统200配置为仅训练从原始分类器接收的新连接或输入，其已通过类别分支的扩展在扩展架构中形成。任务350中的可解释学习系统200通过在链接原始分类器时创建步骤架构更改来扩展、创建或构建包括可解释分类器的扩展。
[0084]
在示例性实施例中，在350，可解释学习系统200通过创建“语义分支”的第一节点和“解释器”(参见图2)的第二节点来在两个新节点中训练新的可解释分类器。语义分支节点连接到分类器层l*(已在任务4中计算出)。解释器连接到语义分支，并在原始分类器输出预测类时输出实际解释。可解释学习系统200训练可解释分类器，而在原始分类器中已被学习的权重被冻结或保持静态。换句话说，可解释学习系统200仅配置为针对语义分支的新权重集需要额外的训练和学习，以便捕获最接近预测类的语义类别。
[0085]
在任务360，可解释学习系统200以针对每个确定的语义类别的解释输出的准确率度量来计算解释准确率。例如：对于给定的数据样本x1
…
xn，可解释学习系统200计算解释：预测自主车辆进行左车道变更，因为其左侧的车道更快，而不是因为另一辆车辆正在切入。任务5中的验证仅对数据集的新样本进行采样，而不对训练集中使用的所生成的样本进行采样。
[0086]
可解释学习系统200在任务370中实现了简单的解释器逻辑：假定人类可理解的语法模板，其中预测的类和计算的解释在短语的相应句法位置中输出：“因为{解释输出}，所以输出为{oc}”。它展示了在两个自动驾驶实验中成功学习的解释：驾驶舒适性和驾驶轨迹。
[0087]
图4a、4b、4c、4d、4e、4f和4g是示例性流程图，其示出了原始分类器中的指定层的计算，指定层包含相对于语义类别的语言的大部分语义数据，用优化计算配置样本数据集，并且根据实施例，计算可解释学习系统的每一层的语义准确率。
[0088]
在各个示例性实施例中，图4a至4f在描述可解释学习系统200的过程时，实现了示
例性假设集。例如，可解释学习系统200假设用户的车辆被基于包括约100个样本的数据集被识别为a、b和c的3个其他车辆包围。在100个样本中的每个中，可解释学习系统200假设每个样本配置为在时间t＝[我的-车辆-位置，我的-车辆-速度，a-位置，a-速度，b-位置，b-速度，c-位置，c-速度]。在此示例中的100个样本中，40个样本包括组1(用于训练步骤)，另外40个样本包括组2(用于训练步骤)。其余20个样本分为组3(7个样本)和组4(13个样本)。组3和4都用于测试步骤。此外，对于每个样本，还按如下进行以下样本假设1至4：(1)可解释学习系统使100个样本中的40个样本(组1)的假设可以标记有“另一车辆切入我”；(2)可解释学习系统假设100个样本中的另外40个样本(组2)可以标记有“我的道路是开放的”；(3)在剩余的20个样本(组3)中，可解释学习系统假设可以将7个样本标记w/“另一车辆切入我”；(4)在其余的20个样本(组4)中，可解释学习系统假设13个样本可以标记w/“我的道路是开放的”。接下来，在图4a中，假设扩展的给定分类器仅配置有5层，即l1(410),l2(420),l3(430),l4(440)和l5(450)，用于处理每个样本并为每个样本生成预测类。
[0089]
接下来，在图4b和4c中，通过最初运行(即处理)通过神经网络的组1的前40个样本来说明由可解释学习系统处理100个样本的流程。接下来，可解释学习系统监视神经网络的每一层中包含的节点中的激活，以确定在每个样本的每个执行运行中触发的节点集。例如，在图4b中，在l1处发送和处理“样本1”，其中在l1处示出了由计算“0.2、0.3、0.7和0.1”表示的观察到的节点激活集，以此类推，如在随后生成用于样本1的预测类的其他连续层l2-l5中所示。类似地，在图4c中，“样本2”在l1中被处理，并且包括由l1中的计算“0.2、0.3、0.7和0.1”表示的另一节点激活集，且在随后生成用于样本2的预测类的其他连续层l2-l5中以此类推。此外，同样地在图4d中，“样本3”在l1中被处理，并且包括由l1中的计算“0.2、0.3、0.7和0.1”表示的另一节点激活集，且在随后生成用于样本3的预测类的其他连续层l2-l5中以此类推。
[0090]
接下来，在图4g中，可解释学习系统基于每一层中的计算生成并保留数字的平均集，以创建训练的分类模型，其中学习的语义类别表示“另一车辆切入我”(即用于与每组的约所有40个样本相关的类别)。也就是说，5个向量平均表示如下：
[0091]
x1＝[第一层中第一节点的平均，第一层中第二节点的平均，
…
，第一层中第四节点的平均]
[0092]
x2＝[第二层中第一节点的平均，第二层中第二节点的平均，
…
，第二层中第四节点的平均]
[0093]
x3＝[第三层中第一节点的平均，第三层中第二节点的平均，
…
，第三层中第四节点的平均]
[0094]
x4＝[第四层中第一节点的平均，第四层中第二节点的平均，
…
，第四层中第四节点的平均]
[0095]
x5＝[第五层中第一节点的平均，第五层中第二节点的平均，
…
，第五层中第四节点的平均]
[0096]
如图4e和4f所示，对所有40个样本重复图4a-4d的处理步骤。
[0097]
然后，如图4g所示，对于“我的路是开放的”(这是所有40(组2中)样本的类别)的每一层中的平均用新向量平均y1至y5集表示如下：
[0098]
y1＝[第一层中第一节点的平均，第一层中第二节点的平均，
…
，第一层中第四节
点的平均]
[0099]
y2＝[第二层中第一节点的平均，第二层中第二节点的平均，
…
，第二层中第四节点的平均]
[0100]
y3＝[第三层中第一节点的平均，第三层中第二节点的平均，
…
，第三层中第四节点的平均]
[0101]
y4＝[第四层中第一节点的平均，第四层中第二节点的平均，
…
，第四层中第四节点的平均]
[0102]
y5＝[第五层中第一节点的平均，第五层中第二节点的平均，
…
，第五层中第四节点的平均]
[0103]
仅对测试集中的组3和组4进行评分。基于处理包含组1和组2的训练集，计算每个层和每个语义类别的平均。在包含组3和组4的测试集上计算距离。只有当测试样本与特定语义类别的该层的平均激活距离最近时，才会对该层进行评分。
[0104]
例如，对于层l1：如果该样本是其余20个样本中的测试集(组3)中的7个案例之一(被给予类别“另一车辆切入我”)，并且该样本导致层1中最接近x1(而不是y1)的节点的激活，则可解释学习系统将分数1归于层l1；否则给予层l1分数0。如果该样本是测试集中的20个样本中的13个(组4中)之一(被给予类别“开路”)，并且该样本导致层l1中最接近y1(而不是x1)的激活，则可解释学习系统将分数1归于层l1；否则给予层l1分数0。然后，基于对20个样本中的每个进行的所有计算，由1分数的总和来确定层l1的最终分数。选择的层l*是已经接收到最大总得分的层(在层l1,l2,l3,l4和l5集中)。
[0105]
图5是根据实施例的可解释学习系统的另一流程图。图5的流程图是比图3a-3b更高级别的流程图。在图5中，可解释学习系统200在任务2的单个步骤中配置对可解释学习系统200的语义分类模型的样本的训练。简而言之，在图5的流程图500中，可解释学习系统通过执行以下步骤定义w0语义语言来执行最初在任务510和520处的任务：(1)在任务510，由可解释性学习系统将语义类别w0集定义为可能的解释输出(例如环境中影响分类输出的元素)；(2)在任务520，用w0中的类别为每个训练样本计算标签。
[0106]
接下来，在任务530，可解释学习系统200仅针对训练集中的每个样本的语义类别的计算执行l*的计算，步骤为(1)对于c中的每一层l，对于w0中的每个类别w：对于给定的训练集，通过函数计算层l中的激活的质心(平均)：
[0107]
以及
[0108]
(2)对于c中的每一层l，计算语义准确率，
[0109]
给定标记有语义基础事实(w)的测试集：
[0110][0111][0112]
在分类器中找到最适合w0的层：l*＝argmax(语义准确率(l))。
[0113]
在任务540，可解释学习系统200从wo确定w1用于可能的抽象。例如，可以实现可能的扩展以基于所选层l*中的w0定义新类别w1(例如w1可以使用诸如同义词等术语的词的分
组或数据集(即本体数据库)以及可以用更用户可理解的语言来替换技术术语的通用化来导出)。应该注意的是，要成为w1的w0的改进与最佳语义层l*之间没有关系。
[0114]
在任务550，可解释学习系统200配置为通过扩展连接到原始分类器的层l*(即语义分支)的新分支来构建可解释分类器并用分类器的新连接训练模型，这将使与原始分类器的输出预测相关的学习的输出语义类别成为w0中的对应类别(即类别语义语言集)。训练的可解释分类器将使用与其连接的原始分类器的冻结权重集进行训练。训练的分类器将基于已在任务520中标记的新训练样本来仅学习语义分支中的权重。训练步骤可配置为学习语义分支的权重，以便将w0配置有新分支的输出(例如使用交叉熵损失或其他适当的损失函数)。在任务560，基于准确率度量为输出的计算的解释验证样本集。例如，为新分类器神经网络的标签添加“解释器”。可解释学习系统可以利用测试样本为确定的语义类别计算每个解释输出的解释准确率。在任务570，解释＝“因为{可解释c的语义分支的输出}，所以输出为{oc}”。可解释学习系统训练可解释分类器，同时其冻结已在给定分类器c中学习的权重。因此，它仅学习语义分支的新权重以捕获最接近预测类的语义类别。简单的解释器逻辑假设人类可理解的语法模板，其中预测类和计算的解释在短语中的相应句法位置中输出：“因为{解释输出}，所以输出为{oc}。”[0115]
图6是根据实施例的可解释学习系统200的解释性驾驶舒适性预测的示例图。可解释学习系统200使用的cnn可以构造成在被激励的自动(即模拟)乘坐过程中预测参与者的舒适或不舒适。在示例性实施例中，可以对来自100多个参与者的研究进行训练和评估cnn，最终获得约117k数据点(有关参考数据和原始分类器，请参见《goldman et al 2020第八届人类智能体互动国际会议论文集》中的adaptive driving agent)。通过实现图5的处理流程(即列出的5个任务)，其中可以构造可解释cnn，并且其可以输出人类可理解的解释用于舒适度预测。
[0116]
在图6中，可解释学习系统600包括至原始分类器(oc)605的由与驾驶环境和车辆动力学有关的24个特征610构成的输入，该原始分类器在权重层l1至ln中被处理，如先前在图2-5中所述。cnn c的扩展使其成为可解释(可解释c 615)，并且对于oc 605的每个输出，可解释c 615将对oc 605进行解释输出。
[0117]
选择或指定层l*635连接到类别分支620，其构造被发送到解释器625的训练的文本模型w∈w0＝{行人、交通拥堵、自行车、开路}，原始分类器605的输出将指示预测的驾驶员不舒服。解释器625将生成解释＝用户由于交通拥堵而感到不舒服。每一层的指定l*层发现640指示计算的语义准确率。
[0118]
在下面的示例性表中是根据实施例的可解释学习系统的示例结果。在下面的示例性表中，用于驾驶舒适性预测的可解释cnn的示例域1从解释器输出可解释输出。
[0119]
[0120][0121]
测试样本1的可解释输出为短语“用户因为交通而不舒服”。该短语包括“因为交通”的解释性谓语，这是“用户不舒服”这一主题的原因。换句话说，由条件的主语和解释条
件的谓语构成的两部分结构。图6的构建的可解释分类器扩展具有连接到层l*的语义分支的原始分类器，训练可解释分类器，同时冻结原始分类器中的权重，并在网络顶部添加解释器。使用样本解释＝“因为{可解释c的语义分支的输出}，所以输出为{oc}”。
[0122]
图7是根据实施例的用于解释可解释学习系统的车辆轨迹预测的示例图。在图7中，可解释学习系统700包括可解释分类器705，其包括编码器710、卷积解池化模块715和包含选择层l*的解码器720。(由卷积解池化模块715实现的类型的示例性原始分类器描述在《2018年cvpr研讨会论文集》中deo.n和trivedi，m.m的“convolutional social pooling for vehicle trajectory prediction”中。可以从到质心的距离计算层l*(在735)。解释＝车辆减速，因为可能有其他车辆切入。对于类别分支，在此第二域中，可解释学习系统未明确计算l*，因为分类器的原始架构指示指定层是唯一合理的选择。在指定层l*之前，可解释分类器705的神经网络在指定层后不包含有关自主车辆的信息，神经网络继续作为长期短期记忆(lstm)神经网络(但其未配置为cnn)。在这种情况下，专业知识足以选择指定层l*，而无需进行计算来确定它。同样在图7中，oc与输出解释之间的对应如下：oc是对车辆是否要进行车道变更和/或制动的预测。
[0123]
图8是根据实施例的用于可解释学习系统的车辆轨迹预测的可解释cnn的示例性流程图。在图8中，在任务810，可解释学习系统将w0语义语言定义为w0＝{开路、左切入、右切入、减速、左车道更快、右车道更快}。在任务820，训练样本被接收，并且用具有w0的标签样本计算。在示例性实施例中，计算可以包括诸如相邻车道比自主车道快的函数。相邻车道速度＝在距离0到90英尺范围内(仅在车道的正距离处，而不是在后面)在自主旁边的车道中所有车辆的平均速度(当前时间)。自主车道速度是先前车辆的速度(当前时间)。相邻车道速度》自主车道速度(左/右)。接下来，实现给定的分类器，并且在任务830，就其语义内容而言已接收到最高分数的层(节点的向量)(即l*＝经由人类专家的轨迹编码层)。为最佳层计算l*以提取语义。例如，在给定的分类器中，可以为类别未实现(例如w0中与行人、动物过马路有关的所有类别
……
都可以命名为“vru”)，因此在w1中使用此新类别，解释将参考vru而不是特定类别。而且，可以实现选择任务840以从w0确定w1以用于可能的抽象。在任务850，可解释分类器的可解释模型被构造并用新连接进行训练。在任务860，接收验证样本集以计算具有准确率度量的解释。在任务870，用输出解释计算新样本。训练的语义模型可能会输出以下解释：“因为左车道比我的快而左车道变更”、“因为从右切入而制动”、“因为车道减速而制动”以及“因为道路开放而正常行驶”。
[0124]
在w0的下面示例性表中，示出了根据实施例的可解释学习系统的训练集中的出现次数和测试集中的出现次数。
[0125][0126]
在w0的以下示例性表中，示出了根据实施例的可解释学习系统的解释准确率和解释roc auc。
[0127][0128][0129]
以下是第二域的示例性事件列表以及原始cnn，该cnn预测用户舒适性同时经历模拟自动驾驶乘坐(请参见《goldman et al 2020第八届人类智能体互动国际会议论文集》中的adaptive driving agent)。可解释分类器使用的语义语言w0建立在这些标签上，它包括8个类别：交通、自行车、行人、开路、切入、危险、密集交通以及乱闯马路者。
[0130]
在此第一示例中，注意力集中在显示针对每个类别的方法的可行性，并且可以注
意到这些类别是舒适性预测cnn的输入特征中已经存在的事件的超集。可解释学习系统可以启用语言的手动注释，以在上表中的可解释cnn中标记训练数据集。
[0131]
a.接近交通拥堵
[0132]
b.道路上危险
[0133]
c.在密集交通情况下驾驶
[0134]
d.乱闯马路者
[0135]
e.行人过马路
[0136]
f.其他车辆并入我们车道
[0137]
g.骑自行车的人
[0138]
h.在骑自行车的人旁边驾驶
[0139]
i.堵车
[0140]
j.开路
[0141]
k.经过我们的其他汽车
[0142]
在可解释学习系统中，根据实施例，为可解释学习系统的w0内的层l计算激活质心。可解释学习系统定义语义类别w0集，用w0中的类别标记每个训练样本，计算层l和w0中的w的激活质心，并在分类器中计算层l，最大语义准确率为在示例性表中，示出了根据实施例的具有可解释学习系统的最大语义准确率的分类器计算的测试层的结果。确定质心语义准确率用于w0＝{交通、自行车、行人、开路、切入、危险、密集交通以及乱闯马路者}。
[0143][0144]
要以最大语义准确率在分类器中如下计算层l：给定用语义地面真相(w)标记的测试集，
[0145][0146]
用于在分类器中找到对于w0执行最佳的层：l*＝argmax(语义准确率(l))。
[0147]
使用可解释学习系统的质心计算来选择图6的测试层中的l*＝max_池化1d_2。语义准确率＝1如果正确预测*语义类别(不考虑舒适性元素)，否则为0。*预测是指测试样本距离质心足够近，这是根据相同的所有训练样本计算得出的。
[0148]
图9是根据实施例的用于可解释学习系统的驾驶舒适性预测的cnn的示例图。在图9中，可构建的分类器使用连接到层l*的语义分支扩展原始分类器，该语义分支将预测w0中的相应类别。
[0149]
下面示出了根据实施例的可解释学习系统的解释准确率的示例性表。下表示出了针对所有层计算的度量(不仅对于l*，最优层)。下表示出了所有最终结果。在此域中，如前所述，某些语义信息是输入函数的一部分。因此，输入获得最高准确率分数。然而，可以看出，即使训练了原始分类器来预测舒适性，层l*在解释语义方面也已成功执行，可解释学习系统在w0中定义由原始cnn计算的预测。由可解释cnn计算的解释输出示例包括如下：“用户因为交通而不舒服”(当其余输入设置由于交通拥堵而导致速度非常慢时)，“用户因为乱闯马路者而不舒服”(当出现乱闯马路者以及此时车辆速度相对较高时，“用户因为切入而不舒服”(车速不算太高，但当另一车辆经过时，与前面的车的距离非常短)。
[0150][0151]
在样本s的语义输出(so)和原始语义地面真相(sgt)的解释准确率中：
[0152][0153][0154]
训练样本的数量为72432，测试样本的数量为18059。可以看出，选择max_池化1d_2是对实际最优值的良好近似。对于层l*＝max_池化1d_1和层l*＝max_池化1d_2，准确率非常接近1.0。这可能是由于输入包含语义类本身的结果。
[0155]
在第二示例中(请参见deo n.和trivedi m.2018在ieee计算机视觉和模式识别会议(cvpr)研讨会的论文集中的convolutional social pooling for vehicle trajectory prediction)，卷积社交池化包括系统和输入所有车辆的3秒(x,y)轨迹，距自主车辆的最大距离为1车道和90英尺。输出是自主车辆在接下来5秒内的预测(x,y)位置，以及自主车辆的纵向操纵＝{正常行驶，制动}和横向操纵＝{保持车道，左车道变更，右车道变更}。
[0156]
图9是根据实施例的用于可解释学习系统的轨迹预测的可解释cnn的示例性图910。如图9所示，由层l1(930),l2(940),l*(950)和ln(960)构成的可解释分类器920定义w0＝{开路、左切入、右切入、减速、左车道更快、右车道更快}的w0的语义类别集(通过类别分支970)。训练模型的每个类别的函数(由解释器980输出)是：(1)开路：(从hv到前一车辆)，距离间隔》90英尺；(2)切入(左/右)(在纸张的4秒间隔限制内在90英尺内)，自主车道应保持不变，自主识别id更改且道路未开放，左/右基于新前面的上一车道id；(3)减速：2帧是自主车道id不变，且自主没有停止，自主先前id不为空，自主先前id在2帧中相同，并且其没有停止，在自主和自主先前之间的时间间隔减少。间隙减小》0.15*旧间隙，在2帧中道路未开放；(4)相邻车道比自主车道快：相邻车道速度＝在距离0到90英尺内的自主旁边的车道中的所有车辆的平均速度(仅在车道中的正距离处，而不是在后面)(当前时间)，自主车道速度是前一辆车的速度(当前时间)，相邻车道速度》自主车道速度(左/右)。
[0157]
可解释学习系统的cnn配置为预测车辆是否将要进行左车道变更、右车道变更、保持其当前车道以及是否要制动。可解释学习系统假设预先给定cnn分类器，并基于前3秒的数据预测接下来5秒的车辆行为。它应用图5中的过程的五个步骤以解释预测。在该域中，可解释学习系统定义了语义语言w0，其语义类别未包含在原始分类器的数据集中。为此，计算了6个语义类别：开路、左切入、右切入、减速、左车道更快、右车道更快。每个这样的类别都需要对我们可用数据中的设置进行计算，但最初没有一个类别用于预测学习。可解释学习系统用这些类别标记可解释cnn的训练集。在该域中，通过应用用户专业知识可以清楚的是，在轨迹编码层扩展cnn是合理的决定。
[0158]
在各个示例性实施例中，可解释学习系统利用可解释分类器来计算解释。例如，它可以解释预测到左车道变更是因为左车道比自主车辆的当前车道快：“因为从右侧切入，所以制动”，“因为车道减速，所以制动”，“因为道路开放，所以正常行驶”。
[0159]
在该域中，可解释cnn架构的解释器部件由二进制多标签向量构成，其在对应的类别为真时与1相关，否则为0。向量[开路/不开路，左切入/不左切入，右切入/不右切入，减速/不减速，左车道比我们的更快/更慢或相等，右车道比我们的更快/更慢或相等]。因此，这种架构可能导致由多个类别的组合表示的更复杂解释。例如，它可以扩展解释器以提供对比性解释，比如“因为从右切入而不是车道减速，所以制动”，“因为左侧车道更快而不是因为另一辆车切入我，所以左侧车道变更”，“因为左侧车道更快、我的车道减速以及车辆切入，所以左侧车道变更”。可解释学习系统可以在一个解释中进行多种解释，也可以进行对比性解释。
[0160]
在各个示例性实施例中，本公开提出了被认为能够扩展给定分类器、训练分类器以及评估分类器以产生原始预测的解释的方法。实施可解释学习系统以在两个域中说明这种语义解释的好处：舒适驾驶和驾驶轨迹。在第一个中，可解释学习系统解释了为什么分类器预测用户会感到舒适或没有给定特定的驾驶风格。由可解释分类器提供的语义原因包括
交通拥堵、行人、骑自行车的人和乱闯马路者。在第二域中，可解释分类器解释为什么预测车辆会改变车道或保持其当前车道或制动。这些解释包括其他车辆切入、相邻车道中的交通更快与否，以及在同一车道上积累的交通导致减速。在该域，还显示出解释包括对比性原因，因为可以证明一个语义原因适用而另一个语义原因不适用(例如减速可能是由于流量增加而引起的，而不是因为车辆正在切入)。
[0161]
在各个示例性实施例中的本公开在学习模型和基于模型的计划工作的交集处提供了价值。解释黑匣子的语义可以传递给基于模型的计划者，以帮助选择更高价值的行动。在支持人类用户理解ai系统计算出的高级特征时，也可以认为结果是相关的。
[0162]
结合可解释学习模型的监督学习和训练而执行的各种任务可以由软件、硬件、固件或其任何组合来执行。实际上，图1-9的过程的一部分可以由所描述的系统的不同元件来执行。
[0163]
应当认识到，图1-9的过程可以包括任何数量的附加或替代任务，图1-9中示出的任务不必以图示的顺序执行，并且图1-9的处理可以结合到具有这里没有详细描述的附加功能的更全面的程序或过程中。此外，图1-9所示的一个或多个任务可以从图1-9所示的过程的实施例中省略，只要预期的整体功能保持完整即可。
[0164]
前述详细描述本质上仅是说明性的，并不旨在限制主题的实施例或此类实施例的应用和使用。如本文所用，词语“示例性”是指“用作示例、实例或说明”。本文中描述为示例性的任何实施方式不一定被解释为比其他实施方式优选或有利。此外，无意受到在先前技术领域、背景技术或详细描述中提出的任何明示或暗示的理论的约束。
[0165]
尽管在前面的详细描述中已经提出了至少两个示例性实施例，但应当理解，存在大量的变型。还应当理解，一个或多个示例性实施例仅是示例，并且无意以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实施一个或多个示例性实施例的便利路线图。
[0166]
应当理解，在不脱离如所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。