用于在驾驶场景中完成联合风险定位和推理的系统和方法与流程

用于在驾驶场景中完成联合风险定位和推理的系统和方法
1.相关申请的交叉引用
2.本技术要求2021年5月21日提交的美国临时申请序列号63/191,581的优先权，该美国临时申请以引用方式并入本文。


背景技术：

3.识别驾驶场景中的重要物体可能是高级驾驶和高级驾驶辅助系统中下游任务的基本要素。态势感知是智能车辆实现高度自动化的重要要求。智能移动环境感知的一个重要方面是，能够从驾驶员的角度创建一个可解释的风险感知网络，并建立向驾驶员传达这些风险的方法。


技术实现要素：

4.根据一个方面，一种用于在驾驶场景中完成联合风险定位和推理的计算机实施方法，该方法包括接收与自我意识代理的驾驶场景相关联的多个图像。该计算机实施的方法还包括将与多个图像相关联的图像数据输入到编码器。从图像数据中提取经编码的视觉特征和经编码的光流特征，并且将其级联成与自我意识代理的驾驶场景相关联的级联特征。该计算机实施的方法附加包括将级联特征输入到解码器，该解码器识别位于自我意识代理的驾驶场景内的重要交通代理和重要交通基础设施中的至少一者。该计算机实施的方法还包括控制自我意识代理的至少一个系统以提供响应来说明位于自我意识代理的驾驶场景内的重要交通代理和重要交通基础设施中的至少一者。
5.根据另一方面，一种用于在驾驶场景中完成联合风险定位和推理的系统，该系统包括存储器，该存储器存储指令，当指令被处理器执行时，使处理器接收与自我意识代理的驾驶场景相关联的多个图像。指令还使得处理器将与多个图像相关联的图像数据输入到编码器。从图像数据中提取经编码的视觉特征和经编码的光流特征，并且将其级联成与自我意识代理的驾驶场景相关联的级联特征。指令还使得处理器将级联特征输入到解码器，该解码器识别位于自我意识代理的驾驶场景内的重要交通代理和重要交通基础设施中的至少一者。指令还使得处理器控制自我意识代理的至少一个系统以提供响应来说明位于自我意识代理的驾驶场景内的重要交通代理和重要交通基础设施中的至少一者。
6.根据又一方面，一种非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质存储指令，当指令被包括处理器的计算机执行时，执行包括接收与自我意识代理的驾驶场景相关联的多个图像的方法。该计算机实施的方法还包括将与多个图像相关联的图像数据输入到编码器。从图像数据中提取经编码的视觉特征和经编码的光流特征，并且将其级联成与自我意识代理的驾驶场景相关联的级联特征。该计算机实施的方法附加包括将级联特征输入到解码器，该解码器识别位于自我意识代理的驾驶场景内的重要交通代理和重要交通基础设施中的至少一者。该计算机实施的方法还包括控制自我意识代理的至少一个系统以提供响应来说明位于自我意识代理的驾驶场景内的重要交通代理和重要交通基础设施中的至少一者。
附图说明
7.被认为是本公开的特性的新颖特征在所附权利要求中提出。在下面的描述中，在整个说明书和附图中，相似的部分分别用相同的数字标记。为了清楚和简洁起见，附图未必按比例绘制，并且某些附图可以以夸大或概括的形式示出。然而，当结合附图阅读时，通过参照说明性实施方案的以下详细说明，将最好地理解本公开本身及其优选的使用方式、其进一步的目的和进步，其中：
8.图1是根据本公开的示例性实施方案的用于在驾驶场景中完成联合风险定位和推理的示例性系统的示意图；
9.图2是根据本公开的示例性实施方案的被包括在具有推理模块数据集的预训练驾驶风险评估机制中的数据的说明性示例；
10.图3是根据本公开的示例性实施方案的神经网络的编码器-解码器结构的示意图：
11.图4是根据本公开的示例性实施方案的利用神经网络的编码器向神经网络的解码器输出级联图像流数据的方法的工艺流程图；
12.图5是根据本公开的示例性实施方案的用于解码级联图像流数据并提供与一个或多个重要交通代理和/或位于自我意识代理的驾驶场景内的重要交通基础设施相关联的驾驶风险响应的方法的工艺流程图；
13.图6a是根据本公开的示例性实施方案的针对特定驾驶场景分析的多个注释的说明性示例；
14.图6b是根据本公开的示例性实施方案的针对特定驾驶场景分析的多个注释的说明性示例；
15.图6c是根据本公开的示例性实施方案的针对特定驾驶场景分析的多个注释的说明性示例；
16.图6d是根据本公开的示例性实施方案的针对特定驾驶场景分析的多个注释的说明性示例；
17.图7a是根据本公开的示例性实施方案的可由神经网络确定以与字幕匹配的边界框呈现的说明性示例；
18.图7b是根据本公开的示例性实施方案的可由神经网络确定以与字幕匹配的边界框呈现的说明性示例；
19.图7c是根据本公开的示例性实施方案的可由神经网络确定以与字幕匹配的边界框呈现的说明性示例；
20.图7d是根据本公开的示例性实施方案的可由神经网络确定以与字幕匹配的边界框呈现的说明性示例；并且
21.图8是根据本公开的示例性实施方案的用于在驾驶场景中完成联合风险定位和推理的方法的工艺流程图。
具体实施方式
22.以下包括本文采用的选定术语的定义。定义包括落入某个术语的范围内的并且可用于实施方式的部件的各种示例和/或形式。这些示例并非旨在进行限制。
23.如本文所用，“总线”是指可互连的架构，其可操作地连接到在计算机内或在计算
机之间的其他计算机部件。总线可以在计算机部件之间传输数据。总线可以是存储器总线、存储器控制器、外围总线、外部总线、纵横开关和/或本地总线等等。总线还可以是使用诸如面向媒体的系统传送(most)、控制器局域网(can)、本地互连网络(lin)等等协议来将在车辆内的部件互连的车辆总线。
24.如本文所用，“计算机通信”是指在两个或更多个计算设备(例如，计算机、个人数字助理、蜂窝电话、网络设备)之间的通信，并且可以是例如网络传输、文件传输、小程序传输、电子邮件、超文本传输协议(http)传输等。计算机通信可以跨例如无线系统(例如，ieee 802.11)、以太网系统(例如，ieee 802.3)、令牌环系统(例如，ieee 802.5)、局域网(lan)、广域网(wan)、点对点系统、电路交换系统、分组交换系统等等发生。
25.如本文所用，“盘”可以是例如磁盘驱动器、固态磁盘驱动器、软盘驱动器、磁带驱动器、zip驱动器、闪存存储器卡和/或记忆棒。此外，盘可以是cd-rom(压缩盘rom)、cd可记录驱动器(cd-r驱动器)、cd可重写驱动器(cd-rw驱动器)和/或数字视频rom驱动器(dvd rom)。盘可以存储控制或分配计算设备的资源的操作系统。
26.如本文所用，“存储器”可以包括易失性存储器和/或非易失性存储器。非易失性存储器可以包括例如rom(只读存储器)、prom(可编程只读存储器)、eprom(可擦除prom)和eeprom(电可擦除prom)。易失性存储器可以包括例如ram(随机存取存储器)、同步ram(sram)、动态ram(dram)、同步dram(sdram)、双倍数据速率sdram(ddr sdram)和直接ram总线ram(drram)。存储器可以存储控制或分配计算设备的资源的操作系统。
27.如本文所用，“模块”包括但不限于存储指令的非暂态计算机可读介质、在机器上执行的指令、在机器上执行的硬件、固件、软件、和/或每一者的组合以执行一个或多个功能或一个或多个动作和/或引起另一个模块、方法和/或系统执行功能或动作。模块还可以包括逻辑、软件控制微处理器、离散逻辑电路、模拟电路、数字电路、编程逻辑设备、包含执行指令的存储器设备、逻辑门、门组合和/或其他电路部件。多个模块可组合成一个模块，并且单个模块可分布在多个模块之间。
[0028]“可操作的连接”或使实体“可操作地连接”的连接是可发送和/或接收信号、物理通信和/或逻辑通信的连接。可操作的连接可以包括无线接口、物理接口、数据接口和/或电气接口。
[0029]
如本文所用，“处理器”处理信号并且执行一般计算和算术功能。由处理器处理的信号可以包括数字信号、数据信号、计算机指令、处理器指令、消息、位、位串流或可被接收、传输和/或检测的其他手段。一般来讲，处理器可以是多种处理器，包括多个单核和多核处理器和协处理器以及其他多个单核和多核处理器和协处理器架构。处理器可以包括各种模块以执行各种功能。
[0030]
如本文所用，“运载工具”是指能够运载一个或多个人类乘员并且由任何形式的能量提供动力的任何移动运载工具。术语“车辆”包括(但不限于)：汽车、卡车、面包车、小型货车、suv、摩托车、踏板车、船只、卡丁车、游乐车、铁路运输、个人水艇和飞机。在一些情况中，机动车辆包括一个或多个发动机。此外，术语“车辆”可以是指能够运载一个或多个人类乘员并且完全地或部分地由电池供电的一个或多个电动马达供电的电动车辆(ev)。ev可包括电池动力电动运载工具(bev)和插电式混合动力电动运载工具(phev)。另外，术语“车辆”可还是指由任何形式的能量提供动力的自主车辆和/或自行驾驶车辆。自动运载工具可以运
载或可以不运载一个或多个人类乘员。此外，术语“车辆”可包括具有预定路径的自动化或非自动的车辆或自由移动的车辆。
[0031]
如本文所用，“值”和“水平”可包括(但不限于)数值或其他种类的值或水平，诸如百分比、非数值、离散状态、离散值、连续值等等。如整个该具体实施方式及权利要求书中所用，术语“x的值”或“x的级别”是指用于区分x的两个或更多个状态的任何数值或其他种类的值。例如，在一些情况下，x的值或级别可作为0％与100％之间的百分数给出。在其他情况下，x的值或级别可以是1与10之间的范围内的值。在再其他情况下，x的值或级别可能不是数值，而是可与给定离散状态相关联，诸如“不是x”、“略微x”、“x”、“十分x”和“极其x”。
[0032]
i.系统概述
[0033]
现参照附图，其中所示内容用于说明一个或多个示例性实施方案，而非用于限制这些实施方案，图1是根据本公开的示例性实施方案的用于在驾驶场景中完成联合风险定位和推理的示例性系统的示意图。本文所讨论的系统100的部件以及其他系统、硬件架构和软件架构的部件可组合、省略或组织成各种实施方案的不同架构。
[0034]
通常，系统100包括自我意识代理102，该自我意识代理包括电子控制单元(ecu)104，该ecu执行一个或多个应用、操作系统、代理系统和子系统用户界面等。ecu 104还可以执行驾驶风险评估机制和警报应用(驾驶风险警报应用)106，该驾驶风险评估机制和警报应用可被配置为利用神经网络108来分析与自我意识代理102的驾驶场景相关联的多个图像，以识别一个或多个交通代理和/或交通基础设施。
[0035]
自我意识代理102可包括但不限于在自我意识代理102的驾驶场景内行驶的车辆、摩托车、机动自行车/踏板车、工程车辆、飞行器等，该自我意识代理可包括一个或多个交通代理。除了一个或多个交通代理之外，自我意识代理102的驾驶场景可包括可以围绕自我意识代理102的预定附近区域，并且可包括自我意识代理102可以在其上行驶的一个或多个道路、路径、滑行道等。
[0036]
一个或多个交通代理可包括但不限于可位于自我意识代理102的驾驶场景内并在其中行驶的附加车辆(例如，汽车、卡车、公共汽车)、行人、摩托车、自行车、踏板车、工程/制造车辆/装置(例如，移动式起重机、叉车、推土机)、飞行器等。驾驶场景还可包括交通基础设施，该交通基础设施可包括但不限于交通灯(例如，红、绿、黄)、交通标志(例如，停车标志、让行标志、人行横道标志)、道路标记(例如，人行横道标记、停车标记、车道并线标记)、和/或附加的道路属性(例如，施工桶、交通锥、护栏、混凝土障碍物等)。
[0037]
在示例性实施方案中，驾驶风险警报应用106可被配置为利用神经网络108分析与自我意识代理102的驾驶场景相关联的多个图像，并且确定将被视为可能影响自我意识代理102、一个或多个替代交通代理的操作的潜在驾驶风险和/或可能在当前时间步长和/或一个或多个未来时间步长与自我意识代理102的一条或多条路径潜在重叠的一个或多个替代交通代理。这种交通代理可被分类为重要交通代理。
[0038]
驾驶风险警报应用106还可被配置为利用神经网络108确定被认为与可能影响自我意识代理102的和/或在当前时间步长和/或一个或多个未来时间步长位于驾驶场景内的一个或多个交通代理的操作的潜在驾驶风险相关联的交通基础设施。这种交通基础设施可被分类为重要交通基础设施。具体地，潜在驾驶风险可被确定为可能需要自我意识代理102的和/或可影响自我意识代理102在自我意识代理102的驾驶场景内的操作的一个或多个交
通代理的某些驾驶响应和/或驾驶操纵的风险。
[0039]
如下文所述，驾驶风险警报应用106可被配置为以由自我意识代理102的相机系统112提供的图像数据的形式接收驾驶场景的多个图像。换句话说，图像数据可以与自我意识代理102的驾驶场景的多个图像有关，该多个图像可由捕获自我意识代理102的驾驶场景(例如，在自我意识代理102的预定附近的一个或多个道路)的相机系统112的一个或多个相机(未示出)捕获。
[0040]
驾驶风险警报应用106可被配置为将图像数据输入神经网络108的编码器-解码器结构(如图3所示)，以从图像数据中提取视觉特征和光流特征。可以分析视觉特征和光流特征，以确定与位于自我意识代理102的驾驶场景内的交通代理和交通基础设施相关联的属性，以及从作为经编码特征的不同时间步长的多个图像中确定的诸如自我意识代理102的驾驶场景内的交通代理的动态物体的运动。
[0041]
如下所述，视觉特征和光流特征可被级联和被输入到解码器，以确定一个或多个特定交通代理为将被视为自我意识代理102的驾驶场景内的潜在驾驶风险的重要交通代理，和/或确定位于自我意识代理102的驾驶场景内的特定交通基础设施为将被自我意识代理102和/或一个或多个交通代理考虑的重要交通基础设施。
[0042]
神经网络108可以相应地提供关于分析和确定重要交通代理和重要交通基础设施的双层方法。第一层可考虑自我意识代理102如何受到一个或多个交通代理和/或特定交通基础设施的影响，以确定一个或多个重要交通代理和/或重要交通基础设施。例如，第一层可考虑自我意识代理102如何减速和刹车，以考虑可能正在穿过自我意识代理102的路径的行人或可能位于自我意识代理102前方的红色交通灯。第二层可考虑特定交通代理如何受到彼此和/或特定交通基础设施的影响。例如，第二层可考虑特定交通代理如何受到在该特定交通代理前面减速的另一交通代理的影响。
[0043]
为了使用双层方法确定对驾驶场景的理解，神经网络108可访问具有推理模块数据集(drama数据集)112的预训练驾驶风险评估机制，该推理模块数据集可包括注释模式，可对注释模式进行分析，以提供与重要交通代理、重要交通基础设施和/或自我意识代理102的驾驶场景相关联的多个注释，该多个注释相对于确定重要交通代理和重要交通基础设施与自我意识代理102的操作相关。神经网络108可确定可与自我意识代理102的操作相关和/或可影响基于双层方法被确定为重要交通代理的特定交通代理的重要交通代理和/或重要交通基础设施的边界框。
[0044]
神经网络108可根据基于drama数据集110内的数据确定的注释生成字幕，该drama数据集可提供关于特定驾驶场景的描述、分类、归类和建议，特定驾驶场景可基于关于风险、自我意识代理102的意图、驾驶场景的场景分类和驾驶建议的问题。驾驶风险警报应用106可被配置为接收由神经网络108输出的关于字幕、针对重要交通代理和/或重要交通基础设施计算的边界框的数据，并且可向自我意识代理102的操作者136(例如，驾驶员)提供一个或多个视觉和/或听觉警报，自我意识代理呈现由神经网络108基于注释生成的字幕。
[0045]
在一个或多个实施方案中，字幕可向操作者136提供在当前时间步长和/或一个或多个未来时间步长可能影响自我意识代理102的重要交通代理和/或重要交通基础设施的细节，和/或特定交通代理如何在当前时间步长和/或一个或多个未来时间步长相互影响和/或受特定交通基础设施影响的细节。这种字幕可以基于注释数据，该注释数据是基于级
[0053]
此外，可对drama数据集110中包括的数据进行分析，以确定与“为什么”相关的数据注释，“为什么”描述重要交通代理的行为的原因，重要交通代理的行为可基于神经网络108关于确定重要交通代理和/或重要交通基础设施时使用的双层方法的第二层。可对drama数据集110中包括的数据进行附加分析以确定与“如何”相关的数据注释，“如何”描述了每个重要交通代理和/或重要交通基础设施如何影响自我意识代理102。
[0054]
因此，基于神经网络108的解码器在分析drama数据集110时输出的数据，除了描述驾驶场景以及图像级细节、基于物体定位的细节和物体级细节内的一个或多个重要交通代理和/或交通基础设施的经处理的边界框之外，还可输出字幕。在示例性实施方案中，驾驶风险警报应用106可以提供视觉警报，该视觉警报包括由神经网络108的解码器处理的边界框。边界框可以围绕一个或多个相应的重要交通代理和/或重要交通基础设施增强，该一个或多个相应的重要交通代理和/或重要交通基础设施可由神经网络108确定以与基于对drama数据集110的分析而确定的字幕相匹配(如图7a至图7d所示)。
[0055]
边界框可包括基于图像级q/a 202、物体定位204和物体级q/a 206的重要交通代理和/或重要交通基础设施和字幕，该图像级q/a、物体定位和物体级q/a可通过神经网络108的机器学习/深度学习技术，基于对drama数据集110的分析来确定，以向操作者136提供视觉警报，该视觉警报具体关于特定交通代理和/或交通基础设施的存在、位置、描述和重要性，以引起操作者对潜在驾驶风险的注意，并且提供如何应对潜在驾驶风险中的每一种风险的建议。
[0056]
在一个或多个实施方案中，驾驶风险警报应用106可提供音频警报。音频警报可基于字幕来向操作者136提供特别关于特定交通代理和/或交通基础设施的存在、位置、描述和重要性的警报，以捕捉操作者关于潜在驾驶风险的注意力，并且向操作者136提供一个或多个驾驶建议以导航自我意识代理102来解决一个或多个驾驶风险。例如，可通过自我意识代理102的音频系统(未示出)向操作者136大声陈述字幕，以向操作者提供特别关于特定交通代理和/或交通基础设施的存在、位置、描述和重要性的警报，并且向操作者136提供一个或多个驾驶建议，以导航自我意识代理102来考虑一个或多个驾驶风险。
[0057]
在一些配置中，音频警报可伴有可在边界框附近增强的一个/两个单词的简短描述视觉警报，以向操作者136提醒一个或多个驾驶建议，以导航自我意识代理102。在一些实施方案中，驾驶风险警报应用106可被配置为提供自主控制命令，该自主控制命令可用于提供可与自我意识代理102相关联的代理自主控制，以考虑一个或多个重要交通代理和/或重要交通基础设施。在一些情况下，自主控制命令可基于字幕内包括的一个或多个驾驶建议，以补充可提供到自我意识代理102的操作者136的一个或多个视觉警报和/或听觉警报，从而考虑自我意识代理102的驾驶场景内的潜在驾驶风险。
[0058]
在一个实施方案中，驾驶风险警报应用106还可被配置为用补充数据填充drama数据集110，补充数据可与由神经网络108确定的各种类型的重要交通代理和/或重要交通基础设施相关联。因此，drama数据集110可连续地填充有更新的数据，以连续地利用可用于微调对重要交通代理和/或重要交通基础设施的确定的数据来训练神经网络108。神经网络108还可被连续训练以及时微调与重要交通代理、重要交通基础设施以及自我意识代理102在一个或多个未来时间点的驾驶场景相关联的字幕，以在编码和解码的未来迭代期间使用，该迭代的目的是使自我意识代理102能够考虑自我意识代理102的驾驶场景内的潜在驾
驶风险。
[0059]
驾驶风险警报应用106可被配置为对重要代理定位、重要交通基础设施定位、字幕和视觉问答任务的技术进行改进，以使用视觉警报、听觉警报和/或通过自主命令对其进行考虑来提供重要交通代理和/或重要交通基础设施的自然语言描述，以完成各种驾驶场景中的联合风险定位和推理。因此，该功能可用于应用一系列视觉推理能力来抵消各种驾驶场景中的潜在驾驶风险，这些驾驶场景可基于不同时间点的不同驾驶场景。
[0060]
继续参考图1，ecu 104可被配置为可操作地连接到自我意识代理102的多个附加部件，包括但不限于，相机系统112、存储单元116、头部单元118、自主控制器120、系统/控制单元122和动态传感器124。在一个或多个实施方案中，ecu 104可包括微处理器、一个或多个专用集成电路(asic)或其他类似设备。ecu 104还可包括内部处理存储器、接口电路和总线线路以便传输数据、发送命令并且与自我意识代理102的多个部件通信。
[0061]
ecu 104还可包括通信设备(未示出)以便在自我意识代理102内(例如，在一个或多个部件之间)发送数据并且与外部托管的计算系统(例如，在自我意识代理102外部)通信。通常，ecu 104可与存储单元116通信，以执行存储单元116中存储的一个或多个应用、操作系统、系统和子系统用户界面等。
[0062]
在示例中，可提供一个或多个命令来控制自我意识代理102的一个或多个高级驾驶员辅助系统(adas)(未示出)，该adas可由操作者136操作，以通过自我意识代理102的头部单元118提供一个或多个视觉警报和/或听觉警报。头部单元118可以可操作地连接到自我意识代理102的系统/控制单元122。例如，头部单元118可以可操作地连接到自我意识代理102的音频系统，以提供一个或多个音频警报，该音频警报可包括基于从驾驶风险警报应用106传送的命令提供到操作者136的字幕。头部单元118也可以可操作地连接到一个或多个显示单元(未示出)。头部单元118可被配置为从驾驶风险警报应用106接收命令以提供一个或多个视觉警报，该视觉警报可以呈现围绕一个或多个重要交通代理和/或重要交通基础设施计算的边界框。
[0063]
在一个或多个实施方案中，一个或多个显示单元可被配置为各种形状因素、形状、尺寸、设计和/或配置。例如，一个或多个显示单元可被配置为平板显示器，该平板显示器可包括液晶显示(lcd)设备，该lcd设备被包括在中控面板、仪表板和/或自我意识代理102的一个或多个前部和/或后部中。在一些实施方案中，一个或多个显示单元可包括平视显示器，该平视显示器将驾驶风险警报应用106提供的一个或多个视觉警报投射到自我意识代理102的挡风玻璃上。
[0064]
在一个实施方案中，ecu 104可与自主控制器120通信，以执行自主驾驶命令，从而以特定方式将自我意识代理102操作为全自主驾驶或半自动驾驶。如所讨论的，自主驾驶命令可基于由驾驶风险警报应用106提供的命令，以提供可以与自我意识代理102相关联的代理自主控制，从而在周围环境中导航自我意识代理102，以考虑一个或多个重要交通代理和/或重要交通基础设施。自主驾驶命令可基于由驾驶风险警报应用106提供的命令，以在周围环境中导航自我意识代理102，从而基于神经网络108基于对drama数据集110的分析而提供的字幕和数据注释，自主控制自我意识代理102的一个或多个功能在周围环境中行进。
[0065]
在一个配置中，可向一个或多个系统/控制单元122提供一个或多个命令，该系统/控制单元包括但不限于发动机控制单元、制动控制单元、变速器控制单元、转向控制单元
等，以控制自我意识代理102基于由驾驶风险警报应用106输出的一个或多个自主命令进行自主驾驶，从而在自我意识代理102的驾驶场景内导航自我意识代理102。具体地，自我意识代理102的一个或多个功能可被自主控制以在驾驶场景内以一定方式行进，该方式可基于字幕内包括的一个或多个驾驶建议来补充一个或多个视觉警报和/或音频警报，以考虑自我意识代理102的驾驶场景内的潜在驾驶风险。
[0066]
在一个或多个实施方案中，系统/控制单元122可操作地连接到自我意识代理102的动态传感器124。动态传感器124可被配置为接收来自一个或多个系统、子系统、控制系统等的输入。在一个实施方案中，动态传感器124可以成为自我意识代理102的控制器局域网(can)的一部分，并且可被配置为向ecu 104提供动态数据，以用于一个或多个系统、子系统、控制系统等。动态传感器124可包括但不限于位置传感器、航向传感器、速度传感器、转向速度传感器、转向角度传感器、节气门角度传感器、加速度计、磁力计、陀螺仪、偏航速率传感器、制动力传感器、车轮速度传感器、车轮转角传感器、变速器档位传感器、温度传感器、rpm传感器、gps/dgps传感器等(未示出单独的传感器)。
[0067]
在一种配置中，在进行一个或多个驾驶操纵时并且/或者在自我意识代理102受到控制而自主地驾驶时，动态传感器124可以提供与自我意识代理102的实时动态性能相关联的呈一个或多个值(例如，数值级别)形式的动态数据。如下所述，当自我意识代理102在驾驶场景内行驶时，由动态传感器124输出的动态数据可与该自我意识代理的实时动态操作相关联。动态数据可被提供到神经网络108进行分析，以确定自我意识代理102的意图。自我意识代理102的意图可与自我意识代理102的预期轨迹以及自我意识代理102在驾驶场景内的一个或多个未来时间步长处的一个或多个位置和/或地点有关。自我意识代理102的意图可基于自我意识代理102的速度、转向角、制动率等来确定。
[0068]
继续参考图1，自我意识代理102的相机系统112可包括一个或多个相机(未示出)，该一个或多个相机可位于一个或多个方向和一个或多个区域，以捕捉自我意识代理102的驾驶场景的一个或多个图像(例如，自我意识代理102行驶的道路的图像)。相机系统112的一个或多个相机可被设置在自我意识代理102的外部前部，包括但不限于仪表板、保险杠、前照明单元、挡泥板和挡风玻璃的不同部分。在一个实施方案中，该一个或多个相机可以被配置为rgb相机，该rgb相机可以捕获rgb带，该rgb带被配置为捕获关于物体外观的丰富信息，该物体外观与道路车道标识、道路/通路标记和/或道路/路径基础设施(例如，护栏)有关。
[0069]
在其他实施方案中，该一个或多个相机可以被配置作为立体相机，该立体相机被配置为以三维图像的形式捕获环境信息。在一个或多个配置中，该一个或多个相机可被配置为从自我意识代理102的视角捕捉自我意识代理102的当前位置的一个或多个第一人称视点rgb图像/视频。在一个实施方案中，相机系统112可被配置为将一个或多个rgb图像/视频(例如，图像序列)转换成图像数据，该图像数据被传送到驾驶风险警报应用106以进行分析。
[0070]
如下所述，相机系统112提供的图像数据可被提供到驾驶风险警报应用106，以输入到神经网络108。因此，神经网络108的编码器可从图像数据中提取视觉特征和光流特征，以确定可与位于自我意识代理102的驾驶场景内的交通代理和交通基础设施相关联的属性，以及确定如从作为经编码特征的不同时间步长的多个图像中确定的诸如自我意识代理
102的驾驶场景内的交通代理的动态物体的运动。
[0071]
在一个实施方案中，神经网络108可托管在外部服务器114上，该外部服务器可由oem、第三方管理员和/或数据集管理器拥有、操作和/或管理，该数据集管理器管理与驾驶风险警报应用106的操作相关联的数据。外部服务器114可由处理器126可操作地控制，该处理器可被配置为执行驾驶风险警报应用106。具体地，处理器126可以被配置为执行一个或多个应用程序、操作系统、数据库等。处理器126还可包括内部处理存储器、接口电路和用于传输数据、发送命令和与外部服务器114的多个部件通信的总线。
[0072]
在一个实施方案中，处理器126可操作地连接到外部服务器114的存储器128。一般来讲，处理器126可以与存储器128通信以执行存储在存储器128内的一个或多个应用程序、操作系统等。在一个实施方案中，存储器128可存储与驾驶风险警报应用106相关联的一个或多个可执行应用文件。
[0073]
在示例性实施方案中，外部服务器114可被配置为存储神经网络108。神经网络108可被配置为长短期记忆递归神经网络(lstm神经网络)。作为lstm神经网络，神经网络108可执行机器学习/深度学习技术来处理和分析诸如多个图像和视频的数据点序列，以输出分类并基于时间序列数据进行预测。如图3所示，神经网络108可包括编码器302和解码器310。如下面更详细讨论的，编码器302可用于基于从自我意识代理102的相机系统112输入的图像数据来编码视觉特征和光流特征。
[0074]
解码器310可被配置为确定驾驶场景内的重要交通代理和/或重要交通基础设施，计算围绕重要交通代理和/或重要交通基础设施的边界框，并且基于对drama数据集110内包括的数据的检索和分析生成相应的字幕。如上所述，字幕可向操作者136提供关于在当前时间步长和/或一个或多个未来时间步长可能影响自我意识代理102的重要交通代理和/或重要交通基础设施的细节，和/或特定交通代理在当前时间步长和/或一个或多个未来时间步长可能如何受到彼此和/或特定交通基础设施的影响。
[0075]
ii.驾驶风险警报应用及相关方法
[0076]
现将根据示例性实施方案并继续参考图1描述驾驶风险警报应用106的部件。在示例性实施方案中，驾驶风险警报应用106可存储在存储单元116上，并且由自我意识代理102的ecu 104执行。在另一实施方案中，驾驶风险警报应用106可存储在外部服务器114的存储器128上，并且可由自我意识代理102的远程信息处理控制单元访问，以由自我意识代理102的ecu 104执行。
[0077]
将讨论驾驶风险警报应用106的一般功能。在示例性实施方案中，驾驶风险警报应用106可包括多个模块130至134，这些模块可被配置为完成驾驶场景中的联合风险定位和推理。多个模块130至134可包括数据接收模块130、重要物体确定模块132和代理控制模块134。然而，应当理解，驾驶风险警报应用106可包括一个或多个附加模块和/或子模块，这些模块和/或子模块代替模块130至134被包括在驾驶风险警报应用内。
[0078]
图4是根据本公开的示例性实施方案的利用神经网络108的编码器302向神经网络108的解码器310输出级联图像流数据的方法400的工艺流程图。将参考图1和图3的部件来描述图4，但是应当理解，图4的方法400可与其他系统/部件一起使用。方法400可开始于框402，其中方法400可包括接收与自我意识代理102的驾驶场景相关联的图像数据。
[0079]
在示例性实施方案中，在一个或多个过去时间步长和/或当前时间步长，驾驶风险
警报应用106的数据接收模块130可被配置为与相机系统112通信，以收集与自我意识代理102在自我意识代理102的多个时间步长(在过去时间步长和在当前时间步长)的驾驶场景的未修剪图像/视频相关联的图像数据。
[0080]
在一些配置中，图像数据可与在特定时间步长处捕捉的自我意识代理102的驾驶场景的一个或多个第一人称视点rgb图像/视频相关。图像数据可被配置为包括关于物体外观的丰富信息，该物体外观与自我意识代理102在一个或多个时间步长的驾驶场景内的道路车道标志、道路/路径标记、道路/路径基础设施相关。在一些实施方案中，数据接收模块130可将图像数据打包并存储在存储单元116上，以在一个或多个时间点进行评估。
[0081]
方法400可进行至框404，其中方法400可包括将图像数据输入到神经网络108的编码器302。在示例性实施方案中，当接收到与自我意识代理102的驾驶场景相关联的图像数据时，数据接收模块130可被配置为将图像数据传送到驾驶风险警报应用106的重要物体确定模块132。
[0082]
在一个实施方案中，重要物体确定模块132可被配置为分析图像数据，并且可提取基于图像的特征数据i，该基于图像的特征数据i包括自我意识代理102的驾驶场景的图像属性和特征。图像属性和特征可与驾驶场景的视觉方面有关，该视觉方面可被包括在自我意识代理102的驾驶场景的每个时间步长捕获的每个图像和/或视频的多个像素中的每个像素内。这种视觉属性可包括可能影响自我意识代理102的物体，诸如位于驾驶场景内的一个或多个交通代理和/或可能位于驾驶场景内的交通基础设施。此外，视觉属性可包括环境信息，该环境信息可与位于驾驶场景内的道路、车道、自然特征(例如，山、树)和/或人造特征(建筑物、混凝土障碍物)的配置有关。
[0083]
重要物体确定模块132可被附加配置为分析图像数据，并且可提取光流特征数据f，该光流特征数据f可与在自我意识代理102的驾驶场景的每个时间步长捕获的多个图像和/或视频中的每个图像和/或视频的多个像素内包括的相应图像平面上的多个时间步长(例如，过去的时间步长直到当前时间步长)上的运动有关。光流特征数据可捕捉由相应交通代理的移动引起的两个或更多个连续帧(与相应时间步长相关联)之间的诸如相应交通代理的动态物体的运动的明显变化。
[0084]
如图3所示，重要物体确定模块132可被配置为访问外部服务器114上存储的神经网络108，以将基于图像的特征数据i和光流特征数据f输入到神经网络108的编码器302，以使用机器学习/深度学习技术进行分析。继续参考图3和图4，图4的方法400可进行至框406，其中方法400可包括提取视觉特征和光流特征。
[0085]
在示例性实施方案中，神经网络108的编码器302可被配置为使用视觉特征编码器对输入到编码器302的基于图像的特征数据i执行视觉特征提取304。编码器302还可被配置为使用光流特征编码器对输入到编码器302的光流特征数据f执行流特征提取306。特别地，给定与基于图像的特征数据i相关联的每个图像i
t
和在时间步长t的每个光流图像f
t
，编码器302可被配置为通过视觉特征提取304提取视觉流特征，并且通过流特征提取306提取光流特征。在一个配置中，每个光学流动图像f
t
可由带有两个图像帧i
t
和i
t-1
的流速2.0生成，以捕获诸如自我意识代理102的驱动场景内的交通代理的物体的运动。
[0086]
在一个实施方案中，为了对视觉特征和光流特征进行编码，编码器302可利用在imagenet上预先训练的resnet-101模型作为主干网络。这两个特征都是从原始resnet-101
结构之前的两个层中提取的，并且添加了自适应平均池化层以获得14
×
14
×
2048的固定嵌入大小作为输出。
[0087]
在执行视觉特征提取304和流特征提取306之后，方法400可进行至框408，其中方法400可包括级联视觉特征和光流特征以生成输出特征。在示例性实施方案中，编码器302可被配置为级联通过视觉特征提取304从基于图像的特征数据i提取的图像流特征和从光学流数据f提取的光学流特征。图像流特征和光学流特征可级联以生成级联图像流数据e
t
作为输出特征。特别地，图像流特征和光学流特征可被级联为e
t
＝[φv(i
t
)，φf(f
t
)]。
[0088]
方法400可进行至框410，其中方法400可包括将输出特征输入到神经网络108的解码器310。在示例性实施方案中，神经网络108可被配置为将级联图像流数据作为编码器302的输出特征e
t
输入到解码器310。如下所述，解码器310可被配置为将一个或多个特定交通代理确定为重要的交通代理，重要交通代理将被考虑为自我意识代理102的驾驶场景内的潜在驾驶风险，和/或确定位于自我意识代理102的驾驶场景内的特定交通基础设施，该特定交通基础设施将由自我意识代理102考虑和/或由一个或多个交通代理考虑。
[0089]
图5是根据本公开的示例性实施方案的方法500的工艺流程图，该方法用于解码级联图像流数据并提供与位于自我意识代理102的驾驶场景内的一个或多个重要交通代理和/或重要交通基础设施相关联的驾驶风险响应。将参考图1和图3的部件来描述图5，但是应当理解，图5的方法500可与其他系统/部件一起使用。
[0090]
方法500可开始于框502，其中方法500可包括访问drama数据集110并确定一个或多个重要的交通代理和/或重要交通基础设施。在示例性实施方案中，解码器310可被配置为解码级联图像流数据e以完成字幕预测312，并且roi池化314可被执行以提高每个计算后的边界框的字幕解码性能。
[0091]
重要物体定位316可用于识别重要交通代理和/或重要交通基础设施，并且基于对drama数据集110的分析来计算相应的边界框。边界框可包括基于可基于通过神经网络108的机器学习/深度学习技术对drama数据集110的分析来确定的图像级q/a 202、物体定位204和物体级q/a 206的重要交通代理和/或重要交通基础设施和字幕。
[0092]
在一个配置中，基本多层感知器(mlp)可用于重要物体定位模型。执行重要物体定位316的解码器310的重要物体定位模块的架构类似于回归到边界框的mlp层。重要物体定位316与围绕一个或多个重要交通代理和/或重要交通基础设施计算的边界框的解码有关，该一个或多个重要交通代理和/或重要交通基础设施可能在当前时间步长和/或一个或多个未来时间步长影响自我意识代理102。因此，针对重要交通代理和/或重要交通基础设施中的每一者预测和计算边界框其中输入是resnet特征(e)或自我意识注意特征(hb)。
[0093]
方法500可进行至框504，其中方法500可包括预测与重要交通代理和/或重要交通基础设施相关联的一个或多个字幕。在一个实施方案中，解码器310可被配置为根据基于drama数据集110内的数据确定的注释来解码、预测和生成字幕，该drama数据集可提供关于特定驾驶场景的描述、分类、归类和建议，该特定驾驶场景可基于与风险、自我意识代理102的意图、驾驶场景的场景分类和驾驶建议有关的问题。
[0094]
在一个实施方案中，解码器310预测字幕其中根据解码器310的架构，输入是resnet特征(e)或roi池化特征(ea)。roi池化314可在重要物体定位316之后完成，以改进字
幕预测。可完成roi池化314，以使用通过重要物体定位生成的预测边界框从驾驶场景e的编码全局特征到固定大小张量来确定重要交通代理和重要交通基础设施特征(ea，ei)。代理特征ea和/或交通基础设施特征ei与全局场景特征e级联并且作为输入馈送到神经网络108的字幕解码器(captioning decoder)，字幕解码器基于对drama数据集110的分析而完成该字幕预测312。递归字幕解码器转换hc至初始隐藏状态并且循环地解码字幕。是在不同情况下不同的mlp层。
[0095]
如图6a至图6d的说明性实例所示，字幕可根据基于被包括在drama数据集110内的视觉场景提供的注释，该drama数据集可基于与全局场景特征e级联的每个重要交通代理特征ea和/或重要交通基础设施特征ei。因此，可提供关于风险、基于动态传感器124提供的动态数据的自我意识代理102的意图、自我意识代理102的驾驶场景的属性(例如，道路的类型)以及一个或多个建议的注释。
[0096]
此外，可确定与诸如查询物体类型(what)、视觉和运动属性(which)、位置和运动方向(where)、关于风险的推理或交互的描述(why)以及关系的效果(how)的视觉推理的基本操作相关联的注释。因此，可基于注释，生成预测的字幕。在一些实施方案中，如图6a至图6b所示，字幕可被生成为基于从drama数据集110检索的注释的句子。
[0097]
如图6a至图6d所示，基于注释的字幕可以以与相对于重要交通代理和重要交通基础设施的分析和确定的双层方法相关的格式提供。第一层可考虑自我意识代理102如何受到一个或多个交通代理和/或特定交通基础设施的影响，以确定一个或多个重要交通代理和/或重要交通基础设施。例如，如图6a所示，第一层可考虑自我意识代理102如何减速和刹车，以考虑白色掀背车交通代理在十字路口中间左转穿过自我意识代理102的路径。第二层可考虑特定交通代理如何受到彼此和/或特定交通基础设施的影响。例如，如图6d所示，第二层可考虑特定交通代理骑行者如何受到红色交通灯的交通基础设施的影响。
[0098]
在示例性实施方案中，神经网络108的解码器310可被配置为向驾驶风险警报应用106的重要物体确定模块132输出与针对重要交通代理和/或重要交通基础设施预测和计算的一个或多个生成的边界框相关联的数据以及一个或多个生成的预测字幕。重要物体确定模块132可被配置为将关于边界框和字幕的相应数据传送到驾驶风险警报应用106的代理控制模块134。
[0099]
继续参考图5，方法500可进行至块506，其中方法500可包括向自我意识代理102的一个或多个系统/控制单元发送命令以提供驾驶风险响应。在示例性实施方案中，代理控制模块134可被配置为分析由神经网络108输出的关于字幕、针对重要交通代理和/或重要交通基础设施计算的边界框的数据，并且可将一个或多个命令传送到ecu 104、头部单元118、系统/控制单元122和/或自我意识代理102的自主控制器120，以提供驾驶风险响应。
[0100]
在一个实施方案中，驾驶风险响应可以以视觉警报的形式提供，该视觉警报包括由神经网络108的解码器310处理的边界框。如在一个实施方案中的图7a至图7d的说明性示例中所示，自我意识代理102的一个或多个显示单元可用于呈现边界框，边界框可围绕一个或多个相应的重要交通代理和/或重要交通基础设施来计算和增强，该重要交通代理和/或重要交通基础设施可由神经网络108确定以与基于对drama数据集110的分析而确定的字幕
相匹配。字幕可向操作者136提供关于在当前时间步长和/或一个或多个未来时间步长可能影响自我意识代理102的重要交通代理和/或重要交通基础设施的细节，和/或特定交通代理在当前时间步长和/或一个或多个未来时间步长可能如何受到彼此和/或特定交通基础设施的影响。
[0101]
在一些配置中，代理控制模块134可被配置为向系统/控制单元122发送一个或多个命令，以提供可基于字幕的音频警报。例如，参考图7c，字幕为：“在十字路口，本车道的交通灯为红灯...，请完全停下来”，可通过自我意识代理102的音频系统向操作者136大声说出，以向操作者提供警报，该警报具体关于在相应边界框内的显示单元上呈现的特定交通代理和/或交通基础设施的存在、位置、描述和重要性。该功能可向操作者136提供一个或多个驾驶建议，以导航自我意识代理102来考虑一个或多个驾驶风险。
[0102]
在一些配置中，音频警报可伴有可在边界框附近增强的一个/两个单词的简短描述视觉警报，以向操作者136提醒一个或多个驾驶建议，以导航自我意识代理102。在一个或多个实施方案中，驾驶风险警报应用106可被配置为提供自主控制命令，该自主控制命令可用于提供可与自我意识代理102相关联的代理自主控制，以考虑一个或多个重要交通代理和/或重要交通基础设施。在一些情况下，自主控制命令可基于字幕内包括的一个或多个驾驶建议，以补充可提供到自我意识代理102的操作者136的一个或多个视觉警报和/或听觉警报，从而考虑自我意识代理102的驾驶场景内的潜在驾驶风险。
[0103]
图8是根据本公开的示例性实施方案的用于在驾驶场景中完成联合风险定位和推理的方法800的工艺流程图。将参考图1和图3的部件来描述图8，但是应当理解，图8的方法500可与其他系统/部件一起使用。方法800可开始于框802，其中方法800可包括接收与自我意识代理102的驾驶场景相关联的多个图像。
[0104]
方法800可进行至框804，其中方法800可包括将与多个图像相关联的图像数据输入编码器302。在一个实施方案中，从图像数据中提取编码的视觉特征和光流特征，并且将其级联成与自我意识代理102的驾驶场景相关联的级联特征。方法800可进行至框806，其中方法800包括将级联特征输入到解码器310，解码器识别位于自我意识代理102的驾驶场景内的重要交通代理和重要交通基础设施中的至少一者。方法800可进行至框808，其中方法800可包括控制自我意识代理102的至少一个系统以提供响应来考虑位于自我意识代理102的驾驶场景内的重要交通代理和重要交通基础设施中的至少一者。
[0105]
从前面的描述中应当显而易见的是，本公开的各种示例性实施方案可在硬件中实现。此外，各种示例性实施方案可以被实现为存储在非暂态机器可读存储介质(诸如易失性或非易失性存储器)上的指令，该指令可以由至少一个处理器读取和执行以执行本文详细描述的操作。机器可读存储介质可以包括用于以机器可读的形式存储信息的任何机构，诸如个人或膝上型计算机、服务器或其他计算设备。因此，非暂态机器可读存储介质不包括暂态信号，但可包括易失性和非易失性存储器两者，包括但不限于只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光存储介质、闪速存储器设备和类似存储介质。
[0106]
本领域的技术人员应当理解，本文的任何框图表示体现本公开的原理的示例性电路的概念视图。类似地，应当理解，任何流程图、流程示意图、状态转换图、伪代码等表示可以在机器可读介质中基本上表示并且因此由计算机或处理器执行的各种过程，无论这种计算机或处理器是否被明确示出。
[0107]
应当理解，上面公开的特征和功能以及其他特征和功能的各种实施方式或它们的替代物或变体可以理想地组合成许多其他不同系统或应用。此外，本领域的技术人员可以之后做出本文的各种目前无法预料或无法预期的替代、修改、变化或改进，这些也旨在被所附权利要求书涵盖。