注意力驱动的串流系统的制作方法

注意力驱动的串流系统
1.引言本节中提供的信息出于总体上呈现本公开的上下文的目的。当前署名的发明人的工作，就其在本节中所描述的程度而言，以及在提交时可不被另视为现有技术的该描述的各方面，既不明确地也不隐含地被认作针对本公开的现有技术。
技术领域
2.本公开涉及车辆传感器数据的边缘计算和基于云的处理。


背景技术：

3.自我车辆（ego-vehicle）可包括用于检测物体和环境条件的各种传感器，诸如相机、雷达传感器、激光雷达传感器、速度传感器、偏航率传感器等。自我车辆指代传感器位于其上并且发生对至少一些传感器数据的处理的车辆。需要相当大的处理能力以接收、处理和分析传感器数据。为了减少车辆处所需的处理能力和处理时间，能够将实时任务关键型传感器数据卸载到边缘计算设备或基于云的网络设备。这样做是为了利用边缘计算设备和/或基于云的网络设备处的丰富资源（计算和存储资源）。然后，可将经处理和分析的数据的结果发送回到车辆。实时任务关键型传感器数据可指代与例如检测到的迎面而来的物体（或车辆）相关联并且需要快速处理以便避免碰撞的数据。
4.基于云的网络能够从集中化位置提供计算和存储服务。使用例如第五代（5g）宽带蜂窝网络的边缘计算允许将传感器数据处理推送到自我车辆的网络的边缘。传感器数据能够在部署于蜂窝塔处和/或区域站处的微数据中心处进行处理，与基于云的网络设备相比，这些微数据中心能够更靠近自我车辆。
5.某些车辆功能也可从车辆卸载到基于云的网络设备和/或边缘计算设备（称为远程处理设备）。这能够包括将传感器数据串流到远程处理设备并根据车辆功能来处理传感器数据。车辆功能可包括物体检测、物体跟踪以及自我车辆和周围物体的定位和绘图（position and mapping）。远程处理设备可基于接收到的传感器数据来执行这些功能，并且可将分析的结果提供回到自我车辆。然后，可基于结果来执行车辆车载功能，以增强车载操作并改善车辆性能和乘员体验。作为几个示例，车载功能可包括碰撞避免、自主驾驶、驾驶员辅助、导航、情境报告等。


技术实现要素：

6.提供了一种注意力驱动的串流系统（streaming system），并且其包括自适应串流模块和收发器。自适应串流模块包括滤波器、压缩模块、注意力驱动的策略模块和融合（fusion）模块。滤波器被构造成对从车辆的传感器接收到的传感器数据进行滤波。压缩模块被构造成压缩经滤波的传感器数据以生成压缩数据。注意力驱动的策略模块被构造成基于车辆的状态和车辆的环境的状态生成前馈信息以调整感兴趣区域。融合模块被构造成生成自适应串流策略以自适应地调整滤波器中的每一者的操作。收发器被构造成将压缩数据
串流到边缘计算设备或基于云的网络设备中的至少一者，并且作为响应来接收反馈信息和管线监测信息。融合模块被构造成基于前馈信息、反馈信息和管线监测信息来生成自适应串流策略。
7.在其他特征中，滤波器包括：时域滤波器，其被构造成以设定频率对传感器数据进行重采样；空间域滤波器，其被构造成选择车辆外部的一个或多个地理区域；以及有损压缩滤波器，其被构造成选择压缩模块的有损压缩方法或有损压缩率中的至少一者。
8.在其他特征中，空间域滤波器被构造成：分别为所选择的一个或多个地理区域选择一个或多个图像分辨率；将一种或多种时域方法分别应用于所选择的一个或多个地理区域；以及针对所述一个或多个区域调整一种或多种不同的有损压缩率。
9.在其他特征中，前馈信息是用于将数据串流到边缘计算设备或基于云的网络设备中的所述至少一者的第一串流策略；并且反馈信息是用于将数据串流到边缘计算设备或基于云的网络设备中的所述至少一者的第二串流策略。
10.在其他特征中，前馈信息在车辆内生成，并且包括对用于感兴趣区域的较高分辨率数据的请求。
11.在其他特征中，前馈信息包括基于在车辆内生成的预测信息所生成的串流策略，并且指示要集中（focus，或为“聚焦”）监测的地理区域。在其他特征中，滤波器被构造成基于前馈信息中的串流策略来调整用于地理区域的传感器中的一者或多者的采样率。
12.在其他特征中，反馈信息在边缘计算设备或基于云的网络设备中的所述至少一者内生成，并且包括对用于所指示的地理区域的较高分辨率数据的请求。
13.在其他特征中，反馈信息包括基于在边缘计算设备或基于云的网络设备中的所述至少一者内生成的预测信息所生成的串流策略，并且指示要集中监测的地理区域。滤波器被构造成基于反馈信息中所包括的串流策略来调整用于地理区域的传感器中的一者或多者的采样率。
14.在其他特征中，管线监测信息指示基于边缘计算设备或基于云的网络设备中的所述至少一者处的拥塞对压缩数据的串流率的调整。
15.在其他特征中，注意力驱动的策略模块被构造成基于以下各者来生成前馈信息：物体的状态的概率表示；物体的状态的置信水平；以及期望在将来观察到的物体和期望在将来发生的事件的列表。
16.在其他特征中，注意力驱动的策略模块被构造成基于以下各者中的至少一者来生成前馈信息：不同传感器之间的差别；由车辆当前经历的当前环境条件或将要经历的即将到来的环境条件；来自相邻车辆的状态信息；或地图跟踪和轨迹规划信息。
17.在其他特征中，注意力驱动的策略模块被构造成生成前馈信息，以包括用于被执行任务的一个或多个注意力区域。
18.在其他特征中，提供了一种车辆系统，并且其包括：注意力驱动的串流系统；以及传感器。
19.在其他特征中，提供了一种注意力驱动的策略方法，并且其包括：经由滤波器对从车辆处的传感器接收到的传感器数据进行滤波；压缩经滤波的传感器数据以生成压缩数据；基于车辆的状态和车辆的环境的状态生成前馈信息；生成自适应串流策略以自适应地调整滤波器中的每一者的操作；以及将压缩数据从车辆串流到边缘计算设备或基于云的网
络设备中的至少一者，并且作为响应从边缘计算设备或基于云的网络设备接收反馈信息和管线监测信息。自适应串流策略是基于前馈信息、反馈信息和管线监测信息所生成的。
20.在其他特征中，传感器数据的滤波包括：以设定频率对传感器数据进行重采样；选择车辆外部的一个或多个地理区域；以及选择用于压缩传感器数据的有损压缩方法或有损压缩率中的至少一者。
21.在其他特征中，前馈信息是用于将数据串流到边缘计算设备或基于云的网络设备中的所述至少一者的第一串流策略；并且反馈信息是用于将数据串流到边缘计算设备或基于云的网络设备中的所述至少一者的第二串流策略。
22.在其他特征中，前馈信息或反馈信息中的至少一者包括对用于所指示的地理区域的较高分辨率数据的请求。
23.在其他特征中，前馈信息包括基于在车辆内生成的预测信息所生成的串流策略，并且指示要集中监测的地理区域。滤波包括基于前馈信息中的串流策略来调整用于地理区域的传感器中的一者或多者的采样率。
24.在其他特征中，反馈信息包括基于在车辆内生成的预测信息所生成的串流策略，并且指示要集中监测的地理区域。滤波包括基于反馈信息中的串流策略来调整用于地理区域的传感器中的一者或多者的采样率。
25.在其他特征中，自适应串流策略包括针对第一感兴趣区域增大分辨率以及针对第二感兴趣区域降低分辨率。
26.本公开的另外的适用领域将从详细描述、权利要求书和附图变得显而易见。详细描述和特定示例仅旨在用于图示的目的而非旨在限制本公开的范围。
附图说明
27.本公开将从详细描述和附图变得被更充分地理解，其中：图1是根据本公开的注意力驱动的串流系统的示例的功能性框图和视图，该注意力驱动的串流系统包括具有自适应串流模块的车辆；图2是根据本公开的车辆的示例的功能性框图，该车辆包括车辆系统，该车辆系统包括自适应串流模块；图3是图1的注意力驱动的串流系统的一部分的功能性框图；图4是根据本公开的图3的注意力驱动的串流系统的一部分的功能性框图，该注意力驱动的串流系统包括注意力驱动的策略模块的示例；图5图示了根据本公开的由车辆实施的自适应串流方法的第一部分；以及图6图示了根据本公开的由边缘计算设备或基于云的网络设备实施的自适应串流方法的第二部分。
28.在附图中，附图标记可被重复使用以识别类似和/或相同的元件。
具体实施方式
29.显著量的传感器数据能够从车辆串流到边缘计算设备或基于云的网络设备。这会需要显著量的带宽、时间和成本。可在传输传感器数据时调整某些因素。这些因素包括：所传输的数据的频率（称为时域）；感兴趣区域和分辨率；以及传感器数据的有损压缩率（或视
频压缩率）。存在在调整这些因素时要考虑的折衷。例如，在（i）带宽使用与（ii）边缘计算/云侧性能和自主驾驶性能之间存在折衷。通常，所收集的传感器数据的分辨率越高且被卸载以进行处理的传感器数据越多，所需的带宽就越多，传输时延越高，处理时延越高，并且处理的结果越好。处理结果越好，自主车辆相关功能（诸如，物体/碰撞避免和导航功能）的性能就越好。
30.本文中所阐述的示例包括一种注意力驱动的串流系统，其包括自适应串流模块，该自适应串流模块支持到边缘计算设备和基于云的网络设备的自适应传感器数据串流。自适应数据串流基于感知注意力。感知注意力指代集中于环境的某些关注区域（或地理区域）。车辆功能可在车外的边缘计算设备和基于云的网络设备执行，以满足对自主车辆计算资源的不断增长的需求而不增加车辆车载硬件成本。边缘计算和基于云的资源能够由多个车辆共享。这减少了与使用边缘计算和基于云的资源相关联的每辆车每小时的操作成本。示例包括执行操作以解决（i）感知性能（其通常随着数据分辨率的增大而改善）与（ii）随着分辨率的增大而增加的带宽要求之间的折衷问题。示例包括将区域监测集中到一个或多个尺寸减小的感兴趣区域。所监测的整体区域尺寸和/或区域数量的减小允许在不收集附加量的数据的同时增大（一个或多个）所监测的区域的分辨率，这会需要附加的带宽以用于车外（offboard）串流。可减少所收集的数据总量，从而提供带宽节约，而同时维持或改善车辆感知性能。
31.图1示出了注意力驱动的串流系统100，其包括车辆102、边缘计算设备104、基于云的网络106、基础设施设备108和个人移动网络设备110。车辆102可各自包括收发器120、控制模块122和传感器124。控制模块122包括自适应串流模块126，该自适应串流模块自适应地调整传感器数据的采样率、串流频率、感兴趣区域（集中区域）、分辨率、有损压缩率、有损压缩方法和/或其他串流参数和/或方面，所述传感器数据从车辆102发送到边缘计算设备104和/或基于云的网络106的基于云的网络设备128。
32.边缘计算设备104和基于云的网络设备128可包括相应的注意力驱动的策略模块。示出了注意力驱动的策略模块130、132。尽管在图1中未示出，但是车辆102的控制模块122还可包括注意力驱动的策略模块，其示例在图3中示出。注意力驱动的策略模块中的每一者执行信度、预想和任务相关性操作以将反馈信息提供给自适应串流模块126。车辆系统的注意力可集中到对应的车辆外部的一个或多个地理区域。区域可指代一种多维空间，对于该多维空间而言，实施感知算法的自主车辆感知模块确定为感兴趣的。作为示例，由感知模块（其示例在图4中示出）执行的感知算法可确定特定区域中的特定物体是感兴趣的。结果，注意力驱动的策略模块中的一者可然后请求针对特定的感兴趣区域增大分辨率，以例如更好地监测物体。这可包括监测物体的位置、物体的轨迹（或路径）、物体的速度等。注意力驱动的策略模块执行信度、预想和任务相关操作以创建串流策略概况（profile）。串流策略概况作为反馈信息被发送到自适应串流模块126。然后，自适应串流模块126基于反馈信息来调整串流参数。
33.串流策略概况可各自包括时间、空间和有损压缩信息。时域指代传感器数据的采样频率及其调整。取决于对应的传感器数据和/或感兴趣区域的感兴趣水平，可降低或增大采样频率。可针对多个区域收集传感器数据，其中每个区域可具有不同的感兴趣水平和不同的对应的采样率。采样率可以是重采样率。采样率可指代相机的每秒帧数、全球定位系统
的每秒点数、模拟信号的采样率等。
34.空间域与多维传感器数据有关，并且指代包括区域的维度和位置的感兴趣区域。每个区域可具有所指派的（i）重采样分辨率（例如，相对于默认分辨率而较低或较高的图像分辨率）、（ii）时域方法（对于不同区域可能不同）、以及（iii）有损压缩率（对于不同区域可能不同）。
35.有损压缩域指代有损压缩率和一种有损压缩方法，在这些有损压缩率下，传感器数据在串流到远程设备之前被压缩。一些示例有损压缩方法是：（i）视频（或图像）压缩方法h264（称为高级视频编码方法）和h265（称为高效视频编码方法）；以及（ii）音频压缩方法高级音频编码（aac）和运动图像专家组（mpeg）层iii（mp3）。在一些实施例中，所陈述的时间、空间和有损压缩方法被组合以对从车辆102发送到边缘计算设备104和/或基于云的网络设备128的串流传感器数据进行滤波和压缩。
36.边缘计算设备104可包括区域蜂窝塔设备、基站设备、城市级网络设备、微计算中心设备等。边缘计算设备104不指代车辆102内的设备。基于云的网络设备128可以是分布式网络的一部分，该分布式网络包括服务器、具有存储的数据库的存储器设备等。
37.车辆102可经由车辆到基础设施（v2i）通信链路（诸如，长期演进（lte）或第5代（5g）链路）与基础设施设备108进行通信。车辆102可经由车辆到网络（v2n）通信链路（诸如，lte和5g链路）与边缘计算设备104通信。车辆102可经由车辆到人（v2p）通信链路（诸如，lte和5g链路）与个人移动网络设备110通信。
38.图2示出了图1的车辆102中的一者的示例。车辆102包括车辆系统200，该车辆系统包括控制模块122和传感器124。车辆102可以是部分或完全自主的车辆或其他类型的车辆。控制模块122可包括自适应串流模块126、车辆到基础设施（v2i）模块202、感知模块205、轨迹模块206和其他模块208。v2i模块202可从位于车辆外部的道路基础设施设备收集数据。基础设施设备可包括交通信号灯、交通标志、安装在建筑物和/或道路结构上的设备等。控制模块122和/或自适应串流模块126可实施神经网络和自适应学习以改善对串流参数的调整。感知模块205可基于车辆102的当前观察到的状态和对应的环境来识别即将到来的感兴趣区域和/或事件。感知模块205可执行感知算法以预测在接下来的预定时间段内将发生什么。例如，感知模块205可预测物体相对于车辆102的位置、车辆102的位置、环境条件的变化、道路条件的变化、交通流量的变化等。轨迹模块206可确定车辆102和/或其他附近车辆的轨迹。其他模块208可包括车辆车载功能模块，诸如图3中所示的车辆车载功能模块。
39.存储器204可存储串流策略210、参数212、数据214和算法216（例如，注意力驱动的策略算法、感知算法等）。传感器124可遍及车辆102定位，并且包括相机220、红外（ir）传感器222、雷达传感器224、激光雷达传感器226和/或其他传感器228。其他传感器228可包括偏航率传感器、加速度计、全球定位系统（gps）传感器等。控制模块122和传感器124可彼此直接通信，可经由控制器区域网络（can）总线230和/或经由以太网交换机232彼此通信。在所示的示例中，传感器124经由以太网交换机232连接到控制模块122，但是也可或替代地直接连接到控制模块122和/或can总线230。
40.车辆102可进一步包括底盘控制模块240、扭矩源（诸如，一个或多个电动马达242和一个或多个发动机（示出了一个发动机244））。底盘控制模块240可经由扭矩源来控制输出扭矩到车辆102的车轴的分配。底盘控制模块240可控制推进系统246的操作，该推进系统
包括（一个或多个）电动马达242和（一个或多个）发动机244。发动机244可包括起动马达250、燃料系统252、点火系统254和节气门系统256。
41.车辆102可进一步包括车身控制模块（bcm）260、远程信息处理模块262、制动系统263、导航系统264、信息娱乐系统266、空调系统270、其他致动器272、其他设备274以及其他车辆系统和模块276。导航系统264可包括gps 278。其他致动器272可包括转向致动器和/或其他致动器。控制模块、系统和模块122、240、260、262、264、266、270、276可经由can总线230彼此通信。可包括电源280，并且其可为bcm 260以及其他系统、模块、控制器、存储器、设备和/或部件供电。电源280可包括一个或多个电池和/或其他电源。控制模块122可以和/或bcm 260可以基于检测到的物体、检测到的物体的位置和/或其他相关参数来执行对策和/或自主操作。这可包括控制所陈述的扭矩源和致动器、以及经由信息娱乐系统266提供图像、指示和/或指令。
42.远程信息处理模块262可包括收发器282和远程信息处理控制模块284，该远程信息处理模块可用于与其他车辆、网络、边缘计算设备和/或基于云的设备进行通信。收发器282可包括图1的收发器120。bcm 260可控制模块和系统262、263、264、266、270、276和其他致动器、设备和系统（例如，致动器272和设备274）。该控制可基于来自传感器124的数据。
43.图3示出了图1的注意力驱动的串流系统100的一部分300。部分300包括在虚线304的左侧上示出的车辆部分302以及在虚线304的右侧上示出的边缘计算/基于云的部分306。尽管在图3中未示出，但是部分302和306可包括相应收发器。例如，部分302可包括图2的收发器282。车辆部分302包括传感器124、自适应串流模块126、存储器204和车辆车载功能模块310。边缘计算/基于云的部分306包括传感器串流模块312和车辆监测模块314。在部分302、306之间可存在通信接口316。
44.自适应串流模块126可包括滤波器320、压缩模块322、串流策略模块324和注意力驱动的策略模块326，该注意力驱动的策略模块与本文中所公开的其他注意力驱动的策略模块类似地操作。滤波器320包括时间滤波器330、空间滤波器332和有损率滤波器334。时间滤波器330以设定频率对传感器数据进行采样，如上文所描述的。空间滤波器332选择感兴趣区域、每个所监测区域的采样分辨率，将时域方法应用于对应的所监测区域，和/或将不同的有损压缩率应用于所监测区域。空间滤波器332可增大或降低每个感兴趣区域的分辨率水平。在一个实施例中，空间滤波器332在传感器数据的三维（3d）收集和滤波与二维（2d）收集和滤波之间转变。有损率滤波器334针对所监测区域调整所收集的传感器数据的有损压缩率和/或为所监测区域选择有损压缩方法。滤波器330、332、334的所陈述的参数由串流策略模块324设定。压缩模块322压缩由滤波器320输出的所得滤波数据，之后所得滤波数据传输到传感器串流模块312。
45.串流策略模块324包括前馈信道接口340、反馈信道接口342、管线信道接口344和策略融合模块346。前馈信道接口340从注意力驱动的策略模块326接收第一串流策略。注意力驱动的策略模块130计算信度和预想数据，并预测对用于一个或多个感兴趣区域的质量传感器数据（具有较高和/或预定的最小分辨率水平的传感器数据）的需求。例如，自我车辆可转弯到新的（或不同的）道路上。然后，注意力驱动的策略模块130可预测将从某个方向观察到新的（或即将到来的）车辆。然后，注意力驱动的策略模块130可计算为其将增大分辨率的注意力区域。当来自传感器（例如，激光雷达传感器和/或相机）的数据导致不一致的感知
结果时，注意力驱动的策略模块130可增大与传感器中的一者或多者相关联的分辨率以尝试提供一致的结果。作为示例，激光雷达传感器可检测指示物体的存在的反射，而计算机视觉传感器不检测物体。因此，激光雷达传感器与计算机视觉传感器之间存在冲突。注意力驱动的策略模块130可为一个或多个传感器提供较高分辨率的传感器数据而计算新的采样率以尝试校正不一致。如果不校正不一致，则可采取保守行动，诸如减小自我车辆的速度、停止自我车辆和/或执行其他操作。
46.注意力驱动的策略模块326本地地且以与注意力驱动的策略模块130类似的方式操作。作为示例，注意力驱动的策略模块326可基于对高速公路上驾驶的本地检测而将注意力引导到自我车辆前方的区域并针对该区域而请求放大和较高分辨率。然后，可将用于该区域的在较高分辨率下所收集的传感器数据发送到边缘计算设备或基于云的网络设备以进行处理。然后，注意力驱动的策略模块130可基于经处理的数据的结果来调整自适应串流模块126的注意力。
47.作为另一个示例，自我车辆可将低分辨率数据传输到边缘计算设备或基于云的网络设备。边缘计算设备或基于云的网络设备处的车辆功能模块确定在自我车辆的100米以内存在另一个车辆。车辆功能模块提供关于另一车辆的检测的置信水平，并且由于另一车辆的数据的低分辨率和图像的尺寸所致，该置信水平是低的。然后，注意力驱动的策略模块130请求用于包括另一车辆的区域的较高分辨率数据。然后，串流策略模块324调整空间滤波器332的分辨率以将较高分辨率数据提供回到边缘计算设备或基于云的网络设备，以更好地监测另一车辆和/或确定另一车辆（或物体）不是所关注的。
48.反馈信道接口342从注意力驱动的策略模块130接收第二串流策略。边缘计算设备和/或基于云的网络设备可运行感知算法、创建注意力驱动的策略、并将反馈发送到自我车辆且更具体地发送到前馈信道接口340。边缘计算设备和/或基于云的网络设备可提前检测物体和/或事件，并提供反馈以允许为事件做准备和/或调整针对一个或多个区域所收集的数据的分辨率。这可包括针对一个或多个区域的分辨率降低、分辨率增大和/或两者的组合。
49.作为示例，边缘计算设备和/或基于云的网络设备可在距自我车辆100米的距离处检测到小的物体，并确定该物体的检测置信水平是低的。边缘计算设备和/或基于云的网络设备可将反馈信息发送到自我车辆以请求较高分辨率数据。作为另一个示例，边缘计算设备和/或基于云的网络设备可众包（crowd-source）来自多个车辆的环境数据，并检测至少部分地被雪覆盖的道路。然后，边缘计算设备和/或基于云的网络设备可在自我车辆进入有积雪的区域之前将反馈信息发送到自我车辆以请求较高分辨率数据。
50.作为另一个示例，边缘计算设备和/或基于云的网络设备可众包来自多个车辆的道路交通数据，并检测在公路曲率部（针对自我车辆的视觉遮挡）处的特定交通冲击波。然后，边缘计算设备和/或基于云的网络设备可在自我车辆进入公路中的曲率部之前将反馈信息发送到车辆以请求较高分辨率数据。
51.管线信道接口344从通信接口316接收拥塞信号。该拥塞信号可指示：传感器串流模块312处的拥塞；另一种串流策略；和/或串流参数。拥塞可能是由于以下各者所致：（i）接收到的数据的量大于从传感器串流模块312转发到车辆监测模块314的量，和/或（ii）接收数据的传输率高于数据从传感器串流模块312转发到车辆监测模块314的传输率。车辆监测
模块314处的拥塞可引起传感器串流模块312处的拥塞。
52.策略融合模块346基于第一串流策略和第二串流策略以及拥塞信号来确定集体（或自适应）串流策略。结果，策略融合模块346利用三种资源来将滤波器320的注意力驱动到某些感兴趣区域。例如，当自我车辆移动到信号弱和/或自我车辆与边缘计算设备或基于云的网络设备之间的通信链路慢的lte覆盖区域时，可发生拥塞。在边缘计算设备或基于云的网络设备侧上，当车辆功能的处理吞吐量减慢时，也可发生或替代地发生拥塞。
53.策略融合模块346可对从信道接口340、342、344接收到的串流策略和参数进行仲裁。在一个实施例中，策略融合模块346基于层次结构进行操作。策略融合模块346可对针对某些情境要使用哪些串流策略和/或参数进行优先级排序。当由边缘计算设备或基于云的网络设备提供的串流策略与由注意力驱动的策略模块326本地地确定的串流策略相冲突时，策略融合模块346可选择最保守的策略或将两个或更多个策略组合以提供要在滤波器320处使用的所得策略。策略融合模块346可选择减少和/或消除边缘计算设备和/或基于云的网络设备处的拥塞的策略。
54.与在自我车辆与边缘计算设备和/或基于云的网络设备之间的信号转移相关联的管线包括串行部件（或元件）。部件（或元件）的一些示例是第4代（4g）和/或第五代（5g）信道、视频编码和解码设备、以及存储在边缘计算设备和/或基于云的网络设备上的应用程序。管线信道接口344监测所陈述的部件（或元件）处和其他地方的拥塞水平，并调整发送到图3的传感器串流模块312的经压缩的传感器数据的传感器串流率。调整传感器串流率，以避免拥塞和累积的端到端时延。
55.存储器204存储以下各者的状态348：（i）与传感器124和模块126、310相关联的自我车辆，以及（ii）自我车辆的环境（称为“世界”状态）。该状态信息被提供给注意力驱动的策略模块326。
56.车辆车载功能模块310可包括v2i模块202、感知模块205、轨迹模块206、致动器控制模块350和/或其他车辆功能模块。车辆车载功能模块310可包括调用传感器数据处理的任何车辆功能模块。车辆车载功能模块310可基于状态信号352来执行操作，该状态信号指示如由车辆监测模块314确定的自我车辆的状态和世界状态。致动器控制模块350可控制图2中的制动系统263和/或其他致动器272。致动器控制模块350可例如基于分析来自传感器的所监测的数据、自我车辆的状态、世界状态和/或其他所收集的信息和/或数据的结果来控制车辆的马达、转向、制动、加速和减速。图2的控制模块122可基于分析来自传感器的所监测的数据、自我车辆的状态、世界状态和/或其他所收集的信息和/或数据的结果来控制其他驾驶员辅助操作，诸如显示警告指示器和/或所建议的操作指令。
57.可在图1的边缘计算设备104和/或基于云的网络设备128中的任一者处实施图3的传感器串流模块312和车辆监测模块314。传感器串流模块312可包括解压缩模块360和管线监测模块362。解压缩模块360对从压缩模块322接收到的压缩数据进行解压缩。管线监测模块362监测在传感器串流模块312处是否存在拥塞，并向车辆监测模块314的另一个管线监测模块364指示是否存在拥塞。管线监测模块364确定在车辆监测模块314处是否存在拥塞，并向另一个管线监测模块370和/或直接向管线信道接口344指示在传感器串流模块312处和/或在车辆监测模块314处是否存在拥塞。管线监测模块370可以是通信接口316的一部分，并且可以是位于管线监测模块364与管线信道接口344之间的站、节点或其他网络设备。
管线监测模块370可将从管线监测模块364接收到的拥塞信息转发到管线信道接口344。
58.车辆监测模块314可进一步包括车辆功能模块372和存储器374。车辆功能模块372可包括感知模块376、物体检测模块378、跟踪模块380、定位和绘图模块382、轨迹规划模块384、车辆到网络（v2n）模块386和/或其他车辆功能模块。车辆功能模块372可包括调用传感器数据处理的任何车辆功能模块。与图2的感知模块205类似，感知模块376可基于自我车辆的当前观察到的状态和对应的环境来识别即将到来的感兴趣区域和/或事件。物体检测模块378检测在自我车辆的设定距离内的物体。跟踪模块380可跟踪环境条件和/或检测到的物体相对于自我车辆的位置。定位和绘图模块382可相对于自我车辆所在的区域的地理地图来对自我车辆和物体的位置进行绘图。轨迹规划模块384可监测、更新和预测自我车辆和物体的轨迹。v2n模块386可从在自我车辆附近和/或接近自我车辆的其他设备收集数据。所收集的数据可包括物体和/或其他设备的状态信息。
59.存储器374存储自我车辆、物体以及环境（也称为“世界”状态）的状态388，如由车辆功能模块372所确定的。状态388被提供给注意力驱动的策略模块130，其基于状态388生成第二串流策略。
60.在图3中，模块之间的虚线可指代控制流信号。模块之间的实线可指代数据流信号。
61.作为示例，图3的自适应串流模块126可从一个或多个相机接收相机帧。压缩模块322可压缩从自适应串流模块126接收到的滤波数据，并将数据发送到传感器串流模块312。解压缩模块360可对数据进行解码。然后，物体检测模块378可检测在自适应串流模块126的自我车辆的预定距离内的物体，并生成与检测到的物体相关联的对应的置信水平，并且将该信息作为反馈信息提供给自适应串流模块126。然后，自适应串流模块126可针对检测到的物体的集中区域来调整分辨率。可减小所监测的其他区域的分辨率。这允许在针对所选择的感兴趣区域增大分辨率的同时不增加传输传感器数据所需的带宽。由于物体所在的区域的分辨率增大所致，因此检测到的物体的置信水平可保持相同或增加。
62.图4示出了图3的注意力驱动的串流系统的一部分400。部分400包括注意力驱动的策略模块402、第一存储器404、第二存储器406、v2i模块408和感知模块410的示例。注意力驱动的策略模块402可与本文中所公开的注意力驱动的策略模块中的任一者类似地操作和/或代替本文中所公开的注意力驱动的策略模块中的任一者。注意力驱动的策略模块402可包括信度模块420、预想模块422和任务相关性模块424。信度模块20可包括状态置信模块430和传感器差异（disparity）模块432。预想模块422包括地图跟踪模块434、环境跟踪模块436、情境意识模块438和轨迹规划模块440。任务相关性模块424包括场景分析模块442。
63.注意力驱动的策略模块402基于模块420、422和424的输出来生成串流策略信号460，该串流策略信号可包括串流策略概况（或简称为“串流策略”）。可将串流策略信号460提供作为（i）前馈信息，如果注意力驱动的策略模块402被实施为车辆的一部分的话，或者（ii）反馈信息，如果注意力驱动的策略模块402被实施为边缘计算设备或基于云的网络设备的一部分的话。
64.第一存储器404可包括地图数据库450和外部数据库452。地图数据库450可包括道路拓扑信息、交叉路口信息、交通规则等。外部数据库452可包括天气信息（例如，是否是下雪、下雨、有雾、晴朗、多云等）、路面条件、交通拥塞信息等。第二存储器406存储自我车辆和
自我车辆的环境（或“世界”状态）的状态470。v2i模块408和感知模块410可指示自我车辆和/或环境的状态。
65.模块420、422、424可基于存储在存储器404、406中的信息进行操作。信度模块420可确定物体状态的概率表示（x、y、z、速度、前进方向等）。这包括指示是否已经检测到物体和/或是否已经观察到事件。状态置信模块430可确定检测到的和/或所预测的物体和事件的置信水平。可计算观察到的状态和/或所预测的状态的方差和协方差值。传感器差异模块432可确定从不同传感器收集的数据之间的差别和/或冲突。例如，当第一传感器指示不同于第二传感器的物体状态时。
66.预想模块422列出在多维空间中期望存在和/或发生的物体和事件。这些事件可以是期望在不久的将来发生和/或观察到的事件。地图跟踪模块434跟踪自我车辆在地图上的位置。例如，如果自我车辆在交叉路口，则注意来车（coming-vehicle）的前进方向。环境跟踪模块436跟踪来自外部数据库的环境条件，诸如天气、光照条件、交通拥塞等。例如，如果天黑（例如，夜间）和/或下雪或下雨，则可增加基本注意力水平以在预定的时间段内传输更多数据。
67.情境意识模块438可经由车辆到车辆（v2v）、v2i和v2n通信从相邻车辆接收车辆情境意识信息。例如，基于情境意识信息，自我车辆可预测注意力区域。轨迹规划模块440为自我车辆的控制模块规划自我车辆的短程轨迹。
68.任务相关性模块424的场景分析模块442执行任务驱动的场景分析，包括分析场景并识别与当前任务相关的注意力区域。场景分析模块442可例如在自我车辆接近交叉路口时确定一个感兴趣区域包括交叉路口的交通灯。另一个感兴趣区域可包括车辆从垂直于自我车辆的行进方向的方向接近交叉路口的区域。作为另一个示例，场景分析模块442可检测自我车辆何时变换车道。与自我车辆的当前车道相反，包括相邻车道的至少部分的一个或多个区域然后变成感兴趣（或注意力）区域。
69.图5示出了由车辆（例如，图1和图2的车辆102中的一者）实施的自适应串流方法的第一部分。尽管主要关于图1-4的示例来描述图5-6的以下操作，但是这些操作适用于本公开的其他实施例。可迭代地执行该方法的操作。该方法可在500处开始。在502处，传感器124可生成传感器数据。在504处，滤波器320可根据默认或最新的基于多信道的滤波策略来对传感器数据进行滤波以提供滤波数据。在506处，压缩模块322压缩所述滤波数据。
70.在508处，图2的收发器282将压缩数据传输到包括图3的解压缩模块360的边缘计算设备或基于云的网络设备。
71.在510处，响应于传输压缩数据，反馈信道接口342接收自我车辆的远程确定状态，并且经由由存储器374生成的信号352来接收环境（或世界状态）。状态信息可包括自我车辆和附近物体的位置和轨迹、以及道路和天气条件。可从注意力驱动的策略模块接收该信息。
72.在512处，车辆车载功能模块310执行车辆功能以将车辆的状态和自我车辆的环境的状态提供给存储器204。这些功能是基于在510处从存储器374接收到的状态信息来执行的。在514处，存储器204存储自我车辆和环境的状态并将其提供给注意力驱动的策略模块326。
73.可同时执行以下操作516、518和520。在516处，注意力驱动的策略模块326基于自我车辆和环境的接收到的状态来执行信度、预想和任务相关性操作。在516a处，第一信度模
块确定一个或多个物体的状态的概率表示。在516b处，第一信度模块确定所述一个或多个观察到的状态的置信水平。
74.在518处，第一信度模块确定传感器之间的差异，所述传感器指示相同的一个或多个物体的不同状态、同一道路的不同道路条件和/或同种天气的不同天气条件。第一预想模块针对多维空间生成期望在将来检测到和/或观察到的物体和/或事件的列表。在518a处，第一预想模块在地图上跟踪车辆位置。在518b处，第一预想模块跟踪环境条件。在518c处，第一预想模块从其他车辆收集状态信息以提供情境意识信息。情境意识信息可包括物体信息、道路条件和天气条件。情境意识信息还可包括物体与自我车辆之间的距离、距离的变化率、距离是增加还是减小的指示等。在518d处，第一预想模块基于情境意识信息来预测要监测的注意力区域。在518e处，第一预想模块规划自我车辆的短程轨迹。
75.在520处，第一任务相关性模块分析所述一个或多个所监测的区域的当前场景并识别一个或多个注意力区域。注意力区域可以是当前所监测的一个或多个区域或其他区域的部分。
76.在522处，第一注意力驱动的策略模块基于置信水平、传感器差异、情境意识信息、自我车辆的短程轨迹、以及所述一个或多个注意力区域来确定自我车辆处的本地型注意力驱动的策略。本地型注意力驱动的策略包括滤波器320的时间、空间和/或有损率值。
77.在524处，管线信道接口344可接收用于滤波器320的串流策略调整值和/或其他时间、空间和/或有损率值。可提供串流策略调整值以减轻在模块312、314中的一者处发生的拥塞。
78.在526处，第一注意力驱动的策略模块可从边缘计算设备或基于云的网络设备接收远程型注意力驱动的策略以作为反馈信道接口处的反馈信息。在远离车辆的边缘计算设备或基于云的网络设备处，基于从车辆串流到边缘计算设备或基于云的网络设备的数据来确定远程型注意力驱动的策略。
79.在528处，策略融合模块346确定基于多信道的滤波策略，该滤波策略被提供给滤波器320。这包括时间、空间和有损率滤波器参数，以自适应地调整数据到边缘计算设备或基于云的网络设备的串流。
80.在530处，自适应串流模块126可确定是否存在要滤波的附加传感器数据。如果是，则可执行操作504，否则该方法可在532处结束。
81.图6示出了由边缘计算设备或基于云的网络设备（图1的设备104、128中的一者）实施的自适应串流方法的第二部分。该第二部分可在600处开始。在602处，解压缩模块360从压缩模块322接收压缩数据。在604处，解压缩模块360对压缩数据进行解压缩，并将经解压缩的传感器数据转发到车辆监测模块314。
82.在606处，车辆功能模块372执行车辆功能以提供自我车辆的状态和自我车辆的环境的状态。在608处，将这些状态存储在存储器374中。在610处，存储器374和/或车辆监测模块314将如上文所描述的状态提供给车辆车载功能模块310。
83.可同时执行以下操作612、614、616。在612处，注意力驱动的策略模块130基于自我车辆和环境的状态来执行信度、预想和任务相关性操作。在612a处，第二信度模块确定一个或多个物体的状态的概率表示。在612b处，第二信度模块确定所述一个或多个观察到的状态的置信水平。
84.在614处，第二信度模块确定传感器之间的差异，所述传感器指示相同的一个或多个物体的不同状态、同一道路的不同道路条件和/或同种天气的不同天气条件。第二预想模块针对多维空间生成期望在将来检测到和/或观察到的物体和/或事件的列表。在614a处，第二预想模块在地图上跟踪车辆位置。在614b处，第二预想模块跟踪环境条件。在614c处，第二预想模块从其他车辆收集状态信息以提供情境意识信息。情境意识信息可包括物体信息、道路条件和天气条件。情境意识信息还可包括物体与自我车辆之间的距离、距离的变化率、距离是增加还是减小的指示等。在614d处，第二预想模块基于情境意识信息来预测要监测的注意力区域。在614e处，第二预想模块规划自我车辆的短程轨迹。
85.在616处，第二任务相关性模块分析所述一个或多个所监测的区域的当前场景并识别一个或多个注意力区域。注意力区域可以是当前所监测的一个或多个区域或其他区域的部分。
86.在618处，注意力驱动的策略模块130基于在614、616、618处确定的置信水平、传感器差异、情境意识信息、自我车辆的短程轨迹、以及所述一个或多个注意力区域来确定远程型注意力驱动的策略。本地型注意力驱动的策略包括滤波器320的时间、空间和/或有损率值。
87.在620处，注意力驱动的策略模块130可将远程型注意力驱动的策略传输到自我车辆的反馈信道接口342。
88.在622处，管线监测模块362监测传感器串流模块312处的拥塞水平并生成第一串流率调整值。在624处，管线监测模块364监测车辆监测模块314和/或车辆功能模块372处的拥塞水平并生成第二串流率调整值，该第二串流率调整值可基于第一串流率调整值。在626处，管线监测模块364可经由通信接口316和/或管线监测模块370将第二串流率调整值传输到管线信道接口344。
89.在630处，传感器串流模块312可确定是否已接收到附加的串流数据。如果是，则可执行操作604，否则该方法可在632处结束。
90.本文中公开了一种架构，该架构使用注意力驱动的策略以在针对边缘计算设备和基于云的网络设备来实时地串流传感器数据的同时基于场景理解和任务驱动的策略对传感器数据进行优先级排序。图3的自适应串流模块126可确定基于以下各者所生成的损失函数：（i）从车载传感器到车外网络设备的串流数据的服务质量（qos）确定，以及（ii）感知性能。自适应串流模块126可基于损失函数如上文所描述的那样来调整滤波器320的操作。可基于感知注意力操作来生成和实施策略集，以调整传感器串流数据率。在不牺牲感知性能（例如，物体检测率）的情况下，平衡了带宽使用与边缘计算/云侧功能性能之间的折衷。这改善了对用于任务关键型实时应用的传感器数据的基于云的处理，并克服了与传统的基于云的处理相关联的缺点。实时地利用边缘计算设备和基于云的网络设备的处理能力以增强本地车辆操作。
91.示例包括作为实时自适应传感器数据串流策略的输入的选择性注意力。使用三个独立来源来得出注意力策略。这些来源包括信度、设想和任务相关性来源。在一个实施例中，使用面向任务的策略，并且为高质量图像选择某些区域，而来自其他区域和/或传感器的数据被部分地忽略和/或忽视。对其他区域的部分忽略可包括收集其他区域的图像质量降低的图像和/或使用较少的资源（处理能力、处理时间、存储器等）来处理其他区域的数
据。
92.前面的描述本质上仅仅是图示性的，并且决不旨在限制本公开、其应用或使用。本公开的广泛教导能够以多种形式实施。因此，尽管本公开包括特定示例，但是本公开的真实范围不应受到如此限制，因为在研究附图、说明书和以下权利要求时，其他修改将变得显而易见。应理解，方法内的一个或多个步骤可以以不同次序（或同时）执行，而不更改本公开的原理。进一步地，虽然上文将实施例中的每一个描述为具有某些特征，但是关于本公开的任何实施例描述的那些特征中的任何一者或多者能够在其他实施例中的任一者的特征中实施和/或与其组合，即使该组合未明确描述。换句话说，所描述的实施例不是相互排斥的，并且一个或多个实施例彼此的排列仍然在本公开的范围内。
93.元件之间（例如，模块、电路元件、半导体层等之间）的空间和功能关系使用各种术语来描述，包括“连接”、“接合”、“联接”、“邻近”、“紧邻”、“在
……
顶部”、“上方”、“下方”和“安置”。除非明确地描述为“直接”，否则当在上面的公开中描述第一元件和第二元件之间的关系时，该关系能够是在第一元件和第二元件之间不存在其他介入元件的直接关系，但也能够是在第一元件和第二元件之间存在（空间抑或功能上）一个或多个介入元件的间接关系。如本文中所使用的，短语a、b和c中的至少一者应被解释为使用非排他性逻辑or来意指逻辑（a or b or c），并且不应被解释为意指“a中的至少一者、b中的至少一者、以及c中的至少一者”。
94.在附图中，如由箭头指示的箭头方向通常演示图示感兴趣的信息（诸如，数据或指令）的流动。例如，当元件a和元件b交换多种信息但是从元件a传输到元件b的信息与图示相关时，箭头可从元件a指向元件b。该单向箭头并不暗示没有其他信息从元件b传输到元件a。进一步地，对于从元件a发送到元件b的信息，元件b可向元件a发送针对信息的请求或接收确认。
95.在本技术（包括下面的定义）中，术语“模块”或术语“控制器”可用术语“电路”代替。术语“模块”可指代以下各者、为以下各者的一部分、或包括以下各者：专用集成电路（asic）；数字、模拟或混合模拟/数字分立电路；数字、模拟或混合模拟/数字集成电路；组合逻辑电路；现场可编程门阵列（fpga）；执行代码的处理器电路（共享、专用或组）；存储由处理器电路执行的代码的存储器电路（共享、专用或组）；提供所描述的功能的其他合适的硬件部件；或者以上各者中的一些或全部的组合，诸如在片上系统中。
96.模块可包括一个或多个接口电路。在一些示例中，接口电路可包括连接到局域网（lan）、因特网、广域网（wan）或其组合的有线或无线接口。本公开的任何给定模块的功能可分布在经由接口电路连接的多个模块当中。例如，多个模块可允许负载平衡。在另外的示例中，服务器（也被称为远程或云）模块可代表客户端模块完成某种功能。
97.如上文所使用的术语代码可包括软件、固件和/或微代码，并且可指代程序、例程、函数、类、数据结构和/或对象。术语共享处理器电路涵盖单个处理器电路，其执行来自多个模块的一些或所有代码。术语组处理器电路涵盖处理器电路，该处理器电路与附加的处理器电路组合来执行来自一个或多个模块的一些或所有代码。对多个处理器电路的引用涵盖分立管芯上的多个处理器电路、单个管芯上的多个处理器电路、单个处理器电路的多个核、单个处理器电路的多个线程、或以上各者的组合。术语共享存储器电路涵盖单个存储器电路，其存储来自多个模块的一些或所有代码。术语组存储器电路涵盖存储器电路，该存储器
电路与附加的存储器组合来存储来自一个或多个模块的一些或所有代码。
98.术语存储器电路是术语计算机可读介质的子集。如本文中所使用的术语计算机可读介质不涵盖通过介质（诸如，载波上）传播的瞬时电信号或电磁信号；因此，术语计算机可读介质可被认为是有形的和非暂时性的。非暂时性、有形计算机可读介质的非限制性示例是非易失性存储器电路（诸如，快闪存储器电路、可擦除可编程只读存储器电路或掩模只读存储器电路）、易失性存储器电路（诸如，静态随机存取存储器电路或动态随机存取存储器电路）、磁性存储介质（诸如，模拟或数字磁带或硬盘驱动器）和光学存储介质（诸如，cd、dvd或蓝光光盘）。
99.本技术中所描述的设备和方法可由专用计算机部分地或全部地实施，该专用计算机通过将通用计算机构造成执行体现在计算机程序中的一个或多个特定功能而创建。上文所描述的功能块、流程图部件和其他元件用作软件规范，其能够通过熟练技术人员或程序员的例行工作转换成计算机程序。
100.计算机程序包括存储在至少一个非暂时性、有形计算机可读介质上的处理器可执行指令。计算机程序还可包括或依赖于存储的数据。计算机程序可涵盖与专用计算机的硬件交互的基本输入/输出系统（bios）、与专用计算机的特定设备交互的设备驱动程序、一个或多个操作系统、用户应用程序、后台服务、后台应用程序等。
101.计算机程序可包括：（i）要解析的描述性文本，诸如html（超文本标记语言）、xml（可扩展标记语言）或json（javascript对象表示法），（ii）汇编代码，（iii）由编译器从源代码生成的目标代码，（iv）由解释器执行的源代码，（v）由即时编译器编译和执行的源代码等。仅作为示例，可使用语法根据包括c、c 、c#、objective-c、swift、haskell、go、sql、r、lisp、java
®
、fortran、perl、pascal、curl、ocaml、javascript
®
、html5（超文本标记语言第5版）、ada、asp（动态服务器网页）、php（php：超级文本预处理语言）、scala、eiffel、smalltalk、erlang、ruby、flash
®
、visual basic
®
、lua、matlab、simulink和python
®
的语言编写源代码。