为自动车辆操作员提供情境认知界面的系统和方法与流程

1.本专利文献中描述的技术总体涉及用于车队车辆操作员的情境认知界面，更具体地，涉及提供操作员情境认知界面，供操作员用来监视自动车辆车队。


背景技术：

2.包括完全自主车辆在内的自主车辆可能不是100％自主的，可能需要受过培训的操作员进行间歇性/周期性干预。需要一种用户界面来实现对包括自主或自动车辆车队在内的车辆车队的操作员到车辆分配的有效管理。
3.因此，期望提供一种操作员情境认知界面，供操作员用来监视自动车辆。此外，结合附图，从随后的详细描述和所附权利要求中，其他期望的特征和特性将变得显而易见。


技术实现要素：

4.提供了用于提供操作员情境认知界面的系统和方法。在一实施例中，提供了一种监督控制系统，用于为多个操作员提供操作员情境认知界面，以监视多个自动车辆(av)。该系统包括控制器，该控制器配置成：生成感兴趣的地理区域的地图；获得地理区域中的多个av的位置数据和感知风险数据；生成对应于多个av中的每个av的车辆图标；基于相应av的位置数据在地图上定位每个av的车辆图标；基于相应av的感知风险等级，对每个车辆图标应用颜色编码；以及向显示设备发送信号以显示av车队地图图形，该av车队地图图形包括其上定位有颜色编码车辆图标的地图。av可包括具有自动驾驶特征的完全自主车辆、半自主车辆和/或乘客驾驶的车辆。
5.在一实施例中，为了获得位置数据和感知风险数据，控制器配置成从数据整合模块检索位置数据和感知风险数据。
6.在一实施例中，数据整合模块配置成从多个av累积位置数据和感知风险数据。
7.在一实施例中，控制器还配置为基于相应车辆的感知风险数据将特定风险等级的颜色分配给每个车辆图标。
8.在一实施例中，控制器还配置成基于感知风险数据来确定每个av的感知风险等级。
9.在一实施例中，控制器还配置成基于感知风险数据将多个预定的感知风险等级中的一个分配给每个av。
10.在一实施例中，控制器还配置为基于分配给相应av的感知风险等级，将特定风险等级的颜色分配给每个车辆图标。
11.在一实施例中，控制器还配置成：生成av服务队列图形，其以基于所确定的服务优先级的顺序显示av的车辆图标；并且向显示设备发送信号以显示av服务队列图形。
12.在一实施例中，为了生成av服务队列图形，控制器还配置为：基于感知风险数据来确定多个av中的每个的感知风险等级；基于感知风险等级，识别需要服务辅助的av；基于需要服务辅助的av的感知风险等级来确定需要服务辅助的av的服务辅助优先顺序；生成对应
于需要服务辅助的每个av的车辆图标；基于相应车辆的感知风险，对需要服务辅助的av的每个车辆图标应用颜色编码；以及以确定的服务辅助优先顺序将需要服务辅助的av的车辆图标定位在av服务队列图形上。
13.在一实施例中，控制器还配置为：在av服务队列图形上生成并定位指示服务优先级顺序的优先顺序图形元素；并且在av服务图形上生成和定位多个操作员图标，其代表能够协助服务av需求的操作员。
14.在一实施例中，控制器还配置为：在av服务队列图形上生成并定位操作员分配图形元素，用于识别需要服务辅助的av中的哪一个已被分配给特定操作员；并且通过将分配的av的车辆图标定位在特定操作员的操作员分配图形元素上，指示将av分配给特定操作员。
15.在一实施例中，控制器还配置成：在av服务队列图形上生成并定位特殊服务需求图形元素，用于识别具有特殊服务需求的av，并识别可能最适合服务特殊服务需求的操作员；在av服务队列图形上生成并定位特殊操作员分配图形元素，用于识别具有特殊服务需求的av中的哪一个已被分配给最适合服务特殊服务需求的操作员；以及通过将分配的特殊服务需求av的车辆图标定位在特殊操作员分配图形元素上，指示将具有特殊服务需求的av分配给最适合服务特殊服务需求的操作员。
16.在另一实施例中，提供了一种在监督控制系统中用于为多个操作员提供操作员情境认知界面以监视多个自动车辆(av)的方法。该方法包括：生成感兴趣的地理区域的地图；获得地理区域中的多个av的位置数据和感知风险数据；生成对应于多个av中的每个av的车辆图标；基于相应av的位置数据在地图上定位每个av的车辆图标；基于相应av的感知风险等级，对每个车辆图标应用颜色编码；以及向显示设备发送信号以显示av车队地图图形，该av车队地图图形包括其上定位有颜色编码车辆图标的地图。av可包括具有自动驾驶特征的完全自主车辆、半自主车辆和/或乘客驾驶的车辆。
17.在一实施例中，获得位置数据和感知风险数据包括从数据整合模块检索位置数据和感知风险数据。
18.在一实施例中，数据整合模块配置成从多个av累积位置数据和感知风险数据。
19.在一实施例中，该方法还包括基于相应车辆的感知风险数据将特定风险等级的颜色分配给每个车辆图标。
20.在一实施例中，该方法还包括基于感知风险数据确定每个av的感知风险等级。
21.在一实施例中，该方法还包括基于感知风险数据将多个预定的感知风险等级中的一个分配给每个av。
22.在一实施例中，该方法还包括基于分配给相应av的感知风险等级，将特定风险等级的颜色分配给每个车辆图标。
23.在一实施例中，该方法还包括：生成av服务队列图形，其以基于所确定的服务优先级的顺序显示av的车辆图标；并且向显示设备发送信号以显示av服务队列图形。
24.在一实施例中，生成av服务队列图形包括：基于感知风险数据来确定多个av中的每个的感知风险等级；基于感知风险等级，识别需要服务辅助的av；基于需要服务辅助的av的感知风险等级来确定需要服务辅助的av的服务辅助优先顺序；生成对应于需要服务辅助的每个av的车辆图标；基于相应车辆的感知风险，对需要服务辅助的av的每个车辆图标应
用颜色编码；以及以确定的服务辅助优先顺序将需要服务辅助的av的车辆图标定位在av服务队列图形上。
25.在一实施例中，该方法还包括：在av服务队列图形上生成并定位指示服务优先级顺序的优先顺序图形元素；并且在av服务图形上生成和定位多个操作员图标，其代表能够协助服务av需求的操作员。
26.在一实施例中，该方法还包括：在av服务队列图形上生成并定位操作员分配图形元素，用于识别需要服务辅助的av中的哪一个已被分配给特定操作员；并且通过将分配的av的车辆图标定位在特定操作员的操作员分配图形元素上，指示将av分配给特定操作员。
27.在一实施例中，该方法还包括：在av服务队列图形上生成并定位特殊服务需求图形元素，用于识别具有特殊服务需求的av，并识别可能最适合服务特殊服务需求的操作员；在av服务队列图形上生成并定位特殊操作员分配图形元素，用于识别具有特殊服务需求的av中的哪一个已被分配给最适合服务特殊服务需求的操作员；以及通过将分配的特殊服务需求av的车辆图标定位在特殊操作员分配图形元素上，指示将具有特殊服务需求的av分配给最适合服务特殊服务需求的操作员。
28.在另一实施例中，提供了一种编码有编程指令的非暂时性计算机可读介质，所述编程指令可配置成使监督控制系统中的一个或多个处理器执行为多个操作员提供操作员情境认知界面以监视多个自动车辆(av)的方法。该方法包括：生成感兴趣的地理区域的地图；获得地理区域中的多个av的位置数据和感知风险数据；生成对应于多个av中的每个av的车辆图标；基于相应av的位置数据在地图上定位每个av的车辆图标；基于相应av的感知风险等级，对每个车辆图标应用颜色编码；以及向显示设备发送信号以显示av车队地图图形，该av车队地图图形包括其上定位有颜色编码车辆图标的地图。av可包括具有自动驾驶特征的完全自主车辆、半自主车辆和/或乘客驾驶的车辆。
29.在一实施例中，获得位置数据和感知风险数据包括从数据整合模块检索位置数据和感知风险数据。
30.在一实施例中，数据整合模块配置成从多个av累积位置数据和感知风险数据。
31.在一实施例中，该方法还包括基于相应车辆的感知风险数据将特定风险等级的颜色分配给每个车辆图标。
32.在一实施例中，该方法还包括基于感知风险数据确定每个av的感知风险等级。
33.在一实施例中，该方法还包括基于感知风险数据将多个预定的感知风险等级中的一个分配给每个av。
34.在一实施例中，该方法还包括基于分配给相应av的感知风险等级，将特定风险等级的颜色分配给每个车辆图标。
35.在一实施例中，所述方法还包括：生成av服务队列图形，其以基于所确定的服务优先级的顺序显示av的车辆图标；并且向显示设备发送信号以显示av服务队列图形。
36.在一实施例中，生成av服务队列图形包括：基于感知风险数据来确定多个av中的每个的感知风险等级；基于感知风险等级，识别需要服务辅助的av；基于需要服务辅助的av的感知风险等级来确定需要服务辅助的av的服务辅助优先顺序；生成对应于需要服务辅助的每个av的车辆图标；基于相应车辆的感知风险，对需要服务辅助的av的每个车辆图标应用颜色编码；以及以确定的服务辅助优先顺序将需要服务辅助的av的车辆图标定位在av服
务队列图形上。
37.在一实施例中，该方法还包括：在av服务队列图形上生成并定位指示服务优先级顺序的优先顺序图形元素；并且在av服务图形上生成和定位多个操作员图标，其代表能够协助服务av需求的操作员。
38.在一实施例中，该方法还包括：在av服务队列图形上生成并定位操作员分配图形元素，用于识别需要服务辅助的av中的哪一个已被分配给特定操作员；并且通过将分配的av的车辆图标定位在特定操作员的操作员分配图形元素上，指示将av分配给特定操作员。
39.在一实施例中，该方法还包括：在av服务队列图形上生成并定位特殊服务需求图形元素，用于识别具有特殊服务需求的av，并识别可能最适合服务特殊服务需求的操作员；在av服务队列图形上生成并定位特殊操作员分配图形元素，用于识别具有特殊服务需求的av中的哪一个已被分配给最适合服务特殊服务需求的操作员；以及通过将分配的特殊服务需求av的车辆图标定位在特殊操作员分配图形元素上，指示将具有特殊服务需求的av分配给最适合服务特殊服务需求的操作员。
40.在另一实施例中，提供了一种用于为监视多个自动车辆(av)的多个操作员生成av服务队列图形的监督控制系统。该监督控制系统包括控制器，该控制器配置成：获得多个av的感知风险数据；基于感知风险数据来确定多个av中的每个的感知风险等级；基于感知风险等级，识别需要服务辅助的av；基于需要服务辅助的av的感知风险等级来确定需要服务辅助的av的服务辅助优先顺序；生成对应于需要服务辅助的每个av的车辆图标；基于相应车辆的感知风险，对需要服务辅助的av的每个车辆图标应用颜色编码；以确定的服务辅助优先顺序将需要服务辅助的av的车辆图标定位在av服务队列图形上；以及向显示设备发送信号以显示av服务队列图形。av可包括具有自动驾驶特征的完全自主车辆、半自主车辆和/或乘客驾驶的车辆。
41.在另一实施例中，提供了一种用于为监视多个自动车辆(av)的多个操作员生成av服务队列图形的方法。该方法包括：获得多个av的感知风险数据；基于感知风险数据来确定多个av中的每个的感知风险等级；基于感知风险等级，识别需要服务辅助的av；基于需要服务辅助的av的感知风险等级来确定需要服务辅助的av的服务辅助优先顺序；生成对应于需要服务辅助的每个av的车辆图标；基于相应车辆的感知风险，对需要服务辅助的av的每个车辆图标应用颜色编码；以确定的服务辅助优先顺序将需要服务辅助的av的车辆图标定位在av服务队列图形上；以及向显示设备发送信号以显示av服务队列图形。av可包括具有自动驾驶特征的完全自主车辆、半自主车辆和/或乘客驾驶的车辆。
附图说明
42.下文将结合以下附图描述示例性实施例，其中相同的附图标记表示相同的元件，并且其中：
43.图1是示出根据各种实施例的示例系统部件架构的框图，该系统部件架构用于为自主陆地旅行提供路线和风险评估建议，并用于使操作员池中的多个远程操作员能够同时监视和控制av车队中的大量av；
44.图2是描绘根据各种实施例的示例系统部件架构中的示例过程的过程流程图，该示例系统部件架构用于使操作员池中的多个远程操作员能够同时监视和控制av车队中的
大量av，并增强乘客认知和为av中的乘客提供控制界面；
45.图3是描绘根据各种实施例的由监督控制系统生成的示例操作员情景认知界面的图；
46.图4a是描绘根据各种实施例的示例操作员界面的图；
47.图4b是描绘根据各种实施例的示例座椅设备中的示例触觉传感器的图；
48.图5是描绘根据各种实施例的用于为操作员情境认知界面生成av车队地图图形的示例过程的过程流程图，该操作员情境认知界面提供地理区域和位于该地理区域内的av车队中的av的位置的俯视图；以及
49.图6是描绘根据各种实施例的用于为操作员情境认知界面生成av服务队列图形的示例过程的过程流程图，该操作员情境认知界面以基于由监督控制系统确定的服务优先级的顺序来显示在av车队地图图形中示出的av。
具体实施方式
50.下面的详细描述本质上仅仅是示例性的，并不旨在限制应用和使用。此外，并不旨在受前述技术领域、背景技术、发明内容或以下详细描述中提出的任何明示或暗示的理论的约束。如本文所用，术语“模块”指的是任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，单独地或以任何组合的形式，包括但不限于：专用集成电路(asic)、现场可编程门阵列(fpga)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或成组的)和存储器、组合逻辑电路和/或提供所述功能的其他合适部件。
51.本文可以根据功能和/或逻辑块部件以及各种处理步骤来描述本公开的实施例。应当理解，这种块部件可以由配置成执行指定功能的任何数量的硬件、软件和/或固件部件来实现。例如，本公开的实施例可以采用各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，它们可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。此外，本领域技术人员将理解，本公开的实施例可以结合任何数量的系统来实践，并且本文描述的系统仅仅是本公开的示例性实施例。
52.为了简洁起见，与信号处理、数据传输、发信号、控制、机器学习模型、雷达、激光雷达、图像分析和系统的其他功能方面(以及系统的各个操作部件)相关的传统技术在此可能不详细描述。此外，本文包含的各个图中所示的连接线旨在表示各个元件之间的示例功能关系和/或物理联接。应当注意，在本公开的实施例中可以存在许多替代或附加的功能关系或物理连接。
53.本文描述的主题公开了用于使操作员池中的多个远程操作员能够同时监视和控制自动车辆车队中的大量自动车辆(av)的设备、系统、技术和物品。av可包括具有自动驾驶特征的完全自主车辆、半自主车辆和/或乘客驾驶的车辆。自动车辆可以是客车、卡车、运动型多用途车、休闲车或一些其他类型的陆地车辆。以下公开提供了一种能够实时将车辆分配给操作员的界面，其中操作员可以接管需要干预的av的控制。以下公开描述了用于显示需要操作员交互的车辆的设备、系统、技术和物品。以下公开描述了用于自动车辆车队的操作员集中管理的设备、系统、技术和物品。以下公开描述了用于av到操作员分配的设备、系统、技术和产品。以下公开描述了用于基于任务风险对车辆服务进行优先化的设备、系统、技术和物品。以下公开描述了用于提供优先级队列的设备、系统、技术和产品，所述优先级
队列用于基于任务风险对车辆服务进行优先化。以下公开描述了用于提供显示哪个av是下一个要服务的用户界面的设备、系统、技术和产品。以下公开描述了用于对车辆显示进行颜色编码以引起紧急注意的设备、系统、技术和物品。以下公开描述了用于提供可能需要帮助的车辆的认知的设备、系统、技术和物品。以下公开描述了用于提供地理参考紧急度/风险显示的设备、系统、技术和产品。以下公开描述了用于对地图车辆进行颜色编码以跟踪和识别地理故障点的设备、系统、技术和物品。以下公开描述了用于基于操作区域分配车辆服务优先级的设备、系统、技术和产品。以下公开描述了用于基于操作员专业来优先化车辆分配的设备、系统、技术和物品。以下公开描述了用于跳过基于违约风险的优先化的设备、系统、技术和产品。以下公开描述了用于显示排队分析信息的设备、系统、技术和产品。
54.图1是描绘示例系统部件架构100的框图，用于为自主陆地旅行提供路线和风险评估建议，并用于使操作员池中的多个远程操作员能够同时监视和控制av车队中的大量av。示例系统部件架构100包括处理实体102，其通过数据和通信网络104连接到环境中的多个自动车辆和基础设施(例如使用v2x通信101),在该环境中，多个自动车辆运行以允许处理实体102与多个自动车辆和基础设施形成关系网络，以从系统输入103获得数据，该系统输入103包括与多个自动车辆相关的车载车辆输入源106和来自与基础设施相关的车外输入源108的数据。如本文所用，术语“关系网络”指的是其中网络的各种构成部分一起工作以实现目的的任何网络。
55.自动车辆的车载车辆输入源106包括一个或多个感测设备，其感测车辆外部环境和/或内部环境的可观测条件，并生成与之相关的传感器数据。该示例中的一个或多个感测设备包括个人设备/相机121(例如智能手机、平板电脑、平板手机等上的相机或视频记录设备)、个人设备/传感器122(例如智能手机、平板电脑、平板手机等上的传感器，如gps、激光雷达和其他传感器)、车辆/内部运动传感器123、外部/内部麦克风124、激光雷达/雷达125、外部相机126、内部相机127、制动传感器128、转向传感器129、油门传感器130、车辆开关131、hmi交互132、gps133、6dof(自由度)加速度计134和/或车辆速度感测设备135。车载车辆输入源106用于收集可观测数据，这些数据可用于创建评估任务风险所必需的数据成分。
56.车外输入源108包括一个或多个感测设备，其感测环境中的可观测条件，多个自动车辆可以行进通过该环境并生成与之相关的数据。所生成的数据可以包括基础设施传感器数据141(例如感应环交通检测器、十字路口监视系统、浮动车数据等)和基础设施相机数据142。车外输入源108可以耦合到基础设施，例如交通灯、交通标志、桥梁、建筑物和其他基础设施项目。
57.示例系统部件架构100还包括数据整合模块110，用于累积和存储通过数据和通信网络104从车载车辆输入源106和车外输入源108、用于操作中心人员的操作中心界面112和用于av的车辆界面114获得的数据。数据整合模块110包括处理硬件、软件和存储介质，用于存储通过数据和通信网络104获得的数据。操作中心界面112包括用于控制av的监督控制界面116和遥控界面118。车辆界面114包括用于av中乘客的乘客信息显示器120和用于控制av的行为和/或轨迹的远程超控界面119。监督控制界面116允许使用监督控制界面显示和控制来远程监视车辆操作运动。遥控界面118允许车辆的转向、油门和制动的远程车辆控制。
58.处理实体102包括至少一个控制器，该控制器包括至少一个处理器和编码有用于配置控制器的编程指令的计算机可读存储设备或介质。处理器可以是任何定制的或市场上
可买到的处理器、中央处理单元(cpu)、图形处理单元(gpu)、专用集成电路(asic)、现场可编程门阵列(fpga)、与控制器相关的多个处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、它们的任何组合，或者通常是用于执行指令的任何设备。
59.计算机可读存储设备或介质可以包括例如只读存储器(rom)、随机存取存储器(ram)和保活存储器(kam)中的易失性和非易失性存储。kam是一种永久性或非易失性存储器，可以用来在处理器断电时存储各种操作变量。计算机可读存储设备或介质可以使用许多已知存储设备中的任何一种来实现，例如prom(可编程只读存储器)、eprom(电prom)、eeprom(电可擦除prom)、闪存或任何其他能够存储数据的电、磁、光或组合存储设备，其中一些表示控制器使用的可执行编程指令。编程指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。
60.经由系统输出105，处理实体102配置成使得操作员池中的多个远程操作员能够经由操作中心界面112同时监视和控制av车队中的大量av，操作中心界面112包括监督控制界面116和遥控操作界面118。示例监督控制界面116包括显示器和控制器。示例遥控操作界面118包括感测、控制输入、转向、制动和滞后。
61.经由系统输出105，处理实体102还配置成增强av中的乘客认知，并经由车辆界面114为av中的乘客提供控制界面，车辆界面114包括乘客信息显示器120和远程超控界面119。示例乘客信息显示器120提供计划的av操纵和行驶计划的显示以及由车辆感测的车辆外部的物体显示。示例远程超控界面119为乘客提供了停止或改变av行为和/或轨迹的方式。
62.处理实体102配置成：处理av周围的交通，生成av周围的风险场，处理轨迹覆盖，以及确定操作员干预av的时间紧急性(操作136)。处理实体102配置成执行时间风险预测(操作137)。时间风险预测可以包括考虑：过去、现在、预测风险预测；任务类型先验；车辆类型先验；位置-时间先验；行为先验；交通、天气；相对进度更新；以及麻烦风险。处理实体102配置成执行关于将av分配给操作员池中的操作员的负载平衡(操作138)。处理实体102配置为执行切换算法(操作139)以确定何时将av控制切换到谁。处理实体102配置成执行遥控操作算法(操作140)以便于操作员控制av。遥控操作算法包括动态控制车辆轨迹的命令的过程总结。
63.图2是描绘示例系统部件架构100中的示例过程200的过程流程图，用于使操作员池中的多个远程操作员能够同时监视和控制av车队中的大量av，并增强乘客认知和为av中的乘客提供控制界面。示例过程包括多个异步执行的子过程，包括用于利用av车队中的av的乘客的示例乘客体验过程202、用于av车队中的每个av的示例车辆决策循环204、示例监督控制系统中的示例监督控制决策循环206以及用于操作员池中的远程操作员的示例操作员过程208。
64.示例乘客体验过程202包括请求搭车到目的地的诸如av出租车服务的av服务的用户(例如乘客)(操作210)。乘坐请求可通过用户设备211做出，例如平板电脑、智能手机、平板手机、膝上型电脑、笔记本电脑或一些其他用户可访问的电子设备。可经由监督控制系统(例如处理实体102)向用于av车队的中央调度系统做出乘坐请求。
65.示例乘客体验过程202包括用户接受响应于乘车请求的指定路线(操作212)。用户接受可以通过用户设备211进行。
66.示例乘客体验过程202包括观察用户情境认知界面213(操作214)。示例用户情境认知界面213由监督控制系统(例如处理实体102)生成，并向av中的乘客提供信息以建立对自动化的信任、理解和选择路线选项、识别风险、为车辆操纵意图做准备以及在必要时获得辅助的方式。用户情境认知界面213可被提供用于在用户设备211和/或位于av内的显示设备上显示。
67.示例乘客体验过程202包括乘客请求干预(操作216)。当乘客检测到需要或特别希望来自远程操作员的辅助以完成乘坐时，可以请求干预。
68.示例乘客体验过程202包括观察和确认乘坐的结果(操作218)。乘客可以使用用户设备211确认乘坐的结果。
69.示例车辆决策循环204包括观察情况和需求(操作220)。示例车辆决策循环204由av221中的处理部件或控制器执行，该av221已被分派(例如由中央调度系统)来服务乘坐请求。
70.示例车辆决策循环204包括发布风险等级(操作222)。av221的风险等级由av221确定，并公布给监督控制系统(例如处理实体102)。风险等级捕捉并传达任务失败的概率(1减去任务成功的概率)，它包括延迟的可能性、由于要穿越的地方的驾驶环境的复杂性、由于交通堵塞、由于车辆健康和车辆能力以及故障的严重性而需要辅助的可能性。还包含了从故障中恢复的预期时间(或可能性)。
71.示例车辆决策循环204包括重新评估情况(操作224)和基于重新评估更新风险等级(操作226)。av221在行程中不断地重新评估它的情况。
72.示例车辆决策循环204还包括在必要时请求操作员交互(操作228)。当通过重新评估其情况和更新其风险等级，av221确定其需要操作员干预来完成行程时，av221请求来自监督控制系统(例如处理实体102)的操作员交互。
73.示例监督控制决策循环206由监督控制系统(例如处理实体102)执行，并且包括向车辆(例如av 221)分派乘坐请求(操作230)。响应于乘坐请求，调度乘坐请求。
74.示例监督控制决策循环206包括观察行程的进度和风险等级(操作232)以及分析交互需求特征(操作234)。来自观察和分析的结果可以导致生成操作员情境认知界面215，其提供了使得多个远程操作员能够同时监视和控制更多数量的自动车辆的用户界面。
75.示例监督控制决策循环206包括跟踪操作员负载(操作236)以及当需要操作员干预时将车辆辅助任务移交给合适的可用操作员(操作238)。
76.示例操作员过程208包括由远程操作员通过操作员界面217接受任务(操作240)。操作员界面217包括多个显示设备，用于显示操作员情境认知界面215，并供操作员在对av221进行控制时使用。
77.示例操作员过程208包括观察情况和需求(操作242)。操作员可通过观察操作员界面217上的操作员情境认知界面215来执行观察。示例操作员过程208还包括操作员决定行动过程(操作244)、执行行动过程(操作246)、观察和确认结果(操作248)以及在完成车辆辅助之后释放对av221的控制(操作250)。
78.图3是描绘由监督控制系统(例如处理实体102)生成的示例操作员情境认知界面300的图。示例操作员情境认知界面300包括av车队地图图形302，其提供地理区域和位于该地理区域内的av车队中的av的位置的俯视图。示例操作员情境认知界面300还包括av服务
队列图形304，其以基于由监督控制系统确定的服务优先级的顺序显示av车队地图图形302中描绘的av。
79.为了生成示例av车队地图图形302，监督控制系统配置为生成感兴趣的地理区域的地图，获得av车队中的多个av306、308、310的位置数据和感知风险数据(例如位置数据和感知风险数据可以从数据整合模块110获得)，为其位置数据指示av在感兴趣的地理区域内的每个av生成车辆图标，并且基于相应车辆的位置数据在地图上定位车辆图标。
80.监督控制系统还配置为对每个车辆图标应用颜色编码，其中每个车辆图标基于相应车辆的感知风险数据被分配特定风险等级的颜色。结果，av车队地图图形302包括多个颜色编码的av306、308、310。在此示例中，av306的风险数据指示av306处于第一风险等级，av308的风险数据指示av308处于第二风险等级，且av310的风险数据指示av310处于第三风险等级。因此，在该示例中，监督控制系统用第一风险等级特定颜色(例如绿色)对处于第一风险等级的av306进行颜色编码，用第二风险等级特定颜色(例如黄色)对处于第二风险等级的av308进行颜色编码，并用第三风险等级特定颜色(例如红色)对处于第三风险等级的av310进行颜色编码。
81.为了生成示例av服务队列图形304，监督控制系统配置为生成指示服务优先级顺序的优先顺序图形元素(例如线条图形元素312)，将优先顺序图形元素定位在av服务队列图形304上，生成代表能够协助服务av需求的操作员的操作员图标315，获得包括在av车队地图图形302中的多个av306、308、310的感知风险数据(例如可从数据整合模块110获得感知风险数据)，确定多个av306、308、310中的每个的风险等级，基于风险等级识别需要服务辅助的av308、310，基于需要服务辅助的av308、310的风险等级来确定需要服务辅助的av308、310的服务辅助优先顺序，将颜色编码应用于需要服务辅助的av308、310的每个车辆图标，并将需要服务辅助的av的图标308，310以所确定的服务辅助优先顺序定位在av服务队列图形304上。
82.示例av服务队列图形304还包括操作员分配图形元素314，用于识别需要服务辅助的av308、310中的哪一个已被分配给特定操作员。当av被分配给特定操作员时，av的图标可以放置在特定操作员的操作员分配图形元素314上。
83.示例av服务队列图形304还包括特殊服务需求图形元素316，用于识别具有特殊服务需求的av并识别可能最适合服务特殊服务需求的操作员。av服务队列图形304还包括特殊操作员分配图形元素317，用于识别具有特殊服务需求的av中的哪一个已被分配给最适合服务特殊服务需求的操作员。当具有特殊服务需求的av被分配给最适合服务特殊服务需求的操作员时，av的图标可以放置在特殊操作员分配图形元素317上。
84.图4a是描绘示例操作员界面400的图。示例操作员界面400包括显示一个或多个av车队地图图形302的多个显示单元和用于控制一个或多个av的一个或多个用户界面。示例操作员界面400还包括具有触觉传感器的座椅装置402，用于提供触觉反馈以向使用座椅装置同时控制av的操作员传达方向感。示例操作员界面400还可以包括定向扬声器系统(未示出),以向在控制av时使用示例操作员界面400的操作员传达方向感。
85.图4b是描绘示例座椅装置404中的示例触觉传感器406的图。触觉传感器406可被控制来提供触觉反馈，以向在控制av的同时使用座椅装置404的操作员传达方向感。
86.图5是描绘用于为操作员情境认知界面生成av车队地图图形的示例过程500的过
程流程图，该图形提供地理区域和位于该地理区域内的av车队中的av的位置的俯视图。过程500内的操作顺序不限于如图5所示的顺序执行，而是可以按照适用的和根据本公开的一个或多个不同的顺序来执行。
87.示例过程500包括生成感兴趣的地理区域的地图(操作502)，以及获得该地理区域中的多个av的位置数据和感知风险数据(操作504)。示例过程500包括为其位置数据指示av在感兴趣的地理区域内的每个av生成车辆图标(操作506)，并且基于相应车辆的位置数据在地图上定位车辆图标(操作508)。
88.示例过程500包括基于相应车辆的感知风险对每个车辆图标应用颜色编码(操作510)。根据相应车辆的感知风险数据，为每个车辆图标分配特定风险等级的颜色。示例过程500包括向显示设备发送信号以显示av车队地图图形(操作512)。
89.图6是描绘用于为操作员情境认知界面生成av服务队列图形的示例过程600的过程流程图，该操作员情境认知界面以基于由监督控制系统确定的服务优先级的顺序来显示av车队地图图形中描绘的av。过程600内的操作顺序不限于如图6所示的顺序执行，而是可以按照适用的和根据本公开的一个或多个不同的顺序来执行。
90.示例过程600包括在av服务队列图形上生成并定位指示服务优先级顺序的优先顺序图形元素(操作602)。示例过程600包括在av服务图形上生成和定位代表能够协助服务av需求的操作员的操作员图标(操作604)。
91.示例过程600包括获得av车队地图图形中包括的av车队中的多个av的感知风险数据(操作606)。感知风险数据可以从数据整合模块(例如数据整合模块110)获得。
92.示例过程600包括基于感知风险数据确定多个av中的每个的风险等级(操作608)，基于风险等级识别需要服务辅助的av(操作610)，以及基于需要服务辅助的av的风险等级确定需要服务辅助的av的服务辅助优先顺序(操作612)。
93.示例过程600包括基于相应车辆的感知风险对需要服务辅助的av的每个车辆图标应用颜色编码(操作614)。基于相应车辆的感知风险数据，为每个车辆图标分配特定风险等级的颜色。
94.示例过程600包括以所确定的服务辅助优先顺序将需要服务辅助的av的图标定位在av服务队列图形上(操作616)，并且向显示设备发送信号以显示av服务队列图形(操作618)。
95.上文概述了多个实施例的特征，使得本领域技术人员可以更好地理解本公开的各个方面。本领域的技术人员应该理解，他们可以容易地使用本公开作为设计或修改其他过程和结构的基础，用于实现这里介绍的实施例的相同目的和/或实现相同优点。本领域技术人员还应该认识到，这种等同的构造不脱离本公开的精神和范围，并且在不脱离本公开的精神和范围的情况下，他们可以在此进行各种改变、替换和变更。