交叉路口碰撞缓解风险评估模型的制作方法

1.本主题公开涉及减轻车辆进入路段的风险，并且特别涉及用于计算交叉路口的风险并根据计算的风险操作车辆的系统和方法。


背景技术：

2.当车辆通过交叉路口时，由于交叉交通、速度变化、光线条件变化、行人在交叉路口交叉等的存在，车辆发生事故的风险增加。因此，进入交叉路口的自动驾驶车辆需要对其环境的交通状况进行额外的测量，以确保它可以顺利通过交叉路口。为了有效，这种测量和随后的计算需要实时进行。因此，期望提供一种基于当前交通状况评估车辆通过交叉路口的风险的简单方法。


技术实现要素：

3.在一个示例性实施例中，公开了一种导航车辆的方法。从传感器获得道路的图像。传感器聚焦于从道路的多个路段中选择的路段，其中路段是基于路段的风险使用机器学习程序选择的。机器学习程序被训练成通过计算道路的多个路段中的每个路段的风险来选择路段，其中与路段相关联的风险基于与路段相关联的危险概率和与路段相关联的占用概率，基于与路段相关联的风险从多个路段中选择路段，以及确定由于选择路段而导致的道路的道路风险模型的风险降低。
4.除了本文描述的一个或多个特征之外，计算该路段的风险还包括计算该路段的危险概率和该路段的占用概率的乘积。聚焦传感器还包括对多个路段执行随机选择过程，其中选择该路段的概率基于与该路段相关联的风险。该方法还包括当车辆驾驶员的注意力不在路段上时警告车辆驾驶员。该方法还包括使用触觉信号将驾驶员的注意力引向路段。该方法还包括将道路风险模型的风险与风险度量进行比较，并且当风险小于风险度量时，针对选择了所述路段而奖励机器学习程序。在一实施例中，传感器包括第一传感器和第二传感器，并且该方法还包括将第一传感器聚焦在路段上，同时用第二传感器保持道路的宽视野。
5.在另一示例性实施例中，公开了一种用于导航车辆的系统。该系统包括传感器和处理器。该传感器被配置成捕获道路的图像。该处理器被配置为使用机器学习程序基于路段的风险将传感器聚焦在从道路的多个路段中选择的路段上。机器学习程序被训练成通过计算道路的多个路段中的每个路段的风险来聚焦传感器，其中与路段相关联的风险基于与路段相关联的危险概率和与路段相关联的占用概率，基于与路段相关联的风险从多个路段中选择路段，以及确定由于选择所述路段而导致的道路的道路风险模型的风险的降低。
6.除了本文描述的一个或多个特征之外，处理器还被配置成通过计算路段的危险概率和路段的占用概率的乘积来计算路段的风险。处理器还被配置成通过对多个路段执行随机选择过程来聚焦传感器，其中选择路段的概率基于与该路段相关联的风险。该处理器还被配置成当车辆驾驶员的注意力不在该路段上时警告该驾驶员。处理器还被配置成使用触
觉信号将驾驶员的注意力引导到路段。该处理器还被配置成通过将道路风险模型的风险与风险度量进行比较来训练机器学习程序，并且当风险小于风险度量时，针对选择了所述路段而奖励机器学习程序。在一个实施例中，传感器包括第一传感器和第二传感器，并且处理器还被配置成将第一传感器聚焦在路段上，同时用第二传感器保持道路的宽视野。
7.在又一示例性实施例中，公开了一种车辆。该车辆包括传感器和处理器。该传感器被配置成捕获道路的图像。处理器被配置为使用机器学习程序基于路段的风险将传感器聚焦在从道路的多个路段中选择的路段。机器学习程序被训练成通过计算道路的多个路段中的每个路段的风险来聚焦传感器，其中与路段相关联的风险基于与路段相关联的危险概率和与路段相关联的占用概率，基于与路段相关联的风险从多个路段中选择路段，以及确定由于选择所述路段而导致的道路的道路风险模型的风险的降低。
8.除了本文描述的一个或多个特征之外，处理器还被配置成通过计算路段的危险概率和路段的占用概率的乘积来计算路段的风险。处理器还被配置成通过对多个路段执行随机选择过程来聚焦传感器，其中选择路段的概率基于与该路段相关联的风险。所述处理器还被配置为当驾驶员的注意力不在路段上时，使用触觉信号将车辆驾驶员的注意力引至路段。该处理器还被配置成通过将道路风险模型的风险与风险度量进行比较来训练机器学习程序，并且当风险小于风险度量时，针对选择了所述路段而奖励机器学习程序。在一个实施例中，传感器包括第一传感器和第二传感器，并且处理器还被配置成将第一传感器聚焦在路段上，同时用第二传感器保持道路的宽视野。
9.当结合附图时，从以下详细描述中，本公开的上述特征和优点以及其他特征和优点将变得显而易见。
附图说明
10.其他特征、优点和细节仅通过示例的方式出现在以下详细描述中，详细描述参考附图，其中：
11.图1示出了根据示例性实施例的车辆；
12.图2示出了在一实施例中用于图1的车辆的驾驶员警报系统；
13.图3示出了说明性实施例中的交叉路口的俯视图；
14.图4示出了当主车辆接近图3的交叉路口时主车辆的完整危险概率图；
15.图5示出了当主车辆在交叉路口时图3的交叉路口的危险概率图；
16.图6示出了图3的交叉路口的占用概率图；
17.图7示出了当主车辆接近交叉路口时所看到的示意性交叉路口的图像；
18.图8示出了交叉路口的所选路段的特写；
19.图9示出了在一个实施例中，用于训练机器学习程序以将传感器聚焦在路段的过程的框图；
20.图10示出了用于向乘客报警或引导车辆注意交叉路口内的风险的方法的流程图；和
21.图11示出了用于确定交叉路口或路段的风险的方法的流程图，该风险包括对象从感测系统的视野中被遮挡的可能性。
具体实施方式
22.以下描述本质上仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相同或相应的部件和特征。
23.根据示例性实施例，图1示出了车辆10。在各种实施例中，车辆10可以是自动或半自动的。在示例性实施例中，车辆10是所谓的四级或五级自动化系统。四级系统表示“高度自动化”，指的是自动驾驶系统在动态驾驶任务的所有方面的驾驶模式-特定性能，即使人类驾驶员没有对干预请求做出适当的响应。五级系统表示“完全自动化”，指的是在人类驾驶员可以管理的所有道路和环境条件下，自动驾驶系统在动态驾驶任务的所有方面的全时(full-time)性能。应当理解，这里公开的系统和方法也可以用于在一级到五级的任何一级运行的车辆。
24.车辆10通常至少包括导航系统20、推进系统22、传动系统24、转向系统26、制动系统28、传感系统30、致动器系统32和控制器34。导航系统20为车辆10的自动驾驶确定道路级路线计划。推进系统22提供用于为车辆10产生原动力的动力，并且在各种实施例中，可以包括内燃机、电机如牵引马达和/或燃料电池推进系统。传动系统24被配置成根据可选择的速度比将动力从推进系统22传递到车辆10的两个或多个车轮16。转向系统26影响两个或多个车轮16的位置。尽管出于说明的目的被描绘为包括方向盘27，但是在本公开范围内预期的一些实施例中，转向系统26可以不包括方向盘27。制动系统28被配置为向两个或多个车轮16提供制动扭矩。
25.传感系统30包括传感器或检测器，其感测车辆10的外部环境中的对象50并确定对象的各种参数，这些参数对于定位自主车辆环境中的各种远程车辆的位置和相对速度是有用的。这些参数可以提供给控制器34。传感系统30可以包括第一传感器和第二传感器。在各种实施例中，第一传感器可用于聚焦在道路或交叉路口的所选路段上，而第二传感器用于获得道路或交叉路口的宽视野。第一传感器可以将其视野从宽变窄，并且还可以改变其方向。在一实施例中，传感系统30包括一个或多个数字摄像头，用于捕获道路或交叉路口的一个或多个图像。在替代实施例中，传感系统30可以包括雷达系统、激光雷达等中的一个或多个，用于检测诸如目标车辆、行人等对象50的距离、相对速度、方位角和仰角。
26.控制器34包括处理器36和计算机可读存储设备或计算机可读存储介质38。存储介质包括程序或指令39，当由处理器36执行时，程序或指令39基于来自传感系统30的输出操作车辆10。控制器34可以基于传感系统30的输出构建车辆10的轨迹，并且可以向致动器系统32提供轨迹以控制推进系统22、传动系统24、转向系统26和/或制动系统28，从而相对于对象50导航车辆10。
27.计算机可读存储介质38还可以包括程序或指令39，当由处理器36执行时，该程序或指令39确定交通场景、特别是在交叉路口的交通场景的车辆10的风险。控制器34可以向车辆10的驾驶员提供警报和/或基于风险控制车辆的操作。在各种实施例中，控制器34还可以加速和/或减速车辆10、使车辆转向、施加制动等。以避免与对象50的碰撞或碰撞。
28.计算机可读存储介质38可进一步包括程序或指令39，所述程序或指令39当由处理器36执行时，基于与道路的所选路段相关联的风险，将传感器聚焦在该路段上。可以使用机器学习程序(例如神经网络)来聚焦传感器。机器学习程序可被训练成使用真实或模拟数据来聚焦传感器，如本文所述。
29.图2示出了在一实施例中用于图1的车辆10的驾驶员警报系统200。驾驶员警报系统200包括观察驾驶员和驾驶员注意力水平的驾驶员监控装置202。在各种实施例中，驾驶员监控装置202可以是指示驾驶员注意力水平或方向的眼睛监控或生物传感器。来自驾驶员监控装置202的数据被提供给控制器34。控制器34与转向系统26和/或驾驶员座椅204通信。控制器34比较感测系统的焦点(例如，第一传感器和第二传感器之一的焦点)，并且当驾驶员的注意力不同于传感系统30的焦点时向驾驶员提供警报。控制器34可以发出警报或提供触觉警告，例如通过振动与驾驶员接触的物体，例如方向盘27或驾驶员座椅204。驾驶员座椅204可以在沿着驾驶员座椅204的不同位置处具有触觉发射器。当驾驶员的注意力没有对准传感系统30的焦点时，可以选择对应于传感系统30的焦点方向的触觉发射器。例如，可以激活右侧触觉发射器以将驾驶员的注意力引向右侧，并且可以激活左侧触觉发射器以将驾驶员的注意力引向左侧。
30.图3示出了在说明性实施例中的交叉路口302的俯视图300。在各种实施例中，交叉路口302可以具有合适的交通指示器的任何配置，例如四向停车标志、双向停车标志、交通灯。为了说明的目的，俯视图300包括主车辆301(例如图1的车辆10)通过其接近交叉路口302的选定车道304、允许车流在与选定车道相反的方向上移动的迎面车道306、第一交叉交通车道308和第二交叉交通车道310。在给定了选定车道304的停止标志或红灯条件的情况下，选定车道304中的停止线312指示主车辆301在接近交叉路口302时停止的地方。
31.图3还部分示出了用于确定选定车道304内的危险概率的模型。控制器34根据分割算法模型将选定车道304分割成多个路段，并为每个路段分配危险概率。危险概率指示当诸如目标车辆的对象50在路段中时，主车辆301遭遇事故或危险的概率。危险概率不要求这样的对象50存在于路段中，并且危险概率的值与对象是否在路段中无关。选定车道304示出了车辆10前方的多个路段。
32.每个路段都用阴影表示与该路段相关的危险概率范围。例如，紧邻主车辆301前方的第一引导路段314具有与其相关联的高危险概率，因为如果目标车辆在其中，则存在高碰撞概率。第二引导路段316更远离主车辆301并且具有与其相关联的中等危险概率，这主要是因为主车辆301有额外的时间对其中的目标车辆做出反应。类似地，第三引导路段318具有与之相关联的低危险概率，第四引导路段320具有与之相关联的非常低的危险概率。在各种实施例中，高危险概率在大约0.75和1之间，中等危险概率在大约0.5和大约0.75之间，低危险概率在大约0.25和0.5之间，非常低危险概率在0和大约0.25之间。
33.图4示出了当主车辆接近交叉路口302时，主车辆301针对图3的交叉路口302的完整危险概率图400。选定车道304、迎面车道306以及第一交叉车道308和第二交叉车道310中的每一个都由控制器34划分，并且分配相关的危险概率。
34.如图4所示，一个车道中的路段(例如选定车道304中的第二引导路段416)可以与交叉车道中的路段(例如第一交叉交通车道308中的第三交叉路段406)重叠。应当理解，由于与每个路段相关联的交通的相对方向，这些重叠路段中的每一个都可能具有不同的危险概率。
35.同样如图4所示，路段的危险概率可以基于该路段内的目标车辆将具有的速度以及主车辆301的当前状态。主车辆301的状态包括主车辆相对于交叉路口的位置和主车辆的当前速度等。确定危险概率时，危险概率模型还可以考虑主车辆301的各种可能的机动操
作，例如左转、右转、直行通过交叉路口等。在主车辆301到达交叉路口302之前，可以预先计算危险概率。
36.第一交叉路段402、第二交叉路段404、第三交叉路段406和第四交叉路段408示出了假设的目标车辆速度对危险概率的影响。关于第一交叉路段402，尽管该路段远离交叉路口，但是该路段中的目标车辆若为假定速度则处于与主车辆301的碰撞路线上。
37.第二交叉路段404具有中等危险概率，因为在该路段中具有假定速度的目标车辆与主车辆301碰撞的可能性较小。类似地，第三交叉路段406具有低危险概率，因为当主车辆到达该路段时，该路段中的目标车辆最有可能移出主车辆301的路径。类似地，第四交叉路段408由于主车辆301相对不可接近而具有非常低的危险概率。
38.图5示出了当主车辆301在交叉路口302时，图3的交叉路口302的危险概率图500。图4和图5的比较示出了每个路段的危险概率如何基于主车辆301的状态而变化。虽然第一交叉路段402的危险概率保持高，但是第二交叉路段404的概率已经从中等(图4中)变为高(图5中)。类似地，第三交叉路段406的危险概率已经从低(图4中)变为中(图5中)，并且第四交叉路段408的危险概率已经从非常低(图4中)变为低(图5中)。
39.图6示出了图3的交叉路口302的占用概率图600。占据概率图600基于传感系统30进行的检测。图6中所示的占用概率图600是针对主车辆301停在交叉路口的时间的。检测结果被输入到选定的模型，例如马尔可夫动态模型或贝叶斯传感模型，以确定多个路段的占用概率。例如，这些模型可以确定对应于检测位置的高占用概率路段602，也可以确定附近的中占用概率路段604。低占用概率路段606离检测位置更远，而非常低占用概率路段608甚至更远。
40.一旦知道了危险概率和占用概率，就可以计算每个路段和整个交叉路口的风险。所选路段(第n个路段)的风险是该路段的占用概率和该路段的危险概率的乘积，如等式(1)所示：
41.riskn＝p(on)
×
p(cn)
ꢀꢀꢀ
等式(1)
42.其中p(on)是第n个路段的占用概率，p(cn)是第n个路段的危险概率。整个交叉路口的风险是交叉路口的多个路段的风险的总和，如等式(2)所示。
[0043][0044]
其中n是路段总数。所确定的交叉路口的风险可以与警告阈值进行比较，以向处理器或驾驶员发送信号，从而防止主车辆301进入交叉路口中可能发生事故的情况。
[0045]
图7示出了当主车辆301接近交叉路口时所看到的说明性交叉路口的图像700。图像700示出了迎面车道中的第一目标车辆702和交叉车道中的第二目标车辆704。图像700还包括交通灯706。控制器34使用边界框隔离第一目标交通工具702和第二目标交通工具704，所述边界框随后可用于识别交通工具。控制器34还隔离交通灯706，以便帮助识别交通灯的状态。
[0046]
图8示出了交叉路口的所选路段的特写。在各种实施例中，控制器34识别具有最高相关风险的路段(例如，第二目标车辆704的路段)，然后将传感系统30的视野聚焦在高风险路段上以减轻风险。可以使用传感系统30的第一传感器和第二传感器之一来执行聚焦。当第一传感器和第二传感器中的一个聚焦在选定的路段上时，第一传感器和第二传感器中的另一个保持交叉路口的宽视野。通过将传感器聚焦在所选路段上，控制器34可以获得所选
路段的更新的占用概率和风险值。更新的占用概率可用于更新整个交叉路口的风险。
[0047]
图9示出了在一实施例中，用于训练机器学习程序以将传感器聚焦在路段的过程的框图900。该过程从各种传感器获取输入，并基于输入确定道路的特征。这些特征被输入到机器学习程序，该程序执行随机选择策略，用于选择传感器聚焦的路段。然后基于传感器焦点确定道路风险模型。道路风险模型定义了与整个道路相关联的风险，并且可以用于训练机器学习程序。
[0048]
用于训练机器学习程序的输入可以来自许多来源。道路重要性模型902和交叉路口地图904可以从数据库或远程服务器提供。摄像头数据906和其他传感器数据908可以来自传感系统30的各种组件，例如数字摄像头40和/或雷达、激光雷达等。例如，交叉路口的显著性910和先前焦点位置数据912可以存储在计算机可读存储介质38或控制器34中。
[0049]
道路重要性模型902和交叉路口地图904用于确定道路交叉路口的宽视野图像914，其具有危险概率地图的权重。摄像头数据906和其他传感器数据908用于执行道路分段916，并确定道路中对象的先前车辆检测918，以及它们的位置和速度。交叉路口的显著性910和先前焦点位置数据912用于创建不确定性图920，该不确定性图920可用于训练机器学习程序922。
[0050]
机器学习程序922可以是神经网络、高斯过程机、支持向量机或其他合适的机器学习程序。宽视野图像914、道路分段916、先前车辆检测918和不确定性地图920被提供给机器学习程序922。机器学习程序922接收这些特征和训练数据948，并实施随机策略924以选择传感器关注的路段。随机策略924包括基于路段的权重随机选择路段。路段的风险被用作随机选择过程中路段的权重。使用随机选择过程选择路段的概率与和该路段相关联的风险相关。例如，具有高关联风险的路段比具有低关联风险的路段更有可能被选择。
[0051]
随机选择过程输出所选路段926用于更近的聚焦。然后执行模拟930，以基于对所选路段的选择来确定道路风险模型。在模拟中，使第一传感器聚焦在所选路段上，以获得窄的fov摄像头图像932。第二传感器保持在模拟交叉路口的宽视野上，以获得宽fov照摄像头图像934。一般来说，窄fov图像是高分辨率图像，而宽fov图像是低分辨率图像。
[0052]
第一传感器观察窄fov以获得任何窄fov车辆检测936。第二传感器观察宽fov以获得任何宽fov车辆检测938。在占用网格计算器940处使用窄fov车辆检测936和宽fov车辆检测938来计算交叉路口的聚焦占用网格942和交叉路口的非聚焦占用网格944。聚焦占用网格942和非聚焦占用网格944的值用于更新交叉路口的道路风险模型946，其可用作训练机器学习程序922的训练步骤的后续迭代中的训练数据948。道路风险模型946指示传感器经由聚焦占用网格942聚焦在所选路段是否相对于未聚焦占用网格944降低或减少了风险。当将传感器聚焦在所选路段降低了与道路风险模型相关联的风险时，可以奖励机器学习程序922，或者当聚焦传感器增加了风险时，可以惩罚机器学习程序922。在各种实施例中，可以将与道路风险模型相关联的风险与风险度量进行比较，并且当由于聚焦传感器而导致的风险小于风险度量时，可以奖励机器学习程序。
[0053]
图10示出了向主车辆301的乘客或驾驶员警告交叉路口内的风险的方法的流程图1000。在框1002中，确定路段的占用概率。在框1004中，确定路段的碰撞概率。占用概率和碰撞概率被提供给确定与路段相关联的风险的聚焦模型1006。聚焦模型1006确定具有与之相关联的高风险的感兴趣的所选路段。传感器通常聚焦在所选路段上。已经被训练的机器学
习程序922操作聚焦模型1006来选择用于传感器聚焦的路段。
[0054]
在框1008中，执行驾驶员监控以确定驾驶员将注意力集中在哪里。驾驶监控可以使用例如跟踪驾驶员眼睛的位置或方向的眼睛传感器来执行。
[0055]
在框1010中，所选路段和驾驶员注意力被提供给差异映射模块，该差异映射模块确定所选路段和驾驶员焦点或注意力之间的差异。当驾驶员焦点和所选路段之间存在差异时(即，当驾驶员没有注意到具有最大风险的路段时)，可以产生意识信号来警告驾驶员。
[0056]
在框1012中，所选路段被映射到触觉致动器。触觉信号可以被分配给例如驾驶员座位上的一个或多个触觉致动器。可以发送选定的触觉信号，以便将驾驶员的注意力集中到道路内的所选位置。例如，触觉致动器可以包括位于驾驶员座椅左侧的第一振动装置和位于驾驶员座椅右侧的第二装置。当所选路段在驾驶员的左侧时，第一振动装置可以被致动，而当所选路段在驾驶员的右侧时，第二振动装置可以被致动。此外，触觉信号的强度可以很高以指示高水平的风险和问题，并且可以很低以指示低水平的风险和问题。在框1014中，映射的触觉信号被发送到触觉控制器，以致动相应的触觉致动器。
[0057]
图11示出了用于确定交叉路口或路段的风险的方法的流程图1100，该风险包括对象从传感系统30的视野中被遮挡的可能性。在框1102中，产生交叉路口状态的先验信念(prior belief)。在框1104中，提供来自传感器的观测结果。根据先验信念信念和观察，确定遮挡的概率。在框1106中，使用贝叶斯更新过程基于先验信念和观察来更新遮挡概率。
[0058]
在框1108中，对于无遮挡场景，沿处理路径发送无遮挡概率，而对于遮挡场景，沿处理路径发送遮挡概率。这些处理路径彼此并行运行。沿着无遮挡场景的处理路径，在框1110中，在假设无遮挡的情况下在交叉路口上运行系统动力学模型。在框1112中，基于系统动力学模型，获得交叉路口状态的更新信念。在框1114中，更新后的状态被乘以无遮挡概率，以生成加权无遮挡状态。
[0059]
类似地，沿着遮挡场景的处理路径，在框1116中，在假设存在遮挡的情况下在交叉路口上运行系统动力学模型。在框1118中，基于系统动力学模型，获得交叉路口状态的更新信念。在框1120中，更新后的状态被乘以遮挡概率，以生成加权遮挡状态。在求和框1122，加权非遮挡状态和加权遮挡状态被加在一起，以确定与框1124中的所选路段相关联的风险。
[0060]
虽然已经针对接近交叉路口的车辆讨论了该方法，但是该方法也可以应用于其他道路，例如直路路段、分岔路、未分岔路、弯道。风险可以基于任何类型的交叉路口配置，并且计算可以包括障碍物(例如建筑物、树篱或山丘)对传感器检测的发生的影响。
[0061]
虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变并且等同物可以替代其元件。此外，在不脱离本公开的实质范围的情况下，可以进行许多修改以使特定的情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。