使用数据分析的自主驾驶评估的制作方法

使用数据分析的自主驾驶评估


背景技术：

1.本发明总体上涉及自主车辆，并且更具体地涉及用于确定市场的自主驾驶车辆的安全性的评估方法。
2.对于汽车原始设备制造商(oem)和供应商公司，自主驾驶车辆的开发已不可避免。尽管通过在各个公司中引入诸如人工智能(ai)、深度学习、传感器融合和高清晰度地图之类的解决方案而加速了自主驾驶车辆的研究和开发，但是在用于将开发的车辆引入市场的“评估技术”中仍然存在许多问题。
3.通常认识到以下问题：(1)自主驾驶车辆的安全性的评估高度依赖于与周围车辆和其它车辆的交互；(2)自主驾驶车辆与周边车辆之间的相互依赖性具有相当多的组合；以及(3)即使基于相互依赖性尝试努力生成用于安全性评估的测试用例，也可能发生组合爆炸。
4.因此，由于不可能设置有限的测试空间，至少使用传统的评估技术来定量评估自动驾驶车辆的安全性被认为是不可能的。


技术实现要素：

5.根据本发明的实施例，提供了一种用于评估自主车辆安全性的计算机实现的方法。在一些实施例中，计算机实现的方法可以包括定义测试空间中的自主车辆的安全性标准，以及将测试空间划分成预期测试空间(intended test space)和非预期测试空间(un-intended test space)。预期测试空间包括能够量化的自主车辆的特性，并且非预期测试空间包括不能量化的特性。在一些实施例中，计算机实现的方法还包括测量自主车辆在预期测试空间中的安全性，并且将非预期测试空间作为反馈应用到预期测试空间中。在一些实施例中，该方法还包括使用外围车辆和自主车辆的组合模拟来评估包括来自非预期测试空间的反馈的预期测试空间，以提供自主车辆安全性的评估。
6.在一些实施例中，自主车辆的安全性标准包括交通复杂度和交通安全性中的至少一个的测量。在一些示例中，测量交通复杂度和/或交通安全性可以包括表征交通通道上的外围车辆和自主车辆。在一些实施例中，交通复杂性可以取决于交通通道上的路径的数量、交通通道上的移动元素的大小、交通通道上的移动元素之间的距离、交通通道上的移动元素的加速度/减速度、通道上的不同路径之间的变化的数量的测量、以及单位时间内的道路形状的复杂性。业务复杂度的测量是定量的。
7.在一些实施例中，交通安全性是包括所述自主车辆的碰撞次数、自主车辆接近危险区域的次数、交通复杂性的变化次数及其组合中的至少一个的测量。交通安全性的测量是定量的。
8.在一些实施例中，非预期测试空间包括软件缺陷(software bug)、在实际车辆性能之外的人工智能的车辆性能、以及当多个接近的车辆接近超过可计算阈值的自主车辆时。这类信息不容易量化。一旦为这些特性确定了测试空间，例如非预期测试空间，则该信息被反馈到分析中作为对分析定量测试空间(即预期测试空间)的分析部分的反馈，从而有
利地提供了有限的测试空间。
9.在另一方面，提供了一种用于评估自主车辆安全性的系统，其中该系统可以包括测试空间中自主车辆的安全性标准的数据库。该系统还可以包括测试空间分析器，用于将测试空间分成预期测试空间和非预期测试空间。预期测试空间包括能够量化的自主车辆的特性，并且非预期测试空间包括不能量化的特性。在一些实施例中，该系统还可以包括用于预期测试空间的安全性计算器，该安全性计算器使用至少一个硬件处理器来根据安全性标准数据库测量预期测试空间中的自主车辆的安全性。用于评估自主车辆安全性的系统还可以包括：反馈生成器，用于将非预期测试空间作为反馈馈送到预期测试空间中，以及安全性评估器，用于使用外围车辆和自主车辆的组合模拟来评估包括来自非预期测试空间的反馈的预期测试空间，以提供自主车辆安全性的评估。
10.在又一方面，本公开提供了一种用于评估自主车辆安全性的计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或多个介质)，所述计算机可读程序指令用于使处理器执行本发明的各方面。例如，计算机程序产品可以提供用于评估自主车辆安全性。计算机程序产品可以包括计算机可读存储介质，该计算机可读存储介质具有包含其中的程序指令，该程序指令可由处理器执行。程序指令可以使处理器定义测试空间中的自主车辆安全性的标准。程序指令可以使处理器将测试空间划分为预期测试空间和非预期测试空间。预期测试空间包括能够量化的自主车辆的特性，并且非预期测试空间包括不能量化的特性。程序指令可以使处理器测量自主车辆在预期测试空间中的安全性。所述程序指令可以使所述处理器将所述非预期测试空间作为反馈应用到所述预期测试空间中；以及使用外围车辆和自主车辆的组合模拟来评估包括来自非预期测试空间的反馈的预期测试空间，以提供对自主车辆安全性的评估。
11.从以下结合附图阅读的对本发明的说明性实施例的详细描述中，这些和其它特征和优点将变得显而易见。
附图说明
12.以下描述将参考以下附图提供优选实施例的细节，其中：
13.图1是示出根据本发明实施例的用于自主驾驶车辆安全性的定量评估方法的框图/流程图。
14.图2是用于提供用于自主驾驶车辆安全性的定量评估方法的系统的框图。
15.图3是指示低复杂度流量的一个示例的图示。
16.图4是指示高复杂度流量的一个示例的图示。
17.图5是根据本公开的一个实施例的示出了非预期测试空间和预期测试空间的曲线图。
18.图6是用于定量评估自主车辆安全性的自主车辆模拟环境和外围车辆模拟环境的组合模拟的图示。
19.图7示出了根据本公开的一个实施例的从非预期测试空间到预期测试空间的反馈的一个实施例。
20.图8是示出根据本公开的一个实施例的可以并入图2中所示的用于提供需求的系统的处理系统的框图。
21.图9示出了根据本公开实施例的云计算环境。
22.图10示出了根据本公开实施例的抽象模型层。
具体实施方式
23.在一些实施例中，用于提供用于将自主车辆引入市场的“评估技术”的当前困难可以通过本文描述的方法、系统和计算机程序产品来克服。术语“自主车辆”表示能够感测其环境并且在没有人类参与的情况下操作的车辆。乘客不需要在任何时候控制车辆，也不需要乘客存在于车辆中。
24.例如，本公开的一些实施例的优点是提供一种评估技术，其可以解决现有评估方法不能定义有限测试空间的困难。本文描述的评估技术提供至少两个方面：
25.1)在“预期测试空间”和“非预期测试空间”中划分用于评估的区域；以及
26.2)用于自主驾驶车辆的“预期测试空间”从由“交通复杂度”和“交通安全程度”的组合构成的“自主驾驶车辆的安全性”的角度来定义，并且因此被量化。同样，对于不能清楚地限定评估对象的边界的应用，除了自主驾驶车辆之外，“预期测试空间”可以应用于对结果不利的行为。
27.在所述方法、系统和计算机程序产品中，“自主驾驶的评估充分性”由以下定义：将待填充的测试空间(根据预期测试空间和非预期测试空间的划分)划分为“定量可测量区域”和“不可测量区域”，并且清楚地定义从不可测量区域到可测量区域的反馈的手段。所述方法、系统和计算机程序产品还可以提供用于完成反馈的标准。在一些实施例中，本文提供的方法、系统和计算机程序产品可以使用特定于“自主驾驶”的特定开发主题的元素来定义特定和现实的测量手段，例如，根据交通复杂度和交通安全性的程度。
28.本公开的方法、系统和计算机程序产品提供了具有优点的技术，诸如将待填充的测试空间划分为“定量可测量区域”和“不可测量区域”，其中针对两者定义了使得能够客观确定的不同完成标准。定量可测量区域是预期测试空间，而不可测量区域是非预期测试空间。这与尝试通过花费时间和增加总驾驶距离来使不确定测试空间(非预期测试空间)接近完全覆盖到可能程度的测试技术不同。
29.此外，本公开的方法、系统和计算机程序产品还提供了将整个非预期测试空间转换成预期测试空间，其中仅反馈各自满足特定准则的区域，并且反馈量的收敛被设置为完成准则，而现有测试技术旨在基于不可能测量的前提，实现对不是有限的非预期测试空间的100％覆盖。
30.在通过使用特定于测试对象例如自主驾驶车辆的要素组合将测试空间置于函数中来证明测试空间是有限的之后，以可测量的方式清楚地限定用于评估自主驾驶车辆的安全性的预期测试空间。该对象不是着眼于自动驾驶车辆的全部功能和周边交通流的整个范围，而是着眼于需要评价的区域、从“安全性评价”的观点出发的要素和可能值的范围，因此，该方法是有效的。
31.现在参考图1-图10更详细地讨论本公开的方法、系统和计算机程序产品。
32.图1是示出用于自主驾驶车辆安全性的定量评估方法的框图/流程图。图2是用于提供自动驾驶车辆安全性的定量评估方法的系统500的框图。
33.附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程
序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方案中，框中所注明的功能可不按图中所注明的次序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。
34.参考图1，在一些实施例中，用于自主驾驶车辆安全性的定量评估方法可以包括在框1处通过使用“交通复杂度”和“交通安全性”的公式来定义用于“自主车辆安全性”的标准。参考图2，用于评估自主驾驶车辆安全性的系统500可以包括数据输入25，例如收发器，用于从驾驶环境33中的对象自主驾驶车辆接收数据。驾驶环境33中的对象自主驾驶车辆可以被模拟，可以实时记录交通交互，或者可以在真实世界导航测试之后提供数据。驾驶环境33中的对象自主驾驶车辆可以通过互联网32与用于评估自主驾驶车辆安全性的系统500的数据输入25通信。驾驶标准可以存储在系统500中的存储器中，例如存储在自主车辆安全性标准的数据库26中。
35.在一些实施例中，定义交通复杂度是以从低复杂度级别到高复杂度级别的程度来定义的。在一些示例中，交通复杂度可以被表达为例如交通通道上的路径数量(例如，道路10上的车道11的数量)、交通通道上的移动元素的数量、交通通道上的移动元素的大小、交通通道上的移动元素之间的距离、交通通道上的移动元素的加速度/减速度、通道上的不同路径之间的变化数量、以及单位时间内的道路形状的复杂度的函数。在一个示例中，移动元素是车辆12，交通通道是道路10，并且路径数量是车道11。
36.图3是指示低复杂度流量的一个示例的图示。在该示例中，在道路10上仅存在两条交通车道11，其中三辆汽车12，并且在该单位时间内仅一辆汽车12进行车道改变。车道变换由参考数字13标识。图4是指示高复杂度交通的一个示例的图示。与图3所示的低复杂度交通示例相比，高复杂度示例包括更多数量的车道11，例如三个，更多数量的车辆12，例如七个，以及更多数量的车道变换13。在该示例中，交通复杂度可以被限制，因为函数的元素的值可以被限制。因此，复杂度可以定量地表示。例如，道路的拓扑、道路中的车道数量以及道路上的车辆数量都是可以定量进行的测量。
37.参考图1，该方法可以包括在框2处通过使用可以随机地和稀疏地并且没有偏差地评估产品的过程/工具来评估“非预期测试空间”。在一些实施例中，要评估的区域被划分为“预期测试空间”和“非预期测试空间”，如图5中所示出的。“预期测试空间”是可以借助于设计要求的组合来实现完全覆盖的测试空间。设计要求可以是所期望的，并且可以如传统的评估技术那样被量化，并且当定量地测量所需的覆盖度时被确定为“充分”。另一方面，由于非预期测试空间是难以或不可能预定义为设计要求并且需要评估的区域并且是“不能找到边界”的空间，因此，假定非预期测试空间不能实现完全覆盖。图5示出了预期测试空间17与非预期测试步进器18之间的清晰边界19，这可以提供可以数值测量的完成速率，并且可以提供完全覆盖。
38.参考图2，图1的框2处的“非预期测试空间”的评估可以由测试空间分析器27提供，以用于将测试空间划分成用于评估自主驾驶车辆安全性的系统500的预期测试空间和非预
期测试空间。
39.完成速率是剩余的非预期测试空间。通过对预期测试空间的反馈来减小非预期测试空间。在一些实施例中，非预期测试空间的分析作为反馈被馈送到预期测试空间中。在一些实施例中，一旦非预期测试空间表现为软件缺陷或不期望的车辆行为，如车辆碰撞，和/或自主车辆周围的太多周围车辆。由于图6中描述的反馈，这些情况一旦已知，这些情况就被视为在预期测试空间内。例如，对非预期测试空间的分析作为反馈被馈送到预期测试空间中，使得预期测试空间被完全覆盖。可以说，当非预期测试空间的整体如果作为反馈馈送到预期测试空间中时，非预期测试空间变成空。这也可以表征为对于整个测试空间的评估是充分的。
40.可以使用用于以一定程度的分散、以对特定空间没有偏差的分散方式随机进行评价的装置进行非预期测试。用于提供该评估的一个实施例采用三层模拟的车辆行为。所述层可以包括产生驾驶路线的部分、产生车辆的特定行为的部分和产生来自驾驶员的个性的特定行为的部分。伪随机值用于提供评估中的任何变化，并用于在模拟中对每个层的值进行加权。例如，伪随机值可以被用于每个车辆所处的位置、车辆的初始速度、以及车辆应该行进的路线的种类。在一些实施例中，这些参数或选择被“随机地”设置，使得系统可以生成车辆行为的各种模式。与纯随机值相反，采用伪随机值，因为方法、系统和计算机程序产品的生成行为是可再现的。用于执行评估的装置的具体示例在标题为“使用计算机进行自主驾驶的自动场景生成器”、专利申请号为16/804,737的美国专利申请中提供。在此通过引用并入标题为“使用计算机进行自主驾驶的自动场景生成器”、申请号为16/804,737的美国专利申请的全部内容。作为评估结果，如果找到应当包括在预期测试空间中的新的测试空间(即，应当定量地测量和覆盖的测试空间)，则动态地反馈这样的测试空间。是否发生了不应作为评估结果而生成的、应被视为缺陷的事件，被用于反馈标准。在一些实施例中，作为评估结果，如果找到应当包括在预期测试空间中的新的测试空间(即，应当定量地测量和覆盖的测试空间)，则动态地反馈这样的测试空间。在一些实施例中，当来自非预期的对预期的反馈收敛为等于或低于预先确定的某一值时，确定“评估是充分的”。
41.参考图1，该方法可以继续在框3使用交通复杂度公式来测量测试结果，等式(1)示出了用于交通复杂度的等式的一个示例。等式(1)如下：
42.(1)degree of traffic complexity(t-complex)＝∑
t∈unitt
flane count(t) ∑
t∈unitt
fvehicle count(t) ∑
t∈unitt vehicle sizes(t) ∑
t∈unitt
vehicle speed differential(t) ∑
t∈unitt distance between vehicles(t) ∑
t∈unitt
acceleration/deceleration(t) ∑
t∈unitt
lane change count(t) ∑
t∈unitt
topology(t)
43.在等式1中，(t)是时间单位，并且“topology(拓扑)”是指交通通道的形状。如等式(1)所示，交通复杂度是对以下的测量：对道路上的车辆计数((fvehiclecount(t))、车辆的尺寸(fvehiclesizes(t))、车辆之间的速度差(vehiclespeeddifferential(t))、在交通中车辆之间的距离(distance between vehicles(t))、车辆在交通中行进时加速和减速的变化(acceleration/deceleration(t))、车辆的车道之间的变化次数(lane change count(t))以及车辆行进的道路拓扑(topology(t))。这些是可以用于为自主驾驶安全性评估提供预期测试空间的因素。
44.参考图2，在图1中示出的方法的框3处使用交通复杂度公式测量测试结果可以由
用于评估自主驾驶车辆安全性的系统500的安全计算器27提供。计算可以采用系统500的处理器31例如硬件处理器用于评估自主驾驶车辆安全性。
45.转向图1的框4，该方法还可以包括使用交通安全程度的公式来测量测试结果。框4的“交通安全性”是交通安全程度的表达，其可以表达为碰撞的数量、接近危险地带的数量、单位时间(t)中交通复杂程度的变化。在一些实施例中，碰撞次数和接近危险区域的次数是用于作为评估对象的车辆的参数。在这种情况下，交通安全程度是有限的，因为函数的元素可以具有的值是有限的。因此，交通安全程度可以在如下的等式(2)中定量地表示：
46.(2)
[0047]“交通安全程度”被定义为由作为单位时间的结果而发生的事件的组合构成的函数，例如碰撞次数(collisions(t))、接近危险区域的次数(fapproaches to dangerous zones(t))，)以及当车辆在道路上行驶时交通复杂度发生变化的次数(ftraffic complexity degree change(t))等。在确定交通安全程度时考虑的这种事件是有限的，因为事件的数量和各个事件可能具有的值是有限的，因此可以定量地测量。
[0048]
参考图2，在图1中示出的方法的框4处使用安全复杂度公式来测量测试结果可以由用于评估自主驾驶车辆安全性的系统500的安全计算器27提供。计算可以采用系统500的处理器31例如硬件处理器用于评估自主驾驶车辆安全性。
[0049]
该方法还可以包括，可以通过确定在满足针对特定“交通复杂度”的标准的环境下的评估中是否实现了满足针对特定“交通安全程度”的标准来测量自主驾驶车辆的安全性。这可以包括通过“自主车辆的安全性”量化“预期测试空间”的测试结果，在图1的框5处，该测试结果被预定义为通过“交通复杂度”和“交通安全性”的组合来用公式表示，在一些实施例中，在框1处定义了针对自主车辆安全性的标准之后，通过组合外围模拟环境14和自主车辆模拟环境16来提供组合模拟14，如图6中所示出的。对于自动驾驶车辆模拟的检查，使用外围车辆模拟环境，在该环境中可以保持一定程度的交通复杂性。在指定范围内伪随机地生成用于业务复杂度的每个参数。在一些实施例中，该方法使模拟目标自主车辆在专用模拟环境中移动。在一些实施例中，所述方法在组合模拟环境(联合模拟)中执行模拟，在所述组合模拟环境中，能够实现外围车辆与自主车辆之间的交互。在一些实施例中，本公开的方法、系统和计算机程序产品通过定量地测量例如每特定时间(t)的交通安全程度的积分值、最高值和平均值来评估自主车辆的安全性。
[0050]“满足一定交通复杂度的标准的环境”可以通过分析和量化从基于来自固定摄像机或传感器安装车辆的实际交通流量的图像的模型获取的探测数据来定义。
[0051]
在图1中所示出的方法的框6处，如果非预期测试结果满足预定标准，则该方法可以继续接受非预期测试结果作为“评估充分”。预定义标准可以在图1所示方法的框1处设置。
[0052]
在框7，通过上述“从未预期测试空间到预期测试空间的反馈”，可以将结果值校正
为更适当和有效的值。
[0053]
预期测试空间和非预期测试空间通过其行为对测试结果的种类进行分类。例如，在自主驾驶车辆评估的情况下，可预测的行为，例如车辆的运动，例如在ttc(碰撞时间)小于预定值的条件下的减速是可以通过结合设计要求利用预定的测试用例评估的预期行为。这是在预期测试空间中所考虑的。不可预测的行为，例如由ai(人工智能)引起的突然加速(其与车辆的一般性能不一致)，或者与多个周围车辆的复杂交互，包括其中的碰撞，被分类在非预期测试空间中。测试用例通常不能针对这些情况被有意地计算，因此它们被称为“非预期测试空间”或非预期测试结果。
[0054]
图7示出了从未预期测试空间24到预期测试空间23的反馈的一个实施例，该评估包括到评估初始阶段20、评估中间阶段21和确定完成的评估最后阶段22的状态。在一些实施例中，评估初始阶段20是整个预期测试空间没有确定的阶段。评估初始阶段20可以包括在根据开发时的评估进行预期测试的同时执行从非预期到预期的反馈以扩展测试空间。非预期测试空间24的开始到评估初始阶段20包括检测“缺陷”，例如，编程和/或软件缺陷，以及检测预期测试中的测试交通工具的不期望行为。初始阶段中的非预期测试空间的不期望行为和缺陷由参考标记16a标识。该分析考虑反馈数量中的梯度，例如增加的速率。
[0055]
在一些实施例中，评估中间阶段21是在测试空间通过从非预期测试空间到预期测试空间的反馈而扩展的前提下根据需要更新测试计划的阶段。在评估中间阶段21，来自初始阶段的非预期测试空间的不期望行为和缺陷的反馈由附图标记16b标识。例如，在开始到评估初始阶段21期间，在中间评估的预期测试空间中，从非预期测试空间23添加反馈。在评估中间阶段21的非预期测试空间24中，检查从非预期测试到预期测试的反馈的数量的增加量。来自中间级的非预期测试空间的不期望的行为和缺陷由附图标记16c标识。如果评估正确地进行，则反馈的数量应当收敛。
[0056]
在评估最后阶段22到确定完成的时间22，确定评估是否充分。预期测试空间23是否充分的标准是覆盖率是否充分，例如等于参考值或更高。例如，如果完成的测试用例与所有测试用例的比率达到不小于某个值，例如通常为100％，则确定预期测试是充分的。非预期测试是否充分的标准是对预期测试空间的反馈速率是否收敛。对于非预期测试空间24，如果从非预期测试到预期测试的反馈的数量的增加量收敛。在评估最后阶段22中，通过附图标记16d来识别来自初始阶段和中间阶段的非预期测试空间的不期望行为和缺陷的反馈。
[0057]
参考图2，在图1中示出的方法的框7处从非预期测试空间24到预期测试空间23的反馈可以由用于评估自主驾驶车辆安全性的系统500的反馈生成器29提供。
[0058]
参考框8，该方法还可以包括通过使用传统的测试过程/工具来评估预期测试空间。根据评估对象，可以用相应的适当评价函数来代替上述“复杂度”和“安全程度”。在一些实施例中，每个所述参数仅需要能够使用落入所述评估区域内的参数进行唯一量化，并且可以在任何时间进行测量。
[0059]
参照图6，为了检查自主车辆模拟，对于图1中所示方法的框8，可以采用外围车辆模拟环境15，其中可以保持一定程度的交通复杂性(使用活性物质的模拟器)。在一个实施例中，周边车辆模拟器采用三层模拟的车辆行为。所述层可以包括产生驾驶路线的部分、产生车辆的特定行为的部分和产生来自驾驶员的个性的特定行为的部分。伪随机值用于提供
评估中的任何变化，并用于在模拟中对每个层的值进行加权。例如，伪随机值可以被用于每个车辆所处的位置、车辆初始速度、以及车辆应该行进的路线种类。在一些实施例中，这些参数或选择被“随机地”设置，使得系统可以生成车辆行为的各种模式。与纯随机值相反，采用伪随机值，因为方法、系统和计算机程序产品的生成行为是可再现的。关于本公开的这个步骤的进一步细节在标题为“使用计算机进行自主驾驶的自动场景生成器”、申请号为16/804,737的美国专利申请中提供。在此通过引用并入标题为“使用计算机进行自主驾驶的自动场景生成器”、申请号为16/804,737的美国专利申请的全部内容。在指定范围内伪随机地生成用于流量复杂度的每个参数。使模拟目标自主车辆在专用模拟环境中移动。在组合模拟环境(联合模拟)中执行模拟，在所述组合模拟环境中，能够实现外围车辆与自主车辆之间的交互。通过定量地测量例如每特定时间的交通安全程度的积分值、最高值和平均值来评估自主车辆的安全性。在框8任何种类的(合适的)传统工具或过程评估反馈的预期测试用例。在一些实施例中，过程流程的该步骤可以由系统500的安全评估器30提供，用于评估自主驾驶车辆安全性，如图2所示。
[0060]
图1所示方法的框9可以包括以预期/非预期测试结果做出决定以完成评估。在一些实施例中，必须满足预期测试用例/区域以完成(必须完成所有测试用例并且必须校正所发现的问题)。非预期测试用例/区域不能归因于未知限制，但是可以通过逐步反馈(到预期测试区域)饱和。这在图7中示出。在一些示例中，通过将标准定义为饱和率(接近0％是理想的，但是可以根据产品特性、开发阶段、公司策略等来决定)。
[0061]
本发明可以应用的示例性应用/用途包括但不限于为自主车辆提供引导和导航。
[0062]
在另一方面，提供了用于评估自主车辆安全性的系统500，其中系统500可以包括用于测试空间中的自主车辆安全性标准的数据库26。该系统还可以包括测试空间分析器27，用于将测试空间分成预期测试空间和非预期测试空间。预期测试空间包括能够量化的自主车辆的特征，并且非预期测试空间包括不能量化的特征。在一些实施例中，系统还可以包括用于预期测试空间的安全性计算器28，其使用至少一个硬件处理器来根据安全标准的数据库测量预期测试空间中的自主车辆安全性。用于评估自主车辆安全性的系统还可以包括反馈生成器29，用于将非预期测试空间作为反馈馈送到预期测试空间中，以及安全评估器30，用于使用外围车辆和自主车辆的组合模拟来评估包括来自非预期测试空间的反馈的预期测试空间以提供对自主车辆安全性的评估。
[0063]
在一些实施例中，系统500可以采用一个或多个处理器31，例如硬件处理器设备，以执行指令，诸如计算，如图1中所示。如本文所使用的，术语“硬件处理器子系统”或“硬件处理器”可以指协作以执行一个或多个特定任务的处理器、存储器、软件或其组合。在有用的实施例中，硬件处理器子系统可以包括一个或多个数据处理元件(例如，逻辑电路、处理电路、指令执行设备等)。一个或多个数据处理元件可以包括在中央处理单元、图形处理单元和/或单独的基于处理器或计算元件的控制器(例如，逻辑门等)中。硬件处理器子系统可以包括一个或多个板上存储器(例如，高速缓存、专用存储器阵列、只读存储器等)。在一些实施例中，硬件处理器子系统可以包括一个或多个存储器，其可以在板内或板外，或者可以专用于由硬件处理器子系统使用(例如，rom、ram、基本输入/输出系统(bios)等)。
[0064]
在一些实施例中，硬件处理器子系统可以包括并执行一个或多个软件元件。一个或多个软件元件可以包括操作系统和/或一个或多个应用和/或特定代码以实现指定结果。
[0065]
在其它实施例中，硬件处理器子系统可以包括专用的、专门的电路，其执行一个或多个电子处理功能以实现指定的结果。这种电路可以包括一个或多个专用集成电路(asic)、fpga和/或pla。
[0066]
根据本发明的实施例，还预期硬件处理器子系统的这些和其它变化。图2中示出的用于评估自主车辆安全性的系统500的每个组件可以经由系统总线102互连。在一些实施例中，硬件处理器31可以采用人工智能用于评估中的数据分析。人工智能(ai)是通过机器，尤其是计算机系统对人类智能过程的模拟。这些过程包括学习(信息的获取和使用信息的规则)、推理(使用规则来得到近似或明确的结论)和自校正。硬件处理器31可以被并入到人工智能提供设备中，诸如人工神经网络提供设备。人工神经网络(ann)是由生物神经系统(例如大脑)激发的信息处理系统。ann的关键元素是信息处理系统的结构，其包括并行工作以解决特定问题的大量高度互连的处理元件(称为“神经元”)。此外，ann在使用中被训练，其中学习涉及对神经元之间存在的权重调整。通过这种学习过程，ann被配置用于特定应用，例如模式识别或数据分类。
[0067]
图2中所示的任何系统或机器(例如，设备)可以是包括或以其他方式实现在专用(例如，专用或非通用)计算机中，该专用计算机已经被修改(例如，由诸如应用、操作系统、固件、中间件或其他程序的一个或多个软件模块之类的软件配置或编程)以执行本文针对该系统或机器描述的一个或多个功能。例如，能够实现本文描述的方法中的任何一个或多个的专用计算机系统在上文参考图1讨论，并且这样的专用计算机可以相应地是用于执行本文讨论的方法中的任何一个或多个的装置。在这种专用计算机的技术领域内，与缺少在此讨论的结构或以其他方式不能执行在此讨论的功能的其他专用计算机相比，已经通过在此讨论的结构修改以执行在此讨论的功能的专用计算机在技术上得到改进。因此，根据本文所讨论的系统和方法配置的专用机器提供了对类似专用机器的技术的改进。
[0068]
用于评估自主车辆安全性的系统500可以被集成到图8中示出的处理系统400中。用于评估自主车辆安全性的系统500包括经由系统总线102操作地耦合到其他组件的至少一个处理器(cpu)104。高速缓存106、只读存储器(rom)108、随机存取存储器(ram)110、输入/输出(i/o)适配器120、声音适配器130、网络适配器140、用户接口适配器150和显示适配器160可操作地耦合到系统总线102。在此将描述总线102互连多个组件。
[0069]
图2和图8中示出的用于评估自主车辆安全性的系统500还可以包括通过i/o适配器120操作地耦合到系统总线102的第一存储设备122和第二存储设备124。存储设备122和124可以是盘存储设备(例如，磁盘或光盘存储设备)、固态磁设备等中的任何一种。存储设备122和124可以是相同类型的存储设备或不同类型的存储设备。
[0070]
扬声器132通过声音适配器130可操作地耦合到系统总线102。收发器142通过网络适配器140操作地耦合到系统总线102。显示设备162通过显示适配器160操作地耦合到系统总线102。
[0071]
第一用户输入设备152、第二用户输入设备154和第三用户输入设备156通过用户接口适配器150可操作地耦合到系统总线102。用户输入设备152、154和156可以是键盘、鼠标、小键盘、图像捕获设备、运动感测设备、麦克风、结合了前述设备中的至少两个的功能的设备等中的任何一个。当然，也可以使用其它类型的输入设备，同时保持本发明的精神。用户输入设备152、154和156可以是相同类型的用户输入设备或不同类型的用户输入设备。用
户输入设备152、154和156用于向和从系统400输入和输出信息。
[0072]
当然，用于评估自主车辆安全性的系统500还可以包括本领域技术人员容易想到的其他组件(未示出)，以及省略某些组件。例如，如本领域普通技术人员容易理解的，取决于各种其他输入设备和/或输出设备的特定实现，各种其他输入设备和/或输出设备可以被包括在处理系统400中。例如，可以使用各种类型的无线和/或有线输入和/或输出设备。此外，如本领域普通技术人员容易理解的，还可以利用各种配置中的附加处理器、控制器、存储器等。给定在此提供的本发明的教导，本领域的普通技术人员容易想到用于评估自主车辆安全性的系统500的这些和其他变型。
[0073]
本发明可以是任何可能的技术细节集成水平的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或多个介质)，所述计算机可读程序指令用于使处理器执行本发明的各方面。例如，计算机程序产品可以提供用于评估自主车辆安全性。计算机程序产品可以包括计算机可读存储介质，该计算机可读存储介质具有包含其中的程序指令，该程序指令可由处理器执行。程序指令可以使处理器定义测试空间中的自主车辆安全性的标准。程序指令可以使处理器将测试空间划分为预期测试空间和非预期测试空间。预期测试空间包括能够量化的自主车辆的特征，并且非预期测试空间包括不能量化的特征。程序指令可以使处理器测量自主车辆在预期测试空间中的安全性。所述程序指令可以使所述处理器将所述非预期测试空间作为反馈应用到所述预期测试空间中；以及使用外围车辆和自主车辆的组合模拟来评估包括来自非预期测试空间的反馈的预期测试空间，以提供对自主车辆安全性的评估。
[0074]
计算机可读存储媒体可为可保留和存储供指令执行装置使用的指令的有形装置。计算机可读存储媒质可以是，例如但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、或者上述的任意合适的组合。计算机可读存储媒质的更具体示例的非穷尽列表包括以下各项：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式紧凑盘只读存储器(cd-rom)、数字通用盘(dvd)、记忆棒、软盘、诸如穿孔卡之类的机械编码设备或具有记录在其上的指令的槽中的凸出结构、以及上述各项的任何合适的组合。如本文所使用的计算机可读存储媒体不应被解释为暂时性信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输媒体传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线发射的电信号。
[0075]
本文中所描述的计算机可读程序指令可以经由网络(例如，互联网、局域网、广域网和/或无线网络)从计算机可读存储介质下载到相应的计算/处理设备，或者下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储媒质中。
[0076]
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据、或以一种或多种程序设计语言的任何组合编写的源代码或目标代码，这些程序设计语言包括面向对象的程序设计语言(诸如smalltalk、c 等)和过程程序设计语言(诸如“c”程
序设计语言或类似程序设计语言)。计算机可读程序指令可以完全地在用户计算机上执行、部分在用户计算机上执行、作为独立软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可通过任何类型的网络(包括局域网(lan)或广域网(wan))连接至用户计算机，或者可连接至外部计算机(例如，使用互联网服务提供商通过互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来使电子电路个性化来执行计算机可读程序指令，以便执行本发明的各方面。
[0077]
下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0078]
这些计算机可读程序指令可被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图的或多个框中指定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储媒质中，这些指令使得计算机、可编程数据处理装置、和/或其他设备以特定方式工作，从而，其中存储有指令的计算机可读存储媒质包括包含实现流程图和/或框图中的或多个方框中规定的功能/动作的方面的指令的制造品。
[0079]
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的处理，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图中的或多个方框中规定的功能/动作。
[0080]
本公开的方法可以使用云计算环境来实践。云计算是服务交付的模型，用于使得能够方便地、按需地网络访问可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机和服务)的共享池，所述可配置计算资源可以以最小的管理努力或与服务的提供商的交互来快速供应和释放。该云模型可以包括至少五个特性、至少三个服务模型和至少四个部署模型。
[0081]
特性如下：
[0082]
按需自助服务：云消费者可以单方面地根据需要自动地提供计算能力，诸如服务器时间和网络存储，而不需要与服务的提供者的人类交互。
[0083]
广泛的网络接入：能力可通过网络获得并且通过标准机制接入，该标准机制促进异构瘦客户机平台或厚客户机平台(例如，移动电话、膝上型计算机和pda)的使用。
[0084]
资源池：提供者的计算资源被池化以使用多租户模型来服务于多个消费者，其中不同的物理和虚拟资源根据需要动态地指派和重新指派。存在位置独立性的感觉，因为消费者通常不具有对所提供的资源的确切位置的控制或了解，但可能能够以较高抽象级别(例如，国家、州或数据中心)指定位置。
[0085]
快速弹性：能够快速和弹性地提供能力，在一些情况下自动地快速缩小和快速释放以快速放大。对于消费者而言，可用于供应的能力通常显得不受限制并且可以在任何时间以任何数量购买。
[0086]
测量的服务：云系统通过在适合于服务类型(例如，存储、处理、带宽和活动用户账户)的某个抽象级别处利用计量能力来自动控制和优化资源使用。可以监视、控制和报告资源使用，为所利用的服务的提供者和消费者提供透明度。
[0087]
服务模型如下：
[0088]
软件即服务(saas)：提供给消费者的能力是使用在云基础设施上运行的提供者的应用。可通过诸如web浏览器(例如，基于web的电子邮件)之类的瘦客户端接口从不同客户端设备访问应用。消费者不管理或控制包括网络、服务器、操作系统、存储或甚至单独的应用能力的底层云基础设施，可能的例外是有限的用户特定应用配置设置。
[0089]
平台即服务(paas)：提供给消费者的能力是将消费者创建的或获取的使用由提供商支持的编程语言和工具创建的应用部署到云基础设施上。消费者不管理或控制包括网络、服务器、操作系统或存储的底层云基础设施，但是对所部署的应用和可能的应用托管环境配置具有控制。
[0090]
基础设施即服务(iaas)：提供给消费者的能力是提供处理、存储、网络和消费者能够部署和运行任意软件的其他基本计算资源，所述软件可以包括操作系统和应用。消费者不管理或控制底层云基础设施，而是具有对操作系统、存储、所部署的应用的控制以及对所选联网组件(例如，主机防火墙)的可能受限的控制。
[0091]
部署模型如下：
[0092]
私有云：云基础架构仅为组织运作。它可以由组织或第三方管理，并且可以存在于场所内或场所外。
[0093]
社区云：云基础架构被若干组织共享并支持共享了关注(例如，任务、安全要求、策略、和合规性考虑)的特定社区。它可以由组织或第三方管理，并且可以存在于场所内或场所外。
[0094]
公共云：使云基础架构对公众或大型行业组可用，并且由出售云服务的组织拥有。
[0095]
混合云：云基础架构是两个或更多个云(私有、社区或公共)的组合，这些云保持唯一实体但通过使数据和应用能够移植的标准化或专有技术(例如，云突发以用于云之间的负载平衡)绑定在一起。
[0096]
云计算环境是面向服务的，集中于无状态、低耦合、模块化和语义互操作性。云计算的核心是包括互连节点网络的基础设施。
[0097]
现在参考图9，示出了说明性云计算环境50。如图所示，云计算环境50包括云消费者使用的本地计算设备可以与其通信的一个或多个云计算节点51，所述本地计算设备例如是移动和/或可穿戴电子设备54a、台式计算机54b、膝上型计算机54c和/或汽车计算机系统54n。节点110可以彼此通信。它们可以被物理地或虚拟地分组(未示出)在一个或多个网络中，诸如如上文描述的私有云、社区云、公共云或混合云或其组合。这允许云计算环境50提供基础设施、平台和/或软件作为服务，云消费者不需要为其维护本地计算设备上的资源。应当理解，图6中所示的计算设备54a-n的类型仅旨在说明，并且计算节点51和云计算环境50可以在任何类型的网络和/或网络可寻址连接上(例如，使用web浏览器)与任何类型的计算设备通信。
[0098]
现在参考图10，示出了由云计算环境50(图9)提供的一组功能抽象层。应当预先理解，图10中所示的组件、层和功能仅旨在说明，并且本发明的实施例不限于此。如所描绘的，
提供了以下层和相应的功能：
[0099]
硬件和软件层60包括硬件和软件组件。硬件组件的示例包括：主机61；基于risc(精简指令集计算机)架构的服务器62；服务器63；刀片服务器64；存储装置65；以及网络和网络组件66。在一些实施例中，软件组件包括网络应用服务器软件67和数据库软件68。
[0100]
虚拟化层70提供抽象层，从该抽象层可以提供虚拟实体的以下示例：虚拟服务器71；虚拟存储器72；虚拟网络73，包括虚拟专用网络；虚拟应用和操作系统74；以及虚拟客户端75。
[0101]
在一个示例中，管理层80可以提供以下描述的功能。资源供应81提供用于在云计算环境内执行任务的计算资源和其他资源的动态采购。计量和定价82在云计算环境内利用资源时提供成本跟踪，并为这些资源的消费开账单或发票。在一个示例中，这些资源可以包括应用软件许可证。安全性为云消费者和任务提供身份验证，以及为数据和其他资源提供保护。用户门户83为消费者和系统管理员提供对云计算环境的访问。服务水平管理84提供云计算资源分配和管理，使得满足所需的服务水平。服务水平协议(sla)规划和履行85提供根据sla预期未来需求的云计算资源的预安排和采购。
[0102]
工作负载层90提供可以利用云计算环境的功能的示例。可以从该层提供的工作负荷和功能的示例包括：地图和导航91；软件开发和生命周期管理92；虚拟课堂教育交付93；数据分析处理94；交易处理95；以及用于评估自主车辆安全性的系统和方法96的应用，其参考图1-图9描述。
[0103]
说明书中对本发明的“一个实施例(one embodiment)”或“一个实施例(an embodiment)”及其它变型的引用意味着结合该实施例描述的特定特征、结构、特性等被包括在本发明的至少一个实施例中。因此，在整个说明书中的各个地方出现的短语“在一个实施例中(in one embodiment)”或“在一个实施例中(in an embodiment)”以及任何其它变型的出现不一定都指相同的实施例。
[0104]
应当理解，例如在“a/b”、“a和/或b”以及“a和b中的至少一个”的情况下，使用以下“/”、“和/或”以及“中的至少一个”中的任何一个旨在涵盖仅对第一个列出的选项(a)的选择、或仅对第二个列出的选项(b)的选择、或对两个选项(a和b)的选择。作为进一步的例子，在“a、b和/或c”和“a、b和c中的至少一个”的情况下，这样的措词旨在包括仅选择第一个列出的选项(a)，或者仅选择第二个列出的选项(b)，或者仅选择第三个列出的选项(c)，或者仅选择第一个和第二个列出的选项(a和b)，或者仅选择第一个和第三个列出的选项(a和c)，或者仅选择第二个和第三个列出的选项(b和c)，或者选择所有三个选项(a和b和c)。这可以扩展到所列的许多项目，这对于本领域和相关领域的普通技术人员来说是显而易见的。
[0105]
已经描述了用于评估自主车辆安全性的系统和方法的优选实施例(其意图是说明性的而非限制性的)，注意，本领域技术人员根据以上教导可以进行修改和变化。因此，应当理解，可以在所公开的特定实施例中进行改变，这些改变在由所附权利要求概括的本发明的范围内。因此，已经用专利法所要求的细节和特性描述了本发明的各方面，在所附权利要求中阐述了所要求保护的和期望由专利证书保护的内容。