车辆自动驾驶验证系统和方法、车辆自动驾驶系统、车辆和计算机可读存储介质与流程

1.本发明涉及一种车辆自动驾驶验证系统和方法，还涉及一种包括该车辆自动驾驶验证系统的车辆自动驾驶系统以及包括该车辆自动驾驶系统的车辆。本发明还涉及一种计算机可读存储介质，其存储有执行该车辆自动驾驶验证方法的指令。


背景技术：

2.随着自动驾驶技术的发展，对驾驶安全性的要求也越来越高。为了测试自动驾驶系统的安全性，通常需要在车辆正式上路之前对其进行实车路试。但随着对自动驾驶技术可靠性的要求提高，往往需要大量时间的路试验证。路试验证需要安装大量的实验设备，提高了开发成本。并且，在某个或某些路段的测试并不能全面反映自动驾驶的性能。
3.此外，对于车辆的驾驶控制尤其是横向控制例如车道保持系统，并没有成熟的验证方案。目前有些验证方案使用激光雷达来感测路面场景，但是如果车速过高激光雷达的刷新频率受限就无法准确地判断路况。有的验证方案利用gps结合高精度地图来定位，然而gps定位同样存在误差。为了实现准确率更高的基准系统，有时会采用人工对采集到的场景信息进行标注，然而这会花费相当多的时间。为此，需要对现有的自动驾驶测试提出改进。


技术实现要素：

4.为了克服现有技术中的至少一个缺陷，本发明提供了一种以驾驶员的行为作为基准来验证自动驾驶性能的车辆自动驾驶验证系统。
5.根据本发明的第一方面，提供了一种车辆自动驾驶验证系统，包括：自动驾驶模块，其包括：数据获取单元，其配置为采集车辆运行场景的相关信息和车辆的当前运行状态数据；和预控制单元，其配置为处理来自数据获取单元的数据以输出用于自动驾驶车辆的控制数据；驾驶员监控模块，其配置为获取驾驶员响应于所述场景对车辆输入的驾驶数据；验证模块，其配置为基于驾驶员监控模块的驾驶数据来验证自动驾驶模块的控制数据是否正常。
6.在一种实施方式中，所述验证模块配置为跟踪自动驾驶模块的控制数据随时间的变化，在所述变化超过阈值或自动驾驶功能触发异常时，验证模块判定自动驾驶模块出现故障，其中，所跟踪的控制数据例如包括车辆中心距车道标志线的距离和/或该距离的变化率、自动驾驶功能的启动和退出。
7.在一种实施方式中，所述验证模块配置为比较驾驶员监控模块的驾驶数据和自动驾驶模块的控制数据，在所述驾驶数据和所述控制数据的差值超过阈值或所述驾驶数据和所述控制数据的性质不同时，验证模块判定自动驾驶模块出现故障，其中，所比较的数据例如包括转向角、转向扭矩、车辆加速度和/或减速度、转向灯和刹车/油门踏板信号。
8.在一种实施方式中，所述验证模块配置为将自动驾驶模块的故障数据发送至存储模块例如云端服务器。
9.在一种实施方式中，车辆自动驾驶验证系统还包括分析模块，其配置为根据验证模块判定的故障数据，并基于自动驾驶模块获取的场景信息以及车辆运行状态数据来分析故障原因，以调整自动驾驶模块的控制数据。
10.在一种实施方式中，车辆自动驾驶验证系统还包括评估模块，其配置为根据验证模块的验证结果对自动驾驶性能进行评估。
11.根据本发明的第二方面，提供了一种车辆自动驾驶系统，其包括：前述车辆自动驾驶验证系统；和车辆运动控制单元，其配置为基于自动驾驶模块的控制数据来控制车辆的运行。
12.根据本发明的第三方面，提供了一种车辆，其包括上述车辆自动驾驶系统。
13.根据本发明的第四方面，提供了一种车辆自动驾驶验证方法，包括：获取车辆运行场景的相关信息和车辆的当前运行状态数据并进行处理，以产生用于自动驾驶车辆的控制数据，获取驾驶员响应于所述场景对车辆输入的驾驶数据；基于所述驾驶数据来验证所述控制数据是否正常。
14.在一种实施方式中，车辆自动驾驶验证方法还包括跟踪所述控制数据随时间的变化，在所述变化超过阈值或自动驾驶功能触发异常时，判定自动驾驶出现故障，所跟踪的控制数据例如包括车辆中心距车道标志线的距离和/或该距离的变化率、自动驾驶功能的启动和退出。
15.在一种实施方式中，基于所述驾驶数据来验证所述控制数据是否正常包括比较驾驶数据和控制数据中的对应数据，在两者的差值超过阈值或两者的性质不同时，判定自动驾驶出现故障，所述数据例如包括转向角、转向扭矩、车辆加速度和/或减速度、转向灯和刹车/油门踏板信号。
16.在一种实施方式中，车辆自动驾驶验证方法还包括发送自动驾驶的故障数据以进行存储。
17.在一种实施方式中，车辆自动驾驶验证方法还包括根据验证后的故障数据，并基于获取的场景信息以及车辆运行状态数据来分析故障原因，以调整所述控制数据。
18.在一种实施方式中，车辆自动驾驶验证方法还包括基于验证结果对自动驾驶性能进行评估。
19.根据本发明的第五方面，提供了一种存储有计算机指令的计算机可读存储介质，所述计算机指令配置为执行上述车辆自动驾驶验证方法。
20.本发明的车辆自动驾驶验证系统可以作为单独或额外的电子控制单元安装在车辆中，通过比较驾驶员行为和系统的请求控制行为来验证系统的准确性，能够更便捷容易地验证自动驾驶系统的性能。
附图说明
21.本文描述的附图仅用于示例性实施例的说明性目的，并不意在限制本发明的范围。
22.图1是根据本发明一个实施例的车辆自动驾驶验证系统的示意性框图；
23.图2是根据本发明一个实施例的车辆自动驾驶系统的示意性框图；
24.图3是根据本发明一个实施例的车辆自动驾驶验证方法的示意性流程图。
具体实施方式
25.在下文中，将参考附图描述本发明的示例性实施例。
26.图1示出了根据本发明一个实施例的车辆自动驾驶验证系统的示例性框图。如图1所示，该车辆自动驾驶验证系统包括自动驾驶模块1、驾驶员监控模块2和验证模块3。自动驾驶模块1配置为提供用于部分或完全自动驾驶车辆的控制数据。驾驶员监控模块2配置为获取驾驶员对车辆输入的驾驶数据。验证模块3配置为基于驾驶员监控模块2获取的驾驶数据来验证自动驾驶模块1的控制数据是否运行正常。
27.自动驾驶模块1包括配置为获取车辆运行数据的数据获取单元4和配置为处理来自数据获取单元4的数据以输出自动驾驶车辆的控制数据的预控制单元5。
28.数据获取单元4包括用于采集车辆运行场景的相关信息的第一传感器6和用于获取车辆当前运行状态数据的第二传感器7。第一传感器6可以包括相机或摄像头等成像装置，其拍摄车辆所运行的道路以及周围环境以获得场景信息，该场景信息包括但不限于：道路类型，如平路、坡道等；车道标记数据，如标志线清晰、模糊或缺失、分叉、转弯、人行道等；路面状况，比如积水、坑洼、路面印记比如车辙、光线、路面障碍物、路标、车辆、行人等。第二传感器7用于获取车辆的当前运行状态数据，如车辆行驶速度、转向扭矩、转向角、加速度、减速度、车辆中心距离两侧车道标志线的横向距离等，因此第二传感器7可以包括相应的一个或多个传感器，例如，扭矩传感器、角度传感器、加速度或减速度传感器、距离传感器等。
29.数据获取单元4还可以包括数据处理装置如处理器，以对获取的各种数据进行处理。例如，根据所采集的车辆中心距车道标志线的横向距离dy，处理器可以计算出该距离随时间的变化率。
30.预控制单元5包括处理器8，其对来自数据获取单元4的数据根据算法进行处理，从而生成车辆控制模型以提供车辆在下一时间点的预期运行轨迹。为此，预控制单元5向车辆提供用于自动驾驶的各种控制数据，比如车速、转向扭矩、转向角、加速度、减速度等。车辆控制模型可以是控制车辆横向运动的模型，比如控制车辆的转向、变道等，也可以是控制车辆纵向运动的模型，比如控制车辆的加速、减速等。
31.驾驶员监控模块2监控驾驶员在驾驶车辆时的驾驶行为。驾驶员监控模块2包括一个或多个传感器9来获取这些驾驶行为，例如，驾驶员操纵转向轮的转向力矩和转向角，加速车辆时的车辆加速度或油门开度、制动车辆时的车辆减速度或制动踏板开度、转向灯的打开或关闭、雨刮器的启动或停止等。假定驾驶员对周围环境做出正确的反应，从而将驾驶员的行为用作基准行为。当车辆在道路上行驶时，驾驶员监控模块2与自动驾驶模块1同时运行，但是自动驾驶模块1输出的车辆控制数据并不用来实际控制车辆，而是例如如后面所述与驾驶员监控模块2获取的驾驶行为进行比较，以对自动驾驶性能进行评估。
32.验证模块3接收自动驾驶模块1输出的车辆控制数据以及驾驶员监控模块2所获取的驾驶员数据，并在各种场景下基于驾驶员监控模块2的输出来判断自动驾驶模块1是否操作正常。
33.以横向控制车辆为例，这些控制数据包括但不限于车辆中心距左侧或右侧车道标志线的横向距离dy、该距离的变化率和转向扭矩t等。本领域技术人员可以想到的是，验证模块3还可以对其它车辆控制数据进行验证，比如车辆的加速、减速、报警、车灯、雨刮器等。验证模块3可以利用比较器10比较相应的数据以获得差值。例如，比较器10可以比较驾驶员
的转向扭矩和自动驾驶模块1输出的转向扭矩，在两者的差值δt超过相应的阈值时，则判定自动驾驶模块1出现故障。此外，验证模块3可以比较自动驾驶模块1的决策行为与驾驶员的驾驶行为是否一致，例如两者的行为类型或行为性质(包括加速、减速、左转弯、右转弯、倒车、开闭车灯、开闭雨刮器等)是否一致，若两者不同，比如驾驶员减速而自动驾驶模块加速，驾驶员向左转向而自动驾驶模块向右转向等，两者的差值超过更大的阈值或者数据性质(比如左或右)不同，则判定自动驾驶模块1出现故障。另外，验证模块3还可以跟踪自动驾驶模块1的控制数据随时间的变化，在所述变化超过阈值或自动驾驶功能触发异常时，判定自动驾驶模块1出现故障。例如，验证模块3跟踪在某个时间点t与下一时间点t 1之间的距离dy或该距离变化率的变化以获得差值，若该差值出现脉冲式变化或超过预定阈值，则判定自动驾驶模块1出现故障。再如，若自动驾驶模块1的某个或某些或全部功能异常退出或无法启动时，则判定自动驾驶模块1出现故障。
34.在自动驾驶模块1的输出异常或自动驾驶模块1的输出和驾驶员监控模块2的输出的差别超出相应的阈值时，验证模块3将其标识为故障数据，并将这些故障数据输出至后面描述的存储模块11。例如，验证模块3可以包括发送器16，以将故障数据发送至存储模块11。
35.表1示例性示出了触发sotif(预期功能安全)的几种错误识别场景，其中dy是指车辆中心距左或右车道标志线的横向距离。sotif包括因系统或组件的功能受限导致不能实现预期功能。
36.表1
[0037][0038]
在表1中列出的前四种场景中，自动驾驶模块1均错误地识别或无法识别车道标志线，从而导致所测量的三种参数：距离dy、该距离的变化率和转向扭矩t中的至少一个超过相应的阈值，从而判定自动驾驶模块1出现故障。在第五种场景中，由于在坡道上行驶，虽然正确识别到车道标志线，但是因坡道导致车辆路面受阻从而出现不稳定的扭矩，也使得自动驾驶模块1输出的转向扭矩和驾驶员输入的转向扭矩之间的差值大于阈值，从而判定自
动驾驶模块1出现故障。在第六种场景中，由于目标检测的不稳定，造成自动驾驶系统不能正确的识别到前方的车辆/障碍物，导致没有及时做出正确的反应，例如加速或制动车辆。此时依据驾驶员的反应作为真值(基准)系统，判断系统是否发生故障。
[0039]
自动驾驶故障的标准包括以下中的一个或多个：
[0040]
(a)自动驾驶系统的请求扭矩和驾驶员扭矩之间的差值在连续的若干个周期(例如连续的1-20个软件周期，如10个软件周期)大于预定阈值，例如大于1nm或2nm，或者自动驾驶系统的请求力矩曲线与驾驶员扭矩曲线之间的相似度小于预定阈值
[0041]
(b)车辆中心距左或右车道标志线的横向距离在相邻时间之间的差值大于预定阈值，如大于0.3m
[0042]
(c)车辆中心距左或右车道标志线的横向距离的变化率大于预定阈值，如大于0.15m/s
[0043]
(d)自动驾驶系统的请求加速度/减速度和驾驶员踩动加速踏板/制动踏板导致的加速度/减速度之间的差值大于预定阈值
[0044]
(e)自动驾驶功能失效
[0045]
(f)自动驾驶功能受到抑制
[0046]
(g)紧急制动系统激活
[0047]
(h)自动驾驶功能报错
[0048]
在判定自动驾驶模块1出现故障的情况下，验证模块3可以将所收集的故障信息输出至存储模块11，该存储模块11可以是本地存储单元，也可以是远端服务器如云端。存储模块11将这些故障标记为“系统故障时间”，并建立数据库存储这些故障数据，以供后续分析故障原因。
[0049]
对于验证模块3输出的故障数据，分析模块12根据自动驾驶模块1获取的场景信息(如数据获取单元4的第一传感器6采集的图像信息)以及车辆运行状态数据对故障进行分析以确定原因，从而调整自动驾驶模块1的控制数据，例如，在自动驾驶模块1产生的控制数据不完整或不全面时对其进行补充或在这些控制数据不完善时对其进行修正。例如，可以通过人工或机器读取图像信息来校验数据获取单元4输出到预控制单元5的车辆数据是否与图像信息相匹配。校验结果可以反馈(比如通过远程刷写的方式)到预控制单元5的车辆控制模型进行机器学习或深度学习，从而优化车辆控制模型，实现自动驾驶软件的更新。
[0050]
可选地，自动驾驶系统还包括评估模块13，其根据验证模块3的验证结果对自动驾驶性能进行评估。例如，根据在一定时间段比如100小时、500小时、1000小时、2000小时、3000小时、4000小时、5000小时等内出现不容许的错误扭矩、出现容许范围内的错误扭矩、没有出现错误扭矩，或者根据系统请求扭矩和驾驶员扭矩差值小于2nm、3nm、4nm、5nm等不同阈值，来对自动驾驶系统的性能进行评级。例如，将自动驾驶系统启动时故障率低于期望值的标记为fp，将场景良好的情况下自动驾驶系统未启动(漏触发)的标记为fn等等。评估模块13的评估结果可以反馈至自动驾驶模块1。
[0051]
根据本发明实施例的自动驾驶验证系统可以安装在车辆上以对车辆的自动驾驶功能进行验证。从而不需要具体的实车路试，这节省了开发成本，并且省时、省力。
[0052]
根据本发明的自动驾驶验证系统采用了端对端验证策略，自动驾驶模块1以影子系统(黑盒)的形式在车辆内运行，并且使用驾驶员行为作为基本事实(基准)。通过比较驾
驶员行为与系统行为，能够更便捷高效地验证系统性能和安全测量数据。
[0053]
如上所述，仅仅在驾驶员和系统对于真实场景具有不同的反应时，才提取并在数据库中存储系统故障数据，因此明显减少了再模拟的数据量，降低了数据记录和存储成本，并且消除了对于再模拟所需的不同的传感器数据时间同步的问题。
[0054]
图2示出了根据本发明一个实施例的车辆自动驾驶系统，其包括上述自动驾驶验证系统，并且还包括车辆运动控制单元14。车辆运动控制单元14包括中央处理器(ecu)15，其接收自动驾驶模块1输出的车辆控制数据来控制车辆运行。在车辆进行自动驾驶验证或完全由驾驶员控制时，车辆运动控制单元14则接收驾驶员的输入来控制车辆。车辆运动控制单元可以对车辆的各种部件进行控制，例如其与车辆的eps(电子助力转向系统)通信以控制车辆的转向，与车辆的加速踏板和制动踏板通信以控制车辆的加速和减速，与车灯通信以控制其开启或断开，与雨刮器通信以控制其致动或停止，与报警器通信以控制其报警等等。
[0055]
本发明还涉及配置有上述自动驾驶系统的车辆。
[0056]
本发明进一步涉及一种车辆自动驾驶验证方法，其基于驾驶员的驾驶行为来验证响应于同一场景自动驾驶的功能是否正常。
[0057]
图3示出了根据本发明一个实施例的车辆自动驾驶验证方法的流程图。如图3所示，该自动驾驶验证方法包括以下步骤：
[0058]
s0：开始
[0059]
s1：获取车辆运行场景的相关信息和和车辆的当前运行状态数据并进行处理，以产生用于自动驾驶车辆的控制数据；
[0060]
s2：获取驾驶员响应于所述场景对车辆输入的驾驶数据；
[0061]
s3：根据所述驾驶数据来判定控制数据是否正常？
[0062]
在步骤s1中，可以通过第一传感器6比如成像装置如相机或摄像头拍摄车辆周围的车辆运行场景，包括如前所述的道路类型、路况、车道标志等信息；还可以通过第二传感器7获取车辆的当前运行状态数据，例如车速、行驶方向、加速度、减速度、扭矩、转向角、距车道标志线距离等。所获取的车辆运行场景数据和车辆的当前运行状态数据被输入至预控制单元5以产生车辆控制模型。该车辆控制模型用来创建车辆在下一时间点的运行轨迹，从而产生自动驾驶控制数据。
[0063]
在步骤s2中，与步骤s1基本同步地，驾驶员在同一车辆运行场景下控制车辆，从而响应于车辆运行场景对车辆输入驾驶数据，比如转向扭矩、转向角、加速度、减速度等。
[0064]
在步骤s3中，基于驾驶数据来验证自动驾驶控制数据。例如，自动驾驶控制数据和驾驶员驾驶数据的对应数据可以被输入至比较器以比较两者的差值是否超过预定阈值，例如可以比较自动驾驶请求的转向扭矩和驾驶员输入的转向扭矩，当两者的差值超过预定阈值时，判定自动驾驶出现故障。或者，可以判断自动驾驶控制数据的决策行为与驾驶员的驾驶行为是否一致，例如两者是否均为加速行为、均为减速行为、或具有相同的转向方向等。若两者不同，如一个为加速而另一个为减速，或者一个为左转向而另一个为右转向，则两者的差值超过更大的阈值或两者的数据性质彼此不同，则判定自动驾驶出现故障。
[0065]
另外，还可以跟踪自动驾驶控制数据自身的变化，例如可以跟踪车辆中心距左或右侧车道标志线的横向距离dy和该距离的变化率的变化，比较横向距离dy及其变化率在t
时刻与t 1时刻之间的差值是否超过预定阈值，若该差值过大，则判定自动驾驶出现故障。此外，还可以跟踪自动驾驶功能是否触发异常，比如自动驾驶的某个或某些或全部功能是否异常退出、是否无法正常启动等，若自动驾驶功能触发异常，则判定自动驾驶出现故障。
[0066]
上述自动驾驶验证方法还可以包括步骤s4：将判定为出现自动驾驶故障的相关数据输出至存储单元，例如在本地缓存后发送至远端服务器如云端的数据库。这些相关数据可以包括与该故障相关联的场景数据、自动驾驶控制数据和驾驶员的驾驶数据。
[0067]
可选地，上述自动驾驶验证方法还可以包括步骤s5：根据采集到的数据对自动驾驶性能进行评估，如通过计算故障率来实现。例如，根据在一定时间段比如100小时、500小时、1000小时、2000小时、3000小时、4000小时、5000小时等内出现不容许的错误扭矩或容许范围内的错误扭矩的次数，或没有出现错误扭矩，或者根据系统请求扭矩和驾驶员扭矩差值大于2nm、3nm、4nm、5nm等不同阈值的次数，来计算自动驾驶的故障率，以对自动驾驶性能进行评级。例如，将自动驾驶系统启动时故障率低于期望值的标记为fp，将场景良好的情况下自动驾驶系统未启动(漏触发)的标记为fn等等。评估结果可以反馈至自动驾驶控制数据。
[0068]
上述自动驾驶验证方法还可以包括步骤s6：分析故障数据及可选的评估报告，并基于获取的场景信息和车辆运行状态数据产生校正数据以更新自动驾驶软件。例如，读取自动驾驶故障的相关数据(例如通过专业人员或专业机器(例如包括软硬件、固件))，如车辆运行场景数据和车辆运行状态数据，基于驾驶员的驾驶数据对其进行分析以确定故障原因，以反馈至自动驾驶控制数据对其进行调整如补充或校正，如将驾驶员的驾驶数据作为调整后的自动驾驶控制数据反馈(比如通过远程刷写的方式)至车辆控制模型，以进行机器学习或深度学习，从而优化车辆控制模型，实现自动驾驶软件的更新。
[0069]
该方法在上述步骤s6之后返回s7，并且可以在车辆运行期间不断地重复进行。
[0070]
本发明还涉及一种存储有计算机指令的计算机可读存储介质，其包括但不限于硬盘、光存储设备、磁存储设备、只读存储器(rom)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、闪存等。这些计算机指令在被执行时用于实施本文所描述的自动驾驶验证方法。
[0071]
另外，本领域技术人员可以想到的是，本发明所述的车辆可包括广义上的运输装置，例如卡车、轿车、摩托车、拖车、公交车、火车、电车、飞机、船只、缆绳运输、空中缆车、无人驾驶飞机、航天器或其他类似的人工操作的或无人驾驶的运输装置。
[0072]
尽管上面参考示例性实施例描述了本发明，但本领域技术人员可以在不脱离本发明精神的范围内做出各种修改。