自动驾驶的控制效果确定方法与流程

1.本发明实施例涉及自动驾驶技术领域，尤其涉及一种自动驾驶的控制效果确定方法。


背景技术：

2.自动驾驶汽车是指通过人工智能、视觉计算、雷达以及全球定位系统等协同处理，可以在没有人类主动操作下，自动行驶的机动车辆。自动驾驶技术将成为未来汽车的一个重要发展方向，与自动驾驶技术相关联的自动驾驶车辆测试也逐步受到重视。现今，自动驾驶车辆测试通常通过计算机仿真技术，建立动态交通场景和静态环境的数学模型，来对自动驾驶算法在虚拟交通场景中进行驾驶测试，测试结果可以反映处自动驾驶算法是否存在问题。
3.现今对于自动驾驶的仿真测试和测试评价方法是不能同时进行的，需要自动驾驶的仿真测试结束后，才能根据仿真测试的结果进行评价，时效性不好。并且，测试评价方法一般只针对一个仿真场景进行评价，无法移植到其他仿真测试平台。


技术实现要素：

4.本发明提供一种自动驾驶的控制效果确定方法，以实现对待测试算法的控制效果的确定，提高确定控制效果的准确度。
5.第一方面，本发明实施例提供了一种自动驾驶的控制效果确定方法，所述方法包括：
6.根据预先获取的目标场景文件确定目标仿真测试场景，并根据与所述目标场景文件相对应的至少一个评估项，确定评估属性；
7.基于待测试算法控制目标仿真车辆在所述目标仿真测试场景中行驶，并根据实际仿真行驶信息更新与所述评估属性相对应的待更新评估特征值；其中，所述目标仿真测试场景运行于仿真服务子系统中；
8.在检测到所述目标仿真车辆行驶至目标位置时，输出与所述评估属性相对应的目标评估特征值；
9.基于所述目标评估特征值，确定所述待测试算法的控制效果。
10.第二方面，本发明实施例还提供了一种自动驾驶的控制效果确定装置，所述装置包括：
11.评估属性确定模块，用于根据预先获取的目标场景文件确定目标仿真测试场景，并根据与所述目标场景文件相对应的至少一个评估项，确定评估属性；
12.待更新评估特征值更新模块，用于基于待测试算法控制目标仿真车辆在所述目标仿真测试场景中行驶，并根据实际仿真行驶信息更新与所述评估属性相对应的待更新评估特征值；其中，所述目标仿真测试场景运行于仿真服务子系统中；
13.目标评估特征值输出模块，用于在检测到所述目标仿真车辆行驶至目标位置时，
输出与所述评估属性相对应的目标评估特征值；
14.控制效果确定模块，用于基于所述目标评估特征值，确定所述待测试算法的控制效果。
15.第三方面，本发明实施例还提供了一种电子设备，所述设备包括：
16.一个或多个处理器；
17.存储装置，用于存储一个或多个程序，
18.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例任一所述的自动驾驶的控制效果确定方法。
19.第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例任一所述的自动驾驶的控制效果确定方法。
20.本发明实施例的技术方案，通过根据预先设置的目标场景文件确定目标仿真测试场景，根据与目标场景文件相对应的至少一个评估项，确定评估属性，基于待测试算法控制与目标仿真车辆在目标仿真测试场景中行驶，根据实际仿真行驶信息更新与评估属性相对应的待更新评估特征值，在检测到目标仿真车辆行驶到目标位置时，输出与评估属性相对应的目标评估特征值，基于目标特征评估值确定待测试算法的控制效果。本发明实施例的技术方案实现了通过实际仿真行驶信息更新与评估属性相对应的待更新评估特征值，根据待更新特征评估值确定目标特征评估值，并基于目标特征评估值确定待测试算法的控制效果。本发明实施例的技术方案提高了对待测试算法的评估的准确度。
附图说明
21.为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
22.图1为本发明实施例一所提供的一种仿真服务系统的结构示意图；
23.图2为本发明实施例一所提供的一种自动驾驶的控制效果确定方法的流程示意图；
24.图3为本发明实施例一所提供的一种自动驾驶的控制效果确定方法的示意图；
25.图4为本发明实施例二所提供的一种自动驾驶的控制效果确定方法的流程示意图；
26.图5为本发明实施例三所提供的一种自动驾驶的控制效果确定方法的流程示意图；
27.图6为本发明实施例四所提供的一种自动驾驶的控制效果确定装置的结构示意图；
28.图7为本发明实施例五所提供的一种电子设备的结构示意图。
具体实施方式
29.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描
述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
30.实施例一
31.图2为本发明实施例一所提供的一种自动驾驶的控制效果确定方法的流程示意图，本实施例可适用于在的情况，该方法可以由自动驾驶的控制效果确定装置来执行，该装置可以通过软件和/或硬件的形式实现，硬件可以是电子设备，如，移动终端或pc端等。
32.在阐述本发明实施例的技术方案之前，先对本发明实施例的自动驾驶的控制效果确定方法应用于仿真服务系统进行示例性说明：
33.参见图1，仿真服务系统中包括仿真服务子系统(包括仿真模拟器)和评估子系统，仿真模拟器中融入目标仿真测试场景，通过待测试算法在仿真模拟器中对目标仿真车辆进行控制，评估子系统通过获取仿真模拟器中目标仿真车辆在行驶过程的实际仿真行驶信息得到评估属性，并在评估子系统进行计算，确定评估属性对应的目标评估特征值，以确定待测试算法的控制效果，可以将控制效果的评估报告发送至数据库中进行存储。在本发明实施例中，数据库可以采用mongodb，仿真服务系统可以通过cyber_rt框架基础上进行构建。
34.如图2所述，本实施例的自动驾驶的控制效果确定方法具体包括如下步骤：
35.s110、根据预先获取的目标场景文件确定目标仿真测试场景，并根据与所述目标场景文件相对应的至少一个评估项，确定评估属性。
36.其中，场景文件(如.json文件)中包括行人、车辆以及指示灯等对应的数据。根据场景文件可以确定仿真测试场景。在本发明实施例中可以通过lgsvl的vse(visual scenario editor)功能编辑场景，或者采用其他的场景编辑器来构建仿真测试场景，得到场景文件。目标场景文件是指与目标仿真测试场景对应的场景文件。随机选择一个场景文件确定为目标场景文件，或者在确定了需要的仿真测试场景时，选择对应的目标场景文件，以确定目标仿真测试场景。评估项用于对目标仿真车辆的行驶进行评估，评估项作为确定待测试算法的控制效果的依据。比如，评估项包括用来评估目标仿真车辆与交通参与者(其他车辆、行人等)的距离的安全评估项。评估属性由至少一个评估项构成。
37.具体的，通过预先获取的目标场景文件确定目标仿真测试场景，可以根据预设设置的场景文件和评估项之间的对应关系，确定与目标场景文件对应的至少一个评估项。根据至少一个评估项确定评估属性，为后续确定评估属性的目标评估特征值做准备工作。
38.在本发明实施例中，该方法还包括：确定至少一个待选择场景文件，并确定与各待选择场景文件相对应的至少一个评估项，以在确定所述待测试算法的控制效果时，从所述至少一个待选择场景文件中确定目标场景文件。
39.其中，待选择场景文件中包括各种工况下的交通元素信息；所述评估项包括安全评估项、舒适性评估项、交通规则评估项以及场景评估项；每个评估项中包括至少一个评估指标。交通元素信息包括交通信号灯的个数、交通信号灯的间隔时间等。安全评估项用于评估目标仿真车辆在行驶的过程中是否发生有碰撞的危险，可以通过目标仿真车辆与交通参与者(其他车辆、行人、交通信号灯等)的距离与预设距离阈值来确定。安全评估项的评估指标包括目标仿真车辆与交通参与者的距离。舒适性评估项用于评估目标仿真车辆在行驶过程中，对于用户来说是否舒适。舒适性评估项的评估指标包括目标仿真车辆的加速度、加加速度、急刹车、急转弯等。交通规则评估项用于评估目标仿真车辆在行驶过程中是否遵守交
通规则。交通规则评估项的评估指标包括目标仿真车辆是否闯红灯、是否超速等违反交通规则行为。场景评估项用于评估目标仿真车辆是否在预设时长内达到目标位置，场景评估项的评估指标包括目标仿真车辆是否在预设时长内达到目标位置。
40.具体的，在确定目标场景文件之前，确定至少一个待选择场景文件，并确定与各待选择场景文件相对应的至少一个评估项。将各待选择场景文件和与每个待选择场景文件对应的至少一个评估项进行关联存储。以便在从至少一个待选择场景文件中确定目标场景文件时，可以根据关联关系，确定与目标场景文件对应的至少一个评估项。
41.在本发明实施例中，根据预先获取的目标场景文件确定目标仿真测试场景，并根据与所述目标场景文件相对应的至少一个评估项，确定评估属性，包括：基于仿真模拟器调取目标区域的目标地图信息，将所述目标场景文件融合在所述目标地图信息中得到所述目标仿真测试场景。其中，所述目标仿真测试场景中包括交通元素信息，所述交通元素信息包括行人、车辆以及指示灯中的至少一个；基于评估系统获取与所述目标场景相对应的至少一个评估项，确定评估属性。
42.其中，仿真模拟器用于调取现实场景中的任意区域的地图信息，并将地图信息进行3d虚拟显示。在本发明实施例中选择lgsvl simulator作为仿真模拟器。下载lgsvl自带的地图(以borregasave为例)和自动驾驶车辆模型(以lincoln2017mkz为例)，并在网页端进行车辆参数(包括车辆控制参数，以及传感器包括但不限于lidar、radar、camera、canbus的参数配置)和随机交通流(场景中的npc车以及行人)的配置。在lgsvl网页端的车辆配置上将连接方式选为cyber_rt并在simulation设置中添加apollo所在服务器的ip地址，然后将lgsvl与apollo进行联合仿真。将cyber布置到本地，在与docker进行通信时，在运行docker之前加配置项
“‑‑
ipc＝host”，这样apollo中的消息被本地的cyber_rt获取进而实现cyber_rt通道中消息的读取和发布。在仿真模拟器lgsvl中进行相关参数的配置(包括目标区域的目标地图信息和车辆的选择、ip地址和端口)，然后进行ad(通信方式ros或cyber_rt)的参数配置，实现仿真模拟器与评估子系统之间的通信。在通过待测试算法在仿真模拟器中控制目标仿真车辆的行驶时，运行评价系统，在lgsvl的界面上看到结果的输出。评价子系统将每次的仿真评价结果以json文件的形式保存在本地的指定文件夹或者本地的数据库中，例如mongodb数据库。可以在文件中查看详细的仿真测试评价报告，查看事件发生的时间信息以及相关车辆信息。
43.在本发明实施例中，仿真模拟器可以在进行待测试算法的控制效果的测试过程中，采集目标区域的目标地图信息，也可以是预先采集了多个区域的地图信息，并在进行待测试算法的控制效果的测试过程中，调取存储的目标区域的目标地图信息。评估系统是指对待测试算法的控制效果进行评估的系统。评估系统根据评估属性的目标评估特征值确定待测试算法的控制效果。地图信息包括地形信息、道路类型、交叉路口的个数、交叉路口的类型等。目标地图信息是指与目标区域相对应的地图信息。
44.具体的，通过仿真模拟器调取目标区域的目标地图信息，将目标场景文件和目标地图信息进行融合，得到目标仿真测试场景，也即在目标地图信息中添加目标场景文件(行人、车辆以及指示灯等交通元素信息)通过评估系统获取与目标场景文件相对应的至少一个评估项，确定评估属性。
45.s120、基于待测试算法控制目标仿真车辆在所述目标仿真测试场景中行驶，并根
据实际仿真行驶信息更新与所述评估属性相对应的待更新评估特征值。
46.其中，待测试算法是指需要测试的，用于控制目标仿真车辆行驶的算法。目标仿真测试场景运行于仿真服务子系统中。实际仿真行驶信息是指目标仿真车辆在目标仿真测试场景中实际行驶过程中的信息，包括行驶车速、是否刹车、是否闯红灯，与交通参与者的距离等。评估特征值是指与目标仿真车辆对应的评估属性的特征取值。比如，评估属性包括安全性评估项，评估指标为目标仿真车辆与交通参与者的距离是否小于预设距离阈值。当目标仿真车辆与交通参与者(行人)的距离小于预设距离阈值时，评估特征值(不通过数)为1。待更新评估特征值是指在目标仿真车辆行驶的过程中，根据实际仿真行驶信息进行更新的评估特征值。
47.具体的，根据待测试算法控制目标仿真车辆在目标仿真测试场景中行驶，设置获取行驶信息的时间点，比如，间隔1s获取一次实际仿真行驶信息。根据每一次获取的实际仿真行驶信息更新与评估属性相对应的待更新评估特征值，比如，上一秒钟时，目标仿真车辆与交通参与者(行人)的距离小于预设距离阈值，待更新评估特征值(不通过数)为1，当前目标仿真车辆与交通参与者(行人)的距离小于预设距离阈值，更新待更新评估值(不通过数)为2。
48.在本发明实施例中，评估子系统接收仿真服务子系统发送的实际仿真行驶信息，并基于实际仿真行驶信息更新待更新评估特征值，评估子系统中包括评价指标计算模块、消息处理模块和统计信息模块。评价指标计算模块用于从安全评估项、舒适性评估项、交通规则评估项以及场景评估项进行待更新评估特征值的确定，以确定最终的目标评估特征值。统计信息模块由相关消息统计和计算得出。消息处理模块用于进行仿真服务子系统和评估子系统之间的通信。参见图3。
49.在本发明实施例中，在所述基于待测试算法控制目标仿真车辆在所述目标仿真测试场景中行驶之前，还包括：在仿真模拟器中设置配置参数，基于所述配置参数建立所述待测试算法与所述仿真服务系统通信，以在建立通信完成后，基于待测试算法控制目标仿真车辆在所述目标仿真测试场景中行驶。
50.其中，配置参数包括目标仿真车辆的车型、所述仿真服务系统的ip地址和端口。
51.具体的，通过在仿真模拟器中设置配置参数，建立待测试算法和仿真服务系统之间的通信，使得在仿真服务系统中，基于待测试算法控制目标仿真车辆在目标仿真测试场景中行驶，根据行驶中的实际仿真行驶信息更新待更新评估特征值。
52.s130、在检测到所述目标仿真车辆行驶至目标位置时，输出与所述评估属性相对应的目标评估特征值。
53.其中，目标位置是指设置的目标仿真车辆需要达到指定位置。目标特征评估值是指与评估属性相对应的评估特征值。
54.具体的，在目标仿真车辆行驶的过程中，根据实际仿真信息更新的待更新评估特征值。当检测到目标仿真车辆行驶至目标位置时，输出与评估属性相对应的当前时刻的待更新评估特征值，即目标评估特征值。
55.s140、基于所述目标评估特征值，确定所述待测试算法的控制效果。
56.其中，控制效果是指待测试算法对目标仿真车辆行驶的控制效果，比如，合格、不合格、优秀等。
57.具体的，通过目标评估特征值与预设的评判标准，确定待测试算法的控制效果，提高评估系统对待测试算法评估的准确度。
58.本发明实施例的技术方案，通过根据预先设置的目标场景文件确定目标仿真测试场景，根据与目标场景文件相对应的至少一个评估项，确定评估属性，基于待测试算法控制与目标仿真车辆在目标仿真测试场景中行驶，根据实际仿真行驶信息更新与评估属性相对应的待更新评估特征值，在检测到目标仿真车辆行驶到目标位置时，输出与评估属性相对应的目标评估特征值，基于目标特征评估值确定待测试算法的控制效果。本发明实施例的技术方案实现了通过实际仿真行驶信息更新与评估属性相对应的待更新评估特征值，根据待更新特征评估值确定目标特征评估值，并基于目标特征评估值确定待测试算法的控制效果。本发明实施例的技术方案提高了对待测试算法的评估的准确度。
59.实施例二
60.图4为本发明实施例所提供的一种自动驾驶的控制效果确定方法的流程示意图，本发明实施例是在上述实施例的基础上对步骤120进行的细化，具体的细化过程在本发明实施例中进行详细的阐述。其中，与上述实施例相同或者相似的技术术语将不再赘述。
61.如图4所述，本发明实施例所提供的自动驾驶的控制效果确定方法具体包括如下步骤：
62.s210、根据预先获取的目标场景文件确定目标仿真测试场景，并根据与所述目标场景文件相对应的至少一个评估项，确定评估属性。
63.s220、基于待测试算法控制目标仿真车辆在所述目标仿真测试场景中行驶。
64.s230、针对评估属性中包含的至少一个评估项，根据实际仿真行驶信息更新与所述评估项对应的待更新评估特征值。
65.在本发明实施例中，评估属性包括安全评估项、舒适性评估项、交通规则评估项以及场景评估项，下述为当评估属性为四种评估项中的一种时，对应着的更新待更新评估特征值的步骤：
66.如果所述评估属性中包括安全评估项，当检测到实际仿真行驶信息与所述目标仿真测试场景中其它交通元素信息之间的距离值小于预设距离阈值，则所述待更新评估特征值为安全评估特征值，并更新所述安全评估特征值。
67.其中，预设距离阈值是指预先设置的目标仿真车辆与其他交通元素信息之间的安全距离，比如，目标仿真车辆与行人的预设距离阈值为1米。
68.具体的，确定目标仿真车辆的实际仿真行驶信息与目标仿真测试场景中其他交通元素信息之间距离。比如，在预设时间间隔获取目标仿真车辆位置信息与至少一个行人(比如5个行人，编号1、2、3、4和5)的位置信息，在根据某次获取的目标仿真车辆的位置信息和至少一个行人的位置信息，确定目标仿真车辆和5个行人的距离值依次分别为1.2m、2.3m、5.0m、3.9m和0.3m，预设距离阈值为1m，所以确定目标仿真车辆与编号5的行人的距离值小于预设距离阈值，此时将根据预先设置的安全性评估特征值与预设距离阈值之间的对应关系，确定目标仿真车辆与编号5的行人的距离值对应的安全性评估特征值。比如，在目标仿真车辆与交通参与者之间的距离值小于预设距离阈值时，安全性评估特征值为0.1，在目标仿真车辆与交通参与者之间的距离值大于等于预设距离阈值时，安全性评估特征值为0.9。因此，当距离值小于预设距离阈值时，确定待更新评估特征值0.1为安全评估特征值，并根
据距离值小于预设距离阈值更新安全评估特征值。
69.示例性，将目标仿真车辆与交通参与者之间的距离值小于预设距离阈值的情况设置为距离不通过，相反，将目标仿真车辆与交通参与者之间的距离值大于等于预设距离阈值的情况设置为距离通过。这样上述示例中的目标仿真车辆与编号5的行人的距离值小于预设距离阈值的情况，距离不通过次数加1，累加距离不通过次数，并基于公式确定得分。在累计历史距离通过次数和历史距离不通过次数的基础上，确定距离不通过次数的得分，并基于得分更新待更新评估特征值。公式可以表示为：得分＝通过数/(通过数 不通过数)或者得分＝不通过数/(通过数 不通过数)。
70.如果所述评估属性中包括舒适性评估项，则确定与所述舒适性评估项相对应的评估指标；当检测到所述目标仿真车辆的实际仿真行驶信息中的加速值度大于预设加速度值、加加速度值大于预设加加速速阈值、急刹车所对应的滑行值大于预设滑行值阈值，或转弯速度和角度大于预设角度和速度，更新与所述舒适性评估项中各项评估指标所对应的待更新评估特征值。
71.其中，评估指标包括所述目标仿真车辆的加速度指标、加加速度指标、急刹车指标以及急转弯指标中的至少一种。加加速度指标是指急动度指标。
72.具体的，当评估属性中包括舒适性评估项，并且与舒适性评估项对应的评估指标超出阈值时，更新舒适性评估项中各项评估指标所对应的待更新评估特征值。
73.示例性的，预先设置加速度阈值，以在检测到实际仿真行驶信息的加速度值时，可以进行加速度值和加速度阈值的比较，并设置不同比较结果和预设的加速度指标的评估特征值之间的对应关系。比如，比较结果包括大于、小于、等于，依次对应的评估特征值为0.1、0.5和0.9。通过预设时间间隔中获取多组的实际仿真行驶信息中，检测到目标仿真车辆的实际仿真行驶信息中的加速度值为3m/s2大于预设加速度阈值2.53m/s2时，根据对应关系，确定加速度指标对应的评估特征值为0.1，通过当前的评估特征值0.1更新待更新的加速度指标对应的待更新评估特征值。同理，加加速度、急刹车所对应的滑行值、和转弯速度和角度可以采用上述相同的原理进行评估特征值的更新，这里不再阐述。
74.如果所述评估属性中包括交通规则评估项，且实际仿真行驶信息中包括通过交通指示灯的指示信号和道路限速信息，则确定所述目标仿真车辆的实际通行状态，并根据实际通行状态更新与所述交通规则评估项相对应的待更新评估特征值。
75.其中，实际通行状态是指包括目标仿真车辆是否遵守交通规则，比如，是否超速、是否闯红灯等。
76.具体的，根据实际仿真行驶信息中的交通指示灯的指示信号、道路限速信息确定目标仿真车辆的实际通行状态。根据通行状态更新交通规则评估项对应的待评估特征值。比如，如果当前指示灯的信号为正常行驶信号时，则累加历史通行指示灯次数，并基于公式确定得分，如果当前指示灯的信号为禁止通行信号时，则累加历史通行指示灯次数和未按规定通行指示灯次数，并根据未按规定通行指示灯次数和历史通行指示灯次数，更新待更新评估特征值。
77.如果所述评估属性中包括场景评估项，且根据所述实际仿真行驶信息确定所述目标仿真车辆在目标时刻到达目标位置，则更新与所述场景评估项所对应的待更新评估特征值。
78.其中，每个场景可以设置各自的目标位置以及目标时刻。可选的，不同场景的目标时刻可以相同也可以不同。
79.具体的，当评估属性中包括场景评估项，并且根据实际仿真行驶信息确定目标仿真车辆在目标时刻达到目标位置时，更新场景评估项所对应的待更新评估特征值，此时更新待更新。可选的，目标仿真车辆达到目标位置时的时刻与预设时刻不符时，更新场景评估项所对应的待更新评估值，此时，更新待更新评估值为不通过。
80.示例性，预先设置预设时刻为16:30:00，以及在不同时刻达到目标位置时对应的评估特征值。在小于等于预设时刻达到目标位置，场景评估项对应的评估特征值0.9，而在大于预设时刻的时间达到目标位置时，评估特征值为0.1。目标仿真车辆在目标时刻16:31:00达到目标位置，此时目标时刻大于预设时刻，评估特征值为0.1，即更新场景评估项所对应的待更新评估特征值为0.1。可选的，对于场景评估项，可根据公式：评估特征值＝在目标时刻达到目标位置的次数/行驶次数，更新待更新评估特征值。比如，在目标时刻达到目标位置的次数为2，行驶次数为5，则场景评估项的评估特征值为0.4。
81.s240、在检测到所述目标仿真车辆行驶至目标位置时，输出与所述评估属性相对应的目标评估特征值。
82.s250、基于所述目标评估特征值，确定所述待测试算法的控制效果。
83.本发明实施例的技术方案，通过根据预先设置的目标场景文件确定目标仿真测试场景，根据与目标场景文件相对应的至少一个评估项，确定评估属性，基于待测试算法控制与目标仿真车辆在目标仿真测试场景中行驶，根据评估属性中包括的不同评估项以及实际仿真行驶信息，更新与评估项对应的待更新评估特征值。在检测到目标仿真车辆行驶到目标位置时，输出与评估属性相对应的目标评估特征值，基于目标特征评估值确定待测试算法的控制效果。本发明实施例的技术方案实现了通过实际仿真行驶信息更新与每个评估项相对应的待更新评估特征值，根据待更新特征评估值确定目标特征评估值，并基于目标特征评估值确定待测试算法的控制效果。本发明实施例的技术方案提高了对待测试算法的评估的准确度。
84.实施例三
85.图5为本发明实施例所提供的一种自动驾驶的控制效果确定方法的流程示意图，本发明实施例是在上述实施例的基础上对步骤140进行的细化，具体的细化过程在本发明实施例中进行详细的阐述。其中，与上述实施例相同或者相似的技术术语将不再赘述。
86.如图5所述，本发明实施例所提供的自动驾驶的控制效果确定方法具体包括如下步骤：
87.s310、根据预先获取的目标场景文件确定目标仿真测试场景，并根据与所述目标场景文件相对应的至少一个评估项，确定评估属性。
88.s320、基于待测试算法控制目标仿真车辆在所述目标仿真测试场景中行驶，并根据实际仿真行驶信息更新与所述评估属性相对应的待更新评估特征值。
89.s330、在检测到所述目标仿真车辆行驶至目标位置时，输出与所述评估属性相对应的目标评估特征值。
90.s340、根据所述实际仿真行驶信息中各评估项所对应的事件信息，确定各评估项所对应的权重值；基于各评估项所对应的权重值以及各评估项所对应的目标评估特征值，
确定所述待测试算法的控制效果。
91.其中，事件信息是指实际仿真行驶信息中包括的与各评估项对应的事件，比如，与场景评估项对应的目标仿真车辆在目标时刻达到目标位置的事件。
92.具体的，根据事件信息确定各评估项所对应的权重值，比如，当事件信息为目标仿真车辆闯红灯以及在目标时刻达到目标位置，根据预先设置的评估项权重规则，将闯红灯对应的交通规则评估项的权重值设置为0.8，将场景评估项的权重值设置为0.2。将每个评估项的目标特征评估值以及对应的权重值相乘，并根据乘积之和确定待测试算法的控制效果。
93.在本发明实施例中，该方法还包括：输出与所述目标评估特征值相对应的评估报告。
94.其中，评估报告中包括与每个评估属性相对应的评估子报告，评估报告是指根据目标评估特征值确定的针对待测试算法的控制效果的报告。评估子报告中包括目标仿真车辆行驶过程中的各个待更新评估值更新时所对应的评估因素。评估因素是指更新待更新评估值的原因，比如，待更新评估值是指目标仿真车辆与交通参与者的距离小于预设距离阈值的评估指标对应的评估值，此时评估因素为目标仿真车辆与行人发送碰撞。通过评估报告可以清楚的反映出在目标仿真测试场景中目标仿真车辆的行驶中的问题，进而可以确定待测试算法的控制效果的好坏。可选的，可以将目标仿真测试场景和对应的评估报告关联存储，以便后续调用。存储的数据库可以采用mongodb数据库。
95.在本发明实施例中，根据消息接收频率确定所述目标仿真车辆在预设时间间隔中的行驶里程数，并根据所述行驶里程数确定仿真服务系统的仿真参考标准；
96.其中，消息接收频率是根据所述预设时间间隔确定的。
97.具体的，根据在仿真模拟器中接收消息的频率，确定目标仿真车辆在预设时间间隔中的行驶里程数(也即行驶路程)，根据行驶里程数确定仿真服务系统的仿真参考标准。仿真参考标准是指是否可以将预设时间间隔中的目标仿真车辆的仿真行驶信息作为实际仿真行驶信息。可选的，通过行驶里程数和预设的行驶里程数和仿真参考标准之间的对应关系，确定仿真服务系统的仿真参考标准。
98.本发明实施例的技术方案，通过根据预先设置的目标场景文件确定目标仿真测试场景，根据与目标场景文件相对应的至少一个评估项，确定评估属性，基于待测试算法控制与目标仿真车辆在目标仿真测试场景中行驶，根据实际仿真行驶信息更新与评估属性相对应的待更新评估特征值，在检测到目标仿真车辆行驶到目标位置时，输出与评估属性相对应的目标评估特征值，根据实际仿真行驶信息中各评估项所对应的事件信息，确定各评估项所对应的权重值；基于各评估项所对应的权重值以及各评估项所对应的目标评估特征值，确定待测试算法的控制效果。本发明实施例的技术方案实现了根据各评估项的目标评估特征值和对应的权重值确定控制效果，提高确定控制效果准确性。
99.实施例四
100.图6为本发明实施例提供的一种自动驾驶的控制效果确定装置的结构示意图，本发明实施例所提供的自动驾驶的控制效果确定装置可执行本发明任意实施例所提供的自动驾驶的控制效果确定方法，具备执行方法相应的功能模块和有益效果。该装置包括：评估属性确定模块610、待更新评估特征值更新模块620、目标评估特征值输出模块630和控制效
果确定模块640；其中：
101.评估属性确定模块610，用于根据预先获取的目标场景文件确定目标仿真测试场景，并根据与所述目标场景文件相对应的至少一个评估项，确定评估属性；待更新评估特征值更新模块620，用于基于待测试算法控制目标仿真车辆在所述目标仿真测试场景中行驶，并根据实际仿真行驶信息更新与所述评估属性相对应的待更新评估特征值；其中，所述目标仿真测试场景运行于仿真服务子系统中；目标评估特征值输出模块630，用于在检测到所述目标仿真车辆行驶至目标位置时，输出与所述评估属性相对应的目标评估特征值；控制效果确定模块640，用于基于所述目标评估特征值，确定所述待测试算法的控制效果。
102.进一步的，所述装置还包括：
103.待选择场景文件确定模块，用于确定至少一个待选择场景文件，并确定与各待选择场景文件相对应的至少一个评估项，以在确定所述待测试算法的控制效果时，从所述至少一个待选择场景文件中确定目标场景文件；其中，所述待选择场景文件中包括各种工况下的交通元素信息；所述评估项包括安全评估项、舒适性评估项、交通规则评估项以及场景评估项；每个评估项中包括至少一个评估指标。
104.进一步的，所述评估属性确定模块610包括：
105.目标仿真测试场景确定子模块，用于基于仿真模拟器调取目标区域的目标地图信息，将所述目标场景文件融合在所述目标地图信息中得到所述目标仿真测试场景；其中，所述目标仿真测试场景中包括交通元素信息，所述交通元素信息包括行人、车辆以及指示灯中的至少一个；基于评估系统获取与所述目标场景文件相对应的至少一个评估项，确定评估属性。
106.进一步的，所述装置还包括：
107.配置参数设置模块，用于在仿真模拟器中设置配置参数，基于所述配置参数建立所述待测试算法与所述仿真服务系统通信，以在建立通信完成后，基于待测试算法控制目标仿真车辆在所述目标仿真测试场景中行驶；其中，所述配置参数包括目标仿真车辆的车型、所述仿真服务系统的ip地址和端口。
108.进一步的，所述待更新评估特征值更新模块620包括：
109.安全评估特征值更新子模块，用于如果所述评估属性中包括安全评估项，当检测到实际仿真行驶信息与所述目标仿真测试场景中其它交通元素信息之间的距离值小于预设距离阈值，则所述待更新评估特征值为安全评估特征值，并更新所述安全评估特征值。
110.进一步的，所述待更新评估特征值更新模块620包括：
111.第一待更新评估特征值更新子模块，用于如果所述评估属性中包括舒适性评估项，则确定与所述舒适性评估项相对应的评估指标；其中，所述评估指标包括所述目标仿真车辆的加速度指标、加加速度指标、急刹车指标以及急转弯指标中的至少一种；当检测到所述目标仿真车辆的实际仿真行驶信息中的加速度值大于预设加速度阈值、加加速度值大于预设加加速度阈值、急刹车所对应的滑行值大于预设滑行值阈值，或转弯速度和角度大于预设角度和速度，更新与所述舒适性评估项中各项评估指标所对应的待更新评估特征值。
112.进一步的，所述待更新评估特征值更新模块620包括：
113.第二待更新评估特征值更新子模块，用于待更新评估特征值如果所述评估属性中包括交通规则评估项，且实际仿真行驶信息中包括通过交通指示灯的指示信号和道路限速
信息，则确定所述目标仿真车辆的实际通行状态，并根据实际通行态状更新与所述交通规则评估项相对应的待更新评估特征值。
114.进一步的，所述待更新评估特征值更新模块620包括：
115.第三待更新评估特征值更新子模块，用于如果所述评估属性中包括场景评估项，且根据所述实际仿真行驶信息确定所述目标仿真车辆在目标时刻到达目标位置，则更新与所述场景评估项所对应的待更新评估特征值。
116.进一步的，所述控制效果确定模块640包括：
117.权重值确定子模块，用于根据所述实际仿真行驶信息中各评估项所对应的事件信息，确定各评估项所对应的权重值；基于各评估项所对应的权重值以及各评估项所对应的目标评估特征值，确定所述待测试算法的控制效果。
118.进一步的，所述装置还包括：
119.评估报告输出模块，用于输出与所述目标评估特征值相对应的评估报告；其中，所述评估报告中包括与每个评估属性相对应的评估子报告，评估子报告中包括目标仿真车辆行驶过程中的各个待更新评估值更新时所对应的评估因素。
120.本发明实施例的技术方案，通过根据预先设置的目标场景文件确定目标仿真测试场景，根据与目标场景文件相对应的至少一个评估项，确定评估属性，基于待测试算法控制与目标仿真车辆在目标仿真测试场景中行驶，根据实际仿真行驶信息更新与评估属性相对应的待更新评估特征值，在检测到目标仿真车辆行驶到目标位置时，输出与评估属性相对应的目标评估特征值，基于目标特征评估值确定待测试算法的控制效果。本发明实施例的技术方案实现了通过实际仿真行驶信息更新与评估属性相对应的待更新评估特征值，根据待更新特征评估值确定目标特征评估值，并基于目标特征评估值确定待测试算法的控制效果。本发明实施例的技术方案提高了对待测试算法的评估的准确度。
121.值得注意的是，上述系统所包括的各个模块和子模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
122.实施例五
123.图7为本发明实施例提供的一种电子设备的结构示意图。图7示出了适于用来实现本发明实施例实施方式的示例性电子设备70的框图。图7显示的电子设备70仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
124.如图7所示，电子设备70以通用计算设备的形式表现。电子设备70的组件可以包括但不限于：一个或者多个处理器或者处理单元701，系统存储器702，连接不同系统组件(包括系统存储器702和处理单元701)的总线703。
125.总线703表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
126.电子设备70典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备70访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
127.系统存储器702可以包括易失性存储器形式的计算机系统可读介质，例如随机存
取存储器(ram)704和/或高速缓存存储器705。电子设备70可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统706可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd
‑
rom,dvd
‑
rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线703相连。存储器702可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
128.具有一组(至少一个)程序模块707的程序/实用工具708，可以存储在例如存储器702中，这样的程序模块707包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块707通常执行本发明所描述的实施例中的功能和/或方法。
129.电子设备70也可以与一个或多个外部设备709(例如键盘、指向设备、显示器710等)通信，还可与一个或者多个使得用户能与该电子设备70交互的设备通信，和/或与使得该电子设备70能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口711进行。并且，电子设备70还可以通过网络适配器712与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器712通过总线703与电子设备70的其它模块通信。应当明白，尽管图7中未示出，可以结合电子设备70使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
130.处理单元701通过运行存储在系统存储器702中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的自动驾驶的控制效果确定方法。
131.实施例六
132.本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种自动驾驶的控制效果确定方法，该方法包括：
133.根据预先获取的目标场景文件确定目标仿真测试场景，并根据与所述目标场景文件相对应的至少一个评估项，确定评估属性；基于待测试算法控制目标仿真车辆在所述目标仿真测试场景中行驶，并根据实际仿真行驶信息更新与所述评估属性相对应的待更新评估特征值；其中，所述目标仿真测试场景运行于仿真服务子系统中；在检测到所述目标仿真车辆行驶至目标位置时，输出与所述评估属性相对应的目标评估特征值；基于所述目标评估特征值，确定所述待测试算法的控制效果。
134.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
135.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
136.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
137.可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言——诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
138.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。