一种确定提示信息的方法、装置、电子设备及存储介质与流程

1.本公开实施例涉及智能驾驶技术领域，具体涉及一种确定提示信息的方法、装置、电子设备及非暂态计算机可读存储介质。


背景技术：

2.在智能驾驶技术领域中，无论是无人驾驶技术还是辅助驾驶技术，及时检测本车周围环境中其他车辆的行为(例如加塞、并线等行为)，并判断该行为是否对本车行驶产生影响，进而采取相应地避让措施，是确保本车安全行驶和降低行车事故的重要环节。
3.要检测本车周围环境中其他车辆的行为，首先需要检测本车周围环境中的其他车辆。目前，对本车周围环境中其他车辆的检测，通过本车的图像传感器采集本车周围环境的图像，进而利用目标检测算法来确定图像中目标的类别和目标的二维检测框信息，其中，二维检测框信息可表示目标在图像中的位置信息。
4.然而，即使检测出图像中的车辆及位置，但是无法进一步地检测图像中车辆的行为，进而无法判断图像中车辆的行为是否对本车行驶产生影响。
5.上述对问题的发现过程的描述，仅用于辅助理解本公开的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

6.为了解决现有技术存在的至少一个问题，本公开的至少一个实施例提供了一种确定提示信息的方法、装置、电子设备及非暂态计算机可读存储介质。
7.第一方面，本公开实施例提出一种确定提示信息的方法，所述方法包括：
8.获取引导车辆搭载的图像采集设备拍摄的所述引导车辆前方道路的道路图像；
9.在预设的检测周期内，以所述图像采集设备拍摄到的第一帧道路图像作为检测图像，从所述检测图像中，识别出位于所述引导车辆周边的至少一辆目标车辆的检测框；
10.将所述图像采集设备在所述检测周期内拍摄的其他帧道路图像作为跟踪图像，针对每一帧跟踪图像，基于该帧跟踪图像之前已识别出的目标车辆的检测框及该帧跟踪图像，确定所述目标车辆在该帧跟踪图像中的检测框和所述目标车辆的车轮接地线参数；
11.基于在所述检测周期内确定的所述引导车辆前方道路的地面方程、所述检测周期内跟踪图像对应的目标车辆的检测框和目标车辆的车轮接地线参数，确定是否提醒引导车辆注意所述目标车辆。
12.第二方面，本公开实施例还提出一种确定提示信息的装置，所述装置包括：
13.获取单元，用于获取引导车辆搭载的图像采集设备拍摄的所述引导车辆前方道路的道路图像；
14.车辆检测单元，用于在预设的检测周期内，以所述图像采集设备拍摄到的第一帧道路图像作为检测图像，从所述检测图像中，识别出位于所述引导车辆周边的至少一辆目标车辆的检测框；
15.车辆跟踪单元，用于将所述图像采集设备在所述检测周期内拍摄的其他帧道路图像作为跟踪图像，针对每一帧跟踪图像，基于该帧跟踪图像之前已识别出的目标车辆的检测框及该帧跟踪图像，确定所述目标车辆在该帧跟踪图像中的检测框和所述目标车辆的车轮接地线参数；
16.确定提示单元，用于基于在所述检测周期内确定的所述引导车辆前方道路的地面方程、所述检测周期内跟踪图像对应的目标车辆的检测框和目标车辆的车轮接地线参数，确定是否提醒引导车辆注意所述目标车辆。
17.第三方面，本公开实施例还提出一种电子设备，包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行如第一方面所述方法的步骤。
18.第四方面，本公开实施例还提出一种非暂态计算机可读存储介质，用于介质存储程序或指令，所述程序或指令使计算机执行如第一方面所述方法的步骤。
19.第五方面，本公开实施例还提出一种计算机程序产品，其中，该计算机程序产品包括计算机程序，该计算机程序存储在非暂态计算机可读存储介质中，计算机的至少一个处理器从存储介质读取并执行该计算机程序，使得计算机执行如第一方面所述方法的步骤。
20.可见，本公开的至少一个实施例中，通过获取引导车辆前方道路的道路图像，对作为检测图像的道路图像进行目标车辆检测，可得到目标车辆的检测框；对作为跟踪图像的道路图像进行目标车辆跟踪，可得到目标车辆在跟踪图像中的检测框和目标车辆的车轮接地线参数；进而可根据目标车辆的检测框和车轮接地线参数以及引导车辆前方道路的地面方程，确定是否提醒引导车辆注意目标车辆，从而降低事故发生的可能性，达到辅助司机驾驶的目的。
附图说明
21.为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
22.图1是本公开实施例提供的一种引导车辆的示例性架构图；
23.图2是本公开实施例提供的一种智能驾驶系统的示例性框图；
24.图3是本公开实施例提供的一种确定提示信息的装置的示例性框图；
25.图4是本公开实施例提供的一种电子设备的示例性框图；
26.图5是本公开实施例提供的一种确定提示信息的方法的示例性流程图；
27.图6是本公开实施例提供的一种示例性应用场景图；
28.图7是图6所示的应用场景中车轮接地线的投影示意图。
具体实施方式
29.为了能够更清楚地理解本公开的上述目的、特征和优点，下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。基于所描述的本公开的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。
30.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
31.本公开实施例提供了一种确定提示信息的方法、装置、电子设备或非暂态计算机可读存储介质，通过获取引导车辆前方道路的道路图像，对作为检测图像的道路图像进行目标车辆检测，可得到目标车辆的检测框；对作为跟踪图像的道路图像进行目标车辆跟踪，可得到目标车辆在跟踪图像中的检测框和目标车辆的车轮接地线参数；进而可根据目标车辆的检测框和车轮接地线参数以及引导车辆前方道路的地面方程，确定是否提醒引导车辆注意目标车辆，从而降低事故发生的可能性，达到辅助司机驾驶的目的。
32.本公开实施例中提及的引导车辆可以为智能驾驶车辆，所述智能驾驶车辆为搭载不同等级智能驾驶系统的车辆，智能驾驶系统例如包括：无人驾驶系统、辅助驾驶系统、驾驶辅助系统、高度自动驾驶系统、完全自动驾驶车辆等等。
33.本公开实施例可以应用于电子设备，所述电子设备安装有智能驾驶系统。在一些实施例中，所述电子设备可以为引导车辆上装载的电子设备。在一些实施例中，所述电子设备可以为非车载的电子设备。例如，所述电子设备可用于测试智能驾驶算法。
34.本公开实施例可以应用于不同的场景，例如，ar(augmented reality，增强现实)导航场景中，可以通过视觉方式提醒驾驶员注意目标车辆。需要说明的是，本公开实施例的应用场景仅仅是本公开的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以将本公开应用于其他类似情景。
35.以下为了能够更清楚无误的阐述，本公开实施例以引导车辆为例对所述确定提示信息的方法、装置、电子设备或非暂态计算机可读存储介质进行说明。
36.图1为本公开实施例提供的一种引导车辆的示例性整体架构图。如图1所示，引导车辆包括：传感器组、智能驾驶系统100、车辆底层执行系统以及其他可用于驱动车辆和控制车辆运行的部件，例如制动踏板、方向盘和油门踏板。
37.传感器组，用于采集车辆外界环境的数据和探测车辆的位置数据。传感器组例如包括但不限于图像采集设备(例如摄像头)、激光雷达、毫米波雷达、超声波雷达、gps(global positioning system，全球定位系统)和imu(inertial measurement unit，惯性测量单元)中的至少一个。
38.在一些实施例中，传感器组，还用于采集车辆的动力学数据，传感器组例如还包括但不限于车轮转速传感器、速度传感器、加速度传感器、方向盘转角传感器、前轮转角传感器中的至少一个。
39.智能驾驶系统100，用于获取传感器组的传感数据，其中，所述传感数据包括但不限于图像、视频、激光点云、毫米波、gps信息、车辆状态等。在一些实施例中，智能驾驶系统100基于所述传感数据进行环境感知和车辆定位，生成感知信息和车辆位姿；智能驾驶系统100基于所述感知信息和车辆位姿进行规划和决策，生成规划和决策信息；智能驾驶系统100基于规划和决策信息生成车辆控制指令，并下发给车辆底层执行系统。
40.在一些实施例中，智能驾驶系统100可以为软件系统、硬件系统或者软硬件结合的系统。例如，智能驾驶系统100是运行在操作系统上的软件系统，车载硬件系统是支持操作系统运行的硬件系统。
41.在一些实施例中，智能驾驶系统100可以与云端服务器进行交互。在一些实施例中，智能驾驶系统100与云端服务器通过无线通讯网络(例如包括但不限于gprs网络、zigbee网络、wifi网络、3g网络、4g网络、5g网络等无线通讯网络)进行交互。
42.在一些实施例中，云端服务器用于与车辆进行交互。其中，所述云端服务器可以向车辆发送环境信息、定位信息、控制信息及车辆智能驾驶过程中需要的其他信息。在一些实施例中，所述云端服务器可以接收来自车端的传感数据、车辆状态信息、车辆行驶信息以及车辆请求的相关信息。在一些实施例中，云端服务器可以基于用户设置或车辆请求对所述车辆进行远程控制。在一些实施例中，云端服务器可以是一个服务器，也可以是一个服务器群组。服务器群组可以是集中式的，也可以是分布式的。在一些实施例中，云端服务器可以是本地的或远程的。
43.车辆底层执行系统，用于接收车辆控制指令，并基于所述车辆控制指令控制车辆行驶。在一些实施例中，车辆底层执行系统包括但不限于：转向系统、制动系统和驱动系统。在一些实施例中，所述车辆底层执行系统还可包括底层控制器，用于可以解析车辆控制指令，并将其分别下发至转向系统、制动系统和驱动系统等对应系统。
44.在一些实施例中，引导车辆还可包括图1中未示出的车辆can总线，车辆can总线连接车辆底层执行系统。智能驾驶系统100与车辆底层执行系统之间的信息交互通过车辆can总线进行传递。
45.图2为本公开实施例提供的一种智能驾驶系统200的示例性框图。在一些实施例中，智能驾驶系统200可以实现为图1中的智能驾驶系统100或者智能驾驶系统100的一部分，用于控制车辆行驶。
46.如图2所示，智能驾驶系统200可划分为多个模块，例如可包括：感知模块201、规划模块202、控制模块203、提示模块204以及其他一些可用于智能驾驶的模块。
47.感知模块201用于进行环境感知与定位。在一些实施例中，感知模块201用于获取传感器数据、v2x(vehicle to x，车用无线通信)数据、高精度地图等数据并基于以上至少一种数据进行环境感知与定位，生成感知信息和定位信息。其中，感知信息可包括但不限于以下至少一个：障碍物信息、道路标志/标记、行人/车辆信息、可行驶区域。定位信息包括车辆位姿。
48.规划模块202用于进行路径规划和决策。在一些实施例中，规划模块202基于感知模块201生成的感知信息和定位信息，生成规划和决策信息。在一些实施例中，规划模块202还可以结合v2x数据、高精度地图等数据中的至少一种，生成规划和决策信息。其中，规划信息可包括但不限于规划路径等；决策信息可包括但不限于以下至少一种：行为(例如包括但不限于跟车、超车、停车、绕行等)、车辆航向、车辆速度、车辆的期望加速度、期望的方向盘转角等。
49.控制模块203用于基于规划和决策信息生成车辆底层执行系统的控制指令，并下发控制指令，以使车辆底层执行系统控制车辆行驶。其中，控制指令可包括但不限于：方向盘转向、横向控制指令、纵向控制指令等。
50.提示模块204用于对作为检测图像的道路图像进行目标车辆检测，得到目标车辆的检测框；对作为跟踪图像的道路图像进行目标车辆跟踪，得到目标车辆在跟踪图像中的检测框和目标车辆的车轮接地线参数；进而根据目标车辆的检测框和车轮接地线参数以及
引导车辆前方道路的地面方程，确定是否提醒引导车辆注意目标车辆，从而降低事故发生的可能性，达到辅助司机驾驶的目的。
51.在一些实施例中，提示模块204的功能可集成到感知模块201、规划模块202或控制模块203中，也可配置为与智能驾驶系统200相独立的模块，提示模块204可以为软件模块、硬件模块或者软硬件结合的模块。例如，提示模块204是运行在操作系统上的软件模块，车载硬件系统是支持操作系统运行的硬件系统。
52.图3为本公开实施例提供的一种确定提示信息的装置300的示例性框图。在一些实施例中，确定提示信息的装置300可以实现为图2中的提示模块204或者提示模块204的一部分。
53.如图3所示，确定提示信息的装置300可包括但不限于以下单元：获取单元301、车辆检测单元302、车辆跟踪单元303和确定提示单元304。
54.获取单元301
55.获取单元301，用于获取车辆前方的环境信息。在一些实施例中，获取单元301获取引导车辆搭载的图像采集设备拍摄的所述引导车辆前方道路的道路图像。
56.可以理解，道路图像中除了包括道路本身，还包括例如行驶或停留在道路上的车辆、行人、道路两侧的建筑物、路牌等环境信息。道路图像可以理解为引导车辆前方的环境图像，该环境图像中包括道路信息。
57.在一些实施例中，图像采集设备的图像采集帧率为每秒20帧，也即，图像采集设备每秒可以拍摄20帧道路图像，可以理解，本实施例仅举例说明，并不限定图像采集帧率的具体取值，本领域技术人员可根据实际需要进行设置。
58.在一些实施例中，图像采集设备可以采用市面上已经普遍使用的摄像头，摄像头的种类和型号可根据实际需要进行选择，本实施例不做限定。
59.车辆检测单元302
60.车辆检测单元302，用于对作为检测图像的道路图像进行目标车辆检测，得到目标车辆的检测框。在一些实施例中，车辆检测单元302在预设的检测周期内，以图像采集设备拍摄到的第一帧道路图像作为检测图像，从检测图像中，识别出位于引导车辆周边的至少一辆目标车辆的检测框。
61.在一些实施例中，预设的检测周期可以为500毫秒，也即，图像检测帧率为每秒2帧，也即每秒有2帧道路图像作为检测图像，可以理解，本实施例仅举例说明，并不限定检测周期的具体取值，本领域技术人员可根据实际需要进行设置。
62.在一些实施例中，车辆检测单元302可将检测图像输入目标检测网络，得到目标检测网络输出的目标信息集合，所述目标信息集合中的每个目标信息均包括目标类型及目标检测框。车辆检测单元302可从目标信息集合中筛选出目标类型为车辆的目标信息，得到引导车辆周边的至少一辆目标车辆的检测框。
63.其中，目标检测网络的输入为图像，输出为该图像中不同目标的类型及检测框。检测框(bounding box)为二维框，可以表示目标在图像中的位置。
64.在一些实施例中，目标检测网络可以被训练为直接输出目标车辆的检测框，也即，目标检测网络的输入为检测图像，输出为检测图像中所有车辆的检测框。本实施例中，检测框包括全车框、车尾框和车头框，其中，全车框为可以框住目标车辆整车的矩形框；车尾框
为可以框住目标车辆车尾的矩形框；车头框为可以框住目标车辆车头的矩形框。在一些实施例中，目标检测网络采用深度学习目标检测工具箱mmdetection进行训练。
65.在一些实施例中，目标检测网络可以采用不同的网络，例如目标检测网络可以为ssd(single shot multibox detector)网络，又例如，目标检测网络可以为深度学习领域其他的目标检测网络。
66.车辆跟踪单元303
67.车辆跟踪单元303，用于对作为跟踪图像的道路图像进行目标车辆跟踪，得到目标车辆在跟踪图像中的检测框和目标车辆的车轮接地线参数。其中，车轮接地线为车轮与地面接触点的连线。在一些实施例中，车辆跟踪单元303将图像采集设备在检测周期内拍摄的其他帧道路图像作为跟踪图像，针对每一帧跟踪图像，基于该帧跟踪图像之前已识别出的目标车辆的检测框及该帧跟踪图像，确定所述目标车辆在该帧跟踪图像中的检测框和所述目标车辆的车轮接地线参数。其中，车轮接地线参数可以理解为车轮接地线的斜率和截距。
68.在一些实施例中，若图像采集设备的图像采集帧率为每秒20帧，且车辆检测单元302的图像检测帧率为每秒2帧，那么一个检测周期内作为跟踪图像的道路图像共9帧，也即，车辆跟踪单元303每秒可以对18帧道路图像进行目标车辆跟踪。
69.在一些实施例中，实时进行检测或跟踪。例如，图像采集设备每拍摄一帧道路图像，则进行一次检测或跟踪，也即，若该帧道路图像作为检测图像，则车辆检测单元302对该帧道路图像进行目标车辆检测；若该帧道路图像作为跟踪图像，则车辆跟踪单元303对该帧道路图像进行目标车辆跟踪。其中，车辆跟踪单元303基于该帧道路图像之前已识别出的目标车辆的检测框及该帧道路图像，确定所述目标车辆在该帧道路图像中的检测框和所述目标车辆的车轮接地线参数。
70.在一些实施例中，批量进行检测和跟踪。例如，图像采集设备在预设的检测周期内拍摄多帧道路图像，对检测周期内的多帧图像批量进行检测和跟踪，也即，车辆检测单元302将检测周期内第一帧道路图像作为检测图像进行目标车辆检测；车辆跟踪单元303将检测周期内其他帧道路图像作为跟踪图像进行目标车辆跟踪。其中，车辆跟踪单元303针对每一帧跟踪图像，基于该帧跟踪图像之前已识别出的目标车辆的检测框及该帧跟踪图像，确定所述目标车辆在该帧跟踪图像中的检测框和所述目标车辆的车轮接地线参数。
71.在一些实施例中，车辆跟踪单元303可基于检测图像中至少一辆目标车辆的检测框，确定检测图像对应的裁剪框集合。在一些实施例中，车辆跟踪单元303可针对任一帧跟踪图像(不包括检测图像的下一帧跟踪图像)，基于该帧跟踪图像之前的第一帧检测图像(该第一帧检测图像与该帧跟踪图像之间不存在检测图像)对应的检测框集合，以及基于该帧跟踪图像与所述第一帧检测图像之间的所有跟踪图像对应的检测框集合，确定该帧跟踪图像对应的裁剪框集合。
72.在一些实施例中，车辆跟踪单元303针对检测图像中的任一检测框，确定该检测框的中心位置作为裁剪框的中心位置。在一些实施例中，车辆跟踪单元303可针对任一帧跟踪图像，基于该帧跟踪图像之前的第一帧检测图像(该第一帧检测图像与该帧跟踪图像之间不存在检测图像)中的任一目标车辆的检测框的中心位置，以及基于该帧跟踪图像与所述第一帧检测图像之间的所有跟踪图像中同一目标车辆的检测框的中心位置，确定该帧跟踪图像对应的裁剪框的中心位置。
73.例如，在一个检测周期内，第2帧道路图像(作为跟踪图像)的裁剪框的中心位置是第1帧道路图像(作为检测图像)中目标车辆的检测框的中心位置；第3帧道路图像(作为跟踪图像)的裁剪框的中心位置是基于同一目标车辆在第1帧的检测框的中心位置和第2帧的检测框的中心位置，进行预测得到；第4帧道路图像(作为跟踪图像)的裁剪框的中心位置是基于同一目标车辆在第1帧的检测框的中心位置、第2帧的检测框的中心位置和第3帧的检测框的中心位置，进行预测得到。
74.其中，预测的方式可以为：将目标车辆在不同帧图像中的检测框的中心位置进行连线，在连线的延长线上进行预测。
75.在一些实施例中，车辆跟踪单元303针对检测图像中的任一检测框，将该检测框的长和宽均扩大预设倍数作为裁剪框的长和宽，得到该检测框对应的裁剪框，该裁剪框用于裁剪该检测图像的下一帧跟踪图像。其中，将该检测框的长和宽均扩大预设倍数作为裁剪框的长和宽，目的在于裁剪框裁剪该检测图像的下一帧跟踪图像所得到的裁剪图像中能够包括目标车辆，便于对目标车辆进行跟踪的同时减少数据量。
76.在一些实施例中，车辆跟踪单元303针对任一帧跟踪图像，将该帧跟踪图像的上一帧跟踪图像中同一目标车辆的检测框的长和宽均扩大预设倍数作为该帧跟踪图像对应的裁剪框的长和宽，得到该检测框对应的裁剪框。
77.在一些实施例中，预设倍数为1.2、1.5或1.6，可以理解，本实施例仅举例说明，并不限定预设倍数的具体取值，本领域技术人员可根据实际需要进行设置。可以理解，车辆跟踪单元303针对任一帧检测图像的处理均类似，不再赘述。
78.在一些实施例中，车辆跟踪单元303可基于检测图像对应的裁剪框集合，确定每一帧跟踪图像对应的裁剪图像集合。在一些实施例中，车辆跟踪单元303可基于检测图像对应的裁剪框集合，确定所述检测图像的下一帧跟踪图像对应的裁剪图像集合。在一些实施例中，车辆跟踪单元303可针对任一帧跟踪图像(不包括检测图像的下一帧跟踪图像)，基于该帧跟踪图像之前的第一帧检测图像(该第一帧检测图像与该帧跟踪图像之间不存在检测图像)对应的检测框集合，以及基于该帧跟踪图像与所述第一帧检测图像之间的所有跟踪图像对应的检测框集合，确定该帧跟踪图像对应的裁剪框集合；进而基于该帧跟踪图像对应的裁剪框集合裁剪该帧跟踪图像，得到该帧跟踪图像对应的裁剪图像集合。
79.在一些实施例中，车辆跟踪单元303可将每一帧跟踪图像对应的裁剪图像集合输入车辆跟踪网络，得到车辆跟踪网络输出的所述目标车辆在每一帧跟踪图像中的检测框和目标车辆的车轮接地线参数。其中，车轮接地线参数是车轮接地线在裁剪图像中的斜率和截距。
80.在一些实施例中，车辆跟踪网络可以采用cnn(convolutional neural networks，卷积神经网络)回归网络，也可以采用计算机视觉中任意跟踪网络。在一些实施例中，车辆跟踪网络可以采用深度神经网络推理框架mnn。
81.确定提示单元304
82.确定提示单元304，用于确定是否提醒引导车辆注意目标车辆，从而降低事故发生的可能性，达到辅助司机驾驶的目的。在一些实施例中，确定提示单元304可基于在检测周期内确定的引导车辆前方道路的地面方程、检测周期内跟踪图像对应的目标车辆的检测框和目标车辆的车轮接地线参数，可判断所述目标车辆是否为危险车辆，若为危险车辆，则确
定提醒引导车辆注意所述目标车辆。其中，危险车辆为对自车(引导车辆)行驶行为产生影响、容易造成交通事故的车辆，例如，包括并线车辆、加塞车辆以及自车转弯、左前方行驶、右前方行驶时遇到的车辆等。
83.例如，若图像采集设备的图像采集帧率为每秒20帧，且车辆检测单元302的图像检测帧率为每秒2帧，那么一个检测周期内作为检测图像的道路图像是1帧，作为跟踪图像的道路图像共9帧，确定提示单元304结合这10帧的检测和跟踪结果，确定是否提醒引导车辆注意所述目标车辆。
84.在一些实施例中，确定提示单元304可通过ipm(inverse perspective mapping，反透视变换)的方式得到检测周期内引导车辆前方道路的地面方程。
85.在一些实施例中，确定提示单元304可基于检测周期内跟踪图像对应的目标车辆的检测框和目标车辆的车轮接地线参数，确定所述目标车辆的位置及朝向。在一些实施例中，确定提示单元304可基于图像传感器的内参和外参，将车轮接地线参数从图像坐标系转换至世界坐标系下，得到所述目标车辆的朝向。在一些实施例中，确定提示单元304可基于图像传感器的内参和外参，将检测周期内跟踪图像对应的目标车辆的检测框从图像坐标系转换至世界坐标系下，得到所述目标车辆的位置。
86.在一些实施例中，确定提示单元304可基于在检测周期内确定的引导车辆前方道路的地面方程、检测周期内跟踪图像对应的目标车辆的车轮接地线参数、目标车辆的位置及朝向、自车的位置及朝向，确定是否提醒引导车辆注意所述目标车辆。
87.在一些实施例中，确定提示单元304针对任一车轮接地线参数，若在世界坐标系下，该车轮接地线参数与所述地面方程非平行，则基于该车轮接地线参数对应的目标车辆的位置及朝向，预测该目标车辆的行驶轨迹；并基于自车的位置及朝向，预测自车的轨迹；进而基于该目标车辆的行驶轨迹和自车的行驶轨迹，确定是否提醒引导车辆注意所述目标车辆。
88.确定提示单元304基于目标车辆的行驶轨迹和自车的行驶轨迹可以判断目标车辆是否为对自车(引导车辆)行驶行为产生影响、容易造成交通事故的车辆，例如，包括并线车辆、加塞车辆以及自车转弯、左前方行驶、右前方行驶时遇到的车辆等。
89.在一些实施例中，确定提示单元304在确定提醒引导车辆注意所述目标车辆后，以视觉方式、声音方式或两者相结合的方式进行提醒，以使驾驶员能够及时获知提醒。
90.在一些实施例中，确定提示信息的装置300中各单元的划分仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如获取单元301、车辆检测单元302、车辆跟踪单元303和确定提示单元304中的至少两个单元可以实现为一个单元；获取单元301、车辆检测单元302、车辆跟踪单元303或确定提示单元304也可以划分为多个子单元。可以理解的是，各个单元或子单元能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能。
91.图4是本公开实施例提供的一种电子设备的结构示意图。电子设备可支持智能驾驶系统的运行。电子设备可以为引导车辆的车载设备，也可以为非车载的设备。
92.如图4所示，电子设备包括：至少一个处理器401、至少一个存储器402和至少一个通信接口403。电子设备中的各个组件通过总线系统404耦合在一起。通信接口403，用于与
外部设备之间的信息传输。可理解地，总线系统404用于实现这些组件之间的连接通信。总线系统404除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图4中将各种总线都标为总线系统404。
93.可以理解，本实施例中的存储器402可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
94.在一些实施方式中，存储器402存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
95.其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础任务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(mediaplayer)、浏览器(browser)等，用于实现各种应用任务。实现本公开实施例提供的确定提示信息的方法的程序可以包含在应用程序中。
96.在本公开实施例中，处理器401通过调用存储器402存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器401用于执行本公开实施例提供的确定提示信息的方法各实施例的步骤。
97.本公开实施例提供的确定提示信息的方法可以应用于处理器401中，或者由处理器401实现。处理器401可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecific integratedcircuit，asic)、现成可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
98.本公开实施例提供的确定提示信息的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402，处理器401读取存储器402中的信息，结合其硬件完成方法的步骤。
99.图5为本公开实施例提供的一种确定提示信息的方法的示例性流程图。该方法的执行主体为电子设备，在一些实施例中，该方法的执行主体还可以为电子设备所支持的智能驾驶系统。为便于描述，以下实施例中以电子设备为执行主体说明确定提示信息的方法的流程。
100.如图5所示，在步骤501中，电子设备获取引导车辆搭载的图像采集设备拍摄的所述引导车辆前方道路的道路图像。
101.可以理解，道路图像中除了包括道路本身，还包括例如行驶或停留在道路上的车辆、行人、道路两侧的建筑物、路牌等环境信息。道路图像可以理解为引导车辆前方的环境图像，该环境图像中包括道路信息。
102.在步骤502中，电子设备在预设的检测周期内，以所述图像采集设备拍摄到的第一帧道路图像作为检测图像，从所述检测图像中，识别出位于所述引导车辆周边的至少一辆目标车辆的检测框。
103.在一些实施例中，电子设备可将检测图像输入目标检测网络，得到目标检测网络输出的目标信息集合，所述目标信息集合中的每个目标信息均包括目标类型及目标检测框；进而可从目标信息集合中筛选出目标类型为车辆的目标信息，得到引导车辆周边的至少一辆目标车辆的检测框。
104.其中，目标检测网络的输入为图像，输出为该图像中不同目标的类型及检测框。检测框(bounding box)为二维框，可以表示目标在图像中的位置。
105.在一些实施例中，目标检测网络可以被训练为直接输出目标车辆的检测框，也即，目标检测网络的输入为检测图像，输出为检测图像中所有车辆的检测框。本实施例中，检测框包括全车框、车尾框和车头框，其中，全车框为可以框住目标车辆整车的矩形框；车尾框为可以框住目标车辆车尾的矩形框；车头框为可以框住目标车辆车头的矩形框。在一些实施例中，目标检测网络采用深度学习目标检测工具箱mmdetection进行训练。
106.在一些实施例中，目标检测网络可以采用不同的网络，例如目标检测网络可以为ssd(single shot multibox detector)网络，又例如，目标检测网络可以为深度学习领域其他的目标检测网络。
107.在步骤503中，电子设备将所述图像采集设备在所述检测周期内拍摄的其他帧道路图像作为跟踪图像，针对每一帧跟踪图像，基于该帧跟踪图像之前已识别出的目标车辆的检测框及该帧跟踪图像，确定所述目标车辆在该帧跟踪图像中的检测框和所述目标车辆的车轮接地线参数。其中，车轮接地线为车轮与地面接触点的连线。车轮接地线参数可以理解为车轮接地线的斜率和截距。
108.在一些实施例中，电子设备基于检测图像中至少一辆目标车辆的检测框，确定检测图像对应的裁剪框集合；进而基于检测图像对应的裁剪框集合，确定每一帧跟踪图像对应的裁剪图像集合；从而将每一帧跟踪图像对应的裁剪图像集合输入车辆跟踪网络，得到车辆跟踪网络输出的所述目标车辆在每一帧跟踪图像中的检测框和所述目标车辆的车轮接地线参数。其中，车轮接地线参数是车轮接地线在裁剪图像中的斜率和截距。
109.在一些实施例中，电子设备针对检测图像中的任一检测框，确定该检测框的中心位置作为裁剪框的中心位置，并将该检测框的长和宽均扩大预设倍数作为裁剪框的长和宽，得到该检测框对应的裁剪框，该裁剪框用于裁剪所述检测图像的下一帧跟踪图像；进而基于检测图像对应的裁剪框集合，确定所述检测图像的下一帧跟踪图像对应的裁剪图像集合。其中，预设倍数为1.2、1.5或1.6，可以理解，本实施例仅举例说明，并不限定预设倍数的具体取值，本领域技术人员可根据实际需要进行设置。
110.在一些实施例中，电子设备针对任一帧跟踪图像(不包括检测图像的下一帧跟踪图像)，基于该帧跟踪图像之前的第一帧检测图像对应的检测框集合，以及基于该帧跟踪图像与所述第一帧检测图像之间的所有跟踪图像对应的检测框集合，确定该帧跟踪图像对应的裁剪框集合；从而基于该帧跟踪图像对应的裁剪框集合裁剪该帧跟踪图像，得到该帧跟踪图像对应的裁剪图像集合。
111.在一些实施例中，电子设备针对任一帧跟踪图像(不包括检测图像的下一帧跟踪图像)，基于该帧跟踪图像之前的第一帧检测图像中目标车辆的检测框的中心位置，以及基于该帧跟踪图像与所述第一帧检测图像之间的所有跟踪图像中同一目标车辆的检测框的中心位置，确定该帧跟踪图像对应的裁剪框的中心位置；进而将该帧跟踪图像的上一帧跟
踪图像中同一目标车辆的检测框的长和宽均扩大预设倍数作为该帧跟踪图像对应的裁剪框的长和宽，得到该检测框对应的裁剪框。其中，预设倍数为1.2、1.5或1.6，可以理解，本实施例仅举例说明，并不限定预设倍数的具体取值，本领域技术人员可根据实际需要进行设置。
112.在一些实施例中，电子设备可将每一帧跟踪图像对应的裁剪图像集合输入车辆跟踪网络，得到车辆跟踪网络输出的所述目标车辆在每一帧跟踪图像中的检测框和目标车辆的车轮接地线参数。
113.在一些实施例中，车辆跟踪网络可以采用cnn(convolutional neural networks，卷积神经网络)回归网络，也可以采用计算机视觉中任意跟踪网络。在一些实施例中，车辆跟踪网络可以采用深度神经网络推理框架mnn。
114.在一些实施例中，电子设备实时进行检测或跟踪。例如，图像采集设备每拍摄一帧道路图像，则电子设备进行一次检测或跟踪，也即，若该帧道路图像作为检测图像，则电子设备对该帧道路图像进行目标车辆检测；若该帧道路图像作为跟踪图像，则电子设备对该帧道路图像进行目标车辆跟踪。其中，电子设备基于该帧道路图像之前已识别出的目标车辆的检测框及该帧道路图像，确定所述目标车辆在该帧道路图像中的检测框和所述目标车辆的车轮接地线参数。
115.在一些实施例中，电子设备批量进行检测和跟踪。例如，图像采集设备在预设的检测周期内拍摄多帧道路图像，则电子设备对检测周期内的多帧图像批量进行检测和跟踪，也即，电子设备将检测周期内第一帧道路图像作为检测图像进行目标车辆检测；电子设备将检测周期内其他帧道路图像作为跟踪图像进行目标车辆跟踪。其中，电子设备针对每一帧跟踪图像，基于该帧跟踪图像之前已识别出的目标车辆的检测框及该帧跟踪图像，确定所述目标车辆在该帧跟踪图像中的检测框和所述目标车辆的车轮接地线参数。
116.在步骤504中，电子设备基于在所述检测周期内确定的所述引导车辆前方道路的地面方程、所述检测周期内跟踪图像对应的目标车辆的检测框和目标车辆的车轮接地线参数，确定是否提醒引导车辆注意所述目标车辆。
117.例如，若图像采集设备的图像采集帧率为每秒20帧，且图像检测帧率为每秒2帧，那么一个检测周期内作为检测图像的道路图像是1帧，作为跟踪图像的道路图像共9帧，电子设备结合这10帧的检测和跟踪结果，确定是否提醒引导车辆注意所述目标车辆。
118.在一些实施例中，电子设备可通过ipm(inverse perspective mapping，反透视变换)的方式得到检测周期内引导车辆前方道路的地面方程。
119.在一些实施例中，电子设备基于检测周期内跟踪图像对应的目标车辆的检测框和目标车辆的车轮接地线参数，确定所述目标车辆的位置及朝向；并检测自车的位置及朝向；进而基于在检测周期内确定的引导车辆前方道路的地面方程、检测周期内跟踪图像对应的目标车辆的车轮接地线参数、目标车辆的位置及朝向、自车的位置及朝向，确定是否提醒引导车辆注意所述目标车辆。
120.在一些实施例中，电子设备基于图像传感器的内参和外参，将车轮接地线参数从图像坐标系转换至世界坐标系下，得到所述目标车辆的朝向；进而基于图像传感器的内参和外参，将检测周期内跟踪图像对应的目标车辆的检测框从图像坐标系转换至世界坐标系下，得到所述目标车辆的位置。
121.在一些实施例中，电子设备针对任一车轮接地线参数，若在世界坐标系下，该车轮接地线参数与所述地面方程非平行，则基于该车轮接地线参数对应的目标车辆的位置及朝向，预测该目标车辆的行驶轨迹；并基于所述自车的位置及朝向，预测自车的轨迹；从而基于该目标车辆的行驶轨迹和所述自车的行驶轨迹，确定是否提醒引导车辆注意所述目标车辆。
122.在一些实施例中，电子设备基于目标车辆的行驶轨迹和自车的行驶轨迹可以判断目标车辆是否为对自车(引导车辆)行驶行为产生影响、容易造成交通事故的车辆，例如，包括并线车辆、加塞车辆以及自车转弯、左前方行驶、右前方行驶时遇到的车辆等。
123.在一些实施例中，电子设备在确定提醒引导车辆注意所述目标车辆后，以视觉方式、声音方式或两者相结合的方式进行提醒，以使驾驶员能够及时获知提醒。
124.在一些实施例中，图像采集设备的图像采集帧率为每秒20帧，也即，图像采集设备每秒可以拍摄20帧道路图像。预设的检测周期为500毫秒，也即，图像检测帧率为每秒2帧，也即每秒有2帧道路图像作为检测图像。一个检测周期内作为跟踪图像的道路图像共9帧，也即，电子设备每秒可以对18帧道路图像进行目标车辆跟踪。
125.在一些实施例中，在一个检测周期内，第2帧道路图像(作为跟踪图像)的裁剪框的中心位置是第1帧道路图像(作为检测图像)中目标车辆的检测框的中心位置；第3帧道路图像(作为跟踪图像)的裁剪框的中心位置是基于同一目标车辆在第1帧的检测框的中心位置和第2帧的检测框的中心位置，进行预测得到；第4帧道路图像(作为跟踪图像)的裁剪框的中心位置是基于同一目标车辆在第1帧的检测框的中心位置、第2帧的检测框的中心位置和第3帧的检测框的中心位置，进行预测得到。其中，预测的方式可以为：将目标车辆在不同帧图像中的检测框的中心位置进行连线，在连线的延长线上进行预测。
126.结合以上实施例提供的确定提示信息的方法，以图像检测帧率为每秒f帧为例，对确定提示信息的方法流程进行说明，包括如下5个步骤：
127.1、在第0、f、...、nf帧利用目标检测网络进行目标车辆检测，得到目标车辆的全车框。其中，目标检测网络为深度学习领域中的ssd网络。
128.2、在第0、f、...、nf帧得到的全车框固定中心位置、长宽扩大预设倍数，在第1、f 1、...、nf 1帧上裁剪图像，送入车辆跟踪网络，得到在第1、f 1、...、nf 1帧图像中相应的全车框，同时回归出接地线的斜率和截距。其中，车辆跟踪网络为cnn回归网络。
129.3、根据第0和1、f和f 1、...、nf和nf 1帧得到的全车框，推测出第2、f 1、...、nf 2帧对应的全车框的中心位置、并将第1、f 1、...、nf 1帧的全车框的长宽扩大预设倍数，在第2、f 2、...、nf 2帧上裁剪图像，送入车辆跟踪网络，得到在第2、f 2、...、nf 2帧图像中相应的全车框，同时回归出目标车辆的车轮接地线参数。车轮接地线参数为车轮接地线在裁剪图像中的斜率和截距。
130.4、在第3至f-1、f 3至2f-1、...、nf 3至(n 1)f-1帧时，重复步骤3，得到对应的全车框以及车轮接地线参数。
131.5、通过ipm的方式得到检测周期内引导车辆前方道路的地面方程；并基于检测周期内跟踪图像对应的目标车辆的全车框和目标车辆的车轮接地线参数，确定目标车辆在三维坐标系下的位置及朝向；以及检测自车(引导车辆)在三维坐标系下的位置及朝向；进而基于地面方程、车轮接地线参数、目标车辆的位置及朝向、自车的位置及朝向，确定是否提
醒引导车辆注意所述目标车辆。
132.图6是本公开实施例提供的一种示例性应用场景图，基于以上实施例提供的确定提示信息的方法，可以得到图6中不同目标车辆的检测框，以及不同目标车辆的车轮接地线。图7是图6所示的应用场景中车轮接地线的投影示意图，该投影示意图通过ipm的方式由图6变换生成。参见图7，白色线条为车轮接地线，黑色区域可以理解为与车轮接地线无关。
133.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员能够理解，本公开实施例并不受所描述的动作顺序的限制，因为依据本公开实施例，某些步骤可以采用其他顺序或者同时进行。另外，本领域技术人员能够理解，说明书中所描述的实施例均属于可选实施例。
134.本公开实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如确定提示信息的方法各实施例的步骤，为避免重复描述，在此不再赘述。
135.本公开实施例还提出一种计算机程序产品，其中，该计算机程序产品包括计算机程序，该计算机程序存储在非暂态计算机可读存储介质中，计算机的至少一个处理器从存储介质读取并执行该计算机程序，使得计算机执行如确定提示信息的方法各实施例的步骤，为避免重复描述，在此不再赘述。
136.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
137.本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。
138.本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
139.虽然结合附图描述了本公开的实施方式，但是本领域技术人员可以在不脱离本公开的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。