车辆航向角的检测方法、装置、设备及存储介质与流程

1.本技术涉及智能驾驶技术领域，尤其涉及一种车辆航向角的检测方法、装置、设备及存储介质。


背景技术：

2.在智能驾驶系统中，目标车辆的航向角是对目标车辆进行定位和运动状态估计的主要参数之一，其既描述目标车辆在当前时刻的位置信息，也影响目标车辆在未来时刻的运动轨迹。
3.目前，车辆航向角的检测方式主要包括：1.采用多帧图像中目标车辆的物理坐标点(横向与纵向位置)连成一条行车轨迹推算出航向角，但是其依赖于多帧图像，存在检测滞后性；2.利用深度学习网络分割出车辆的纵向底盘线，由纵向底盘线的朝向推算航向角，但得到纵向底盘线是一条粗略估算线，其精度不够且计算量大；3.利用3d的深度学习网络直接预测航向角的大小，但其无法适应多种复杂场景且计算量大。可见，当前的车辆航向角的检测方式存在精度差的问题。


技术实现要素：

4.本技术提供了一种车辆航向角的检测方法、装置、设备及存储介质，以解决车辆航向角的检测方式存在精度差的技术问题。
5.为了解决上述技术问题，第一方面，本技术实施例提供了一种车辆航向角的检测方法，包括：获取在本车预设范围内的目标车辆的实物图像；根据实物图像，确定目标车辆的整车检测框和车身检测框，车身检测框为车头回归框、车尾回归框或车侧边回归框；基于整车检测框和车身检测框，对实物图像进行透视操作，得到目标车辆的平面透视图；对平面透视图进行几何运算，得到目标车辆的航向角。
6.本实施例通过获取在本车预设范围内的目标车辆的实物图像，并根据实物图像，确定目标车辆的整车检测框和车身检测框，以采用单张图像定位目标车辆在图像中的位置，以及得到目标车辆的车头位置或车尾位置；基于整车检测框和车身检测框，对实物图像进行透视操作，得到目标车辆的平面透视图，以及对平面透视图进行几何运算，得到目标车辆的航向角，从而将检测过程的三维空间问题转换为二维平面问题，有效降低运算复杂度和算法输出延迟，进而实现降低运算量和提高精度，同时能够适用于多种场景。
7.在一实施例中，根据实物图像，确定目标车辆的整车检测框和车身检测框，包括：利用预设的整车检测网络，对实物图像进行特征提取，输出目标车辆的整车检测框；基于整车检测框，对实物图像进行剪切操作，得到整车检测框图像；
利用预设的车身检测网络，对整车检测框图像进行特征提取，输出目标车辆的车身检测框。
8.由于整车检测框和车身检测框的特征明显，所以本实施例通过人工智能网络模型推理得到整车检测框和车身检测框，能够有效提高航向角的计算精度。
9.在一实施例中，基于整车检测框和车身检测框，对实物图像进行透视操作，得到目标车辆的平面透视图，包括：确定第一端点、第二端点、第三端点和第四端点，第一端点和第二端点为整车检测框在水平方向上的两个端点，第三端点和第四端点为车身检测框在水平方向上的两个端点；确定第一端点与第四端点之间的中点，第一端点与第四端点之间的距离最短；基于中点、第二端点和第三端点，模拟目标车辆的平面透视图，平面透视图为矩形。
10.本实施例通过将整车检测框和车身检测框转换到水平方向上，以得到四个端点的水平位置，并基于中点、第二端点和第三端点，模拟平面透视图，实现透视操作。
11.在一实施例中，对平面透视图进行几何运算，得到目标车辆的航向角，包括：确定平面透视图、本车摄像头焦点和道路灭点之间的平面几何关系；基于本车摄像头的焦距和目标车辆的预设长宽比，解算平面几何关系，得到目标车辆的航向角。
12.本实施例通过平面透视图与本车摄像头焦点和道路灭点建立平面几何关系，从而建立目标车辆与本车之间的平面几何关系，并利用道路灭点辅助校正平面几何关系，实现目标车辆的航向角的运算，同时提高运算精度。
13.在一实施例中，基于本车摄像头的焦距和目标车辆的预设长宽比，解算几何关系，得到目标车辆的航向角，包括：根据焦距与平面透视图的顶点横坐标，确定多个第一连线与第二连线之间的第一夹角，第一连线为平面透视图的顶点与本车摄像头焦点之间的连线，第二连线为道路灭点与本车摄像头焦点之间的连线；根据第一夹角，计算第一连线与本车摄像头的成像平面之间的第二夹角；根据第二夹角与目标车辆的预设长宽比，确定目标车辆的航向角。
14.本实施例通过确定夹角关系，最终确定航向角与各个已知夹角之间的关系，从而实现航向角解算。
15.在一实施例中，根据焦距与平面透视图的顶点横坐标，确定多个第一连线与第二连线之间的第一夹角之前，还包括：以第二连线与成像平面之间的交点为原点，根据实物图像的像素坐标，确定平面透视图的顶点对应在实物图像中的顶点横坐标。
16.本实施例通过实物图像的像素坐标，确定顶点横坐标，以得到实际情况下顶点之间在同一水平线上的位置关系，保证透视操作不会变形，从而提高候选航向角运算的精度。
17.在一实施例中，基于本车摄像头的焦距和目标车辆的预设长宽比，解算平面几何关系，得到目标车辆的航向角之前，还包括：利用预设的车型检测网络，对实物图像进行特征提取，输出目标车辆的车辆类型；
根据车辆类型与预设长宽比之间的对应关系，确定目标车辆的预设长宽比。
18.第二方面，本技术实施例提供一种车辆航向角的检测装置，包括：获取模块，用于获取在本车预设范围内的目标车辆的实物图像；确定模块，用于根据实物图像，确定目标车辆的整车检测框和车身检测框，车身检测框为车头回归框、车尾回归框或车侧边回归框；透视模块，用于基于整车检测框和车身检测框，对实物图像进行透视操作，得到目标车辆的平面透视图；运算模块，用于对平面透视图进行几何运算，得到目标车辆的航向角。
19.第三方面，本技术实施例提供一种终端设备，包括处理器和存储器，存储器用于存储计算机程序，计算机程序被处理器执行时实现上述第一方面的车辆航向角的检测方法。
20.第四方面，本技术实施例提供一种计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时实现上述第一方面的车辆航向角的检测方法。
21.需要说明的是，上述第二方面至第四方面的有益效果请参见上述第一方面的相关描述，在此不再赘述。
附图说明
22.图1为本技术实施例提供的车辆航向角的检测方法的流程示意图；图2为本技术实施例提供的整车检测框和车尾回归框的示意图；图3为本技术实施例提供的航向角的示意图；图4为本技术实施例提供的平面几何关系的示意图；图5为本技术实施例提供的灭点的示意图；图6为本技术实施例提供的车辆航向角的检测装置的结构示意图；图7为本技术实施例提供的终端设备的结构示意图。
具体实施方式
23.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
24.如相关技术记载，车辆航向角的检测方式主要包括：1.采用多帧图像中目标车辆的物理坐标点(横向与纵向位置)连成一条行车轨迹推算出航向角，但是其依赖于多帧图像，存在检测滞后性；2.利用深度学习网络分割出车辆的纵向底盘线，由纵向底盘线的朝向推算航向角，但得到纵向底盘线是一条粗略估算线，其精度不够且计算量大；3.利用3d的深度学习网络直接预测航向角的大小，但其无法适应多种复杂场景且计算量大。可见，当前的车辆航向角的检测方式存在精度差的问题。
25.为此，本技术实施例提供一种车辆航向角的检测方法、装置、设备及存储介质，通过获取在本车预设范围内的目标车辆的实物图像，并根据所述实物图像，确定所述目标车辆的整车检测框和车身检测框，以采用单张图像定位目标车辆在图像中的位置，以及得到目标车辆的车头位置或车尾位置；基于所述整车检测框和车身检测框，对所述实物图像进
行透视操作，得到所述目标车辆的平面透视图，以及对所述平面透视图进行几何运算，得到所述目标车辆的航向角，从而将检测过程的三维空间问题转换为二维平面问题，有效降低运算复杂度和算法输出延迟，进而实现降低运算量和提高精度，同时能够适用于多种场景。
26.请参照图1，图1为本技术实施例提供的一种车辆航向角的检测方法的流程示意图。本技术实施例的车辆航向角的检测方法可应用于终端设备，该终端设备与车载设备通信连接，终端设备包括但不限于智能手机、平板电脑、笔记本电脑、桌上型计算机、物理服务器和云服务器等计算设备，车载设备包括但不限于车辆can总线、车载传感器、车载摄像头和车载导航系统等。如图1所示，车辆航向角的检测方法包括步骤s101至步骤s104，详述如下：步骤s101，获取在本车预设范围内的目标车辆的实物图像。
27.在本步骤中，本车预设范围内包括本车前方、本车后方、本车左方和本车右方。终端设备与车载摄像头通信连接，车载摄像头采集目标车辆的实物图像，并实时发送至终端设备。可选地，在本车设置多个车载摄像头，以使本车能够采集360
°
范围内的图像。
28.步骤s102，根据所述实物图像，确定所述目标车辆的整车检测框和车身检测框，所述车身检测框为车头回归框、车尾回归框或车侧边回归框。
29.在本步骤中，通过将实物图像输入到预设的人工智能网络模型，利用人工智能网络模型对实物图像进行特征提取，并根据提取到的特征输出整车检测框和车身检测框。如图2所示，整车检测框包括整个目标车辆轮廓的包围框，车尾回归框为包括目标车辆车尾的包围框。可以理解的是，对于其他位置采集到的目标车辆的实物图像，得到的车身检测框还可以车头回归框或车侧边回归框，例如，安装于本车车尾上的摄像头采集到的目标车辆的实物图像，则车身检测框为车头回归框，安装于本车车门上的摄像头采集到的目标车辆的实物图像，则车身检测框为车侧边回归框。
30.步骤s103，基于所述整车检测框和车身检测框，对所述实物图像进行透视操作，得到所述目标车辆的平面透视图。
31.在本步骤中，透视操作为将物体进行二维平面化的过程。可选地，在整车检测框和车身检测框的竖直边上分别随机选取1个点，将选取到的点变换到同一水平方向上，则可以得到4个点在水平方向上的位置关系。如图2所示。由于整车检测框的一竖直边与车身检测框的一竖直边非常相邻，所以取两者对应点的中点作为新点，并基于三点确定一个平面，得到平面透视图。
32.可选地，将整车检测框的一竖直边与车身检测框的一竖直边视为重合，取其中一个竖直边的点作为上述新点。
33.步骤s104，对所述平面透视图进行几何运算，得到所述目标车辆的航向角。
34.在本步骤中，如图3所示，目标车辆的航向角为目标车辆的行驶方向与本车的纵轴之间的夹角。可选地，利用平面透视图，建立目标车辆与本车的几何位置关系，并通过对几何位置关系进行几何运算，得到目标车辆的航向角。
35.本实施例通过目标车辆的单张实物图像检测目标车辆的航向角，有效解决多张图像的检测方式所带来的输出延迟问题，通过透视操作，将三维物体转换到二维平面，有效降低计算复杂度，同时通过采集本车各个方向上的图像，能够适用于多种场景。
36.在一实施例中，在图1所示实施例的基础上，步骤s102包括：
利用预设的整车检测网络，对所述实物图像进行特征提取，输出所述目标车辆的所述整车检测框；基于所述整车检测框，对所述实物图像进行剪切操作，得到整车检测框图像；利用预设的车身检测网络，对所述整车检测框图像进行特征提取，输出所述目标车辆的所述车身检测框。
37.在本实施例中，整车检测网络为基于深度学习网络构建并训练得到的网络模型，例如yolov5网络。车身检测网络也是基于深度学习网络建构并训练得到的网络模型，例如repvgg网络。剪切操作为保留图像中的目标区域而去除其他区域的过程，剪切操作能够有效降低车身检测网络的运算量和提高检测精度。
38.可选地，将实物图像输入到整车检测网络，整车检测网络对实物图像进行特征提取，并将提取到的特征进行全连接后，输出为整车检测框。可以理解的是，车身检测网络的检测过程类似于整车检测网络，在此不再赘述。
39.由于整车检测框和车身检测框的特征明显，所以本实施例通过人工智能网络模型推理得到整车检测框和车身检测框，能够有效提高航向角的计算精度。
40.在一实施例中，在图1所示实施例的基础上，步骤s103包括：确定第一端点、第二端点、第三端点和第四端点，所述第一端点和第二端点为所述整车检测框在水平方向上的两个端点，所述第三端点和第四端点为所述车身检测框在所述水平方向上的两个端点；确定所述第一端点与第四端点之间的中点，所述第一端点与所述第四端点之间的距离最短；基于所述中点、所述第二端点和所述第三端点，模拟所述目标车辆的平面透视图，所述平面透视图为矩形。
41.在本实施例中，如图4所示，随机选取整车检测框和车尾回归框的竖直边上的四个点，将4个点变换为同一水平方向上，则得到第一端点、第二端点、第三端点和第四端点，其中取第一端点与第四端点的中点，基于三点确定一个平面的原理，模拟得到平面透视图。
42.可以理解的是，平面透视图的顶点在水平方向上的位置，即为中点、第二端点和第三端点在实物图像的同一水平线上的位置，属于已知量。而平面透视图的顶点在竖直方向上的位置属于未知量，其通过模拟得到。需要说明的是，该未知量不影响平面透视图结合本车摄像头焦点的几何运算。
43.本实施例通过将整车检测框和车身检测框转换到水平方向上，以得到四个端点的水平位置，并基于中点、第二端点和第三端点，模拟平面透视图，实现透视操作。
44.在一实施例中，对所述平面透视图进行几何运算，得到所述目标车辆的航向角，包括：确定所述平面透视图、本车摄像头焦点和道路灭点之间的平面几何关系；基于本车摄像头的焦距和所述目标车辆的预设长宽比，解算所述平面几何关系，得到所述目标车辆的航向角。
45.在本实施例中，如图5所示，道路灭点为垂直于本车摄像头的成像平面的两条平行线聚焦的点。如图4所示，连接平面透视图的顶点与本车摄像头焦点，以及连接灭点与本车摄像头焦点，以确定三者之间的平面几何关系。其中道路灭点能够辅助校正平面几何关系，
实现目标车辆的航向角的运算，同时提高运算精度。
46.可选地，所述基于本车摄像头的焦距和所述目标车辆的预设长宽比，解算所述几何关系，得到所述目标车辆的航向角，包括：根据所述焦距与所述平面透视图的顶点横坐标，确定多个第一连线与第二连线之间的第一夹角，所述第一连线为所述平面透视图的顶点与所述本车摄像头焦点之间的连线，所述第二连线为所述道路灭点与所述本车摄像头焦点之间的连线；根据所述第一夹角，计算所述第一连线与本车摄像头的成像平面之间的第二夹角；根据所述第二夹角与所述目标车辆的预设长宽比，确定所述目标车辆的航向角。
47.在本可选实施例中，顶点横坐标为顶点对应在实物图像上的像素横坐标。示例性地，如图4所示，基于三角函数，得到：;;;;基于三角形正弦定理，得到区域
①
存在几何关系：;基于三角形正弦定理，得到区域
②
存在几何关系：；将区域
①
和区域
②
的几何关系联立得到：；继续变换得到：;令：，，；则得到：；继续变换得到：;最后得到目标车辆的航向角：。
48.可选地，以所述第二连线与所述成像平面之间的交点为原点，根据所述实物图像的像素坐标，确定所述平面透视图的顶点对应在所述实物图像中的所述顶点横坐标。其中，基于平面透视图的顶点横坐标，则可以对应得到、、的像素长度，即顶点横坐标的绝对值为、、的像素长度。
49.在一实施例中，所述基于本车摄像头的焦距和所述目标车辆的预设长宽比，解算所述平面几何关系，得到所述目标车辆的航向角之前，还包括：利用预设的车型检测网络，对所述实物图像进行特征提取，输出所述目标车辆的车辆类型；根据所述车辆类型与预设长宽比之间的对应关系，确定所述目标车辆的预设长宽比。
50.在本实施例中，将实物图像输入到车型检测网络，整车检测网络对实物图像进行特征提取，并将提取到的特征进行全连接后，输出为车辆类型，则可以得到该车辆类型对应的长宽比n。
51.可以理解的是，图4所示平面几何关系仅用作示例，对于车头回归框或车侧边回归框的平面几何关系，可以基于本技术的发明构思确定得到，在此不再赘述。
52.为了执行上述方法实施例对应的车辆航向角的检测方法，以实现相应的功能和技术效果。参见图6，图6示出了本技术实施例提供的一种车辆航向角的检测装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分，本技术实施例提供的车辆航向角的检测装置，包括：获取模块601，用于获取在本车预设范围内的目标车辆的实物图像；确定模块602，用于根据所述实物图像，确定所述目标车辆的整车检测框和车身检测框，所述车身检测框为车头回归框、车尾回归框或车侧边回归框；透视模块603，用于基于所述整车检测框和车身检测框，对所述实物图像进行透视操作，得到所述目标车辆的平面透视图；运算模块604，用于对所述平面透视图进行几何运算，得到所述目标车辆的航向角。
53.在一实施例中，确定模块602，包括：第一提取单元，用于利用预设的整车检测网络，对所述实物图像进行特征提取，输出所述目标车辆的所述整车检测框；剪切单元，用于基于所述整车检测框，对所述实物图像进行剪切操作，得到整车检测框图像；第二提取单元，用于利用预设的车身检测网络，对所述整车检测框图像进行特征提取，输出所述目标车辆的所述车身检测框。
54.在一实施例中，透视模块603，包括：第一确定单元，用于确定第一端点、第二端点、第三端点和第四端点，所述第一端点和第二端点为所述整车检测框在水平方向上的两个端点，所述第三端点和第四端点为所述车身检测框在所述水平方向上的两个端点；第二确定单元，用于确定所述第一端点与第四端点之间的中点，所述第一端点与所述第四端点之间的距离最短；模拟单元，用于基于所述中点、所述第二端点和所述第三端点，模拟所述目标车辆的平面透视图，所述平面透视图为矩形。
55.在一实施例中，运算模块604，包括：第三确定单元，用于确定所述平面透视图、本车摄像头焦点和道路灭点之间的平面几何关系；
解算单元，用于基于本车摄像头的焦距和所述目标车辆的预设长宽比，解算所述平面几何关系，得到所述目标车辆的航向角。
56.在一实施例中，解算单元，包括：第一确定子单元，用于根据所述焦距与所述平面透视图的顶点横坐标，确定多个第一连线与第二连线之间的第一夹角，所述第一连线为所述平面透视图的顶点与所述本车摄像头焦点之间的连线，所述第二连线为所述道路灭点与所述本车摄像头焦点之间的连线；计算子单元，用于根据所述第一夹角，计算所述第一连线与本车摄像头的成像平面之间的第二夹角；第二确定子单元，用于根据所述第二夹角与所述目标车辆的预设长宽比，确定所述目标车辆的航向角。
57.在一实施例中，所解算单元，还包括：第三确定子单元，用于以所述第二连线与所述成像平面之间的交点为原点，根据所述实物图像的像素坐标，确定所述平面透视图的顶点对应在所述实物图像中的所述顶点横坐标。
58.在一实施例中，所述运算模块604，还包括：输出单元，用于利用预设的车型检测网络，对所述实物图像进行特征提取，输出所述目标车辆的车辆类型；第四确定单元，用于根据所述车辆类型与预设长宽比之间的对应关系，确定所述目标车辆的预设长宽比。
59.上述的车辆航向角的检测装置可实施上述方法实施例的车辆航向角的检测方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本技术实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。
60.图7为本技术一实施例提供的终端设备的结构示意图。如图7所示，该实施例的终端设备7包括：至少一个处理器70（图7中仅示出一个）处理器、存储器71以及存储在所述存储器71中并可在所述至少一个处理器70上运行的计算机程序72，所述处理器70执行所述计算机程序72时实现上述任意方法实施例中的步骤。
61.所述终端设备7可以是智能手机、平板电脑、桌上型计算机和云端服务器等计算设备。该终端设备可包括但不仅限于处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的举例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
62.所称处理器70可以是中央处理单元(central processing unit，cpu)，该处理器70还可以是其他通用处理器、数字信号处理器 (digital signal processor，dsp)、专用集成电路 (application specific integrated circuit，asic)、现成可编程门阵列 (field-programmable gate array，fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
63.所述存储器71在一些实施例中可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71在另一些实施例中也可以是所述终端设备7的外部存储
设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡（smart media card, smc），安全数字（secure digital, sd）卡，闪存卡（flash card）等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
64.另外，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的步骤。
65.本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现上述各个方法实施例中的步骤。
66.在本技术所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
67.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
68.以上所述的具体实施例，对本技术的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本技术的具体实施例而已，并不用于限定本技术的保护范围。特别指出，对于本领域技术人员来说，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。