一种目标车辆位置和朝向的检测方法、系统及存储介质与流程

1.本发明涉及智能驾驶技术领域，特别是涉及一种目标车辆位置和朝向的检测方法、系统及存储介质。


背景技术：

2.在汽车的智能驾驶中，需要根据驾驶环境来对前后的目标的距离进行检测。目前基于视觉的目标检测主要方法为：在前视图中根据cnn卷积神经网络(yolo、ssd或者faster-rcnn等)获取车辆目标在图像中的二维矩形框(bounding box)。其大致的方法流程如图1所示，其步骤包括：首先对输入的前视图像进行resize等预处理操作；接着对预处理后的前视图进行神经网络推理，以得到所有目标车辆可能的二维矩形框(bounding box)；然后在后处理阶段，针对每一个车辆目标过滤掉所有重复的二维矩形框；最后将二维矩形框的下边界作为车辆目标在图像中的接地点坐标，并转换到车辆坐标系中以输出相应的位置距离。
3.但是现有的这种处理方法还存在一些不足之处：
4.其一，车辆目标位置距离测算不准确，误差较大。在前视图中，车辆目标二维矩形框的下边界往往并不是车辆的接地点位置，这样就造成了检测得到的目标车辆位置距离相对于真实值有较大的误差，且目标车辆距离本车越远，测量得到的距离值误差越大。
5.其二，无法有效检测目标车辆的姿态朝向。在前视图中往往只能检测得到车辆目标的宽度和高度方向这两维的尺寸，很难检测获得目标车辆的姿态朝向。
6.故现有的这种基于前视图的车辆目标检测，存在不易测得其运动姿态，并且位置距离误差较大的缺点。


技术实现要素：

7.本发明所要解决的技术问题在于，提供一种目标车辆位置和朝向的检测方法、系统及存储介质，可以提高目标车辆的位置距离检测的精度，以及能检测获得目标车辆的姿态朝向。
8.作为本发明的一方面，提供一种目标车辆位置和朝向的检测方法，其包括如下步骤：
9.步骤s10，通过车载摄像头采集本车的前视图像，所述前视图像中包括至少一个其他车辆的图像；
10.步骤s11，对车载摄像头所采集的前视图像进行预处理，获得符合预定尺寸的前视图像；
11.步骤s12，根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，并根据所述表征车辆姿态变化的信息对所述前视图像进行图像运动补偿；
12.步骤s13，根据逆透视变换规则，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图；
13.步骤s14，将所述转换后的俯视图输入预先训练好的卷积神经网络，获得各目标车辆的位置以及朝向信息。
14.其中，所述步骤s12包括：
15.步骤s120，根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，所述表征车辆姿态变化的信息为三轴角速率及加速度；
16.步骤s121，根据所述表征车辆姿态变化的信息以及摄像头外部参数，获得摄像头运动补偿参数矩阵q：
[0017][0018]
其中，r
11
、r
12
、r
21
、r
22
为坐标旋转参数，tx、ty为坐标平移参数；上述参数系通过预先计算或标定获得；
[0019]
步骤s121，利用所述摄像头运动补偿参数矩阵q采用下述公式对所述前视图像进行图像运动补偿：
[0020][0021]
其中，(u,v)为补偿前的前视图像中各位置的坐标，(u’,v’)为经过补偿后的前视图像中各位置的坐标。
[0022]
其中，所述步骤s13具体为：
[0023]
利用单应性变换矩阵h采用下述公式进行计算，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图：
[0024][0025][0026]
其中，(u’,v’)为经过补偿后的前视图像中各位置的坐标，(x,y)为逆透视变换后对应的俯视图中位置点的坐标；h为预定的单应性变换矩阵，其通过预先计算或标定获得。
[0027]
其中，所述步骤s14进一步包括：
[0028]
步骤s140，将所述转换后的俯视图输入预先训练好的卷积神经网络，输出目标车辆的二维矩形框的中心点坐标(b
x
,b
y
)、矩形框的宽度b
w
、高度b
h
以及目标车辆在俯视图中相对于本车的姿态朝向夹角b
o
；
[0029]
步骤s141，通过交并比参数对卷积神经网络进行过滤，对于每个目标车辆保留概率预测最大的二维轮廓参数，去除其余的二维轮廓参数；
[0030]
步骤s142，根据下式计算目标车辆的接地点位置在车辆坐标系中的坐标，并同姿态朝向夹角一起输出：
[0031][0032]
其中，(u,v)为目标车辆矩形框最下边沿点在俯视图中的坐标，(x,y,1)为其对应在车辆坐标系中的坐标；
[0033]
为摄像头内部参数矩阵，为转换矩阵，上述两个矩阵系通过预先计算或标定获得。
[0034]
相应地，作为本发明的另一方面，一种目标车辆位置和朝向的检测系统，其包括：
[0035]
图像采集单元，用于通过车载摄像头采集本车的前视图像，所述前视图像中包括至少一个除本车外的其他车辆的图像；
[0036]
预处理单元，用于对车载摄像头所采集的前视图像进行预处理，获得符合预定尺寸的前视图像；
[0037]
运动补偿单元，用于根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，并根据所述表征车辆姿态变化的信息对所述前视图像进行图像运动补偿；
[0038]
逆透视变换单元，用于根据逆透视变换规则，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图；
[0039]
位置及朝向获得单元，用于将所述转换后的俯视图输入预先训练好的卷积神经网络，获得各目标车辆的位置以及朝向信息。
[0040]
其中，所述运动补偿单元包括：
[0041]
姿态信息获得单元，用于根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，所述表征车辆姿态变化的信息为三轴角速率及加速度；
[0042]
补偿参数矩阵获得单元，用于根据所述表征车辆姿态变化的信息以及摄像头外部参数，获得摄像头运动补偿参数矩阵q：
[0043][0044]
其中，r
11
、r
12
、r
21
、r
22
为坐标旋转参数，tx、ty为坐标平移参数；
[0045]
补偿计算单元，用于利用所述摄像头运动补偿参数矩阵q采用下述公式对所述前视图像进行图像运动补偿：
[0046][0047]
其中，(u,v)为补偿前的前视图像中各位置的坐标，(u’,v’)为经过补偿后的前视图像中各位置的坐标。
[0048]
其中，所述逆透视变换单元具体用于利用单应性变换矩阵h采用下述公式进行计算，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图：
[0049][0050][0051]
其中，(u’,v’)为经过补偿后的前视图像中各位置的坐标，(x,y)为逆透视变换后对应的俯视图中位置点的坐标；h为预定的单应性变换矩阵。
[0052]
其中，所述位置及朝向获得单元进一步包括：
[0053]
神经网络处理单元，用于将所述转换后的俯视图输入预先训练好的卷积神经网络，输出目标车辆的二维矩形框的中心点坐标(b
x
,b
y
)、矩形框的宽度b
w
、高度b
h
以及目标车辆在俯视图中相对于本车的姿态朝向夹角b
o
；
[0054]
过滤单元，用于通过交并比参数对卷积神经网络进行过滤，对于每个目标车辆保留概率预测最大的二维轮廓参数，去除其余的二维轮廓参数；
[0055]
坐标计算单元，用于根据下式计算目标车辆的接地点位置在车辆坐标系中的坐标，并同姿态朝向夹角一起输出：
[0056][0057]
其中，(u,v)为目标车辆矩形框最下边沿点在俯视图中的坐标，(x,y,1)为其对应在车辆坐标系中的坐标；
[0058]
为摄像头内部参数矩阵，为转换矩阵。
[0059]
相应地，作为本发明的又一方面，还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行前述的方法。
[0060]
实施本发明实施例，具有如下的有益效果：
[0061]
本发明的实施例提供一种目标车辆位置和朝向的检测方法、系统及存储介质。通过图像运动补偿消除了摄像头因车辆自身运动过程中振动造成的车辆目标在前视图像中的位置偏差，提高了最终车辆目标的位置距离检测精度；
[0062]
通过将前视图像转换到俯视图像中进行车辆目标的位置距离和姿态朝向检测，在俯视图中更能够直接体现车辆目标的姿态朝向，且俯视图的距离尺度与车辆坐标系成线性比例关系，只要检测出车辆目标的二维轮廓框位置，便能直接得到车辆目标的实际距离，不再需要像已有方法那样进行坐标空间转换才能得到车辆目标在车辆坐标系中的位置距离；
[0063]
在卷积神经网络对车辆目标检测输出中，增加车辆目标姿态朝向角度的预测，保证了车辆目标的运动姿态朝向检测更精确。
附图说明
[0064]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
[0065]
图1为本发明提供的一种目标车辆位置和朝向的检测方法的一个实施例的主流程示意图；
[0066]
图2为图1中步骤s12的更详细的流程示意图；
[0067]
图3为图1中步骤s13涉及的逆透视变换前后的图片的对比示意图；
[0068]
图4为图1中步骤s14的更详细的流程示意图；
[0069]
图5为图4中涉及的输出结果原理示意图；
[0070]
图6为本发明提供的一种目标车辆位置和朝向的检测系统的一个实施例的结构示意图；
[0071]
图7为图6中运动补偿单元的结构示意图；
[0072]
图8为图6中位置及朝向获得单元的结构示意图。
具体实施方式
[0073]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
[0074]
如图1所示，示出了本发明提供的一种目标车辆位置和朝向的检测方法的一个实施例的主流程示意图；一并结合图2至图5所示，在本实施例中，本发明提供的一种目标车辆位置和朝向的检测方法，其包括如下步骤：
[0075]
步骤s10，通过车载摄像头采集本车的前视图像，所述前视图像中包括至少一个除本车外的其他车辆的图像；
[0076]
步骤s11，对车载摄像头所采集的前视图像进行预处理，获得符合预定尺寸的前视图像，其中预处理可以是诸如进行图像尺寸的伸缩处理；
[0077]
步骤s12，根据车载的惯性测量设备(inertial measurement unit，imu)实时获取表征车辆姿态变化的信息，并根据所述表征车辆姿态变化的信息对所述前视图像进行图像运动补偿；
[0078]
可以理解的是，装在车上的摄像头由于车辆运动往往相对于地面会有一定的姿态变化，也即摄像头相对于地面的俯仰角或者侧倾角会产生一定变化。通过车上安装的惯性测量设备可以实时获取相应的姿态变化，为了减少因摄像头姿态变化，造成的车辆目标在前视图像的位置误差，需要根据姿态变化信息对前视图像进行运动补偿。
[0079]
具体地，在一个例子中，所述步骤s12包括：
[0080]
步骤s120，根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，所述表征车辆姿态变化的信息为三轴角速率及加速度；
[0081]
步骤s121，根据所述表征车辆姿态变化的信息以及摄像头外部参数，获得摄像头运动补偿参数矩阵q：
[0082][0083]
其中，r
11
、r
12
、r
21
、r
22
为坐标旋转参数，tx、ty为坐标平移参数；上述参数系通过预先计算或标定获得；
[0084]
步骤s121，利用所述摄像头运动补偿参数矩阵q采用下述公式对所述前视图像进行图像运动补偿：
[0085][0086]
其中，(u,v)为补偿前的前视图像中各位置的坐标，(u’,v’)为经过补偿后的前视图像中各位置的坐标。
[0087]
步骤s13，根据逆透视变换规则，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图；
[0088]
具体地，在一个例子中，所述步骤s13具体为：
[0089]
利用单应性变换矩阵h采用下述公式进行计算，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图：
[0090][0091][0092]
其中，(u’,v’)为经过补偿后的前视图像中各位置的坐标，(x,y)为逆透视变换后对应的俯视图中位置点的坐标；h为预定的单应性变换矩阵，其通过预先计算或标定获得。
[0093]
具体的变换效果可以参考图3所示。
[0094]
步骤s14，将所述转换后的俯视图输入预先训练好的卷积神经网络，获得各目标车辆的位置以及朝向信息。在一些例子中，所述卷积神经网为cnn卷积神经网络，通过预先对该卷积神经网进行训练，可以用于在俯视图内对目标车辆的轮廓进行检测推理。
[0095]
具体地，在一个例子中，所述步骤s14进一步包括：
[0096]
步骤s140，将所述转换后的俯视图输入预先训练好的卷积神经网络，输出目标车辆的二维矩形框(bounding box)的中心点坐标(b
x
,b
y
)、矩形框的宽度b
w
、高度b
h
以及目标车辆在俯视图中相对于本车的姿态朝向夹角b
o
；可以理解的是，在此步骤中，可以获得所有目标车辆可能的二维矩形框，即获得的二维矩形框为多个。
[0097]
步骤s141，通过交并比参数对卷积神经网络进行过滤，对于每个目标车辆保留概率预测最大的二维轮廓参数，去除其余的二维轮廓参数；
[0098]
步骤s142，根据下式计算目标车辆的接地点位置在车辆坐标系中的坐标，并同姿态朝向夹角一起输出：
[0099][0100]
其中，(u,v)为目标车辆矩形框最下边沿点在俯视图中的坐标，(x,y,1)为其对应在车辆坐标系中的坐标；
[0101]
为摄像头内部参数矩阵，为转换矩阵，上述两个矩阵系通过预先计算或标定获得。
[0102]
可以理解的是，车辆目标与本车之间的姿态朝向夹角b
o
已在上一步骤中获得。对于车辆目标的位置距离检测只需要计算得到车辆目标接地点位置在车辆坐标系中的坐标。
[0103]
图5示出了一个例子中，对目标车辆的数据进行神经网络处理后输出的结果示意图；其中，实线方框代表俯视图中的一个目标车辆的轮廓；而虚线方框为经过卷积神经网络处理后输出的目标车辆的轮郭示意图。
[0104]
如图6所示，为本发明提供的一种目标车辆位置和朝向的检测系统的一个实施例的结构示意图；一并结合图7和图8所示，在本实施例中，本发明所提供的目标车辆位置和朝向的检测系统1，其包括：
[0105]
图像采集单元11，用于通过车载摄像头采集本车的前视图像，所述前视图像中包括至少一个除本车外的其他车辆的图像；
[0106]
预处理单元12，用于对车载摄像头所采集的前视图像进行预处理，获得符合预定尺寸的前视图像；
[0107]
运动补偿单元13，用于根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，并根据所述表征车辆姿态变化的信息对所述前视图像进行图像运动补偿；
[0108]
逆透视变换单元14，用于根据逆透视变换规则，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图；
[0109]
位置及朝向获得单元15，用于将所述转换后的俯视图输入预先训练好的卷积神经网络，获得各目标车辆的位置以及朝向信息。
[0110]
更具体地，在一个例子中，所述运动补偿单元13包括：
[0111]
姿态信息获得单元130，用于根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，所述表征车辆姿态变化的信息为三轴角速率及加速度；
[0112]
补偿参数矩阵获得单元131，用于根据所述表征车辆姿态变化的信息以及摄像头外部参数，获得摄像头运动补偿参数矩阵q：
[0113][0114]
其中，r
11
、r
12
、r
21
、r
22
为坐标旋转参数，tx、ty为坐标平移参数；
[0115]
补偿计算单元132，用于利用所述摄像头运动补偿参数矩阵q采用下述公式对所述前视图像进行图像运动补偿：
[0116][0117]
其中，(u,v)为补偿前的前视图像中各位置的坐标，(u’,v’)为经过补偿后的前视图像中各位置的坐标。
[0118]
更具体地，在一个例子中，所述逆透视变换单元14具体用于利用单应性变换矩阵h采用下述公式进行计算，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图：
[0119][0120][0121]
其中，(u’,v’)为经过补偿后的前视图像中各位置的坐标，(x,y)为逆透视变换后对应的俯视图中位置点的坐标；h为预定的单应性变换矩阵。
[0122]
更具体地，在一个例子中，所述位置及朝向获得单元15进一步包括：
[0123]
神经网络处理单元150，用于将所述转换后的俯视图输入预先训练好的卷积神经网络，输出目标车辆的二维矩形框的中心点坐标(b
x
,b
y
)、矩形框的宽度b
w
、高度b
h
以及目标车辆在俯视图中相对于本车的姿态朝向夹角b
o
；具体地，可以参考图5中所示；
[0124]
过滤单元151，用于通过交并比参数对卷积神经网络进行过滤，对于每个目标车辆保留概率预测最大的二维轮廓参数，去除其余的二维轮廓参数；
[0125]
坐标计算单元152，用于根据下式计算目标车辆的接地点位置在车辆坐标系中的坐标，并同姿态朝向夹角一起输出：
[0126][0127]
其中，(u,v)为目标车辆矩形框最下边沿点在俯视图中的坐标，(x,y,1)为其对应在车辆坐标系中的坐标；
[0128]
为摄像头内部参数矩阵，为转换矩阵。
[0129]
更多的细节可参考前述对图1至图5的描述，在此不进行赘述。
[0130]
基于同一发明构思，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行本发明实施例的上述方法实施例中图1至图5所描述的目标车辆位置和朝向的检测方法。
[0131]
实施本发明实施例，具有如下的有益效果：
[0132]
本发明的实施例提供一种目标车辆位置和朝向的检测方法、系统及存储介质。通过图像运动补偿消除了摄像头因车辆自身运动过程中振动造成的车辆目标在前视图像中的位置偏差，提高了最终车辆目标的位置距离检测精度；
[0133]
通过将前视图像转换到俯视图像中进行车辆目标的位置距离和姿态朝向检测。在俯视图中更能够直接体现车辆目标的姿态朝向。且俯视图的距离尺度与车辆坐标系成线性比例关系，只要检测出车辆目标的二维轮廓框位置，便能直接得到车辆目标的实际距离，不再需要像已有方法那样进行坐标空间转换才能得到车辆目标在车辆坐标系中的位置距离；
[0134]
在卷积神经网络对车辆目标检测输出中，增加车辆目标姿态朝向角度的预测，保证了车辆目标的运动姿态朝向检测更精确。
[0135]
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0136]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0137]
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。