自车转弯时的盲区碰撞预测方法、设备和存储介质与流程

1.本发明涉及预测碰撞领域，尤其涉及一种自车转弯时的盲区碰撞预测方法、设备和存储介质。


背景技术：

2.车载bsd（blind spot detection，盲区监测）摄像头（以下简称摄像头）安装在自车后方两侧，用于在自车行驶时对自车后方两侧盲区进行检测。当检测到行人或骑手等靠近自车时会触发预警，例如灯光闪烁或者鸣笛预警。
3.目前的bsd产品（包括上述摄像头）仅提供预警功能，不具备紧急制动功能，更不能预测是否有碰撞风险。尤其是在自车转弯的场景中，发生碰撞的概率更高，行车危险性增加。有鉴于此，特提出本发明。


技术实现要素：

4.为了解决上述技术问题，本发明提供了一种自车转弯时的盲区碰撞预测方法、设备和存储介质，在自车转弯时预测盲区静态目标的碰撞时长。
5.本发明实施例提供了一种自车转弯时的盲区碰撞预测方法，该方法包括：在自车转弯过程中，获取车载bsd摄像头拍摄的多张图像；对所述多张图像中的盲区进行目标识别与跟踪，确定识别到预碰撞的静态目标；从所述静态目标的当前位置起，向所述自车转向侧后轮预测的轨迹做切线，得到切点的位置；根据所述自车的当前位置和所述切点的位置计算碰撞时长。
6.本发明实施例提供了一种电子设备，所述电子设备包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行任一实施例所述的自车转弯时的盲区碰撞预测方法的步骤。
7.本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行任一实施例所述的自车转弯时的盲区碰撞预测方法的步骤。
8.本发明实施例具有以下技术效果：通过目标识别与跟踪的方法确定静态目标，通过计算自车转向侧后轮预测的轨迹，并绘制切线得到切点，采用当前位置和切点的位置计算碰撞时长，从而利用转向侧后轮来到切点时，就可能与切线上的静态目标发生碰撞的特点，考虑到自车在轨迹上沿切线行驶的实际行驶情况，准确预测碰撞时长，从而准确预测到是否有碰撞风险。
附图说明
9.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体
实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
10.图1是本发明实施例提供的一种自车转弯时的盲区碰撞预测方法的流程图；图2是本发明实施例提供的图像中盲区的位置示意图；图3是本发明实施例提供的自车坐标系和自车轨迹的示意图；图4是本发明实施例提供的切点与切线的示意图；图5是本发明实施例提供的电子设备的结构示意图。
具体实施方式
11.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
12.本发明实施例提供的自车转弯时的盲区碰撞预测方法，主要适用于在自车转弯时预测盲区内静态目标的碰撞情况。本发明实施例提供的自车转弯时的盲区碰撞预测方法可以由电子设备执行。
13.图1是本发明实施例提供的一种自车转弯时的盲区碰撞预测方法的流程图。参见图1，该自车转弯时的盲区碰撞预测方法具体包括：s110、在自车转弯过程中，获取车载bsd摄像头拍摄的多张图像。
14.可以通过多种方法确定自车（即本车辆）是否转弯，例如转向灯是否开启，检测轮胎转角和方向盘转角等。由于转向灯存在一定的误判，转角传感器价格昂贵，且并非所有车辆均装有转角传感器；但车辆一般都安装有惯性测量单元，例如六轴陀螺仪。本实施例创造性地采用六轴陀螺仪采集的横摆角速率（yawrate）判断车辆是否转弯。具体包括以下三步。
15.第一步：获取自车的横摆角速率，并根据横摆角速率计算自车的转弯半径。参见下式。
16.其中，r为自车转弯半径，单位m。v为车速，单位m/s，yawrate单位是
°
/s。
17.第二步：根据所述转弯半径r和所述自车的轴距wheelbase，计算方向盘转角θ（即前轮的转动角度）。参见下式。
18.第三步：如果所述方向盘转角超过设定值，则启动车载bsd摄像头拍摄多张图像。
19.设定值为车辆转弯时的方向盘转角阈值，可以标定得到，例如30度。如果转向灯打开，且方向盘转角超过设定值或横摆角速率超过设定值，确定自车转弯，即从一条道路转到另一条道路上行驶，两条道路夹角小于一定值，例如100度；此时，从当前时刻起获取车载bsd摄像头连续拍摄的多张图像，该多张图像是自车转弯过程中拍摄的图像。如果方向盘转角为超过设定值，说明自车可能执行变道或躲避障碍物等小幅度操作，而非转弯。
20.s120、对所述多张图像中的盲区进行目标识别与跟踪，确定识别到预碰撞的静态
目标。
21.盲区指驾驶员通过后视镜无法看到的地面区域。图2是本发明实施例提供的图像中盲区的位置示意图，假设自车左右两侧的车身板上分别安装有车载bsd摄像头，且车载bsd摄像头靠近车尾设置，各车载bsd摄像头可监测的有效盲区范围为长15米宽4米的矩形区域，其中，矩形区域靠近自车的边缘与对应车载bsd摄像头所在车身的下边缘重合，矩形区域靠近车尾的边缘与对应车载bsd摄像头平齐，可以理解的是，任一矩形盲区对应的车载bsd摄像头与该矩形盲区在车辆的同一侧，例如，车辆左侧矩形盲区对应的车载bsd摄像头位于车辆的左侧。
22.通过图像识别的相关方法对盲区内的目标进行识别，对识别到的目标进行跟踪，跟踪算法包括但不限于均值漂移算法，kalman滤波和粒子滤波等，从而确定即将要与自车发生碰撞（即预碰撞）的静态目标（指在世界坐标系下静止）。可选的，首先确定目标是否是预碰撞的，再确定目标是静态的还是动态的。具体包括以下三步。
23.第一步：对所述多张图像中的盲区进行目标识别得到识别到的目标。
24.本实施例中的目标为潜在发生碰撞的目标，例如行人、骑手和其它车辆等。采用目标检测模型对每张图像进行检测，得到盲区内目标的位置和类别信息。
25.第二步：通过在多张图像中跟踪所述目标，构建所述目标的轨迹。
26.可选的，如果目标在盲区内且在可行驶区域内才会跟踪该目标。可行驶区域包括以自车为起始点的所有路面区域，且路面区域和自车之间无障碍物。可行驶区域作为语义分割结果中的一种分割类型，则可以对多张图像进行语义分割，得到可行驶区域，进而判断盲区内的目标是否位于可行驶区域内。
27.由于图像是车载bsd摄像头拍摄的，本实施例设置了与其匹配的，随车同步移动的坐标系，称为自车坐标系，从而可以直接将图像中跟踪识别到的信息直接映射到自车坐标系中进行处理。
28.图3是本发明实施例提供的自车坐标系和自车轨迹的示意图。自车坐标系的原点为车载bsd摄像头的光心到地面的垂点，也是转向侧后轮与地面的接触点，所述y轴指向车头方向（即自车纵向方向），所述x轴（即自车横向方向）与y轴垂直且朝向转弯侧。可见，随着自车行驶，自车坐标系在世界坐标系中的位置实时变化，但是自车坐标系相对自车是静止的。
29.在多张图像（例如是从当前时刻起的连续5张图像）中跟踪同一目标，得到同一目标在图像坐标系中的位置。图像坐标系的原点可以是图像左下角，图像的宽和长的方向构成了坐标系的两个轴。然后，将目标的位置从图像坐标系投影到对应时刻的自车坐标系下，得到多个轨迹点。具体的，已知车载bsd摄像头的内参，摄像头的安装位置，分别建立内参矩阵、外参矩阵和平移矩阵，根据内参矩阵、外参矩阵和平移矩阵，将目标的位置从图像坐标系投影到世界坐标系下。可以通过定位得到自车在实际坐标系下的位置，进而得知自车坐标系的位置。根据世界坐标系与自车坐标系的转换关系，将目标的位置从世界坐标系投影到自车坐标系中。
30.然后，对多个轨迹点进行曲线拟合得到轨迹。需要说明的是，如果为静态目标，则轨迹实际为一段曲线；如果为与自车同步运动的目标，则轨迹实际为一个点。
31.第三步：如果所述目标的轨迹位于预测的自车轨迹范围内，则确定所述目标为预
碰撞目标，进而确定识别到预碰撞的静态目标。此处的自车轨迹范围为自车转向侧后轮与非转向侧前角扫过的轨迹所包围的范围，实质是一个圆环范围。需要注意的是，自车轨迹范围需要投影到当前时刻的自车坐标系下，从而在同一坐标系下进行判断。
32.参见图3，矩形表示自车，矩形的右下角为转向侧后轮的位置，矩形的左上角为非转向侧前角的位置。
①②③
区域整体为自车轨迹范围。具体的，
①
区域为t0时刻自车车身覆盖范围，
②
区域为t1时刻自车车身覆盖范围，
③
区域为预测的自车的部分轨迹范围。如果t0时刻目标的轨迹位于图3中的这3个区域内，t1时刻目标的轨迹位于图3中的
②③
区域内，则确定目标为预碰撞的目标。
33.本实施例提供了一种新颖的自车坐标系，该自车坐标系的原点与车载bsd摄像头的光心位置对应，能够方便地将图像中的目标投影到自车坐标系中进行处理；而且，通过构建轨迹并判断其是否位于上述范围内，确定目标是否为预碰撞目标。如果目标的轨迹不位于自车覆盖范围内，也不位于预测的轨迹对应范围内，则该目标不会与自车发生碰撞，不进行后续处理。
34.在确定目标是否为静态目标时，首先根据方向盘转角计算自车坐标系x轴（即沿自车横向方向）和y轴（即沿自车纵向）方向上的车速分量。参见下述公式。
35.v
x
=v
×
sinθv
y
=v
×
cosθ其中，v
x
为x轴上的车速分量，v
y
为y轴上的车速分量。
36.然后，根据所述目标的位置和图像拍摄时间，计算所述目标在沿自车横向方向和纵向方向上的相对速度分量。具体的，计算相邻两张图像中目标在自车坐标系中的位置之差，并计算图像拍摄时间的间隔，将位置之差除以时间间隔得到相对速度（即目标相对于自车的速度），进而通过坐标分解，得到x轴和y轴方向上的相对速度分量。可见，本技术在自车坐标系中对目标进行了轨迹跟踪和速度跟踪。
37.如果沿自车横向方向上的车速分量与相对速度分量之差小于设定值，且所述沿自车纵向方向上的车速分量与相对速度分量之差小于设定值，说明目标相对自车的速度与车速一致，确定所述目标为静态目标。设定值为区分静态目标与动态目标的速度阈值，可以根据实际情况设置，例如0.2m/s。反之，如果x轴方向上的车速分量与相对速度分量之差大于等于设定值，或者y轴方向上的车速分量与相对速度分量之差大于等于设定值，则确定目标为动态目标。
38.本实施例中，通过自车坐标系随自车运动的特点，通过比较目标在自车坐标系中的速度与车速，从而成功区分静态目标与动态目标，不需要引入其他的参数和设备。
39.s130、从所述静态目标的当前位置起，向所述自车转向侧后轮预测的轨迹做切线，得到切点的位置。
40.参见图3，在自车转弯过程中后轮轨迹接近为标准的圆弧，车身的转向内侧相当于圆弧的切线，转向侧后轮相当于切点的位置。那么，只要转向侧后轮来到切点，就可能与切线上的静态目标发生碰撞。因此，本发明利用此特点，计算静态目标在轨迹上的切点。
41.图4是本发明实施例提供的切点与切线的示意图。首先需要预测自车转向侧后轮的轨迹，即获取所述自车的转弯半径，并根据所述自车的当前位置和转弯半径预测所述转向侧后轮的轨迹，也就是从当前转向侧后轮的位置起，基于转弯半径的一段圆弧。转弯半径
的计算方法参见上述实施例，此处不再赘述。当然，转弯半径还可以通过后轮转角确定。
42.然后，从静态目标的当前位置起，向所述轨迹做切线，得到切点的位置。参见图4，t0时刻自车坐标系：以自车右后轮与地面接触点为原点（o'点），自车纵向为y轴，横向为x轴。轨迹的圆心为o点。右后轮预测的轨迹为
①②③
区域朝向圆心侧的边，行人作为静态目标位于
③
区域的a点。从a点起向右后轮的轨迹做切线，假设切点位置为o''点。
43.s140、根据所述自车的当前位置和所述切点的位置计算碰撞时长。
44.自车从当前位置起行驶到切点的位置经过的时长为碰撞时长，可以通过两位置间的轨迹距离除以车速得到。
45.在采用自车坐标系的横摆角速率的情况下，本实施例提供了一种新颖的碰撞时长计算方法。具体的，计算所述静态目标到轨迹对应的圆心的距离r1；根据所述距离r1、转弯半径r和所述静态目标的当前位置a点，计算转向侧后轮从当前位置到所述切点位置o''点所转过的圆心角w；根据所述圆心角w和自车的横摆角速率，计算碰撞时长。
46.已知，
ð
ao''o是直角，ao''是圆弧切线，直线oa的长度为r1，a点在t0时刻自车坐标系中的坐标为（fx，fy），其中直角三角形aob中已知ab和ob，oa长度可求，参见下式。
47.继续参见图4，有下式：w'=arccos(r/r1)w' w=arctan(ab/ob)=arctan(fy/(r
‑
fx))w为转向侧后轮从当前位置到所述切点位置所转过的圆心角，w'为转向侧后轮从切点位置到静态目标在向心方向上与轨迹的交点位置所转过的圆心角。那么，w=arctan(fy/(r
‑
fx))
‑
arcos(r/r1)。
48.碰撞时长ttc就是右后轮从当前位置到切点的时长，参见下式。
49.在一些实施例中，如果自车车身比较长，静态目标距离切点位置比较近，则可能转向侧后轮尚未到达切点，车身或车头就可能碰到静态目标，因此需要对碰撞时长进行修正。具体的，根据静态目标在自车坐标系中的当前纵向相对速度和与自车车头的当前纵向距离，计算另一碰撞时长。即计算在沿自车纵向方向上的相对速度分量以及静态目标与自车车头在沿自车纵向方向上的距离分量。采用距离分量除以相对速度分量得到的时长称为另一碰撞时长。参见图4，当前纵向距离可以通过ab的长度减去车头到转向侧后轮的长度得到。将所述碰撞时长和所述另一碰撞时长中的较小者，作为最终的碰撞时长。
50.图1所述实施例中，通过目标识别与跟踪的方法确定静态目标，通过计算自车转向侧后轮预测的轨迹，并绘制切线得到切点，采用当前位置和切点的位置计算碰撞时长，从而利用转向侧后轮来到切点时，就可能与切线上的静态目标发生碰撞的特点，考虑到自车在轨迹上沿切线行驶的实际行驶情况，准确预测碰撞时长，从而准确预测到是否有碰撞风险。
51.在上述各实施例中基础上，根据所述碰撞时长确定制动策略根据所述自车的当前位置和所述切点的位置计算碰撞时长之后，根据碰撞时长选择合适的控制策略。例如，如果碰撞时长大于等于设定值，对驾驶员进行预警。如果所述碰撞时长小于设定值，进行紧急制动。设定值是需要启动制动的时间阈值，可以根据急刹/缓刹的驾驶风格确定。
52.在制动过程中，也会实时通过车载bsd摄像头采集图像，并检测图像盲区内的目标。如果检测到静态目标消失，或者所述静态目标不位于转向侧后轮预测的轨迹对应范围，或者自车刹停，取消制动。其中，转向侧后轮预测的轨迹对应范围参见上述实施例的描述，此次不再赘述。
53.图5为本发明实施例提供的一种电子设备的结构示意图。如图5所示，电子设备400包括一个或多个处理器401和存储器402。
54.处理器401可以是中央处理单元（cpu）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备400中的其他组件以执行期望的功能。
55.存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（ram）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（rom）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所说明的本发明任意实施例的自车转弯时的盲区碰撞预测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如初始外参、阈值等各种内容。
56.在一个示例中，电子设备400还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。该输入装置403可以包括例如键盘、鼠标等等。该输出装置404可以向外部输出各种信息，包括预警提示信息、制动力度等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
57.当然，为了简化，图5中仅示出了该电子设备400中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备400还可以包括任何其他适当的组件。
58.除了上述方法和设备以外，本发明的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的自车转弯时的盲区碰撞预测方法的步骤。
59.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
60.此外，本发明的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的自车转弯时的盲区碰撞预测方法的步骤。
61.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储
器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
62.需要说明的是，本发明所用术语仅为了描述特定实施例，而非限制本技术范围。如本发明说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
63.还需说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
64.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案。