基于转向状态的盲区预警方法、装置、设备和介质与流程

1.本发明涉及摄像头标定领域，尤其涉及一种基于转向状态的盲区预警方法、装置、设备和介质。


背景技术：

2.车载bsd（blind spot detection，盲区监测）摄像头（以下简称摄像头）安装在车辆后方两侧，用于在车辆行驶时对车辆后方两侧盲区进行探测。预警策略为：通过车载bsd摄像头拍摄的图像识别行人或车辆相对车身的距离，当距离减少到设定值时进行预警。
3.在车辆转弯时行驶轨迹发生变化，相比于直行时危险区域增大，按照现有的预警策略会增加事故的发生率。有鉴于此，特提出本发明。


技术实现要素：

4.为了解决上述技术问题，本发明提供了一种基于转向状态的盲区预警方法、设备和存储介质，在车辆转弯时通过盲区预警，减少事故发生率。
5.本发明实施例提供了一种基于转向状态的盲区预警方法，该方法包括：采集车载bsd摄像头拍摄的图像，并对所述图像进行识别得到预碰撞对象的位置；根据车辆的前轮转角和当前车速，确定车辆在转向一侧的危险区域；所述危险区域为在转向过程中车身经过的区域；在所述图像中确定所述危险区域和盲区映射的共同范围，以及所述共同范围内的目标预碰撞对象；升高所述目标预碰撞对象与车身的原有距离阈值，得到更新后的距离阈值；采用所述更新后的距离阈值，针对所述目标预碰撞对象进行预警。
6.本发明实施例提供了一种基于转向状态的盲区预警装置，包括：采集模块，用于采集车载bsd摄像头拍摄的图像，并对所述图像进行识别得到预碰撞对象的位置；确定模块，用于根据车辆的前轮转角和当前车速，确定车辆在转向一侧的危险区域；所述危险区域为在转向过程中车身经过的区域；映射模块，用于在所述图像中确定所述危险区域和盲区映射的共同范围，以及所述共同范围内的目标预碰撞对象；更新模块，用于升高所述目标预碰撞对象与车身的原有距离阈值，得到更新后的距离阈值；预警模块，用于采用所述更新后的距离阈值，针对所述目标预碰撞对象进行预警。
7.本发明实施例提供了一种电子设备，所述电子设备包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行任一实施例所述的基于转向状态的盲区预警方法的步骤。
8.本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行任一实施例所述的基于转向状态的盲区预警方法的步骤。
9.本发明实施例具有以下技术效果：本实施例适用于车辆转弯的情况，将转向一侧的危险区域与盲区取交集，以确定危险性更高的目标预碰撞对象，进而在原有距离阈值的基础上升高这些对象的距离阈值，使得对象同时处于盲区和危险区域时能够及早报警，从而提高了车辆转弯时的安全性。
附图说明
10.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1是本发明实施例提供的一种基于转向状态的盲区预警方法的流程图；图2是本发明实施例提供的车辆右前轮的行驶轨迹示意图；图3是本发明实施例提供的危险区域的示意图；图4是本发明实施例提供的车载bsd摄像头拍摄图像的示意图；图5是本发明实施例提供的多级距离阈值的示意图；图6是本发明实施例提供的另一车载bsd摄像头拍摄图像的示意图；图7是本发明实施例提供的一种基于转向状态的盲区预警装置的结构示意图；图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
12.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
13.本发明实施例提供的基于转向状态的盲区预警方法，主要适用于在车辆转弯时，通过车载bsd摄像头和前轮转角，调整盲区预警策略的情况。本发明实施例提供的基于转向状态的盲区预警方法可以由集成在车载bsd摄像头内的电子设备执行，或者独立于该摄像头并与该摄像头通信连接的电子设备执行。
14.图1是本发明实施例提供的一种基于转向状态的盲区预警方法的流程图。参见图1，该基于转向状态的盲区预警方法具体包括：s110、采集车载bsd摄像头拍摄的图像，并对所述图像进行识别得到预碰撞对象的位置。
15.预碰撞对象是车辆有可能在未来碰撞的对象，可能是静态的障碍物，也可能是其它车辆和行人等动态物。采用预先训练好的神经网络进行图像识别/语义分割，得到预碰撞对象的位置，有时还能得到预碰撞对象的类型。可选的，也可以基于小波矩的图像识别方法得到预碰撞对象的位置。本实施例对此并不进行任何限定。
16.s120、根据车辆的前轮转角和当前车速，确定车辆在转向一侧的危险区域。
17.危险区域是指在转向过程中车身经过的区域，随着车辆的转向，危险区域内的行人等预碰撞对象会被碾压。
18.在车辆转弯时，前轮转角不为0，此时可确定转向一侧的危险区域。可选的，通过安装在前轮上的角度传感器采集前轮转角。
19.前轮转角大小和当前车速大小会影响危险区域的范围。可选的，参见公式（1）和（2），根据车辆的前轮转角和当前车速确定车辆的行驶轨迹（即右转向时右前轮的行驶轨迹），图2是本发明实施例提供的车辆右前轮的行驶轨迹示意图。以车辆的左后角为原点，纵向为y轴，横向为x轴建立直角坐标系。
20.l1=r
×
sinθ1（1）l2=r
×
sinθ2（2）x2=x1 l1
‑
l2=x1 r(sinθ1‑
sinθ2)（3）h1=r
×
cosθ1（4）h2=r
×
cosθ2（5）y2=y1 r(cosθ2‑
cosθ1)（6）其中，θ2=θ1‑
δθ，。
21.其中，δθ是半径r与点（x1，y1）和点（x2，y2）形成的夹角。（x1，y1）是行驶轨迹首端的位置，即前轮的当前位置，（x2，y2）是行驶轨迹末端的位置，即前轮经过一段行驶轨迹后的未来位置。r为行驶轨迹半径，即转弯半径，为固定值。θ1为前轮与x轴（即车辆横向方向）的夹角，θ2为前轮在未来位置与x轴（即车辆横向方向）的夹角。v是当前车速，δt是行驶轨迹的时长。l1是点（x1，y1）与轨迹圆心之间的横向距离，l2是点（x2，y2）与圆心之间的横向距离。h1是点（x1，y1）与轨迹圆心之间的纵向距离，h2是点（x2，y2）与轨迹圆心之间的纵向距离。
22.根据上述公式可以计算得到行驶轨迹末端的位置（x2，y2），将以r为半径，（x1，y1）与（x2，y2）之间的弧线作为行驶轨迹。
23.然后，根据所述行驶轨迹，确定所述车辆在转向一侧的危险区域。行驶轨迹为一段弧线，确定行驶轨迹和车身的宽度构成的圆环状区域作为危险区域。优选的，在能够获取后轮转角的情况下，可以计算内轮差，从而得到内轮差所覆盖的危险区域。图3是本发明实施例提供的危险区域的示意图，右前轮轨迹和右后轮轨迹包围的区域为危险区域，即图3中的深色区域，矩形框内的区域为盲区，一辆电动车位于二者相交的区域内。
24.s130、在所述图像中确定所述危险区域和盲区映射的共同范围，以及所述共同范围内的目标预碰撞对象。
25.处于危险区域内的预碰撞对象的碰撞概率较高，需要格外关注。盲区是指驾驶员视线和后视镜无法观看到的区域。图4是本发明实施例提供的车载bsd摄像头拍摄图像的示意图，图中示出了盲区映射的范围，危险区域映射的范围，车身范围和其它范围。
26.可见，盲区与危险区域有共同的范围（即有交集）。采用以下方式得到图像中的共同范围：首先根据世界坐标系与图像坐标系的映射关系，确定所述危险区域在图像中映射
的第一范围；也就是将世界坐标系中的圆环状区域映射到图像中。然后根据所述车载bsd摄像头的外参，确定盲区在图像中映射的第二范围；将所述第一范围和第二范围的交集作为危险区域映射的最终范围。图4中，矩形框内的是第二范围，两条轨迹线所夹的是第一范围。可选的，还可以在地面坐标系下计算危险区域和盲区的共同范围，再将该共同范围映射到图像中。
27.在盲区内危险区域外，是驾驶员无法看到的、危险性不高的区域，可以按照现有的预警策略进行预警；在盲区外危险区域内，是驾驶员可以看到的、危险性高的区域，驾驶员可以自行操纵车辆以避免危险，不需要预警；在盲区外危险区域外，是驾驶员可以看到的、危险性低的区域，不进行预警。在盲区内危险区域内是本实施例重点关注的范围，驾驶员不能看到且危险性高，需要采用新的预警策略，参见s140的描述。
28.为了方便描述和区分，将共同范围内的预碰撞对象称为目标预碰撞对象。具体的，根据图像识别结果确定各预碰撞对象的底部靠近车辆侧的边缘位置，如果该边缘位置位于共同范围内，则作为目标预碰撞对象。
29.s140、升高所述目标预碰撞对象与车身的原有距离阈值，得到更新后的距离阈值。
30.原有距离阈值是现有技术中bsd预警的距离阈值，不受前轮状态，车辆是否转弯等的影响，是一个固定值，例如1.2m。对于同时在盲区和危险区域的目标预碰撞对象来说，升高其原有距离阈值，例如升高到1.5m。
31.可选的，根据所述前轮转角，当前车速以及所述目标预碰撞对象的位置，确定所述目标预碰撞对象与车身的多级距离阈值。
32.前轮转角决定了车辆的转向程度，转向程度越高危险性越高；当前车速越高，会减少车身碰到目标预碰撞对象的时长，危险性也就越高。当目标预碰撞对象与车身的距离由小变大时，危险性也随之变大。基于上述特点，根据前轮转角的幅度、当前车速大小和目标预碰撞对象与车身距离的远近，确定原有距离阈值的不同升高幅度，从而确定目标预碰撞对象与车身的多级距离阈值。图5是本发明实施例提供的多级距离阈值的示意图，参见箭头的指向，0.8m是高级预警阈值，1.5m是低级报警阈值。
33.s150、采用所述更新后的距离阈值，针对所述目标预碰撞对象进行预警。
34.通过车身传感器（例如雷达）实时检测预碰撞对象与车身的实际距离。在检测到实时距离小于更新后的距离阈值时，采用下述任一种方式或组合进行预警。
35.1）对所述车辆的驾驶员进行提醒，例如电子设备控制车内的报警器进行报警。
36.2）触发车载显示屏显示所述车载bsd摄像头拍摄的视频。一种情况下，假设正常情况下车载显示屏正在显示仪表或者娱乐节目。电子设备在检测到实际距离小于第一距离阈值时，向车载主机发送切换指令。车载主机将显示屏的数据源切换至车载bsd摄像头，使其拍摄的视频在显示屏上显示。另一种情况下，车辆自带bsd显示屏，可以触发该bsd显示屏播放车载bsd摄像头拍摄的视频。
37.3）触发车辆外设对所述预碰撞对象进行预警。车辆外设包括声光报警器等，电子设备控制车辆外设对目标预碰撞对象进行预警。
38.可选的，在确定多级距离阈值的情况下，通过比较所述目标预碰撞对象与车身的实际距离与多级距离阈值，进行对应等级的预警。例如，实际距离低于高级预警阈值，则采用高级预警策略；实际距离在高级预警阈值与低级预警阈值之间，则采用低级预警策略。
39.可选的，高级预警策略包括上述三种预警方式的组合，低级预警策略包括上述任一或任两种预警方式。高级/低级预警策略可以根据实际情况设置。
40.本实施例具有以下技术效果：本实施例适用于车辆转弯的情况，将转向一侧的危险区域与盲区取交集，以确定危险性更高的目标预碰撞对象，进而在原有距离阈值的基础上升高这些对象的距离阈值，使得对象同时处于盲区和危险区域时能够及早报警，从而提高了车辆转弯时的安全性。
41.在上述实施例的基础上，本实施例对前轮转角的确定过程进行细化。在所述根据车辆的前轮转角和当前车速，确定车辆在转向一侧的危险区域之前，还包括：第一步，对所述图像进行识别得到前轮的远离车身的最边缘位置。图6是本发明实施例提供的另一车载bsd摄像头拍摄图像的示意图。在前轮转角不同时，前轮的前半部分在横向方向上突出车身的程度不同。利用此特点，对所述图像进行前轮识别（如采用目标检测或语义分割模型），并对前轮进行边缘检测，得到前轮的远离车身的最边缘位置，也就是在沿着横向远离车身的方向上前轮的边缘位置。可以采用sobel算子进行边缘检测，具体不再赘述。
42.在一些情况下，车载bsd摄像头除了捕捉到前轮之外，可能还会捕捉到相邻的其它车轮，为了避免识别到其它车轮，预先在图像中标记前轮转角最大时覆盖的平面范围，如图6中的矩形框。可知，在车载bsd摄像头安装位置固定的情况下，前轮转角最大时所覆盖的平面范围是固定的。可选的，平面范围可以通过图像标定得到，或者将世界坐标系中前轮转角最大时所占据的空间范围投影到图像坐标系下得到。可知，平面范围的右边缘位置就是参考位置。在平面范围内识别前轮以及前轮的远离车身的最边缘位置，避免识别到其它车轮。
43.第二步，根据所述前轮的远离车身的最边缘位置，确定所述前轮转角。
44.发明人发现，前轮转角和最边缘位置与车身的距离呈正比，按照此特点，预先在图像中确定前轮的参考位置，即在所述图像中，前轮转角最大时远离车身的最边缘位置。可选的，参考位置可以通过图像标定得到，或者将世界坐标系中前轮转角最大时远离车身的最边缘位置投影到图像坐标系下得到。具体的，根据所述前轮的远离车身的最边缘位置、参考位置和前轮的最大转角，确定所述前轮转角。参见图6，假设前轮最大转角为40度，参考位置在a处；当前的前轮最边缘位置在b处，通过距离与角度的等比例关系，计算前轮转角=（前轮最大转角
×
b处与车身的距离）/a处与车身的距离。
45.本实施例直接通过图像识别到车轮转角，不需要安装转角传感器，节省成本；而且，通过图像识别到的车轮转向是车轮的实际转向，相比于方向盘转角来说更准确。
46.在上述实施例的基础上，在转弯情况下，考虑到即使对驾驶员和预碰撞对象进行预警，仍然有可能造成事故，因此优化了制动策略。
47.具体而言，在所述图像中确定所述危险区域和盲区映射的共同范围，以及所述共同范围内的目标预碰撞对象之后，还包括：升高所述目标预碰撞对象与车身的原有制动距离阈值，得到更新后的制动距离阈值。
48.原有制动距离阈值是现有技术中bsd紧急制动的距离阈值，不受前轮状态，车辆是否转弯等的影响，是一个固定值，例如0.5m。对于同时在盲区和危险区域的目标预碰撞对象来说，升高其原有制动距离阈值，例如升高到0.7m，从而及早制动，提高转弯过程的安全性。
49.相应的，在针对所述目标预碰撞对象进行预警之后，如果所述预碰撞对象与车身
的实际距离小于所述制动距离阈值，控制所述车辆制动；制动距离阈值小于任一级距离阈值。
50.图7是本发明实施例提供的一种基于转向状态的盲区预警装置的结构示意图，包括采集模块601，确定模块602，映射模块603，更新模块604和预警模块605。
51.采集模块601，用于采集车载bsd摄像头拍摄的图像，并对所述图像进行识别得到预碰撞对象的位置；确定模块602，用于根据车辆的前轮转角和当前车速，确定车辆在转向一侧的危险区域；所述危险区域为在转向过程中车身经过的区域；映射模块603，用于在所述图像中确定所述危险区域和盲区映射的共同范围，以及所述共同范围内的目标预碰撞对象；更新模块604，用于升高所述目标预碰撞对象与车身的原有距离阈值，得到更新后的距离阈值；预警模块605，用于采用所述更新后的距离阈值，针对所述目标预碰撞对象进行预警。
52.可选的，该装置还包括转角确定模块，用于对所述图像进行识别得到前轮的远离车身的最边缘位置；根据所述前轮的远离车身的最边缘位置，确定所述前轮转角。
53.可选的，转角确定模块在根据所述前轮的远离车身的最边缘位置，确定所述前轮转角时，具体用于：根据所述前轮的远离车身的最边缘位置、参考位置和前轮的最大转角，确定所述前轮转角；其中，所述参考位置为在所述图像中，所述前轮转角最大时远离车身的最边缘位置。
54.可选的，确定模块602具体用于：根据车辆的前轮转角和当前车速，确定车辆的行驶轨迹；根据所述行驶轨迹，确定所述车辆在转向一侧的危险区域；映射模块603在所述图像中确定所述危险区域和盲区映射的共同范围时，具体用于：根据世界坐标系与图像坐标系的映射关系，确定所述危险区域在图像中映射的第一范围；根据所述车载bsd摄像头的外参，确定盲区在图像中映射的第二范围；将所述第一范围和第二范围的交集作为危险区域映射的最终范围。
55.可选的，预警模块605针对所述目标预碰撞对象进行预警时，具体用于：对所述车辆的驾驶员进行提醒，和/或触发车载显示屏显示所述车载bsd摄像头拍摄的视频，和/或触发车辆外设对所述预碰撞对象进行预警。
56.可选的，更新模块604具体用于根据所述前轮转角，当前车速以及所述目标预碰撞对象的位置，确定所述目标预碰撞对象与车身的多级距离阈值；预警模块605用于通过比较所述目标预碰撞对象与车身的实际距离与多级距离阈值，进行对应等级的预警。
57.可选的，该装置还包括阈值更新模块，用于升高所述目标预碰撞对象与车身的原有制动距离阈值，得到更新后的制动距离阈值；制动模块，用于如果所述目标预碰撞对象与车身的实际距离小于所述制动距离阈值，控制所述车辆制动。
58.本实施例提供装置可执行上述任一实施例提供的方法，具备相应的技术效果。
59.图8为本发明实施例提供的一种电子设备的结构示意图。如图8所示，电子设备400包括一个或多个处理器401和存储器402。
60.处理器401可以是中央处理单元（cpu）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备400中的其他组件以执行期望的功能。
61.存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（ram）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（rom）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所说明的本发明任意实施例的基于转向状态的盲区预警方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如初始外参、阈值等各种内容。
62.在一个示例中，电子设备400还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。该输入装置403可以包括例如键盘、鼠标等等。该输出装置404可以向外部输出各种信息，包括预警提示信息、制动力度等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
63.当然，为了简化，图8中仅示出了该电子设备400中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备400还可以包括任何其他适当的组件。
64.除了上述方法和设备以外，本发明的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的基于转向状态的盲区预警方法的步骤。
65.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
66.此外，本发明的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的基于转向状态的盲区预警方法的步骤。
67.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
68.需要说明的是，本发明所用术语仅为了描述特定实施例，而非限制本技术范围。如本发明说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要
素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
69.还需说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
70.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案。