基于单光子图像传感器的自动驾驶方法及系统与流程

1.本技术涉及自动驾驶领域，尤其涉及一种基于单光子图像传感器的自动驾驶方法及系统。


背景技术：

2.测距是车辆自动驾驶技术中的核心功能，最常见的技术手段是通过激光雷达（lidar）实现测距，随着具备自动驾驶功能的车辆的商用普及，道路上大量车辆采用同样的雷达扫描，存在相互干扰的现象，雷达容易混淆附近的车辆发送来的脉冲和自己发出的信号回波，导致雷达失灵甚至对车辆和人员的安全性造成威胁。除此之外，车用激光雷达的探测距离有限，对150米以外物体测距较为困难，探测距离较短还会限制车速，不利于车辆高速行驶。另外，激光雷达难以全天候工作，在强光，雨或雾等特殊环境下，难以正常工作。


技术实现要素：

3.有鉴于此，本技术提供了一种基于单光子图像传感器的自动驾驶方法及系统。
4.为了解决上述技术问题，本技术采用了如下技术方案：本技术的第一方面，提供了一种基于单光子图像传感器的自动驾驶方法，该方法包括：开启激光发射装置，激光发射装置向视场内多个参考对象发射激光，单光子图像传感器接收从所述多个参考对象反射的激光，确定所述多个参考对象与单光子图像传感器之间的多个实际距离；关闭激光发射装置，获得单光子图像传感器图像；识别所述多个参考对象，基于单目视觉测距算法，根据所述多个参考对象在所述图像中对应的多个像素位置，确定所述多个参考对象与所述单光子图像传感器之间的多个测算距离；根据所述多个实际距离和对应的多个像素位置，确定实际距离随像素位置变化的第一预测曲线，根据所述多个测算距离和对应的多个像素位置，确定测算距离随像素位置变化的第二预测曲线，根据所述第一预测曲线和所述第二预测曲线，得到校正系数；识别目标对象，基于单目视觉测距算法确定所述目标对象与所述单光子图像传感器之间的测算距离，根据所述测算距离和所述校正系数，确定目标对象实际距离；获取路线信息和车辆运动状态；根据所述目标对象、所述目标对象实际距离、所述路线信息和所述车辆运动状态，发送运动控制信号至运动控制系统，根据所述运动控制信号调整车辆运动状态。
5.优选地，所述单目测距算法具体为：根据对象在图像中x轴和y轴方向距离图像中心点的距离、图像宽度和高度、单光子图像传感器的高度、俯视角、垂直半视场角和水平半视场角计算对象与所述单光子图像传感器之间的距离。
6.本技术的第二方面，提供了一种基于单光子图像传感器的自动驾驶系统，该系统
包括：激光发射装置，用于向视场内多个参考对象发射激光；单光子图像传感器，用于接收从所述多个参考对象反射的激光，探测关闭激光发射装置后的视场，得到图像；车辆定位系统，用于获取路线信息和车辆运动状态；主机系统，用于识别参考对象或目标对象，基于单目视觉测距算法，根据所述参考对象或目标对象在图像中对应的像素位置，确定参考对象与单光子图像传感器之间的测算距离，根据实际距离和像素位置，确定实际距离随像素位置变化的第一预测曲线，根据测算距离和像素位置，确定测算距离随像素位置变化的第二预测曲线，根据所述第一预测曲线和所述第二预测曲线，得到校正系数，基于单目视觉测距算法确定目标对象与单光子图像传感器之间的测算距离，根据测算距离和校正系数，确定目标对象实际距离，根据目标对象、目标对象实际距离、路线信息和车辆运动状态，发送运动控制信号至运动控制系统；运动控制系统，用于接收所述运动控制信号，根据所述运动控制信号调整车辆运动状态。
7.优选地，所述主机系统包括显示设备接口，用于将图像传输到与显示设备接口电连接的外部显示设备。
8.优选地，所述单光子图像传感器包括单光子雪崩二极管。
9.优选地，所述激光发射装置包括垂直腔面发射激光器。
10.优选地，所述主机系统包括基于卷积神经网络的机器学习单元。
11.相较于现有技术，本技术具有以下有益效果：基于以上技术方案可知，本技术提供的一种基于单光子图像传感器的自动驾驶方法及系统，开启一次激光发射装置对参考物测距标定，再采用视觉算法对参考物测距，根据两者差异得到校正系数，关闭激光发射装置后，采用视觉算法对单光子图像传感器获取的图像中的目标对象进行测距得到测量距离，根据测量距离和校正系数，得到目标对象实际距离。根据识别的目标对象、目标对象实际距离、路线信息和车辆运动状态，发送运动控制信号至运动控制系统，以调整车辆运动状态，实现自动驾驶。本技术提供的方法仅使用一次激光发射装置测距，无需高频次使用激光测距，解决了激光雷达测距时与其他车辆的激光相互干扰的问题，单光子图像传感器不仅可以作为做激光测距时的接收器，还可以作为图像传感器进行成像，同时可在弱光条件下正常工作，满足全天候工作要求。
附图说明
12.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
13.图1是本技术实施例提供的用于基于单光子图像传感器的自动驾驶方法的示例流程图。
14.图2是本技术实施例提供的一种单目视觉测距原理图。
15.图3是本技术实施例提供的一种预测曲线与校正曲线关系示意图。
16.图4是本技术实施例提供的基于单光子图像传感器的自动驾驶系统框架示意图。
具体实施方式
17.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
18.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
19.应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语
“ꢀ
包括”、
“ꢀ
包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句
“ꢀ
包括一个
……”
限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
20.图1是用于基于单光子图像传感器的自动驾驶方法过程100的示例流程图。过程100包括：s101开启激光发射装置，确定参考对象实际距离；s102关闭激光发射装置，获得单光子图像传感器图像；s103基于单目视觉测距算法，确定参考对象测算距离；s104根据参考对象实际距离和像素位置，确定第一预测曲线，根据参考对象测算距离和像素位置，确定第二预测曲线，确定校正系数；s105识别目标对象，基于单目视觉测距算法，确定目标对象的测算距离，根据所述测算距离和所述校正系数，确定目标对象实际距离；s106获取路线信息和车辆运动状态；s107根据目标对象、目标对象实际距离、路线信息和车辆运动状态，发送运动控制信号至运动控制系统，以调整车辆的运动状态。
21.在s101中，开启激光发射装置，激光发射装置向视场内多个参考对象发射激光，单光子图像传感器接收从多个参考对象反射的激光，确定多个参考对象与单光子图像传感器之间的多个实际距离。
22.本技术提供的实施例中，传感器系统包括激光控制模块、激光发射装置、单光子图像传感器、传感器接口和数据传输模块。激光发射装置可以为垂直腔面发射激光器(vcsel)。发射的激光波段可以在630纳米至1550纳米之间。激光发射装置设置于车辆上。激光控制模块接收来自车辆主机系统的激光控制信号，根据激光控制信号控制激光发射装置的开启与关闭。
23.用于接收激光信号的传感器可以为单光子图像传感器，单光子图像传感器中的探测器可以为光电倍增管（pmt）、雪崩光电二极管（apd）、单光子雪崩二极管（spad）、硅光电倍增管（sipm）、增强型光电极管（ipd）或电子倍增ccd（emccd）。激光测距原理可以为三角测距原理，tof测距原理。
24.在一些实施例中，激光控制模块接收到来自主机系统的对应开启激光发射装置的激光控制信号，控制激光发射装置向视场内多个参考对象发射激光脉冲，基于tof测距原理，计时器记录发射时间，激光脉冲经物体对象反射后由单光子图像传感器接收，计时器记录接收时间，两个时间的差值乘上光速即得到参考对象与车辆距离的两倍，得到参考对象的距离后，将参考对象的实际距离和单光子图像传感器接受到的激光所成的图像将其通过
传感器接口与数据传输模块发送到主机系统。
25.在一些实施例中，参考对象的数量为多个且设置多个参考对象与车辆的距离各不相同，单光子图像传感器可以探测到每个参考对象，通过tof测距方法可以确定每个参考对象与车辆之间的实际距离。
26.在s102中，关闭激光发射装置，获得单光子图像传感器图像。
27.激光控制模块接收到来自主机系统的对应关闭激光发射装置的激光控制信号，控制激光发射装置置于关闭状态。激光发射装置关闭后，单光子图像传感器起到图像传感的功能，用于接收来自车辆周围环境物体反射来的电磁辐射，例如，波长为900纳米至1700纳米的电磁波，通过雪崩光电二极管探测器将光信号转化为电信号，对得到的电信号进行处理，得到单光子图像传感器图像，将该图像经过传感器接口和数据传输模块发送至主机系统。
28.在s103中，识别多个参考对象，基于单目视觉测距算法，根据多个参考对象在所述图像中对应的多个像素位置，确定多个参考对象与单光子图像传感器之间的多个测算距离。
29.传感器系统连接到主机接口，经由主机接口将图像帧发送到主机系统。主机接口可以是多种高速或高宽带接口之一，例如，主机接口可以为外围组件互连总线（pci）。
30.传感器系统的数据传输模块连接到主机接口，经由主机接口将图像帧发送到机器学习单元中的识别单元。识别图像中的对象的过程分为两个步骤，首先，识别单元通过算法检测出来自对象所对应的像素簇，其次，通过预先被训练的识别单元从对图像中确定出对象的特定类别。
31.识别单元可以通过图像中来自车辆周围环境对象（例如，人、动物、车辆或障碍物）反射的电磁辐射的像素簇来检测到一个或多个对象，识别单元可以使用对象识别算法（例如felzenszwalb图像分割算法）、视频跟踪和其他计算机视觉技术，以检测出单光子图像传感器视场内出现的对象相关联的像素簇。
32.识别单元可以对单光子图像传感器视场内出现的对象进行分类，确定目标对象的类别，识别单元模型预先被输入训练数据来进行训练，使识别单元被配置可以从对图像中确定出特定对象的类别，训练数据可以为特定对象或图像特征的有限数目的示例，对象的分类类别可以为人、动物、交通标志、静态物体或动态物体，识别单元可以包括卷积神经网络、支持向量机或贝叶斯网络。
33.确定参考对象后，基于单目视觉测距算法，机器学习单元中的测距单元根据多个参考对象在所述图像中对应的多个像素位置，确定多个参考对象与单光子图像传感器之间的多个测算距离。
34.在一些实施例中，采用的单目视觉测距算法如图2所示，图2是单目视觉测距原理图，单光子图像传感器可探测的视场内参考对象对应的像素在图像中x轴和y轴方向距离图像中心点的距离分别记为a和b，图像宽度和高度的一半分别记为a和b，安装在车辆上的单光子图像传感器可以具有固定的高度和俯视角度，单光子图像传感器的高度记为h，单光子图像传感器俯视角记为，单光子图像传感器垂直半视场角记为，单光子图像传感器水平半视场角记为。则根据图2中的几何关系推导可知，参考对象在世界坐标系的x轴和y两轴
方向的距离，距离，再根据两点间距离公式可知，参考对象与车辆之间的距离。需要说明的是，测距单元也可以采用其他测距算法计算对象与车辆之间的距离。
35.在s104中，根据多个实际距离和对应的多个像素位置，确定实际距离随像素位置变化的第一预测曲线，根据多个测算距离和对应的多个像素位置，确定测算距离随像素位置变化的第二预测曲线，确定校正系数。
36.主机系统接收到s101中通过激光发射装置测量得到的参考对象的实际距离和单光子图像传感器接收到的图像后，根据多个参考目标在图像中对应的像素位置和通过激光发射装置测量得到的实际距离，预测出实际距离随像素位置变化的曲线。
37.在一些实施例中，参考对象对应的像素在图像中x轴方向距离图像中心点的距离a与图像宽度一半a的比值作为像素位置变量，该变量的取值范围在0至1之间，参考图3，根据多个参考对象的像素位置和与该像素位置对应的实际距离，预测出实际距离随像素位置连续变化的抛物形曲线，记为x方向第一预测曲线，x方向第一预测曲线描述x方向上像素位置变量与实际距离的对应关系。同理可得y方向第一预测曲线。
38.类似地，根据多个参考对象的像素位置和与该像素位置对应的测算距离，预测出测算距离随像素位置连续变化的抛物形曲线，记为x方向和y方向的第二预测曲线，x方向和y方向的第二预测曲线描述像素位置变量与测算距离的对应关系。
39.将x方向第一预测曲线和x方向第二预测曲线作差，得到x方向校正系数，将y方向第一预测曲线和y方向第二预测曲线作差，得到y方向校正系数，校正系数反映了通过单目视觉测距算法测算出来的距离与激光测距法得到的距离的差异，该差异可以由车辆行驶过程中传感器的俯视角或高度等参数发生改变而造成。
40.在s105中，识别目标对象，基于单目视觉测距算法确定目标对象与单光子图像传感器之间的测算距离，根据测算距离和校正系数，确定目标对象实际距离。
41.激光发射装置关闭后，单光子图像传感器用作图像传感。主机系统中的机器学习单元经由主机接口接收到图像后，机器学习单元中的识别单元识别图像中的目标对象。识别方法或过程如s103中描述，在此不做详细描述。
42.确定目标对象后，机器学习单元中的测距单元基于单目视觉测距算法确定目标对象与单光子图像传感器之间的测算距离，通过单目视觉测距算法进行测距的方法或过程如s103中描述，在此不做详细描述。
43.得到目标对象的测算距离后，根据目标对象的像素位置，在校正系数曲线上确定出对应该像素位置的用作补偿或修正的校正系数，将测算距离与对应像素位置的校正系数求和，得到目标对象的实际距离，该距离由测算距离经过校正得到，与实际距离误差较小。
44.在s106中，车辆定位系统获取路线信息和车辆运动状态。
45.车辆定位系统可以是基于全球定位系统（gps），也可以是基于北斗卫星导航系统（bds），车辆定位系统可接收来自卫星发送的数据。每当主机系统接收到来自传感器系统输出的图像后，主机系统向车辆定位系统发出请求信号，车辆定位系统接收到请求信号后，将车辆当前所在路线信息和车辆运动状态发送到主机系统，路线信息可以为交叉路口、转向车道等，车辆运动状态可以为速度或方向。
46.在s107中，根据目标对象、目标对象实际距离、路线信息和车辆运动状态，发送运动控制信号至运动控制系统。
47.运动控制系统可以包括动力系统，制动系统和转向系统。运动控制系统被配置为接收来自主机系统输出的运动控制信号，根据运动控制信号，动力系统、制动系统或转向系统做出相应调整，改变车辆运动状态，以实现自动驾驶功能。
48.车辆的动力系统包括动力源，动力源（例如，电池或内燃机）经由动力系统连接到车轮，动力系统能够使车轮旋转，并控制车轮转速，使车辆能够行驶，在行驶过程中加速或减速。车辆的转向系统可以使车轮相对于车身发生偏转角度，例如，通过控制车辆角速度或偏航角，使车辆行驶发生转向。车辆的制动系统可以对车轮施加作用力，从而使其进行特定程度的强制制动，使行驶中的车辆进行强制减速或停车。
49.在主机系统的机器学习单元确定目标对象类别及其距离后，机器学习单元中的预测单元从车辆定位系统中获取的路线信息和当前车辆运动状态，路线信息可以为交叉路口、转向车道等道路特征，当前车辆运动状态可以为当前车速和方向。
50.预测单元预先被输入路线信息和含有特定对象的训练数据来进行训练，使预测单元被配置可以基于输入路线信息和识别到的特定的目标对象，预测目标对象的运动状态，结合计算得到的目标对象与车辆之间的距离和当前自身车辆运动状态，输出运动控制信号以调整车辆运动状态，实现自动驾驶。
51.例如，在s105中，识别单元识别到了在与自身车辆行驶方向相反的方向上存在行驶的目标车辆，在s105中，测距单元测量出了目标车辆与自身车辆之间的距离，在s107中，通过向预测单元输入的路线信息，若目标车辆处于转向专用车道，且交叉路口没有交通信号灯，则预测单元可以预测目标车辆可能即将进行转向行驶并预测出转向行驶路线，若目标车辆转向行驶路线与自身车辆行驶路线存在交点，即存在发生碰撞等交通事故风险，根据测量得到的目标对象与自身车辆的距离，若当前自身车辆速度较快，预测单元向运动控制系统发出对应车辆减速的运动控制信号，使车辆减速，避免发生交通事故。
52.在一些实施例中，本技术提供的一种基于红单光子图像传感器自动驾驶系统的主机系统可以电连接外接设备，外接设备可以为显示屏，鼠标，键盘，usb等输入输出设备。
53.在一些实施例中，主机系统还包括显示设备接口，主机系统中的测距单元完成对目标对象测距后，将图像和目标对象距离信息经由显示设备接口发送至系统外部的显示屏，以便车内人员方便、全面、深入地了解车辆周围环境信息。
54.图4是本技术实施例提供的基于单光子图像传感器的自动驾驶系统框架示意图。该系统包括传感器系统、车辆定位系统、主机系统和运动控制系统。传感器系统包括激光发射装置、激光控制模块、计时器、单光子图像传感器、传感器接口和数据传输模块。主机系统包括主机接口、显示设备接口和机器学习单元。机器学习单元包括识别单元、测距单元和预测单元。运动控制系统包括动力系统、制动系统和转向系统。
55.以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。