一种提升暗光环境车位识别率及泊车能力的方法及系统与流程

1.本发明涉及汽车的自动泊车技术领域，特别是涉及一种提升暗光环境车位识别率及泊车能力的方法及系统。


背景技术：

2.自动泊车作为汽车低速工况下的自动驾驶技术之一，需求及应用逐渐趋于广泛。在当前的技术状态下，自动泊车系统可满足绝大多数场景的泊车需求，自动泊车系统的视觉感知部分由四颗环视摄像头组成，摄像头对环境光线要求高，低于一定照度摄像头即无法感知车位线，进而影响车位识别成功率，导致大量视觉车位无法释放。所以对于地下停车场等室内场景，现有的自动系统对停车场暗光环境下视觉车位识别精度差、识别误差大甚至无法有效识别，极大限制了自动泊车的使用场景，影响用户体验。


技术实现要素：

3.本发明提供一种提升暗光环境车位识别率及泊车能力的方法及系统，可有效提升自动泊车系统的在暗光环境下车对车位的识别精度、识别成功率，为后续泊车过程中规划泊车路径奠定了好的基础，给客户带来更好的泊车体验。
4.本发明的技术方案如下：
5.一种提升暗光环境车位识别率及泊车能力的方法，具体步骤如下：
6.s1、车辆开启自动泊车功能后，通过光线传感器实时监测车辆周边的环境光亮度，及通过环视摄像头实时采集车辆周边的图像；
7.s2、自动泊车控制器根据采集的环境光亮度进行判断是否开启补光灯，同时对采集的图像进行处理，得到鸟瞰全景图；
8.s3、自动泊车控制器对鸟瞰全景图进行分析计算，得到图中所有车位的坐标信息，并选定距离车辆位置最近的车位作为目标车位；
9.s4、根据目标车位的坐标信息，在鸟瞰全景图上形成检测区域，通过opencv对该检测区域进行亮度检测；
10.s5、如果亮度不符合设定的检测标准，则判断目标车位处于暗光区域，此时对补光灯进行控制，以保证目标车位始终处于设定的目标光照强度范围内；反之则判断目标车位不处于暗光区域，无需对补光灯进行控制；
11.s6、通过超声波雷达实时监测到目标车位所对应的空间信息，自动泊车控制器将该空间信息与目标车位的坐标信息进行融合，根据置信度判断输出有效车位；
12.s7、自动泊车控制器根据有效车位对泊车路径进行规划，并控制车辆依据泊车路径完成在有效车位的自动泊车。
13.本发明通过光线传感器、环视摄像头同步实时采集车辆周围的光线环境及图像，当环境光亮度低于一定亮度时，即激活补光灯实时进行补光，以使环视摄像头采集的图像更清晰；之后对环视摄像头采集的图像进行解析形成鸟瞰全景图，根据鸟瞰全景图得到目
标车位的坐标信息，并对其所处区域进行亮度检测，判断目标车位是否处于暗光区域，如果是，则通过补光灯对目标车位补偿光照强度和调整补光灯的照射角度，以保证目标车位始终处于最适宜的亮度环境下，以此实现在暗光环境下车对目标车位的识别精度、识别成功率，最后根据目标车位的坐标信息与超声波雷达采集的车位空间信息进行融合，完成泊车动作。
14.进一步，步骤s2中，如果环境光亮度小于设定的亮度阈值、及持续时间大于设定的时长阈值时，则开启补光灯对暗光区域进行照射；反之则不开启补光灯。
15.本发明的补光灯跟环视摄像头的控制是独立的，是否开启补光灯并不影响环视摄像头的实时采集图像，补光灯在低于上述的阈值条件时进行点亮，以提高环视摄像头在暗光环境下采集图像的清晰度。
16.进一步，亮度阈值为20lux，时长阈值为10秒。这两个阈值条件可根据实际情况进行设定，此处不作限定，可根据实际需要进行改变。
17.进一步，步骤s2中，对采集的图像进行处理，得到鸟瞰全景图的过程如下：
18.通过俯视变换将多路经过畸变矫正和预处理的图像根据相机标定数据透视到同一平面，然后经过图像拼接、色彩平衡及亮度一致性处理后得到鸟瞰全景图。
19.进一步，步骤s3中，自动泊车控制器对鸟瞰全景图进行分析计算，得到图中所有车位的坐标信息的具体过程如下：
20.根据鸟瞰全景图的颜色信息及灰度梯度信息提取出边缘灰度图，然后通过霍夫变换提取出车位线，进而通过摄像头标定、像素坐标系与车辆坐标系的转换检测得到角点，以此得到所有车位的角点及车位线坐标。
21.进一步，步骤s5中，检测标准为该检测区域的亮度连续10帧小于20lux。该检测标准可根据实际情况进行设定，此处不作限定，可根据实际需要进行改变。
22.进一步，步骤s5中，对补光灯进行控制的过程如下：
23.根据检测区域的亮度与检测标准的差值，按每降低5lux增加0.5瓦的补偿机制调整补光灯的发光功率，并且根据目标车位的坐标信息调整补光灯的射光位置，以保证目标车位始终处于设定的目标光照强度范围内。
24.进一步，目标光照强度范围是80-120lux。这范围可根据实际情况进行设定，此处不作限定，可根据实际需要进行改变。
25.进一步，步骤s2中，在对图像进行处理前，所述自动泊车控制器将环视摄像头采集到的图像先输入预设的深度学习神经网络模型，经过深度学习神经网络模型的优化后，输出优化图像，再对优化图像进行处理得到鸟瞰全景图；其中深度学习神经网络模型由各种不同条件下采集到图像数据训练而得到。
26.环视摄像头采集的图像包括室内、室外停车场不同亮度、不同颜色车位线、不同残缺程度、不同车道线干扰、不同天气状况、不同场地材质等条件下水平车位、垂直车位及斜列车位的车位线图像，将这些图像输出基于深度学习算法的神经网络模型进行优化后再输出，可有效提升对后续图像中的不同亮度、不同颜色车位线、不同残缺程度、不同车道线干扰等车位线的识别成功率，进而提高在后续对图像进行分析计算得到目标车位的坐标信息的准确度。
27.本发明还提供一种提升暗光环境车位识别率及泊车能力的系统，该系统用于实现
上述的方法，系统包括光线传感器、补光灯、环视摄像头、超声波雷达、自动泊车控制器；
28.车辆两侧的后视镜上均安装有所述光线传感器和补光灯，所述光线传感器用于监测车辆周边的环境光亮度，所述补光灯用于在暗光环境下进行补光；
29.车辆的四个方位上均安装有所述环视摄像头，所述环视摄像头用于采集车辆周边的图像；
30.车辆的前保险杠、后保险杠均安装有所述超声波雷达，所述超声波雷达用于感知车辆周边的环境信息；
31.所述自动泊车控制器用于控制车辆完成自动泊车动作，所述自动泊车控制器分别与所述光线传感器、补光灯、环视摄像头、超声波雷达电性连接。
32.相比现有技术，本发明的有益效果如下：
33.本发明通过光线传感器、补光灯、环视摄像头、超声波雷达及自动泊车控制器的配合，先感知车辆周围环境光亮度和采集车位图像，然后分析计算，得到目标车位在光线充足情况下的坐标信息，并与超声波雷达采集的车位空间信息进行融合，以此输出有效车位，最后自动泊车控制器根据有效车位规划泊车路线完成自动泊车。本发明有效提升了自动泊车时对车位的识别精度、识别成功率，进而提升了用户的泊车体验。
附图说明
34.图1是本发明提升暗光环境车位识别率及泊车能力的方法的流程图；
35.图2是本发明提升暗光环境车位识别率及泊车能力的系统的示意图。
具体实施方式
36.附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。
37.实施例1：
38.如图1所示，本实施例提供一种提升暗光环境车位识别率及泊车能力的方法，具体步骤如下：
39.s1、车辆开启自动泊车功能后，通过光线传感器实时监测车辆周边的环境光亮度，及通过环视摄像头实时采集车辆周边的图像；
40.s2、自动泊车控制器根据采集的环境光亮度进行判断是否开启补光灯，同时对采集的图像进行处理，得到鸟瞰全景图；
41.s3、自动泊车控制器对鸟瞰全景图进行分析计算，得到图中所有车位的坐标信息，并选定距离车辆位置最近的车位作为目标车位；
42.s4、根据目标车位的坐标信息，在鸟瞰全景图上形成检测区域，通过opencv对该检测区域进行亮度检测；
43.s5、如果亮度不符合设定的检测标准，则判断目标车位处于暗光区域，此时对补光灯进行控制，以保证目标车位始终处于设定的目标光照强度范围内；反之则判断目标车位不处于暗光区域，无需对补光灯进行控制；
44.s6、通过超声波雷达实时监测到目标车位所对应的空间信息，自动泊车控制器将该空间信息与目标车位的坐标信息进行融合，根据置信度判断输出有效车位；
45.s7、自动泊车控制器根据有效车位对泊车路径进行规划，并控制车辆依据泊车路径完成在有效车位的自动泊车。
46.本发明通过光线传感器、环视摄像头同步实时采集车辆周围的光线环境及图像，当环境光亮度低于一定亮度时，即激活补光灯实时进行补光，以使环视摄像头采集的图像更清晰；之后对环视摄像头采集的图像进行解析形成鸟瞰全景图，根据鸟瞰全景图得到目标车位的坐标信息，并对其所处区域进行亮度检测，判断目标车位是否处于暗光区域，如果是，则通过补光灯对目标车位补偿光照强度和调整补光灯的照射角度，以保证目标车位始终处于最适宜的亮度环境下，以此实现在暗光环境下车对目标车位的识别精度、识别成功率，最后根据目标车位的坐标信息与超声波雷达采集的车位空间信息进行融合，完成泊车动作。
47.在本实施例的步骤s2中，如果环境光亮度小于设定的亮度阈值、及持续时间大于设定的时长阈值时，则开启补光灯对暗光区域进行照射；反之则不开启补光灯。其中亮度阈值为20lux，时长阈值为10秒。
48.本发明的补光灯跟环视摄像头的控制是独立的，是否开启补光灯并不影响环视摄像头的实时采集图像，补光灯在低于上述的阈值条件时进行点亮，以提高环视摄像头在暗光环境下采集图像的清晰度。亮度阈值、时长阈值可根据实际情况进行设定，此处不作限定，可根据实际需要进行改变。
49.在本实施例的步骤s2中，对采集的图像进行处理，得到鸟瞰全景图的过程如下：
50.通过俯视变换将4路经过畸变矫正和预处理的图像根据相机标定数据透视到同一平面，然后经过图像拼接、色彩平衡及亮度一致性处理后得到鸟瞰全景图。
51.在本实施例的步骤s3中，自动泊车控制器对鸟瞰全景图进行分析计算，得到图中所有车位的坐标信息的具体过程如下：
52.根据鸟瞰全景图的颜色信息及灰度梯度信息提取出边缘灰度图，然后通过霍夫变换提取出车位线，进而通过摄像头标定、像素坐标系与车辆坐标系的转换检测得到角点，以此得到所有车位的角点及车位线坐标。
53.在本实施例中，通过opencv对检测区域进行亮度检测的技术手段为本领域技术人员所公知，此处不再叙述。
54.在本实施例的步骤s5中，检测标准为该检测区域的亮度连续10帧小于20lux。该检测标准可根据实际情况进行设定，此处不作限定，可根据实际需要进行改变。
55.并且在步骤s5中，对补光灯进行控制的过程如下：
56.根据检测区域的亮度与检测标准的差值，按每降低5lux增加0.5瓦的补偿机制调整补光灯的发光功率，并且根据目标车位的坐标信息调整补光灯的射光位置，以保证目标车位始终处于设定的目标光照强度范围内。
57.具体操作时，可通过自动泊车控制器发送指令控制，以使补光灯调节其射光位置和发光功率，其中射光位置与暗光区域对应。
58.在本实施例中，目标光照强度范围可以设定为80-120lux，这范围可根据实际情况进行设定，此处不作限定，可根据实际需要进行改变。
59.本发明通过光线传感器、补光灯、环视摄像头、超声波雷达及自动泊车控制器的配合，先感知车辆周围环境光亮度和采集车位图像，然后分析计算，得到目标车位在光线充足情况下的坐标信息，并与超声波雷达采集的车位空间信息进行融合，以此输出有效车位，最后自动泊车控制器根据有效车位规划泊车路线完成自动泊车。本发明有效提升了自动泊车时对车位的识别精度、识别成功率，进而提升了用户的泊车体验。
60.实施例2：
61.如图2所示，本实施例提供一种提升暗光环境车位识别率及泊车能力的系统，该系统用于实现上述实施例1中的方法，系统包括光线传感器、补光灯、环视摄像头、超声波雷达、自动泊车控制器；
62.车辆两侧的后视镜上均安装有光线传感器和补光灯，光线传感器用于监测车辆周边的环境光亮度，补光灯用于在暗光环境下进行补光；
63.车辆的四个方位上均安装有环视摄像头，环视摄像头用于采集车辆周边的图像；
64.车辆的前保险杠、后保险杠均安装有超声波雷达，超声波雷达用于感知车辆周边的环境信息；
65.自动泊车控制器用于控制车辆完成自动泊车动作，自动泊车控制器分别与光线传感器、补光灯、环视摄像头、超声波雷达电性连接。
66.在本实施例中，4颗环视摄像头分别安装在车辆的前进气格栅、左/右后视镜及后保险杠牌照板处，同时设有12颗超声波雷达，其中6颗安装于前保险扛，6颗安装于后保险杠，以实现全方位感知车辆的四周环境信息。
67.在本实施例中，环视摄像头采用360
°
鱼眼摄像头。
68.实施例3：
69.本实施例与实施例1相似，所不同之处在于，在步骤s2中，对图像进行处理前，所述自动泊车控制器将环视摄像头采集到的图像先输入预设的深度学习神经网络模型，经过深度学习神经网络模型的优化后，输出优化图像，再对优化图像进行处理得到鸟瞰全景图。
70.在本实施中，深度学习神经网络模型由各种不同条件下采集到图像数据训练而得到。
71.环视摄像头采集的图像包括室内、室外停车场不同亮度、不同颜色车位线、不同残缺程度、不同车道线干扰、不同天气状况、不同场地材质等条件下水平车位、垂直车位及斜列车位的车位线图像，将这些图像输出基于深度学习算法的神经网络模型进行优化后再输出，可有效提升对后续图像中的不同亮度、不同颜色车位线、不同残缺程度、不同车道线干扰等车位线的识别成功率，进而提高在后续对图像进行分析计算得到目标车位的坐标信息的准确度。
72.显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。