车灯智能控制方法、装置、终端及存储介质与流程

1.本发明涉及人工智能控制技术领域，尤其涉及一种车灯智能控制方法、装置、终端及存储介质。


背景技术：

2.目前汽车成为越来越多人出行时常用的交通工具，随着车辆远光灯的亮度不断提升，车辆远光灯对路面的光线影响和道路参与者(包括行人、其他车辆等)的视觉伤害成为越来越迫切的话题。在当前状态下，车辆远光灯对路面参与者产生的以下影响：1、车辆远光灯照射对向车辆，导致驾驶员视觉出现“亮斑”效应，或者导致驾驶员无法有效观察路面情况，产生驾驶决策风险。2、车辆远光灯对行人的直接照射，可能对行人产生视觉伤害，可能引发永久视力损伤。3、车辆远光灯对同向前车造成“亮斑”效应，导致前车驾驶员的后视镜出现眩光，无法有效观察后端周边车辆情况，产生驾驶决策风险。
3.在现有技术中，一种解决方案是：车辆通过支持“远光自动控制”功能来实现响应的自动远光灯控制，其原理是：利用车辆内的后视镜部位的摄像头侦测到前车行驶的车辆，探测范围可达几十到几百米。如果摄像头检测到对面有来车，则系统就会有选择性地关闭远光灯并切换到近光，让光束避开对面车辆，当前车没有车辆时再切换回远光。但是该解决方案有如下缺点：受限于摄像头的分辨率不足以及夜间环境下的对象难以识别的问题，可能无法精确识别车辆前车对象如行人或者动物，所以经常存在较多远近光误切换，而且也无法满足行驶车辆对远近光切换实时性的高要求。
4.因此亟需一种车灯智能控制方法，以改善上述问题。


技术实现要素：

5.本发明的目的在于提供一种车灯智能控制方法、装置、终端及存储介质，用以实现远光灯和近光灯的智能切换，满足车辆驾驶对实时性的高要求。
6.第一方面，本发明实施例提供一种车灯智能控制方法，该方法包括：从图像采集装置获取图像数据；对所述图像数据进行预处理，得到预处理后的数据；将预处理后的数据输入至车辆信息检测神经网络模型；以及从所述车辆信息检测神经网络模型获取输出结果；根据所述输出结果确定前车相对于本车的运动状态信息，所述运动状态信息包括前车位置、前车车灯位置和车灯类型、前车相对于本车的速度，前车相对于本车的行驶方向和偏离角度；根据所述运动状态信息，通过控制车灯矩阵模块切换远光灯和近光灯。
7.本发明实施例提供的车灯智能控制方法的有益效果在于：一方面，本实施例采用图像采集装置获取图像数据，可以不再受到传统相机帧率限制，能超实时的反馈当前行驶路况；另一方面，本实施例能够借助前车相对于本车的运动状态信息，所述运动状态信息包括前车位置、前车车灯位置和车灯类型、前车相对于本车的速度，前车相对于本车的行驶方向和偏离角度；从而根据所述运动状态信息，通过控制车灯矩阵模块切换远光灯和近光灯，实现远光灯和近光灯的切换，相比传统按照固定帧率采集密集图像的实现方式，本实施例
在极大的节约资源的同时，也满足了车辆驾驶对实时性的高要求。
8.在一种可能的实施方案中，根据所述运动状态信息，通过控制车灯矩阵模块切换远光灯和近光灯，包括：当所述前车位置与本车位置之间的相对距离小于设定阈值，通过控制车灯矩阵模块将本车的远光灯切换为近光灯。本实施例能够实时实现夜晚驾驶场景下灯光控制，一种情况下，能够避免车辆远光灯照射对向车辆，以避免导致驾驶员视觉出现“亮斑”效应，或者以避免导致驾驶员无法有效观察路面情况产生驾驶决策风险。另一种情况下，能够避免车辆远光灯照射同向前车，避免车辆远光灯对同向前车造成“亮斑”效应。
9.在一种可能的实施方案中，所述方法还包括：根据前车相对于本车的偏离角度，确定前车位于本车右侧方向或前车位于本车左侧方向；
10.若确定前车位于本车右侧方向，则调整本车的右侧的车灯的强度，其中，所述前车相对于本车的速度越大，则本车的右侧的车灯的灯光强度越弱；
11.若确定前车位于本车左侧方向，则调整本车的左侧的车灯的强度，其中，所述前车相对于本车的速度越大，则本车的左侧的车灯的灯光强度越弱。
12.上述实施例中，能够借助前车相对于本车的偏离角度，确定临近前车的车前灯是左侧车前灯还是右侧车前灯，进而根据前车相对于本车的速度的大小选择调整对应侧的车前灯的强度，相对速度越大，本车的右侧的车灯的灯光强度越弱，在保证夜间照明亮度时，尽可能避免车辆远光灯对前车的影响。
13.在一种可能的实施方案中，所述方法还包括：根据前车相对于本车的偏离角度，当前车位于本车的偏离角度落入[0,90]时，表示前车位于本车右前方向；
[0014]
该前车位于本车的偏离角度落入(90,180]时，表示前车位于本车右后方向；
[0015]
该前车位于本车的偏离角度落入(180-270]时，表示前车位于本车左后方向；
[0016]
该前车位于本车的偏离角度落入(270,360]时，表示前车位于本车左前方向。
[0017]
在一种可能的实施方案中，从图像采集装置获取图像数据之前，所述方法还包括：从图像采集装置获取不同驾驶场景下的事件流；对所述不同驾驶场景下的事件流进行预处理，形成训练数据集、验证数据集和测试数据集；利用预处理后的训练数据集输入参考特征提取网络进行训练，得到车辆信息检测神经网络模型。
[0018]
在一种可能的实施方案中，对所述图像数据进行预处理，得到预处理后的数据，包括：对所述图像数据中的事件流数据进行直方图统计，得到预处理后的数据，所述预处理后的数据满足如下公式：
[0019][0020]
其中，为位置(x,y)处的像素值。
[0021]
第二方面，本发明实施例提供一种车灯智能控制装置，该装置包括执行上述第一方面任意一种可能的设计方法的模块/单元，这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。
[0022]
第三方面，本发明实施例还提供一种车灯智能控制系统，包括图像采集装置和车载终端，图像采集装置可以执行上述第一方面任一可能涉及的方案中所述图像采集装置所
执行的方法，车载终端可以执行上述第一方面任一可能涉及的方案中所述车载终端所执行的方法。
[0023]
第四方面，本发明实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，当计算机程序在车载终端上运行时，使得所述车载终端执行上述第一方面任一项所执行的方法。
[0024]
关于上述第三方面至第四方面的有益效果可以参见上述第一方面中的描述。
附图说明
[0025]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0026]
图1为本发明实施例提供的一种普通型相机输出和事件型相机输出效果示意图；
[0027]
图2为本发明实施例提供的各个驾驶场景下的车辆的可视化图像示意图；
[0028]
图3至图6为本发明实施例提供的各个驾驶场景下的车灯的可视化图像示意图；
[0029]
图7为本发明实施例提供的一种车辆信息检测神经网络模型的训练方法示意图；
[0030]
图8为本发明实施例提供的一种车灯智能控制方法流程示意图；
[0031]
图9为本发明实施例提供的一种车灯智能控制装置结构示意图；
[0032]
图10为本发明实施例提供的一种车载终端结构示意图。
具体实施方式
[0033]
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。其中，在本发明实施例的描述中，以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本技术的限制。如在本技术的说明书和所附权利要求书中所使用的那样，单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本技术以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a、b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
[0034]
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
[0035]
在本发明实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本
发明实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
[0036]
普通型相机(standard camera)是按照固定帧率采集密集图像,典型的二维图像中某像素点表示为(x,y)，而事件型相机(events camera)是仿生视觉传感器按照时间戳异步的方式密集采集变化,得到一个事件流，记录时间t、坐标位置(x,y)、极性p。此处的极性为：当某个时间t，位置为(x,y)的感应值高于前一时间t-1的感应值，则极性为1，否则为-1；因此事件流中的在特定时间特定位置事件记录方式为(t,x,y,p)。事件型相机相比普通型相机，可以有任意高帧率，以及较高的动态范围。如图1所示，针对顺时针旋转的拍摄对象，普通型相机采集并连续输出多帧图像。而针对同一拍摄对照，事件型相机(events camera)则是输出可视化后的事件流。
[0037]
示例性地，本发明通过对事件型相机(events camera)所输出的事件流进行可视化，统计一段时间内的事件，以10ms为间隔可视化一张图像，将该段事件内相同位置处的事件进行累加，t0时刻，位置(x,y)处的像素值p
t0
(x,y)按照下式进行处理：
[0038][0039]
图2示出了在道路行驶场景下本车的事件型相机所采集的邻车的可视化图像，图2中的(a)为本车与邻车对向行驶时，本车的事件型相机所采集的相对靠近邻车的可视化图像；图2中的(b)为本车与邻车同向行驶时，本车的事件型相机所采集的相对靠近邻车的可视化图像；图2中的(c)为本车与邻车同向行驶时，本车的事件型相机所采集的相对远离邻车的可视化图像；图2中的(d)为本车与邻车同向行驶时，本车的事件型相机所采集的行驶速度较小邻车的可视化图像。
[0040]
本发明对道路行驶场景下的事件型相机(events camera)的可视化图像进行观察总结，发现具有以下特点：
[0041]
(1)在一段时间内，若本车与前车的相对速度较大，则可视化后的灰度图像中像素值为255的像素点较多，亮光区域较大，如图2中的(c)；若本车与前车的相对速度较小，则可视化后的灰度图像中像素值127的像素点较多，灰度区域较大，如2中的(b)。
[0042]
参见图3，若在同一通道对向行驶，则前车车辆的车前灯如图3中(a)所示；若同一通道跟随行驶且前车相对速度较慢的情况下，则前车车辆的车尾灯如图3中(b)所示；若同一通道跟随行驶且前车相对速度较快的情况下，则前车车辆的车尾灯如图3中(c)所示。由此可见，本车与前车的相对速度越快，则灰度图像中的暗区和亮区的面积越大，灰度区域面积越小；本车与前车的相对速度越小，则灰度图像中的暗区和亮区的面积越小，灰度区越大。
[0043]
参见图4，若前车跟当前车存在偏移，则亮区和暗区的相对位置也会存在偏移，若前车对向行驶相对本车右后方偏移时，则前车车辆的车前灯如图4中(a)所示；若前车对向行驶相对本车左后方偏移时，则前车车辆的车前灯如图4中(b)所示。若前车与本车同向行驶，相对本车左后方偏移、即前车相对速度较慢时，则前车车辆的车尾灯如图5中(a)所示；
若同向行驶，相对本车右后方偏移、即前车相对速度较慢时，则前车车辆的车尾灯如图5中(b)所示。若前车与本车同向行驶，相对本车左前车偏移、即前车相对速度较快时，则前车车辆的车尾灯如图6中(a)所示；若前车与本车同向行驶，相对本车右前车偏移、即前车相对速度较快时，则前车车辆的车尾灯如图6中(b)所示。
[0044]
由上述特点可见，可视化图像中的亮光区域和暗光区域体现了本车与前车相对速度的大小，可根据这一特性回归出本车与前车的相对速度。另外，还可根据亮光和暗光的相对分布得到前车的行驶方向偏离本车的角度。
[0045]
基于事件型相机(events camera)不受帧率限制的特点，本技术实施例设计出一种适用于检测前车位置和车灯位置、类别以及本车与前车的相对速度(car_velocity)和前车的行驶方向偏离本车的角度(car_angel)的车辆信息检测神经网络模型。
[0046]
首先，本技术实施例根据以上驾驶场景在事件型相机(events camera)的特征，定义如下数据收集和标注过程：
[0047]
1.在车窗前挡风玻璃中间安装两台不同类型的相机,分别为普通相机和事件型相机，另外将事件型相机生成的事件流进行处理得到可视化图像。
[0048]
2.使用标签(labelimg)将事件型相机的可视化图像中的车灯和整车车辆分别标注为车前灯(fore-light)、车尾灯(back-light)、车(car),
[0049]
3.标注车辆属性相对速度(car_velocity)，为前车与本车的相对速度；当该值大于0时，表示本车与前车的距离正在扩大，该值小于0时，表示本车与前车的距离正在变小；相对速度(car_velocity)的绝对值越大，表示前车和本车靠近或远离的越迅速。
[0050]
4.标注车辆属性角度(car_angle)为前车与本车的偏离角度，可根据普通相机所输出图像计算前车的水平中心位置相对图片水平中心的偏离角度，再结合前车与本车的相对速度(car_velocity)得到角度(car_angle)的具体值：当该值为[0,90]时，表示前车相对于本车向右前车向行驶；该值为[90,180]时，表示前车相对本车向右后方行驶；该值为[180-270]时，表示前车相对本车向左后方行驶；该值为[270,360]时，表示前车相对本车向左前车行驶。
[0051]
基于事件相机(events camera)的输出特性和以上数据的分析，本技术实施例设计一种车辆信息检测神经网络模型，训练过程包括：从图像采集装置获取不同驾驶场景下的事件流；对所述不同驾驶场景下的事件流进行预处理，形成训练数据集、验证数据集和测试数据集；利用预处理后的训练数据集输入参考特征提取网络进行训练，得到车辆信息检测神经网络模型。
[0052]
示例性地，结合该网络架构和数据分析，详细来说，整体网络训练过程如下：
[0053]
数据收集过程：收集并标注不同驾驶场景下的事件流得到150000张图片，将前120000张图片作为训练数据集，中间15000张图片作为验证数据集，后15000张图片作为测试数据集。其中，前车位置和车灯位置的损失函数采用l2loss，车灯分类、car_velocity和car_angle采用二值交叉熵和方式进行，优化器为adam,momentum为0.9。
[0054]
神经网络训练过程分三步进行：
[0055]
a.先训练检测车位置和车灯位置与类别的特征提取网络，将数据进行归一化处理：
[0056]
[0057]
将归一化后的数据输入网络进行训练，训练100个epoch(遍数),同时记录验证集指标最高的模型。
[0058]
b.冻结a步骤训练好的网络参数，得到第一网络模型，结合图7来说，向第一网络模型输入时间流数据，第一网络模型进行第一次特征提取，回归得到前车位置和车灯位置、车灯类别；之后分别根据前车位置和车灯位置，以及车灯类别，从原图上进行扩边20个像素点后进行裁剪，然后分别调整(resize)到224*112和112*56，进一步分别进行第二次特征提取和第三次特征提取，该步骤需要多一步降采样的操作，保证二次特征提取和第三次特征提取的提取结果宽高相同，以便于合并生成第一合并结果(concat1)；对第一合并结果(concat1)经过第四次特征提取回归得到相对速度(car_velocity)，训练50个epoch,记录验证集指标最高的模型。
[0059]
c.冻结a、b步骤训练好的网络参数，将第一合并结果(concat1)和第四次特征提取的提取结果进行拼接，即第二合并结果(concat2)，然后训练第五特征提取中的网络参数，回归得到偏离角度(car_angle),训练50个epoch,记录验证集指标最高的模型。至此，整个网络训练结束，得到车辆信息检测神经网络模型。
[0060]
进一步地，本实施例可以将训练好的网络部署到云端或边缘设备，使用事件型相机(events camera)作为事件流数据，经过直方图统计后，直接使用如下公式计算，作为训练好的车辆信息检测神经网络模型的输入数据：
[0061][0062]
从该网络模型获取输出结果，输出结果包括前车位置、车灯位置、车灯类型、前车相对于本车的速度(car_velocity)、前车相对于本车的行驶方向和偏离角度(car_angle)。
[0063]
基于上述车辆信息检测神经网络模型，本技术实施例还提供一种车灯智能控制方法，如图8所示，该方法可以由车载终端执行，该方法包括如下步骤：
[0064]
s801，从图像采集装置获取图像数据。
[0065]
s802，对所述图像数据进行预处理，得到预处理后的数据。
[0066]
s803，将预处理后的数据输入至车辆信息检测神经网络模型；以及从所述车辆信息检测神经网络模型获取输出结果。
[0067]
s804，根据所述输出结果确定前车相对于本车的运动状态信息，所述运动状态信息包括前车位置、前车车灯位置和车灯类型、前车相对于本车的速度，前车相对于本车的行驶方向和偏离角度。
[0068]
s805，根据所述运动状态信息，通过控制车灯矩阵模块切换远光灯和近光灯。
[0069]
具体地，该步骤中，当所述前车位置与本车位置之间的相对距离小于设定阈值，通过控制车灯矩阵模块将本车的远光灯切换为近光灯，之后当所述前车位置与本车位置之间的相对距离大于或等于设定阈值，可以再通过控制车灯矩阵模块将本车的近光灯切换为远光灯。这样能够实时实现夜晚驾驶场景下灯光控制，一种情况下，能够避免车辆远光灯照射对向车辆，以避免导致驾驶员视觉出现“亮斑”效应，或者以避免导致驾驶员无法有效观察路面情况产生驾驶决策风险。另一种情况下，能够避免车辆远光灯照射同向前车，避免车辆
远光灯对同向前车造成“亮斑”效应。
[0070]
在一种可能的实施例中，所述方法还包括：根据所述运动状态信息，调整车灯光的强度。具体来说，可以根据前车相对于本车的偏离角度，确定前车位于本车右侧方向或前车位于本车左侧方向；若确定前车位于本车右侧方向，则调整本车的右侧的车灯的强度，其中，所述前车相对于本车的速度越大，则本车的右侧的车灯的灯光强度越弱；若确定前车位于本车左侧方向，则调整本车的左侧的车灯的强度，其中，所述前车相对于本车的速度越大，则本车的左侧的车灯的灯光强度越弱。示例性地，根据前车相对于本车的偏离角度(car_angle)得到对应led灯矩阵中的led灯泡调节对向索引，前车相对于本车的速度(car_velocity)则表示所选择调节led的强度，相对速度越大，则调节响应索引的led灯光越弱，直至完全关闭。这样，可以在保证夜间照明亮度时，尽可能避免车辆远光灯对前车的影响。
[0071]
在一种可能的实施例中，根据前车相对于本车的偏离角度，确定前车位于本车向右侧方向或前车位于本车向左侧方向，包括：当前车位于本车的偏离角度落入[0,90]时，表示前车位于本车右前方向；该前车位于本车的偏离角度落入(90,180]时，表示前车位于本车右后方向；该前车位于本车的偏离角度落入(180-270]时，表示前车位于本车左后方向；该前车位于本车的偏离角度落入(270,360]时，表示前车位于本车左前方向。
[0072]
在本技术的一些实施例中，本发明实施例还公开了一种车灯智能控制装置，如图9所示，该装置用于实现以上各个方法实施例中记载的方法，其包括：获取单元901，用于从图像采集装置获取事件流数据；预处理单元902，用于对所述事件流数据进行预处理，得到预处理后的数据。后处理单元903，用于将预处理后的数据输入至车辆信息检测神经网络模型；以及从所述车辆信息检测神经网络模型获取输出结果。确定单元904，用于根据所述输出结果确定前车相对于本车的运动状态信息，所述运动状态信息包括前车位置、前车车灯位置和车灯类型、前车相对于本车的速度，前车相对于本车的行驶方向和偏离角度。控制单元905，用于根据所述运动状态信息，通过控制车灯矩阵模块切换远光灯和近光灯。上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
[0073]
在本技术的另一些实施例中，本发明实施例公开了一种电子设备，该电子设备可以是上文中的远程测试主机，如图10所示，该电子设备可以包括：一个或多个处理器1001；存储器1002；显示器1003；一个或多个应用程序(未示出)；以及一个或多个计算机程序1004，上述各器件可以通过一个或多个通信总线1005连接。其中该一个或多个计算机程序1004被存储在上述存储器1002中并被配置为被该一个或多个处理器1001执行，该一个或多个计算机程序1004包括指令，上述指令可以用于执行如图8及相应实施例中的各个步骤。
[0074]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0075]
在本发明实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0076]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
[0077]
以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何在本发明实施例揭露的技术范围内的变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以所述权利要求的保护范围为准。