车辆的投影车灯控制方法、装置和智能车辆与流程

本技术涉及车辆控制，特别是涉及一种车辆的投影车灯控制方法、装置、智能车辆、计算机可读存储介质和计算机程序产品。

背景技术：

1、随着汽车智能化、网联化的快速发展，数字大灯已成为智能汽车的核心部件之一，其不仅具备基础照明功能，还可通过投影、动态调节等方式实现辅助驾驶提示、路况反馈等拓展功能。

2、然而，相关技术中的数字大灯往往只能投射预设样式的驾驶提示信息，这使得相关技术中的车辆数字大灯往往只能向用户呈现单一且固定的驾驶提示内容，较难提升智能车辆的数字大灯与用户之间的交互丰富度。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提升智能车辆的数字大灯与用户之间的交互丰富度的车辆的投影车灯控制方法、装置和智能车辆、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种车辆的投影车灯控制方法，包括：

3、获取所述车辆的多模态感知数据；所述多模态感知数据至少包括在同一个基准坐标系下表示的车外二维图像数据、车外雷达探测数据和车身行驶姿态数据；

4、提取所述车外二维图像数据的二维图像特征，以及提取所述车外雷达探测数据的三维空间特征，将所述二维图像特征和所述三维空间特征输入至预训练的鸟瞰图生成网络，得到道路环境鸟瞰图；

5、将所述车外雷达探测数据和所述车身行驶姿态数据融合至所述道路环境鸟瞰图，得到道路环境三维模型；所述道路环境三维模型以所述道路环境鸟瞰图作为三维空间表达的基准载体；

6、识别所述道路环境三维模型中的环境对象，控制所述车辆的投影车灯组件向目标物投影与所述环境对象关联的提示信息。

7、在其中一个实施例中，所述车外雷达探测数据至少包括车外三维点云数据和车外障碍物探测数据，所述将所述车外雷达探测数据和所述车身行驶姿态数据融合至所述道路环境鸟瞰图，得到道路环境三维模型，包括：

8、以所述车身行驶姿态数据指示的车身姿态为基准，对所述车外三维点云数据进行校正，得到校正后点云数据，将所述校正后点云数据叠加至所述道路环境鸟瞰图；

9、识别出所述道路环境鸟瞰图中的二维平面对象，根据所述校正后点云数据中投影位置与所述二维平面对象匹配的点云数据，对所述二维平面对象进行三维建模，获得初始环境三维模型；各所述二维平面对象在所述初始环境三维模型中具有对应的三维建模对象；

10、识别出所述初始环境三维模型中的目标语义对象，在所述初始环境三维模型中添加用于标记所述目标语义对象的语义标签；所述目标语义对象为具有预设语义类型的所述三维建模对象；

11、在所述目标语义对象的语义类型为障碍物的情况下，获取所述车外障碍物探测数据中的障碍物描述信息，将所述障碍物描述信息与所述语义标签进行匹配，得到所述道路环境三维模型。

12、在其中一个实施例中，所述识别出所述初始环境三维模型中的目标语义对象，包括：

13、将所述初始环境三维模型中的多个三维点投影到至少两个投影视图，将所述至少两个投影视图输入至预训练的语义分割网络，得到各所述投影视图中的语义分割结果；所述语义分割结果用于标识预设语义对象在所述投影视图中所处的区域；

14、将各所述投影视图的语义分割结果映射为各所述三维点关联的语义类型；

15、比较各所述三维点关联的语义类型与所述目标语义对象的预设语义类型，将目标三维点簇在所述初始环境三维模型中所属的所述三维建模对象确定为所述目标语义对象；所述目标三维点簇为语义类型为所述预设语义类型的多个所述三维点。

16、在其中一个实施例中，所述获取所述车辆的多模态感知数据，包括：

17、以所述车辆的后轮中心为原点，以所述车辆的前进方向为x轴，以垂直于地面向上方向为z轴，以垂直于所述x轴和所述z轴的方向为y轴，构建所述基准坐标系；

18、获取所述车辆的至少两个感知单元对应的原始感知数据，并获取各所述感知单元的原始坐标轴相对于所述基准坐标系的坐标系转换矩阵；

19、按照各所述感知单元对应的坐标系转换矩阵，将相应所述感知单元对应的原始感知数据转换至所述基准坐标系，获得所述多模态感知数据。

20、在其中一个实施例中，所述提取所述车外二维图像数据的二维图像特征，包括：

21、获取初始映射关系；所述初始映射关系用于记录二维图像像素点与鸟瞰图图像像素点之间的映射关系，是基于车外摄像头内参、与所述基准坐标系下的相机外参构建的；

22、采用所述车外激光雷达点云数据，对所述初始映射关系进行校正，得到目标映射关系；所述目标映射关系与所述车外激光雷达点云数据的点云深度信息相匹配；

23、采用所述目标映射关系，将所述车外二维图像数据映射为相应的图像特征，获得所述二维图像特征。

24、在其中一个实施例中，所述识别所述道路环境三维模型中的环境对象，控制所述车辆的投影车灯组件向目标物投影与所述环境对象关联的提示信息，包括：

25、同步所述道路环境三维模型至所述投影车灯组件；

26、其中，所述投影车灯组件的控制器，被配置为：

27、接收所述道路环境三维模型，确定所述道路环境三维模型中的障碍物语义区域，以及所述障碍物语义区域的空间坐标信息；所述障碍物语义区域为语义类型为障碍物的目标环境对象在所述道路环境三维模型中的区域；所述目标环境对象用于表征所述车辆周围的真实障碍物；

28、根据所述障碍物语义区域的空间坐标信息，确定所述真实障碍物与所述车辆的距离；

29、在所述真实障碍物与所述车辆的距离小于预设安全距离阈值的情况下，根据所述障碍物语义区域的空间坐标信息，向所述目标物投影与所述真实障碍物对应的所述提示信息。

30、第二方面，本技术还提供了一种车辆的投影车灯控制装置，包括：

31、获取模块，用于获取所述车辆的多模态感知数据；所述多模态感知数据至少包括在同一个基准坐标系下表示的车外二维图像数据、车外雷达探测数据和车身行驶姿态数据；

32、生成模块，用于提取所述车外二维图像数据的二维图像特征，以及提取所述车外雷达探测数据的三维空间特征，将所述二维图像特征和所述三维空间特征输入至预训练的鸟瞰图生成网络，得到道路环境鸟瞰图；

33、融合模块，用于将所述车外雷达探测数据和所述车身行驶姿态数据三者融合至所述道路环境鸟瞰图，得到道路环境三维模型；所述道路环境三维模型以所述道路环境鸟瞰图作为三维空间表达的基准载体；

34、投影模块，用于识别所述道路环境三维模型中的环境对象，控制所述车辆的投影车灯向目标物投影与所述环境对象关联的提示信息。

35、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

36、获取所述车辆的多模态感知数据；所述多模态感知数据至少包括在同一个基准坐标系下表示的车外二维图像数据、车外雷达探测数据和车身行驶姿态数据；

37、提取所述车外二维图像数据的二维图像特征，以及提取所述车外雷达探测数据的三维空间特征，将所述二维图像特征和所述三维空间特征输入至预训练的鸟瞰图生成网络，得到道路环境鸟瞰图；

38、将所述车外雷达探测数据和所述车身行驶姿态数据融合至所述道路环境鸟瞰图，得到道路环境三维模型；所述道路环境三维模型以所述道路环境鸟瞰图作为三维空间表达的基准载体；

39、识别所述道路环境三维模型中的环境对象，控制所述车辆的投影车灯组件向目标物投影与所述环境对象关联的提示信息。

40、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

41、获取所述车辆的多模态感知数据；所述多模态感知数据至少包括在同一个基准坐标系下表示的车外二维图像数据、车外雷达探测数据和车身行驶姿态数据；

42、提取所述车外二维图像数据的二维图像特征，以及提取所述车外雷达探测数据的三维空间特征，将所述二维图像特征和所述三维空间特征输入至预训练的鸟瞰图生成网络，得到道路环境鸟瞰图；

43、将所述车外雷达探测数据和所述车身行驶姿态数据融合至所述道路环境鸟瞰图，得到道路环境三维模型；所述道路环境三维模型以所述道路环境鸟瞰图作为三维空间表达的基准载体；

44、识别所述道路环境三维模型中的环境对象，控制所述车辆的投影车灯组件向目标物投影与所述环境对象关联的提示信息。

45、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

46、获取所述车辆的多模态感知数据；所述多模态感知数据至少包括在同一个基准坐标系下表示的车外二维图像数据、车外雷达探测数据和车身行驶姿态数据；

47、提取所述车外二维图像数据的二维图像特征，以及提取所述车外雷达探测数据的三维空间特征，将所述二维图像特征和所述三维空间特征输入至预训练的鸟瞰图生成网络，得到道路环境鸟瞰图；

48、将所述车外雷达探测数据和所述车身行驶姿态数据融合至所述道路环境鸟瞰图，得到道路环境三维模型；所述道路环境三维模型以所述道路环境鸟瞰图作为三维空间表达的基准载体；

49、识别所述道路环境三维模型中的环境对象，控制所述车辆的投影车灯组件向目标物投影与所述环境对象关联的提示信息。

50、上述车辆的投影大灯控制方法、装置、智能车辆、计算机可读存储介质和计算机程序产品，通过获取车辆的多模态感知数据，该多模态感知数据至少包括在同一个基准坐标系下表示的车外二维图像数据、车外雷达探测数据和车身行驶姿态数据；通过提取车外二维图像数据的二维图像特征，以及提取车外雷达探测数据的三维空间特征，将二维图像特征和三维空间特征输入至预训练的鸟瞰图生成网络，得到道路环境鸟瞰图；再将车外雷达探测数据和车身行驶姿态数据三者融合至道路环境鸟瞰图，得到道路环境三维模型；道路环境三维模型以道路环境鸟瞰图作为三维空间表达的基准载体，并通过识别道路环境三维模型中的环境对象，控制车辆的投影车灯组件向目标物投影环境对象关联的提示信息，从而可以有效地将道路环境鸟瞰图升维为具有丰富运动与语义属性的三维模型，使得投影车灯能够基于道路环境三维模型进行精准的增强现实投影，提升了夜间及复杂交通场景下驾驶员与行人之间的双向交互安全性与直观性，提升了智能车辆的数字大灯与用户之间的交互丰富度。