行车环境识别方法、装置、车辆及存储介质与流程

技术特征：
1.一种行车环境识别方法，其特征在于，包括：获取激光雷达采集的点云数据、以及摄像头拍摄的当前图像帧，其中激光雷达以及摄像头安装于车辆上，所述点云数据与所述当前图像帧相对应；通过对所述点云数据及所述当前图像帧融合处理后的融合特征信息，确定所述当前图像帧的图像语义分割结果；根据所述图像语义分割结果，确定所述当前图像帧对应的行车环境信息。2.根据权利要求1所述的方法，其特征在于，所述通过对所述点云数据及所述当前图像帧融合处理后的融合特征信息，确定所述当前图像帧的图像语义分割结果，包括：将对所述点云数据进行透视投影后获得的投影点云数据输入至训练后的点云分析网络模型；将所述当前图像帧输入训练后图像分析网络模型中基础分析子网络，所述图像分析网络模型中还包括融合处理子网络；将所述点云分析网络模型输出的投影点云特征及所述基础分析子网络输出的基础图像特征输入至所述融合处理子网络，获得输出的融合特征信息；叠加基础图像特征和融合特征信息，形成二次融合特征信息，通过所述图像分析网络模型处理所述二次融合特征信息，获得所述当前图像帧的图像语义分割结果。3.根据权利要求2所述的方法，其特征在于，所述点云分析网络模型以及所述图像分析网络模型分别由设定数量的卷积层、批量归一化层、线性整流层和池化层构成；所述图像分析网络模型中所述设定数量的卷积层构成基础分析子网络；所述融合处理子网络中包括卷积层及相连接的激活层，且所包括卷积层的层数为所述设定数量。4.根据权利要求2所述的方法，其特征在于，所述融合处理子网络中各卷积层对接收的投影点云特征及基础图像特征进行融合处理，获得融合特征信息的步骤包括：对接收的投影点云特征以及基础图像特征进行连接操作，获得连接特征数据；对所述连接特征数据通过卷积层及相邻接激活层，进行卷积处理以及高维非线性空间转换处理，获得中间融合特征；将所述中间融合特征与所述基础图像特征进行元素加法操作，获得融合特征信息。5.根据权利要求2所述的方法，其特征在于，所述当前图像帧的图像语义分割结果通过分割概率图表征，所述分割概率图中通过不同色彩表征不同的语义分类区域，且各语义分类区域具备相应的分割概率值。6.根据权利要求2所述的方法，其特征在于，所述对所述点云数据进行透视投影，获得投影点云数据的步骤包括：根据对摄像头和激光雷达进行标定得到的投影矩阵，将点云数据投影到图像空间；其中，投影后的每个点对应一个五维的特征(d,x,y,z,r),d表示深度，通过点坐标到摄像头坐标原点的距离值表征，r表示反射强度。7.根据权利要求2所述的方法，其特征在于，对所述点云分析网络模型进行训练时采用多类中心损失函数multi-class focal loss，以及对所述图像分析网络模型采用lovasz-softmax损失函数，并分别采用随机梯度下降算法进行损失函数收敛。8.一种行车环境识别装置，其特征在于，包括：
获取模块，用于获取激光雷达采集的点云数据、以及摄像头拍摄的当前图像帧，其中激光雷达以及摄像头安装于车辆上，所述点云数据与所述当前图像帧相对应；结果确定模块，用于通过对所述点云数据及所述当前图像帧融合处理后的融合特征信息，确定所述当前图像帧的图像语义分割结果；信息确定模块，用于根据所述图像语义分割结果，确定所述当前图像帧对应的行车环境信息。9.一种车辆，其特征在于，包括：至少一个摄像头，各所述摄像头按照设定连接方式与车辆连接；至少一个激光雷达，各所述激光雷达按照设定连接方式与车辆连接；还包括：一个或多个控制器；与所述至少一个控制器通信连接的存储器；其中，所述存储器存储有可被所述至少一个控制器执行的计算机程序，所述计算机程序被所述至少一个控制器执行，以使所述至少一个控制器能够执行权利要求1-7方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使控制器执行时实现权利要求1-7中任一项所述的行车环境识别方法。

技术总结
本发明公开了一种行车环境识别方法、装置、车辆及存储介质。该方法包括：获取激光雷达采集的点云数据、以及摄像头拍摄的当前图像帧，其中激光雷达以及摄像头安装于车辆上，点云数据与当前图像帧相对应；通过对点云数据及当前图像帧融合处理后的融合特征信息，确定当前图像帧的图像语义分割结果；根据图像语义分割结果，确定当前图像帧对应的行车环境信息。通过激光雷达及摄像头分别获取当前行车环境下的点云数据及图像帧数据，利用网络模型将二者进行融合处理以确定图像语义分割结果，可以更加准确地将复杂环境中的各种目标准确地分离出来，根据图像语义分割结果可以更为准确地判断出车辆周围的行车环境，提高了行车环境信息识别的准确性。息识别的准确性。息识别的准确性。


技术研发人员：衣春雷 陈博 尹荣彬 李兵 王秋
受保护的技术使用者：中国第一汽车股份有限公司
技术研发日：2022.06.13
技术公布日：2022/8/12