行车环境识别方法、装置、车辆及存储介质与流程

1.本发明涉及智能识别技术领域，尤其涉及行车环境识别方法、装置、车辆及存储介质。


背景技术：

2.在自动驾驶技术中，为了帮助自动驾驶汽车更好地理解环境，需要进行语义分割，即为输入数据中的每个数据点指定一个类别标签。
3.现有技术中通常采用基于视觉图像的方法，将相机拍摄图像输入至神经网络中进行语义分割，由于相机获取的图像包含丰富的外观信息，因此可以提供细粒度和准确的语音分割结果。然而相机容易受到光照条件变化的影响，因此在某些场景下无法做到精准的语义分割。


技术实现要素：

4.本发明提供了一种行车环境识别方法、装置、车辆及存储介质，实现对行车环境的识别，提高了识别的准确度。
5.根据本发明的第一方面，提供了一种行车环境识别方法，包括：
6.获取激光雷达采集的点云数据、以及摄像头拍摄的当前图像帧，其中激光雷达以及摄像头安装于车辆上，所述点云数据与所述当前图像帧相对应；
7.通过对所述点云数据及所述当前图像帧融合处理后的融合特征信息，确定所述当前图像帧的图像语义分割结果；
8.根据所述图像语义分割结果，确定所述当前图像帧对应的行车环境信息。
9.根据本发明的第二方面，提供了一种行车环境识别装置，包括：
10.获取模块，用于获取激光雷达采集的点云数据、以及摄像头拍摄的当前图像帧，其中激光雷达以及摄像头安装于车辆上，所述点云数据与所述当前图像帧相对应；
11.结果确定模块，用于通过对所述点云数据及所述当前图像帧融合处理后的融合特征信息，确定所述当前图像帧的图像语义分割结果；
12.信息确定模块，用于根据所述图像语义分割结果，确定所述当前图像帧对应的行车环境信息。
13.根据本发明的第三方面，提供了一种车辆，所述车辆包括：
14.至少一个摄像头，各所述摄像头按照设定连接方式与车辆连接；
15.至少一个激光雷达，各所述激光雷达按照设定连接方式与车辆连接；
16.还包括：
17.一个或多个控制器；
18.与所述至少一个控制器通信连接的存储器；其中，
19.所述存储器存储有可被所述至少一个控制器执行的计算机程序，所述计算机程序被所述至少一个控制器执行，以使所述至少一个控制器能够执行本发明任一实施例所述的
行车环境识别方法。
20.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使控制器执行时实现本发明任一实施例所述的行车环境识别方法。
21.本发明实施例的技术方案，通过激光雷达获取当前行车环境下的点云数据，通过摄像头获得当前行车环境下的图像帧数据，利用搭建的网络模型将二者进行融合处理获得融合特征信息，确定当前图像帧的图像语义分割结果，可以更加准确地将复杂环境中的各种目标准确地分离出来，根据图像语义分割结果可以更为准确地判断出车辆周围的行车环境，提高了行车环境信息识别的准确性。
22.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
23.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1是根据本发明实施例一提供的一种行车环境识别方法的流程图；
25.图2是根据本发明实施例一提供的一种行车环境识别方法中融合处理的流程框图；
26.图3是根据本发明实施例一提供的一种行车环境识别方法的流程示例图；
27.图4是根据本发明实施例二提供的一种行车环境识别装置的结构示意图；
28.图5是根据本发明实施例三提供的一种车辆的结构示意图。
具体实施方式
29.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
30.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
31.实施例一
32.图1为本发明实施例一提供了一种行车环境识别方法的流程图，本实施例可适用
于行车环境识别情况，该方法可以由行车环境识别装置来执行，该行车环境识别装置可以采用硬件和/或软件的形式实现，该行车环境识别装置可配置于车辆中。如图1所示，该方法包括：
33.s110、获取激光雷达采集的点云数据、以及摄像头拍摄的当前图像帧，其中激光雷达以及摄像头安装于车辆上，点云数据与当前图像帧相对应。
34.在本实施中，激光雷达可以理解为通过发射激光光束，如遇到障碍物体就可反射回信号，将反射回的信号与发射的信号进行比较与处理，即可获得前方障碍物体到激光雷达间的包含距离位置信息的数据，可用于采集点云数据。其中，激光雷达可以安装在车顶上方、车头中间、车头两侧以及车尾等位置。
35.在本实施例中，点云数据可以理解为经过比较处理后的激光信号，以激光雷达所置于的车辆为原点构建三维坐标系统，障碍物体在三维坐标系统中的坐标即为点云数据，点云数据可以看做是在三维坐标系统中的一组向量的集合，每个点都包括有三维坐标，其中可能还含有颜色信息或反射信息。
36.在本实施例中，图像帧可以理解为将视频分解成的连续画面，每一个画面叫做图像帧，图像帧中包括静态的二维图像信息，如颜色，位置等，用于获取每个物体在当前图像帧中的二维位置。
37.具体的，在车辆行驶过程中，激光雷达和摄像头实时处于工作状态，通过激光雷达采集每个时刻的前方行车环境中障碍物在以车辆为原点构建的三维坐标系统中的三维坐标，即点云数据，摄像头实时拍摄以获取前方行车环境的每个时刻下的图像作为当前图像帧，不同时刻下的图像帧对应着相应时刻下的点云数据。
38.s120、通过对点云数据及当前图像帧融合处理后的融合特征信息，确定当前图像帧的图像语义分割结果。
39.可以知道的是，点云数据以三维数据的形式立体的反映当前行车下的环境信息，图像帧以二维数据的形式平面的反映当前行车下的环境信息，将二者进行融合可以获得更加全面的行车环境信息，所以需要进行融合处理。
40.在本实施例中，融合处理可以理解为将点云数据与图像帧变为形式一致且包含两者所有信息的处理方法。融合特征信息可以理解为经过融合处理后的结果，其中包含点云数据及图像帧。
41.其中，当前图像帧的图像语义分割结果通过分割概率图表征，分割概率图中通过不同色彩表征不同的语义分类区域，且各语义分类区域具备相应的分割概率值。
42.在本实施例中，分割概率图可以理解为将当前图像帧以不同色彩进行划分的图，不同色彩可以理解为按照语义分类的数量设定的不同色彩，如绿色代表植物，若通过分割概率值判断出图片中某一区域为植物，则用绿色代替图中植物的部分，如蓝色代表天空，若通过分割概率值判断出图片中某一区域为天空，则用蓝色代替图中天空的部分。
43.在本实施例中，语义分类区域可以理解为将图片以种类划分，如将树、草等划分为植物分类区域，天空和云划分为天空分类区域。分割概率值用于判定当前物体为不同语义的概率，如当前区域为天空的分割概率值为80％，为植物的概率为30％，则认定当前区域为天空。
44.具体的，控制器将点云数据及当前图像帧进行融合处理，获得融合特征信息，根据
分割概率值判断出图像帧中的各语义分类区域所对应的颜色，从而确定当前图像帧的图像语义分割结果，以分割概率图的形式进行表征。
45.s130、根据图像语义分割结果，确定当前图像帧对应的行车环境信息。
46.在本实施例中，行车环境信息可以理解为行车过程中车辆周围的环境中所包括的信息，如车辆行驶在一条道路上，行车环境信息可以包括周围的植物、道路、行人、车辆等。
47.具体的，首先控制器提取当前图像帧中的各语义分类所对应的分割区域，根据分割区域确定其对应的类别，并获取相应类别中各物体与车辆的位置关系，根据设定的提醒规则，对车辆内部的驾驶员进行相应的提醒。
48.示例性的，当前图像帧中包括天空区域、植物区域、车辆区域、行人区域、道路区域，控制器提取各语义分类所对应的分割区域，确定出各部分所对应的类别，当类别为车辆、行人、植物等具有高度的障碍物时，对该区域中的物体进行位置的获取，并进行距离的判断，当物体进入了车辆的提醒范围，可以通过车辆内部的影音设备等方式对驾驶员进行提醒，如提醒前方50米处有车辆、30米处有行人等。
49.本实施例一提供的一种行车环境识别方法，通过激光雷达获取点云数据，通过摄像头获得图像帧，利用搭建的网络模型将二者进行融合处理获得融合特征信息，确定当前图像帧的图像语义分割结果，可以更加准确地将复杂环境中的各种目标准确地分离出来，根据图像语义分割结果可以更为准确地判断出周围的行车环境，提高了行车环境信息识别的准确性。
50.可以知道的是，单纯基于摄像头进行语义分割容易受到光线的影响，激光雷达对光线的抗干扰能力较强，但由于激光雷达得到的点云数据本身缺少稠密的颜色、纹理特征，单纯基于三维点云的感知方法在细粒度语义分割上精度较低。因此，为了结合多种传感器数据的优势，可以考虑同时使用摄像头和激光雷达两种数据来进行联合感知。但是，由于视觉传感器与激光雷达所获取的数据之间存在较大的差异，在相应的网络分别提取对应的两种特征后需要进行融合处理，以将两种差异较大的特征进行融合，获取融合两种特征的融合特征信息。
51.作为本实施例一的第一可选实施例，可将通过对点云数据及当前图像帧融合处理后的融合特征信息，确定当前图像帧的图像语义分割结果，进一步优化包括：
52.a1、将对点云数据进行透视投影后获得的投影点云数据输入至训练后的点云分析网络模型。
53.可以知道的是，点云数据为三维数据，如果要将其对应至图像空间，则需要进行透视投影处理，使点云数据可以投影至图像空间。
54.在本实施例中，训练后的点云分析网络模型用于根据点云数据获得预测结果，经过训练后的点云分析网络可以理解为对点云分析网络的输出结果进行处理，可更为准确地获取预测结果。
55.其中，对点云分析网络模型进行训练时采用多类中心损失函数multi-class focal loss，以及对图像分析网络模型采用lovasz-softmax损失函数，并分别采用随机梯度下降算法进行损失函数收敛。
56.具体的，激光雷达和图像两个网络的损失函数分别为：
[0057][0058]
式中，和分别表示点云分析网络模型和图像分析网络模型的损失函数，和分别表示点云分析网络模型对应的multi-class focal loss和lovasz-softmax loss，和分别表示图像分析网络模型对应的multi-class focal loss和lovasz-softmax loss，λ为超参数。
[0059]
具体的，控制器将当前图像帧所对应的点云数据输入训练后的点云分析网络模型中，获取稀疏的投影点云特征，网络输出的投影点云特征可以通过下式计算：
[0060][0061]
式中，是点云分析网络模型的输出概率，其中，h和w分别表示图像的高度和宽度，s表示语义分类的数量，表示投影点云数据，表示点云分析网络模型。
[0062]
本第一可选实施例还可以将，对点云数据进行透视投影，获得投影点云数据的步骤具体化为：
[0063]
a11、根据对摄像头和激光雷达进行标定得到的投影矩阵，将点云数据投影到图像空间。
[0064]
示例性的，设{p,x,e}是给定数据集中的训练样本之一，其中p∈r4×n表示来自激光雷达的点云数据，n表示点云数量。点云数据p中的每个点pi由三维坐标(x,y,z)和反射率值(r)组成。设x∈r3×h×w是来自摄像头的图像帧，其中，3表示三原色，h和w分别表示图像的高度和宽度。e∈rn是点云数据p的一组语义标签集，其中，语义标签集可以理解为通过集合的形式表示一个语义。
[0065]
具体的，首先建立以激光雷达为原点所对应的三维坐标系，建立以摄像头为原点的二维坐标系，将点云数据p从激光雷达坐标投影到摄像头坐标，以获得二维激光雷达特征其中，c表示投影点云的通道数，令pi＝(x,y,z,1)
t
表示对原始点云(x,y,z)的增加一个全1的维度得到的扩展点云，摄像头坐标系下的投影点云数据可以通过如下公式获得：
[0066][0067]
式中，t∈r3×4是激光雷达坐标到摄像头坐标的投影矩阵，r∈r4×4是在校正旋转矩阵r
(0)
∈r3×3基础上添加第四行和第四列零值，并令r(4,4)＝1，t和r
(0)
均为标定参数，可以通过传感器的定位获取。将pi投影后的图像中像素点为(h,w)，
[0068]
a12、其中，投影后的每个点对应一个五维的特征(d,x,y,z,r),d表示深度，通过点坐标到摄像头坐标原点的距离值表征，r表示反射强度。
[0069]
具体的，由于点云数据是非常稀疏的，投影后的图像中的每个像素可能没有对应的点。因此，先将中的所有像素初始化为0，计算投影后的二维图像中每个像素点(h,w)的五维的特征，即(d,x,y,z,r)，其中，的五维的特征，即(d,x,y,z,r)，其中，
[0070]
b1、将当前图像帧输入训练后图像分析网络模型中基础分析子网络，图像分析网络模型中还包括融合处理子网络。
[0071]
在本实施例中，训练后的图像分析网络模型用于根据图像帧及投影后的点云数据获得融合后的当前图像帧的予以分割结果，图像分析网络模型中可以包括基础分析子网络和融合处理子网络。其中，基础分析子网络用于根据图像帧的原始数据经过卷积层处理获得基础图像特征。融合处理子网络中包括卷积层及相连接的激活层，且所包括卷积层的层数为设定数量，用于将投影点云特征与图像特征进行融合。
[0072]
具体的，控制器将当前图像帧输入训练后的图像分析网络模型中的基础分析子网络中，获取稠密的图像帧预测结果，网络输出的图像帧预测结果可以通过下式计算：
[0073]
o＝m(x)
[0074]
式中，o∈rs×h×w是图像分析网络模型的输出概率，x∈r3×h×w为来自摄像头的图像帧数据，其中，h和w分别表示图像的高度和宽度，3表示三原色，s表示语义分类的数量，m表示图像分析网络模型。
[0075]
c1、将点云分析网络模型输出的投影点云特征及基础分析子网络输出的基础图像特征输入至融合处理子网络，获得输出的融合特征信息。
[0076]
在本实施例中，基础分析子网络可以由设定数量的卷积层构成，用于减少图像帧预测结果的维度，便于后续的计算。
[0077]
具体的，经过点云分析网络模型输出的投影点云特征是稀疏的，即在一个图像帧中不是每个像素点都对应有一个预测值。基础分析子网络输出的基础图像特征是稠密的，即在一个图像帧中每个像素点都对应着一个预测值。将稀疏的投影点云特征及稠密的基础图像特征输入至图像分析网络模型中的融合处理子网络。
[0078]
d1、叠加基础图像特征和融合特征信息，形成二次融合特征信息，通过图像分析网络模型处理二次融合特征信息，获得当前图像帧的图像语义分割结果。
[0079]
在本实施例中，确定出融合特征信息后，可以将融合特征信息与基础图像特征进行二次叠加，由此形成二次融合特征信息，所形成的二次融合特征信息作为新的输入信息，继续输入图像分析网络模型中余下的网络层，最终可以获得图像分析网络模型输出的分割概率图，该分割概率图可认为是当前图像帧的图像语义分割结果。
[0080]
其中，点云分析网络模型以及图像分析网络模型分别由设定数量的卷积层、批量归一化层、线性整流层和池化层构成。融合处理子网络中包括卷积层及相连接的激活层，且所包括卷积层的层数为设定数量。
[0081]
具体的，融合特征信息将稀疏的投影点云特征融合进了更加稠密纹理及颜色的图像帧中，因而，获得的图像语义分割结果更加准确。
[0082]
本第一可选实施例还可以将融合处理子网络中各卷积层对接收的投影点云特征及基础图像特征进行融合处理，获得融合特征信息的步骤具体化为：
[0083]
d11、对接收的投影点云特征以及基础图像特征进行连接操作，获得连接特征数据。
[0084]
具体的，为了获得融合特征，首先将来自投影点云特征以及基础图像特征连接起来，获得连接特征数据。
[0085]
示例性的，设是来自图像分析网络模型中的一组图像特征，其中l表示获取特征的层索引，c
l
表示图像分析网络模型中第l层的维度数，h
l
和w
l
分别表示第l层特征图的高度和宽度。设第l层特征图的高度和宽度。设是投影点云特征，表示对应第l层的维度数。
[0086]
d12、对连接特征数据通过卷积层及相邻接激活层，进行卷积处理以及高维非线性空间转换处理，获得中间融合特征。
[0087]
具体的，中间融合后特征的计算公式为：
[0088][0089]
式中，[；]表示连接操作，f
l
(
·
)表示第l个融合处理子网络的卷积操作，g
l
(
·
)表示第l个融合网络中的激活操作。
[0090]
d13、将中间融合特征与基础图像特征进行元素加法操作，获得融合特征信息。
[0091]
具体的，融合特征信息的计算公式为：
[0092][0093]
式中，f
l
为基础图像特征。
[0094]
本方案通过这样的设置，可以通过获得将来自激光雷达的点云数据进行透视投影处理，将点云数据投影至图像空间，为图像帧增加了可靠而准确的空间深度信息，使得图像帧数据更加精准。将投影点云数据输入训练后的点云分析网络模型，以获得投影点云特征；通过将来自摄像头的图像帧数据输入训练后的图像分析网络模型中的基础分析子网络，以获得基础图像特征。通过两个网络分别进行特征提取，保证了特征的准确性与有效性。将基础图像特征及投影点云特征输入至图像分析网络模型中的融合处理子网络，以获得融合特征信息，从而确定当前图像帧的图像语义分割结果。由于图像特征更加稠密，可以提供更加丰富的纹理及颜色信息，而点云特征较为稀疏且分布不规则，所以将点云特征作为补充融合进纹理和颜色信息更加稠密的图像帧数据中，有效滤除了图像中的干扰信息，提高了分割的准确度且鲁棒性更强。
[0095]
为便于更好理解本实施例一第一可选实施例的技术方案，下述给出一个示例性的行车环境识别方法的实现描述：
[0096]
图2是本发明实施例一提供的一种行车环境识别方法中融合处理的流程框图，如图2所示，本实施例一采用下述步骤实现融合处理。
[0097]
示例性的，控制器首先将激光雷达获取的原始点云进行透视投影，获得投影点云，将透视点云输入至训练后的点云分析网络模型得到投影点云特征(如图2中的横线方框所示)，并输出点云分割概率图，由于点云数据是稀疏且分布不规则的，所以在点云分割概率图中少了很多图像帧的语义分割结果中的特征；控制器将摄像头获得的当前图像帧输入图像分析网络模型，经过图像分析网络模型中的基础分析子网络处理后得到基础图像特征(如图2中的白色方框所示)并根据基础图像特征输出基础分割图；投影点云数据特征与基
础图像特征经过图像分析网络模型中的融合处理子网络进行融合处理，获得融合特征信息(如图2中斜线方框所示)；之后可以将获得的融合特征信息和基础特征信息再进行叠加，继续输入图像分析网络模型，最终获得图像分析网络模型输出的分割概率图，该分割概率图可以作为图像帧的图像语义分割结果。
[0098]
图3是本发明实施例一提供的一种行车环境识别方法的流程示例图，如图3所示，本实施例一采用下述步骤实现对行车环境的识别。
[0099]
s301、获取点云数据；
[0100]
s302、透视投影；
[0101]
s303、获得投影点云数据并输入点云分析网络模型；
[0102]
s304、获得投影点云特征；
[0103]
s305、获取图像帧数据；
[0104]
s306、输入图像分析网络模型，经由基础分析子网络处理；
[0105]
s307、获得基础图像特征；
[0106]
s308、输入图像分析网络模型，经由融合处理子网络处理；
[0107]
s309、获得融合特征信息；
[0108]
s310、将融合特征信息及基础图像特征进行叠加，并输入图像分析网络模型，获得图像帧的图像语义分割结果；
[0109]
s311、根据图像帧的图像语义分割结果，确定当前图像帧对应的行车环境信息。
[0110]
实施例二
[0111]
图4为本发明实施例二提供的一种行车环境识别装置的结构示意图。如图4所示，该装置包括：获取模块41、结果确定模块42及信息确定模块43。其中：
[0112]
获取模块41，用于获取激光雷达采集的点云数据、以及摄像头拍摄的当前图像帧，其中激光雷达以及摄像头安装于车辆上，点云数据与当前图像帧相对应。
[0113]
结果确定模块42，用于通过对点云数据及当前图像帧融合处理后的融合特征信息，确定当前图像帧的图像语义分割结果。
[0114]
信息确定模块43，用于根据图像语义分割结果，确定当前图像帧对应的行车环境信息。
[0115]
本实施例二提供的一种行车环境识别装置，通过激光雷达获取点云数据，通过摄像头获得图像帧，利用搭建的网络模型将二者进行融合处理获得融合特征信息，确定当前图像帧的图像语义分割结果，可以更加准确地将复杂环境中的各种目标准确地分离出来，根据图像语义分割结果可以更为准确地判断出周围的行车环境，提高了行车环境信息识别的准确性。
[0116]
进一步地，结果确定模块42可以包括：
[0117]
第一输入单元，用于将对点云数据进行透视投影后获得的投影点云数据输入至训练后的点云分析网络模型。
[0118]
可选的，点云数据进行透视投影，获得投影点云数据的步骤可以包括：
[0119]
根据对摄像头和激光雷达进行标定得到的投影矩阵，将点云数据投影到图像空间；其中，投影后的每个点对应一个五维的特征(d,x,y,z,r),d表示深度，通过点坐标到摄像头坐标原点的距离值表征，r表示反射强度。
[0120]
第二输入单元，用于将当前图像帧输入训练后图像分析网络模型中基础分析子网络。
[0121]
第三输入单元，用于将点云分析网络模型输出的投影点云特征及基础分析子网络输出的基础图像特征输入至融合处理子网络。
[0122]
结果获取单元，用于图像分析网络模型根据融合处理子网络输出的融合特征信息，获得当前图像帧的图像语义分割结果。
[0123]
可选的，融合处理子网络中各卷积层对接收的投影点云特征及基础图像特征进行融合处理，获得融合特征信息的步骤可以包括：
[0124]
对接收的投影点云特征以及基础图像特征进行连接操作，获得连接特征数据；对连接特征数据通过卷积层及相邻接激活层，进行卷积处理以及高维非线性空间转换处理，获得中间融合特征；将中间融合特征与基础图像特征进行元素加法操作，获得融合特征信息。
[0125]
本发明实施例所提供的行车环境识别装置可执行本发明任意实施例所提供的行车环境识别方法，具备执行方法相应的功能模块和有益效果。
[0126]
实施例三
[0127]
图5为本发明实施例三提供的一种车辆的结构示意图，如图5所示，该车辆包括摄像头50、激光雷达51、控制器52、存储器53；摄像头50的数量、激光雷达51的数量、控制器52的数量和存储器53的数量可以是一个或多个，图5中以一个摄像头50、一个激光雷达51、一个控制器52及一个存储器53为例；摄像头50、激光雷达51、控制器52、存储器53可以通过总线或其他方式连接，图5中以通过总线连接为例。
[0128]
摄像头50，用于获取图像帧。
[0129]
激光雷达51，用于获取点云数据。
[0130]
存储器53作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的车载设备的状态监测方法对应的程序指令/模块(例如，影像采集设备的控制装置中的获取模块41、结果确定模块42、信息确定模块43)。控制器52通过运行存储在存储器53中的软件程序、指令以及模块，从而执行车辆的各种功能应用以及数据处理，即实现上述的行车环境识别方法。
[0131]
存储器53可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器53可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器53可进一步包括相对于控制器52远程设置的存储器，这些远程存储器可以通过网络连接至车辆。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0132]
实施例四
[0133]
本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机微控制器执行时用于执行一种行车环境识别方法，该方法包括：
[0134]
获取激光雷达采集的点云数据、以及摄像头拍摄的当前图像帧，其中激光雷达以及摄像头安装于车辆上，所述点云数据与所述当前图像帧相对应；
[0135]
通过对所述点云数据及所述当前图像帧融合处理后的融合特征信息，确定所述当
前图像帧的图像语义分割结果；
[0136]
根据所述图像语义分割结果，确定所述当前图像帧对应的行车环境信息。
[0137]
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的行车环境识别方法中的相关操作。
[0138]
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0139]
值得注意的是，上述行车环境识别装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0140]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0141]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。