一种车载多波段立体视觉感知方法、装置、设备和介质与流程

1.本技术涉及视觉识别技术领域，特别是涉及一种车载多波段立体视觉感知方法、装置、设备和介质。


背景技术：

2.立体视觉是一个古老的研究课题，同时又是人类观察世界、认知世界的重要功能和手段。人类从外界获得的信息约有75%来自双目视觉系统，用机器模拟人类双眼的视觉功能是人们多年的梦想。立体视觉(stereo vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，可以用于目标识别、目标感知、目标避障、场景slam构建、任务规划等，主要应用包括移动机器人的自主导航系统，航空及遥感测量，工业自动化系统等。
3.但是现有技术中，尚未有从复杂环境和实时性出发，开发适于无人车用的小型化的车载多波段立体视觉感知单元。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种车载多波段立体视觉感知方法，能够适用于无人车和复杂环境，并实时进行目标的立体感知。
5.一种车载多波段立体视觉感知方法，包括：分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息；检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离；根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。
6.在其中一个实施例中，将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像包括：所述左可见光图像和所述右可见光图像均为高分辨率图像，所述红外图像为低分辨率图像；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到高分辨率的融合图像与高分辨率的可见光图像；所述融合图像是将所述左可见光图像或所述右可见光图像与所述红外图像融合得到的；所述可见光图像为未与所述红外图像融合的所述左可见光图像或所述右可见光图像；
对所述融合图像进行分区，得到高分辨率融合区与低分辨率融合区；分别对所述高分辨率融合区与所述低分辨率融合区进行多尺度处理，得到多尺度高分辨率融合区与多尺度低分辨率融合区；对所述可见光图像进行多尺度处理，得到多尺度可见光图像；对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像。
7.在其中一个实施例中，对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像包括：对所述多尺度低分辨率融合区与所述多尺度可见光图像进行叠加，得到叠加图像；对所述多尺度高分辨率融合区与所述叠加图像进行整合，得到整合图像；对所述整合图像，采用模糊c均值聚类和字典学习的方式进行超分辨率重建，得到重建图像。
8.在其中一个实施例中，在分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像之前，还包括：对所述双目可见光相机和所述单目红外相机进行参数标定；所述参数包括：左相机的内参、右相机的内参、左相机与右相机之间的外参、单目红外相机的内参、双目可见光相机与单目红外相机之间的外参以及相机相对大地坐标的外参；所述相机是指所述左相机、所述右相机和所述单目红外相机中的任意一个。
9.在其中一个实施例中，所述参数标定包括：在标定板上绘制棋盘格，并在所述棋盘格上安装定位装置；使用所述标定板，依次标定所述左相机的内参、所述右相机的内参和所述单目红外相机的内参；使用所述标定板，标定左相机与右相机之间的外参，并同时标定双目可见光相机与单目红外相机之间的外参；移动所述标定板，利用定位装置标定所述相机相对大地坐标的外参。
10.在其中一个实施例中，在分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像之后，还包括：分别对所述左可见光图像、所述右可见光图像和所述红外图像进行感知目标的目标识别，得到所述左可见光图像中的感知目标、所述右可见光图像中的感知目标和所述红外图像中的感知目标；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息包括：将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，并将所述左可见光图像中的感知目标、所述右可见光图像中的感知目标和所述红外图像中的感知目标进行融合，得到重建图像和重建图像中的感知目标；根据所述重建图像中的感知目标，得到感知目标的外形信息。
11.在其中一个实施例中，所述目标识别均采用基于深度学习的识别方法进行。
12.一种车载多波段立体视觉感知装置，包括：
拍摄模块，用于分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机；外形获得模块，用于将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息；距离获得模块，用于检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离；感知模块，用于根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。
13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息；检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离；根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。
14.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息；检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离；根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。
15.上述车载多波段立体视觉感知方法，通过双目可见光相机和单目红外相机进行多波段的图像采集；对得到的左右可见光图像和红外图像进行目标识别，并将图像融合，得到感知目标的外形信息；对得到的左右可见光图像进行目标匹配，并采用窄基线的立体匹配方式，得到感知目标的距离信息；从而根据感知目标的外形信息和距离信息，先后完成立体识别和立体深度估计，以形成感知，为车辆的立体视觉识别和做出决策提供信息和依据，适合小型化、多波段无人车适应复杂环境下的立体视觉感知。
附图说明
16.图1为一个实施例中车载多波段立体视觉感知方法的流程图；图2为一个实施例中车载多波段立体视觉感知方法的整体示意图；图3为一个实施例中双目窄基线的目标定位的示意图；图4为一个实施例中行人特征匹配的示意图；图5为一个实施例中图像融合和超分辨率重建的示意图；图6为一个实施例中参数标定的示意图；图7为一个实施例中车载多波段立体视觉感知装置的结构框图；图8为一个实施例中计算机设备的内部结构图。
具体实施方式
17.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
18.如图1至图6所示，本技术提供的一种车载多波段立体视觉感知方法，在一个实施例中，包括以下步骤：步骤102，分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机。
19.多波段是指：双目可见光相机的工作波段是可见光，可见光分为rgb三种光谱，红外相机的工作波段是红外光。
20.双目可见光相机包括2个可见光相机，即左相机与右相机，分别模拟人的左右眼。左相机对感知目标进行拍摄，得到感知目标的左可见光图像；右相机对感知目标进行拍摄，得到感知目标的右可见光图像。双目可见光相机用于构建双目立体视觉、目标距离测量、障碍物感知等。
21.单目红外相机即1个红外相机。单目红外相机对感知目标进行拍摄，得到感知目标的红外图像。单目红外相机可与可见光相机的融合，使得操作员或者系统更好的感知目标、障碍物等。
22.步骤104，将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息。
23.在本步骤中，图像融合可以采用现有技术中的方法。
24.步骤106，检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离。
25.双目可见光相机针对窄基线下的立体视觉探测的测距精度低的特点，采用基于目标匹配的窄基线立体视觉目标位置估计，对远距离的目标也有较高的识别精度，具体的：（1）对左可见光图像中的感知目标进行检测，如行人检测、物体检测；（2）采用模板匹配找到感知目标对应于右可见光图像的位置；
（3）对该感知目标区域中的左右相机进行特征点匹配；（4）根据误差平方和算法（ssd），利用特征点在感知目标区域的位置设置区域匹配值，设定权重，得到权值，离区域中心越近的点的权值越大；（5）采用立体视觉计算公式对目标进行定位，得到目标距离。
26.下面以行人特征匹配的行人定位进行具体说明：（1）感知目标为行人，对左可见光图像进行行人检测；（2）利用模板匹配，对左可见光图像中的行人，在右可见光图像中找到相应的行人，以提高实时性；（3）对左可见光图像中的行人和右可见光图像中的行人，进行sift特征点匹配，利用rasac拟合去掉误差较大的点，如图4所示为左右可见光图像中的行人特征点匹配。
27.（4）在特征点匹配后，由于存在目标与背景之间的特征点或者目标中的特征点的区别，因此需要构建目标区域的权值，以提高目标测距的精度，目标区域的权值：其中，是根据误差平方和算法（ssd）计算的以左可见光图像中第特征点为中心点的3*3区域和以右可见光图像中第特征点为中心点的3*3区域的区域匹配值，i是以左可见光图像中第特征点为中心点的3*3区域和以右可见光图像中第特征点为中心点的3*3区域的所有特征点的集合。
28.当特征点区域在同一平面时，ssd 匹配值越小；当特征点区域不在同一平面时，ssd 匹配值越大。
29.（5）采用立体视觉计算公式对目标进行定位，最后的目标距离为：其中，为双目相机匹配后，两个特征点测量的距离值，即基线长度。
30.当基线长度为2cm时，利用行人作为目标，测量的距离如下表1所示：表1不同距离下窄基线计算的距离和计算时间步骤108，根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。
31.现有车辆感知主要是传感器多、复杂，其中特斯拉采用mobileeye，最多26 个相机，纯视觉l4方案；小鹏g3搭载了多达20个传感器，有12个超声波雷达、5个高清摄像头、3个毫米波雷达，l2级；华为阿尔法，3颗激光雷达、6颗毫米波雷达，9个视觉摄像机还有挡风玻璃处的双目 长焦 超广角相机，l3级。主要原因是短基线的立体视觉识别距离近，当远距离识别时精度误差大，需要加入其它各种辅助传感器。而本技术仅仅采用3个相机就达到了精确识别的效果，用低的配置达到高的需求。
32.上述车载多波段立体视觉感知方法，通过双目可见光相机和单目红外相机进行多波段的图像采集；对得到的左右可见光图像和红外图像进行目标识别，并将图像融合，得到感知目标的外形信息；对得到的左右可见光图像进行目标匹配，并采用窄基线的立体匹配方式，得到感知目标的距离信息；从而根据感知目标的外形信息和距离信息，先后完成立体识别和立体深度估计，以形成感知，为车辆的立体视觉识别和做出决策提供信息和依据，适合小型化、多波段无人车适应复杂环境下的立体视觉感知。
33.应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
34.在其中一个实施例中，将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像包括：所述左可见光图像和所述右可见光图像均为高分辨率图像，所述红外图像为低分辨率图像；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到高分辨率的融合图像与高分辨率的可见光图像；所述融合图像是将所述左可见光图像或所述右可见光图像与所述红外图像融合得到的；所述可见光图像为未与所述红外图像融合的所述左可见光图像或所述右可见光图像；对所述融合图像进行分区，得到高分辨率融合区与低分辨率融合区；分别对所述高分辨率融合区与所述低分辨率融合区进行多尺度处理，得到多尺度高分辨率融合区与多尺度低分辨率融合区；对所述可见光图像进行多尺度处理，得到多尺度可见光图像；对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像。
35.在本实施例中，对左可见光图像、右可见光图像和红外图像进行图像融合。
36.根据相机的安装位置，分别有高分辨率可见光图像、低分辨率红外图像、高分辨率可见光图像。
37.多尺度处理是指先对图像进行多尺度的分块，得到多个不同的小块，然后用不同尺度的图像表示这些小块。
38.进一步地，对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像包括：对所述多尺度低分辨率融合区与所述多尺度可见光图像进行叠加，得到叠加图像；对所述多尺度高分辨率融合区与所述叠加图像进行整合，得到整合图像；对所述整合图像，采用模糊c均值聚类和字典学习的方式进行超分辨率重建，得到重建图像。
39.在本实施例中，对左可见光图像、右可见光图像和红外图像进行超分辨率重建。
40.可见光图像包括左可见光图像和右可见光图像；可见光图像与红外图像的融合，采用图像融合和超分辨率网络统一的图像融合方法，把两者统一为一个网络，可以有效的利用可见光图像的边缘信息和红外图像的热信息，提高目标遮挡和光照较弱环境下的感知能力，提高目标分辨率和目标的热成像效果。
41.在其中一个实施例中，在分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像之前，还包括：对所述双目可见光相机和所述单目红外相机进行参数标定；所述参数包括：左相机的内参、右相机的内参、左相机与右相机之间的外参、单目红外相机的内参、双目可见光相机与单目红外相机之间的外参以及相机相对大地坐标的外参；所述相机是指所述左相机、所述右相机和所述单目红外相机中的任意一个。
42.在其中一个实施例中，所述参数标定包括：在标定板上绘制棋盘格，并在所述棋盘格上安装定位装置；使用所述标定板，依次标定所述左相机的内参、所述右相机的内参和所述单目红外相机的内参；使用所述标定板，标定左相机与右相机之间的外参，并同时标定双目可见光相机与单目红外相机之间的外参；移动所述标定板，利用定位装置标定所述相机相对大地坐标的外参。
43.标定板采用圆形标定板，标定板的中心采用加热的方式就可以获得清晰的红外图像。
44.可见光相机和单目红外相机的内外参数标定采用相同的标定板，并采用统一的棋盘格，以减少不同相机采用不同的标定板或不同的棋盘格，标定结果可能不一致的问题。
45.定位装置可以选择全球导航卫星定位系统 (global navigation satellite system,gnss)定位装置。
46.定位装置安装在棋盘格上，棋盘格绘制在标定板上，当gnss移动装置放置在标定板上的时候，就可以一起移动并且测量标定结果。
47.移动标定板，利用定位装置标定所述相机相对大地坐标的外参是指：在跑道或者开阔地带依次放置多个gnss点，首先移动棋盘格，然后检测棋盘格中心坐标，最后利用gnss标定车载立体视觉系统相对于车载的gnss坐标，及相机相对大地坐标的外参。
48.需要注意的是，只要一个相机标定与大地的外参数就可以，其它相机由于是已经标记了相机和相机之间的外参，因此可以通过矩阵相乘可以直接获得。相机是指左相机、右相机和单目红外相机中的任意一个。
49.在其中一个实施例中，在分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像之后，还包括：分别对所述左可见光图像、所述右可见光图像和所述红外图像进行感知目标的目标识别，得到所述左可见光图像中的感知目标、所述右可见光图像中的感知目标和所述红外图像中的感知目标；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息包括：将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，并将所述左可见光图像中的感知目标、所述右可见光图像中的感知目标和所述红外图像中的感知目标进行融合，得到重建图像和重建图像中的感知目标；根据所述重建图像中的感知目标，得到感知目标的外形信息。
50.在其中一个实施例中，所述目标识别均采用基于深度学习的识别方法进行。
51.左相机对左可见光图像进行感知目标的目标识别，得到左可见光图像中的感知目标；右相机对右可见光图像进行感知目标的目标识别，得到右可见光图像中的感知目标。
52.基于深度学习的目标识别方法，双目可见光相机采用单相机的目标识别与双目相机的立体匹配的配合方式，具体的：（1）目标识别采用yolo-v5的目标识别方式，主要识别行人、车辆、信号灯等。
53.（2）立体匹配采用窄基线的目标匹配方式，对远距离的目标也有较高的识别精度。
54.单目红外相机对红外图像进行感知目标的目标识别，得到红外图像中的感知目标。单目红外相机，采用基于深度学习的红外目标识别算法，提高部分遮挡下的目标感知能力。具体的，目标识别采用在原始图像中进行yolo-v5的目标识别方式，获取识别的框和识别目标的类型。
55.如图7所示，本技术还提供一种车载多波段立体视觉感知装置，在一个实施例中，包括：拍摄模块702、外形获得模块704、距离获得模块706和感知模块708，具体的：拍摄模块702，用于分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机；外形获得模块704，用于将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息；距离获得模块706，用于检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离；感知模块708，用于根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。
56.在其中一个实施例中，所述外形获得模块704还用于：将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像包括：所述左可见光图像和所述右可见光图像均为高分辨率图像，所述红外图像为低分辨率图像；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到高分辨率的融合图像与高分辨率的可见光图像；所述融合图像是将所述左可见光图像或所述右可见光图像与所述红外图像融合得到的；所述可见光图像为未与所述红外图像融合的所述左可见光图像或所述右可见光图像；对所述融合图像进行分区，得到高分辨率融合区与低分辨率融合区；分别对所述高分辨率融合区与所述低分辨率融合区进行多尺度处理，得到多尺度高分辨率融合区与多尺度低分辨率融合区；对所述可见光图像进行多尺度处理，得到多尺度可见光图像；对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像。
57.在其中一个实施例中，所述外形获得模块704还用于：对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像包括：对所述多尺度低分辨率融合区与所述多尺度可见光图像进行叠加，得到叠加图像；对所述多尺度高分辨率融合区与所述叠加图像进行整合，得到整合图像；对所述整合图像，采用模糊c均值聚类和字典学习的方式进行超分辨率重建，得到重建图像。
58.在其中一个实施例中，所述拍摄模块702还用于：在分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像之前，还包括：对所述双目可见光相机和所述单目红外相机进行参数标定；所述参数包括：左相机的内参、右相机的内参、左相机与右相机之间的外参、单目红外相机的内参、双目可见光相机与单目红外相机之间的外参以及相机相对大地坐标的外参；所述相机是指所述左相机、所述右相机和所述单目红外相机中的任意一个。
59.在其中一个实施例中，所述拍摄模块702还用于：所述参数标定包括：在标定板上绘制棋盘格，并在所述棋盘格上安装定位装置；使用所述标定板，依次标定所述左相机的内参、所述右相机的内参和所述单目红外相机的内参；使用所述标定板，标定左相机与右相机之间的外参，并同时标定双目可见光相机与单目红外相机之间的外参；移动所述标定板，利用定位装置标定所述相机相对大地坐标的外参。
60.在其中一个实施例中，所述外形获得模块704还用于：在分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像之后，还包括：分别对所述左可见光图像、所述右可见光图像和所述红外图像进行感知目标的目标识别，得到所述左可见光图像中的感知目标、所述右可见光图像中的感知目标和所述红外图像中的感知目标；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息包括：将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，并将所述左可见光图像中的感知目标、所述右可见光图像中的感知目标和所述红外图像中的感知目标进行融合，得到重建图像和重建图像中的感知目标；根据所述重建图像中的感知目标，得到感知目标的外形信息。
61.在其中一个实施例中，所述外形获得模块704还用于：所述目标识别均采用基于深度学习的识别方法进行。
62.需要说明的是，上述车载多波段立体视觉感知装置主要是进行拍摄和图像处理的单元，外形获得模块和距离获得模块可以采用fpga的硬件加速处理或基于gpu框架的处理器单元，主要用于加速图像融合和立体匹配，为后续的图像处理和操作员视觉感知提供依据。此外还包括：照射模块，照射模块采用可见光段的发光led照射，使得在不同天气下，可见光相机都可以清楚的感知目标，尤其是清楚感知近距离的目标，当目标越近时，目标清晰度就越高，目标就越明显。双目可见光相机分别设置在两侧，单目红外相机和照射模块设置在中间。
63.关于一种车载多波段立体视觉感知装置的具体限定可以参见上文中对于一种车载多波段立体视觉感知方法的限定，在此不再赘述。上述一种车载多波段立体视觉感知装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
64.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程
序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车载多波段立体视觉感知方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。该计算机设备可以是仿真设备，输入装置将相关的信息输入给仿真设备，处理器执行存储器中的程序进行组合仿真，显示屏显示相关的仿真结果。
65.本领域技术人员可以理解，图8中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
66.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
67.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
68.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
69.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
70.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。