基于双目立体视觉的智能底盘控制方法和系统与流程

1.本发明涉及智能驾驶技术领域，具体涉及一种基于双目立体视觉的智能底盘控制方法和系统。


背景技术：

2.随着智能驾驶的需求越来越高，准确的获取驾驶场景中的多样信息，也显得越来越重要。双目传感器系统作为同时能获取场景空间和图像信息的多用途和低成本传感器，在智能驾驶系统的作用也显得越发重要。同时，传统车辆底盘也发展出智能底盘这一形态，方便对车身进行智能控制。
3.从另一方面来讲，越野驾驶是汽车文化的重要组成部分，越野车的动力性和制动性是汽车的核心指标。在越野时，面对草地、积雪、沙漠等不同的地面类型或者坑洼、泥泞、颠簸等不同地面状况时，需要及时调整汽车驱动力和制动力分配，并且调整汽车悬架的高低、软硬，避免出现轮胎打滑和底盘受损，提高车辆行驶的舒适性和安全性。
4.因此，实时监测感知车辆前方的地面场景和地面状态，使车身控制器可以智能地调整底盘控制模式，提高底盘自动化水平，可以提高驾驶体验。
5.现有技术中多采用单一摄像头或激光雷达实现对于地面场景的检测。但是，基于单一摄像头检测图像容易受环境和光照等影响，且无法获得空间信息，导致智能底盘控制的准确性较低；而激光雷达点云稀疏，无法获得精细的感知结果，且价格昂贵，并非所有量产车型的标准配置。
6.由此，提出一种基于双目立体视觉的智能底盘控制方法和系统，以期提高智能底盘控制准确性，降低控制成本，就成为本领域技术亟待解决的问题。


技术实现要素：

7.为此，本发明实施例提供一种基于双目立体视觉的智能底盘控制方法和系统，以期提高智能底盘控制准确性，降低控制成本。
8.为了实现上述目的，本发明实施例提供如下技术方案：一种基于双目立体视觉的智能底盘控制方法，所述方法包括：获取行驶区域的双目原始图像，并计算视差图；基于所述视差图，在所述行驶区域内划定目标区域；基于预存的深度学习模型，检测所述目标区域的地面场景，并输出地面场景检测结果；对所述目标区域内的视差图和所述地面场景检测结果进行信息融合，以得到所述地面场景的图像信息和空间位置信息；基于所述图像信息和所述空间位置信息，生成输出给所述智能底盘的控制策略，以使所述智能底盘的控制模块根据所述控制策略输出控制指令。
9.进一步地，获取行驶区域的双目原始图像，并计算视差图，具体包括：
获取行驶区域内左、右相机的原始图像；根据预存的相机标定参数，对所述原始图像进行矫正，也得到矫正图像；在所述矫正图像内，提取左、右相机重合区域作为有效的图像匹配区域；逐点计算图像匹配区域内的视差，以得到所述视差图。
10.进一步地，基于所述视差图，在所述行驶区域内划定目标区域，具体包括：在所述视差图中，划定从最近地面可视点至距离双目相机距离v_z米的范围为初始目标区域；对所述视差图进行水平方向投影，以获得v视差图；基于v视差图进行路面拟合得到路面方程r，所述路面方程r为地面视差值disparity与图像纵坐标i_y的转换关系如式：式中，k和b分别为v视差图中路面拟合直线的斜率和偏移量；根据所述初始目标区域和路面方程r，计算距离v_z米在原始图像中对应的纵坐标i_y；划定从图像底边到图像纵坐标i_y的范围为目标区域。
11.进一步地，所述地面场景包括地面状态和地面类型；其中，所述地面状态至少包括坑洼、泥泞、颠簸，所述地面信息至少包括沥青、沙漠、草地、雪地。
12.进一步地，根据以下公式，计算目标像素点的坐标位置，以得到所述地面场景的图像信息和空间位置信息：式中，（x, y, z）为目标像素点的空间三维坐标，baseline为双目相机的基线，focus为焦距，optical_x表示光心在视差图中的横坐标位置，（x’，y’）为设定的颠簸路段坐标位置，d’为（x’，y’）对应的视差值，x为目标像素点的空间横向距离，y为目标像素点的空间高度，z为目标像素点的空间纵向距离。
13.本发明还提供一种基于双目立体视觉的智能底盘控制系统，所述系统包括：图像获取单元，用于获取行驶区域的双目原始图像，并计算视差图；区域划定单元，用于基于所述视差图，在所述行驶区域内划定目标区域；场景检测单元，用于基于预存的深度学习模型，检测所述目标区域的地面场景，并输出地面场景检测结果；信息融合单元，用于对所述目标区域内的视差图和所述地面场景检测结果进行信息融合，以得到所述地面场景的图像信息和空间位置信息；指令输出单元，用于基于所述图像信息和所述空间位置信息，生成输出给所述智能底盘的控制策略，以使所述智能底盘的控制模块根据所述控制策略输出控制指令。
14.进一步地，图像获取单元具体用于：获取行驶区域内左、右相机的原始图像；
根据预存的相机标定参数，对所述原始图像进行矫正，也得到矫正图像；在所述矫正图像内，提取左、右相机重合区域作为有效的图像匹配区域；逐点计算图像匹配区域内的视差，以得到所述视差图。
15.进一步地，区域划定单元具体用于：在所述视差图中，划定从最近地面可视点至距离双目相机距离v_z米的范围为初始目标区域；对所述视差图进行水平方向投影，以获得v视差图；基于v视差图进行路面拟合得到路面方程r，所述路面方程r为地面视差值disparity与图像纵坐标i_y的转换关系如式：式中，k和b分别为v视差图中路面拟合直线的斜率和偏移量；根据所述初始目标区域和路面方程r，计算距离v_z米在原始图像中对应的纵坐标i_y；划定从图像底边到图像纵坐标i_y的范围为目标区域。
16.本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
17.本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
18.本发明所提供的基于双目立体视觉的智能底盘控制方法和系统，通过获取行驶区域的双目原始图像，并计算视差图；基于所述视差图，在所述行驶区域内划定目标区域；基于预存的深度学习模型，检测所述目标区域的地面场景，并输出地面场景检测结果；对所述目标区域内的视差图和所述地面场景检测结果进行信息融合，以得到所述地面场景的图像信息和空间位置信息；基于所述图像信息和所述空间位置信息，生成输出给所述智能底盘的控制策略，以使所述智能底盘的控制模块根据所述控制策略输出控制指令。
19.这样，该方法和系统首先利用深度学习模型感知获得准确的地面场景信息，然后结合双目立体视觉获得感知结果的空间信息，从而实现可靠的多维感知结果，最后根据获得的地面场景信息进行车辆底盘控制；在控制成本的前提下，可以实时准确地感知车辆行驶前方地面场景的空间信息，包括地面类型和路面状况等，并及时向车辆控制系统发出相应的信号，可用于车辆的智能底盘控制系统或者智能地面预瞄系统。提高了智能底盘控制准确性，降低了控制成本。
附图说明
20.为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
21.本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供
熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
22.图1为本发明所提供的基于双目立体视觉的智能底盘控制方法一种具体实施方式的流程图；图2为本发明所提供的视差图的计算流程图；图3（a）为视差图和v视差图；图3（b）v视差图中路面直线的区域示意图；图4为图3所示视差图的矫正图；图5为本发明所提供的基于双目立体视觉的智能底盘控制系统一种具体实施方式的结构框图。
具体实施方式
23.以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.为了解决现有技术中检测准确性差，成本较高的问题，本发明提供一种基于双目立体视觉的智能底盘控制方法，该方法利用深度学习进行地面场景检测，结果更准确可靠，且利用双目立体视觉，可以获得多维空间信息，并且能够很好的控制成本。
25.请参考图1，图1为本发明所提供的基于双目立体视觉的智能底盘控制方法一种具体实施方式的流程图。
26.在一种具体实施方式中，如图1所示，本发明所提供的基于双目立体视觉的智能底盘控制方法包括以下步骤：s110：获取行驶区域的双目原始图像，并计算视差图。双目相机获取的原始图像为彩色图像，获取双目原始图像也就是说获取左右两个相机拍摄到的原始彩色图像。得到该原始图像后，可通过对原始图像进行预处理和立体匹配，获得视差图。
27.具体地，如图2所示，获取行驶区域的双目原始图像，并计算视差图，具体包括以下步骤：s210：获取行驶区域内左、右相机的原始图像。也就是说，利用双目立体相机的左右两个相机或者左右两个镜头，分别获取左、右两个彩色的原始图像。
28.s220：根据预存的相机标定参数，对所述原始图像进行矫正，也得到矫正图像。根据相机的标定参数对左、右原始彩色图像进行矫正，去除相机畸变，获得左、右两个彩色矫正图像，以完成图像预处理。通过预处理矫正后的图像，可以提高原始图像的图像质量。
29.s230：在所述矫正图像内，提取左、右相机重合区域作为有效的图像匹配区域，利用双目立体匹配算法，针对左、右相机重合区域获得有效的图像匹配区域。
30.s240：逐点计算图像匹配区域内的视差，以得到所述视差图。
31.通过上述步骤获得视差图后，即可利用视差图进行后续计算。
32.s120：基于所述视差图，在所述行驶区域内划定目标区域。
33.在一些实施例中，上述步骤s120具体包括以下步骤：在所述视差图中，划定从最近地面可视点至距离双目相机距离v_z米的范围为初始目标区域；对所述视差图进行水平方向投影，以获得v视差图；基于v视差图进行路面拟合得到路面方程r，所述路面方程r为地面视差值disparity与图像纵坐标i_y的转换关系如式：式中，k和b分别为v视差图中路面拟合直线的斜率和偏移量；根据所述初始目标区域和路面方程r，计算距离v_z米在原始图像中对应的纵坐标i_y；划定从图像底边到图像纵坐标i_y的范围为目标区域。
34.在一些实施例中，设置地面感兴趣区域为从最近地面可视点至距离双目相机距离v_z米的范围。
35.根据双目立体视觉原理，有式（1）如下：对双目视差图进行水平方向投影，获得v视差图，基于v视差图进行路面拟合得到路面方程r，r即为地面视差值disparity与图像纵坐标i_y的转换关系如式（2）。
36.式（2）中，k和b分别为v视差图中路面拟合直线的斜率和偏移量。
37.则结合式（1）和式（2），可以计算出距离v_z米在图像中对应的纵坐标i_y。
38.因此，得到地面感兴趣区域的范围，为从图像底边到图像纵坐标i_y的范围。通过这种方式，可以实时动态计算当前图像的地面感兴趣区域。
39.如图3（a）所示，为双目视差图和v视差图，v视差图中箭头指向的倾斜线段，即为路面在v视差图中的投影。如图3（b）所示，箭头指向的框内倾斜线段即为路面直线。如图4所示，为对应的左矫正图，图中黑色框顶边纵坐标为i_y，底边为图像底边，黑色框区域即为地面感兴趣区域。
40.s130：基于预存的深度学习模型，检测所述目标区域的地面场景，并输出地面场景检测结果；具体地，所述地面场景包括地面状态和地面类型；其中，所述地面状态至少包括坑洼、泥泞、颠簸，所述地面信息至少包括沥青、沙漠、草地、雪地。利用深度学习模型，对彩色矫正图像（左、右矫正图像均可，本方法以左矫正图像为例）的地面感兴趣区域进行地面场景检测，包括地面状态信息和地面类型信息等，其中地面状态信息包括坑洼、泥泞、颠簸等各种能够影响车辆行驶平顺性的地面状态，地面类型信息包括沥青、沙漠、草地、雪地等各种地面材质类型。所使用的深度学习模型方法，可以是分类网络、检测网络或者分割网络。
41.s140：对所述目标区域内的视差图和所述地面场景检测结果进行信息融合，以得到所述地面场景的图像信息和空间位置信息。
42.具体地，将深度学习模型（分类网络、检测网络或者分割网络）的地面场景检测结
果与对应的视差信息结合，获得地面场景检测结果的空间位置信息。假设根据深度学习模型的检测结果，在图像坐标（x’，y’）处为颠簸路段或者出现不同地面类型的切换，（x’，y’）对应的视差值为d’，空间三维坐标为（x, y, z），其中x为空间横向距离，y为空间高度，z为空间纵向距离。
43.则根据双目立体视觉原理，有：式中，（x, y, z）为目标像素点的空间三维坐标，baseline为双目相机的基线，focus为焦距，optical_x表示光心在视差图中的横坐标位置，（x’，y’）为设定的颠簸路段坐标位置，d’为（x’，y’）对应的视差值，x为目标像素点的空间横向距离，y为目标像素点的空间高度，z为目标像素点的空间纵向距离。由此，可以获得地面场景的图像信息和空间信息。
44.s150：基于所述图像信息和所述空间位置信息，生成输出给所述智能底盘的控制策略，以使所述智能底盘的控制模块根据所述控制策略输出控制指令。
45.具体地，将深度学习模型感知与视差信息结合的地面场景信息，传入车辆底盘控制模块，进行底盘悬架调整。当车辆前方出现坑洼颠簸状况等，或者出现地面类型切换（如由沥青路面驶入草地时）时，及时调整悬架，提高行驶的平顺性和乘坐的舒适性。例如，当行驶在雪地时，需要控制发动机的动力输出，扩大前轮的动力比例；同时降低悬架并调整为偏硬状态，保证更强的抓地力和稳定性。当前方地面为坑洼颠簸路段时，需要升高底盘且将悬架调整为偏软，提高车辆的减震效果，提升舒适性。
46.在上述具体实施方式中，本发明所提供的基于双目立体视觉的智能底盘控制方法，通过获取行驶区域的双目原始图像，并计算视差图；基于所述视差图，在所述行驶区域内划定目标区域；基于预存的深度学习模型，检测所述目标区域的地面场景，并输出地面场景检测结果；对所述目标区域内的视差图和所述地面场景检测结果进行信息融合，以得到所述地面场景的图像信息和空间位置信息；基于所述图像信息和所述空间位置信息，生成输出给所述智能底盘的控制策略，以使所述智能底盘的控制模块根据所述控制策略输出控制指令。
47.这样，该方法首先利用深度学习模型感知获得准确的地面场景信息，然后结合双目立体视觉获得感知结果的空间信息，从而实现可靠的多维感知结果，最后根据获得的地面场景信息进行车辆底盘控制；在控制成本的前提下，可以实时准确地感知车辆行驶前方地面场景的空间信息，包括地面类型和路面状况等，并及时向车辆控制系统发出相应的信号，可用于车辆的智能底盘控制系统或者智能地面预瞄系统。提高了智能底盘控制准确性，降低了控制成本。
48.除了上述方法，本发明还提供一种基于双目立体视觉的智能底盘控制系统，如图5所示，所述系统包括：图像获取单元100，用于获取行驶区域的双目原始图像，并计算视差图；区域划定单元200，用于基于所述视差图，在所述行驶区域内划定目标区域；场景检测单元300，用于基于预存的深度学习模型，检测所述目标区域的地面场
景，并输出地面场景检测结果；信息融合单元400，用于对所述目标区域内的视差图和所述地面场景检测结果进行信息融合，以得到所述地面场景的图像信息和空间位置信息；指令输出单元500，用于基于所述图像信息和所述空间位置信息，生成输出给所述智能底盘的控制策略，以使所述智能底盘的控制模块根据所述控制策略输出控制指令。
49.其中，图像获取单元100具体用于：获取行驶区域内左、右相机的原始图像；根据预存的相机标定参数，对所述原始图像进行矫正，也得到矫正图像；在所述矫正图像内，提取左、右相机重合区域作为有效的图像匹配区域；逐点计算图像匹配区域内的视差，以得到所述视差图。
50.其中，区域划定单元200具体用于：在所述视差图中，划定从最近地面可视点至距离双目相机距离v_z米的范围为初始目标区域；对所述视差图进行水平方向投影，以获得v视差图；基于v视差图进行路面拟合得到路面方程r，所述路面方程r为地面视差值disparity与图像纵坐标i_y的转换关系如式：式中，k和b分别为v视差图中路面拟合直线的斜率和偏移量；根据所述初始目标区域和路面方程r，计算距离v_z米在原始图像中对应的纵坐标i_y；划定从图像底边到图像纵坐标i_y的范围为目标区域。
51.在上述具体实施方式中，该系统首先利用深度学习模型感知获得准确的地面场景信息，然后结合双目立体视觉获得感知结果的空间信息，从而实现可靠的多维感知结果，最后根据获得的地面场景信息进行车辆底盘控制；在控制成本的前提下，可以实时准确地感知车辆行驶前方地面场景的空间信息，包括地面类型和路面状况等，并及时向车辆控制系统发出相应的信号，可用于车辆的智能底盘控制系统或者智能地面预瞄系统。提高了智能底盘控制准确性，降低了控制成本。
52.本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
53.与上述实施例相对应的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
54.在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（digital signal processor，简称dsp）、专用集成电路（application specific工ntegrated circuit，简称asic）、现场可编程门阵列（fieldprogrammable gate array，简称fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
55.可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
56.存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
57.其中，非易失性存储器可以是只读存储器（read-only memory，简称rom）、可编程只读存储器（programmable rom，简称prom）、可擦除可编程只读存储器（erasable prom，简称eprom）、电可擦除可编程只读存储器（electrically eprom，简称eeprom）或闪存。
58.易失性存储器可以是随机存取存储器（random access memory，简称ram），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器（static ram，简称sram）、动态随机存取存储器（dynamic ram，简称dram）、同步动态随机存取存储器（synchronous dram，简称sdram）、双倍数据速率同步动态随机存取存储器（double data ratesdram，简称ddrsdram）、增强型同步动态随机存取存储器（enhanced sdram，简称esdram）、同步连接动态随机存取存储器（synchlink dram，简称sldram）和直接内存总线随机存取存储器（directrambus ram，简称drram）。
59.本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
60.本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
61.以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。