基于深度图模板的障碍物检测方法、系统、设备及介质

1.本发明涉及图像数据处理技术领域，特别是涉及一种基于深度图模板的障碍物检测方法、系统、设备及介质。


背景技术：

2.在机器人和自动驾驶车辆中，估计地面平面和检测障碍物是安全导航的关键任务。而传统的障碍物识别方法中，通常直接对获得的点云图进行操作，而点云数据量大，这就需要大量的计算，很难在实时应用中有效地工作或满足在嵌入式设备上运行。


技术实现要素：

3.为了解决上述问题，本发明提出了一种基于深度图模板的障碍物检测方法、系统、设备及介质，先利用地面深度图模板对待检测深度图进行判断，在待检测深度图中提取出可能包含有障碍物的障碍物深度图，当确定有障碍物时，再进行点云处理，避免大型点云处理带来的运算开销，提高检测效率。
4.为了实现上述目的，本发明采用如下技术方案：第一方面，本发明提供一种基于深度图模板的障碍物检测方法，包括：获取地面深度图模板；根据地面深度图模板进行相机标定，得到相机相对于安装主体的俯仰角和相机高度；获取待检测深度图，将待检测深度图与地面深度图模板做差分处理后，得到障碍物深度图；当障碍物深度图不为空时，将障碍物深度图转化为障碍物点云图，根据俯仰角和相机高度对障碍物点云图进行旋转平移，由此得到在安装主体坐标系下的障碍物点云信息。
5.作为可选择的实施方式，将地面深度图模板转换为地面点云图，并采用最小二乘法拟合地面点云图的地面平面，从而得到地面法向量，根据地面法向量得到俯仰角。
6.作为可选择的实施方式，所述俯仰角为：；其中，为地面法向量的y轴分量。
7.作为可选择的实施方式，将地面点云图按俯仰角绕相机的x轴旋转后得到校正后的地面点云图，根据校正后的地面点云图得到相机高度；；其中，为校正后的地面点云图中第i个点的y轴坐标；n为校正后的地面点云图中点的数量。
8.作为可选择的实施方式，所述障碍物深度图为：将待检测深度图像与地面深度图模板的每个像素点的坐标做差并取绝对值后，判
断该绝对值是否满足最小障碍物高度阈值的要求；若某个像素点对应的绝对值小于最小障碍物高度阈值，则删除该像素点；若某个像素点对应的绝对值不小于最小障碍物高度阈值，则保留该像素点在待检测深度图像上对应的深度值，由此得到障碍物深度图。
9.作为可选择的实施方式，对障碍物点云图进行旋转平移的过程为：根据俯仰角计算旋转矩阵，根据相机高度计算平移向量，根据旋转矩阵和平移向量对障碍物点云图进行旋转和平移操作。
10.作为可选择的实施方式，旋转矩阵和平移向量分别为：；；在安装主体坐标系下的障碍物点云p
ob
为：；其中，为俯仰角；为相机高度；、和分别为障碍物点云图po中第i个点的x轴坐标、y轴坐标、z轴坐标；、和分别为在安装主体坐标系下的障碍物点云p
ob
中第i个点的x轴坐标、y轴坐标、z轴坐标。
11.第二方面，本发明提供一种基于深度图模板的障碍物检测系统，包括：模板获取模块，被配置为获取地面深度图模板；相机标定模块，被配置为根据地面深度图模板进行相机标定，得到相机相对于安装主体的俯仰角和相机高度；深度图处理模块，被配置为获取待检测深度图，将待检测深度图与地面深度图模板做差分处理后，得到障碍物深度图；障碍物检测模块，被配置为当障碍物深度图不为空时，将障碍物深度图转化为障碍物点云图，根据俯仰角和相机高度对障碍物点云图进行旋转平移，由此得到在安装主体坐标系下的障碍物点云信息。
12.第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
13.第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
14.与现有技术相比，本发明的有益效果为：本发明提出一种基于深度图模板的障碍物检测方法、系统、设备及介质，先利用地面深度图模板对待检测深度图进行判断，并在待检测深度图中预先提取出可能包含有障碍物的障碍物深度图，将该部分的点云处理替换为高效的图像处理，避免了现有方法中依赖大型点云处理带来的运算开销，降低对计算硬件的性能要求。
15.本发明提出一种基于深度图模板的障碍物检测方法、系统、设备及介质，当确定有
障碍物时，再将障碍物深度图转化为障碍物点云图进行处理，提高检测效率，避免非必要的计算。
16.本发明提出一种基于深度图模板的障碍物检测方法、系统、设备及介质，将地面深度图模板根据相机内参转换为地面点云图，在拟合地面点云图的地面平面，由此自动计算出相机相对于安装主体的俯仰角和相机高度，摆脱对外部输入安装参数的依赖。
17.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
18.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
19.图1为本发明实施例1提供的基于深度图模板的障碍物检测方法流程图；图2为本发明实施例1提供的相机安装示意图；图3为本发明实施例1提供的相机高度和俯仰角示意图。
具体实施方式
20.下面结合附图与实施例对本发明做进一步说明。
21.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
22.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
23.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
24.实施例1本实施例提供一种基于深度图模板的障碍物检测方法，如图1所示，包括：获取地面深度图模板；根据地面深度图模板进行相机标定，得到相机相对于安装主体的俯仰角和相机高度；获取待检测深度图，将待检测深度图与地面深度图模板做差分处理后，得到障碍物深度图；当障碍物深度图不为空时，将障碍物深度图转化为障碍物点云图，根据俯仰角和相机高度对障碍物点云图进行旋转平移，由此得到在安装主体坐标系下的障碍物点云信息。
25.在本实施例中，所述地面深度图模板为在保证相机前方视野范围内无障碍物的前提下，获取地面的深度图像作为地面深度图模板。
26.在本实施例中，根据地面深度图模板进行相机标定，得到相机相对于安装主体的俯仰角和相机高度的过程包括：（1）将地面深度图模板根据相机内参转换为地面点云图pg，采用最小二乘法拟合地面点云图pg的地面平面，从而得到地面法向量(n
x
,ny,nz)；（2）根据地面点云图pg和地面法向量(n
x
,ny,nz)，得到俯仰角和相机高度：其中，如图2-图3所示，给定相机安装时的横滚角和偏航角与安装主体一致，相机与安装主体之间的俯仰角通过地面法向量的y轴分量得到；将地面点云图pg按照俯仰角绕相机x轴旋转补偿后得到校正后的地面点云图，根据校正后的地面点云图的质心c
p
的y轴坐标得到相机高度hc；那么，俯仰角和相机高度hc分别为：；；其中，为校正后的地面点云图中第i个点的y轴坐标；n为校正后的地面点云图中点的数量。
27.在本实施例中，采用标定后的相机，即在相同的俯仰角和相机高度下获取待检测深度图d，将待检测深度图像d与地面深度图模板的每个像素点的坐标做差并取绝对值后，判断该绝对值是否满足最小障碍物高度阈值t的要求；若某个像素点对应的绝对值小于最小障碍物高度阈值t，则删除该像素点；若某个像素点对应的绝对值不小于最小障碍物高度阈值t，则保留该像素点在待检测深度图像d上对应的深度值；由此得到障碍物深度图do，具体为：；其中，为待检测深度图d在坐标上的深度值，为障碍物深度图do在坐标上的深度值，为地面深度图模板在坐标上的深度值。
28.在本实施例中，判断障碍物深度图是否为空，若障碍物深度图为空，则表示未检测到障碍物，返回继续采集待检测深度图；若障碍物深度图不为空，则将障碍物深度图do转化为障碍物点云图po，根据俯仰角和相机高度hc对障碍物点云图po进行旋转和平移操作后，得到最终的障碍物点云。
29.其中，根据俯仰角计算旋转矩阵r，根据相机高度hc计算平移向量t，根据旋转矩阵r和平移向量t对障碍物点云图po进行旋转和平移操作，由此得到在安装主体坐标系下的障碍物点云p
ob
；具体地：
；；；其中，、和分别为障碍物点云图po中第i个点的x轴坐标、y轴坐标和z轴坐标；、和分别为在安装主体坐标系下的障碍物点云p
ob
中第i个点的x轴坐标、y轴坐标和z轴坐标。
30.旋转平移的目的是将障碍物点云的坐标系由相机坐标系转换为安装主体坐标系，方便后续根据避障结果进行下一步的决策。更详细地，旋转的目的是将障碍物点云的y轴和z轴坐标转换为更容易在安装主体坐标系下理解的（前后）和（上下）；平移的目的是将障碍物点云的z轴转换为更容易在安装主体坐标系下理解的障碍物高度。
31.实施例2本实施例提供一种基于深度图模板的障碍物检测系统，包括：模板获取模块，被配置为获取地面深度图模板；相机标定模块，被配置为根据地面深度图模板进行相机标定，得到相机相对于安装主体的俯仰角和相机高度；深度图处理模块，被配置为获取待检测深度图，将待检测深度图与地面深度图模板做差分处理后，得到障碍物深度图；障碍物检测模块，被配置为当障碍物深度图不为空时，将障碍物深度图转化为障碍物点云图，根据俯仰角和相机高度对障碍物点云图进行旋转平移，由此得到在安装主体坐标系下的障碍物点云信息。
32.此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
33.在更多实施例中，还提供：一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
34.应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
35.存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
36.一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
37.实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
38.本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
39.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。