一种基于深度视觉的车辆对中检测方法和装置、电子设备与流程

本发明涉及机器视觉、光电探测与自动化装载，涉及一种基于深度视觉的车辆对中检测方法和装置、电子设备。

背景技术：

1、在高端工业自动化物流、车载运输与铁路货运场景中，装载设备对车辆的对中检测精度及环境鲁棒性要求极高。现有技术中主要存在以下技术方案：

2、 （1）基于二维视觉的对中检测方案：

3、 cn105488454b公开了一种基于单目视觉的前方车辆检测与测距方法，利用单目相机采集前方图像并通过边缘检测和车辆假设生成实现车辆检测。该方案主要聚焦于前方车辆检测与距离估计，未涉及车辆与目标物的对中偏差计算，亦无偏航角估计功能。

4、 cn105987684a公开了一种基于单目视觉的农业车辆导航线检测系统及方法，通过绿色特征提取和形心检测确定导航线路。该方案基于农作物绿色特征进行导航，不适用于铁路平板等灰度纹理特征场景，且采用色彩分割方式无法抑制阴影等亮度变化干扰。

5、 cn116080644a公开了一种车辆行驶控制方法、装置和电子设备。该方案通过单目前视摄像头获取道路图像，经高斯滤波、canny边缘检测、roi区域提取得到车道线边缘坐标点集，计算车道中心参考点集，实现车道居中行驶。然而，该方案采用通用边缘检测方法，在阴影干扰严重的场景下会产生大量伪边缘，且无法解决目标存在偏航角时的检测问题。

6、上述二维视觉方案在物理层面存在以下固有限制：传统单目视觉高度依赖环境光照与目标表面的二维纹理，在强光直射、局部阴影或目标表面严重污损时，极易产生边缘虚假跳动；同时，二维图像无法直接反映目标的物理厚度与空间姿态，难以消除由目标边缘倒角、厚度引起的观测误差。

7、（2）基于深度视觉的对中检测方案：

8、 cn112233136a公开了一种基于双目识别的集卡对位方法、系统、设备及存储介质。该方法通过双目摄像装置同时获取左右图像，计算视差矩阵和深度值生成集卡的三维点云；对三维点云进行阈值分割，通过平面拟合获得对位特征点坐标；将对位特征点的当前位置与预设位置范围比较，生成前进、后退或停止的对位指令。然而，该方案存在以下不足：第一，其深度感知模态局限于双目视觉一种方式，无法兼容飞行时间（tof）相机、结构光深度相机、激光雷达等其他深度传感机制；第二，其点云处理仅提取单个对位特征点坐标，仅输出一维的前进/后退对位指令，无法提供横向对中偏差、偏航角等全自由度位姿参数；第三，其计算架构与具体硬件绑定，未涉及跨平台兼容性问题，在系统升级或硬件降本时难以实现算法的无缝平移。

9、cn122392014a公开了一种厢式货车识别与位姿计算方法，通过tof相机获取初始点云，经坐标变换、预处理、法向量计算、底面拟合及直线拟合，计算货车偏转角度及位姿信息。该方法虽然采用了深度相机并输出偏转角度，但其侧重于车厢后门定位以服务于装车机器人抓取，而非面向装载对中场景的全自由度位姿检测。

10、综上所述，现有技术主要存在以下技术瓶颈：

11、第一，二维视觉方案受光照条件制约严重，在强光直射、局部阴影或目标表面污损时无法稳定工作，且缺乏深度维度信息，无法处理边缘倒角和厚度引起的几何偏差。

12、第二，现有的深度视觉方案（如cn112233136a）传感模态单一，仅支持双目视觉一种方式，无法根据工业现场的具体环境条件灵活选择最优的深度传感机制。

13、第三，现有方案仅输出一维的前进/后退对位指令，未提供横向对中偏差和偏航角等全自由度位姿参数，无法满足高精度装载对中场景对多维度偏差检测的需求。

14、第四，现有三维点云解算方案通常与特定的底层硬件加速架构强绑定，缺乏跨平台兼容性，系统升级或硬件降本时难以实现算法的无缝平移。

技术实现思路

1、为了解决现有技术中存在的上述技术问题，本发明提出了一种基于深度视觉的车辆对中检测方法和装置、电子设备，以实现在三维物理空间中解算车辆边界，兼容多种深度传感机制及多种计算平台，输出包含横向对中偏差、偏航角和纵向定位偏差在内的全自由度位姿参数。其具体技术方案如下：

2、一种基于深度视觉的车辆对中检测方法，包括以下步骤：

3、步骤1，获取目标车辆工作区域的三维深度数据并转换至统一基准坐标系；

4、步骤2，基于目标车辆的先验高度物理参数在深度轴上设定动态截断阈值区间，对所述三维深度数据进行空间基准滤波；

5、步骤3，对滤波后保留的深度数据执行空间平面分割，拟合目标车辆工作区域表面的三维平面方程并提取有效内点，消除空间离群点；

6、步骤4，将所述有效内点沿所述三维平面方程的法向量正交投影至二维物理栅格，利用计算几何算法提取工作区域的轮廓点集；

7、步骤5，将所述轮廓点集切分为横向边界集合与纵向边界集合，对所述横向边界集合执行直线拟合，计算两侧边缘直线的对称中线，以输出横向对中偏差及偏航角；对所述纵向边界集合提取统计几何特征点，以输出纵向定位偏差。

8、进一步地，所述步骤1中的三维深度数据来源于深度视觉采集模块，所述深度视觉采集模块选自以下一种或多种的组合： tof深度相机、结构光深度相机、主动散斑双目深度相机、主动散斑三目深度相机、被动双目深度相机、被动三目深度相机、固态激光雷达。

9、进一步地，所述步骤2具体为：根据目标车辆标定高度设定上限阈值与下限阈值，沿深度轴执行一维直通滤波，保留所述上限阈值与下限阈值之间的深度数据，剔除低于所述下限阈值的轨道面与地坪面数据以及高于所述上限阈值的背景构筑物与悬浮噪点数据。

10、进一步地，所述步骤3中，空间平面分割采用ransac随机抽样一致性算法，从滤波后的深度数据中随机选取不共线的三个空间点迭代拟合候选平面，求解并输出包含最多有效内点的平面作为最佳空间平面方程：，其中、、、为平面方程系数，、、为空间坐标。

11、进一步地，所述计算几何算法采用凸包算法或alpha-shape算法；所述直线拟合采用总体最小二乘法tls或主成分分析法pca。

12、进一步地，还包括：将输出的横向对中偏差及偏航角、纵向定位偏差注入包含位置与速度状态参量的扩展卡尔曼滤波器ekf，进行二阶动力学平滑滤波处理。

13、一种基于深度视觉的车辆对中检测装置，包括：

14、深度视觉采集模块，用于获取目标车辆工作区域的三维深度数据，所述三维深度数据包含物理绝对尺度的空间坐标信息；

15、数据传输链路，采用高带宽工业视觉或高速串行接口，连接于所述深度视觉采集模块与所述数据处理平台之间，用于将所述三维深度数据从所述深度视觉采集模块传输至所述数据处理平台；

16、数据处理平台，与所述深度视觉采集模块通信连接，用于对三维深度数据进行坐标转换、空间滤波、平面拟合与降噪、降维投影与拓扑边界提取以及正交空间解算，输出横向对中偏差及偏航角、纵向定位偏差。

17、进一步地，所述数据处理平台，具体包括：

18、深度数据获取模块，用于将获取的目标车辆工作区域的三维深度数据转换至预设的世界基准坐标系生成目标空间点云；

19、空间基准滤波模块，用于基于目标车辆的先验物理高度参数，在深度轴上设定动态截断阈值区间以切除背景环境点云，获取目标候选点云；

20、空间平面提取模块，用于对所述目标候选点云执行空间平面分割，拟合车辆区域表面的三维平面方程并提取有效内点集合；

21、降维投影模块，用于将所述有效内点集合沿平面的法向量正交投影至二维物理栅格，并提取外侧物理轮廓的空间点集；

22、几何位姿解算模块，用于将所述空间点集切分为横向边界集合与纵向边界集合，通过空间直线拟合解算横向对中偏差及偏航角，通过特征点提取解算纵向定位偏差。

23、进一步地，所述数据处理平台的硬件架构包括以下任一种：

24、方案一，完全基于通用中央处理器cpu的纯软件计算架构，所有深度数据解析与空间几何解算算法在通用处理器上通过软件编程实现；

25、方案二，基于协处理器与通用处理器的异构计算架构，其中底层高密度像素运算由协处理器执行，空间几何解算由通用处理器执行；所述协处理器包括现场可编程门阵列fpga、数字信号处理器dsp或神经网络处理器npu中的一种或多种。

26、一种基于深度视觉的车辆对中检测电子设备，包括：

27、存储器，用于存储程序指令；

28、处理器，与所述存储器耦合，用于执行所述程序指令，所述程序指令被配置为执行权利要求1至6中任一项所述的方法。

29、与现有技术相比，本发明具有以下有益效果：

30、第一，本发明脱离了对二维像素梯度的依赖，通过在三维物理空间中执行高度域截断滤波、ransac空间平面拟合及法向正交投影，从根本上消除了边缘倒角、厚度及光照变化引起的边缘检测误差，实现了毫米级的高精度对中定位。

31、第二，本发明的方法独立于具体的深度传感器类型，可兼容飞行时间（tof）相机、结构光深度相机、主动/被动双目或多目深度相机、固态激光雷达等多种传感模态，能够根据工业现场的环境条件（光照、视场、距离等）灵活选择最优传感器配置。

32、第三，本发明的方法独立于具体的计算硬件架构，既可运行于纯通用cpu平台，又可运行于arm+fpga等异构计算平台，底层算法代码不绑定特定厂商指令集，具备极强的跨平台移植性和代码复用性。

33、第四，本发明同时输出横向对中偏差、偏航角和纵向定位偏差，提供车辆在装载平台上的全自由度位姿信息，弥补了现有技术仅输出一维对位指令的不足。