基于多传感器检测及多数据融合的智能搬运车的控制方法

1.本发明属于智能自动驾驶小车技术领域，涉及到一种基于多传感器检测及多数据融合的智能搬运车的控制方法。


背景技术：

2.在人工智能的大力加持下，智能车辆以基于智能车辆的自动化物流运输、智能生产车间以及生产组织系统已经成为主流企业的重点攻关设备。智能小车，是一个集环境感知、规划决策，自动行驶等功能于一体的综合系统，它集中地运用了计算机、传感、信息、通信、导航及白动控制等技术，是典型的高新技术综合体。随着智能化技术的日益成熟，全国电子竞赛及各大高校也积极投入人力对智能小车进行研究。智能车辆的主要特点是在复杂的道路情况下，能自动地操纵和驾驶车辆绕开障碍物并沿着预定的道路(轨迹)行进。
3.目前，主要依靠视觉手段，不断提高小车在场景中对三维物体、特征标记的识别精度及识别效率，如利用摄像机、激光雷达、超声等传感器对周围环境进行场景重构。然而单个传感器往往需要旋转采样或多角度拍摄，对硬件要求高，数据获取复杂，时间成本较大。因此考虑利用多传感器配合的方法，再开发相应的数据重构及融合算法，不仅能提高目标检测的精度，而且可以大大降低硬件依赖性。


技术实现要素：

4.本发明的目的是设计一种基于多传感器检测及多数据融合的智能搬运车的控制方法；本发明能够实现车辆位置定位、大视场巡视、多目标检测、识别、分类及拾取，具备高精度测距及高效避障、高效搬运的能力。通过控制深度相机采集周围环境信息，结合超声雷达及红外传感器信息，在多源信息融合系统中进行数据处理，从而有效重构地图场景，实现智能搬运车路径规划、有序高效搬运。
5.本发明的技术方案具体介绍如下。
6.一种基于多传感器检测及多数据融合的智能搬运车的控制方法，智能搬运车包括用于对周围场景、目标对象的图像信息、颜色信息、场地区域的位置信息采集的双目深度相机、用于检测高于智能车车身的较高边界或障碍物信息的红外传感器、用于检测矮小的目标物或者障碍的超声传感器、和用于抓取目标物体的机械手，其特征在于，包括以下步骤：
7.s10：双目深度相机标定及红外、超声传感器距离校准
8.利用标定物校订相机的畸变参数、内部及外部工作参数，并通过参考距离，校准红外及超声传感器测距；
9.s20：信息采集及预处理
10.信息采集包括双目深度相机全视场图像采集，以及相同位置条件下超声传感器超声信号以及红外传感器红外信号的获取；
11.利用滤波算法，将图像信息、波形信息中的噪声预处理，对冗余信息进行剔除；利用离线训练方法，建立目标物及环境特征的权重参数模型，通过准确yolov5目标识别算法
框架，实现双目摄像机下靶向目标的三维坐标信息以及障碍物轮廓信息；
12.s30：多传感器多源数据重构及融合
13.对于处理后的基于双目深度相机、红外传感器和超声传感器的多源数据进行异常点检测，去除异常信息，建立基于贝叶斯推理的数据预测模型，并根据数据选择格式的核函数，对多源数据进行重构，对重构的数据进行权重融合，从而确定靶向目标三维坐标以及靶向目标障碍物位置信息；重构及融合方法如下：
14.rk(x)是矢量x∈rd的第k次检测结果，f(x)是假定的无误差测量值，
15.rk(x)＝f(x) n
16.式中，n是符合平均值为0的正态分布函数.利用高斯建模机器学习建模，估计具有无偏差的预测值而可以用以下公式表示,
[0017][0018]
式中是预测位置处对应的输出预测值,v和v
**
代表预测位置与输入位置之间的方差-协方差矩阵函数,v
*
是对应的协方差矩阵。
[0019]
在目前用到的机器学习模型中，光谱混合核心被用来重构数据集，其表述如下公式所示:
[0020][0021]
其中，x是输入和预测位置矩阵，混合核心参数p根据输入值确定,q值本文为q＝10，μqand分别为第k个核的p维向量的平均值及协方差矩阵；
[0022]
对于得到预测值根据目标物的位置信息进行权重融合；
[0023]
s40：机械运动控制
[0024]
利用多源重构的数据，确定智能搬运车与靶向目标的相对位置，对智能搬运车运动进行路径规划，并操作机械手进行抓取操作；
[0025]
s50优化反馈
[0026]
通过双目深度相机采集的实时图片以及获取的智能搬运车的速度的数据，确定机械手抓取位置和靶向目标位置，反馈优化智能搬运车运动及机械手抓取位置。
[0027]
本发明中，步骤s10中，相机的径向畸变参数由三个变量组成的向量，p＝(p1,p2,p3)确定、两个切向畸变参数由向量k＝(k4,k5)确定，相机的内部参数由焦距f及成像原点(ix,iy)确定，外部参数由中心坐标(ox,oy)确定。
[0028]
本发明中，步骤s10中，双目深度相机标定过程中，还包括通过双目匹配得到同一场景下对应像点的视差图，其深度信息通过相机的内外参数进行三角法计算，得到深度信息。
[0029]
本发明中，步骤s10中，双目深度相机标定过程中，使用具有尺缩不变和旋转不变特性的sift算法进行特征点提取和描述完成特征匹配，以避免匹配结果对畸变、光照因素的敏感性。
[0030]
本发明中，步骤s20中，通过双目图像的立体匹配算法，完成包括靶向目标的三维
坐标云图以及障碍物目标二维轮廓的信息采集。
[0031]
和现有技术相比，本发明的有益效果在于：
[0032]
本发明能通过控制单目相机或深度相机采集周围环境信息，结合超声雷达及红外传感器信息，在多源信息融合系统中进行数据处理，从而有效重构地图场景，实现智能搬运车路径规划、有序高效搬运。
附图说明
[0033]
图1为本发明的实施例公开的一种基于大视场、多目标、多传感器检测的多源数据融合系统的智能搬运车功能实现流程图。
[0034]
图2为本发明的实施例公开的双目深度相机标定流程图。
[0035]
图3为本发明的实施例公开的基于yolov5框架的多传感器信息采集及预处理流程图。
[0036]
图4为本发明的实施例公开的基于贝叶斯推到的多源数据融合流程图。
[0037]
图5为本发明的实施例公开的智能小车多角度示意图。
具体实施方式
[0038]
下面结合附图和实施例对本发明的技术方案进行详细介绍。
[0039]
图5为本发明的实施例公开的智能小车多角度示意图。该智能小车包括双目深度相机1，红外传感器2，超声传感器3，相机支架4，两自由度转台5，四自由度机械臂6、单片机电源驱动板7、中央处理器组件8、电池组9及车身铝合金组件10、微型电机11和履带/轮子12等。
[0040]
智能搬运车主体由铝合金框架组成，包括上盖板、两个侧立板、两个前挡板通过螺栓固定连接形成的腔体结构；履带/轮子12以及相应直流电机驱动等固定在侧板两侧，电池组9采用锂电池，其安装于上盖板后端，用来给主板及机械控制器供电，保障电力充足的情况下各个模块的正常运行。四自由度机械臂6固定在前挡板，四个微型电机11分别固定在四自由度机械臂6的运动轴处。所有电机驱动模块配备蓝牙及wifi模块，可以直接与手机及计算机形成通讯，并实现手动遥控功能。
[0041]
中央处理器组件8的控制系统采用树莓派等主板，与相机支架4分别安装在上盖板左右两侧，两自由度转台5固定在相机支架4上实现双目深度相机1的俯仰及水平转角运动。红外传感器2安装在上盖板四个角，方向指向环境中，用于检测高于智能车车身的墙、障碍物等明显的边界信息。超声传感器3安装在履带/轮子12旁边，固定在下挡板上用于检测较矮小的目标物或者障碍。
[0042]
以上，本发明通过配备两自由度驱动的广角摄像头实现对周围场景尤其是目标对象的图像信息、颜色信息、场地区域的位置信息采集。通过超声传感器辅助智能车采集在场地中的距离信息。利用红外摄像头采集明显的较高边界或障碍物距离信息。使用处理速率快、计算效率高、存储空间较大的树莓派对采集到的信息进行储存和处理。
[0043]
双目深度相机1获得图像流或者视频流数据，首先通过特征提取算法如尺度不变特征转换(sift)等对环境信息以及多目标物关键轮廓信息特征提取，结合超声波波形数据以及红外传感器数据流，对获得的所有信息，利用深度学习算法，搭建理论模型，对一维、二
维、三维信息进行充分提取与归类，融合为具有坐标、轮廓信息的目标物及主要环境因素，为下一步机械控制提供参数。其中图像识别的过程中用到cnn卷积神经网络算法，利用离线训练的方法首先获得常见环境及所有目标物的训练集与数据集，方便后期识别与分类。检测到信息后可以端到端机器学习平台，来实现对图像的较为精确的识别。
[0044]
使用单片机产生的脉冲宽度调制pwm信号对智能车的运动电机和机械臂的舵机进行控制。使用电源驱动板来提供稳压电源，驱动智能车的运动电机和机械臂舵机平稳运行。在多源融合的数据支撑下，初步确认目标物与智能车的相对空间坐标，并通过优化算法如astar算法初步确定智能车到目标物的最佳路径，在智能车快速移动过程中，通过关键帧提取以及多传感器数据综合修正，实时检测路径，完成精准移动。当目标物出现在机械手可拾取范围内时，通过不断改变摄像头位置确定目标物形状与颜色，然后控制机械手抓取目标物。
[0045]
考虑到尺度漂移，小车运动结构及电机结构运动误差及控制误差影响，使用pid算法结合光电速度传感器来控制智能车运动电机的速度。在智能车车轮上搭载光电智能速度传感器，以实现对智能车速度的实时获取和传输，反馈给树莓派处理器端，从而实现利用pid算法对智能车速度的更好的调控。在智能车的四自由度机械臂6上搭载力学传感器，以实现对智能车机械臂状态的实时获取，避免出现故障或者因为遇到不可预测的障碍物而破坏智能车的机械臂结构。
[0046]
一种基于大视场、多目标、多传感器检测的多源数据融合系统的智能搬运车运作方法具体如下：
[0047]
首先，初始化系统，通常以智能车前轮回正且摄像头镜头法线方向与前轮同方向为初始位姿，确立地图世界坐标系以及初始状态的智能车摄像头坐标系，通过旋转双目深度相机对智能车周围进行环境采样，采样包括视频及图像以及智能车位姿、摄像头位姿，通过wifi或者有线接口链接中央处理器，以python等语言编写的多数据融合系统对数据流进行处理。对获得的图像信息进行特征提取，并根据已有数据库对特征进行识别及分类，并做匹配处理，结合多红外传感器及超声传感器的障碍信息，初步判断不同目标物在当前智能小车的三维坐标，若系统未进行初始化处理，利用特征点匹配，确立当前地图下智能车初始位姿以及摄像头初始位姿，并初始化系统。
[0048]
相机标定具体步骤如下：首先是图像畸变的校正，摄像头的径向畸变参数由变量p＝(p1,p2,p3)确定、两个切向畸变参数由k＝(k4,k5)确定，摄像头内部参数由焦距f及成像原点(ix,iy)确定，外部参数由(ox,oy)确定。
[0049]
双目摄像头之间的相对位置，通过旋转矩阵t＝f(r,t)，r为旋转矩阵参数，t为平移向量参数确定。
[0050]
进一步的，可以根据双目摄像头的光心及其中心距，以及相机的焦距参数，利用三角法，进一步求得对应的深度信息。
[0051]
在初步判断周围目标物后，根据距离优先的原则，对近目标进行优先拾取。考虑考数据采集量、数据传输、中央处理器算力、供电系统，摄像头数据流将被优化压缩，并抽取关键帧，对确定的目标物单一识别、分类，结合多传感器进行路径优化，利用astar等算法寻求最短路径。在大视场条件下，只需对视频提取关键帧进行实时位姿调整，利用超声传感器以及红外传感器规避路途障碍物，即使在高速运动及急转弯情况下依然锁定目标，在多源数
据融合基础上系统能有效快速抵达目标物附近，到达指定地图点，其性能鲁棒性相对较高。
[0052]
当多源数据处理完毕后，智能车按照实时更新算法到达指定位置后，根据当前关键帧和指定目标物准确位置判断智能车坐标系下地图点物体的三维信息，控制四自由度机械手，实现物体的空间抓取。
[0053]
为进一步提高多源数据融合系统下智能车的运行精度及抓取准确性，利用多次重复同一路径下的关键视频流对同一特征进行匹配，且通过数据融合确定目标点或特征点空间位置及智能车位姿检测，以惩罚函数作为误差评定标准，对智能车位姿、相机位姿进行校准，修正运动误差与控制误差，利用全局算法优化控制系统实现智能车运动学、动力学以及目标检测准确性优化控制。