基于多传感器检测及多数据融合的智能搬运车的控制方法

技术特征：
1.一种基于多传感器检测及多数据融合的智能搬运车的控制方法，智能搬运车包括用于对周围场景、目标对象的图像信息、颜色信息、场地区域的位置信息采集的双目深度相机、用于检测高于智能车车身的较高边界或障碍物信息的红外传感器、用于检测矮小的目标物或者障碍的超声传感器、和用于抓取目标物体的机械手，其特征在于，包括以下步骤：s10：双目深度相机标定和红外、超声传感器距离校准利用标定物校订相机的畸变参数、内部及外部工作参数，并通过参考距离，校准红外及超声传感器测距；s20：信息采集及预处理信息采集包括双目深度相机全视场图像采集，以及相同位置条件下超声传感器超声信号以及红外传感器红外信号的获取；利用滤波算法，将图像信息、波形信息中的噪声预处理，对冗余信息进行剔除；利用离线训练方法，建立目标物及环境特征的权重参数模型，通过准确yolov5目标识别算法框架，实现双目摄像机下靶向目标的三维坐标信息以及障碍物轮廓信息；s30：多传感器多源数据重构及融合对于处理后的基于双目深度相机、红外传感器和超声传感器的多源数据进行异常点检测，去除异常信息，建立基于贝叶斯推理的数据预测模型，并根据数据选择格式的核函数，对多源数据进行重构，对重构的数据进行权重融合，从而确定靶向目标三维坐标以及靶向目标障碍物位置信息；重构及融合方法如下：r
k
(x)是矢量x∈r
d
的第k次检测结果，f(x)是假定的无误差测量值，r
k
(x)＝f(x) n式中，n是符合平均值为0的正态分布函数.利用高斯建模机器学习建模，估计具有无偏差的预测值而可以用以下公式表示,式中是预测位置处对应的输出预测值,v和v
**
代表预测位置与输入位置之间的方差-协方差矩阵函数,v
*
是对应的协方差矩阵。在目前用到的机器学习模型中，光谱混合核心被用来重构数据集，其表述如下公式所示:其中，x是输入和预测位置矩阵，混合核心参数p根据输入值确定,q值本文为q＝10，μ
q
and分别为第k个核的p维向量的平均值及协方差矩阵；对于得到预测值根据目标物的位置信息进行权重融合；s40：机械运动控制利用多源重构的数据，确定智能搬运车与靶向目标的相对位置，对智能搬运车运动进行路径规划，并操作机械手进行抓取操作；s50优化反馈
通过双目深度相机采集的实时图片以及获取的智能搬运车的速度的数据，确定机械手抓取位置和靶向目标位置，反馈优化智能搬运车运动及机械手抓取位置。2.根据权利要求1所述的控制方法，其特征在于，步骤s10中，相机的径向畸变参数由三个变量组成的向量，p＝(p1,p2,p3)确定、两个切向畸变参数由向量k＝(k4,k5)确定，相机的内部参数由焦距f及成像原点(ix,iy)确定，外部参数由中心坐标(ox,oy)确定。3.根据权利要求1所述的控制方法，其特征在于，步骤s10中，双目深度相机标定过程中，还包括通过双目匹配得到同一场景下对应像点的视差图，其深度信息通过相机的内外参数进行三角法计算，得到深度信息。4.根据权利要求1所述的控制方法，其特征在于，步骤s10中，双目深度相机标定过程中，使用具有尺缩不变和旋转不变特性的sift算法进行特征点提取和描述完成特征匹配，以避免匹配结果对畸变、光照因素的敏感性。5.根据权利要求1所述的控制方法，其特征在于，步骤s20中，通过双目图像的立体匹配算法，完成包括靶向目标的三维坐标云图以及障碍物目标二维轮廓的信息采集。

技术总结
本发明公开了一种基于多传感器检测及多数据融合的智能搬运车的控制方法；该方法包括以下步骤：对双目深度相机进行参数标定及对红外、超声传感器距离校准；信息采集及预处理；将预处理得到的多源数据进行整合，搭建基于贝叶斯推理的数据处理模型，对多源数据进行重构，并根据权重进行数据融合；利用多源重构的数据，确定智能车与靶向目标的相对位置，对智能小车运动机械控制；通过双目实时图片以及智能小车速度数据，确定机械手抓取位置和靶向目标位置，反馈优化小车运动及机械手抓取位置。本发明利用多源数据融合算法提高大视场下多目标物理的精确识别，并控制机械抓手进行精准拾取，为智能无人车、功能分拣车等提供理论依据。功能分拣车等提供理论依据。功能分拣车等提供理论依据。


技术研发人员：王施相 孔令豹 王军华 徐敏
受保护的技术使用者：复旦大学
技术研发日：2022.02.28
技术公布日：2022/6/3