一种用于无人叉车的托盘检测与定位方法与流程

技术特征：
1.一种用于无人叉车的托盘检测与定位方法，其特征在于，包括：s1、执行托盘目标检测，若存在目标托盘，则回传目标托盘位置，若不存在目标托盘，则重新执行s1；s2、回传目标托盘位置后，判断托盘距离是否小于阈值，若小于，则进行托盘位姿检测，若不小于，则重新执行s1；s3、托盘位姿检测后，回传托盘位姿偏差，判断位姿偏差是否小于阈值，若小于，则重新执行托盘位姿检测，若不小于，则停止运行。2.如权利要求1所述的一种用于无人叉车的托盘检测与定位方法，其特征在于，托盘目标检测的网络结构包括：输入的图像数据通过跨阶段局部深度网络提取特征，然后得到三个下采样分别为8、16和32倍的特征层，利用三个特征层进行特征金字塔的构建，得到三个加强特征图，以加强特征图作为预测部分的输入。3.如权利要求2所述的一种用于无人叉车的托盘检测与定位方法，其特征在于，所述预测部分包括三个预测分支，分别为判定预测框中的特征点所属类别、预测每个特征点的坐标信息以及判断特征点是否是前景，其中，表示预测框左上角的横坐标信息，表示预测框左上角的纵坐标信息，表示预测框的宽度信息，表示预测框的高度信息。4.如权利要求3所述的一种用于无人叉车的托盘检测与定位方法，其特征在于，预测分支的第一分支使用1个维度为的卷积进行降维，其余分支部分使用2个维度的卷积以减少速度上的损失，得到三个分支的预测结果后，将其进行堆叠得到预测特征层，预测特征层的通道维度包括预测坐标、置信度和类别概率的信息，将三个预测特征层堆叠连接得到最终预测信息。5.如权利要求4所述的一种用于无人叉车的托盘检测与定位方法，其特征在于，目标检测模型的损失分为位置损失、分类损失和置信度损失；位置损失中，对每个预测目标，通过计算预测框和真实框的交并比损失iou作为回归损失，iou定义如下式：，a表示预测框位置损失，b表示真实框位置损失；分类损失中，对每个预测目标，确定其特征点所属于的种类，通过真实类别和预测类别来计算交叉熵作为分类损失；置信度损失中，损失的计算式为：，其中，控制正样本和负样本对损失的权重，是交叉熵损失的调制因子，其中为分类正确的概率，为超参数。6.如权利要求5所述的一种用于无人叉车的托盘检测与定位方法，其特征在于，托盘位姿检测包括：b1.点云预处理、b2.分割托盘与包裹箱的点云、b3.分割货架点云、b4.计算托盘姿态信息。7.如权利要求6所述的一种用于无人叉车的托盘检测与定位方法，其特征在于，点云预处理包括：b1.1.点云图投射到二维平面得到投影图，并对原始点云进行比例变换；b1.2.通过二值化阈值的方法对投影图进行阈值分割，提取托盘前表面的投影区域；
b1.3.对投影区域进行形态学变换，对其进行膨胀运算以最大化表征需要提取区域的特性，让托盘区域特征最大化；b1.4.利用最大类间方差算法otsu让托盘、货架的投影特征更为显著，其中，用下式确定最大类间方差的阈值：，，其中，是方差，是标准差，按照otsu所得阈值将图像像素划分为两个类别，背景所占比例，前景所占比例，背景和背景平均灰度值分别为：，，其中，为灰度等级的数量，为两者灰度的分界等级，为灰度等级为i时的概率；b1.5.考虑邻接关系进行连通域处理得到二维投影；b1.6.将二维投影转换回三维点云坐标系，搜索并保留原始点云中托盘区域点云的临近点云，在原始点云中筛选出托盘及包裹箱前表面。8.如权利要求7所述的一种用于无人叉车的托盘检测与定位方法，其特征在于，采用随机采样一致性算法对托盘和包裹箱进行分割，得到托盘、包裹箱前表面的平面模型系数以及内点的索引值，具体包括：b2.1.托盘、包裹箱的前表面为平面模型，目标拟合模型设定为，是拟合后的值，、、是单位方向矢量；b2.2.在点云中随机选取三个点作为最小的子集进行平面模型的拟合；b2.3.舍弃不在目标函数范围的离群点云，设定样本点对模型的最大损失值阈值τ；b2.4.计算点集中所有点和当前平面模型的损失值并与τ作比较，如果在误差允许的范围内，统计其数量，否则舍弃掉；b2.5.重复b2.1到b2.4，不断迭代找到最佳的拟合平面模型；b2.6.根据目标点云区域的索引值提取出托盘及包裹箱的前表面点云，将点云通过欧拉角与旋转矩阵的关系转正，并将点云图进行二维投影；b2.7.根据托盘有插孔的特殊形状特性，将托盘与包裹箱在二维平面上进行分割，对于b2.6所得二维投影，假设r、c分别为图像的行分量列分量，count为计数器，托盘与包裹箱分割流程为：b2.7.1.对计数器进行初始化操作，并且对投影图的列分量进行遍历操作；b2.7.2.对于坐标为(x，y)的像素点，如果该像素点的灰度值为255，那么计数器进行自增操作；b2.7.3.每进行一次迭代，统计计数器count的大小占图像沿x轴像素总值的比例p；b2.7.4.判断比例p是否达到设定的比例阈值t，如果大于指定阈值，则记录当前坐标，否则进入下一轮的迭代，得到包裹箱点云投影的起始坐标和终止坐标位置，通过两个坐标实现托盘与包裹箱在二维投影上的分割；b2.8.将b2.7中搜索到的起始坐标和终止坐标转换到三维坐标系下，得到在三维坐标
下的托盘和包裹箱的点云图和三维坐标下包裹箱的起始和终止坐标位置，然后综合两者对进行仿射变换之前的点云数据进行分割，得到目标平面的点云图。9.如权利要求8所述的一种用于无人叉车的托盘检测与定位方法，其特征在于，分割货架点云包括：b3.1.通过直通滤波对目标托盘点云进行有效的滤波裁剪，在x轴或者y轴方向直通滤波可以指定滤波范围以便于快速的取得更理想的结果，处理流程为：创建滤波对象、将托盘点云设定输入数据、设定点云滤波的方向y、设定滤波范围、执行滤波操作；b3.2.将滤波后所得点云作为输入，利用随机采样一致性算法分割拟合平面，获得货架的点云，包括：b3.2.1.假设平面模型为，是其拟合后的值；b3.2.2.在滤波后的点云中随机选取最小子集拟合模型；b3.2.3.所以设置误差范围阈值，计算点云中每个点与拟合平面模型的损失是否在误差范围内，若在误差允许的范围内，统计其数量；b3.2.4.不断迭代b3.2.1至b3.2.3，拟合出最佳的点云平面。10.如权利要求9所述的一种用于无人叉车的托盘检测与定位方法，其特征在于，计算托盘姿态信息包括：b4.1.计算托盘的位置偏移与角度偏转；b4.2.以叉车为参照物利用质心来计算托盘的空间坐标位置，得到托盘在世界坐标系下的空间偏移位置信息；b4.3.选择货架作为托盘角度检测的参照物，结合b2和b3进行点云分割，得到的托盘点云和货架点云，进行托盘偏转角度的计算。

技术总结
本发明公开了一种用于无人叉车的托盘检测与定位方法，属于摄影测量学技术领域，用于托盘监测和定位，包括：S1、执行托盘目标检测，若存在目标托盘，则回传目标托盘位置，若不存在目标托盘，则重新执行S1；S2、回传目标托盘位置后，判断托盘距离是否小于阈值，若小于，则进行托盘位姿检测，若不小于，则重新执行S1；S3、托盘位姿检测后，回传托盘位姿偏差，判断位姿偏差是否小于阈值，若小于，则重新执行托盘位姿检测，若不小于，则停止运行。本发明所提出的检测模型平均准确率为88.16%，参数量和推理时间分别仅为9.5M和21.5ms，且在低层货架仓库内能保证准确快速地检测。能保证准确快速地检测。能保证准确快速地检测。


技术研发人员：房殿军 韩孝斌 韩佳良 蒋红琰 罗尔夫
受保护的技术使用者：青岛中德智能技术研究院
技术研发日：2022.11.23
技术公布日：2022/12/30