一种用于无人叉车的托盘检测与定位方法与流程

1.本发明公开了一种用于无人叉车的托盘检测与定位方法，属于摄影测量学技术领域。


背景技术：

2.现有技术的对托盘检测、定位的方法包括以下内容：专利申请号：cn202210450511.8公开了较为传统的以相机图像为输入的机器视觉识别方法，利用了对托盘外形角点的识别方法定位托盘，并进行对其位置的计算；专利申请号：cn202110868163.1以相机图像为输入的机器学习识别方法，利用训练好的分类模型进行托盘的外形识别与托盘插槽的定位，以此为基础进行分类，最后计算出托盘中心坐标；上述两项发明，只利用了相机图像作为输入，然而，图像中也会因为有阴影和遮挡的存在使得检测出现错误，同时相机图像是二维的，对于图像内各点的距离计算效果较差。专利申请号：cn202111607658.5利用了二维相机图像与点云图，使用深度学习算法从相机图像数据分类出托盘，并对应提取点云图相应数据进行计算，利用了相机图像数据与点云数据，但其方法是对于每一次处理的相机图像数据都提取对应的点云数据，然而在距离目标较远时，托盘目标在整体图像中占有的比重可能是较小的，对应的点云数据量也较少，难以进行精确的计算。同时，每一次的处理都经历了相机图像数据的深度学习分类与点云数据的对应处理，这在距离较远时造成了很多不必要的算力消耗，拖慢了运行速度。
3.综合上述现有技术，发现托盘检测、定位的方法存在以下弊端：对托盘检测、定位的人工设置的方法需要对托盘做标记或进行改造，然而托盘具有很强的流动性并且其尺寸结构已经形成标准化，因此该方法很难实际应用通过托盘的颜色等特征进行托盘的定位和检测任务的方法对光照条件的依赖性比较强；通过激光雷达进行托盘检测的方法仍旧是考虑对于目标托盘某些特定物理特征的检测，无法保障在托盘样式更换后还具有良好的稳定性；新兴的利用机器学习技术进行托盘检测的相关技术也存在相应弊端：利用单目视觉进行托盘的检测的方法受异常样本影响大，准确率偏低；使用的普通摄像头，进行检测的原始数据仅为图像，缺乏更多空间信息，因此不能够进行更为精确的定位。


技术实现要素：

4.本发明提出了一种用于无人叉车的托盘检测与定位方法，解决现有技术中无人叉车的托盘检测与定位精度低的问题。
5.一种用于无人叉车的托盘检测与定位方法，包括：s1、执行托盘目标检测，若存在目标托盘，则回传目标托盘位置，若不存在目标托盘，则重新执行s1；s2、回传目标托盘位置后，判断托盘距离是否小于阈值，若小于，则进行托盘位姿检测，若不小于，则重新执行s1；s3、托盘位姿检测后，回传托盘位姿偏差，判断位姿偏差是否小于阈值，若小于，则
重新执行托盘位姿检测，若不小于，则停止运行。
6.托盘目标检测的网络结构包括：输入的图像数据通过跨阶段局部深度网络提取特征，然后得到三个下采样分别为8、16和32倍的特征层，利用三个特征层进行特征金字塔的构建，得到三个加强特征图，以加强特征图作为预测部分的输入。
7.所述预测部分包括三个预测分支，分别为判定预测框中的特征点所属类别、预测每个特征点的坐标信息以及判断特征点是否是前景，其中，表示预测框左上角的横坐标信息，表示预测框左上角的纵坐标信息，表示预测框的宽度信息，表示预测框的高度信息。
8.预测分支的第一分支使用1个维度为的卷积进行降维，其余分支部分使用2个维度的卷积以减少速度上的损失，得到三个分支的预测结果后，将其进行堆叠得到预测特征层，预测特征层的通道维度包括预测坐标、置信度和类别概率的信息，将三个预测特征层堆叠连接得到最终预测信息。
9.目标检测模型的损失分为位置损失、分类损失和置信度损失；位置损失中，对每个预测目标，通过计算预测框和真实框的交并比损失iou作为回归损失，iou定义如下式：，a表示预测框位置损失，b表示真实框位置损失；分类损失中，对每个预测目标，确定其特征点所属于的种类，通过真实类别和预测类别来计算交叉熵作为分类损失；置信度损失中，损失的计算式为：，其中，控制正样本和负样本对损失的权重，是交叉熵损失的调制因子，其中为分类正确的概率，为超参数。
10.托盘位姿检测包括：b1.点云预处理、b2.分割托盘与包裹箱的点云、b3.分割货架点云、b4.计算托盘姿态信息。
11.点云预处理包括：b1.1.点云图投射到二维平面得到投影图，并对原始点云进行比例变换；b1.2.通过二值化阈值的方法对投影图进行阈值分割，提取托盘前表面的投影区域；b1.3.对投影区域进行形态学变换，对其进行膨胀运算以最大化表征需要提取区域的特性，让托盘区域特征最大化；b1.4.利用最大类间方差算法otsu让托盘、货架的投影特征更为显著，其中，用下式确定最大类间方差的阈值：，，其中，是方差，是标准差，按照otsu所得阈值将图像像素划分为两个类别，背景所占比例，前景所占比例，背景和背景平均灰度值分别为：，
，其中，为灰度等级的数量，t为两者灰度的分界等级，为灰度等级为i时的概率；b1.5.考虑邻接关系进行连通域处理得到二维投影；b1.6.将二维投影转换回三维点云坐标系，搜索并保留原始点云中托盘区域点云的临近点云，在原始点云中筛选出托盘及包裹箱前表面。
12.采用随机采样一致性算法对托盘和包裹箱进行分割，得到托盘、包裹箱前表面的平面模型系数以及内点的索引值，具体包括：b2.1.托盘、包裹箱的前表面为平面模型，目标拟合模型设定为，是拟合后的值，、、是单位方向矢量；b2.2.在点云中随机选取三个点作为最小的子集进行平面模型的拟合；b2.3.舍弃不在目标函数范围的离群点云，设定样本点对模型的最大损失值阈值τ；b2.4.计算点集中所有点和当前平面模型的损失值并与τ作比较，如果在误差允许的范围内，统计其数量，否则舍弃掉；b2.5.重复b2.1到b2.4，不断迭代找到最佳的拟合平面模型；b2.6.根据目标点云区域的索引值提取出托盘及包裹箱的前表面点云，将点云通过欧拉角与旋转矩阵的关系转正，并将点云图进行二维投影；b2.7.根据托盘有插孔的特殊形状特性，将托盘与包裹箱在二维平面上进行分割，对于b2.6所得二维投影，假设r、c分别为图像的行分量列分量，count为计数器，托盘与包裹箱分割流程为：b2.7.1.对计数器进行初始化操作，并且对投影图的列分量进行遍历操作；b2.7.2.对于坐标为(x，y)的像素点，如果该像素点的灰度值为255，那么计数器进行自增操作；b2.7.3.每进行一次迭代，统计计数器count的大小占图像沿x轴像素总值的比例p；b2.7.4.判断比例p是否达到设定的比例阈值t，如果大于指定阈值，则记录当前坐标，否则进入下一轮的迭代，得到包裹箱点云投影的起始坐标和终止坐标位置，通过两个坐标实现托盘与包裹箱在二维投影上的分割；b2.8.将b2.7中搜索到的起始坐标和终止坐标转换到三维坐标系下，得到在三维坐标下的托盘和包裹箱的点云图和三维坐标下包裹箱的起始和终止坐标位置，然后综合两者对进行仿射变换之前的点云数据进行分割，得到目标平面的点云图。
13.分割货架点云包括：b3.1.通过直通滤波对目标托盘点云进行有效的滤波裁剪，在x轴或者y轴方向直通滤波可以指定滤波范围以便于快速的取得更理想的结果，处理流程为：创建滤波对象、将托盘点云设定输入数据、设定点云滤波的方向y、设定滤波范围、执行滤波操作；b3.2.将滤波后所得点云作为输入，利用随机采样一致性算法分割拟合平面，获得货架的点云，包括：
b3.2.1.假设平面模型为，是其拟合后的值；b3.2.2.在滤波后的点云中随机选取最小子集拟合模型；b3.2.3.所以设置误差范围阈值，计算点云中每个点与拟合平面模型的损失是否在误差范围内，若在误差允许的范围内，统计其数量；b3.2.4.不断迭代b3.2.1至b3.2.3，拟合出最佳的点云平面。
14.计算托盘姿态信息包括：b4.1.计算托盘的位置偏移与角度偏转；b4.2.以叉车为参照物利用质心来计算托盘的空间坐标位置，得到托盘在世界坐标系下的空间偏移位置信息；b4.3.选择货架作为托盘角度检测的参照物，结合b2和b3进行点云分割，得到的托盘点云和货架点云，进行托盘偏转角度的计算。
15.与现有技术对比，本发明的有益效果是：本发明在模型及算法设计上做到了轻量化，设计算法时，在保证精度的同时，也兼顾了算法的推理时间；在复杂场景对托盘进行目标识别检测的实验中，性能和场景实验表明，本发明所提出的检测模型平均准确率为88.16%，参数量和推理时间分别仅为9.5m和21.5ms，且在低层货架仓库内能保证准确快速地检测；在三维点云检测托盘与叉车间位姿偏差（位置和角度偏移）的实验中，实验表明算法对位置偏移的检测误差在
±
1cm以内，角度偏转的检测误差在1.5
°
以内。
附图说明
16.图1为托盘目标检测与定位整体流程示意图；图2为托盘位姿检测流程中点云预处理部分的示意图；图3为托盘位姿检测流程中图2后续部分的示意图；图4为托盘与包裹箱分割流程示意图。
具体实施方式
17.下面结合具体实施例对本发明的具体实施方式做进一步说明：一种用于无人叉车的托盘检测与定位方法，如图1，包括：s1、执行托盘目标检测，若存在目标托盘，则回传目标托盘位置，若不存在目标托盘，则重新执行s1；s2、回传目标托盘位置后，判断托盘距离是否小于阈值，若小于，则进行托盘位姿检测，若不小于，则重新执行s1；s3、托盘位姿检测后，回传托盘位姿偏差，判断位姿偏差是否小于阈值，若小于，则重新执行托盘位姿检测，若不小于，则停止运行。
18.托盘目标检测的网络结构包括：输入的图像数据通过跨阶段局部深度网络提取特征，然后得到三个下采样分别为8、16和32倍的特征层，利用三个特征层进行特征金字塔的构建，得到三个加强特征图，以加强特征图作为预测部分的输入。
19.所述预测部分包括三个预测分支，分别为判定预测框中的特征点所属类别、预测每个特征点的坐标信息以及判断特征点是否是前景，其中，表示预测框左上
角的横坐标信息，表示预测框左上角的纵坐标信息，表示预测框的宽度信息，表示预测框的高度信息。
20.预测分支的第一分支使用1个维度为的卷积进行降维，其余分支部分使用2个维度的卷积以减少速度上的损失，得到三个分支的预测结果后，将其进行堆叠得到预测特征层，预测特征层的通道维度包括预测坐标、置信度和类别概率的信息，将三个预测特征层堆叠连接得到最终预测信息。
21.目标检测模型的损失分为位置损失、分类损失和置信度损失；位置损失中，对每个预测目标，通过计算预测框和真实框的交并比损失iou作为回归损失，iou定义如下式：，a表示预测框位置损失，b表示真实框位置损失；分类损失中，对每个预测目标，确定其特征点所属于的种类，通过真实类别和预测类别来计算交叉熵作为分类损失；置信度损失中，损失的计算式为：，其中，控制正样本和负样本对损失的权重，是交叉熵损失的调制因子，其中为分类正确的概率，为超参数。
22.托盘位姿检测包括：b1.点云预处理、b2.分割托盘与包裹箱的点云、b3.分割货架点云、b4.计算托盘姿态信息。
23.点云预处理包括：b1.1.点云图投射到二维平面得到投影图，并对原始点云进行比例变换；b1.2.通过二值化阈值的方法对投影图进行阈值分割，提取托盘前表面的投影区域；b1.3.对投影区域进行形态学变换，对其进行膨胀运算以最大化表征需要提取区域的特性，让托盘区域特征最大化；b1.4.利用最大类间方差算法otsu让托盘、货架的投影特征更为显著，其中，用下式确定最大类间方差的阈值：，，其中，是方差，是标准差，按照otsu所得阈值将图像像素划分为两个类别，背景所占比例，前景所占比例，背景和背景平均灰度值分别为：，，其中，为灰度等级的数量，t为两者灰度的分界等级，为灰度等级为i时的概率；b1.5.考虑邻接关系进行连通域处理得到二维投影；b1.6.将二维投影转换回三维点云坐标系，搜索并保留原始点云中托盘区域点云的临近点云，在原始点云中筛选出托盘及包裹箱前表面。
24.采用随机采样一致性算法对托盘和包裹箱进行分割，得到托盘、包裹箱前表面的
平面模型系数以及内点的索引值，如图4，具体包括：b2.1.托盘、包裹箱的前表面为平面模型，目标拟合模型设定为，是拟合后的值，、、是单位方向矢量；b2.2.在点云中随机选取三个点作为最小的子集进行平面模型的拟合；b2.3.舍弃不在目标函数范围的离群点云，设定样本点对模型的最大损失值阈值τ；b2.4.计算点集中所有点和当前平面模型的损失值并与τ作比较，如果在误差允许的范围内，统计其数量，否则舍弃掉；b2.5.重复b2.1到b2.4，不断迭代找到最佳的拟合平面模型；b2.6.根据目标点云区域的索引值提取出托盘及包裹箱的前表面点云，将点云通过欧拉角与旋转矩阵的关系转正，并将点云图进行二维投影；b2.7.根据托盘有插孔的特殊形状特性，将托盘与包裹箱在二维平面上进行分割，对于b2.6所得二维投影，假设r、c分别为图像的行分量列分量，count为计数器，托盘与包裹箱分割流程为：b2.7.1.对计数器进行初始化操作，并且对投影图的列分量进行遍历操作；b2.7.2.对于坐标为(x，y)的像素点，如果该像素点的灰度值为255，那么计数器进行自增操作；b2.7.3.每进行一次迭代，统计计数器count的大小占图像沿x轴像素总值的比例p；b2.7.4.判断比例p是否达到设定的比例阈值t，如果大于指定阈值，则记录当前坐标，否则进入下一轮的迭代，得到包裹箱点云投影的起始坐标和终止坐标位置，通过两个坐标实现托盘与包裹箱在二维投影上的分割；b2.8.将b2.7中搜索到的起始坐标和终止坐标转换到三维坐标系下，得到在三维坐标下的托盘和包裹箱的点云图和三维坐标下包裹箱的起始和终止坐标位置，然后综合两者对进行仿射变换之前的点云数据进行分割，得到目标平面的点云图。
25.分割货架点云包括：b3.1.通过直通滤波对目标托盘点云进行有效的滤波裁剪，在x轴或者y轴方向直通滤波可以指定滤波范围以便于快速的取得更理想的结果，处理流程为：创建滤波对象、将托盘点云设定输入数据、设定点云滤波的方向y、设定滤波范围、执行滤波操作；b3.2.将滤波后所得点云作为输入，利用随机采样一致性算法分割拟合平面，获得货架的点云，包括：b3.2.1.假设平面模型为，是其拟合后的值；b3.2.2.在滤波后的点云中随机选取最小子集拟合模型；b3.2.3.所以设置误差范围阈值，计算点云中每个点与拟合平面模型的损失是否在误差范围内，若在误差允许的范围内，统计其数量；b3.2.4.不断迭代b3.2.1至b3.2.3，拟合出最佳的点云平面。
26.如图2和图3，计算托盘姿态信息包括：
b4.1.计算托盘的位置偏移与角度偏转；b4.2.以叉车为参照物利用质心来计算托盘的空间坐标位置，得到托盘在世界坐标系下的空间偏移位置信息；b4.3.选择货架作为托盘角度检测的参照物，结合b2和b3进行点云分割，得到的托盘点云和货架点云，进行托盘偏转角度的计算。
27.本发明的功能从整体思路可以分为两大部分：从视野中确定托盘目标的大致位置，返回位置坐标，使无人叉车移动到对应的位置（托盘目标前方），保证所要操作的对象是正确的托盘，无人叉车与托盘的距离小于阈值，视野中只存在一个完整的托盘；从视野中确定托盘目标与无人叉车之间的位姿关系，返回位移偏差和角度偏移量，使无人叉车进行调正，保证叉车插入位置与方向与托盘的插槽一致，防止碰撞。
28.本发明是基于3d视觉传感器的数据进行计算处理的，由此得到的rgb-d（三原色与深度）图像中既包含了rgb（三原色）图像二维平面下的坐标 ，也包括了深度图像中的距离信息。3d视觉传感器的相机安装在无人叉车上时应提前进行标定与校准，通过对传感器合适的校准避免出现测量偏差。为方便后续理解，这里指出相机坐标系与空间坐标系的转换：相机坐标系定义中z为相机深度方向，是相机成像平面的轴向，对应于叉车前进的方向；因此在相机的安装设置时，将相机坐标系中y方向调整为世界坐标系的重力方向，即一般意义上空间坐标系的z方向，由于相机与无人叉车刚性连接，且无人叉车与货架都在同一平面工作，因此3d相机获取到的信息的方向与空间中物体方向对应一致。本发明选取以最大程度减少简单样本损失贡献，比例阈值t设定为0.6。
29.本发明提出了一种用于无人叉车的托盘检测与定位技术，应用环境为设有货架的仓储环境中，货架上储存了托盘，适用于装备3d视觉传感器的无人叉车在复杂环境下对托盘的目标检测与位姿检测，复杂环境是指包含了目标托盘的同时也具有其他干扰因素（如货架、其他托盘、工人等）的环境。首先利用yolo系列目标识别检测算法从复杂环境中选取托盘且定位大概位置，将位置返回给无人叉车以方便其靠近。在无人叉车移动至托盘前方更近处后，利用三维点云处理技术对托盘姿态（位置和角度偏移）进行精确检测，返回托盘与无人叉车之间距离与角度的偏差，以供无人叉车进行调整，安全取出托盘。基于yolo系列算法提出用于叉车识别定位托盘的检测模型。综合考虑应用于叉车的目标检测模型高精度、高推理速度和低复杂度的需求，使用cspdarknet、解耦的预测头和focal loss等组件对模型的复杂度和精度进行优化，提高了预测算法的计算速度，降低了预测算法的资源消耗，进行了适用于实时计算的轻量化设计。
30.本发明基于三维点云处理技术，提出了叉车对装载包裹箱的托盘姿态（位置和角度偏移）进行精确检测的算法，以达到叉车对托盘精准、安全搬运的目的。在对点云数据进行阈值化、形态学变换及连通域处理的基础上，对托盘、包裹箱、货架进行点云分割和平面模型拟合，然后利用质心和法向量关系进行托盘位置偏移和角度偏转的计算。
31.当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。