应用于智慧仓储的储物箱自动码放视觉定位方法与流程
本发明涉及仓储物流自动化,具体是应用于智慧仓储的储物箱自动码放视觉定位方法。
背景技术:
1、智慧仓储中储物箱的自动码放依赖视觉定位系统确定箱体在三维空间中的位置和姿态,箱体码放通常呈多层堆叠结构,上层箱体遮挡下层箱体的顶面,封箱胶带高光和面单贴标又会在点云和图像中引入干扰,导致被遮挡或受污染箱体的顶面点云不完整;
2、现有视觉定位方法多采用逐箱独立检测与独立位姿求解的方式,当某个箱体顶面点云因遮挡或反光而不完整时,对应箱体的定位精度显著下降,且未利用同一码放层箱体在空间上的物理约束关系;
3、如何实现被遮挡和受污染箱体的高精度位姿定位,是我们所需要解决的问题,为此,现提供应用于智慧仓储的储物箱自动码放视觉定位方法。
技术实现思路
1、本发明的目的在于提供应用于智慧仓储的储物箱自动码放视觉定位方法。
2、本发明的目的可以通过以下技术方案实现:应用于智慧仓储的储物箱自动码放视觉定位方法,包括以下步骤:
3、步骤s1:采集储物箱码放区域的箱体点云数据,对箱体点云数据执行预处理,生成标准箱体点云;
4、步骤s2:对标准箱体点云执行箱体顶面识别,生成各箱体顶面点云;
5、步骤s3:构建矩形参数化模型,基于矩形参数化模型对各箱体顶面点云执行矩形参数求解,获得各箱体初始矩形参数;
6、步骤s4:根据初始矩形参数执行多箱体联合位姿解算,获取箱体的三维位姿;
7、步骤s5:基于各箱体的三维位姿生成码放抓取定位信息,将码放抓取定位信息输出至码放执行机构。
8、进一步的,采集储物箱码放区域的箱体点云数据的过程包括:
9、通过仓储码放工位上方部署的rgb-d相机采集储物箱码放区域的彩色图像和深度图像,对rgb-d相机预先完成相机标定,获得相机内参参数和彩色相机与深度相机之间的外参参数;
10、根据深度图像中各像素的深度值以及相机内参参数,将深度图像中的各像素的像素坐标和深度值转换为相机坐标系下的三维空间坐标,获得各像素对应的三维点,每个三维点包含对应的三维空间坐标,全部三维点构成箱体点云数据;
11、为箱体点云数据中的各三维点生成深度可靠性标签,根据邻域点密度与预设邻域点密度阈值、深度值离散程度与预设深度离散阈值、彩色亮度值与预设亮度饱和阈值的比较结果,将三维点标记为低可靠性点或高可靠性点;
12、基于彩色相机与深度相机之间的外参参数将深度图像中各像素映射至彩色图像中对应像素位置,为箱体点云数据中的每个三维点赋予对应的彩色像素值,获得带深度可靠性标签和颜色信息的箱体点云数据。
13、进一步的,对箱体点云数据执行预处理,生成标准箱体点云的过程包括:
14、对箱体点云数据执行离群点剔除处理以及体素降采样处理后,根据预先标定的码放底面与rgb-d相机之间的高度关系,将箱体点云数据中高度低于预设底面高度阈值的三维点剔除后,获得标准箱体点云。
15、进一步的,对标准箱体点云执行箱体顶面识别,生成各箱体顶面点云的过程包括:
16、对标准箱体点云执行平面分割,从标准箱体点云中随机选取三个三维点拟合为候选平面,将三维点到候选平面的垂直距离小于预设平面内点距离阈值的三维点标记为平面内点;
17、统计平面内点数量,选取平面内点数量最多的平面作为检测平面,将检测平面从标准箱体点云中分离后继续对剩余点云执行平面分割,直至剩余点云数量小于预设点云数量阈值,获得全部检测平面,所述平面分割仅使用三维空间坐标,不引入颜色信息参与分割;
18、将法向与预设垂直方向之间夹角小于预设顶面倾角阈值的检测平面判定为箱体顶面,对每个箱体顶面,根据各三维点到箱体顶面拟合平面的距离,将距离小于预设平面内点距离阈值的三维点标记为箱体顶面内点,将距离大于等于预设平面内点距离阈值的三维点标记为顶面离群点;
19、生成干扰掩膜,将深度可靠性标签为低可靠性点的三维点、或被标记为顶面离群点的三维点,判定为高光干扰点;
20、将位于箱体顶面平面内且其彩色像素在预设邻域范围内的颜色统计特征与箱体顶面整体颜色统计特征之间的偏差超过预设标签颜色偏差阈值的三维点,判定为标签干扰点;
21、将箱体顶面内点中未被标记为干扰点的三维点汇集,获得各箱体顶面点云,将干扰掩膜与各箱体顶面点云关联存储;
22、对每个箱体顶面点云执行边界提取,将位于箱体顶面点云边缘且预设邻域内存在点密度骤降的三维点标记为边界点,在边界提取过程中将被干扰掩膜标记为干扰点的三维点排除在边界点判定之外,获得各箱体顶面边界点集。
23、进一步的,构建矩形参数化模型的过程包括:
24、构建矩形参数化模型并进行初始化,设定矩形长边方向角的取值范围以及设定矩形拟合优化目标的收敛阈值;
25、获取模型输入参数,所述模型输入参数包括箱体标称尺寸以及各箱体顶面边界点,将各个箱体的模型输入参数按其所属同码放层进行分组,获得各同码放层对应的模型输入参数组;
26、使用各模型输入参数组对所构建的矩形参数化模型进行参数求解,获得求解结果,通过矩形拟合优化目标值对求解结果进行验证,当验证结果满足预期时完成求解,获得求解完成的矩形参数化模型;
27、矩形参数化模型以箱体顶面边界点和箱体标称尺寸为输入,以箱体顶面的矩形中心坐标和长边方向角为输出。
28、进一步的,基于矩形参数化模型对各箱体顶面点云执行矩形参数求解,获得各箱体初始矩形参数的过程包括:
29、对每个箱体顶面点云,将该箱体顶面点云中的各三维点投影至对应的箱体顶面拟合平面上,以箱体顶面点云的质心在箱体顶面拟合平面上的投影点为原点,以箱体顶面法向向量为z轴方向,在箱体顶面拟合平面内建立箱体顶面局部坐标系;
30、将箱体顶面点云中的各三维点以及箱体顶面边界点集投影至该箱体顶面局部坐标系,获得箱体顶面点云的二维投影点集以及箱体顶面边界点的二维投影点集;
31、调用前述构建的矩形参数化模型,将各箱体的箱体顶面边界点集与箱体标称尺寸作为模型输入,输出各箱体的矩形中心坐标与长边方向角,将矩形中心坐标、长边方向角、箱体标称长度和箱体标称宽度整合获得描述箱体顶面的标称矩形,进而确定矩形长边方向单位向量和矩形短边方向单位向量,根据矩形长边方向单位向量、矩形短边方向单位向量和半长、半宽获得矩形四个顶点的坐标,由相邻顶点依次连线获得矩形四条边;
32、生成箱体顶面边界点集中各边界投影点到矩形四边的最短距离,以最小化箱体顶面边界点到矩形四边的距离平方和为目标构建矩形拟合优化目标;
33、以箱体顶面边界点集的质心作为矩形中心坐标的初始值,以0作为长边方向角的初始值,采用坐标轮换迭代法依次对长边方向角和矩形中心坐标执行一维搜索优化,当相邻两次迭代的矩形拟合优化目标值之差的绝对值小于预设收敛阈值时,迭代终止,获得各箱体的初始矩形参数。
34、进一步的,根据初始矩形参数执行多箱体联合位姿解算,获取箱体的三维位姿的过程包括:
35、对各箱体的初始矩形参数执行同码放层识别,将箱体顶面中心沿预设垂直方向的分量偏差小于预设层内高度阈值的箱体归入同一码放层,获得各同码放层箱体集合;
36、获得同层箱体顶面高度一致性项、主导方向一致性项以及矩形边界贴合度项,根据同层箱体顶面高度一致性项、主导方向一致性项以及矩形边界贴合度项,获得多箱体联合位姿解算的联合优化目标;
37、以各箱体初始矩形参数、同码放层箱体顶面中心高度聚类均值和各箱体矩形长边方向角的聚类均值为迭代初值,通过迭代优化使联合优化目标最小化,获得各箱体的最终矩形参数和同码放层共享层高度;
38、将求解获得的同码放层共享层高度回流至该码放层各箱体,将该码放层各箱体顶面点云中沿预设垂直方向的分量与共享层高度之间的偏差超过预设层高偏差阈值的三维点重新判定为干扰点,更新干扰掩膜;
39、基于更新后的干扰掩膜重新筛选各箱体顶面点云并重新执行同码放层识别与多箱体联合位姿解算,直至相邻两次求解获得的共享层高度之差小于预设收敛阈值;
40、根据联合求解获得的各箱体最终矩形参数解算各箱体的三维位姿。
41、进一步的,基于各箱体的三维位姿生成码放抓取定位信息,将码放抓取定位信息输出至码放执行机构的过程包括:
42、对于每个箱体,根据其三维位姿确定抓取点位姿,根据抓取点位姿和箱体标称尺寸生成码放抓取定位信息,将码放抓取定位信息按箱体在码放区域中的空间位置顺序排列,输出至码放执行机构。
43、与现有技术相比,本发明的有益效果是:本发明通过采集箱体点云数据,并为各三维点生成深度可靠性标签,基于邻域点密度、深度离散程度和彩色亮度值三个维度综合判定点的可靠性,有效标记封箱胶带高光区域因镜面反射导致的不可靠深度测量点,后续处理中剔除低可靠性点,显著降低了高光区域对箱体定位的干扰,提升了箱体点云数据在仓储复杂光照条件下的质量与稳定性;
44、本发明对标准箱体点云执行箱体顶面识别时,仅使用三维空间坐标,不引入彩色信息参与分割,使仓库顶灯在箱体单侧打光造成的亮度梯度和强阴影不影响平面分割结果,同时生成干扰掩膜,将高光干扰点和面单标签干扰点进行标记分离,确保顶面识别结果不受表面纹理和标签的干扰,显著提高了箱体顶面识别的准确率;
45、本发明构建矩形参数化模型,利用箱体标称尺寸作为矩形长宽约束,对各箱体顶面点云执行矩形拟合获得初始矩形参数,并以同一码放层内各箱体顶面高度一致性为约束进行多箱体联合位姿解算,有效克服了储物箱紧密码放、相互遮挡导致的单箱体独立定位精度不足的问题,显著提升了码放场景下多箱体三维位姿检测的整体精度和一致性,为码放执行机构提供了可靠的抓取定位信息。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com