容器识别方法和容器识别装置与流程

摘要: 本技术涉及仓储物流,尤其是涉及一种容器识别方法和容器识别装置。背景技术:1、在仓储物流自动化场景中,机器人需要从货架、托盘或输送线上拿取料箱并将其搬运至指定位置...
容器识别方法和容器识别装置与流程

本技术涉及仓储物流,尤其是涉及一种容器识别方法和容器识别装置。

背景技术:

1、在仓储物流自动化场景中,机器人需要从货架、托盘或输送线上拿取料箱并将其搬运至指定位置。为了对料箱执行拾取操作,机器人需要对料箱进行识别和定位。在一些场景中,料箱可能出现部分被遮挡的情况,如容器被货物、货架边缘或机器人的部件等遮挡,这种情况会导致机器人对料箱定位的准确度下降,从而可能导致机器人无法准确安全的取到料箱,导致任务失败,影响仓储系统的作业效率。

技术实现思路

1、为了解决上述问题,本技术实施例提供了一种容器识别方法和容器识别装置,能够提高容器识别的准确性,以提高机器人拿取容器的准确度。具体地,本技术实施例公开了以下技术方案:

2、本技术实施例第一方面提供一种容器识别方法,包括:基于图像采集装置采集到的包含待取容器的第一图像,确定待取容器对应的像素感知参数,并基于像素感知参数,确定待取容器的整体区域对应的多个第一点云和待取容器对应的预设区域的多个第二点云。在多个第一点云指示待取容器存在的情况下,基于各第二点云生成多个候选平面;其中,各候选平面上包括多个目标点云,多个第二点云包括目标点云。至少基于待取容器的先验尺寸、各候选平面对应的投影尺寸和各候选平面中目标点云的数量,在多个候选平面中确定预设区域对应的目标平面。基于目标平面,确定待取容器的旋转信息和中心位置信息,并基于旋转信息和中心位置信息,确定机器人拿取待取容器时的目标位姿信息。

3、在一些实施例中,上述基于图像采集装置采集到的包含待取容器的第一图像,确定待取容器对应的像素感知参数,包括:将第一图像输入至预先训练的第一识别模型中,通过第一识别模型处理并输出待取容器对应的像素感知参数;其中,像素感知参数至少包括:待取容器对应的像素三维点图、像素法向量图、深度不确定度图、深度有效性掩码、待取容器的整体区域对应的第一像素概率图和预设区域对应的第二像素概率图。

4、在一些实施例中,上述基于像素感知参数,确定待取容器的整体区域对应的多个第一点云和待取容器对应的预设区域的多个第二点云,包括:基于像素感知参数中的深度有效性掩码,在第一图像的多个像素中筛选出第一有效像素;基于像素感知参数中的像素三维点图和深度不确定度图,确定各第一有效像素的深度值和深度不确定度,并将深度值位于预设有效深度区间,且深度不确定度小于预设不确定阈值的第一有效像素确定为候选像素;确定候选像素对应的至少一个相邻像素的深度值,并在候选像素的深度值与各相邻像素的深度值之间的差值均小于预设深度跳变阈值的情况下,将候选像素确定为第二有效像素;基于第二有效像素、像素感知参数中的第一像素概率图和第二像素概率图,确定多个第一点云和多个第二点云。

5、在一些实施例中,上述基于第二有效像素、像素感知参数中的第一像素概率图和第二像素概率图,确定多个第一点云,包括:基于第一像素概率图,确定各第二有效像素对应的整体区域概率值;其中,整体区域概率值用于指示各像素属于待取容器的整体区域的概率值;将整体区域概率值大于第一预设阈值的第二有效像素确定为第一目标像素;基于像素三维点图,确定各第一目标像素对应的三维坐标,以得到多个第一点云。

6、在一些实施例中,上述基于第二有效像素、像素感知参数中的第一像素概率图和第二像素概率图,确定多个第二点云,包括:基于第二像素概率图,确定各第二有效像素对应的预设区域概率值;其中,预设区域概率值用于指示各像素属于预设区域的概率值;将预设区域概率值大于第二预设阈值的第二有效像素确定为第二目标像素;基于像素三维点图和像素法向量图,确定各第二目标像素对应的三维坐标和法向量,以得到多个第二点云。

7、在一些实施例中,该方法还包括:确定多个第一点云的数量;在多个第一点云的数量大于或等于预设数量阈值的情况下,确定待取容器存在;在多个第一点云的数量小于预设数量阈值的情况下,确定待取容器不存在,指示输出设备输出异常提示信息。

8、在一些实施例中,上述基于各第二点云生成多个候选平面,包括:在多个第二点云中随机采样预设数量的候选点云;基于各候选点云的三维坐标和法向量,确定各候选点云对应的初始平面;确定各第二点云与初始平面之间的距离,并将距离小于预设距离阈值的第二点云确定为初始平面对应的目标点云;基于任意两个初始平面之间的重叠度、预设重叠度阈值,以及各初始平面中目标点云的数量,在多个初始平面中筛选出多个候选平面。

9、在一些实施例中,上述至少基于待取容器的先验尺寸、各候选平面对应的投影尺寸和各候选平面中目标点云的数量,在多个候选平面中确定所述预设区域对应的目标平面,包括:将各候选平面中的目标点云投影至基准坐标系下的基准面,并在基准面上拟合能够包围全部目标点云的第一包围矩形;确定第一包围矩形的投影尺寸,并获取待取容器的先验尺寸;针对各候选平面,确定投影尺寸和先验尺寸之间的目标匹配误差;在存在目标匹配误差小于预设误差阈值的候选平面的情况下,将目标匹配误差小于预设误差阈值的候选平面中,目标点云数量最多的候选平面确定为目标平面;在不存在目标匹配误差小于预设误差阈值的候选平面的情况下,将目标匹配误差最小的候选平面确定为目标平面。

10、在一些实施例中,上述确定投影尺寸和先验尺寸之间的目标匹配误差,包括:确定投影尺寸中的投影长度与先验尺寸中的先验长度之间的第一差值,以及投影尺寸中的投影宽度与先验尺寸中的先验宽度之间的第二差值,并基于第一差值和第二差值确定第一匹配误差;确定投影尺寸中的投影长度与先验尺寸中的先验宽度之间的第三差值,以及投影尺寸中的投影宽度与先验尺寸中的先验长度之间的第四差值,并基于第三差值和第四差值确定第二匹配误差;基于第一匹配误差和第二匹配误差,确定目标匹配误差。

11、在一些实施例中,上述获取待取容器的先验尺寸,包括:加载待取容器对应的网格模型,提取网格模型分别在基准坐标系的各坐标轴上对应的最大坐标值和最小坐标值;基于各坐标轴上的最大坐标值和最小坐标值,确定待取容器对应的先验尺寸,并对先验尺寸进行存储;其中,先验尺寸包括先验长度、先验宽度和先验高度。

12、在一些实施例中,上述基于目标平面,确定待取容器的旋转信息,包括:基于目标平面的目标法向量,确定将目标法向量旋转至基准坐标系的第一预设坐标轴方向的第一旋转矩阵;通过第一旋转矩阵对目标平面对应的各目标点云进行旋转变换,得到旋转后目标点云,并对旋转后目标点云在基准坐标系的基准面内的投影进行形状拟合得到第二包围矩形,并确定第二包围矩形的尺寸参数和初始方向角;基于尺寸参数和待取容器的先验尺寸,确定对初始方向角进行角度补偿时对应的目标方向角;根据目标方向角确定第二旋转矩阵,并根据第一旋转矩阵和第二旋转矩阵,确定目标旋转矩阵。

13、在一些实施例中,上述基于尺寸参数和待取容器的先验尺寸,确定对初始方向角进行角度补偿时对应的目标方向角,包括:确定第二包围矩形的尺寸参数中的第一尺寸和第二尺寸,并获取待取容器的先验尺寸中的先验长度和先验宽度;根据第一尺寸与先验长度之间的差值,以及第二尺寸与先验宽度之间的差值,确定第一对齐误差,并根据第一尺寸与先验宽度之间的差值,以及第二尺寸与先验长度之间的差值,确定第二对齐误差;在第一对齐误差小于或等于第二对齐误差的情况下,将初始方向角作为目标方向角;在第一对齐误差大于第二对齐误差的情况下,将初始方向角旋转90度,并将旋转后的方向角作为目标方向角。

14、在一些实施例中,上述基于目标平面,确定待取容器的旋转信息和中心位置信息,包括:确定第二包围矩形在基准坐标系的基准面内的第一中心,并确定旋转后目标点云在基准坐标系的第二预设坐标轴上的最大值和最小值;根据最大值和最小值之差,确定旋转后目标点云在第二预设坐标轴方向上的分布跨度;将第一中心在第二预设坐标轴方向上的坐标值增加分布跨度,得到补偿后的第二中心;确定旋转后目标点云在第一预设坐标轴方向的坐标统计值;基于坐标统计值和待取容器的先验尺寸中的先验高度,确定待取容器的几何中心在第一预设坐标轴的第一坐标;根据第一坐标和第二中心对应的第二坐标,确定待取容器的中心位置信息。

15、本技术实施例第二方面提供一种容器识别装置包括确定模块和生成模块。其中,确定模块被配置为:基于图像采集装置采集到的包含待取容器的第一图像,确定待取容器对应的像素感知参数,并基于像素感知参数,确定待取容器的整体区域对应的多个第一点云和待取容器对应的预设区域的多个第二点云。生成模块被配置为:在多个第一点云指示待取容器存在的情况下,基于各第二点云生成多个候选平面;其中,各候选平面上包括多个目标点云,多个第二点云包括目标点云。确定模块被配置为:至少基于待取容器的先验尺寸、各候选平面对应的投影尺寸和各候选平面中目标点云的数量,在多个候选平面中确定所述预设区域对应的目标平面;基于目标平面,确定待取容器的旋转信息和中心位置信息,并基于旋转信息和中心位置信息,确定机器人拿取待取容器时的目标位姿信息。

16、本技术实施例第三方面提供了一种电子设备,包括:处理器和存储器,所述存储器,用于存储计算机可执行指令;所述处理器,用于从所述存储器中读取所述指令,并执行所述指令以实现前述第一方面所述的容器识别方法。

17、本技术实施例第四方面提供了一种计算机可读存储介质,所述存储介质存储有计算机程序指令,当计算机读取所述指令时,执行前述第一方面所述的容器识别方法。

18、本技术实施例第五方面提供了一种计算机程序产品,该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,该计算机程序包括程序指令,当该程序指令被计算机执行时,使该计算机执行前述第一方面所述的容器识别方法。

19、本技术实施例第六方面提供一种计算机程序,当该计算机程序被处理器执行时,可以实现前述第一方面所述的容器识别方法。

20、本技术实施例提供的容器识别方法和容器识别装置,首先,通过基于图像采集装置采集到的包含待取容器的第一图像,确定待取容器对应的像素感知参数,并基于像素感知参数分别提取待取容器的整体区域对应的第一点云和预设区域对应的第二点云。其次,在第一点云指示待取容器存在的情况下,基于各第二点云生成多个候选平面,该过程能够利用容器口边缘点云作为配准特征,依赖容器口的局部点云进行位姿估计,无需观测容器内部或完整外壁,即使容器上侧被遮挡、只要有部分容器口可见,仍能给出有效位姿,从而显著提升了对遮挡场景的鲁棒性。然后,基于待取容器的先验尺寸、目标点云对应的投影尺寸和各候选平面中目标点云的数量,在多个候选平面中确定预设区域对应的目标平面,该过程能够在存在多个候选平面时,利用已知尺寸先验与拟合矩形的投影尺寸的匹配误差以及内点数量进行双重评价,优先选取尺寸误差满足阈值条件且内点数量最多的候选平面为容器口的平面,有效排除场景中与容器口尺寸不符的其他平面结构,大幅提升平面选择的语义正确性。最后,基于目标平面确定待取容器的旋转信息和中心位置信息,并基于旋转信息和中心位置信息确定机器人拿取待取容器时的目标位姿信息,该过程能够从几何约束出发确定容器的六自由度位姿,无需提供初始位姿,计算速度快、适合多种取容器的场景,同时能够为机器人提供精确的抓取位置和姿态指引。因此,本技术实施例能够有效解决相关技术中容器部分遮挡场景下位姿估计精度低、对初始位姿敏感、计算量大等问题,提高了容器识别的准确性、鲁棒性和实时性,进而提升了仓储物流场景中机器人执行容器拿取的作业效率和安全性。