一种基于高度传感器的自动分拣方法、装置及可读介质与流程

技术特征：
1.一种基于高度传感器的自动分拣方法，其特征在于，包括以下步骤：s1，获取同一分拣区域的高度图像和彩色图像；s2，通过实例分割模型识别所述彩色图像上的物体的掩膜和种类，并基于所述掩膜获取包围所述物体的最小矩形框，并得到所述最小矩形框的中心点、长度、宽度和偏转角度；s3，根据不同的高度阈值对所述高度图像进行处理，得到处理后的高度图像；s4，将所述彩色图像的所述掩膜的面积与所述处理后的高度图像上相应位置物体的面积相比，得到面积比值，基于所述面积比值确定能否寻找机械爪的抓取位姿；s5，基于所述处理后的高度图像进行抓取位姿搜索，确定所述机械爪的抓取位姿，所述抓取位姿包括抓取中心点、抓取宽度和抓取角度。2.根据权利要求1所述的基于高度传感器的自动分拣方法，其特征在于，所述步骤s5中的抓取位姿搜索包括基于最小矩形框的抓取位姿搜索和基于物体的形状的抓取位姿搜索，所述抓取位姿搜索根据不同高度阈值下的所述处理后的高度图像，调整所述机械爪的抓取位姿以获得无干涉的抓取位姿。3.根据权利要求2所述的基于高度传感器的自动分拣方法，其特征在于，所述步骤s5具体包括：s51，计算所述处理后的高度图像的第一像素值总和sum1；s52，根据所述最小矩形框的中心点、长度、宽度和偏转角度在所述处理后的高度图像上根据不同抓取中心点、抓取宽度和抓取角度绘制机械爪的抓取线，并且令所述抓取线的像素值为0，计算绘制所述抓取线的处理后的高度图像的第二像素值总和sum2，先进行基于最小矩形框的抓取位姿搜索，再进行基于物体的形状的抓取位姿搜索，响应于第一像素值总和sum1与第二像素值总和sum2之间的差值小于预设阈值，确定所述抓取位姿。4.根据权利要求3所述的基于高度传感器的自动分拣方法，其特征在于，所述步骤s5中基于最小矩形框的抓取位姿搜索具体包括：判断当所述机械爪以第一抓取位姿绘制所述抓取线时，所述第一像素值总和sum1与第二像素值总和sum2之间的差值是否小于预设阈值，若是则以包围所述最小矩形框的中心点为抓取中心点，沿所述最小矩形框的长度方向进行抓取；否则将所述第一抓取位姿的抓取角度旋转90
°
以获得第二抓取位姿，并判断当所述机械爪以第二抓取位姿绘制所述抓取线时，所述第一像素值总和sum1与第二像素值总和sum2之间的差值是否小于预设阈值，若是则以包围所述最小矩形框的中心点为抓取中心点，沿所述最小矩形框的宽度方向进行抓取；否则进行基于物体的形状的抓取位姿搜索。5.根据权利要求3所述的基于高度传感器的自动分拣方法，其特征在于，所述步骤s5中的基于物体的形状的抓取位姿搜索，具体包括：对所述物体进行形状判断，若所述物体为条状，则固定所述抓取角度，变换所述抓取中心点和抓取宽度以绘制机械爪的抓取线并判断所述第一像素值总和sum1与第二像素值总和sum2之间的差值是否小于预设阈值，若是则输出所述第一像素值总和sum1与第二像素值总和sum2之间的差值最小时的所述抓取中心点、抓取宽度和抓取角度，否则变换高度阈值重复步骤s3-s5；若是所述物体为非条状，则固定所述抓取中心点，变换所述抓取角度以绘制机械爪的抓取线并判断所述第一像素值总和sum1与第二像素值总和sum2之间的差值是否小于预设阈值，若是则输出所述第一像素值总和sum1与第二像素值总和sum2之间的差值最小时的所述抓取中心点、抓取宽度和抓取角
度，否则变换高度阈值重复步骤s3-s5。6.根据权利要求2所述的基于高度传感器的自动分拣方法，其特征在于，所述步骤s3具体包括：基于所述高度图像获取高度信息，并根据所述高度阈值过滤低于高度阈值的高度信息，得到过滤后的高度图像；对所述过滤后的高度图像进行二值化处理，得到所述处理后的高度图像。7.根据权利要求1所述的基于高度传感器的自动分拣方法，其特征在于，所述步骤s1中具体包括：获取设置在传送带上第一固定位置的单色相机所拍摄的多张高度单线图像，按顺序进行拼接后得到高度拼接图像；获取设置在传送带上第二固定位置的彩色相机所拍摄的多张彩色单线图像，按顺序进行拼接后得到彩色拼接图像；根据所述第一固定位置与第二固定位置的偏移量d对所述高度拼接图像和彩色拼接图像进行裁剪，得到所述高度图像和彩色图像。8.一种基于高度传感器的自动分拣装置，其特征在于，包括：图像获取模块，被配置为获取同一分拣区域的高度图像和彩色图像；物体识别模块，被配置为通过实例分割模型识别所述彩色图像上的物体的掩膜和种类，并基于所述掩膜获取包围所述物体的最小矩形框，根据所述最小矩形框得到所述物体的中心点、长度、宽度和偏转角度；高度图像处理模块，被配置为根据不同的高度阈值对所述高度图像进行处理，得到处理后的高度图像；面积相比模块，被配置为将所述彩色图像的所述掩膜的面积与所述处理后的高度图像上相应位置物体的面积相比，得到面积比值，基于所述面积比值确定能否寻找机械爪的抓取位姿；抓取位姿搜索模块，被配置为基于所述处理后的高度图像进行抓取位姿搜索，确定所述机械爪的抓取位姿，所述抓取位姿包括抓取中心点、抓取宽度和抓取角度。9.一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。

技术总结
本发明公开了一种基于高度传感器的自动分拣方法、装置及可读介质，通过获取同一分拣区域的高度图像和彩色图像；通过实例分割模型识别彩色图像上的物体的掩膜和种类，并基于掩膜获取包围物体的最小矩形框，并得到最小矩形框的中心点、长度、宽度和偏转角度；根据不同的高度阈值对高度图像进行处理，得到处理后的高度图像；将彩色图像的掩膜的面积与处理后的高度图像上相应位置物体的面积相比，得到面积比值，基于面积比值确定能否寻找机械爪的抓取位姿；基于处理后的高度图像进行抓取位姿搜索，确定机械爪的抓取位姿，抓取位姿包括抓取中心点、抓取宽度和抓取角度。本发明增加对于物体分布密度大、堆叠率高等工况的抓取可能性，提高分拣效率。高分拣效率。高分拣效率。


技术研发人员：曹礼禧 杨建红 张宝裕 王英俊 毕雪涛 庄汉强 黄文景 黄骁明 陈海生
受保护的技术使用者：福建南方路面机械股份有限公司
技术研发日：2022.01.19
技术公布日：2022/6/4