一种物料的检测及分类方法与流程

1.本发明涉及物料检测及分类技术领域，尤其涉及一种同一物料的检测及分类的方法。


背景技术：

2.随着垃圾分类政策的实施，人们对生活垃圾分选系统的需求与日俱增。在垃圾分选系统中，由于物料形状、尺寸的不规则性、进料的无序性，为了保证检测不漏料，在相机拍照时，相邻两帧照片需要重叠20％以上的视场。但是此操作会造成对部分物料进行重复检测，进而将物料信息重复发送给运动控制系统，造成运动控制系统的多次抓取，导致系统空抓，系统性能下降。
3.现阶段，深度学习的分类算法主要有resnet、vgg以及efficientnet等、检测算法主要有fast-rcnn、ssd、yolo以及efficientdet等，这些算法虽然在大规模数据集上表现良好。
4.但是深度学习算法依赖于高性能的硬件，且模型后处理速度慢，不能满足实时性、实用性需求。有鉴于此，有必要提供一种物料的检测及分类的方法，以解决上述问题。


技术实现要素：

5.本发明的目的在于提供一种同一物料的检测及分类方法。
6.为实现上述发明目的之一，本发明一实施方式提供了一种物料的检测及分类方法，所述方法包括：在第一时刻，获取每个物料对应的矩形定位框任一对角线上至少一个顶点的第一标记点坐标；
7.在第二时刻，获取每个物料对应的矩形定位框对角线上两个顶点的第二标记点坐标，并计算第二时刻每个物料对应的矩形定位框的标记范围；
8.获取传送带在第一时刻到第二时刻之间直线上的运动距离lm；
9.判断是否有所述第一标记点坐标 lm的值落入所述标记范围内的目标物料，若是，则定义所述目标物料与第二标记点坐标对应的物料为同一物料。
10.作为本发明一实施方式的进一步改进,获取第一标记点坐标的方法还包括：在第一时刻，获取每个物料对应的矩形定位框任一对角线上两顶点的标记点坐标为第一标记点坐标。
11.作为本发明一实施方式的进一步改进,一种物料的检测及分类方法还包括：在第一时刻赋予所述的每个物料以身份编号，若经判断后所述目标物料与第二标记点坐标对应的物料为同一物料，则保持身份编号一致；若不为同一物料，则赋予该物料以新的身份编号。
12.作为本发明一实施方式的进一步改进,一种物料的检测及分类方法还包括：在所述的第一时刻、第二时刻分别获取每个物料的2d及3d鸟瞰图像数据；
13.将2d鸟瞰图像数据与3d鸟瞰图像数据相配准得到每个物料的rgb-d图像数据；
14.将所述rgb-d图像数据加载入深度学习图像算法，进行特征提取，获得每个物料的矩形定位框、抓取点及类别信息。
15.作为本发明一实施方式的进一步改进,处理rgb-d图像数据方法还包括：预处理rgb-d图像数据：去畸变和尺寸缩放。
16.作为本发明一实施方式的进一步改进,其中将所述rgb-d图像数据加载入深度学习图像算法，进行特征提取，获得每个物料的矩形定位框、抓取点及类别信息，具体包括：
17.自上而下提取三层输出、降采样两次，获得五层特征输出层；
18.采用构建特征金字塔方式进行特征融合；
19.获得第一矩形定位框及类别信息。
20.作为本发明一实施方式的进一步改进,其中，所述方法还包括：后处理所述的第一矩形定位框及类别信息：
21.根据所述物料的第一矩形定位框及类别信息，判断物料的可回收概率；
22.根据可回收概率，进行阈值抑制，去除概率低的矩形定位框；
23.加载非极大值抑制算法(nms)，对所述的第一矩形定位框及类别信息去重；
24.根据去重后的矩形定位框及类别信息，抑制可回收概率低的矩形定位框所对应的物料，保留可回收概率高的矩形定位框及类别信息；
25.获得第二矩形定位框及类别信息。
26.作为本发明一实施方式的进一步改进,其中，所述方法还包括：终处理所述的每个物料的2d及3d鸟瞰图像数据、第二矩形定位框及类别信息：
27.提取单个物料的矩形定位框，放入与原图相同大小的数组中；
28.对该数组进行灰度图转化、滤波、二值化和形态学闭运算；
29.计算该二值化图像的最大内切圆圆心，该圆心即为物料的抓取点；
30.获得最终的物料抓取点、矩形定位框及类别信息。
31.作为本发明一实施方式的进一步改进,一种物料的检测及分类方法，其中所述物料图像的最大内切圆，若该内切圆半径小于吸盘式蜘蛛机械手的吸盘半径，则不抓取该物料。
32.为了解决上述发明目的之一，本发明一实施方式提供一种物料的检测及分类装置，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的物料的检测及分类方法的步骤。
33.为了解决上述发明目的之一，本发明一实施方式提供一种计算机可读存储介质，其中存储有计算机程序，并且所述计算机程序运行时导致所述计算机存储介质的所在设备执行如上所述的物料的检测及分类方法的步骤。
34.与现有技术相比，本发明的有益效果在于：通过轻量化的同一物料检测算法，对传输带上物料进行识别、判断，避免了对物料进行重复检测、系统空抓，加快了系统处理速度，提高了对同一物料的检测及分类的效率，大幅提升了系统性能。
附图说明
35.图1是本发明一实施方式提供的同一物料检测及分类方法的步骤示意图；
36.图2是按图1所示步骤处理后的效果图；
37.图3是对物料定位的步骤示意图；
38.图4是在图3的基础上，对目标物料进行特征提取操作的步骤示意图；
39.图5是在图4的基础上，对目标物料信息进行后处理操作的步骤示意图；
40.图6是在图5的基础上，对目标物料信息进行终处理操作的步骤示意图；
41.图7是按图2—图6所示步骤处理后的效果图。
具体实施方式
42.以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的的结构、方法或功能上的变换均包含在本发明的保护范围内。
43.请参图1所示，本发明第一实施方式中提供一种物料检测及分类方法，所述方法包括：
44.s101、在第一时刻，获取每个物料对应的矩形定位框任一对角线上至少一个顶点的第一标记点坐标；
45.s102、在第二时刻，获取每个物料对应的矩形定位框对角线上两个顶点的第二标记点坐标，并计算第二时刻每个物料对应的矩形定位框的标记范围；
46.s103、获取传送带在第一时刻到第二时刻之间直线上的运动距离lm；
47.s104、判断是否有所述第一标记点坐标 lm的值落入所述标记范围内的目标物料：
48.若是，则定义所述目标物料与第二标记点坐标对应的物料为同一物料。
49.本发明的具体实施方式中，对于步骤s1，也可获取每个物料对应的矩形定位框任一对角线上两顶点的标记点坐标为第一标记点坐标。
50.本发明的具体实施方式中，所述目标物料即为需要检测的垃圾，例如木板、石头、塑料、纸板等。
51.进一步的，对于步骤s104，以原始图像的左上角为坐标原点建立xy直角坐标系，以坐标原点向右延伸为x轴正向，以坐标原点向下延伸为y轴正向，其中，x轴为横轴，y轴为纵轴，在第一时刻，设第i帧第j个物体为s(i,j)；在第二时刻，设第i帧第j个物体为s(i 1,j)；
52.本发明的具体实施方式中，对于步骤s101，在第一时刻，第一标记点坐标记为(x1(i,j),y1(i,j))以及(xr(i,j),yr(i,j))；对于步骤s102，在第二时刻，第二标记点坐标记为(x1(i 1,j),y1(i 1,j))
53.以及(xr(i 1,j),yr(i 1,j))；
54.进一步的，判断是否有所述第一标记点坐标 lm的值落入所述标记范围内的目标物料；
55.作为本发明一实施方式，若传送带沿所定义的x轴直线运动，且上述标记点满足如下关系，则定义所述目标物料与第二标记点坐标对应的物料为同一物料，下式中，r为世界坐标与图像像素坐标的转换比例因子：
56.x1(i 1,j)＝(x1(i,j) r
×
lm
57.y1(i 1,j)＝y1(i,j)
58.xr(i 1,j)＝xr(i,j) r
×
lm
59.yr(i 1,j)＝yr(i,j)；
60.作为本发明一实施方式，若传送带沿所定义的y轴直线运动，且上述标记点满足如下关系，则定义所述目标物料与第二标记点坐标对应的物料为同一物料，下式中，r为世界坐标与图像像素坐标的转换比例因子：
61.x1(i 1,j)＝(x1(i,j)
62.y1(i 1,j)＝y1(i,j) r
×
lm
63.xr(i 1,j)＝xr(i,j)
64.yr(i 1,j)＝yr(i,j) r
×
lm。
65.进一步的，对于步骤s4，判断完成后，方法步骤还包括：
66.若经判断后所述目标物料与第二标记点坐标对应的物料为同一物料，则保持身份编号一致；
67.若不为同一物料，则赋予该物料以新的身份编号，
68.较佳的，本发明具体实施例中，实施效果如图2所示。
69.进一步的，步骤s101内获取每个物料对应的矩形定位框，进行物料定位的具体包括如下步骤，请参图3所示：
70.s1011、在所述的第一时刻、第二时刻分别获取每个物料的2d及3d鸟瞰图像数据；
71.s1012、将2d鸟瞰图像数据与3d鸟瞰图像数据相配准得到每个物料的rgb-d图像数据；
72.s1013、将所述rgb-d图像数据加载入深度学习图像算法，进行特征提取，获得每个物料的矩形定位框、抓取点及类别信息。
73.具体的，对于步骤s1011，2d鸟瞰图像数据通过线阵相机获得rgb图片数据，3d鸟瞰图像数据通过3d相机获得点云数据；
74.具体的，线阵相机工作于编码器触发模式下，当所述传送带运动距离lm触发相机拍照一次，相机沿皮带线方向的视野范围为lc，需满足约束条件lm≤0.7
×
lc；
75.可以理解的是，上述的2d图像数据包括图像的色彩信息，3d点云数据即三维信息，包括三维形状、三维轮廓、位置等信息；
76.具体的，结合rgb图片与点云数据，获得待分类垃圾的rgb-d信息；
77.可以理解的是，所述rgb-d图像数据包含了垃圾的颜色信息、三维位置信息、三维轮廓信息等；本发明中，通过对rgb-d图像数据进行深度学习的方式识别物料，得到目标物料，由于在模型中加入了高度信息，因此能够有效提高物料黏连或重叠时的识别准确率以及识别速率；
78.具体的，将所述rgb-d图像数据加载入深度学习图像算法前，还需对rgb-d图像数据进行预处理，包括去畸变和尺寸缩放的操作。
79.进一步的，对于步骤s1013，得到目标物料后，需对目标物料进行特征提取，以获得每个物料的矩形定位框、抓取点及类别信息，还需对目标物料进行特征提取操作，请参图4所示，具体包括：
80.s1021、采用轻量化设计的主干网络作为特征提取网络，自上而下提取三层输出且降采样两次，总计五层作为特征输出层(feature maps)；
81.s1022、采用构建特征金字塔方式进行特征融合,使得特征更具鲁棒性、整体系统更具稳定性；
82.s1023、输出第一矩形定位框及类别信息。
83.进一步的，对于步骤s1023，得到目标物料的第一矩形定位框及类别信息后，还需对目标物料信息进行后处理操作，请参图5所示，具体包括：
84.s1031、根据所述物料的第一矩形定位框及类别信息，判断物料的可回收概率；
85.s1032、根据可回收概率，进行阈值抑制，去除概率低的矩形定位框；
86.s1033、加载非极大值抑制算法(nms)，对所述的第一矩形定位框及类别信息去重；
87.s1034、根据去重后的矩形定位框及类别信息，抑制可回收概率低的矩形定位框所对应的物料，保留可回收概率高的矩形定位框及类别信息；
88.s1035、输出第二矩形定位框及类别信息。
89.进一步的，对于步骤s1035，得到目标物料的第二矩形定位框及类别信息后，还需对目标物料信息进行终处理操作，请参图6所示，具体包括：
90.s1041、提取单个物料的第二矩形定位框，放入与原图相同大小的数组中；
91.s1042、对该数组进行灰度图转化、滤波、二值化和形态学闭运算；
92.s1043、取目标物料外轮廓对应的最大内切圆，计算该二值化图像的最大内切圆圆心，该圆心即为物料的抓取点；
93.s1044、获得最终的物料抓取点、矩形定位框及类别信息。
94.进一步的，本发明一实施方式用于抓取的机械手为带吸盘的蜘蛛机械手，吸盘材质柔软，可以进行小型物料的抓取；
95.较佳的，本发明具体实施例中，实施效果如图7所示。
96.进一步的，对于步骤s1043，根据目标物料的最大内切圆，判断是否抓取该物料：
97.若该内切圆半径大于等于吸盘式蜘蛛机械手的吸盘半径，则控制抓取该物料；
98.若该内切圆半径小于吸盘式蜘蛛机械手的吸盘半径，则不抓取该物料。
99.进一步的，本发明一实施方式提供一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述物料的检测及分类方法中的步骤。
100.进一步的，本发明一实施方式提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述物料的检测及分类方法中的步骤。
101.综上所述，本发明的一种物料的检测及分类方法，从而准确判断是否为同一物料。
102.应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
103.以上实施方式仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施方式对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施方式技术方案的精神和范围。