一种物体分拣方法、装置、设备及存储介质

1.本发明涉及图像处理领域，特别是一种物体分拣方法、装置、设备及存储介质。


背景技术：

2.对物体分拣一般通过人工操作，这具有人工成本高、效率低的问题。目前也有通过神经网络对待分拣物品的图像进行识别，根据分类识别结果控制执行机械手对待分拣物品进行分拣的方法；但该方法的效率主要由神经网络的性能优劣决定。部分神经网络在处理包含相似性高的多个物品、相互遮挡的多个物品、距离相机过远的物品、高速旋转物品的物品图像时，处理效果不佳，大大影响分拣效率。


技术实现要素：

3.本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种物体分拣方法、装置、设备及存储介质。
4.本发明解决其问题所采用的技术方案是：
5.本发明的第一方面，一种物体分拣方法，包括：
6.获取待识别物品图像；
7.将所述待识别物品图像输入至分拣网络进行物品识别得到识别结果，其中，所述分拣网络根据所述待识别物品图像进行特征提取得到特征图，根据所述特征图进行预测，并通过三个预测分支分别输出目标候选框的中心点、目标候选框的偏置值和目标候选框的尺寸，根据所述目标候选框的中心点、目标候选框的偏置值和目标候选框的尺寸确定目标检测框，根据所述目标检测框得到所述识别结果；
8.根据所述识别结果进行物体分拣。
9.根据本发明的第一方面，在将所述待识别物品图像输入至分拣网络的步骤前，还包括：
10.通过尺寸调整网络，对所述待识别物品图像的尺寸进行调整。
11.根据本发明的第一方面，所述通通过尺寸调整网络，对所述待识别物品图像的尺寸进行调整包括：
12.当所述待识别物品图像的宽大于预设宽度，将所述待识别物品图像在宽方向上进行缩放，使所述待识别物品图像的宽等于所述预设宽度；
13.当所述待识别物品图像的高大于预设高度，将所述待识别物品图像在高方向上进行缩放，使所述待识别物品图像的高等于所述预设高度；
14.当所述待识别物品图像的宽小于预设宽度，将所述待识别物品图像在宽方向上进行补零处理，使所述待识别物品图像的宽等于所述预设宽度；
15.当所述待识别物品图像的高小于预设高度，将所述待识别物品图像在高方向上进行补零处理，使所述待识别物品图像的高等于所述预设高度。
16.根据本发明的第一方面，根据所述特征图进行预测，输出目标候选框的中心点，包
括：
17.根据所述特征图生成热力图；
18.将目标候选框缩放到所述热力图中，计算与所述目标候选框对应的高斯圆的圆心坐标；
19.根据目标候选框的大小，计算高斯圆的半径；
20.根据所述圆心坐标和所述半径计算所述高斯圆的高斯值；
21.将所述高斯值的最大值所对应的位置作为所述目标候选框的中心点，输出所述目标候选框的中心点。
22.根据本发明的第一方面，根据所述特征图进行预测，输出目标预选框的偏置值和目标候选框的尺寸，包括：
23.将多个所述高斯值进行最大池化处理，然后按照数值从大至小进行排序，将排名在预设数量值之前的所有高斯值作为目标高斯值；
24.将所述目标高斯值对应的像素点作为目标像素点，根据所述目标像素点进行回归计算，得到目标预选框的偏置值和目标候选框的尺寸。
25.根据本发明的第一方面，在根据所述待识别物品图像进行特征提取得到特征图的步骤之后，还包括：
26.通过反卷积网络对所述特征图的尺寸进行扩大处理。
27.根据本发明的第一方面，根据所述待识别物品图像进行特征提取所采用的网络结构为resnet-18网络结构。
28.本发明的第二方面，一种物体分拣装置，包括：
29.图像获取单元，用于获取待识别物品图像；
30.图像识别单元，用于将所述待识别物品图像输入至分拣网络进行物品识别得到识别结果，其中，所述分拣网络根据所述待识别物品图像进行特征提取得到特征图，根据所述特征图进行预测，并通过三个预测分支分别输出目标候选框的中心点、目标候选框的偏置值和目标候选框的尺寸，根据所述目标候选框的中心点、目标候选框的偏置值和目标候选框的尺寸确定目标检测框，根据所述目标检测框得到所述识别结果；
31.分拣单元，用于根据所述识别结果进行物体分拣。
32.本发明的第三方面，一种物体分拣设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明的第一方面所述的物体分拣方法。
33.本发明的第四方面，一种存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本发明的第一方面所述的物体分拣方法。
34.上述方案至少具有以下的有益效果：通过该分拣网络进行物品识别，降低了网络结构复杂性和网络计算复杂性，提高了检测性能，提高了算法的运行速度，提高了检测效率，具有良好的鲁棒性，具有良好的通用性；进而提高了物体分拣效率。
35.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
36.下面结合附图和实例对本发明作进一步说明。
37.图1是本发明实施例一种物体分拣方法的流程图；
38.图2是分拣网络的部分结构图；
39.图3是是本发明实施例一种物体分拣装置的结构图。
具体实施方式
40.本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
41.在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
42.在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
43.本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
44.本发明的第一方面的实施例，提供了一种物体分拣方法。
45.参照图1，物体分拣方法包括：
46.步骤s100，获取待识别物品图像；
47.步骤s200，将待识别物品图像输入至分拣网络进行物品识别得到识别结果，其中，分拣网络根据待识别物品图像进行特征提取得到特征图，根据特征图进行预测，并通过三个预测分支分别输出目标候选框的中心点、目标候选框的偏置值和目标候选框的尺寸，根据目标候选框的中心点、目标候选框的偏置值和目标候选框的尺寸确定目标检测框，根据目标检测框得到识别结果；
48.步骤s300，根据识别结果进行物体分拣。
49.对应步骤s100，待识别物品图像可以是通过相机拍摄所得的静态图片，也可以是通过摄像设备拍摄所得的动态视频，然后对动态视频进行分割所得的图片。
50.在步骤s100之后，也即在将待识别物品图像输入至分拣网络进行物品识别之前，需要对待识别物品图像进行预处理，例如去噪处理或者尺寸调整处理等。
51.在该实施例中，通过尺寸调整网络，对待识别物品图像的尺寸进行调整。
52.具体地，当待识别物品图像的宽大于预设宽度，将待识别物品图像在宽方向上进行缩放，使待识别物品图像的宽等于预设宽度；当待识别物品图像的高大于预设高度，将待识别物品图像在高方向上进行缩放，使待识别物品图像的高等于预设高度；当待识别物品图像的宽小于预设宽度，将待识别物品图像在宽方向上进行补零处理，使待识别物品图像
的宽等于预设宽度；当待识别物品图像的高小于预设高度，将待识别物品图像在高方向上进行补零处理，使待识别物品图像的高等于预设高度。
53.在该实施例中，待识别物品图像的预设宽度为512像素，预设高度为512像素。
54.参照图2，对于步骤s200，将待识别物品图像输入至分拣网络。
55.首先，分拣网络根据待识别物品图像进行特征提取得到特征图。
56.具体地，根据待识别物品图像进行特征提取所采用的特征提取网络的网络结构为resnet-18网络结构。
57.具体地，resnet-18网络结构的结构如下：
58.第一层为卷积层，使用大小为7x7、步长为2、填充为3、通道数为64的卷积核对输入的图像进行卷积，然后进行批量归一化和relu激活操作，最后经过大小为3x3、步长为2的最大池化层进行最大池化；
59.第二层为残差结构，使用大小为3x3、步长为1、填充为1、通道数为64的卷积核对第一层输出的特征图像进行卷积，然后进行批量归一化和relu激活操作，再使用大小为3x3、步长为1、填充为1、通道数为64的卷积核再次卷积，并进行批量归一化和relu激活操作，最后和第一层输出的特征图像进行相加；
60.第三层为残差结构，使用大小为3x3、步长为1、填充为1、通道数为64的卷积核对第二层输出的特征图像进行卷积，然后进行批量归一化和relu激活操作，再使用大小为3x3、步长为1、填充为1、通道数为64的卷积核再次卷积，并进行批量归一化和relu激活操作，最后和第二层输出的特征图像进行相加；
61.第四层为残差结构，使用大小为3x3、步长为2、填充为1、通道数为128的卷积核对第三层输出的特征图像进行卷积，然后进行批量归一化和relu激活操作，再使用大小为3x3、步长为1、填充为1、通道数为128的卷积核再次卷积，并进行批量归一化和relu激活操作，最后和第三层输出的特征图像经过大小为1x1、步长为2、通道数为128的卷积核卷积的结果进行相加；
62.第五层为残差结构，使用大小为3x3、步长为2、填充为1、通道数为128的卷积核对第四层输出的特征图像进行卷积，然后进行批量归一化和relu激活操作，再使用大小为3x3、步长为1、填充为1、通道数为128的卷积核再次卷积，并进行批量归一化和relu激活操作，最后和第四层输出的特征图像进行相加；
63.第六层为残差结构，使用大小为3x3、步长为2、填充为1、通道数为256的卷积核对第五层输出的特征图像进行卷积，然后进行批量归一化和relu激活操作，再使用大小为3x3、步长为1、填充为1、通道数为256的卷积核再次卷积，并进行批量归一化和relu激活操作，最后和第五层输出的特征图像经过大小为1x1、步长为2、通道数为256的卷积核卷积的结果进行相加；
64.第七层为残差结构，使用大小为3x3、步长为2、填充为1、通道数为256的卷积核对第六层输出的特征图像进行卷积，然后进行批量归一化和relu激活操作，再使用大小为3x3、步长为1、填充为1、通道数为256的卷积核再次卷积，并进行批量归一化和relu激活操作，最后和第六层输出的特征图像进行相加；
65.第八层为残差结构，使用大小为3x3、步长为2、填充为1、通道数为512的卷积核对第七层输出的特征图像进行卷积，然后进行批量归一化和relu激活操作，再使用大小为
3x3、步长为1、填充为1、通道数为512的卷积核再次卷积，并进行批量归一化和relu激活操作，最后和第七层输出的特征图像经过大小为1x1、步长为2、通道数为512的卷积核卷积的结果进行相加；
66.第九层为残差结构，使用大小为3x3、步长为2、填充为1、通道数为512的卷积核对第八层输出的特征图像进行卷积，然后进行批量归一化和relu激活操作，再使用大小为3x3、步长为1、填充为1、通道数为512的卷积核再次卷积，并进行批量归一化和relu激活操作，最后和第八层输出的特征图像进行相加。
67.该网络把多个漏斗形状的网络级联起来，可以获取多尺度的信息。
68.在根据待识别物品图像进行特征提取得到特征图的步骤之后，还包括：通过反卷积网络对特征图的尺寸进行扩大处理。
69.其中，反卷积网络的结构如下：
70.使用大小为4x4、步长为2、填充为1、通道数为256的卷积核进行反卷积，然后进行批量归一化和relu激活操作，再使用大小为4x4、步长为2、填充为1、通道数为128的卷积核进行反卷积，然后进行批量归一化和relu激活操作，最后用大小为4x4、步长为2、填充为1、通道数为64的卷积核进行反卷积，然后进行批量归一化和relu激活操作。
71.预测分支有三个，分别为预测分支a，预测分支b和预测分支c，其中预测分支a输出目标候选框的中心点，预测分支b输出目标候选框的偏置值，预测分支c输出目标候选框的尺寸。
72.预测分支a实际输出包含多个关键点的热力图，关键点中包含有目标候选框的中心点。预测分支a包含c个通道，每一个通道包含一个类别。
73.预测分支b输出的目标候选框的偏置值能用来弥补将池化后的低热力图上的点映射到原图中所带来的像素误差。
74.预测分支c输出的目标候选框的尺寸能用来弥补目标候选框的宽和高的误差。
75.对于根据特征图进行预测，包括：
76.根据特征图生成热力图，具体地对特征图进行下采样生成热力图；
77.将目标候选框缩放到热力图中，计算与目标候选框对应的高斯圆的圆心坐标；
78.根据目标候选框的大小，计算高斯圆的半径；
79.根据圆心坐标和半径计算高斯圆的高斯值；
80.将高斯值的最大值所对应的位置作为目标候选框的中心点，输出目标候选框的中心点。
81.该预测分支的网络结构为：使用大小为3x3、步长为2、填充为1、通道数为64的卷积核进行卷积，然后进行批量归一化和relu激活操作，最后使用大小为1x1、步长为2、通道数为64的卷积核进行卷积。
82.需要说明的是，对于在目标候选框的中心点附近的一些点，这些点在目标候选框的中心点的某一半径内且点对应的矩形框与目标检测框之间的iou大于0.7的时候，需要将这些点处的值设置为高斯分布的数值，即高斯值，而不是数值0。
83.其中，热力图预测的损失函数为：
[0084][0085]
α和β为超参数，α的大小为2，β的大小为4，用于均衡难易样本。y
xyc
表示目标值，表示预测值，n为关键点的个数，关键点为具有高斯值的点。
[0086]
当的时候，对于易分类样本，易分类样本对应的预测值接近为1，则易分类样本对应的就表示一个很小的数值，此时损失函数的数值就比较小，起到了降低该样本权重的作用；
[0087]
当的时候，对于难分类样本，难分类样本对应的预测值接近为0，则难分类样本对应的就表示一个很大的数值，此时损失函数的数值就比较大，起到了增加该样本权重的作用。
[0088]
当的时候，为了防止预测值过高而接近于1，利用充当损失函数的惩罚项。而这个参数距离中心越近，其值越小，这个权重是用来减轻惩罚力度的。
[0089]
其中，根据特征图进行预测，输出目标预选框的偏置值和目标候选框的尺寸，包括：
[0090]
将多个高斯值进行最大池化处理，然后按照数值从大至小进行排序，将排名在预设数量值之前的所有高斯值作为目标高斯值；
[0091]
将目标高斯值对应的像素点作为目标像素点，根据目标像素点进行回归计算，得到目标预选框的偏置值和目标候选框的尺寸。
[0092]
目标预选框的偏置值对应的预测分支的网络结构为：使用大小为3x3、步长为2、填充为1、通道数为64的卷积核进行卷积，然后进行批量归一化和relu激活操作，最后使用大小为1x1、步长为2、通道数为2的卷积核进行卷积。
[0093]
目标候选框的尺寸对应的预测分支的网络结构为：使用大小为3x3、步长为2、填充为1、通道数为64的卷积核进行卷积，然后进行批量归一化和relu激活操作，最后使用大小为1x1、步长为2、通道数为2的卷积核进行卷积。
[0094]
偏置值预测的损失函数为：
[0095]
其中，表示预测的偏移量数值，p表示图像中心点坐标，r表示热力图的缩放因子，表示缩放后中心点的近似证书坐标，整个过程利用l1 loss计算正样本块的偏移损失。
[0096]
尺寸预测的损失函数为：
[0097]
其中，n表示关键点的个数，sk表示目标的真实尺寸，表示预测的尺寸，整个过程利用l1l oss来计算正样本块的长宽损失。
[0098]
整个预测网络的损失函数则为：l
det
＝lk λ
size
l
size
λ
off
l
off
；其中λ
size
和λ
off
均为权重参数，其中λ
size
＝0.1，λ
off
＝1。
[0099]
然后根据目标候选框的中心点、目标候选框的偏置值和目标候选框的尺寸确定目标检测框，根据目标检测框得到识别结果。
[0100]
对于步骤s300，根据识别结果控制机械臂进行物体分拣。
[0101]
需要说明的是，将训练数据输入至分拣网络中进行训练，将训练好的网络权重数据迁移至jetson nano开发板中，利用训练好的权重数据完善分拣网络，提高预测精度。
[0102]
通过该分拣网络进行物品识别，降低了网络结构复杂性和网络计算复杂性，提高了检测性能，提高了算法的运行速度，提高了检测效率，具有良好的鲁棒性，具有良好的通用性；进而提高了物体分拣效率。
[0103]
本发明的第二方面的实施例，提供了一种物体分拣装置。
[0104]
参照图3，物体分拣装置包括图像获取单元10、图像识别单元20和分拣单元30。
[0105]
其中，图像获取单元10用于获取待识别物品图像；图像识别单元20用于将待识别物品图像输入至分拣网络进行物品识别得到识别结果，其中，分拣网络根据所述待识别物品图像进行特征提取得到特征图，根据特征图进行预测，并通过三个预测分支分别输出目标候选框的中心点、目标候选框的偏置值和目标候选框的尺寸，根据目标候选框的中心点、目标候选框的偏置值和目标候选框的尺寸确定目标检测框，根据目标检测框得到所述识别结果；分拣单元30用于根据识别结果进行物体分拣。
[0106]
图像获取单元10可以为具有摄像头的能够进行图像采集的设备。图像识别单元20可以是具有分拣网络的计算机设备。分拣单元30可以为具有机械臂的分拣机器人设备。
[0107]
需要说明的是，本发明的第二方面的实施例所采用的物体分拣装置的各单元与本发明的第一方面的实施例所采用的物体分拣方法的各步骤一一对应，两者具有相同的技术方案，解决相同的技术问题，带来相同的技术效果，因此对客流预测装置不再一一详述。
[0108]
本发明的第三方面的实施例，提供了一种物体分拣设备。物体分拣设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明的第一方面的实施例所述的物体分拣方法。
[0109]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0110]
本发明的第四方面的实施例，提供了一种存储介质。所述存储介质存储有计算机程序，所述计算机程序用于执行如本发明的第一方面的实施例所述的物体分拣方法。
[0111]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可
以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质和通信介质。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom或其他存储器技术、cd-rom、数字多功能盘或其他光盘存储、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0112]
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。