一种单件商品的识别方法和装置与流程

本发明涉及自动化生产，尤其涉及一种单件商品的识别方法和装置。

背景技术：

1、在现代工业自动化生产场景下，商品通常通过完整的自动生产线进行商品的生产、检测、包装等流程。其中，商品在生产线中的传送装置进行传送时经常出现多件商品之间间隔极小、甚至多个商品堆叠的情况，会影响后续的基于单件商品的操作的精准度。因此，需要对传送装置上的商品进行检测，识别出标准的单件商品，对于多件、叠件的商品则需要将其剔除，重新投入传送装置。其中，在进行检测时，传统的检测方法主要依赖于直接对图像数据进行识别，并通过模板匹配等方式确定商品是否为单件，在复杂背景下识别的精准度较低。

技术实现思路

1、有鉴于此，本发明实施例提供一种单件商品识别的方法和装置，能够通过商品传送图像数据进行多模态融合的商品检测，提高单件商品的识别准确性。

2、为实现上述目的，根据本发明实施例的一个方面，提供了一种单件商品的识别方法，包括：

3、根据预设区域尺寸识别商品传送图像数据中的商品有效区域的图像数据；

4、调用识别模型识别所述图像数据中的商品数据，得到第一商品掩码数据；

5、对所述图像数据进行边缘检测，得到商品轮廓数据，并基于所述商品轮廓数据生成第二商品掩码数据；

6、基于所述第一商品掩码数据和所述第二商品掩码数据进行去重，得到目标掩码数据，并基于所述目标掩码数据的连通域数量和预设单件商品判定规则识别所述商品有效区域中的单件商品区域。

7、可选地，所述识别模型为轻量级视觉分割模型，所述调用识别模型识别所述图像数据中的商品数据，得到第一商品掩码数据，包括：

8、根据所述图像数据和预设文本提示生成多类型提示数据；

9、调用所述轻量级视觉分割模型，以基于所述多类型提示数据识别所述图像数据中的商品数据，得到第一商品掩码数据。

10、可选地，所述对所述图像数据进行边缘检测，得到商品轮廓数据，包括：

11、将所述图像数据转换为灰度图像数据，并基于所述灰度图像数据进行边缘检测，得到边缘图像数据；

12、基于所述边缘图像数据进行轮廓识别，得到所述商品轮廓数据。

13、可选地，所述基于所述第一商品掩码数据和所述第二商品掩码数据进行去重，得到目标掩码数据之前，所述方法还包括：对所述图像数据进行网格划分，得到所述图像数据中的多个网格点；对所述多个网格点进行边缘预测，得到每个网格点对应的掩码数据，并对所述每个网格点对应的掩码数据进行去重，得到第三商品掩码数据；

14、所述基于所述第一商品掩码数据和所述第二商品掩码数据进行去重，得到目标掩码数据，包括：基于所述第一商品掩码数据、所述第二商品掩码数据和所述第三商品掩码数据进行去重，得到目标掩码数据。

15、可选地，所述对所述每个网格点对应的掩码数据进行去重，得到第三商品掩码数据，包括：

16、根据所述每个网格点对应的掩码数据计算任意两个网格点对应的掩码数据的交并比，并根据所述交并比确定重叠的掩码数据；

17、根据所述重叠的掩码数据进行去重，得到所述第三商品掩码数据。

18、可选地，所述基于所述第一商品掩码数据、所述第二商品掩码数据和所述第三商品掩码数据进行去重，得到目标掩码数据，包括：

19、根据所述第一商品掩码数据对应的第一置信度评分、所述第二商品掩码数据对应的第二置信度评分和所述第三商品掩码数据对应的第三置信度评分对所述第一商品掩码数据、所述第二商品掩码数据和所述第三商品掩码数据按照置信度评分从高到底的顺序进行排序，得到掩码数据序列；

20、计算所述掩码数据序列中任意两个掩码数据的交并比，并根据计算结果确定所述掩码数据序列中的重叠掩码数据；

21、确定重叠掩码数据中顺序在前的第一掩码数据，并将所述重叠掩码数据中除所述第一掩码数据之外的掩码数据作为待去重数据，对所述掩码数据序列中的掩码数据进行去重，得到目标掩码数据。

22、可选地，所述预设单件商品判定规则为商品有效区域中的连通域数量为1且所述商品有效区域中连通域对应的商品面积不超过预设商品面积阈值。

23、可选地，所述根据预设区域尺寸识别商品传送图像数据中的商品有效区域的图像数据之前，所述方法还包括：

24、从图像缓冲区中获取所述商品传送图像数据，所述图像缓冲区中的图像数据为按照预设帧率从商品传送视频数据中采抓取的图像帧数据。

25、可选地，所述方法还包括：

26、确定所述单件商品区域的中商品的最小外接矩形，并基于所述最小外接矩形确定所述商品的调整角度，以基于所述调整角度调整所述商品的传送方向。

27、根据本发明实施例的另一方面，提供了一种单件商品的识别装置，包括：

28、第一识别模块，用于根据预设区域尺寸识别商品传送图像数据中的商品有效区域的图像数据；

29、第二识别模块，用于调用识别模型识别所述图像数据中的商品数据，得到第一商品掩码数据；

30、检测模块，用于对所述图像数据进行边缘检测，得到商品轮廓数据，并基于所述商品轮廓数据生成第二商品掩码数据；

31、第三识别模块，用于基于所述第一商品掩码数据和所述第二商品掩码数据进行去重，得到目标掩码数据，并基于所述目标掩码数据的连通域数量和预设单件商品判定规则识别所述商品有效区域中的单件商品区域。

32、根据本发明实施例的又一方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所提供的单件商品的识别方法。

33、根据本发明实施例的又一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例所提供的单件商品的识别方法。

34、根据本发明实施例的再一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本发明实施例所提供的单件商品的识别方法。

35、上述发明中的一个实施例具有如下优点或有益效果：能够将模型识别与边缘检测方法进行结合，实现多模态融合的识别策略，提高了商品识别结果的准确性。而且多模态融合的识别策略能够解决单一识别方法时识别准确性较低的问题，同时兼顾识别效率与识别准确性，在自动化生产场景下产生较好的识别效果。此外，基于识别模型的识别方法能够提高复杂场景下的识别精度，进而提高整体识别流程的准确性。

36、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

1.一种单件商品的识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述识别模型为轻量级视觉分割模型，所述调用识别模型识别所述图像数据中的商品数据，得到第一商品掩码数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述图像数据进行边缘检测，得到商品轮廓数据，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述第一商品掩码数据和所述第二商品掩码数据进行去重，得到目标掩码数据之前，所述方法还包括：对所述图像数据进行网格划分，得到所述图像数据中的多个网格点；对所述多个网格点进行边缘预测，得到每个网格点对应的掩码数据，并对所述每个网格点对应的掩码数据进行去重，得到第三商品掩码数据；

5.根据权利要求4所述的方法，其特征在于，所述对所述每个网格点对应的掩码数据进行去重，得到第三商品掩码数据，包括：

6.根据权利要求4所述的方法，其特征在于，所述基于所述第一商品掩码数据、所述第二商品掩码数据和所述第三商品掩码数据进行去重，得到目标掩码数据，包括：

7.根据权利要求1所述的方法，其特征在于，所述预设单件商品判定规则为商品有效区域中的连通域数量为1且所述商品有效区域中连通域对应的商品面积不超过预设商品面积阈值。

8.根据权利要求1所述的方法，其特征在于，所述根据预设区域尺寸识别商品传送图像数据中的商品有效区域的图像数据之前，所述方法还包括：

9.根据权利要求1-8中任一项所述的方法，其特征在于，所述方法还包括：

10.一种单件商品的识别装置，其特征在于，包括：

11.一种电子设备，其特征在于，包括：

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9中任一所述的方法。

13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9中任一所述的方法。