一种检测商品的方法和系统与流程

1.本发明涉及计算机技术领域，特别涉及一种检测商品的方法和系统。


背景技术：

2.货架商品的识别一直是商超里非常关心的问题，通过对货架商品的识别，能够衍生出广泛的商业价值。现有技术中，通过深度学习的商品特征检可以大规模地对货架上商品进行识别，但是检索出的商品是按照相似度排序，不可避免地存在相似商品的错误检索，导致商品的误识别率较大。


技术实现要素：

3.本发明提供了一种检测商品的方法和系统，以解决现有技术中存在的误识别率较大的问题。
4.本发明提供了一种检测商品的方法，包括以下步骤：
5.对货架上的目标商品以及与所述目标商品相邻的价签进行拍摄，得到目标图像；
6.从所述目标图像中检测出价签区域和商品区域，从所述价签区域中识别出价签信息，从所述商品区域中识别出商品信息；
7.基于所述价签信息和所述商品信息，确定所述目标商品的商品名称和商品库存量单元sku。
8.本发明还提供了一种检测商品的系统，包括：
9.拍摄模块，用于对货架上的目标商品以及与所述目标商品相邻的价签进行拍摄，得到目标图像；
10.检测模块，用于从所述目标图像中检测出价签区域和商品区域；
11.第一识别模块，用于从所述价签区域中识别出价签信息；
12.第二识别模块，用于从所述商品区域中识别出商品信息；
13.确定模块，用于基于所述价签信息和所述商品信息，确定所述目标商品的商品名称和商品库存量单元sku。
14.本发明实施例通过价签和商品特征联合识别商品，能够提高商品的识别准确率，有效降低商品识别中对相似商品的误识别率。
附图说明
15.图1为本发明实施例中的一种检测商品的方法流程图；
16.图2为本发明实施例中的货架上的商品和价签的陈列情况示意图；
17.图3为本发明实施例中的一种检测商品的具体实施方式流程图；
18.图4为本发明实施例中的检测价签在货架上的位置的示意图；
19.图5为本发明实施例中的一种检测商品的系统结构示意图。
具体实施方式
20.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.本发明实施例提供了一种检测商品的方法，如图1所示，包括以下步骤：
22.步骤101，对货架上的目标商品以及与目标商品相邻的价签进行拍摄，得到目标图像。
23.其中，货架上的每个商品均具有与其相邻的价签，如图2所示。目标商品即为货架上需要被检测的商品。
24.步骤102，从目标图像中检测出价签区域和商品区域，从价签区域中识别出价签信息，从商品区域中识别出商品信息。
25.其中，价签信息为与价签区域对应的第一商品特征，该第一商品特征包括第一商品名称、第一商品sku(stock keeping unit，库存量单元)和第一商品图像特征；商品信息为与商品区域对应的多个第二商品特征，每个第二商品特征包括第二商品名称、第二商品sku和第二商品图像特征；相应地，可以从所述价签区域识别出编码信息，并通过价签系统查询出与所述编码信息对应的第一商品特征。
26.步骤103，基于价签信息和商品信息，确定目标商品的商品名称和商品sku。
27.具体地，可以通过深度学习网络，将所述第一商品图像特征分别与所述多个第二商品特征各自包括的第二商品图像特征进行对比，输出多个相似置信度；从多个第二商品图像特征中确定与所述第一商品图像特征相似置信度最高的目标商品图像特征，并将所述目标商品图像特征对应的商品名称和商品sku作为所述目标商品的商品名称和商品sku。
28.本实施例中，通过深度学习网络检索识别出商品信息后，可以通过对待确认的商品特征与近邻的价签商品特征进行二次确认，通过两个特征的对比，能够增强检索相似度的置信度。如果近邻价签与待确认的商品特征差异超过阈值，则提取top3的商品特征与价签商品特征对比，找到满足阈值的相似特征，则替换检索的商品sku和商品名称。如果遍历top3的商品特征与价签商品特征都不满足阈值，则默认检索出的商品信息结果。
29.本发明实施例通过价签和商品特征联合识别商品，能够提高商品的识别准确率，有效降低商品识别中对相似商品的误识别率。
30.如图3所示，为本发明实施例中的一种检测商品的具体实施方式流程图，包括以下步骤：
31.步骤301，对与目标商品相邻的价签上的编码执行切页或亮灯操作。
32.具体地，通过对价签进行切页或亮灯，可以使得价签显示特定编码。
33.步骤302，对目标商品以及与目标商品相邻的价签进行拍摄，得到目标图像。
34.具体地，在价签显示特定编码的情况下，通过相机采集目标图像，该目标图像包括货架上的目标商品以及与目标商品相邻的价签。
35.步骤303，从目标图像中检测出价签区域和商品区域，从价签区域中识别出第一商品特征，从商品区域中识别出多个第二商品特征。
36.其中，第一商品特征包括第一商品名称、第一商品sku和第一商品图像特征，每个
第二商品特征均包括第二商品名称、第二商品sku和第二商品图像特征。
37.具体地，可以通过图像识别算法检测价签在货架上的位置，如图4所示。由于通过深度学习的方法检测出价签，同时对价签上的切页/亮灯的编码进行识别。再通过价签系统中查询出价签编码和商品sku的对应关系，得到第一商品特征，从而可以通过价签无线定位来辅助深度学习的预测结果。
38.本实施例中，可以通过深度学习的目标检测/分割，检测出货架上的商品，再通过商品检索能够查询检测商品区域对应的商品sku和商品名称。
39.步骤304，按照置信度，对多个第二商品特征进行排序，得到待确认的商品特征，以及预设数量的第二商品特征。
40.其中，待确认的商品特征为所述多个第二商品特征中置信度最高的第二商品特征，预设数量的第二商品特征中的每个第二商品特征的置信度均大于第一预设阈值。
41.步骤305，通过深度学习网络，将所述第一商品图像特征与所述待确认的商品特征所包括的待确认商品图像特征进行对比，判断所述第一商品图像特征与所述待确认商品图像特征之间的差异度是否大于第二预设阈值；如果差异度不大于第二预设阈值，则将所述待确认的商品特征所包括的商品名称和商品sku确定为所述目标商品的商品名称和商品sku；如果差异度大于第二预设阈值，则将所述第一商品图像特征分别与所述预设数量的第二商品特征各自包括的第二商品图像特征进行对比，若所述预设数量的第二商品特征中的目标商品特征包括的目标商品图像特征与所述第一商品图像特征之间的差异度不大于第二预设阈值，则将所述目标商品特征所包括的商品名称和商品sku确定为所述目标商品的商品名称和商品sku；若所述预设数量的第二商品特征各自包括的第二商品图像特征与所述第一商品图像特征之间的差异度均大于第二预设阈值，则输出所述多个第二商品特征所包括的商品名称和商品sku。
42.本发明实施例通过对待确认的商品特征与近邻的价签商品特征进行二次确认，能够增强检索相似度的置信度，提高商品的识别准确率，有效降低商品识别中对相似商品的误识别率。
43.如图5所示，为本发明实施例中的一种检测商品的系统结构示意图，包括：
44.拍摄模块510，用于对货架上的目标商品以及与所述目标商品相邻的价签进行拍摄，得到目标图像。
45.检测模块520，用于从所述目标图像中检测出价签区域和商品区域。
46.第一识别模块530，用于从所述价签区域中识别出价签信息。
47.其中，价签信息为与所述价签区域对应的第一商品特征，第一商品特征包括第一商品名称、第一商品sku和第一商品图像特征。
48.第一识别模块530，具体用于从所述价签区域识别出编码信息，并通过价签系统查询出与所述编码信息对应的第一商品特征。
49.第二识别模块540，用于从所述商品区域中识别出商品信息。
50.确定模块550，用于基于所述价签信息和所述商品信息，确定所述目标商品的商品名称和商品库存量单元sku。
51.其中，商品信息为与所述商品区域对应的多个第二商品特征，每个所述第二商品特征包括第二商品名称、第二商品sku和第二商品图像特征。
52.相应地，确定模块550，具体用于通过深度学习网络，将所述第一商品图像特征分别与所述多个第二商品特征各自包括的第二商品图像特征进行对比，输出多个相似置信度；从多个第二商品图像特征中确定与所述第一商品图像特征相似置信度最高的目标商品图像特征，并将所述目标商品图像特征对应的商品名称和商品sku作为所述目标商品的商品名称和商品sku。
53.本实施例中，第二识别模块540，具体用于从所述商品区域中识别出多个第二商品特征，并按照置信度，对所述多个第二商品特征进行排序，得到待确认的商品特征，以及预设数量的第二商品特征，所述待确认的商品特征为所述多个第二商品特征中置信度最高的第二商品特征，所述预设数量的第二商品特征中的每个第二商品特征的置信度均大于第一预设阈值。
54.相应地，确定模块550，具体用于通过深度学习网络，将所述第一商品图像特征与所述待确认的商品特征所包括的待确认商品图像特征进行对比，判断所述第一商品图像特征与所述待确认商品图像特征之间的差异度是否大于第二预设阈值；如果差异度不大于第二预设阈值，则将所述待确认的商品特征所包括的商品名称和商品sku确定为所述目标商品的商品名称和商品sku；如果差异度大于第二预设阈值，则将所述第一商品图像特征分别与所述预设数量的第二商品特征各自包括的第二商品图像特征进行对比，若所述预设数量的第二商品特征中的目标商品特征包括的目标商品图像特征与所述第一商品图像特征之间的差异度不大于第二预设阈值，则将所述目标商品特征所包括的商品名称和商品sku确定为所述目标商品的商品名称和商品sku；若所述预设数量的第二商品特征各自包括的第二商品图像特征与所述第一商品图像特征之间的差异度均大于第二预设阈值，则输出所述多个第二商品特征所包括的商品名称和商品sku。
55.此外，上述系统，还包括：
56.处理模块，用于对所述价签上的编码执行切页或亮灯操作。
57.本发明实施例通过对待确认的商品特征与近邻的价签商品特征进行二次确认，能够增强检索相似度的置信度，提高商品的识别准确率，有效降低商品识别中对相似商品的误识别率。
58.结合本文中所公开的实施例描述的方法中的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
59.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。