基于图片搜索的商品在架位置识别方法、系统和存储介质与流程

1.本技术涉及计算机技术领域，具体而言，涉及一种基于图片搜索的商品在架位置识别方法、系统、设备和存储介质。


背景技术：

2.图片搜索技术越来越成熟，一些技术公司开始将其应用于商品搜索和商品管理。商品搜索是指有一张目标图片，在产品库中搜索相近的图片，搜索结果往往为一组产品图片，常见于电商网站的商品查询。商品管理是指有多个目标图片，同时在产品库中搜索，常见于后台系统的商品批量管理。
3.目前图片搜索技术还只是局限于商品搜索的的简单应用，对于商品管理，尚未进行深入场景化的应用。对于库存量非常大的场景，如超市、大型卖场、商场等，需要商品在货架上进行展示，并经常会调整其位置，位置调整后如果采用人工的方式更新商品信息，费时费力。如何在商品管理时候能够快速建立其空间位置定位，成为线下物品管理领域亟待解决的问题。


技术实现要素：

4.本技术实施例的目的在于提供一种基于图片搜索的商品在架位置识别方法，其能够快速地了解商品是否在架以及商品摆放位置，适用于线下场景化的商品管理。
5.第一方面，本技术实施例提供一种基于图片搜索的商品在架位置识别方法，包括：
6.获取包含有多个商品主体图像的目标图片；
7.获取多个商品主体图像在所述目标图片中的相对位置信息；
8.根据每个商品主体图像的相对位置信息绘制出每个所述商品主体图像在所述目标图片中的分配区域；并重新形成出包含该商品主体与其他商品主体的相对空间位置图；
9.在每个商品主体图像所在的分配区域内提取该商品主体的识别信息；
10.将提取的商品主体的识别信息在产品库中查找是否存在该商品主体；
11.若所述产品库中存在该商品主体，则将该商品主体与其对应的相对空间位置图关联并存入数据库；
12.根据商品主体的识别信息字段检索到该商品主体的相对空间位置图。
13.在一种实施方案中，所述获取多个商品主体图像在所述目标图片中的相对位置信息包括：
14.对所述目标图片中的每个商品主体的图像进行图像识别，获得每个商品主体的主体信息；
15.提取每个主体信息中的坐标信息；
16.根据坐标信息确定出每个商品主体图像在所述目标图片中的相对位置信息。
17.在一种实施方案中，所述根据每个商品主体图像的相对位置信息绘制出每个所述商品主体图像在所述目标图片中的分配区域；并重新形成出包含该商品主体与其他商品主
体的相对空间位置图包括：
18.根据主体信息中的坐标信息绘制出该商品主体图像所在的矩形边框，所述矩形边框所框出的区域为所述分配区域；
19.截取分配区域中的商品主体图像形成该商品主体的截图，并将该商品主体的截图移动至新的图板中；
20.将其他商品主体的截图移动至所述新的图板中，其与该商品主体截图的位置关系按照每个商品主体图像在所述目标图片中的相对位置关系布置；
21.所有商品主体的截图移动完毕后构成该商品主体与其他商品主体的相对空间位置图。
22.在一种实施方案中，所述获取多个商品主体图像在所述目标图片中的相对位置信息包括：
23.对所述目标图片中的每个商品主体的图像的外围进行图像识别，判断每个商品主体图像的外围是否存在有外边框图像；
24.若每个商品主体的图像的外围包括有外边框图像，则获取每个外边框图像的顶点坐标信息；根据外边框图像的顶点坐标信息确定出每个商品主体图像在所述目标图片中的相对位置信息。
25.在一种实施方案中，所述将提取的商品主体的识别信息在产品库中查找是否存在该商品主体包括：
26.根据提取的商品主体的识别信息在所述产品库中进行图片搜索，获取一组相似的商品图片；
27.依次计算每个商品图片与所述相对空间位置图中该商品主体图像的相似度值；
28.若相似度值大于一设定阈值，则认为所述产品库中存在该商品主体。
29.在一种实施方案中，，所述商品主体的识别信息包括：商品主体的种类、名称、颜色、属性中的至少一种。
30.第二方面，本技术实施例还提供了一种基于图片搜索的商品在架位置识别系统，用于实现如上任一项所述的基于图片搜索的商品在架识别方法的步骤，包括：
31.图像采集设备，用于获取包含有多个商品主体图像的目标图片；
32.位置信息提取模块，用于获取多个商品主体图像在所述目标图片中的相对位置信息；
33.图片提取模块，用于根据每个商品主体图像的相对位置信息绘制出每个所述商品主体图像在所述目标图片中的分配区域；以及重新形成出包含该商品主体与其他商品主体的相对空间位置图；
34.识别信息提取模块，用于在每个商品主体图像所在的分配区域内提取该商品主体的识别信息；
35.信息对比模块，用于将提取的商品主体的识别信息在产品库中查找是否存在该商品主体；以及在所述产品库中存在该商品主体时，则将该商品主体与其对应的相对空间位置图关联并存入数据库；
36.检索模块，用于根据商品主体的识别信息字段检索到该商品主体的相对空间位置图。
37.第三方面，本技术实施例还提供了一种基于图片搜索的商品在架位置识别设备，包括：
38.存储器，用于存储计算机程序；
39.处理器，用于执行所述计算机程序时实现如上任一项所述的基于图片搜索的商品在架识别方法的步骤。
40.第四方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的基于图片搜索的商品在架识别方法的步骤。
41.由以上技术方案可知，本技术提供了一种基于图片搜索的物品空间位置检索定位的方法，可以通过一张图片中的多个商品主体自动建立空间定位图，并与对应商品匹配建立联系，管理者可以通过商品信息快速查询到该商品是否在架以及在架中的空间位置信息，从而实现线下物品的快速管理。
附图说明
42.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
43.图1为根据本技术实施例示出的一种基于图片搜索的商品在架位置识别方法的步骤流程图；
44.图2为根据本技术实施例示出的一种实现步骤s103的一种步骤流程图；
45.图3为根据本技术实施例示出的一种在产品库中查找是否存在商品主体的流程示意图；
46.图4为根据本技术实施例示出的一种商品在架位置识别系统的模块连接示意图；
47.图5是本技术一实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
48.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
49.为了更高效、更及时地了解商品在货架上是否摆放以及该摆放位置周边的环境，该环境包括但不限于其他商品的种类、个数、货架图案、货架位置识别码等，发明人通过创造性的劳动提出了一种基于图片搜索的商品在架位置识别方法、系统及存储介质。值得说明的是，本技术提供的方法是通过获取货架中拍摄位置处商品的目标图片，对目标图片中每个商品的图像及该商品与其他商品的相对位置均进行识别，并生成相对位置图；将识别到的商品图像与参照图片(产品库中对于库存的商品通过留存图片以表示产品库中存在该
商品)进行对比，若产品库中存在该商品，则将与该商品对应的相对位置图与该商品关联并保存。在查询商品是否在货架以及其周边环境时，通过该商品的检索字段即可查询到该商品的相对位置图，从而实现对该商品空间位置的识别定位。进而实现线下物品的快速管理。
50.以下结合附图和具体实施例对本公开提出的基于图片搜索的商品在架位置识别方法、系统及存储介质作进一步详细说明。
51.应当理解的内容是，说明书中的用辞仅用于描述特定的实施例，并不旨在限定本技术。说明书使用的所有术语(包括技术术语和科学术语)除非另有定义，均具有本领域技术人员通常理解的含义。为简明和/或清楚起见，公知的功能或结构不再详细说明。
52.请参阅图1，其展示了本技术一实施例中的基于图片搜索的商品在架位置识别方法的步骤流程图。
53.步骤s101：获取包含有多个商品主体图像的目标图片。
54.目标图片既可以利用相机对着摆放有商品的货架进行拍摄获取，也可对没有货架的摆台、摊位等可展示商品的场景进行拍摄。实际场景可以是摆放有货架的商场超市、小型超市、便利店；或者没有或仅有部分货架的大型卖场等，需要说明的是，本技术对于实际场景不做具体限定。利用相机获取目标图片也仅是示例性的，凡是具有拍摄功能的智能终端设备均可落入本技术所阐述的范围之内，如手机等。本发明实施例中对商品的内容或类型不作具体限制，包括但不限于服装、电器、生活用品等。
55.获取的目标图片记为图p，图p中包含有多个商品主体，商品主体是指在图p中包含的一个个物品。
56.步骤s102：获取多个商品主体图像在目标图片中的相对位置信息。
57.对目标图片图p中的每个商品主体的图像进行图像识别，获得每个商品主体的主体信息。
58.商品主体的主体信息包括但不限于商品主体的种类、名称、颜色、属性中的至少一种，同时，主体信息还包括商品主体图像在图p中的坐标及分辨率等信息。
59.本技术中，关于商品主体关于种类、名称、颜色、属性等信息可使用预先设置的物品探测模型来获取。所述的物品探测模型采用卷积神经网络系统对目标图片中的商品进行识别，得到商品的图像特征信息，以及商品所对应的尺寸信息。
60.具体的，卷积神经网络系统(convolutional neural networks，cnn)是一个可以根据收集的图片提取图像特征信息并通过利用大量不同类型的图像进行训练而实现深度学习的识别系统。深度学习采用了深层神经网络模型(deep neural networks，dnn)，深层模型是包含多个隐藏层的人工神经网络，多层非线性结构使其具备强大的特征表达能力和对复杂任务建模能力。从深层神经网络模型发展而成的卷积神经网络系统，利用图像局部的统计特征信息与其他局部的特征信息一致的固有特性进行图像分析和识别，尤其适用于像素点较多的大尺寸图像。利用卷积神经网络系统提取图片中的图像特征信息属于本领域的公知技术，本技术不做具体阐述。
61.关于商品主体的坐标及分辨率等信息可使用预先设置的图像处理模型来获取。图像处理模型根据物品探测模型获取的商品尺寸信息可确定出每个商品主体在目标图片图p中的坐标信息和坐标信息所形成区域内的像素等信息。
62.由于商品主体的主体信息中，坐标信息与相对位置的确定最为直接，故在一种可
能的实施方案中，提取每个商品主体信息中的坐标信息，以及根据坐标信息确定出每个商品主体图像在目标图片中的相对位置信息。
63.举例说明，一个商品主体的坐标信息可为location：{“top”：79，“left”：310，“width”：462，“heigth”：610}。
64.在另一种可实施的方案中，获取多个商品主体图像在目标图片中的相对位置信息还可通过下述方式实现：
65.对目标图片中的每个商品主体的图像的外围进行图像识别，判断每个商品主体图像的外围是否存在有外边框图像。若每个商品主体的图像的外围包括有外边框图像，则获取每个外边框图像的顶点坐标信息，根据外边框图像的顶点坐标信息确定出每个商品主体图像在目标图片中的相对位置信息。图像识别获取外边框图像的坐标信息可通过卷积神经网络系统实现，此处不再赘述。
66.若每个商品主体的图像的外围没有外边框图像，则按照上述商品主体的坐标信息确定出每个商品主体图像在目标图片中的相对位置信息。
67.步骤s103：根据每个商品主体图像的相对位置信息绘制出每个商品主体图像在目标图片中的分配区域；并重新形成出包含该商品主体与其他商品主体的相对空间位置图。
68.参照图2，示出了本发明中关于实现步骤s103的其中一种方法的步骤流程图，具体包括以下步骤：
69.步骤s1031：根据主体信息中的坐标信息绘制出该商品主体图像所在的矩形边框，矩形边框所框出的区域为分配区域。
70.在目标图片图p中确定出多个商品主体g1，g2
……
gn，n为目标图片中商品的个数。对于每个商品主体，根据其所对应的坐标信息绘制出矩形边框，每个矩形边框所围出的区域即为分配区域。
71.步骤s1032：截取分配区域中的商品主体图像形成该商品主体的截图，并将该商品主体的截图移动至新的图板中。
72.截取每个分配区域中的商品主体图像，形成多个商品主体的截图z1，z2，
……
zn。
73.步骤s1033：将其他商品主体的截图移动至新的图板中，其与该商品主体截图的位置关系按照每个商品主体图像在目标图片中的相对位置关系布置。
74.以z1为例进行说明，在将截图z1移动至新的图板中后，将z2，
……
zn移动至新的图板中，形成一张新的图z。
75.图z中每个商品主体图像的相对位置与目标图片图p中的相对位置关系一致。
76.步骤s1034：所有商品主体的截图移动完毕后构成该商品主体与其他商品主体的相对空间位置图。
77.图z即为商品主体g1与其他商品主体g2
……
gn的相对空间位置图，同理，图z也是商品主体g2与其他商品主体的相对空间位置图。商品主体g1、g2
……
gn的相对空间位置图均为图z。
78.步骤s104：在每个商品主体图像所在的分配区域内提取该商品主体的识别信息。
79.在步骤s102中，可通过卷积神经网络只先获取商品所对应的尺寸信息以得到每个商品主题的坐标信息。在该步骤中，可通过卷积神经网络获取商品主体的种类、名称、颜色、属性等各种信息，本技术中的实施例可将商品主体的种类、名称、颜色、属性中的一种或多
种信息作为该商品主体的识别信息；如商品主体的货号，或者白色置物架、黑色置物架等。通过识别信息，可唯一确定该商品主体。
80.步骤s105：将提取的商品主体的识别信息在产品库中查找是否存在该商品主体。
81.产品库是指经营主体，如超市、卖场等，对经营的所有商品进行数据录入而形成的数据库。
82.图3为根据本技术实施例示出的一种在产品库中查找是否存在商品主体的流程示意图，参加图3，包括如下步骤：
83.子步骤s1051：根据提取的商品主体的识别信息在产品库中进行图片搜索，获取一组相似的商品图片。以商品主体g1为例，获取一组相似的商品图片m1，m2......mx。
84.子步骤s1052：依次计算每个商品图片与相对空间位置图中该商品主体图像的相似度值。图像相似度值可通过直方图方法、图像模板匹配、psnr(peak signal to noise ratio)峰值信噪比、ssim(structural similarity)结构相似性、感知哈希算法(perceptual hash algorithm)中的任一种或多种进行计算获得。
85.子步骤s1053：若相似度值大于一设定阈值，则认为产品库中存在该商品主体。
86.依次计算图片m1，m2......mx与商品主体g1的图片，判断是否通过一致性检查。若相似度值大于一个设定的阈值，则认为通过一致性检查，即产品库中存在该商品主体。同理，对于其他商品主体g2
……
gn，亦采用相同方法进行一致性检查，以识别出产品库中是否存在该商品主体。
87.步骤s106：若产品库中存在该商品主体，则将该商品主体与其对应的相对空间位置图关联并存入数据库。
88.通过一致性检查的图mx即被认为与商标主体g1是同一个物品，建立对应的图z和图mx的信息关联，存入数据库。
89.步骤s107：根据商品主体的识别信息字段检索到该商品主体的相对空间位置图。
90.通过商品(图mx)的识别信息字段即可检索到该商品的空间位置图图z。
91.由以上技术方案可知，本技术提供了一种基于图片搜索的物品空间位置检索定位的方法，可以通过一张图片中的多个商品主体自动建立空间定位图，并与对应商品匹配建立联系，管理者可以通过商品信息快速查询到该商品是否在架以及在架中的空间位置信息，从而实现线下物品的快速管理。
92.本技术中的实施例还提供了一种基于图片搜索的商品在架位置识别系统，图4示出了该商品在架位置识别系统的模块连接示意图。该系统能够实现本技术中的基于图片搜索的商品在架识别方法。为了实现本技术中的识别方法，该系统包括：
93.图像采集设备401，用于获取包含有多个商品主体图像的目标图片；
94.位置信息提取模块402，用于获取多个商品主体图像在所述目标图片中的相对位置信息；
95.图片提取模块403，用于根据每个商品主体图像的相对位置信息绘制出每个所述商品主体图像在所述目标图片中的分配区域；以及重新形成出包含该商品主体与其他商品主体的相对空间位置图；
96.识别信息提取模块404，用于在每个商品主体图像所在的分配区域内提取该商品主体的识别信息；
97.信息对比模块405，用于将提取的商品主体的识别信息在产品库中查找是否存在该商品主体；以及在所述产品库中存在该商品主体时，则将该商品主体与其对应的相对空间位置图关联并存入数据库；
98.检索模块406，用于根据商品主体的识别信息字段检索到该商品主体的相对空间位置图。
99.本技术中的实施例还提供了一种基于图片搜索的商品在架位置识别设备。
100.所述商品在架位置识别设备包括：
101.存储器，用于存储计算机程序；
102.处理器，用于执行计算机程序时实现如上任一项的基于图片搜索的商品在架识别方法的步骤。
103.本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
104.本技术的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时能够实现上述基于图片搜索的商品在架位置识别方法的步骤。尽管本实施例未详尽地列举其他具体的实施方式，但在一些可能的实施方式中，本公开说明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本公开中对比方法部分中描述的根据本公开各种实施例中实施方式的步骤。
105.图5是本技术一实施例提供的计算机可读存储介质的结构示意图。如图5所示，其中描述了根据本公开的实施方式中用于实现上述方法的程序产品500，其可以采用便携式紧凑盘只读存储器(cd
‑
rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。当然，依据本实施例产生的程序产品不限于此，在本公开中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
106.程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cdrom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
107.计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
108.可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言
‑
诸如java、c 等，还包括常规的过程式程序设计语言
‑
诸如c语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上
执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
109.以上仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。