商品搜索方法、装置和设备与流程

1.本发明涉及互联网技术领域，尤其涉及一种商品搜索方法、装置和设备。


背景技术：

2.在电商场景中，用户搜索商品的方式可以有多种，如通过搜索界面上提供的一些类目选项进行搜索，通过输入关键字进行搜索，通过输入包含商品的图像进行搜索。
3.举例来说，用户想要购买某商品时，可以直接拍摄包含该商品的实拍图，并通过该实拍图搜索出同款商品。
4.但是，用户拍摄的实拍图的质量受到拍摄角度、拍摄环境、光线等方面的影响，可能质量不佳，导致直接通过实拍图进行商品搜索时，搜索结果准确性不佳。


技术实现要素：

5.本发明实施例提供一种商品搜索方法、装置和设备，用以提高商品搜索结果的准确性。
6.第一方面，本发明实施例提供一种商品搜索方法，该方法包括：
7.获取包含目标商品的实拍图像；
8.从商品数据库中确定与所述实拍图像的视觉特征匹配的参考商品图像；
9.在所述商品数据库中搜索与所述参考商品图像匹配的目标商品图像，并
10.输出与所述目标商品图像对应的商品信息。
11.第二方面，本发明实施例提供一种商品搜索装置，该装置包括：
12.获取模块，用于获取包含目标商品的实拍图像；
13.确定模块，用于从商品数据库中确定与所述实拍图像的视觉特征匹配的参考商品图像；
14.搜索模块，用于在所述商品数据库中搜索与所述参考商品图像匹配的目标商品图像，并输出与所述目标商品图像对应的商品信息。
15.第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如第一方面所述的商品搜索方法。
16.第四方面，本发明实施例提供一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如第一方面所述的商品搜索方法。
17.本发明实施例提供的方案中，首先获取包含目标商品的实拍图像，然后从商品数据库中确定与实拍图像的视觉特征匹配的参考商品图像，再在商品数据库中搜索与参考商品图像匹配的目标商品图像，最后输出与目标商品图像对应的商品信息。由于商家在上传商品相关信息时，会向商品数据库中提供商品图像，通过从商品数据库中确定与实拍图像的视觉特征匹配的参考商品图像，以参考商品图像替代实拍图像作为商品搜索的输入条
件，可以降低实拍图像的质量对商品搜索结果的影响，以提高商品搜索结果的准确性。
附图说明
18.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明实施例提供的一种商品搜索方法的流程图；
20.图2为本发明实施例提供的一种商品搜索方法的应用示意图；
21.图3为本发明实施例提供的另一种商品搜索方法的流程图；
22.图4为本发明实施例提供的一种商品搜索过程中的操作界面示意图；
23.图5为本发明实施例提供的一种商品搜索装置的结构示意图；
24.图6为与图5所示实施例提供的商品搜索装置对应的电子设备的结构示意图。
具体实施方式
25.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
27.在实际应用中，越来越多的用户喜欢用一个商品的实拍图像进行商品搜索，这里的用户是指需要进行商品搜索的用户。例如用户在看到一个商品需要购买这款商品时，该用户可以使用手机对此商品进行拍照，得到实拍图像，以该实拍图像来搜索对应的商品。但是，由于实拍图像受环境中拍摄的角度、光线、设备的像素等影响较大，再加上现在很多商家因为营销、吸睛、促销等原因，商品图像展示的角度、细节特征、背景等都会做相应的设计包装导致与实拍图像存在很大的差距，这些因素都导致用户直接以实拍图像作为搜索条件而搜索到的商品结果的准确度不高，从而影响用户的体验感，为了解决这种问题，本发明实施例提出一种新的商品搜索的方法。
28.本发明实施例提供的商品搜索方法可以由一电子设备来执行，该电子设备可以是诸如pc机、笔记本电脑、智能手机等终端设备，也可以是服务器。该服务器可以是包含一独立主机的物理服务器，或者也可以为虚拟服务器，或者也可以为云端的服务器或服务器集群。
29.图1为本发明实施例提供的一种商品搜索方法的流程图，如图1所示，该方法可以包括如下步骤：
30.101、获取包含目标商品的实拍图像。
31.102、从商品数据库中确定与实拍图像的视觉特征匹配的参考商品图像。
32.103、在商品数据库中搜索与参考商品图像匹配的目标商品图像，输出与目标商品图像对应的商品信息。
33.在本发明实施例中，被搜索的商品比如可以是牛奶、零食、生鲜、服装、化妆品、日
用品等任一种具有外包装的物品。对商品进行搜索的目的，比如可以是搜索某一种商品的价位、某一种商品含有的各种成分等各种商品信息。
34.当用户对身边的某一种目标商品有搜索需求时，可以对该目标商品进行拍照，用得到的包含目标商品的实拍图像来进行搜索。比如，用户在地铁中看到一个奶粉的广告，该用户想获得这个奶粉的具体信息时，对这个广告里的奶粉包装盒拍了一张照片，这张照片即作为本文中所说的实拍图像。
35.本发明实施例中，并非直接以用户拍得的实拍图像作为商品搜索的最终搜索条件，而是仅以用户的实拍图像作为初始的搜索条件。
36.具体来说，商家通过电商平台进行商品在线销售的模式下，电商平台中会维护有包含若干商品信息的数据库，称为商品数据库。在商品数据库中，针对一个商品来说，可以包含这个商品对应的商品图像、商品标题、价格等多种商品信息。其中，商品图像一般是商家上传的经过一些设计的、图像质量较佳的图像。本发明实施例中，可以以用户的实拍图像作为初始的搜索条件，在商品数据库中首先搜索出与该实拍图像视觉特征匹配的商品图像，称为参考商品图像，之后，再以参考商品图像作为商品搜索的一种最终搜索条件，在商品数据库中继续搜索与参考商品图像匹配的商品图像，称为目标商品图像。最终，输出与目标商品图像对应的商品信息。
37.本发明实施例中，在确定参考商品图像的过程中，可以先根据实拍图像的视觉特征，确定商品数据库中的商品图像与实拍图像之间的视觉相似度，从而从商品数据库中确定与实拍图像之间视觉相似度符合设定条件的商品图像为参考商品图像。
38.其中，图像的视觉特征(或者也可以称为外观特征)可以包含颜色、轮廓、纹理、形状等特征。需要说明的是，本发明实施例中所说的视觉特征，应该理解为是从图像中能够看到有一个长相如何的物品，不应该理解出这个物品是什么的含义。举例来说，假设实拍图像中具有一行紫色的文字，那么视觉特征即为紫色的笔划，而不应理解为包含这行文字是什么的含义。
39.实际应用中，可以预先训练一个神经网络模型，该神经网络模型可以被配置为能够实现图像的视觉特征提取以及不同图像之间视觉特征相似度的计算的功能。基于此，针对用户拍得的一个实拍图像和商品数据库中包含的各商品图像，可以通过该模型进行实拍图像和各商品图像的视觉特征的提取，以及进行实拍图像与各商品图像之间视觉相似度的计算。之后，从商品数据库中确定与实拍图像之间视觉相似度符合设定条件的商品图像作为参考商品图像。其中，可选地，该设定条件可以是：视觉相似度大于设定阈值。可选地，当确定出的视觉特征与实拍图像的视觉特征之间的视觉相似度大于设定的阈值的商品图像数量不只1个时，可以从中确定出视觉相似度最大的一个商品图像作为参考商品图像；或者，还可以结合其他因素从中筛选出参考商品图像，比如结合相对应商品的关注度。
40.也就是说，可选地，还可以从商品数据库中确定与实拍图像之间视觉相似度符合设定条件，并且对应的商品关注度符合设定条件的商品图像作为参考商品图像。其中，该视觉相似度符合的设定条件比如可以是视觉相似度大于设定阈值，商品关注度符合的设定条件可以是关注度排名topn。
41.实际应用中，可以先以视觉相似度作为筛选条件，当从商品数据库中确定出的与实拍图像之间视觉相似度大于设定阈值的商品图像的数量达到设定数量(比如超过2个
时)，可以再进一步结合上述商品关注度进行筛选。
42.具体地，商品图像对应的商品关注度可以通过如下任一种指标度量：商品图像对应的商品的成交率、商品图像对应的点击率等。其中，商品图像对应的商品的成交率，可以通过统计该商品在设定时间范围内的成交量来确定；商品图像对应的点击率，可以通过统计该商品图像在设定时间范围内被点击的次数来确定。商品关注度的度量指标不以这两种举例的指标为限。
43.举例来说，假设先通过视觉相似度从商品数据库中选出10个与实拍图像之间视觉相似度大于设定阈值(如80％)的商品图像，则根据这10个商品图像各自对应的商品关注度，进而从中选出3个商品图像作为参考商品图像，其中，这3个商品图像的商品关注度高于未选的7个商品图像的商品关注度，即top3。
44.另外，在实际应用中，不管最终得到的参考商品图像的数量是多少个，可选地，在得到参考商品图像后，都可以先输出该参考商品图像供用户确认是否采用。如果用户确认采用输出的参考商品图像，则可选地，可以以该参考商品图像替代初始的实拍图像，在商品数据库中进行与参考商品图像匹配的目标商品图像的搜索；或者，可选地，也可以以该参考商品图像和初始的实拍图像都作为搜索条件，在商品数据库中进行与参考商品图像和实拍图像分别匹配的目标商品图像的搜索。
45.当然，可以理解的是，当确定出的参考商品图像的数量为多个时，用户可以从中选择与其搜索意图最为接近的一个或几个参考商品图像。另外，在用户确认使用全部或部分参考商品图像的基础上，仍可以将实拍图像作为其中一个搜索条件，是因为能够在商品数据库中搜索到与实拍图像之间视觉相似度大于设定阈值的商品图像，往往说明实拍图像的拍摄质量也不错，此时增加用户的实拍图像作为要搜索的目标商品的召回条件(即搜索条件)，可以提高目标商品的召回率。
46.假设用户确认使用参考商品图像进行目标商品的搜索，那么可以以参考商品图像作为搜索条件，再在商品数据库中搜索与参考商品图像匹配的目标商品图像。其中，该匹配也可以是如上文所述的视觉特征层面的匹配，此时，也可以设定一个视觉相似度阈值，将与参考商品图像之间视觉相似度大于该阈值的商品图像作为目标商品图像。最终向用户输出与目标商品图像对应的商品信息，这些商品信息即认为是与目标商品相关的商品信息。实际上，可以向用户输出至少一个商品列表界面，每个商品列表界面中包含多个商品链接信息，用户通过点击该链接信息进入到相应的商品介绍界面，在该商品介绍界面中会包含相应商品的各种详情信息。
47.综上，由于用户对商品的实拍图像与商品在电商平台的商品数据库中的商品图像往往具有一些差异，这些差异导致直接以实拍图像进行商品搜索的搜索结果准确度不佳。通过从商品数据库中确定与用户当前拍得的实拍图像之间视觉特征匹配的参考商品图像，以参考商品图像替代实拍图像作为商品搜索的输入条件，可以降低实拍图像的质量对商品搜索结果的影响，以提高商品搜索结果的准确性。
48.为便于理解，结合图2示例性说明一种用户搜索商品的场景。
49.在图2中，假设用户需要搜索的商品是一瓶牛奶，想要得到这瓶牛奶的价位等相关信息。用户对需要进行搜索的这一瓶牛奶进行拍照，得到如图2中示意的实拍图像，之后，对实拍的牛奶图像和商品数据库中的商品图像进行视觉特征的提取，将提取到的实拍牛奶图
像的视觉特征与商品数据库中的商品图像的视觉特征进行对比，确定出与实拍牛奶图像的视觉特征匹配的参考商品图像，然后，在商品数据库中搜索与参考商品图像匹配的目标商品图像，最后将与目标商品图像对应的商品信息输出。
50.以上实施例中在进行参考商品图像搜索的过程中，假设的是能够在商品数据库中搜索到与实拍图像的视觉相似度大于设定阈值的商品图像的情形。但是实际上，有可能存在未在商品数据库中搜索到与实拍图像之间视觉相似度大于设定阈值的商品图像的情形。针对该情形，可以采用如下图3所示实施例提供的方案。
51.图3为本发明实施例提供的另一种商品搜索方法的流程图，如图3所示，该方法包括如下步骤：
52.301、获取包含目标商品的实拍图像。
53.302、根据实拍图像的视觉特征，确定商品数据库中的商品图像与实拍图像之间的视觉相似度。
54.303、若未从商品数据库中确定与实拍图像之间视觉相似度大于设定阈值的商品图像，则从商品数据库中确定出与实拍图像之间视觉相似度最高的预设数量的商品图像为参考商品图像。
55.304、提取实拍图像中包含的语义信息。
56.305、在商品数据库中搜索与参考商品图像和语义信息匹配的目标商品图像。
57.306、输出与目标商品图像对应的商品信息。
58.本实施例中，在商品数据库中确定与实拍图像视觉特征匹配的参考商品图像的过程中，如果商品数据库中的各商品图像与该实拍图像之间的视觉相似度都低于设定阈值，说明在商品数据库中不存在与实拍图像在视觉特征上十分匹配的商品图像。这可能是由于实拍图像的质量较差导致的，也可能是用户拍摄的目标商品确实未包含在商品数据库中。
59.此时，可以对各商品图像与实拍图像之间的视觉相似度进行从大到小的排序，从商品数据库中确定出与实拍图像之间视觉相似度最高的预设数量的商品图像作为参考商品图像。这里的预设数量的商品图像可以仅包括一张与实拍图像视觉相似度最高的商品图像，也可以包括与实拍图像视觉相似度排在topk的k张商品图像，k为预设的大于1的整数。
60.另外，由于此时选取的参考商品图像与实拍图像之间的视觉相似度不那么高，可以进一步结合其他维度的信息辅助进行商品搜索。本实施例中，这种其他维度的信息可以是：实拍图像的语义信息。因此，可以基于预先训练好的语义识别模型对实拍图像进行语义特征的提取，从中提取出实拍图像对应的语义信息。比如，语义信息可以是：从实拍图像中识别出的品牌信息、类目信息、场景信息等语义信息。实际应用中，目标商品的外包装上往往会有品牌的商标、名称，商品名称等文字或图形，通过识别并理解这些文字和图形，可以得到品牌、类目信息。另外，比如用户是在逛商场的时候看到某件衣服，在商城中对这件衣服进行拍照得到的实拍图像，那么这张实拍图像中可能还会包含商场这个场景的相关元素，比如橱窗、衣架等，可以从实拍图像中识别出这些场景元素从而得知用户是在商城场景中看到的目标商品——某件衣服。
61.在基于视觉特征从商品数据库中确定出参考商品图像，以及提取出实拍图像的语义信息后，可以结合参考商品图像和语义信息在商品数据库中进行目标商品的搜索。
62.具体地，可以在商品数据库中搜索与参考商品图像和语义信息匹配的目标商品图
像，也就是说，最终进行目标商品搜索的输入搜索条件可以包括：参考商品图像和语义信息。
63.可选地，在进行目标商品搜索的过程中，可以先根据语义信息过滤掉参考商品图像中与该语义信息无关的商品图像，进而在商品数据库中搜索与剩余的参考商品图像匹配的目标商品图像。其中，与剩余的参考商品图像匹配的目标商品图像可以是商品数据库中在视觉特征上与剩余参考商品图像之间符合相似度要求的商品图像。其中，每个参考商品图像所对应的商品相关信息在上传到商品数据库的时候，可以被关联有相关的语义信息，比如品牌、类目、销售场所，等等。据此可以过滤掉与从实拍图像中提取的语义信息无关的参考商品图像。其中，无关，可以是不相同或不相近。
64.其中，以类目为例，可以认为属于同一一级类目下的各个类目是相近的，属于不同一级类目的是不相近的。
65.在另一可选实施例中，在进行目标商品搜索的过程中，也可以先根据语义信息在商品数据库中搜索与该语义信息匹配的商品图像，再在这些商品图像中过滤掉与参考商品图像不匹配的商品图像，剩余的商品图像即为目标商品图像。
66.在另一可选实施例中，假设在基于语义信息对参考商品图像进行过滤之后发现，不存在与该语义信息相关的参考商品图像，那么可选地，可以直接在商品数据库中搜索与该语义信息匹配的商品图像作为目标商品图像，或者，也可以根据该语义信息确定出另一种语义信息，为区别，称为相近语义信息，在商品数据库中搜索与该相近语义信息对应的商品图像作为目标商品图像。
67.其中，相近语义信息，可以是与目标商品可以搭配使用的商品所对应的语义信息。其中，从实拍图像中提取出的语义信息是与目标商品对应的语义信息。此时，可以根据类目信息之间的预设搭配关系来确定该相近语义信息，比如，从实拍图像中提取出的类目信息为：连衣裙，与连衣裙这个类目具有搭配关系的类目比如为：腰带、包包、帽子，那么相近语义信息即为腰带、包包、帽子。
68.本实施例提供的方案的一些步骤的具体执行过程可以参考前述其他实施例中的相关说明，在此不赘述。
69.基于本实施例提供的方案，综合实拍图像的视觉特征和语义信息进行目标商品的搜索，可以让用户获得更符合其期待的商品搜索结果。
70.实际应用中，本实施例提供的商品搜索方案可以由用户设备和服务器配合实现。具体地，用户通过启用用户设备的拍照功能对目标商品进行拍照得到实拍图像，通过将实拍图像加载到用户设备中启动的购物应用程序的搜索界面，以使购物应用程序将实拍图像上传给服务器。服务器在商品数据库中确定与实拍图像视觉特征匹配的参考商品图像，进而在商品数据库中搜索与参考商品图像匹配的目标商品图像，得到与目标商品图像对应的商品信息，将商品信息发送到用户设备，在购物应用程序的搜索结果界面中进行展示。
71.可选地，为完成商品搜索过程，上述购物应用程序中可以提供有相关操作界面，用户通过该操作界面完成商品搜索的相关操作以及查看商品搜索结果。结合图4示例性说明该操作界面的组成和相关操作。
72.如图4所示，当用户想要对某种商品进行搜索时，启动用户设备中的上述购物应用程序，在用户设备上显示操作界面401a。实际应用中，该操作界面401a可以是购物应用程序
的搜索界面。在该操作界面401a上可以显示有图像获取按钮402a、搜索启动按钮402b、输出组件402c。
73.实际应用中，这些按钮和组件可以设置在同一界面中，也可以考虑用户操作的便捷性而设置在不同界面中，或者还可以将一些按钮和组件始终置顶显示。显示位置和显示方式不在本实施例中进行严格限定，本实施例中仅强调购物应用程序中可以包含这些按钮、组件。另外，在操作界面401a中可以包含上述按钮、组件中的全部或部分。当然，还可以包含其他相关组件。
74.用户点击图像获取按钮402a时，可以控制购物应用程序调用用户设备的拍照功能，对目标商品进行拍照以得到实拍图像，可以在操作界面401a上显示该实拍图像。实际应用中，如果用户发现拍得的实拍图像质量不佳，可以及时作出相应的调整，重新采集目标商品的实拍图像。
75.当用户确认完成实拍图像的采集后，可以将实拍图像发送到服务器，服务器在商品数据库中确定与实拍图像视觉特征匹配的参考商品图像并反馈给用户设备。用户设备可以在操作界面401a上显示参考商品图像，以供用户确认是否采用。
76.用户通过确认采用参考商品图像时，选中参考商品图像后，点击搜索启动按钮402b，触发服务器在商品数据库中搜索与参考商品图像匹配的目标商品图像，以及获取与目标商品图像对应的商品信息的过程，服务器将获得的商品信息反馈给用户设备，用户设备通过操作界面401a中的输出组件402c显示商品信息。
77.以下将详细描述本发明的一个或多个实施例的商品搜索装置。本领域技术人员可以理解，这些装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
78.图5为本发明实施例提供的一种商品搜索装置的结构示意图，如图5所示，该装置包括：获取模块11、确定模块12、搜索模块13。
79.获取模块11，用于获取包含目标商品的实拍图像。
80.确定模块12，用于从商品数据库中确定与实拍图像的视觉特征匹配的参考商品图像。
81.搜索模块13，用于在商品数据库中搜索与参考商品图像匹配的目标商品图像，输出与目标商品图像对应的商品信息。
82.可选地，所述搜索模块13具体用于：输出所述参考商品图像；若接收到用户确认使用所述参考商品图像的指示，则在所述商品数据库中搜索与所述参考商品图像匹配的目标商品图像。
83.可选地，所述确定模块12具体用于：根据所述实拍图像的视觉特征，确定所述商品数据库中的商品图像与所述实拍图像之间的视觉相似度；从所述商品数据库中确定与所述实拍图像之间视觉相似度符合设定条件的商品图像为所述参考商品图像。
84.可选地，所述确定模块12具体用于：从所述商品数据库中确定与所述实拍图像之间视觉相似度大于设定阈值的商品图像为所述参考商品图像。
85.可选地，所述确定模块12具体用于：从所述商品数据库中确定与所述实拍图像之间视觉相似度符合设定条件，并且对应的商品关注度符合设定条件的商品图像为所述参考商品图像。
86.其中，可选地，商品图像对应的商品关注度通过如下任一种指标度量：
87.商品图像对应的商品的成交率、商品图像对应的点击率。
88.可选地，所述确定模块12具体用于：若未从所述商品数据库中确定与所述实拍图像之间视觉相似度大于设定阈值的商品图像，则从所述商品数据库中确定出与所述实拍图像之间视觉相似度最高的预设数量的商品图像为所述参考商品图像。
89.可选地，所述搜索模块13还用于：提取所述实拍图像中包含的语义信息；在所述商品数据库中搜索与所述参考商品图像和所述语义信息匹配的目标商品图像。
90.可选地，所述搜索模块13具体用于：根据所述语义信息过滤掉所述参考商品图像中与所述语义信息无关的商品图像；在所述商品数据库中搜索与剩余的参考商品图像匹配的目标商品图像。
91.图5所示装置可以执行前述实施例中提供的商品搜索方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。
92.在一个可能的设计中，上述图5所示商品搜索装置的结构可实现为一电子设备，如图6所示，该电子设备可以包括：处理器21、存储器22。其中，存储器22上存储有可执行代码，当所述可执行代码被处理器21执行时，使所述处理器21至少可以实现如前述实施例中提供的商品搜索方法。
93.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
94.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
95.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。