一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

基于图像的信息搜索方法及电子设备与流程

2022-02-22 17:33:59 来源:中国专利 TAG:


1.本技术涉及基于图像的搜索技术领域,特别是涉及基于图像的信息搜索方法及电子设备。


背景技术:

2.以图搜图,在指定数据库中搜索出相同或相似的图片,适用于图片精确查找、相似素材搜索、拍照搜同款商品、相似商品等场景。例如,在拍照搜索同款或相似款商品的应用中,可以将用户拍摄的图片在商品库中搜索,找到同款或相似的商品,提升商品搜索查找的便捷性。在此过程中,搜索引擎锚定图案中商品,在商品库中进行图像匹配,获得精准的搜索结果。
3.但是,具体实现时,对用户操作有一定的要求,例如,需要用户变换姿势找到商品最有特征的角度,期间由于商品造型等问题,会对用户体验造成很大影响。而一旦由于拍摄角度、光线等不够理想,则会造成搜索结果存在偏差。此时,用户可能需要关闭搜索结果页,重新选择新的拍摄角度拍摄图片后重新发起搜索,并且,重新搜索后的结果也可能存在不够准确的情况,因此,也会影响用户体验,甚至有些用户可能会直接放弃继续搜索,等等。
4.因此,如何在基于图像进行数据对象搜索的过程中,如何提升搜索结果的准确度,进而提升用户体验,成为需要本领域技术人员解决的技术问题。


技术实现要素:

5.本技术提供了基于图像的信息搜索方法及电子设备,能够在基于图像进行数据对象搜索的过程中,提升搜索结果的准确度。
6.本技术提供了如下方案:
7.一种基于图像的信息搜索方法,包括:
8.接收用户发起的搜索请求,所述搜索请求中至少携带关于目标物体的多份图像,所述多份图像是通过从多个不同角度对所述目标物体进行拍摄获得的;
9.根据所述多份图像进行搜索,确定与所述多份图像相匹配的数据对象;
10.通过搜索结果页面对所述数据对象的信息进行展示。
11.其中,所述多个不同角度包括:多个不同拍摄方向的角度,和/或,整体特征与多个局部细节特征的角度。
12.其中,所述确定与所述多份图像相匹配的数据对象,包括:
13.根据所述多个不同角度的图像对应的权重值,确定与所述多份图像相匹配的数据对象。
14.其中,所述接收用户发起的搜索请求,包括:
15.提供用于切换到多角度拍摄模式的操作控件;
16.在切换到所述多角度拍摄模式后,提供对应的多角度拍摄界面,以便通过所述拍摄界面对所述目标物体进行多角度拍摄后,获得所述多份图像,并基于所述多份图像发起
所述搜索请求。
17.其中,所述提供用于切换到多角度拍摄模式的操作控件,包括:
18.在图像搜索模式下展示出图像拍摄界面,并在所述图像拍摄界面中提供所述用于切换到多角度拍摄模式的操作控件。
19.其中,所述提供用于切换到多角度拍摄模式的操作控件,包括:
20.在基于所述目标物体的单幅图像进行搜索的搜索结果页面中,提供所述用于切换到多角度拍摄模式的操作控件,以便通过在所述单幅图像基础上补充关于所述目标物体其他角度图像之后,发起所述搜索请求。
21.其中,还包括:
22.通过对所述切换过程涉及到的用户信息以及对应的搜索结果信息进行统计,根据所述用户信息确定用户群体特征,以及对应的搜索结果所属的信息类别,以用于向对应的用户群体进行对应信息类别的信息推荐。
23.其中,所述提供对应的多角度拍摄界面,包括:
24.将所述多角度拍摄界面划分为多个宫格区域,每个宫格区域用于从一个角度对所述目标物体进行拍摄,每完成一个角度的拍摄后,将拍摄所得的图像展示在对应的宫格区域内;
25.提供用于确认提交搜索请求的操作控件,以便通过该操作控件发起所述搜索请求。
26.其中,所述提供对应的多角度拍摄界面,包括:
27.在所述多角度拍摄界面中提供缩略图展示区域,将拍摄所得的图像的缩略图展示在所述缩略图展示区域,并提供用于对所述缩略图进行选择的操作控件;
28.在所述缩略图展示区域中的多个缩略图被选中后,提供用于确认提交搜索请求的操作控件,以便通过该操作控件发起所述搜索请求。
29.其中,还包括:
30.在所述多角度拍摄界面中提供关于拍摄角度选取方式的引导信息。
31.其中,所述根据所述多份图像进行搜索,确定与所述多份图像相匹配的数据对象,包括:
32.分别根据各份图像进行搜索,并通过将各份图像对应的数据对象匹配结果集合取交集的方式,获得所述与所述多份图像相匹配的数据对象。
33.其中,所述根据所述多份图像进行搜索,确定与所述多份图像相匹配的数据对象,包括:
34.对所述多份图像进行特征提取;
35.将多份图像对应的特征进行融合后,利用特征融合结果进行搜索,获得所述与所述多份图像相匹配的数据对象。
36.其中,还包括:
37.根据所述多份图像,以及用户对所述搜索结果的访问转化情况,对搜索过程关联的图像处理算法进行更新,以便所述图像处理算法从所述多份图像中学习到关于对应搜索结果的多个不同角度的特征。
38.其中,所述目标数据库包括商品对象信息库,所述与所述多份图像相匹配的数据
对象包括:与所述多份图像匹配的商品对象信息。
39.一种基于图像的信息搜索装置,包括:
40.搜索请求接收单元,用于接收用户发起的搜索请求,所述搜索请求中至少携带关于目标物体的多份图像,所述多份图像是通过从多个不同角度对所述目标物体进行拍摄获得的;
41.多图像搜索单元,用于根据所述多份图像进行搜索,确定与所述多份图像相匹配的数据对象;
42.搜索结果展示单元,用于通过搜索结果页面对所述数据对象的信息进行展示。
43.一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述任一项所述的方法的步骤。
44.一种电子设备,包括:
45.一个或多个处理器;以及
46.与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行前述任一项所述的方法的步骤。
47.根据本技术提供的具体实施例,本技术公开了以下技术效果:
48.通过本技术实施例,由于允许用户提交关于目标物体的多份图像,具体的多份图像可以通过从多个不同角度对所述目标物体进行拍摄获得的,并基于该多份图像发起搜索。搜索引擎系统则可以根据各角度的图像给出最终的搜索结果。通过这种方式,由于搜索引擎系统可以从同一目标物体的多个角度的图像中获取到更多的参考,因此,可以提升搜索结果的准确度。
49.在优选的方式下,搜索引擎系统还可以提供多角度拍摄模式。通过该多角度拍摄模型,可以引导用户在多角度拍摄界面中,从多角度对目标物体进行拍摄,以获取到关于目标物体的更高质量的多份图像。
50.另外,还可以根据拍摄的多角度图像,以及用户对搜索结果的点击转化情况,对搜索引擎关联的图像处理算法进行更新,从而使得算法可以学习到关于目标物体的多个不同角度的特征,例如,其中可以包括一些细节特征,从而提升图像搜索引擎的细节判断能力,多场景下相同细节的辨别能力,进一步提高搜索结果的准确性等等。
51.再者,由于可以在单图搜索结果页面中提供切换到多角度拍摄模式的入口,而通过该方式进行切换的行为可以体现出用户对特色信息具有比较强烈的探索欲或者感兴趣程度,因此,还可以通过收集在上述特殊的切换方式下用户行为信息,来帮助图搜数据的差异化分层。例如,可以判断出是否存在某类用户对某些类目的商品更感兴趣,进而可以将判断结果应用到商品推荐等场景中。
52.当然,实施本技术的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
53.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
54.图1是本技术实施例提供的系统架构的示意图;
55.图2是本技术实施例提供的方法的流程图;
56.图3是本技术实施例提供的第一界面的示意图;
57.图4-1至4-4是本技术实施例提供的多角度拍摄界面的示意图;
58.图5是本技术实施例提供的装置的示意图;
59.图6是本技术实施例提供的电子设备的示意图。
具体实施方式
60.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本技术保护的范围。
61.在本技术实施例中,在基于图像的信息搜索(例如,以图搜商品等)的场景中,可以允许用户提交关于目标物体的多份图像,具体的多份图像可以通过从多个不同角度对所述目标物体进行拍摄获得的,并基于该多份图像发起搜索。搜索引擎系统则可以根据各角度图像对应的搜索结果取交集等方式,给出最终的搜索结果。由于搜索引擎系统可以从同一目标物体的多个角度的图像中获取到更多的参考,因此,可以提升搜索结果的准确度。
62.其中,关于具体不同角度拍摄的多份图像,可以是用于预先完成拍摄之后,从本地保存的照片中进行选取,或者,在优选的方式下,搜索引擎系统还可以提供多角度拍摄模式。通过该多角度拍摄模型,可以引导用户在拍摄界面(也即镜头页)从多角度对目标物体进行拍照。
63.其中,具体进入多角度拍摄模式的方式可以有多种,例如,一种是在通过搜索入口进入到图像拍摄界面之后,可以提供“多角度拍摄”选项,用户可以通过点击该选项,切换到多角度拍摄模式。另一种方式可以是,用户可以首先通过提交单张图像的方式发起搜索,然后可以在搜索结果页面中提供“补充更多图像”等操作控件,如果当前搜索结果中不存在匹配的商品,则用户可以通过点击该操作控件,切换到多角度拍摄模式,等等。
64.另外,还可以根据拍摄的多角度图像,以及用户对搜索结果的点击转化情况,对搜索引擎关联的图像处理算法进行更新,从而使得算法可以学习到关于目标物体的多个不同角度的特征,例如,其中可以包括一些细节特征,从而提升图像搜索引擎的细节判断能力,多场景下相同细节的辨别能力,等等。
65.再者,由于可以在单图搜索结果页面中提供切换到多角度拍摄模式的入口,而如果一个用户之前通过单图模型进行了搜索,之后,又切换到多图模式补充其他角度的图像后对同一拍摄对象发起搜索,该行为可以体现出用户对特色信息具有比较强烈的探索欲或者感兴趣程度(由于切换过程需要耗费一定的精力,因此,如果用户对具体要搜索的信息不是非常感兴趣,可能就不会切换到多角度拍摄模式进行补充图像),因此,还可以通过收集在上述特殊的切换方式下用户行为信息,来帮助图搜数据的差异化分层。例如,可以判断出是否存在某类用户对某些品类的商品更感兴趣,进而可以将判断结果应用到商品推荐等场景中。
66.从系统架构角度而言,如图1所示,本技术实施例可以在搜索引擎系统中提供基于
多份图像进行搜索的功能模块,其中,具体可以在独立的搜索引擎系统中实现上述功能,或者,还可以是具体应用系统内部的搜索引擎系统中提供该功能(例如,在商品对象信息系统关联的商品对象搜索系统中提供上述功能,等等)。通过该功能模块,就可以接收用户输入或者拍摄的多份图像,并基于多份图像,提供对应的搜索结果。
67.下面对本技术实施例提供的具体技术方案进行详细介绍。
68.首先,本技术实施例提供了一种基于图像的信息搜索方法,参见图2,该方法可以包括:
69.s201:接收用户发起的搜索请求,所述搜索请求中至少携带关于目标物体的多份图像,所述多份图像是通过从多个不同角度对所述目标物体进行拍摄获得的。
70.具体的,可以向用户提供搜索入口,具体的搜索入口还可以分为关键词搜索入口以及图像搜索入口。通常情况下,如果需要进行关键词搜索,则直接通过关键词搜索入口输入具体的关键词即可;而关于图像搜索,由于涉及到对具体的图像的选取或者拍摄等操作,因此,通常需要通过点击具体的图像搜索入口等方式,进入到图像搜索界面中,通过该图像搜索结果,可以通过对本地图像进行选取的方式进行图像输入,或者,也可以通过界面中提供的拍摄操作选项对目标物体进行拍摄的方式进行图像输入。在本技术实施例中,可以支持从本地图像中选择多份图像的方式进行多份图像的输入(可以预先对目标物体进行多角度的拍摄,并将拍摄得到的多份图像保存在本地相册等文件夹中)。或者,还可以提供多角度拍摄界面,使得用户可以通过该界面对目标物体进行多角度的拍摄,得到多份图像,等等。其中,具体的多个不同角度可以包括:多个不同拍摄方向的角度,和/或,整体特征与多个局部细节特征的角度。也就是说,在基于多份图像发起搜索请求的情况下,具体的多份图像可以包括在多个不同方向对同一目标物体(例如,前、后、左、右等)进行拍摄获得的图像,还可以包括从整体与局部的角度,对同一目标物体进行整体及多个局部细节进行拍摄所获得的图像,等等。例如,具体的多份图像可以包括分别从左侧、右侧等不同方向拍摄的整体图像,以及多个局部细节图像(如,主要体现商标的局部细节图像,主要用于体现特殊图案/纹理的局部细节图像,等等)。
71.需要说明的是,由于在实际应用中,可能并不是所有场景下都需要通过多份图像发起搜索,因此,在具体实现时,除了可以提供多角度拍摄界面,还可以提供普通的单幅图像拍摄界面,并且,还可以提供具体用于切换到多角度拍摄模式的操作控件,以实现不同拍摄模式之间的切换。其中,在切换到所述多角度拍摄模式后,就可以提供对应的多角度拍摄界面,以便通过所述拍摄界面对所述目标物体进行多角度拍摄后,获得所述多份图像,并基于所述多份图像发起所述搜索请求。
72.其中,具体提供用于切换到多角度拍摄模式的操作控件的方式可以有多种,例如,一种方式下,首先可以在图像搜索模式下展示出图像拍摄界面,也即,在通过图像搜索入口进入图像搜索模式后,如图3所示,可以默认展示出普通的进行单幅图像采集的图像拍摄界面(如果在该状态下直接对目标物体进行拍摄,则会直接基于拍摄到的单幅图像发起搜索),同时,如图3中的31处所示,可以在该图像拍摄界面中提供用于切换到多角度拍摄模式的操作控件。用户可以直接通过该操作控件切换到多角度拍摄模式,这样,可以在分别采集到多幅图像之后,再基于多幅图像发起具体的搜索。
73.另外,还可以在基于所述目标物体的单幅图像进行搜索的搜索结果页面中,提供
所述用于切换到多角度拍摄模式的操作控件,以便通过在所述单幅图像基础上补充关于所述目标物体其他角度图像之后,发起所述搜索请求。也就是说,用户可以首先基于目标物体的单幅图像发起搜索,在返回搜索结果之后,则可以在该搜索结果页面中提供上述用于切换到多角度拍摄模式的操作控件。这样,如果上述基于单幅图像给出的搜索结果中不存在用户所需的数据对象,则可以通过该操作控件切换到多角度拍摄模式,也即,可以在之前的单幅图像基础上,补充关于当前目标物体在其他角度的图像,之后可以基于多幅图像重新发起搜索,以提升搜索结果的准确性。
74.其中,具体在提供多角度拍摄界面时,可以有多种方式,例如,一种方式下,如图4-1所示,可以将所述多角度拍摄界面划分为多个宫格区域,每个宫格区域用于从一个角度对所述目标物体进行拍摄,每完成一个角度的拍摄后,将拍摄所得的图像展示在对应的宫格区域内。其中,宫格的数量可以是预先确定的,例如,可以默认为如图4-1所示的4宫格,这样可以进行四个角度的拍摄,得到4份图像,如图4-2所示,可以分别在4个宫格中进行展示。当然,还可以是其他的数量,或者,还可以根据具体需求,由用户选择宫格数量。例如,如果目标物体的外观比较复杂,需要通过更多角度的拍摄,才能够将全部的特征表达完整,则可以选择使用更多的宫格,例如,如图4-3所示的6宫格,等等。其中,在多角度拍摄界面中展示出几个宫格,就意味着可以从几个角度上对目标物体进行拍摄,相应得到对应数量的图像。或者,实际拍摄的图像数量也可以小于宫格的数量,例如,展示出6个宫格,也可以在采集4个角度的图像之后,就基于该4份图像发起搜索,等等。总之,在通过所述多个宫格区域确定出多份图像后,可以提供用于确认提交搜索请求的操作控件,以便通过该操作控件发起所述搜索请求。
75.或者,另一方式下,如图4-4所示,还可以在所述多角度拍摄界面中提供缩略图展示区域41,这样,在每完成一个角度的拍摄后,就可以将拍摄所得的图像的缩略图展示在所述缩略图展示区域,并提供用于对所述缩略图进行选择的操作控件。在所述缩略图展示区域中的多个缩略图被选中后,可以提供用于确认提交搜索请求的操作控件,以便通过该操作控件发起所述搜索请求。
76.具体实现时,还可以在所述多角度拍摄界面中提供关于拍摄角度选取方式的引导信息。例如,如图4-4中的42处所示,可以在多角度拍摄界面中提供“继续拍摄品牌标志”、“继续拍摄图案细节”等引导信息,这样,可以使得用户更直观地获知,通过从哪些角度进行拍摄,可以获得更准确的搜索结果。
77.s202:根据所述多份图像进行搜索,确定与所述多份图像相匹配的数据对象。
78.在接收到基于多份图像发起的搜索请求后,就可以根据多份图像对目标数据库进行搜索,以确定出与所述多份图像均匹配的数据对象。具体实现时,一种方式下,可以分别根据各份图像对所述目标数据库进行搜索,并通过将各份图像对应的数据对象匹配结果集合取交集的方式,获得所述与所述多份图像相匹配的数据对象。例如,假设搜索请求中关联有4份图像,基于各份图像分别进行搜索时,得到的匹配结果组成的集合分别为集合a、b、c、d,此时,可以取集合a、b、c、d的交集,确定为最终的搜索结果。或者,另一种方式下,还可以将多份图像分别进行特征提取,之后,将多份图像对应的特征融合到一起,再与目标数据库中具体数据对象的图像进行对比,确定匹配结果,等等。或者,另一种方式下,还可以对多份图像分别进行特征提取,然后,将多份图像对应的特征进行融合后,利用特征融合结果进行
搜索,获得所述与所述多份图像相匹配的数据对象。
79.需要说明的是,具体实现时,多个不同角度的图像还可以对应不同的权重值,在根据多份图像进行搜索确定相匹配的数据对象时,还可以根据所述多个不同角度的图像对应的权重值,确定与所述多份图像相匹配的数据对象。其中,具体的权重值可以是预先设定的。
80.s203:通过搜索结果页面对所述数据对象的信息进行展示。
81.在确定出与多份图像匹配的数据对象之后,可以通过搜索结果页面进行展示,以此完成搜索过程。在具体的搜索结果页面中,还可以提供各份图像的缩略图,用户可以通过点击其中某份图像的缩略图的方式,切换到这份图像对应的搜索结果进行展示,等等。
82.可见,通过本技术实施例,由于允许用户提交关于目标物体的多份图像,具体的多份图像可以通过从多个不同角度对所述目标物体进行拍摄获得的,并基于该多份图像发起搜索。搜索引擎系统则可以根据各角度的图像给出最终的搜索结果。通过这种方式,由于搜索引擎系统可以从同一目标物体的多个角度的图像中获取到更多的参考,因此,可以提升搜索结果的准确度。
83.在实际应用中,上述通过同一目标物体对应的多角度的多幅图像进行搜索,并给出具体的搜索结果的情况下,还可以通过对用户行为数据的统计,进一步衍生出多种应用。例如,一种方式下,可以根据所述多份图像,以及用户对所述搜索结果的访问转化情况,对搜索过程关联的图像处理算法进行更新,以便所述图像处理算法从所述多份图像中学习到关于对应搜索结果的多个不同角度的特征。也就是说,由于通过多份图像对同一目标物体在多个角度方面的特征进行了更完整的表达,包括目标物体在多个不同方向上的外观特征,在具体局部细节方面的特征,等等,在此基础上,如果用户又对具体的搜索结果(尤其是排序比较靠前)进行了点击甚至转化(例如,点击商品对象链接后进行了购买等行为),则可以证明具体的多份图像确实准确表达了对应的目标物体的特征,使得搜索结果比较准确。这样,可以将上述多份图像以及对应的被用户点击转化的搜索结果之间的对应关系,作为具体图像处理算法的训练样本,以用于对图像处理算法进行迭代更新。这样,可以使得图像处理算法学习到同一目标物体在更多角度上的特征,例如,包括一些局部细节特征,等等,从而使得图像搜索引擎的细节判断能力,多场景下相同细节的辨别能力等得到提升。进而,由于算法的能力得到的提升,以此,即使用户后续使用类似目标物体在某个角度上的单幅图像进行搜索,也可以提升搜索结果的准确度。例如,假设算法学习到了关于某目标物体的局部细节特征,则后续只要用户对该目标物体的该局部细节特征进行了拍摄,并基于该局部细节特征对应的单幅图像发起搜索,也可以返回之前在通过多份图像发起搜索时类似的搜索结果。
84.另外,如前文所述,由于还可以在单图搜索结果页面中提供切换到多角度拍摄模式的入口,而如果一个用户之前通过单图模型进行了搜索,之后,又切换到多图模式补充其他角度的图像后对同一拍摄对象发起搜索,则该行为可以体现出用户对对应的数据对象具有强烈的探索欲或者感兴趣程度。因此,还可以通过收集用户行为信息能够有效帮助进行图搜数据的差异化分层。具体的,可以对上述切换过程涉及到的用户信息以及对应的搜索结果信息进行统计,确定喜欢使用该方式进行切换的用户群体特征,以及对应的搜索结果所属的信息类别,以用于向对应的用户群体进行对应类别的信息推荐。例如,如果某用户群
体经常针对某类别的信息,在基于单幅图像搜索之后,又切换到多角度拍摄模式下补充更多图像后重新搜索,则可以确定出该用户群体对该类别的信息更感兴趣,进而可以将判断结果应用到信息推荐等场景中。例如,具体搜索的数据对象可以包括商品对象,则可以在商品对象推荐场景中,向具体用户群体推荐对应类目的商品对象信息,等等。
85.另外,在本技术实施例中,具体多角度对应的多份图像,是由用户进行拍摄后确定的,也即,关于具体的数量以及选取的角度,都可以是由用户控制的。这样,相当于在生成多份图像的过程中,已经利用了用户的特征判断、筛选结果,这也使得能够更快速地获得更准确的搜索结果。否则,如果通过相机设备自动对目标物体进行多个角度的拍摄并进行识别匹配,则需要拍摄大量的图像,因此,导致在基于每份图像与数据库中的数据对象进行匹配的过程中,计算量很大,需要耗费比较长的时间才能完成匹配过程;另外,拍摄到的图像中也会存在大量的冗余图像,造成计算资源的浪费。
86.需要说明的是,关于本技术实施例所述的目标数据库,可以包括前述商品对象信息库,此时,所述与所述多份图像相匹配的数据对象,具体可以是与所述多份图像匹配的商品对象信息。当然,在具体实现时,也可以包括其他的目标数据库,这里不进行限定。
87.另外需要说明的是,本技术实施例中可能会涉及到对用户数据的使用,在实际应用中,可以在符合所在国的适用法律法规要求的情况下(例如,用户明确同意,对用户切实通知,等),在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。
88.与前述方法实施例相对应,本技术实施例还提供了一种基于图像的信息搜索装置,参见图5,该装置可以包括:
89.搜索请求接收单元501,用于接收用户发起的搜索请求,所述搜索请求中至少携带关于目标物体的多份图像,所述多份图像是通过从多个不同角度对所述目标物体进行拍摄获得的;
90.多图像搜索单元502,用于根据所述多份图像进行搜索,确定与所述多份图像相匹配的数据对象;
91.搜索结果展示单元503,用于通过搜索结果页面对所述数据对象的信息进行展示。
92.其中,所述多个不同角度包括:多个不同拍摄方向的角度,和/或,整体特征与多个局部细节特征的角度。
93.具体实现时,所述多图像搜索单元具体可以用于,根据所述多个不同角度的图像对应的权重值,确定与所述多份图像相匹配的数据对象。
94.具体的,所述搜索请求接收单元可以包括:
95.切换控件提供子单元,用于提供用于切换到多角度拍摄模式的操作控件;
96.多角度拍摄界面提供子单元,用于在切换到所述多角度拍摄模式后,提供对应的多角度拍摄界面,以便通过所述拍摄界面对所述目标物体进行多角度拍摄后,获得所述多份图像,并基于所述多份图像发起所述搜索请求。
97.具体的,所述切换控件提供子单元可以用于:
98.在图像搜索模式下展示出图像拍摄界面,并在所述图像拍摄界面中提供所述用于切换到多角度拍摄模式的操作控件。
99.或者,所述切换控件提供子单元可以用于:
100.在基于所述目标物体的单幅图像进行搜索的搜索结果页面中,提供所述用于切换
到多角度拍摄模式的操作控件,以便通过在所述单幅图像基础上补充关于所述目标物体其他角度图像之后,发起所述搜索请求。
101.具体实现时,该装置还可以包括:
102.统计单元,用于通过对所述切换过程涉及到的用户信息以及对应的搜索结果信息进行统计,根据所述用户信息确定用户群体特征,以及对应的搜索结果所属的信息类别,以用于向对应的用户群体进行对应类别的信息推荐。
103.其中,所述多角度拍摄界面提供子单元具体可以用于:
104.将所述多角度拍摄界面划分为多个宫格区域,每个宫格区域用于从一个角度对所述目标物体进行拍摄,每完成一个角度的拍摄后,将拍摄所得的图像展示在对应的宫格区域内;
105.提供用于确认提交搜索请求的操作控件,以便通过该操作控件发起所述搜索请求。
106.或者,所述多角度拍摄界面提供子单元具体可以用于:
107.在所述多角度拍摄界面中提供缩略图展示区域,将拍摄所得的图像的缩略图展示在所述缩略图展示区域,并提供用于对所述缩略图进行选择的操作控件;
108.在所述缩略图展示区域中的多个缩略图被选中后,提供用于确认提交搜索请求的操作控件,以便通过该操作控件发起所述搜索请求。
109.具体实现时,该装置还可以包括:
110.引导信息提供单元,用于在所述多角度拍摄界面中提供关于拍摄角度选取方式的引导信息。
111.具体的,所述多图像搜索单元具体可以用于:
112.分别根据各份图像进行搜索,并通过将各份图像对应的数据对象匹配结果集合取交集的方式,获得所述与所述多份图像相匹配的数据对象。
113.或者,所述多图像搜索单元具体可以用于:
114.对所述多份图像进行特征提取;
115.将多份图像对应的特征进行融合后,利用特征融合结果进行搜索,获得所述与所述多份图像相匹配的数据对象。
116.另外,该装置还可以包括:
117.算法更新单元,用于根据所述多份图像,以及用户对所述搜索结果的访问转化情况,对搜索过程关联的图像处理算法进行更新,以便所述图像处理算法从所述多份图像中学习到关于对应搜索结果的多个不同角度的特征。
118.其中,在一种具体的应用场景下,所述目标数据库包括商品对象信息库,此时,所述与所述多份图像相匹配的数据对象包括:与所述多份图像匹配的商品对象信息。
119.另外,本技术实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。
120.以及一种电子设备,包括:
121.一个或多个处理器;以及
122.与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行前述方法实施例中任一项所述的方法
的步骤。
123.其中,图6示例性的展示出了电子设备的架构,例如,设备600可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理,飞行器等。
124.参照图6,设备600可以包括以下一个或多个组件:处理组件602,存储器604,电源组件606,多媒体组件608,音频组件610,输入/输出(i/o)的接口612,传感器组件614,以及通信组件616。
125.处理组件602通常控制设备600的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理元件602可以包括一个或多个处理器620来执行指令,以完成本公开技术方案提供的方法的全部或部分步骤。此外,处理组件602可以包括一个或多个模块,便于处理组件602和其他组件之间的交互。例如,处理部件602可以包括多媒体模块,以方便多媒体组件608和处理组件602之间的交互。
126.存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在设备600上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
127.电源组件606为设备600的各种组件提供电力。电源组件606可以包括电源管理系统,一个或多个电源,及其他与为设备600生成、管理和分配电力相关联的组件。
128.多媒体组件608包括在设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件608包括一个前置摄像头和/或后置摄像头。当设备600处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
129.音频组件610被配置为输出和/或输入音频信号。例如,音频组件610包括一个麦克风(mic),当设备600处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中,音频组件610还包括一个扬声器,用于输出音频信号。
130.i/o接口612为处理组件602和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
131.传感器组件614包括一个或多个传感器,用于为设备600提供各个方面的状态评估。例如,传感器组件614可以检测到设备600的打开/关闭状态,组件的相对定位,例如所述组件为设备600的显示器和小键盘,传感器组件614还可以检测设备600或设备600一个组件的位置改变,用户与设备600接触的存在或不存在,设备600方位或加速/减速和设备600的
温度变化。传感器组件614可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件614还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
132.通信组件616被配置为便于设备600和其他设备之间有线或无线方式的通信。设备600可以接入基于通信标准的无线网络,如wifi,或2g、3g、4g/lte、5g等移动通信网络。在一个示例性实施例中,通信部件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信部件616还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。
133.在示例性实施例中,设备600可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
134.在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器604,上述指令可由设备600的处理器620执行以完成本公开技术方案提供的方法。例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
135.通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例或者实施例的某些部分所述的方法。
136.本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
137.以上对本技术所提供的基于图像的信息搜索方法及电子设备,进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的一般技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本技术的限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献