一种图像的搜索方法、终端和服务器与流程

1.本发明实施例涉及图像处理技术领域，尤其涉及一种图像的搜索方法、终端和服务器。


背景技术：

2.通常，用户可以通过终端将目标图像上传至服务器中。服务器会根据目标图像搜索数据库，得到与目标图像相似的一个或多个图像，并返回给终端。终端可以在显示界面中显示搜索结果，即显示与目标图像相似的一个或多个图像的标识。
3.当终端检测到用户在显示界面中操作某个图像的标识时，终端可以向服务器发送信息获取请求，由服务器确定该信息获取请求匹配的该图像的相关信息(如，图像的名称、图像的查询链接，图像的百科、图像类型等)，并将该图像的相关信息返回给终端。那么，终端显示上述图像的相关信息。可以注意到，目前显示的图像的相关信息通常为统一内容，内容单一，不能满足用户实际应用场景中搜索需求。


技术实现要素：

4.本技术实施例提供的一种图像的搜索方法、终端和服务器，能够搜索图像的个性化信息，满足用户实际应用场景中搜索需求。
5.为达到上述目的，本技术实施例采用如下技术方案。
6.第一方面，本技术实施例提供一种图像的搜索方法，该方法的执行主体可以是终端，也可以是位于终端中的部件(例如，芯片，芯片系统或处理器等)，下面以执行主体是终端为例进行描述。方法包括：响应于接收到用户在第一界面上对第一图像的第一操作，向服务器请求搜索第一图像。显示第二界面，第二界面中包含第二图像，以及第二图像对应的一个或多个控件。其中第二图像为服务器搜索到的与第一图像相关联的图像，一个或多个控件中的每个控件分别与第二图像的一个或多个属性信息相对应。响应于接收到用户在第二界面上对一个或多个控件中的第一控件的第二操作，向服务器请求获取第二图像的第一属性信息，第一属性信息与第一控件对应。
7.其中，第二图像对应的控件可以是服务器自动确定的。例如，服务器可以根据第二图像的图像类型确定第二图像对应的控件的属性信息，也可以根据第二图像的信息确定第二图像的控件的属性信息。另一些示例中，第二图像对应的控件可以是终端默认设置的，也可以是由用户设置的。不同的第二图像对应的控件可以相同，也可以不同。另一些示例中，终端也可以自动确定第二图像的控件。例如，可以根据第二图像的图像类型确定第二图像对应的控件。换言之，第二图像的图像类型不同时，第二图像对应的控件不同。
8.这样，用户操作第一控件即可搜索图像的个性化信息，满足用户实际应用场景中搜索需求。另外，用户无需重复执行上传图像，及输入查询关键字等操作查询第二图像的第一属性信息，便于用户快捷查询第二图像的第一属性信息。
9.在一些可实现方式中，在显示第二界面之前，还包括：根据第二图像，及预存的图
像与控件的属性信息的对应关系，确定第二图像对应的一个或多个控件。
10.在一些可实现方式中，在显示第二界面之前，还包括：根据用户对控件的属性信息的选择或设置操作，确定第二图像对应的一个或多个控件。
11.在一种具体可实现方式中，显示第二界面之前，具体为：显示第三界面，第三界面包括第二图像。显示第二界面，具体为：响应于接收到用户的第三操作，显示第二界面。
12.在一种具体可实现方式中，响应于接收到用户的第三操作，显示第二界面，具体为：响应于接收到用户的第三操作，向服务器发送第一请求，第一请求携带第二图像的图像标识；其中，服务器用于根据第二图像的图像标识确定第二图像所属的图像类型，并根据第二图像所属的图像类型确定控件的属性信息，并将控件的属性信息返回。接收控件的属性信息，并在第二界面上展示控件。
13.在一种具体可实现方式中，第二图像所属的图像类型为景区类，相应的，第一控件的属性信息包括门票、天气、导航和百科中的任一项。第二图像所属的图像类型为人物类，相应的，第一控件的属性信息包括简介、事迹和作品中的任一项。第二图像所属的图像类型为商品类，相应的，第一控件的属性信息包括价格、评价和详情中的任一项。第二图像所属的图像类型为动植物类，相应的，第一控件的属性信息包括特征、生长环境和简介中的任一项。
14.在一种具体可实现方式中，第三操作包括以下至少一项：对第二图像的操作；鼠标的光标滑过第二图像的操作；鼠标的光标移动至第二图像相关区域的操作。
15.在一种具体可实现方式中，响应于接收到用户在第二界面上对一个或多个控件中的第一控件的第二操作，向服务器请求获取第二图像的第一属性信息，具体为：响应于接收到用户在第二界面上对第一控件的第二操作，向服务器发送第二请求，第二请求携带第二图像的图像标识和第一控件的属性信息。服务器用于根据第二图像的图像标识和第一控件的属性信息查找第二图像的第一属性信息并返回第一属性信息。接收第二图像的第一属性信息。
16.在一种具体可实现方式中，服务器还用于根据第二图像的图像标识，调用第一控件的属性信息对应的应用程序api查找第二图像的第一属性信息。
17.例如，第二图像为a楼图像，该a楼图像的控件展示为：“百科”、“天气”、“门票”和“导航”。当用户点击“天气”控件时。终端检测到用户对“天气”控件的点击操作，终端触发服务器调用天气查询服务器的天气查询api获取a楼的天气信息。
18.第二方面，本技术实施例提供一种图像的搜索方法，该方法的执行主体可以是服务器，也可以是位于服务器中的部件(例如，芯片，芯片系统或处理器等)，下面以执行主体是服务器为例进行描述。方法包括：接收终端上传的第一图像。根据第一图像，确定第一图像对应的第二图像。向终端发送第二图像。接收终端发送的第一请求，第一请求中携带第二图像的图像标识和第二图像对应的第一控件的属性信息，第一控件的属性信息是根据第二图像的图像类型确定的。根据第二图像的图像标识和第一控件的属性信息，搜索第二图像的第一属性信息。
19.本技术实施例完成了不同类别图像的查询功能定制化(如景区、人物、商品、动植物等)。完成了对相似图的内容识别，可以根据用户的具体选择自动获取相似图实时内容信息(如实时天气信息)，极大地方便了用户获取相似图的更多内容信息，实现了更加智能化
的拍照搜索结果展示。
20.在一种具体可实现方式中，根据第二图像的图像标识和第一控件的属性信息，搜索第二图像的第一属性信息，具体为：根据第二图像的图像标识，调用第一控件的属性信息对应的应用程序接口api查询第二图像的第一属性信息。
21.在一些可实现方式中，在向终端发送第二图像之前，还包括：确定第二图像对应的第一控件的属性信息。向终端发送第二图像对应的第一控件的属性信息。
22.在一种具体可实现方式中，确定第二图像对应的第一控件的属性信息，具体为：确定第二图像的图像类型。根据第二图像所属的图像类型，及预存的图像类型与控件的属性信息的对应关系，确定第二图像对应的第一控件的属性信息。
23.在一种具体可实现方式中，第二图像所属的图像类型为景区类，相应的，第一控件的属性信息包括门票、天气、导航和百科中的任一项。第二图像所属的图像类型为人物类，相应的，第一控件的属性信息包括简介、事迹和作品中的任一项。第二图像所属的图像类型为商品类，相应的，第一控件的属性信息包括价格、评价和详情中的任一项。第二图像所属的图像类型为动植物类，相应的，第一控件的属性信息包括特征、生长环境和简介中的任一项。
24.在一些可实现方式中，在接收终端发送的第一请求之前，还包括：接收终端发送的第二请求，第二请求携带第二图像的图像标识。根据第二图像的图像标识，查找第二图像并识别第二图像的第一图像特征。根据第二图像的第一图像特征，确定第二图像所属的图像类型。根据第二图像所属的图像类型，及预存的图像类型与控件的属性信息的对应关系，确定第二图像对应的第一控件的属性信息。
25.在一些可实现方式中，在根据第二图像的第一图像特征，确定第二图像所属的图像类型之后，包括：识别第二图像的第二图像特征，第二图像的第二图像特征是根据第二图像所属的图像类型确定的，第二图像的第二图像特征和第二图像的第一图像特征为不同分割层级的特征。根据第二图像的第二图像特征，确定第二图像的第二属性信息，第二属性信息与第一属性信息不同。
26.在一些可实现方式中，在接收终端发送的第一请求之前，还包括：接收终端发送的第二请求，第二请求携带第二图像的图像标识。根据第二图像的图像标识，查找第二图像所属的图像类型。根据第二图像所属的图像类型，及预存的图像类型与控件的属性信息的对应关系，确定第二图像对应的第一控件的属性信息。
27.第三方面，一种终端，终端可以包括：搜索单元，用于响应于接收到用户在第一界面上对第一图像的第一操作，向服务器请求搜索第一图像。第一显示单元，用于显示第二界面，第二界面中包含第二图像，以及第二图像对应的一个或多个控件。其中第二图像为服务器搜索到的与第一图像相关联的图像，一个或多个控件中的每个控件分别与第二图像的一个或多个属性信息相对应。获取单元，用于响应于接收到用户在第二界面上对一个或多个控件中的第一控件的第二操作，向服务器请求获取第二图像的第一属性信息，第一属性信息与第一控件对应。
28.在一些可实现方式中，终端还包括：第一确定单元，用于根据第二图像，及预存的图像与控件的属性信息的对应关系，确定第二图像对应的一个或多个控件。
29.在一些可实现方式中，终端还包括：第二确定单元，用于根据用户对控件的属性信
息的选择或设置操作，确定第二图像对应的一个或多个控件。
30.在一些可实现方式中，终端还包括：第二显示单元，用于显示第三界面，第三界面包括第二图像。第一显示单元还用于：响应于接收到用户的第三操作，显示第二界面。
31.在一种具体可实现方式中，第一显示单元还用于：响应于接收到用户的第三操作，向服务器发送第一请求，第一请求携带第二图像的图像标识。其中，服务器用于根据第二图像的图像标识确定第二图像所属的图像类型，并根据第二图像所属的图像类型确定控件的属性信息，并将控件的属性信息返回。接收控件的属性信息，并在第二界面上展示控件。
32.在一种具体可实现方式中，第二图像所属的图像类型为景区类，相应的，第一控件的属性信息包括门票、天气、导航和百科中的任一项。第二图像所属的图像类型为人物类，相应的，第一控件的属性信息包括简介、事迹和作品中的任一项。第二图像所属的图像类型为商品类，相应的，第一控件的属性信息包括价格、评价和详情中的任一项。第二图像所属的图像类型为动植物类，相应的，第一控件的属性信息包括特征、生长环境和简介中的任一项。
33.在一种具体可实现方式中，第三操作包括以下至少一项：对第二图像的操作；鼠标的光标滑过第二图像的操作；鼠标的光标移动至第二图像相关区域的操作。
34.在一种具体可实现方式中，获取单元还用于：响应于接收到用户在第二界面上对第一控件的第二操作，向服务器发送第二请求，第二请求携带第二图像的图像标识和第一控件的属性信息。服务器用于根据第二图像的图像标识和第一控件的属性信息查找第二图像的第一属性信息并返回第一属性信息。接收第二图像的第一属性信息。
35.在一种具体可实现方式中，服务器还用于根据第二图像的图像标识，调用第一控件的属性信息对应的应用程序api查找第二图像的第一属性信息。
36.第四方面，一种服务器，服务器包括：第一接收单元，用于接收终端上传的第一图像。第一确定单元，用于根据第一图像，确定第一图像对应的第二图像。第一发送单元，用于向终端发送第二图像。第一接收单元，用于接收终端发送的第一请求，第一请求中携带第二图像的图像标识和第二图像对应的第一控件的属性信息，第一控件的属性信息是根据第二图像的图像类型确定的。搜索单元，用于根据第二图像的图像标识和第一控件的属性信息，搜索第二图像的第一属性信息。
37.在一种具体可实现方式中，搜索单元还用于：根据第二图像的图像标识，调用第一控件的属性信息对应的应用程序接口api查询第二图像的第一属性信息。
38.在一些可实现方式中，服务器还包括：第二确定单元，用于确定第二图像对应的第一控件的属性信息。第二发送单元，用于向终端发送第二图像对应的第一控件的属性信息。
39.在一种具体可实现方式中，第二确定单元还用于：确定第二图像的图像类型。根据第二图像所属的图像类型，及预存的图像类型与控件的属性信息的对应关系，确定第二图像对应的第一控件的属性信息。
40.在一种具体可实现方式中，第二图像所属的图像类型为景区类，相应的，第一控件的属性信息包括门票、天气、导航和百科中的任一项。第二图像所属的图像类型为人物类，相应的，第一控件的属性信息包括简介、事迹和作品中的任一项。第二图像所属的图像类型为商品类，相应的，第一控件的属性信息包括价格、评价和详情中的任一项。第二图像所属的图像类型为动植物类，相应的，第一控件的属性信息包括特征、生长环境和简介中的任一
项。
41.在一些可实现方式中，服务器还包括：第二接收单元，用于接收终端发送的第二请求，第二请求携带第二图像的图像标识。第一查找单元，用于根据第二图像的图像标识，查找第二图像并识别第二图像的第一图像特征。第三确定单元，用于根据第二图像的第一图像特征，确定第二图像所属的图像类型。第四确定单元，用于根据第二图像所属的图像类型，及预存的图像类型与控件的属性信息的对应关系，确定第二图像对应的第一控件的属性信息。
42.在一些可实现方式中，服务器还包括：识别单元，用于识别第二图像的第二图像特征，第二图像的第二图像特征是根据第二图像所属的图像类型确定的，第二图像的第二图像特征和第二图像的第一图像特征为不同分割层级的特征。第五确定单元，用于根据第二图像的第二图像特征，确定第二图像的第二属性信息，第二属性信息与第一属性信息不同。
43.在一些可实现方式中，服务器还包括：第二接收单元，用于接收终端发送的第二请求，第二请求携带第二图像的图像标识。第二查找单元，用于根据第二图像的图像标识，查找第二图像所属的图像类型。第五确定单元，用于根据第二图像所属的图像类型，及预存的图像类型与控件的属性信息的对应关系，确定第二图像对应的第一控件的属性信息。
44.第五方面，一种计算机可读存储介质，计算机可读存储介质包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行第一方面的图像的搜索方法，或者第二方面的图像的搜索方法。
45.第六方面，一种计算机程序，当程序被处理器调用时，第一方面的图像的搜索方法被执行，或者第二方面的图像的搜索方法被执行。
46.第七方面，一种芯片系统，包括一个或多个处理器，当一个或多个处理器执行指令时，一个或多个处理器执行第一方面的图像的搜索方法，或者第二方面的时钟同步方法。
47.其中，上述第三方面至第七方面中各个实施例的具体实施方式及对应的技术效果可以参见上述第一方面和第二方面的具体实施方式及技术效果。
48.本技术实施例通过服务器向终端返回第一图像的相似图(即第二图像)。终端显示第二图像时，还显示有第二图像对应的多个属性的控件。当终端检测到用户在的界面上操作第二图像对应的第一控件时，触发服务器获取第二图像的第一属性信息，该第一属性信息与第一控件对应。可见，用户操作第一控件即可搜索图像的个性化信息，满足用户实际应用场景中搜索需求。另外，用户无需重复执行上传图像，及输入查询关键字等操作查询第一属性信息，便于用户快捷查询第二图像的第一属性信息。
附图说明
49.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
50.图1为一种终端的显示界面的示意图；
51.图2为又一种终端的显示界面的示意图；
52.图3为又一种终端的显示界面的示意图；
53.图4为本技术实施例提供的一种终端的显示页面的示意图；
54.图5为本技术实施例提供的一种终端的显示界面的应用场景示意图；
55.图6为本技术实施例提供的一种终端的显示界面的应用场景示意图；
56.图7为本技术实施例提供的一种终端的显示界面的应用场景示意图；
57.图8为本技术实施例提供的一种终端的显示页面的应用场景示意图；
58.图9为本技术实施例提供的一种终端的显示页面的应用场景示意图；
59.图10为本技术实施例提供的终端和服务器组成的搜索系统的结构示意图；
60.图11为本技术实施例提供的一种终端的结构框图；
61.图12为本技术实施例提供的一种图像的搜索方法的流程示意图；
62.图13为本技术实施例提供的一种图像的搜索方法的应用场景示意图；
63.图14为本技术实施例提供的一种图像的搜索方法的流程图；
64.图15为本技术实施例提供的一种图像的搜索方法的应用场景示意图；
65.图16为本技术实施例提供的一种终端的结构示意图；
66.图17为本技术实施例提供的又一种服务器的结构示意图。
具体实施方式
67.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
68.通常，用户可以通过终端上的图像搜索app，或图像搜索网站等对目标图像的内容进行识别，以及搜索与目标图像相似的图像，即“以图搜图”。例如，用户在终端的app的页面上的输入框中输入目标图像。app将该目标图像上传至服务器。服务器根据该目标图像搜索数据库，得到目标图像的内容识别结果，以及与该目标图像相似的一个或多个图像，并发送给终端。如图1所示，为终端显示搜索结果的一种界面101的示意图。在该界面101上显示搜索的目标图像为第一图像102，以及搜索到的第一图像的内容识别结果103(如，图中可能是xx及该xx的百科介绍等信息)，及一个或多个与第一图像相似的图像104(如图1中所示的结果图1、结果图2、结果图3、结果图4、结果图5和结果图6等)。
69.当终端检测到用户在图1所示的界面101上操作某个图像(如图1中所示的结果图4)的标识时，终端可以向服务器发送结果图4对应的信息获取请求。服务器接收到终端发送的信息获取请求，并确定该信息获取请求匹配的结果图4的原图及其相关信息(如，结果图4的查询链接等)，以及结果图4的相似图像，再将该结果图4的原图及其相关信息，以及结果图4的相似图像返回给终端。此时，终端可以显示如图2所示的界面201。在界面201上，显示有上述结果图4的原图(如图2中所示的“结果图4的原图”)及其相关信息(如图2中所示的“原图网页：原图url”)，以及结果图4的相似图像(如图2中所示的“相似图1”、“相似图2”)等。
70.或者，当终端检测到用户在图1所示的界面101上操作某个图像(如图1中所示的结果图4)的标识时，终端的显示界面可以由图1所示的界面101跳转至如图3所示的界面301。图3所示的界面301较图2所示的界面201不同在于结果图4的原图的相关信息内容不同。如，
在界面301上，上述结果图4的原图的相关信息为：图3中所示的“图中可能是：xx”。
71.综上可知，以结果图4是景区图像(如“a楼”)为例，当用户想进一步了解该“a楼”的第二信息(如，景区的门票、景区的天气或景区的位置等)时，用户需要再次查询将“a楼”的第二信息，例如用户可以通过在搜索引擎中输入“a楼”以及“a楼”的第二信息对应的关键字，请求搜索引擎对应的服务器搜索“a楼”的第二信息。可见，用户需要重复执行上传图像，以及输入查询关键字等操作，操作复杂，不便于用户快捷查询结果图4的第二信息。
72.为了解决上述技术问题，在本技术实施例中，服务器向终端返回第一图像的相似图(即第二图像)。终端显示第二图像时，还显示有第二图像对应的多个属性的控件(如图4所示的界面中的控1、控2、控3和控4)。当终端检测到用户在图4所示的界面401上操作第二图像(如图4中所示的结果图4)对应的目标控件(如控1、控2、控3和控4中的一个控件)时，触发服务器获取第二图像的第二信息，该第二信息是根据目标控件的属性信息确定的。可见，用户操作目标控件即可搜索图像的个性化信息，满足用户实际应用场景中搜索需求。另外，用户无需重复执行上传图像，及输入查询关键字等操作查询第二信息，便于用户快捷查询第二图像的第二信息。
73.在一些示例中，第二图像对应的控件可以是服务器自动确定的。例如，服务器可以根据第二图像的图像类型确定第二图像对应的控件的属性信息，也可以根据第二图像的信息确定第二图像的控件的属性信息。另一些示例中，第二图像对应的控件可以是终端默认设置的，也可以是由用户设置的。不同的第二图像对应的控件可以相同，也可以不同。另一些示例中，终端也可以自动确定第二图像的控件。例如，可以根据第二图像的图像类型确定第二图像对应的控件。换言之，第二图像的图像类型不同时，第二图像对应的控件不同。
74.示例性的，该第二图像的图像类型为景区类时，相应的，第二图像对应的控件的属性信息可以包括门票、天气、导航和百科等信息。例如，如图7所示，为本技术实施例提供的一种终端的显示界面的应用场景示意图。以第二图像(即上述的结果图4)是a楼图像为例，在图7所示的界面701上a楼图像的控件702可以展示为：“百科”、“天气”、“门票”和“导航”。
75.同理，该第二图像的图像类型为人物类时，相应的，第二图像对应的控件的属性信息可以包括简介、事迹、作品等信息。例如，如图5所示，为本技术实施例提供的一种终端的显示界面的应用场景示意图。以第二图像(即上述的结果图4)是a人物图像为例，在图5所示的界面501上a人物图像的控件502可以展示为：“简介”、“世纪”和“作品”。
76.同理，该第二图像的图像类型为商品类时，相应的，第二图像对应的控件可以包括价格、评价和详情等信息。例如，如图6所示，为本技术实施例提供的一种终端的显示界面的应用场景示意图。以第二图像(即上述的结果图4)是a商品图像为例，在图6所示的界面601上a商品图像的控件602可以展示为：“价格”、“评价”和“详情”。
77.同理，该第二图像的图像类型为动植物类时，相应的，第二图像对应的控件的属性信息可以包括动植物的特征、动植物的生长环境和动植物的简介等信息。当然，本技术实施例对第二图像的图像类型及其对应的控件并不做具体限定。
78.在一些示例中，服务器获取的第二图像的第二信息，可以是服务器调用目标控件的属性信息对应的应用程序接口api获取的。具体的，服务器可以调用自身的，且与目标控件的属性信息对应的api查询第二图像的第二信息。或者，服务器也可以确定目标控件的属性信息对应的api，并调用该api去其他服务服务器上查询第二图像的第二信息。
79.例如，沿用图7的示例，a楼图像的控件展示为：“百科”、“天气”、“门票”和“导航”。当终端检测到用户操作“门票”控件时，终端触发服务器调用门票查询服务器的门票查询api获取a楼的门票信息。如图8所示，为本技术实施例提供的一种终端的显示页面的应用场景示意图。在图8所示的界面801上用户点击“天气”控件。终端检测到用户对“天气”控件的点击操作，终端触发服务器调用天气查询服务器的天气查询api获取a楼的天气信息。该天气信息可以包括“a楼”的名称，所属城市，当天天气状况，未来7日天气等信息。
80.进一步的，终端可以获取服务器查询到的第二图像的第二信息，并展示第二图像的指示信息。例如，如图9所示，为本技术实施例提供的一种终端的显示页面的应用场景示意图。终端将“a楼”天气信息采用卡片形式展示。例如，沿用上述实施例，在图9所示的界面901上显示的卡片902上展示如下内容：景点名称：a楼；所属城市为b；当天天气状况：20℃；未来7日天气变化曲线；该城市b的其他景点推荐等信息。可见，通过卡片形式展示查询信息，而不是简单罗列的方式展示相应的查询信息，更加便捷，使得信息一目了然。
81.下面结合本技术实施例中的附图，对本技术实施例提供的图像的搜索方法进行描述。
82.本技术实施例提供的图像的搜索方法可以应用于图10所示的终端和服务器组成的搜索系统。如图10所示，该搜索系统100可以包括服务器110和终端120。该搜索系统100还可以包括其他服务器130。
83.该服务器110可以包括卷积神经网络(convolutional neural networks，cnn)，该cnn网络模型用于识别图像的类别。各类服务api(application programming interface，应用程序接口)，该api用于查询各类实时信息，例如，某地天气、某景点的实时门票信息等信息。
84.该其他服务器130可以包括各类服务api，该api用于查询各类实时信息，例如，某地天气、某景点的实时门票信息等信息。在一种可实现方式中，服务器110可以调用其他服务器130上的各类服务api查询各类实时信息。
85.终端120上可以安装客户端，该客户端可以用于获取用户输入的图像，该图像可以是数据库中存储的图像，也可以是调用相机进行拍照得到的图像。该客户端还可以用于向服务器上传图像，接收并展示服务器返回的查询结果。该客户端还可以用于响应于对结果图的触发操作，可跳转至结果图的原网页。该客户端还可以用于调用外部浏览器。
86.其中，上述终端120可以为手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、手持计算机、上网本、个人数字助理(personal digital assistant，pda)、可穿戴电子设备、虚拟现实设备等具有显示功能的设备，本技术实施例中对终端的具体形式不做特殊限制。
87.图11是上述终端120的结构框图。
88.如图11所示，终端120可以包括处理器1110，存储器1120，通用串行总线(universal serial bus，usb)接口1130，充电管理模块1140，电源管理模块1141，电池1142，显示屏1150，天线1，无线通信模块1160等。
89.可以理解的是，本发明实施例示意的结构并不构成对终端120的具体限定。在本技术另一些实施例中，终端120可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实
现。
90.处理器1110可以包括一个或多个处理单元，例如：处理器1110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
91.控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
92.处理器1110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器1110中的存储器为高速缓冲存储器。该存储器可以保存处理器1110刚用过或循环使用的指令或数据。如果处理器1110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器1110的等待时间，因而提高了系统的效率。
93.在一些实施例中，处理器1110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
94.可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端120的结构限定。在本技术另一些实施例中，终端120也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
95.存储器1120可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。存储器1120可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储终端120使用过程中所创建的数据(比如音频数据，电话本等)等。此外，存储器1120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器1110通过运行存储在存储器1120的指令，和/或存储在设置于处理器中的存储器的指令，执行终端120的各种功能应用以及数据处理。
96.充电管理模块1140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块1140可以通过usb接口1130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块1140可以通过终端120的无线充电线圈接收无线充电输入。充电管理模块1140为电池1142充电的同时，还可以通过电源管理模块1141为穿戴设备供电。
97.电源管理模块1141用于连接电池1142，充电管理模块1140与处理器1110。电源管理模块1141接收电池1142和/或充电管理模块1140的输入，为处理器1110，存储器1120，显示屏1150和无线通信模块1160等供电。电源管理模块1141还可以用于监测电池容量，电池
循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块1141也可以设置于处理器1110中。在另一些实施例中，电源管理模块1141和充电管理模块1140也可以设置于同一个器件中。
98.终端120的无线通信功能可以通过天线1，无线通信模块1160，调制解调处理器以及基带处理器等实现。
99.天线1用于发射和接收电磁波信号。终端120中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。在另外一些实施例中，天线可以和调谐开关结合使用。
100.终端120通过gpu，显示屏1150，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏1150和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器1110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
101.显示屏1150用于显示图像，视频等。显示屏1150包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，终端120可以包括1个或n个显示屏1150，n为大于1的正整数。
102.在本技术实施例中，显示器1150可用于显示与第一图像相似的第二图像，及该第二图像对应的控件。其中，该控件的确定方法详见本技术实施例中的相关内容，在此不再赘述。
103.无线通信模块1160可以提供应用在终端120上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块1160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块1160经由天线1接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器1110。无线通信模块1160还可以从处理器1110接收待发送的信号，对其进行调频，放大，经天线1转为电磁波辐射出去。
104.当然，终端120还可以包括其他功能单元，本技术实施例对此不进行限定。
105.下面以图11所示架构为例，对本技术实施例提供的图像的搜索方法进行描述。下述实施例中的各单元可以具备图11所示部件，不予赘述。需要说明的是，本技术的实施例中各个设备之间交互的消息名称或消息中的参数名称等只是一个示例，具体实现中也可以采用其他的名称。本技术实施例中的生成(generate)也可以理解为创建(create)或者确定，本技术实施例中的“包括”也可以理解为“携带”，在此统一说明，本技术实施例对此不作具体限定。
106.此外，本技术的各实施例之间涉及的动作，术语等均可以相互参考，不予限制。本技术的实施例中各个设备之间交互的消息名称或消息中的参数名称等只是一个示例，具体实现中也可以采用其他的名称，不予限制。
107.上文阐述了“以图搜图”的相关内容，当然，用户也可以通过终端上的图像搜索app搜索与关键字相关的图像，即“以文搜图”。例如，用户在终端的app的页面上的输入框中输入查询关键字，app将该关键字上传至服务器。服务器根据该关键字搜索数据库，得到与关键字相关的一个或多个图像，以及该图像的相关信息，并发送给终端。
108.或者，用户还可以通过终端上的图像搜索app搜索与图像相关的视频，即“以图搜视频”。例如，用户在终端的app的页面上的输入框中输入目标图像，app将该目标图像上传至服务器。服务器根据该目标图像搜索数据库，得到与目标图像相关的一个或多个视频，以及该视频的相关信息，并发送给终端。
109.因此，本技术实施例中并不局限于“以图搜图”，还可以是“以文搜图”或“以图搜视频”，当然还可以是其他情形，本技术实施例对此不做具体限制。本技术实施例是以“以图搜图”为例进行详细说明的。
110.以下对本技术实施例提供的一种图像的搜索方法进行详细介绍。
111.图12为本技术实施例提供的一种图像的搜索方法的流程示意图。如图12所示，该方法包括：
112.s1200、终端显示第一界面(如图像搜索界面)，该图像搜索界面中设置有上传图像的上传区域。
113.当用户需要搜索第一图像时，可使用终端登录图像搜索界面。例如，用户可以启动终端上的图像搜索app，app展示图像搜索界面(如图1所示的界面101)。用户可以将第一图像上传至如图1中所示的输入框105中。
114.该输入框也可以被替代为搜索框、搜索栏、查询框，等等。当然，该输入框也可以采用其他名词被替代，本技术实施例不做具体限定。
115.该第一图像可以是数据库中存储的图像，也可以是调用相机进行实时拍照得到的图像。本技术实施例不做具体限定。
116.s1201、终端接收用户在上述上传区域中上传第一图像的第一操作(如上传操作)，并将第一图像上传给服务器。相应的，服务器接收客户端上传的第一图像。
117.用户使用终端登录上述图像搜索界面后，可以在图像搜索界面的上传区域中上传相应查询的第一图像，终端响应于用户的上传操作可将第一图像上传给服务器。示例性的，当终端检测到用户点击上传区域中的上传按钮时，终端可显示一个对话框，该对话框中可以包括终端中存储的图像。用户可以从对话框中选择需要上传给服务器的第一图像。当检测到用户点击对话框中的完成按钮后，终端将用户选中的第一图像上传给服务器。
118.终端将第一图像上传给服务器后，如图1所示，终端还可以在图像搜索界面中显示已经上传的第一图像，方便用户查看后续查询的结果图与第一图像的比对效果。
119.s1202、服务器识别第一图像的图像特征。
120.本步骤具体可采用以下方式实现：方式一，服务器将第一图像划分为多个网格，提取各个网格中的图像特征。方式二，服务器将第一图像输入特征提取模型中，输出第一图像的图像特征。其中，特征提取模型可以根据样本图像和图像特征训练得到的。当然，还可以采用其他方式实现，本技术实施例不做具体限定。
121.为了更准确的识别第一图像的图像特征，方式一的具体实现可以为：在用户在终端展示的页面的输入框中输入第一图像后，终端将第一图像上传至服务器。服务器识别第
一图像的第一图像特征。服务器根据第一图像的第一图像特征，确定第一图像所属第一图像类型。服务器识别第一图像的第二图像特征，第一图像的第二图像特征是根据第一图像类型确定的，第一图像的第二图像特征和第一图像的第一图像特征为不同分割层级的特征。具体示例可详见下文相关内容，在此不再赘述。以便于在后续步骤中，服务器可以根据第一图像的第二图像特征，识别第一图像的图像内容，或者，查找第一图像的相关的图像。
122.s1203、服务器根据第一图像的图像特征，在数据库中查找与第一图像相似的第二图像。
123.应理解为，服务器根据第一图像的图像特征，在数据库存储的图像特征中查找与第一图像的图像特征相同或相近的目标图像特征，并确定该目标图像特征对应的图像为第二图像。
124.在一种具体可实现方式中，服务器也可以根据第一图像的图像特征确定该图像特征对应的信息为第一图像的第一信息。例如，该第一信息可以为第一图像的内容信息。具体的，该第一图像的内容信息可以包括第一图像的标识、第一图像的名称、第一图像的百科、第一图像的链接地址等。
125.示例性的，以第一图像是“a宫”图像为例，当用户在终端展示的页面上的输入框中输入“a宫”图像时，终端将“a宫”的图像上传至服务器。服务器识别“a宫”图像，得到“a楼”图像，及该“a楼”的信息(如，“a楼”的城市为“b城市”，“a楼”所在位置的天气，等等)，该“a楼”图像为“a宫”图像的相似图。
126.在一种具体可实现方式中，服务器在数据库中预先设置图像对应的控件的属性信息。服务器查找到第二图像的同时，可以确定第二图像对应的控件的属性信息。其中，该控件的属性信息可以根据图像的内容不同而不同。例如，图像的内容可以包括图像的百科、图像的简介、图像的门票、图像的导航等信息，相应的，控件的属性可以包括：百科、简介、门票和导航。
127.或者，在另一种具体可实现方式中，服务器在数据库中预先设置图像类型与控件的属性信息的对应关系。服务器在查找到第二图像的同时，可以初步确定第二图像的图像类型与第一图像的图像类型一致。进而，服务器可以根据确定的第二图像的图像类型，及预先设置图像类型与控件的属性信息的对应关系，确定第二图像对应的控件的属性信息。
128.s1204、服务器将第二图像反馈给终端，相应的，终端接收第二图像。
129.当然，服务器也可以将第一图像的第一信息反馈给终端，相应的，终端接收第一图像的第一信息。
130.另外，在一种可能的实现方式中，服务器还可以将第二图像对应的控件的属性信息反馈给终端，相应的，终端接收第二图像对应的控件的属性信息。
131.s1205、终端展示第三界面，该第三界面可以包括第二图像。
132.该第二图像的数量可以为多个，示例性的，该多个第二图像可以包括如图1中所示的结果图1、结果图2、结果图3、结果图4、结果图5和结果图6等。
133.当然，终端可以展示第一图像的第一信息。示例性的，图1中所示的内容识别：图中可能是：xx，关于xx的百科介绍。
134.s1206、终端展示第二界面，该第二界面可以包括第二图像和第二图像对应的控件。
135.其中，针对不同的情形，终端展示第二图像对应的控件的实现方式也不同，具体实现方式如下：
136.第一种情况，终端接收了服务器发送的第二图像对应的控件的属性信息，且终端直接将第二图像对应的控件的属性信息通过控件展示。
137.如上述，第二图像对应的控件的属性信息是服务器自动确定的。具体可参见上述实施例中的相关内容，本技术实施例不再赘述。
138.第二种情况，终端接收了服务器发送的第二图像对应的控件的属性信息，但终端并未直接将第二图像对应的控件的属性信息通过控件展示。
139.应理解为，虽然终端接收了服务器发送的第二图像对应的控件的属性信息，但是，终端并未展示该第二图像对应的控件的属性信息。
140.若终端展示该属性信息，则终端需要在一定的激励下展示该属性信息。例如，终端可以接收对第二图像的第一触发操作，并响应于该第一触发操作，终端将第二图像对应的控件的属性信息通过控件展示。
141.其中，第一触发操作可以包括点击操作，滑动操作，按压操作，等等。该点击操作可以包括单击操作，双击操作，等等。当然，第一触发操作还可以包括其他形式的触发操作，例如，光标滑过第二图像的操作，或者，光标移动至第二图像上的操作，等等。本技术实施例不做具体限定。
142.本技术实施例中，对第二图像的第一触发操作，可以理解为以下几种情况：第一种，对第二图像的所在区域的第一触发操作，也就是说，在第二图像上的第一触发操作。或者，对第二图像的显示界面的第一触发操作，换句话说，在显示界面上且不在第二图像上的第一触发操作。当然，还可以存在其他情况，在此不再一一列举。
143.另外，对第二图像的第一触发操作，可以是用户直接对第二图像的第一触发操作，如，用户的手指点击第二图像。也可以是用户间接对第二图像的第一触发操作，如，用户将鼠标的光标移动至第二图像上，或者，用户将鼠标的光标滑过第二图像。
144.上述的第二图像可以指多个第一图像的相似图中的一个。示例性的，如图3所示，第二图像可以指结果图4。当然，第二图像也可以指结果图5或结果图6。在本技术实施例中对第二图像的具体内容不做具体限定。
145.第三种情况，终端在接收第二图像时并未接收到第二图像对应的控件的属性信息。该第二图像对应的控件的属性信息可以是终端默认设置的，也可以是由用户设置的。
146.具体实现方式如下：
147.第一，终端默认设置的。
148.在s1204中服务器将第二图像反馈给终端，相应的，终端接收第二图像。终端在接收第二图像后，终端可以根据第二图像，及预先存储的图像与控件的对应关系，确定第二图像对应的控件，并将该控件展示。
149.其中，预先存储的图像与控件的对应关系，可以指预先为图像配置了控件。具体的，可以按照图像类型配置控件。例如，景区类配置门票、天气、导航和百科等控件。为人物类配置简介、事迹、作品等控件。为商品类配置价格、评价和详情等控件。为动植物类配置特征、生长环境和简介等控件。当然，也可以按照图像的内容配置控件。例如，图像内容包括简介信息、门票信息、天气信息等。可以为上述图像内容配置简介、门票和天气等控件。
150.第二，用户设置的。
151.在s1204中服务器将第二图像反馈给终端，相应的，终端接收第二图像。当终端接收到服务器发送的第二图像后，终端在界面中显示第二图像的同时，终端可以弹出控件选择界面。用户可以根据显示的第二图像在该控件选择界面上选择控件。当用户点击选择完成按钮后，终端接收到用户对选择完成按钮的操作，将选择的控件显示在第二图像的区域上。例如，以第二图像是“a楼”为例，用户可以在控件选择界面上选择“门票”、“百科”、“天气”和“导航”等控件。当用户选择完控件后，用户点击选择完成按钮，终端就会将选择的“门票”、“百科”、“天气”和“导航”等控件显示在“a楼”所在的区域上。
152.第四种情况，终端在接收第二图像时并未接收到第二图像对应的控件的属性信息。但终端可以向服务器获取该第二图像对应的控件的属性信息。
153.具体可采用以下方式实现：
154.方式一，在s1205中终端展示第二图像之后，终端接收用户对第二图像的第一触发操作。终端向服务器发送第一请求(即第一信息获取请求)，该第一信息获取请求中携带第二图像的图像标识。服务器根据第二图像的图像标识，查找到第二图像并识别第二图像的第一图像特征。服务器根据第二图像的第一图像特征，确定第二图像所属第一图像类型。服务器根据第一图像类型，及预先存储的图像类型与控件的属性信息的对应关系，确定第二图像对应的控件的属性信息。
155.其中，数据库中的图像类型可以是其他服务器推送的，或者是服务器下载的，再或者是服务器中预先存储的。
156.其中，预先存储的图像类型与控件的属性信息的对应关系，可以通过下述举例的方式进行说明：例如，该图像类型可以包括景区类、人物类、商品类、动植物类(亦可称为动物类和植物类)等。相应的，景区类对应的控件的属性信息可以包括百科、天气、门票、导航等信息。人物类对应的控件的属性信息可以包括简介、事迹、作品等信息。商品类对应的控件的属性信息可以包括价格、评价、详情等信息。动植物类对应的控件的属性信息可以包括品种、生长环境、简介等信息。当然，上述图像类型也可以细分成多个子类型。例如，人物类可以包括明星类和普通类。明星类对应的控件的属性信息可以包括：百科、相关影片、关系图谱等信息。当然，上述图像类型对应的控件的属性信息还可以为其他信息，本技术实施例不做具体限定。
157.上述的控件的数量可以为至少一个。该控件的数量与控件的属性信息的数量一一对应。示例性的，控件的属性信息包括门票、天气、导航和百科。相应的，控件可以包括“门票”控件、“天气”控件、“导航”控件和“百科”控件。控件的属性信息包括百科、相关影片和相关图谱。相应的，控件可以包括“百科”控件、“相关影片”控件和“相关图谱”控件。
158.本技术实施例通过对第二图像采用粗的分割力度进行图像识别，确定第二图像的图像类型，并确定该图像类型对应的控件的属性信息，可以快速确定终端的页面上展示的控件的属性信息，无需通过精细分析图像的内容来确定，节省资源，操作快捷简单。
159.同时，上述的实现方式中，实现了多场景(如，景区、商品等)情况下的查询菜单自动化部署。
160.在另一种可实现方式中，为了实现实时在线的图像的内容识别。在服务器根据第二图像的第一图像特征确定第二图像所属第一图像类型之后，服务器可以根据第一图像类
型，识别第二图像的第二图像特征，该第二图像特征与第一图像特征是采用不同的分割粒度确定的。服务器根据第二图像的第二图像特征，确定第二图像的第二属性信息(或称第二图像的第一信息)。
161.其中，该第二图像的第一信息，可以包括第二图像的内容信息。例如，若第二图像为第一景区的图像，则该第二图像的内容信息可以包括第一景区的百科、第一景区的门票、第一景区的天气、第一景区的导航等信息。若该第二图像为第一人物的图像，则该第二图像的内容信息可以包括第一人物的简介、第一人物的作品、第一人物的事迹等信息。若该第二图像为第一商品的图像，则该第二图像的内容信息可以包括第一商品的价格、第一商品的链接地址、第一商品的详情、第一商品的评价等信息。若该第二图像为第一动植物的图像，则该第二图像的内容信息可以包括第一动植物的特征、第一动植物的生长环境、第一动植物的简介等信息。当然，本技术实施例对第二图像及该第二图像的内容信息不做具体限定。
162.其中，第二图像特征与第一图像特征是采用不同的分割粒度确定的。具体的，第二图像的第一图像特征可以是服务器将第二图像输入第一卷积神经网络(convolutional neural networks，cnn)模型得到的。第二图像的第二图像特征可以是服务器将第二图像输入第一图像类型相关的第二卷积神经网络模型得的。其中，第一图像类型与第二卷积神经网络模型相关，也可以理解为，预先存储了几种图像类型，及该图像类型与第二卷积神经网络模型的对应关系。
163.其中，第一卷积神经网络模型的分割粒度与第二卷积神经网络模型的分割粒度不同。例如，第一卷积神经网络模型的分割粒度大于第二卷积神经网络模型的分割粒度。也就是说，通过第一卷积神经网络模型可以粗略对第二图像进行识别，得到第二图像的第一图像特征，并确定第二图像的图像类型，再通过第二卷积神经网络模型对第二图像进行细致识别，以根据不同图像类型的图像特征的标准，确定第二图像的第二图像特征，以准确识别该第二图像特征对应的信息。例如：服务器通过第一卷积神经网络模型，确定第二图像的图像类型为景区类。服务器获取景区类对应的第二卷积神经网络模型，以景区类的图像特征识别标准，识别第二图像的信息。
164.当然，如果服务器确定第二图像的图像类型不是预先存储的图像类型，则服务器可以不执行识别第二图像的内容的操作，服务器可以仅提取第二图像的图像特征并根据图像特征返回第二图像的相似图(或者称为第二图像的结果图)。
165.具体为，服务器可以通过第一卷积神经网络模型和第二卷积神经网络模型得到的图像特征可以是卷积神经网络模型最后一个卷积层的全局平均汇合(global average pooling)输出。服务器将该图像特征进行pca(principal component analysis，主成分分析)降维、特征增强等后续处理之后，需要与数据库中存储的图像特征进行匹配，计算特征距离，进行相似图排序，返回相似图。
166.上述，第一卷积神经网络模型和第二卷积神经网络模型均可以采用残差网络(residual network，resnet)系列、inception系列或efficientnet系列等网络结构。
167.当然，上述的图像识别模型或特征提取模型不一定是卷积神经网络模型，也可以是传统的模型，或者两者的结合，甚至多模态的分类模型也同样适用，在本技术实施例中不做具体限定。
168.本技术实施例通过对第二图像采用粗的分割力度进行图像识别，确定第二图像的
图像类型。再对第二图像采用细的分割力度进行图像识别，确定第二图像的第一信息。因此，本技术实施例通过对相似图采用由粗的分割力度到细分割力度进行图像识别，可以实现实时在线的图像的内容识别，以得到图像的信息。
169.方式二，若限于计算资源的设备，在线的实时内容识别无法满足，也可在离线建数据库时对库中的所有图像做一次内容识别，并且图像内容与图像特征一同存储在数据库。其中，该图像内容可以包括图像类型等信息。当终端接收用户对图像内容查询的操作时，终端向服务器发送信息获取请求，该信息获取请求中携带图像标识。服务器根据图像标识可从数据库中读取对应的识别内容。
170.具体的，在s1205中终端展示第二图像之后，终端接收用户对第二图像的第一触发操作。终端向服务器发送第二信息获取请求，该第二信息获取请求中携带第二图像的图像标识。服务器根据第二图像的图像标识，查找到该图像标识对应的图像类型，即确定第二图像所属第一图像类型。服务器根据第一图像类型，及预先存储的图像类型与控件的属性信息的对应关系，确定第二图像对应的控件的属性信息。
171.在本技术实施例中，在离线建数据库时对图像做一次内容识别，降低了在线内容识别的计算开销，可以更快地完成对图像的内容识别，实现更快的查询速度。
172.方式三，在s1205中终端展示第二图像之后，终端接收用户对第二图像的第一触发操作。终端将第二图像上传至服务器。服务器识别第二图像的图像特征。服务器根据第二图像的图像特征，确定第二图像的图像内容。服务器根据第二图像的图像内容。服务器根据第二图像的图像内容，及图像内容与控件的属性信息的对应关系，确定第二图像对应的控件的属性信息。
173.其中，图像内容与控件的属性信息的对应关系，可以通过如下示例进行说明：例如，第二图像为第一景区的图像，该第二图像的内容信息可以包括第一景区的百科、第一景区的门票、第一景区的天气、第一景区的导航等信息。相应的，控件的属性信息可以包括百科、门票、天气和导航等信息。该第二图像为第一人物的图像，该第二图像的内容信息可以包括第一人物的简介、第一人物的作品、第一人物的事迹等信息。相应的，控件的属性信息可以包括简介、作品和事迹等信息。该第二图像为第一商品的图像，该第二图像的内容信息可以包括第一商品的价格、第一商品的链接地址、第一商品的详情、第一商品的评价等信息。相应的，控件的属性信息可以包括价格、链接地址、详情和评价等信息。该第二图像为第一动植物的图像，该第二图像的内容信息可以包括第一动植物的特征、第一动植物的生长环境、第一动植物的简介等信息。相应的，控件的属性信息可以包括特征、生长环境和简介等信息。当然，本技术实施例对第二图像及该第二图像的内容信息不做具体限定。
174.本技术实施例通过对第二图像进行图像内容信息识别，通过该第二图像的内容信息确定控件的属性信息，对于具体的图像实现了具体的信息查询选项的确定，满足用户对图像的个性化需求。
175.s1207、终端接收对第一控件(或称目标控件)的第二操作(如第二触发操作)，终端向服务器发送第三信息获取请求，该第三信息获取请求中携带第二图像的图像标识和目标控件的属性信息。相应的，服务器接收该第三获取请求，并根据第二图像的图像标识和目标控件的属性信息，获取第二图像的第一属性信息(或称第二图像的第二信息)。
176.其中，第二触发操作可以与上述第一触发操作一致，也可以与第一触发操作不一
致。例如，该第二触发操作可以包括点击操作，滑动操作，按压操作，等等。该点击操作可以包括单击操作，双击操作，等等。当然，第一触发操作还可以包括其他情形的触发操作，例如，鼠标光标的滑动操作或鼠标光标移动至目标控件上的操作。本技术实施例不做具体限定。
177.对目标控件的第二触发操作，可以理解为：用户直接对目标控件的第二触发操作，如，用户的手指点击/按压目标控件。或者，用户间接对目标控件的第二触发操作，如，用户将鼠标的光标移动至目标控件上，或者，用户将鼠标的光标滑动过目标控件。
178.s1207具体可采用以下方式实现：
179.方式一、如图12所示，s12171、终端接收对目标控件的第二触发操作。s12172、终端向服务器发送第二请求(即第三信息获取请求)，该第三信息获取请求中携带第二图像的图像标识和目标控件的属性信息。s12173、服务器根据第二图像的图像标识查找到第二图像，并识别第二图像的第一图像特征。服务器根据第二图像的第一图像特征，确定第二图像的第一信息。s12174、服务器根据第二图像的图像标识，调用目标控件的属性信息对应的应用程序接口(application programming interface，api)获取第二图像的第二信息。
180.其中，服务器识别第二图像的第一图像特征，具体实现方式可以参见上述图像识别的技术方案，本技术实施例不再赘述。
181.或者，如上述，为了更准确的识别第二图像的图像特征。s12173具体可实现为：服务器在识别第二图像的第一图像特征之后，服务器根据第二图像的第一图像特征，确定第二图像所属第一图像类型。服务器识别第二图像的第二图像特征，第二图像的第二图像特征是根据第一图像类型确定的，第二图像的第二图像特征和第二图像的第一图像特征为不同分割层级的特征。服务器根据第二图像的第二图像特征，确定第二图像的第一信息。
182.在一种实际应用场景中，图13为本技术实施例提供的一种图像的搜索方法的应用场景示意图，如图13所示，以第二图像是a楼为例，终端120的显示界面显示a楼的控件包括：“百科”控件，“天气”控件，“门票”控件和“导航”控件。当用户点击“天气”控件时，终端120接收用户对“天气”控件的点击操作。
①
终端120向服务器110发送第三信息获取请求，该第三信息获取请求中携带a楼和天气信息。
②
服务器110查找a楼的图像，并将a楼的图像输入第一cnn网络模型，输出a楼的图像的第一图像特征。其中，第一cnn网络模型采用第一分割粒度识别a楼的图像的第一图像特征。
③
服务器110根据a楼的图像的第一图像特征，确定a楼的图像属于景区类图像。
④
服务器110将a楼的图像输入第二cnn网络模型，输出a楼的图像的第二图像特征。其中，第二cnn网络模型采用第二分割粒度识别a楼的图像的第二图像特征，该第二分割粒度小于第一分割粒度，也就是说，第二cnn网络模型识别的图像特征较细，第一cnn网络模型识别的图像特征较粗。
⑤
服务器110根据a楼的图像的第二图像特征，确定a楼的内容信息。
⑥
服务器110调用天气信息对应的天气查询api获取a楼的天气信息。
⑦
服务器110输出a楼的天气信息给终端120。终端将a楼的天气信息通过卡片1301显示，a楼的内容信息在界面的右侧虚框区域1302显示。
183.可见，在本技术实施例中，当用户对目标控件执行第二触发操作时，服务器调用该目标控件的属性信息对应的api查询第二图像的第二信息。这样，用户可以自行选择欲查询的内容，服务器根据用户的查询操作实时返回相应的查询内容，实现了更加智能的识别相似图的内容和信息查询。
184.方式二、图14为本技术实施例提供的一种图像的搜索方法的流程图，如图14所示，s12271、终端接收对目标控件的第二触发操作。s12272、终端向服务器发送第三信息获取请求，该第三信息获取请求中携带第二图像的图像标识和目标控件的属性信息。s12273、服务器根据第二图像的图像标识查找到第二图像，并识别第二图像的第一图像特征。服务器根据第二图像的第一图像特征，在数据库中查找与第一图像特征对应的第二图像的第一信息。s12274、服务器根据第二图像的图像标识，调用目标属性信息对应的应用程序接口api获取第二图像的第二信息。
185.在一种实际应用场景中，图15为本技术实施例提供的一种图像的搜索方法的应用场景示意图，如图15所示，以第二图像是a楼为例，终端120的显示界面显示a楼的控件包括：“百科”控件，“天气”控件，“门票”控件和“导航”控件。当用户点击“天气”控件时，终端120接收用户对“天气”控件的点击操作。
①
终端120向服务器110发送第三信息获取请求，该第三信息获取请求中携带a楼和天气信息。
②
服务器110查找a楼的图像，并将a楼的图像输入cnn网络模型，输出a楼的图像的第一图像特征。
③
服务器110根据a楼的图像的第一图像特征，在数据库中查找与第一图像特征对应的a楼的图像的第一信息。
④
服务器110根据a楼的图像标识，调用天气信息对应的天气查询api获取a楼的天气信息。
⑤
服务器110输出a楼的天气信息给终端120。终端将a楼的天气信息通过卡片1501显示，a楼的内容信息在界面的右侧虚框区域1502显示。
186.可见，在本技术实施例中，当用户对目标控件执行第二触发操作时，服务器识别第二图像的第一图像特征，并根据该第一图像特征查询数据库得到第二图像的第一信息，并调用该目标控件的属性信息对应的api查询第二图像的第二信息。这样，服务器无需对第二图像进行内容识别，降低了在线计算开销，节省了服务器的资源，可以快速的完成信息查询。另外，用户可以自行选择欲查询的内容，服务器根据用户的查询操作实时返回相应的查询内容，实现了更加智能的识别相似图的内容和信息查询。
187.s1208、服务器将查找到的第二图像的第二信息发送给终端，相应的，终端接收服务器发送的第二图像的第二信息。
188.s1209、终端展示第二图像的第二信息。
189.其中，客户端可以采用预设形式展示第二图像的第二信息。该预设形式可以包括卡片形式、悬浮窗形式、通知消息形式等。当然，该预设形式还可以包括其他形式，本技术实施例不在一一列举。
190.客户端采用卡片的形式展示第一结果的第二信息，即如图9、图13和图15所示，该卡片上展示的内容如下：景点名称：a楼，景点所属城市：b，景点当前的天气状况，温度：20℃，及未来7天的天气情况图，b城市其他景点推荐：“图片1”、“图片2”、“图片3”和“图片4”。
191.本技术实施例完成了不同类别图像的查询功能定制化(如景区、人物、商品、动植物等)。完成了对相似图的内容识别，可以根据用户的具体选择自动获取相似图实时内容信息(如实时天气信息)，极大地方便了用户获取相似图的更多内容信息，实现了更加智能化的拍照搜索结果展示。
192.本技术实施例的具体实现方式详见上述相关内容，本技术实施例不再赘述。
193.本技术上述实施例中的各个方案在不矛盾的前提下，均可以进行结合。
194.图16为本技术实施例提供的又一种终端的结构示意图。如图16所示，该终端1600
可以包括：
195.搜索单元1610，用于响应于接收到用户在第一界面上对第一图像的第一操作，向服务器请求搜索第一图像；
196.第一显示单元1620，用于显示第二界面，第二界面中包含第二图像，以及第二图像对应的一个或多个控件；其中第二图像为服务器搜索到的与第一图像相关联的图像，一个或多个控件中的每个控件分别与第二图像的一个或多个属性信息相对应；
197.获取单元1630，用于响应于接收到用户在第二界面上对一个或多个控件中的第一控件的第二操作，向服务器请求获取第二图像的第一属性信息，第一属性信息与第一控件对应。
198.进一步的，终端1600还可以包括：
199.第一确定单元1640，用于根据第二图像，及预存的图像与控件的属性信息的对应关系，确定第二图像对应的一个或多个控件。
200.进一步的，终端1600还可以包括：
201.第二确定单元1650，用于根据用户对控件的属性信息的选择或设置操作，确定第二图像对应的一个或多个控件。
202.进一步的，终端1600还可以包括：
203.第二显示单元1660，用于显示第三界面，第三界面包括第二图像；
204.第一显示单元1620还用于：
205.响应于接收到用户的第三操作，显示第二界面。
206.进一步的，第一显示单元1620还用于：
207.响应于接收到用户的第三操作，向服务器发送第一请求，第一请求携带第二图像的图像标识；其中，服务器用于根据第二图像的图像标识确定第二图像所属的图像类型，并根据第二图像所属的图像类型确定控件的属性信息，并将控件的属性信息返回；
208.接收控件的属性信息，并在第二界面上展示控件。
209.进一步的，第二图像所属的图像类型为景区类，相应的，第一控件的属性信息包括门票、天气、导航和百科中的任一项；
210.第二图像所属的图像类型为人物类，相应的，第一控件的属性信息包括简介、事迹和作品中的任一项；
211.第二图像所属的图像类型为商品类，相应的，第一控件的属性信息包括价格、评价和详情中的任一项；
212.第二图像所属的图像类型为动植物类，相应的，第一控件的属性信息包括特征、生长环境和简介中的任一项。
213.进一步的，第三操作包括以下至少一项：
214.对第二图像的操作；
215.鼠标的光标滑过第二图像的操作；
216.鼠标的光标移动至第二图像相关区域的操作。
217.进一步的，获取单元1630还用于：
218.响应于接收到用户在第二界面上对第一控件的第二操作，向服务器发送第二请求，第二请求携带第二图像的图像标识和第一控件的属性信息；服务器用于根据第二图像
的图像标识和第一控件的属性信息查找第二图像的第一属性信息并返回第一属性信息；
219.接收第二图像的第一属性信息。
220.进一步的，服务器还用于根据第二图像的图像标识，调用第一控件的属性信息对应的应用程序api查找第二图像的第一属性信息。
221.本技术实施例通过服务器向终端返回第一图像的相似图(即第二图像)。终端显示第二图像时，还显示有第二图像对应的多个属性的控件。当终端检测到用户在的界面上操作第二图像对应的第一控件时，触发服务器获取第二图像的第一属性信息，该第一属性信息与第一控件对应。可见，用户操作第一控件即可搜索图像的个性化信息，满足用户实际应用场景中搜索需求。另外，用户无需重复执行上传图像，及输入查询关键字等操作查询第一属性信息，便于用户快捷查询第二图像的第一属性信息。
222.图17为本技术实施例提供的又一种服务器的结构示意图。如图17所示，该服务器1700包括：
223.第一接收单元1710，用于接收终端上传的第一图像；
224.第一确定单元1720，用于根据第一图像，确定第一图像对应的第二图像；
225.第一发送单元1730，用于向终端发送第二图像；
226.第一接收单元1740，用于接收终端发送的第一请求，第一请求中携带第二图像的图像标识和第二图像对应的第一控件的属性信息，第一控件的属性信息是根据第二图像的图像类型确定的；
227.搜索单元1750，用于根据第二图像的图像标识和第一控件的属性信息，搜索第二图像的第一属性信息。
228.进一步的，搜索单元1750还用于：
229.根据第二图像的图像标识，调用第一控件的属性信息对应的应用程序接口api查询第二图像的第一属性信息。
230.进一步的，服务器1700还包括：
231.第二确定单元1760，用于确定第二图像对应的第一控件的属性信息；
232.第二发送单元1770，用于向终端发送第二图像对应的第一控件的属性信息。
233.进一步的，第二确定单元1760还用于：
234.确定第二图像的图像类型；
235.根据第二图像所属的图像类型，及预存的图像类型与控件的属性信息的对应关系，确定第二图像对应的第一控件的属性信息。
236.进一步的，第二图像所属的图像类型为景区类，相应的，第一控件的属性信息包括门票、天气、导航和百科中的任一项；
237.第二图像所属的图像类型为人物类，相应的，第一控件的属性信息包括简介、事迹和作品中的任一项；
238.第二图像所属的图像类型为商品类，相应的，第一控件的属性信息包括价格、评价和详情中的任一项；
239.第二图像所属的图像类型为动植物类，相应的，第一控件的属性信息包括特征、生长环境和简介中的任一项。
240.进一步的，服务器1700还包括：
241.第二接收单元1780，用于接收终端发送的第二请求，第二请求携带第二图像的图像标识；
242.第一查找单元1790，用于根据第二图像的图像标识，查找第二图像并识别第二图像的第一图像特征；
243.第三确定单元1800，用于根据第二图像的第一图像特征，确定第二图像所属的图像类型；
244.第四确定单元1810，用于根据第二图像所属的图像类型，及预存的图像类型与控件的属性信息的对应关系，确定第二图像对应的第一控件的属性信息。
245.进一步的，服务器1700还包括：
246.识别单元1820，用于识别第二图像的第二图像特征，第二图像的第二图像特征是根据第二图像所属的图像类型确定的，第二图像的第二图像特征和第二图像的第一图像特征为不同分割层级的特征；
247.第五确定单元1830，用于根据第二图像的第二图像特征，确定第二图像的第二属性信息，第二属性信息与第一属性信息不同。
248.进一步的，服务器1700还包括：
249.第二接收单元1840，用于接收终端发送的第二请求，第二请求携带第二图像的图像标识；
250.第二查找单元1850，用于根据第二图像的图像标识，查找第二图像所属的图像类型；
251.第五确定单元1860，用于根据第二图像所属的图像类型，及预存的图像类型与控件的属性信息的对应关系，确定第二图像对应的第一控件的属性信息。
252.本技术实施例通过服务器向终端返回第一图像的相似图(即第二图像)。终端显示第二图像时，还显示有第二图像对应的多个属性的控件。当终端检测到用户在的界面上操作第二图像对应的第一控件时，触发服务器获取第二图像的第一属性信息，该第一属性信息与第一控件对应。可见，用户操作第一控件即可搜索图像的个性化信息，满足用户实际应用场景中搜索需求。另外，用户无需重复执行上传图像，及输入查询关键字等操作查询第一属性信息，便于用户快捷查询第二图像的第一属性信息。
253.本技术实施例还提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述任一方法。
254.本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一方法。
255.本技术实施例还提供了一种芯片，该芯片包括处理器和接口电路，该接口电路和该处理器耦合，该处理器用于运行计算机程序或指令，以实现上述方法，该接口电路用于与该芯片之外的其它模块进行通信。
256.在本技术的描述中，除非另有说明，“/”表示“或”的意思，例如，a/b可以表示a或b。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。此外，“至少一个”是指一个或多个，“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
257.在本技术的描述中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
258.通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
259.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
260.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
261.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
262.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
263.以上内容，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。