一种存储搜索引擎结果的方法及设备与流程

1.本发明涉及互联网数据处理领域，特别涉及一种存储搜索引擎结果的方法及设备。


背景技术：

2.随着互联网技术的飞速发展，网络中的数据呈指数形式增长，数据量变得越来越大，数据形式变得越来越多。在如今的信息时代中，从大量、复杂的网络数据中高效准确地导出并存储有价值的信息显得尤为重要。
3.目前通常采用网络爬虫方法从海量网络数据中获取需要的数据。网络爬虫是一种自动提取网页的搜索引擎程序，能够按照一定规则，自动地抓取网络中的数据。虽然使用网络爬虫能够快速获取网络数据，但是随之而来的是这些数据的导出和存储工作。目前绝大多数网络爬虫方法中仅支持将爬虫结果即获取的数据存储为excel表格类型，有少部分网络爬虫方法能够提供两到三种数据导出及存储类型，并不足以满足目前对网络数据存储类型的需求，导致根据目前的爬虫结果存储方法存储的数据，其存储类型可能不是所需要的类型，则需要单独调整数据的存储类型和存储介质等，数据存储效率较低。
4.因此，目前爬虫结果的存储方法，存在爬虫结果存储类型少，及存储的数据需要后期更改存储类型和介质的问题，爬虫结果存储过程复杂，存储效率低。


技术实现要素：

5.本发明提供了一种存储搜索引擎结果的方法及设备，用以解决现有爬虫结果的存储方法存在的爬虫结果存储类型少，及存储的数据需要后期更改存储类型和介质的问题。
6.根据本发明实施例的第一方面，提供一种存储搜索引擎结果的方法，该方法包括：
7.响应于管线配置指令，获取配置的至少一个搜索任务分别关联的数据管线，及各数据管线对应的存储位置，其中预先定义对应不同存储类型的数据管线；
8.响应于搜索引擎指令进行数据搜索，对各搜索任务获取到的数据，利用该搜索任务对应的数据管线，将获取的数据转换为与该数据管线对应的存储类型，并将转换后的数据存储到与该数据管线对应的存储位置。
9.在某些实施例中，所述对应不同存储类型的数据管线包括如下至少一种：
10.至少一种数据库格式数据分别对应的数据库类型数据管线；
11.至少一种文件格式数据分别对应的文件类型数据管线；
12.至少一种传输文件传输协议ftp格式数据分别对应的ftp类型数据管线。
13.在某些实施例中，响应于搜索引擎指令进行数据搜索之前，还包括：
14.利用配置的各数据管线，建立该数据管线关联的搜索任务间的数据接口，及建立与该数据管线对应的存储位置的连接。
15.在某些实施例中，还包括：
16.响应于搜索任务完成指令，确定将转换后的数据全部存储到与该数据管线对应的
存储位置时，断开与该数据管线对应的存储位置的连接。
17.在某些实施例中，将获取的数据转换为与该数据管线对应的存储类型，并将转换后的数据存储到与该数据管线对应的存储位置，包括：
18.利用搜索任务对应的数据管线，从存放所述搜索任务获取的数据的临时存储介质读取数据，并转换为与该数据管线对应的存储类型，将转换后的数据存储到与该数据管线对应的永久性存储介质对应的存储位置。
19.在某些实施例中，利用配置的各数据管线，建立与该数据管线对应的存储位置的连接，包括执行如下至少一个步骤：
20.利用配置的数据库类型数据管线，采用java数据库连接jdbc方式，建立与该数据管线对应的数据库的连接；
21.利用配置的文件类型数据管线，通过数据流的形式，建立与该数据管线对应的磁盘文件的连接；
22.利用配置的ftp类型数据管线，通过ftp协议建立与该数据管线对应的服务器的连接。
23.在某些实施例中，所述利用该搜索任务对应的数据管线，将获取的数据转换为与该数据管线对应的存储类型，包括如下至少一个步骤：
24.利用数据库类型数据管线，将所述获取的数据转换为sql数据库语言格式；
25.利用文件类型数据管线，将所述获取的数据转换为工作簿对象或二进制流格式；
26.利用ftp类型数据管线，将所述获取的数据转换为二进制流格式。
27.根据本发明实施例的第二方面，提供一种存储搜索引擎结果的设备，包括：
28.管线配置模块，用于响应于管线配置指令，获取配置的至少一个搜索任务分别关联的数据管线，及各数据管线对应的存储位置，其中预先定义对应不同存储类型的数据管线；
29.数据存储模块，用于响应于搜索引擎指令进行数据搜索，对各搜索任务获取到的数据，利用该搜索任务对应的数据管线，将获取的数据转换为与该数据管线对应的存储类型，并将转换后的数据存储到与该数据管线对应的存储位置。
30.在某些实施例中，所述对应不同存储类型的数据管线包括如下至少一种：
31.至少一种数据库格式数据分别对应的数据库类型数据管线；
32.至少一种文件格式数据分别对应的文件类型数据管线；
33.至少一种传输文件传输协议ftp格式数据分别对应的ftp类型数据管线。
34.在某些实施例中，所述数据存储模块响应于搜索引擎指令进行数据搜索之前，还包括：
35.利用配置的各数据管线，建立该数据管线关联的搜索任务间的数据接口，及建立与该数据管线对应的存储位置的连接。
36.在某些实施例中，所述数据存储模块还用于：
37.响应于搜索任务完成指令，确定将转换后的数据全部存储到与该数据管线对应的存储位置时，断开与该数据管线对应的存储位置的连接。
38.在某些实施例中，所述数据存储模块将获取的数据转换为与该数据管线对应的存储类型，并将转换后的数据存储到与该数据管线对应的存储位置，包括：
39.利用搜索任务对应的数据管线，从存放所述搜索任务获取的数据的临时存储介质读取数据，并转换为与该数据管线对应的存储类型，将转换后的数据存储到与该数据管线对应的永久性存储介质对应的存储位置。
40.在某些实施例中，所述数据存储模块利用配置的各数据管线，建立与该数据管线对应的存储位置的连接，包括执行如下至少一个步骤：
41.利用配置的数据库类型数据管线，采用java数据库连接jdbc方式，建立与该数据管线对应的数据库的连接；
42.利用配置的文件类型数据管线，通过数据流的形式，建立与该数据管线对应的磁盘文件的连接；
43.利用配置的ftp类型数据管线，通过ftp协议建立与该数据管线对应的服务器的连接。
44.在某些实施例中，所述数据存储模块利用该搜索任务对应的数据管线，将获取的数据转换为与该数据管线对应的存储类型，包括如下至少一个步骤：
45.利用数据库类型数据管线，将所述获取的数据转换为sql数据库语言格式；
46.利用文件类型数据管线，将所述获取的数据转换为工作簿对象或二进制流格式；
47.利用ftp类型数据管线，将所述获取的数据转换为二进制流格式。
48.根据本发明实施例的第三方面，提供一种存储搜索引擎结果的设备，包括：
49.响应于管线配置指令，获取配置的至少一个搜索任务分别关联的数据管线，及各数据管线对应的存储位置，其中预先定义对应不同存储类型的数据管线；
50.响应于搜索引擎指令进行数据搜索，对各搜索任务获取到的数据，利用该搜索任务对应的数据管线，将获取的数据转换为与该数据管线对应的存储类型，并将转换后的数据存储到与该数据管线对应的存储位置。
51.在某些实施例中，所述对应不同存储类型的数据管线包括如下至少一种：
52.至少一种数据库格式数据分别对应的数据库类型数据管线；
53.至少一种文件格式数据分别对应的文件类型数据管线；
54.至少一种传输文件传输协议ftp格式数据分别对应的ftp类型数据管线。
55.在某些实施例中，所述处理器响应于搜索引擎指令进行数据搜索之前，还包括：
56.利用配置的各数据管线，建立该数据管线关联的搜索任务间的数据接口，及建立与该数据管线对应的存储位置的连接。
57.在某些实施例中，所述处理器还用于：
58.响应于搜索任务完成指令，确定将转换后的数据全部存储到与该数据管线对应的存储位置时，断开与该数据管线对应的存储位置的连接。
59.在某些实施例中，所述处理器将获取的数据转换为与该数据管线对应的存储类型，并将转换后的数据存储到与该数据管线对应的存储位置，包括：
60.利用搜索任务对应的数据管线，从存放所述搜索任务获取的数据的临时存储介质读取数据，并转换为与该数据管线对应的存储类型，将转换后的数据存储到与该数据管线对应的永久性存储介质对应的存储位置。
61.在某些实施例中，所述处理器利用配置的各数据管线，建立与该数据管线对应的存储位置的连接，包括执行如下至少一个步骤：
62.利用配置的数据库类型数据管线，采用java数据库连接jdbc方式，建立与该数据管线对应的数据库的连接；
63.利用配置的文件类型数据管线，通过数据流的形式，建立与该数据管线对应的磁盘文件的连接；
64.利用配置的ftp类型数据管线，通过ftp协议建立与该数据管线对应的服务器的连接。
65.在某些实施例中，所述处理器利用该搜索任务对应的数据管线，将获取的数据转换为与该数据管线对应的存储类型，包括如下至少一个步骤：
66.利用数据库类型数据管线，将所述获取的数据转换为sql数据库语言格式；
67.利用文件类型数据管线，将所述获取的数据转换为工作簿对象或二进制流格式；
68.利用ftp类型数据管线，将所述获取的数据转换为二进制流格式。
69.根据本发明实施例的第四方面，提供一种芯片，所述芯片与用户设备中的存储器耦合，使得所述芯片在运行时调用所述存储器中存储的程序指令，实现本技术实施例上述各个方面以及各个方面涉及的任一可能设计的方法。
70.根据本发明实施例的第五方面，提供一种计算机可读存储介质，该计算机存储介质存储有程序指令，当其在终端设备上运行时，使得终端设备执行本发明实施例上述各个方面以及各个方面涉及的任一可能设计的方法。
71.根据本发明实施例的第六方面，提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本技术实施例上述各个方面以及各个方面涉及的任一可能设计的方法。
72.利用本发明提供的存储搜索引擎结果的方法及设备，具有以下有益效果：
73.本发明提供的存储搜索引擎结果的方法及设备，通过预先定义对应不同存储类型的数据管线，在利用建立的搜索任务搜索数据时，将搜索任务与所需类型的数据管线进行关联，利用该搜索任务对应的数据管线，将该搜索任务搜索到的数据转换为该数据管线对应的存储类型后，存储到对应的存储介质中。能够将搜索任务搜索到的数据转换为所需的存储格式后进行存储，解决了现有爬虫结果的存储方法存在的爬虫结果存储类型少，及存储的数据需要后期更改存储类型和介质的问题。
附图说明
74.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
75.图1为本发明实施例中提供的一种存储搜索引擎结果的方法示意图；
76.图2为本发明实施例中提供的一种管线选择提示及管线选择指令接收的页面示意图；
77.图3为本发明实施例中提供的一种管线配置提示及管线配置指令接收的页面示意图；
78.图4为本发明实施例中提供的一种利用数据管线存储搜索的结果数据的示例图；
79.图5为本发明实施例中提供的一种一次搜索任务中利用数据管线存储数据的流程示意图；
80.图6为本发明实施例中提供的一种利用数据管线存储数据的流程示意图；
81.图7为本发明实施例中提供的一种存储搜索引擎结果的设备示意图；
82.图8为本发明实施例中提供的一种存储搜索引擎结果的设备结构示意图。
具体实施方式
83.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
84.为了方便理解，下面对本发明实施例中涉及的名词进行解释：
85.1)网络爬虫：是一种自动获取网页内容的程序，为搜索引擎从网络中下载网页数据，是搜索引擎的重要组成部分，传统网络爬虫从一个或若干初始网页的统一资源定位符url开始，获得初始网页上的url，在抓取网页数据的过程中，不断从当前页面上抽取新的url放入队列，直到满足系统的一定停止条件时，停止数据抓取。
86.实施例1
87.本发明实施例提供一种存储搜索引擎结果的方法，在搜索引擎的基础上提供多种数据导出类型，将数据导出类型与存储介质封装为数据管线，存储搜索引擎结果时，根据需要选择对应的数据管线，对搜索的结果数据进行存储。
88.鉴于目前通常采用网络爬虫方法从网络中抓取数据，因此，本发明实施例中搜索引擎的具体实施方式可以为网络爬虫，搜索引擎结果为对应的爬虫结果。
89.参照图1，为本发明实施例提供的一种存储搜索引擎结果的方法，如图所示，该方法包括：
90.步骤s101，响应于管线配置指令，获取配置的至少一个搜索任务分别关联的数据管线，及各数据管线对应的存储位置，其中预先定义对应不同存储类型的数据管线；
91.本发明实施例中，预先定义对应不同存储类型的数据管线，在利用搜索引擎进行数据搜索时，从预先定义的不同存储类型的数据管线中选择所需类型的数据管线并进行相应配置，从而利用该数据管线进行数据类型转换及存储，其中，搜索任务可以为利用网络爬虫建立的爬虫任务；数据管线用于将指定数据从一个存储位置搬移到另一个存储位置进行存储。
92.参照图2，为本发明实施例提供的一种管线选择提示及管线选择指令接收的页面示意图。
93.作为一种可选的实施方式，本发明实施例中，在建立搜索任务以搜索数据时，输出如图2中所示的是否调用数据管线的提示信息，及预先定义的不同存储类型对应的数据管线，并接收输入的管线选择指令，根据该指令确定是否调用数据管线，及确定调用时调用的数据管线。
94.确定调用数据管线后，通过响应于搜索任务建立指令，在建立搜索任务以搜索数据时，输出进行数据管线配置的管线配置提示信息，并接收输入的管线配置指令，根据管线
配置指令获取配置的至少一个搜索任务分别关联的数据管线；或者，响应于输入的管线配置指令，根据管线配置指令获取配置的至少一个搜索任务分别关联的数据管线。
95.其中，管线配置指令包括管线类型、存储介质信息等主要配置信息，例如数据管线名称、数据管线类型、永久性存储介质对应的ip地址及端口、连接永久性存储介质的用户名及密码、数据库名、表名、文件存储路径等配置信息。
96.参照图3，为本发明实施例提供的一种管线配置提示及管线配置指令接收的页面示意图。如图所示，在输出进行数据管线配置的管线配置提示信息时，输出显示对数据管线进行配置的各配置项，包括上述各配置信息，并接收输入的对各配置项进行的配置指令。
97.本发明实施例中，对应不同存储类型的数据管线包括如下至少一种：
98.1)至少一种数据库格式数据分别对应的数据库类型数据管线；
99.其中，数据库格式数据包括mysql例如依托于mysql存储json(java script object notation，js对象简谱)格式数据、mysql_field格式数据、mpp(massively parallel processing，大规模并行处理)格式数据、hbase(hadoop database)数据库格式数据、mongo(分布式文档存储数据库)格式数据等类型的数据。
100.获取配置的至少一个搜索任务分别关联的数据管线为数据库类型数据管线时，上述管线配置指令中包括数据连接信息，例如管线名称、数据库ip地址及端口号、用户名、密码、数据库名、表名等配置信息，根据该配置信息对数据管线进行相应配置。
101.2)至少一种文件格式数据分别对应的文件类型数据管线；
102.其中，文件格式数据包括excel格式数据、file(文件)格式数据等类型的数据。
103.获取配置的至少一个搜索任务分别关联的数据管线为文件类型数据管线时，上述管线配置指令中包括文件存储路径信息以及名称信息等，例如管线名称、存储路径等配置信息，根据该配置信息对数据管线进行相应配置。
104.3)至少一种传输文件传输协议ftp格式数据分别对应的ftp类型数据管线。
105.获取配置的至少一个搜索任务分别关联的数据管线为文件类型数据管线时，上述管线配置指令中包括服务器连接及存储信息等，例如管线名称、服务器连接路径等配置信息，根据该配置信息对数据管线进行相应配置。
106.本发明实施例中，在响应于管线配置指令，获取配置的至少一个搜索任务分别关联的数据管线时，所述至少一个搜索任务可以关联到同一数据管线，各搜索任务可以关联到多个不同类型的数据管线。
107.具体的，可以同时执行多个搜索任务进行数据搜索，各搜索任务可以通过分别关联不同类型的数据管线，并利用关联的各数据管线，将其搜索到的数据存储为各数据管线对应的存储类型的数据。其中，每个数据管线可以关联多个搜索任务，在关联多个搜索任务时，数据管线能够将与其关联的且进行数据搜索的搜索任务，搜索到的数据，存储为该数据管线对应的存储类型。
108.本发明实施例中，利用搜索任务进行数据搜索时，对多个搜索任务关联的同一个数据管线，仅根据管线配置指令进行一次配置，在响应于管线配置指令，获取配置的该数据管线后，利用该数据管线将多个搜索任务获取的数据转换为与该数据管线对应的存储类型，并将转换后的数据存储到与该数据管线对应的存储位置。
109.步骤s102，响应于搜索引擎指令进行数据搜索，对各搜索任务获取到的数据，利用
该搜索任务对应的数据管线，将获取的数据转换为与该数据管线对应的存储类型，并将转换后的数据存储到与该数据管线对应的存储位置。
110.上述获取配置的至少一个搜索任务分别关联的数据管线，及各数据管线对应的存储位置后，利用搜索任务对应的数据管线，从存放所述搜索任务获取的数据的临时存储介质读取数据，并转换为与该数据管线对应的存储类型，将转换后的数据存储到与该数据管线对应的永久性存储介质对应的存储位置。
111.参照图4，为本发明实施例提供的一种利用数据管线存储搜索的结果数据的示例图。如图所示，假设一个搜索任务关联的数管线包括数据管线1、数据管线2、数据管线3共三种类型的数据管线，搜索任务启动后，搜索任务进行数据搜索并将搜索到的数据存储到临时存储介质中，再由其关联的数据管线1-3分别从临时存储介质中读取搜索任务获取的数据，并分别对该数据进行数据格式转换后，存储到对应的永久性存储介质中，至搜索任务结束，且搜索任务获取的数据全部存储到永久性存储介质中时，关闭数据管线，完成数据存储。
112.本发明实施例中，在进行数据搜索之前，先利用数据管线建立与对应的存储介质的连接。具体的，利用配置的各数据管线，建立该数据管线关联的搜索任务间的数据接口，及建立与该数据管线对应的存储位置的连接。
113.上述数据管线通过建立的与关联的搜索任务间的数据接口，获取搜索任务存储在临时存储介质中的数据，通过建立与该数据管线对应的存储位置的连接，将数据存储到对应的存储位置。在搜索任务完成后，响应于接收到的搜索任务完成指令，确定将转换后的数据全部存储到与该数据管线对应的存储位置时，断开与该数据管线对应的存储位置的连接。
114.本发明实施例中，在利用配置的各数据管线，建立与该数据管线对应的存储位置的连接，以及将关联的搜索任务获取的数据，转换为与该数据管线对应的存储类型，并存储到对应的存储介质中时，不同种类的数据管线对应的具体实施方式不同。
115.具体的，在利用配置的各数据管线，建立与该数据管线对应的存储位置的连接时，包括如下至少一个介质连接步骤：
116.1)利用配置的数据库类型数据管线，采用java数据库连接jdbc方式，建立与该数据管线对应的数据库的连接；
117.2)利用配置的文件类型数据管线，通过数据流的形式，建立与该数据管线对应的磁盘文件的连接；
118.3)利用配置的ftp类型数据管线，通过ftp协议建立与该数据管线对应的服务器的连接。
119.在将关联的搜索任务获取的数据，转换为与该数据管线对应的存储类型时，包括如下至少一个数据转换步骤：
120.1)利用数据库类型数据管线，将所述获取的数据转换为sql数据库语言格式；
121.2)利用文件类型数据管线，将所述获取的数据转换为工作簿对象或二进制流格式；
122.3)利用ftp类型数据管线，将所述获取的数据转换为二进制流格式。
123.参照图5，为本发明实施例提供的一种一次搜索任务中利用数据管线存储数据的
流程示意图。
124.参照图6，为本发明实施例提供的一种利用数据管线存储数据的流程示意图。
125.如图5所示，在建立搜索任务并关联存储介质后，根据管线配置指令，配置数据管线，然后根据数据管线类型，执行上述对应的介质连接步骤，将数据管线连接到对应的存储介质，再对搜索任务获取的数据，执行上述的数据转换步骤后，存储到对应的存储介质。在搜索任务完成，且获取的数据均存储到对应的存储介质后，关闭数据管线与存储介质的连接，并关闭数据管线，完成本次搜索任务对应结果数据的存储。
126.其中，如图6所示，针对不同类型的数据管线，具体包括三种不同的实施方式。对数据库类型数据管线，采用数据库连接方式即上述介质连接步骤1)，建立数据管线与对应的数据库的连接，然后将搜索任务获取的原始数据转化为sql数据库语言格式后，存储到对应的数据库；对文件类型数据管线，采用文件流连接方式即上述介质连接步骤2)，建立数据管线与对应的磁盘文件的连接，然后将搜索任务获取的原始数据转化为工作簿对象或二进制流格式后，存储到对应的磁盘文件位置；对ftp类型数据管线，采用ftp协议连接方式即上述介质连接步骤3)，建立数据管线与对应的服务器的连接，然后将搜索任务获取的原始数据转化为二进制流格式后，存储到对应的ftp存储位置(服务器)。
127.本发明实施例提供的上述存储搜索引擎结果的方法，通过预先定义对应不同存储类型的数据管线，在利用建立的搜索任务搜索数据时，将搜索任务与所需类型的数据管线进行关联，利用该搜索任务对应的数据管线，将该搜索任务搜索到的数据转换为该数据管线对应的存储类型后，存储到对应的存储介质中。丰富了数据导出存储的类型，简化了搜索引擎搜索数据及数据处理的流程，并且提高了数据存储的效率，本发明实施例提供的方法，可以应用到爬虫结果存储场景中，解决了现有爬虫结果的存储方法存在的爬虫结果存储类型少，及存储的数据需要后期更改存储类型和介质的问题。
128.实施例2
129.基于相同的发明构思，本发明实施例还提供了一种存储搜索引擎结果的设备，由于该设备即是本发明实施例中的方法中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。
130.请参阅图7，本发明实施例提供一种存储搜索引擎结果的设备，包括：
131.管线配置模块701，用于响应于管线配置指令，获取配置的至少一个搜索任务分别关联的数据管线，及各数据管线对应的存储位置，其中预先定义对应不同存储类型的数据管线；
132.数据存储模块702，用于响应于搜索引擎指令进行数据搜索，对各搜索任务获取到的数据，利用该搜索任务对应的数据管线，将获取的数据转换为与该数据管线对应的存储类型，并将转换后的数据存储到与该数据管线对应的存储位置。
133.在某些实施例中，所述对应不同存储类型的数据管线包括如下至少一种：
134.至少一种数据库格式数据分别对应的数据库类型数据管线；
135.至少一种文件格式数据分别对应的文件类型数据管线；
136.至少一种传输文件传输协议ftp格式数据分别对应的ftp类型数据管线。
137.在某些实施例中，所述数据存储模块响应于搜索引擎指令进行数据搜索之前，还包括：
138.利用配置的各数据管线，建立该数据管线关联的搜索任务间的数据接口，及建立与该数据管线对应的存储位置的连接。
139.在某些实施例中，所述数据存储模块还用于：
140.响应于搜索任务完成指令，确定将转换后的数据全部存储到与该数据管线对应的存储位置时，断开与该数据管线对应的存储位置的连接。
141.在某些实施例中，所述数据存储模块将获取的数据转换为与该数据管线对应的存储类型，并将转换后的数据存储到与该数据管线对应的存储位置，包括：
142.利用搜索任务对应的数据管线，从存放所述搜索任务获取的数据的临时存储介质读取数据，并转换为与该数据管线对应的存储类型，将转换后的数据存储到与该数据管线对应的永久性存储介质对应的存储位置。
143.在某些实施例中，所述数据存储模块利用配置的各数据管线，建立与该数据管线对应的存储位置的连接，包括执行如下至少一个步骤：
144.利用配置的数据库类型数据管线，采用java数据库连接jdbc方式，建立与该数据管线对应的数据库的连接；
145.利用配置的文件类型数据管线，通过数据流的形式，建立与该数据管线对应的磁盘文件的连接；
146.利用配置的ftp类型数据管线，通过ftp协议建立与该数据管线对应的服务器的连接。
147.在某些实施例中，所述数据存储模块利用该搜索任务对应的数据管线，将获取的数据转换为与该数据管线对应的存储类型，包括如下至少一个步骤：
148.利用数据库类型数据管线，将所述获取的数据转换为sql数据库语言格式；
149.利用文件类型数据管线，将所述获取的数据转换为工作簿对象或二进制流格式；
150.利用ftp类型数据管线，将所述获取的数据转换为二进制流格式。
151.实施例3
152.基于相同的发明构思，本发明实施例还提供了一种存储搜索引擎结果的设备，由于该设备即是本发明实施例中的方法中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。
153.参阅图8，为本发明实施例提供一种存储搜索引擎结果的设备的结构示意图。
154.如图8所示，该设备800包括：通信接口810、存储器820和处理器830。通信接口810、存储器820和处理器830可以通过总线840连接。本领域技术人员可以理解，图8中示出的设备800结构并不构成对设备800的限定，图8所示的设备800仅是一个范例，并且设备800可以具有比图8中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。下面结合图8对设备800的各个构成部件进行具体的介绍：
155.通信接口810可用于与语音识别设备、云端服务器进行通信，例如，接收语音识别设备或云端服务器发送的电梯控制指令等。
156.存储器820可用于存储设备运行时所使用的数据、程序和/或模块，如本技术实施例中的开关控制器的控制方法对应的程序指令和/或模块，处理器830通过运行存储在存储
器820的程序和/或模块，从而执行设备800的各种功能应用以及数据处理，如本技术实施例提供的电梯控制系统的相关控制方法。存储器820可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个应用的应用程序等；存储数据区可存储根据设备800的使用所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
157.处理器830是设备800的控制中心，利用各种接口和线路连接整个设备800的各个部分，通过运行或执行存储在存储器820内的软件程序和/或模块，以及调用存储在存储器820内的数据，执行设备800的各种功能和处理数据，从而对设备800进行整体监控。在一些实施例中，处理器830可包括一个或多个处理单元。本技术实施例中的处理器830可以运行操作系统、应用程序、执行服务器发送的操作指令以及本发明实施例的相关控制方法等。
158.本发明实施例中不限定上述存储器820、处理器830和通信接口810之间的具体连接介质。本发明实施例在图8中，存储器820、处理器830和通信接口810之间通过总线840连接，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线840可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
159.本实施例中，上述处理器具体用于：
160.响应于管线配置指令，获取配置的至少一个搜索任务分别关联的数据管线，及各数据管线对应的存储位置，其中预先定义对应不同存储类型的数据管线；
161.响应于搜索引擎指令进行数据搜索，对各搜索任务获取到的数据，利用该搜索任务对应的数据管线，将获取的数据转换为与该数据管线对应的存储类型，并将转换后的数据存储到与该数据管线对应的存储位置。
162.在某些实施例中，所述对应不同存储类型的数据管线包括如下至少一种：
163.至少一种数据库格式数据分别对应的数据库类型数据管线；
164.至少一种文件格式数据分别对应的文件类型数据管线；
165.至少一种传输文件传输协议ftp格式数据分别对应的ftp类型数据管线。
166.在某些实施例中，所述处理器响应于搜索引擎指令进行数据搜索之前，还包括：
167.利用配置的各数据管线，建立该数据管线关联的搜索任务间的数据接口，及建立与该数据管线对应的存储位置的连接。
168.在某些实施例中，所述处理器还用于：
169.响应于搜索任务完成指令，确定将转换后的数据全部存储到与该数据管线对应的存储位置时，断开与该数据管线对应的存储位置的连接。
170.在某些实施例中，所述处理器将获取的数据转换为与该数据管线对应的存储类型，并将转换后的数据存储到与该数据管线对应的存储位置，包括：
171.利用搜索任务对应的数据管线，从存放所述搜索任务获取的数据的临时存储介质读取数据，并转换为与该数据管线对应的存储类型，将转换后的数据存储到与该数据管线对应的永久性存储介质对应的存储位置。
172.在某些实施例中，所述处理器利用配置的各数据管线，建立与该数据管线对应的存储位置的连接，包括执行如下至少一个步骤：
173.利用配置的数据库类型数据管线，采用java数据库连接jdbc方式，建立与该数据
管线对应的数据库的连接；
174.利用配置的文件类型数据管线，通过数据流的形式，建立与该数据管线对应的磁盘文件的连接；
175.利用配置的ftp类型数据管线，通过ftp协议建立与该数据管线对应的服务器的连接。
176.在某些实施例中，所述处理器利用该搜索任务对应的数据管线，将获取的数据转换为与该数据管线对应的存储类型，包括如下至少一个步骤：
177.利用数据库类型数据管线，将所述获取的数据转换为sql数据库语言格式；
178.利用文件类型数据管线，将所述获取的数据转换为工作簿对象或二进制流格式；
179.利用ftp类型数据管线，将所述获取的数据转换为二进制流格式。
180.应当理解的是，本技术实施例所限定的技术方案仅是对存储搜索引擎结果的设备或控制方法的示例性说明而非任何限定，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
181.本发明实施例还提供一种计算机可读存储介质，包括指令，当其在终端设备上运行时，使得终端设备执行上述实施例提供的存储搜索引擎结果的方法。
182.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
183.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
184.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
185.另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
186.以上对本技术所提供的技术方案进行了详细介绍，本技术中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。
187.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。