搜索引擎的索引更新方法及系统、电子设备、存储介质与流程

1.本技术涉及计算机技术领域，特别涉及一种搜索引擎的索引更新方法及系统、电子设备、计算机可读存储介质。


背景技术：

2.搜索引擎通过倒排索引的方式从数据库获取与查询语句对应的检索结果。因此，索引的准确性直接影响搜索引擎的响应速度和查询精度。一般，在搜索引擎初始化时，索引服务器可对数据库中每一条数据进行处理，生成相应的索引信息。该方案的索引更新速率较慢。


技术实现要素：

3.本技术实施例的目的在于提供一种搜索引擎的索引更新方法及系统、电子设备、计算机可读存储介质，用于实现分布式索引更新，极大地提升索引更新的速率。
4.一方面，本技术提供了一种搜索引擎的索引更新方法，应用于协调节点，包括：
5.接收全量更新指令，其中，所述全量更新指令包括索引标识；
6.获取对应于所述索引标识的数据库标识、索引更新结构化查询语言sql、多个索引更新节点地址；
7.依据索引更新sql，确定所述数据库标识对应数据库中多条待更新数据的数据标识；
8.为每个索引更新节点分配多个数据标识，并依据所述索引更新节点地址发送所述多个数据标识和所述数据库标识。
9.在一实施例中，所述多条待更新数据的数据标识为连续序号；
10.所述为每个索引更新节点分配多个数据标识，并依据所述索引更新节点地址发送所述多个数据标识和所述数据库标识，包括：
11.根据所述索引更新节点的数量，对所述多条待更新数据的数据标识进行均分，获得多个数据标识分区；其中，所述数据标识分区包括多个连续的数据标识；
12.为每个索引更新节点分配一个数据标识分区，并向所述索引更新节点发送所述数据库标识、所述数据标识分区内的最大数据标识和最小数据标识。
13.一方面，本技术提供了一种搜索引擎的索引更新方法，应用于索引更新节点，包括：
14.接收多条待更新数据的数据标识和数据库标识；
15.在所述数据库标识指示的数据库中，查找所述数据标识对应的待更新数据；
16.为所述待更新数据生成索引，并将所述索引写入搜索引擎。
17.在一实施例中，所述方法还包括：
18.在为多个待更新数据生成索引的过程中，将更新进度记录到本地内存。
19.在一实施例中，所述方法还包括：
20.当任一待更新数据的索引更新失败时，上报所述待更新数据的数据标识。
21.另一方面，本技术还提供了一种搜索引擎的索引更新系统，包括：
22.后台服务端，用于响应于更新操作，下发全量更新指令；
23.协调节点，与所述后台服务端连接，用于接收全量更新指令，其中，所述全量更新指令包括索引标识；获取对应于所述索引标识的数据库标识、索引更新sql、多个索引更新节点地址；依据索引更新sql，确定所述数据库标识对应数据库中多条待更新数据的数据标识；为每个索引更新节点分配多个数据标识，并依据所述索引更新节点地址发送所述多个数据标识和所述数据库标识；
24.索引更新节点，与所述协调节点连接，用于接收多条待更新数据的数据标识和数据库标识；在所述数据库标识指示的数据库中，查找所述数据标识对应的待更新数据；为所述待更新数据生成索引，并将所述索引写入搜索引擎。
25.在一实施例中，
26.所述索引更新节点，还用于在为多个待更新数据生成索引的过程中，将更新进度记录到本地内存；
27.所述后台服务端，与所述索引更新节点连接，还用于从所述索引更新节点获取所述更新进度，并输出展示所述更新进度。
28.在一实施例中，
29.所述索引更新节点，还用于当任一待更新数据的索引更新失败时，上报所述待更新数据的数据标识；
30.所述后台服务端，与所述索引更新节点连接，还用于从所述索引更新节点获取索引更新失败的数据标识，并基于预设通信方式发送更新失败通知；其中，所述更新失败通知指示所述数据标识对应的待更新数据索引更新失败。
31.进一步的，本技术还提供了一种电子设备，所述电子设备包括：
32.处理器；
33.用于存储处理器可执行指令的存储器；
34.其中，所述处理器被配置为执行上述搜索引擎的索引更新方法。
35.另外，本技术还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述搜索引擎的索引更新方法。
36.本技术方案，协调节点可以根据索引更新sql和数据库标识确定多条待更新数据的数据标识，并为多个索引更新节点分配多个数据标识，确定各索引更新节点负责的多条待更新数据，使得各索引更新节点可以同时对自身负责的待更新数据执行索引更新任务，极大地提升了索引更新速率。
附图说明
37.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍。
38.图1为本技术一实施例提供的搜索引擎的索引更新系统的网络架构示意图；
39.图2为本技术一实施例提供的电子设备的结构示意图；
40.图3为本技术一实施例提供的搜索引擎的索引更新方法的流程示意图；
41.图4为本技术另一实施例提供的电子设备的结构示意图；
42.图5为本技术另一实施例提供的搜索引擎的索引更新方法的流程示意图；
43.图6为本技术一实施例提供的搜索引擎的索引更新装置的框图；
44.图7为本技术另一实施例提供的搜索引擎的索引更新装置的框图。
具体实施方式
45.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
46.相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
47.图1为本技术实施例提供的搜索引擎的索引更新系统的网络架构示意图。如图1所示，该系统可以包括：后台服务端30、协调节点40、索引更新节点50。
48.后台服务端30可以是服务器、服务器集群或云计算中心，用于响应于运营人员的更新操作，下发全量更新指令。其中，更新操作可以由运营人员在搜索引擎后台管理页面上点击按键来实现；全量更新指令用于指示对搜索引擎全量更新索引，全量更新索引可以携带索引标识。索引标识可以指示搜索引擎对应的索引，示例性的，索引标识可以是索引接口名。
49.协调节点40可以是服务器、服务器集群或云计算中心，与后台服务端30连接，连接方式可以包括有线或无线的通信连接。协调节点40用于接收全量更新指令，并执行本技术应用于协调节点的搜索引擎的索引更新方法，从而为每个索引更新节点50发送多个数据标识和数据库标识，详见下文相关描述。
50.索引更新节点50可以是服务器、服务器集群或云计算中心，与协调节点40连接，连接方式可以包括有线或无线的通信连接。索引更新节点50可以获取携带节点40发送的数据标识和数据库标识，并执行本技术应用于索引更新节点的搜索引擎的缩影更新方法，详见下文相关描述。
51.在一实施例中，索引更新节点50，还用于在为多条待更新数据生成索引的过程中，可以将更新进度记录到本地内存中。更新进度用于指示索引更新节点50对其所处理的所有待更新数据的索引更新进程。示例性的，分配给索引更新节点50的待更新数据为100条，当为20条待更新数据生成索引时，更新进度为20％。
52.后台服务端30可以与每个索引更新节点50连接，连接方式可以包括有线或无线的通信连接。后台服务端30还用于从索引更新节点50获取更新进度，并输出展示更新进度。后台服务端30可以依据预先指定的内存地址或各个索引更新节点50上报的内存地址，从各个索引更新节点50的内存中读取更新进度。后台服务端30可以在搜索引擎后台管理页面上输出展示更新进度，使得运营人员可以直观地查看各索引更新节点50的更新情况。
53.在一实施例中，索引更新节点50，还用于当任一待更新数据的索引更新失败时，上报待更新数据的数据标识。
54.后台服务端30可以与每个索引更新节点50连接，连接方式可以包括有线或无线的通信连接。后台服务端30还用于从索引更新节点50获取索引更新失败的数据标识，并基于预设通信方式发送更新失败通知。这里，通信方式可以是预先指定的若干运营人员的手机
号、邮箱等。后台服务端30发送更新失败通知后，可以通知运营人员更新失败通知中数据标识对应的待更新数据索引更新失败，使得运营人员可以及时获知，从而人工对上述待更新数据进行处理。
55.在一实施例中，后台服务端30可以响应于运营人员在搜索引擎后台管理页面上按键产生针对任一索引更新节点50的开启、暂停、停止的指令，控制索引更新节点50开启、暂停、停止索引更新任务。
56.在一实施例中，可以由一个索引更新节点50充当协调节点40，在这种情况下，协调节点40在为各索引更新节点发送多个数据标识时，可以确定自身处理的多个数据标识。
57.如图2所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图2中以一个处理器11为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备1可以是上述协调节点40，用于执行应用于协调节点的搜索引擎的索引更新方法。
58.存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read
‑
only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read only memory，简称eprom)，可编程只读存储器(programmable red
‑
only memory，简称prom)，只读存储器(read
‑
only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。
59.本技术还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器11执行以完成本技术提供的应用于协调节点的搜索引擎的索引更新方法。
60.参见图3，为本技术一实施例提供的搜索引擎的索引更新方法的流程示意图，如图3所示，该方法应用于协调节点，可以包括以下步骤310
‑
步骤340。
61.步骤310：接收全量更新指令，其中，全量更新指令包括索引标识。
62.步骤320：获取对应于索引标识的数据库标识、索引更新sql、多个索引更新节点地址。
63.协调节点可以从后台服务端接收全量更新指令，并从全量更新指令中解析出索引标识。协调节点可以预先保存索引标识与数据库标识、索引更新sql(structured query language，结构化查询语言)以及可用的多个索引更新节点地址之间的映射关系。其中，数据库标识用于指示搜索引擎搜索数据的数据库；索引更新sql用于指示索引更新所涉及的数据范围；索引更新节点50地址用于指示可用的索引更新节点50，可以是ip(internet protocoladdress，互联网协议地址)地址和mac(media access control address，媒体存取控制位址)地址。
64.在解析出索引标识之后，协调节点可以获取对应于索引标识的数据库标识、索引更新sql、多个索引更新节点地址。
65.步骤330：依据索引更新sql，确定数据库标识对应数据库中多条待更新数据的数据标识。
66.其中，待更新数据是需要在搜索引擎中生成索引的数据；数据标识用于指示待更新数据，示例性的，数据标识可以是待更新数据在数据库中的序号。
67.协调节点可以依据索引更新sql，确定数据库标识对应数据库中多条待更新数据的数据标识。
68.步骤340：为每个索引更新节点分配多个数据标识，并依据索引更新节点地址发送多个数据标识和数据库标识。
69.协调节点可以为每个索引更新节点分配多个数据标识，分配给索引更新节点的数据标识可以指示索引更新节点在后续索引更新时处理的待更新数据。示例性的，为保证各索引更新节点负载均衡，协调节点可以为每个索引更新节点分配数量相同或相似的数据标识。在分配完毕后，协调节点可以依据索引更新节点的地址，发送分配给索引更新节点的多个数据标识和数据库标识。
70.通过该措施，后续多个索引更新节点可以同时执行索引更新任务，从而提高索引更新速率。
71.在一实施例中，多条待更新数据的数据标识为连续序号。在这种情况下，协调节点在为每个索引更新节点分配多个数据标识时，可以根据索引更新节点的数量，对依据索引更新sql确定的多条待更新数据的数据标识进行均分，获得多个数据标识分区。其中，数据标识分区可以包括多个连续的数据标识。
72.示例性的，依据索引更新sql确定的待更新数据的数据标识为序号1至900，索引更新节点的数量为3，协调节点可以将数据标识分为三个数据标识分区，第一个数据标识分区包括序号1至序号300、第二个数据标识分区包括序号301至序号600、第三个数据标识分区包括序号601至序号900。
73.协调节点可以为每个索引更新节点分配一个数据标识分区，并向索引更新节点发送数据库标识、数据标识分区内的最大数据标识和最小数据标识。由于数据标识为连续序号，因此，协调节点向索引更新节点发送最大数据标识和最小数据标识之后，索引更新节点可以依据最大数据标识和最小数据标识确定所有数据标识。
74.如图4所示，本实施例提供一种电子设备2，包括：至少一个处理器21和存储器22，图4中以一个处理器21为例。处理器21和存储器22通过总线20连接，存储器22存储有可被处理器21执行的指令，指令被处理器21执行，以使电子设备2可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备2可以是索引更新节点50，用于执行应用于索引更新节点的搜索引擎的索引更新方法。
75.存储器22可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器，电可擦除可编程只读存储器，可擦除可编程只读存储器，可编程只读存储器，只读存储器，磁存储器，快闪存储器，磁盘或光盘。
76.本技术还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器21执行以完成本技术提供的应用于索引更新节点的搜索引擎的索引更新方法。
77.参见图5，为本技术一实施例提供的搜索引擎的索引更新方法的流程示意图，如图5所示，该方法应用于索引更新节点，可以包括以下步骤510
‑
步骤530。
78.步骤510：接收多条待更新数据的数据标识和数据库标识。
79.步骤520：在数据库标识指示的数据库中，查找数据标识对应的待更新数据。
80.索引更新节点可以从协调节点接收多条待更新数据的数据标识和数据库标识。索
引更新节点可以依据数据库标识确定待更新数据所在数据库，并依据数据标识在该数据库中查找待更新数据。
81.示例性的，索引更新节点接收到的数据标识分区的最大数据标识600和最小数据标识301，索引更新节点可以在数据库中查找数据标识301到600之间的待更新数据。
82.步骤530：为待更新数据生成索引，并将索引写入搜索引擎。
83.在查找到待更新数据之后，针对每条待更新数据，索引更新节点可以为待更新数据生成索引，并将该索引写入搜索引擎。
84.通过上述措施，多个索引更新节点分别对自身负责的待更新数据生成索引，实现分布式索引更新，大大提升了搜索引擎索引的更新速率。
85.在一实施例中，索引更新节点在为多个待更新数据生成索引的过程中，可以将更新进度记录到本地内存中。索引更新节点可以实时检查当前索引更新情况，当进度发生变化时，将最新的更新进度写入本地内存中指定位置。该指定位置可以是预先配置的位置，或者，可以是索引更新节点上报给后台服务端的位置。后台服务端可以从该指定位置读取索引更新节点的更新进度，并进行输出展示。
86.在一实施例中，索引更新节点在为待更新数据生成索引的过程中，当任一待更新数据的索引更新失败时，索引更新节点可以向后台服务端上报待更新数据的数据标识。
87.通过该措施，索引更新节点可以向后台服务端通告更新失败的待更新数据，使得后台服务端发送针对上述待更新数据的更新失败通知，以便于人工可以及时介入处理。
88.图6是本发明一实施例的一种搜索引擎的索引更新装置，该装置应用于协调节点，如图6所示，该装置可以包括：
89.接收模块610，用于接收全量更新指令，其中，所述全量更新指令包括索引标识；
90.获取模块620，用于获取对应于所述索引标识的数据库标识、索引更新结构化查询语言sql、多个索引更新节点地址；
91.确定模块630，用于依据索引更新sql，确定所述数据库标识对应数据库中多条待更新数据的数据标识；
92.分配模块640，用于为每个索引更新节点分配多个数据标识，并依据所述索引更新节点地址发送所述多个数据标识和所述数据库标识。
93.上述装置中各个模块的功能和作用的实现过程具体详见上述应用于协调节点的搜索引擎的索引更新方法中对应步骤的实现过程，在此不再赘述。
94.图7为本技术另一实施例提供的搜索引擎的索引更新装置的框图，该装置应用于索引更新节点，如图7所示，该装置可以包括：
95.接收模块710，用于接收多条待更新数据的数据标识和数据库标识；
96.查找模块720，用于在所述数据库标识指示的数据库中，查找所述数据标识对应的待更新数据；
97.更新模块730，用于为所述待更新数据生成索引，并将所述索引写入搜索引擎。
98.上述装置中各个模块的功能和作用的实现过程具体详见上述应用于索引更新节点的搜索引擎的索引更新方法中对应步骤的实现过程，在此不再赘述。
99.在本技术所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据
本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
100.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
101.功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。