数据处理方法、数据处理装置、电子设备和存储介质与流程

1.本公开涉及计算机技术领域，更具体地，涉及一种数据处理方法、一种数据处理装置、一种电子设备、一种可读存储介质和一种计算机程序产品。


背景技术：

2.随着信息技术、移动互联网、物联网等技术的发展，数据出现指数型的增长，大数据的技术及应用得到了业界各方高度的关注和重视。
3.在实现本公开构思的过程中，发明人发现相关技术中至少存在着以下技术问题：在热数据的数据量较大的情况下，难以同时保证业务系统的稳定性以及热数据的刷新效率和检索效率。


技术实现要素：

4.有鉴于此，本公开提供了一种数据处理方法、一种数据处理装置、一种电子设备、一种可读存储介质和一种计算机程序产品。
5.本公开的一个方面提供了一种数据处理方法，包括：依次消费第一消息队列中的第一消息数据，将上述第一消息数据中携带的目标数据存入数据库中；监听上述数据库的日志，以确定与上述目标数据对应的数据库操作事件；以及在上述数据库操作事件为预设事件的情况下，基于上述目标数据对搜索引擎中存储的数据执行与上述数据库操作事件对应的数据变更操作。
6.根据本公开的实施例，上述方法还包括：响应于用户的第一数据搜索操作，将上述第一数据搜索操作中携带的第一搜索数据存储在缓存服务器中；对预设时间段内上述缓存服务器中存储的多个第一搜索数据进行统计分析，以确定上述目标数据；以及将基于上述目标数据生成的第一消息数据发送到上述第一消息队列中。
7.根据本公开的实施例，上述第一搜索数据具有多个字段；其中，对预设时间段内上述缓存服务器中存储的多个第一搜索数据进行统计分析，以确定上述目标数据，包括：对于上述预设时间段内上述缓存服务器中存储的每一个第一搜索数据，将上述第一搜索数据的多个字段中与预设字段种类匹配的字段进行截取，得到目标搜索数据；将上述目标搜索数据记录在数据报表中；统计上述数据报表中相同的目标搜索数据的出现频次；以及确定上述出现频次大于预设阈值的目标搜索数据为上述目标数据。
8.根据本公开的实施例，上述方法还包括：在上述数据库操作事件为预设事件的情况下，基于上述数据库操作事件和上述目标数据生成第二消息数据；以及将上述第二消息数据发送到第二消息队列中。
9.根据本公开的实施例，上述基于上述目标数据对搜索引擎中存储的数据执行与上述数据库操作事件对应的数据变更操作，包括：依次消费上述第二消息队列中的第二消息数据，确定与上述第二消息数据中携带的数据库操作事件对应的数据变更操作；以及基于上述第二消息数据中携带的目标数据和上述数据变更操作，更新上述搜索引擎中存储的数
据。
10.根据本公开的实施例，上述搜索引擎中存储的数据表征为按预设数据结构存储的多个数据结构体，上述预设数据结构包括搜索内容和搜索元数据；上述方法还包括：响应于用户的第二数据搜索操作，获取上述第二数据搜索操作中携带的第二搜索数据；通过关键字检索，将上述第二搜索数据与每一个上述数据结构体的搜索内容进行匹配，以确定与上述第二搜索数据匹配的目标数据结构体；以及展示上述目标数据结构体中的搜索元数据。
11.根据本公开的实施例，上述预设事件包括数据新增事件、数据删除事件和数据更新事件中的一种或多种。
12.本公开的另一个方面提供了一种数据处理装置，包括：消费模块，用于依次消费第一消息队列中的第一消息数据，将上述第一消息数据中携带的目标数据存入数据库中；监听模块，用于监听上述数据库的日志，以确定与上述目标数据对应的数据库操作事件；以及第一处理模块，用于在上述数据库操作事件为预设事件的情况下，基于上述目标数据对搜索引擎中存储的数据执行与上述数据库操作事件对应的数据变更操作。
13.本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当所述一个或多个指令被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。
14.本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
15.本公开的另一方面提供了一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
16.根据本公开的实施例，通过消费消息队列中的第一消息数据，将得到的目标数据存入数据库中，再通过监听该数据库的日志，可以确定相应的数据库操作事件，之后可以对搜索引擎中存储的数据执行相应的数据变更操作，以实现对搜索引擎中存储的数据的更新操作。通过数据库和搜索引擎的结合使用，至少部分地克服了相关技术中存在的在热数据的数据量较大的情况下，难以同时保证业务系统的稳定性以及热数据的刷新效率和检索效率的技术问题，从而使得用户可以在短时间内多维度地获取目标数据，有效提升了目标数据的刷新效率和检索效率。
附图说明
17.通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
18.图1示意性示出了根据本公开实施例的可以应用数据处理方法的示例性系统架构。
19.图2示意性示出了根据本公开实施例的数据处理方法的流程图。
20.图3示意性示出了根据本公开另一实施例的数据处理方法的示意图。
21.图4a示意性示出了根据本公开另一实施例的数据采集分析过程的流程图。
22.图4b示意性示出了根据本公开另一实施例的数据存储过程的流程图。
23.图4c示意性示出了根据本公开另一实施例的数据更新过程的流程图。
24.图4d示意性示出了根据本公开另一实施例的数据检索过程的流程图。
25.图5示意性示出了根据本公开的实施例的数据处理装置的框图。
26.图6示意性示出了根据本公开实施例的适于实现数据处理方法的电子设备的框图。
具体实施方式
27.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
28.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
29.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
30.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。在使用类似于“a、b或c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b或c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
31.在本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
32.热数据可以是需要被计算节点频繁访问的在线类数据，在相关技术中，一般是使用redis数据库或其他非关系型数据库来实现热数据的缓冲、刷新和存储。
33.然而，相关技术中对于热数据的处理方式在面临洪峰流量时，可能影响业务的正常进行。以网上商城促销场景为例，在短时间内涌入的热数据过多的情况下，大量的热数据会给redis的分片造成巨大的压力，难以做到一方面在缓冲热数据的同时保证业务系统的稳定性，另一方面保证热数据的刷新效率和检索效率，从而影响用户的购物体验，不能使用户在第一时间获取到比较热卖的商品。
34.有鉴于此，本公开的实施例一方面通过异步的方式对热点数据按照不同维度，不同频度的方式进行统计分析，提高了热数据的刷新效率，降低了对缓冲服务器的压力，从而避免了线上问题的发生；另一方面通过使用数据库和搜索引擎结合的方式，让用户在最短时间内多维度地获取热数据，提高热数据的检索效率，进而给用户带来好的购物感。
35.具体地，本公开的实施例提供了一种数据处理方法、一种数据处理装置、一种电子设备、一种可读存储介质和一种计算机程序产品。该方法包括依次消费第一消息队列中的第一消息数据，将第一消息数据中携带的目标数据存入数据库中；监听数据库的日志，以确
定与目标数据对应的数据库操作事件；以及在数据库操作事件为预设事件的情况下，基于目标数据对搜索引擎中存储的数据执行与数据库操作事件对应的数据变更操作。
36.图1示意性示出了根据本公开实施例的可以应用数据处理方法的示例性系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
37.如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。
38.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
39.终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等。
40.服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
41.网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
42.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。
43.需要说明的是，本公开实施例所提供的数据处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的数据处理装置一般可以设置于服务器105中。本公开实施例所提供的数据处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的数据处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
44.例如，用户可以在终端设备101、102、或103中的任意一个(例如，终端设备101，但不限于此)之中输入搜索数据，搜索数据可以通过网络104发送给服务器105或除服务器105之外的其他服务器或服务器集群，由服务器105或除服务器105之外的其他服务器或服务器集群来执行本公开实施例所提供的数据处理方法。
45.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
46.图2示意性示出了根据本公开实施例的数据处理方法的流程图。
47.如图2所示，该方法包括操作s201～s203。
48.需要说明的是，本公开实施例中的流程图所示的操作除非明确说明不同操作之间存在执行的先后顺序，或者不同操作在技术实现上存在执行的先后顺序，否则，多个操作之间的执行顺序可以不分先后，多个操作也可以同时执行。
49.在操作s201，依次消费第一消息队列中的第一消息数据，将第一消息数据中携带的目标数据存入数据库中。
50.在操作s202，监听数据库的日志，以确定与目标数据对应的数据库操作事件。
51.在操作s203，在数据库操作事件为预设事件的情况下，基于目标数据对搜索引擎中存储的数据执行与数据库操作事件对应的数据变更操作。
52.根据本公开的实施例，第一消息队列可以是前端系统与后端系统进行信息交互的媒介，其中，前端系统可以进行数据的采集和统计，并将处理后得到的目标数据打包为第一消息数据，以供后端系统进行消费。
53.根据本公开的实施例，存储目标数据的数据库可以是任意类型的数据库，例如mysql、oracle等。
54.根据本公开的实施例，在对数据库进行读写、查询等操作后，数据库会生成日志文件以记录具体的数据库操作事件。例如，在数据库为mysql的情况下，可以通过监听binlog日志文件，以确定具体的数据库操作事件，并将该事件通过kafka发送出去。
55.根据本公开的实施例，预设事件可以包括使数据库中的数据发生变化的事件，包括但不限于增添数据、修改数据和删除数据。
56.根据本公开的实施例，预设事件具有对应的数据变更操作。例如，在预设事件为增添数据的情况下，对应的数据变更操作可以是将目标数据添加到搜索引擎中存储的数据中。
57.根据本公开的实施例，使用的搜索引擎可以是任意具有较快检索速度的搜索引擎，例如elasticsearch等。
58.根据本公开的实施例，通过消费消息队列中的第一消息数据，将得到的目标数据存入数据库中，再通过监听该数据库的日志，可以确定相应的数据库操作事件，之后可以对搜索引擎中存储的数据执行相应的数据变更操作，以实现对搜索引擎中存储的数据的更新操作。通过数据库和搜索引擎的结合使用，至少部分地克服了相关技术中存在的在热数据的数据量较大的情况下，难以同时保证业务系统的稳定性以及热数据的刷新效率和检索效率的技术问题，从而使得用户可以在短时间内多维度地获取目标数据，有效提升了目标数据的刷新效率和检索效率。
59.下面参考图3和图4a～图4d，结合具体实施例对图2所示的方法做进一步说明。
60.图3示意性示出了根据本公开另一实施例的数据处理方法的示意图。
61.如图3所示，服务端310可以接收客户端320发送过来的数据，对数据进行处理后，服务端310可以将处理后的数据展示在客户端320的显示装置上。
62.根据本公开的实施例，服务端310中包括数据分析模块311、缓存模块312、数据库模块313和搜索引擎模块314，数据分析模块311、数据库模块313和搜索引擎模块314之间完全解耦，可以通过消息队列进行信息的交互。
63.根据本公开的实施例，客户端320上可以安装有客户端应用，客户端应用中的每一个搜索框内可以预先埋点，从而使得用户在该搜索框内输入的数据可以被服务端310捕获。
64.根据本公开的实施例，该数据处理方法包括数据采集分析过程、数据存储过程、数据更新过程和数据检索过程。
65.在数据采集分析过程中，用户可以在客户端320上的客户端应用中输入搜索数据，该搜索数据可以通过有线或无线通信链路发送至服务端310，由服务端310中的数据分析模块311接收，并存入缓存模块312中。数据分析模块311可以对一段时间内的搜索数据进行统
计和分析，以筛选出出现频次较高的数据，将其作为目标数据并打包成第一消息数据，发送至第一消息队列中。
66.在数据存储过程中，数据库模块313可以消费第一消息队列中的第一消息数据，以获取目标数据，并使用目标数据对数据库模块313中存储的数据进行更新。数据库模块313可以将数据更新时产生的数据库操作事件打包成第二消息数据，并将第二消息数据发送至第二消息队列中。
67.在数据更新过程中，搜索引擎模块314可以消费第二消息队列中的第二消息数据，以接收相应的数据库操作事件，并根据该事件对搜索引擎模块314中所存储的数据采取相应的数据变更操作，以完成对搜索引擎模块314的数据更新。
68.搜索引擎模块314中配置有搜索数据结构，搜索引擎模块314中存储的数据按照该搜索数据结构进行存储。在数据检索过程中，根据用户在客户端320上的客户端应用中输入的搜索数据，可以提取到相应的关键词，并根据该关键词可以匹配到相应的搜索数据结构，并将该结构中的数据在客户端320上的客户端应用中展示，以便于提高数据的检索效率。
69.图4a示意性示出了根据本公开另一实施例的数据采集分析过程的流程图。
70.如图4a所示，数据采集分析过程包括操作s401～s404。
71.在操作s401，在预设时间段内，异步收集用户输入的第一搜索数据。
72.在操作s402，整合收集到的第一搜索数据，得到数据报表。
73.在操作s403，基于数据报表确定目标数据。
74.在操作s404，基于目标数据生成第一消息数据，并将第一消息数据推送到第一消息队列中。
75.根据本公开的实施例，预设时间段的时长可以根据具体业务场景进行设置，例如，在数据流量较大或对刷新效率要求较高的场景下，可以设置预设时间段为30s。
76.根据本公开的实施例，第一搜索数据可以是用户在客户端应用的搜索框内输入的数据，也可以是用户在客户端应用内的点击、选择操作产生的数据，在此不作限定。
77.根据本公开的实施例，第一搜索数据可以具有多个字段，每个字段分别对应一个维度的信息。以线上购物场景为例，第一搜索数据中可以包括商品的类型、商品所属的商家、商品的出品方、商品的价格、商品的生产地址、与该商品关联的业务线等维度的字段。
78.根据本公开的实施例，可以对第一搜索数据中的多个字段进行筛选，选择与预设字段种类匹配的字段加入到数据报表中，对数据报表中记录的数据去重，并记录出现频次。例如，第一搜索数据a1中可以包括商品名称b、商品的商家c、商品的出品方d、商品的价格e1和商品的生产地址f1五个字段，第一搜索数据a2中可以包括商品名称b、商品的商家c、商品的出品方d、商品的价格e2和商品的生产地址f2五个字段，预设字段种类包括商品名称、商品的商家和商品的出品方；对第一搜索数据a1和a2进行筛选后可以得到相同的数据，在将a1和a2加入数据报表后，可以将其中一条数据删除，并在另一条数据后记录出现频次为2。
79.根据本公开的实施例，可以选择数据报表中出现频次大于或等于预设阈值的第一搜索数据作为目标数据。预设阈值可以根据业务场景进行设置，且预设阈值的具体取值可以与预设时间段相关。例如，在网上购物商场开展促销活动的情况下，可以设置预设时间段为1分钟，预设阈值为20000，即设置1分钟内出现次数超过20000的搜索数据为目标数据。
80.根据本公开的实施例，第一消息队列可以采用广播的模式，其他模块在进行了特
定的配置后，可以接收到第一消息队列中发送的消息数据。
81.图4b示意性示出了根据本公开另一实施例的数据存储过程的流程图。
82.如图4b所示，数据存储过程包括操作s405～s409。
83.在操作s405，消费第一消息队列中的第一消息数据，得到目标数据。
84.在操作s406，使用目标数据更新数据库中存储的数据，生成数据操作日志。
85.在操作s407，监听数据操作日志，得到数据库操作事件。
86.在操作s408，判断数据库操作事件是否为预设事件。在确定数据库操作事件为预设事件的情况下，执行操作s409；在确定数据库操作事件不为预设事件的情况下，执行操作s405。
87.在操作s409，基于数据库操作事件和目标数据生成第二消息数据，并将第二消息数据推送至第二消息队列。
88.根据本公开的实施例，数据库操作可以包括creat、alert和drop等。
89.根据本公开的实施例，预设事件可以包括数据新增事件、数据删除事件和数据更新事件中的一种或多种。
90.根据本公开的实施例，数据库中的搜索数据可以使用该搜索数据的关键词作为主键或者表名进行存储。以搜索数据为商品搜索数据为例，该搜索数据的关键词可以是商品名称，可以使用该商品名称的标识作为主键，将该搜索数据存储在key-value型数据库中；或者以该商品名称的标识作为表名，将该搜索数据存储在关系型数据库的数据表中；再或者也可以直接将搜索数据存储在非关系型数据库中。
91.图4c示意性示出了根据本公开另一实施例的数据更新过程的流程图。
92.如图4c所示，数据更新过程包括操作s410～s412。
93.在操作s410，消费第二消息队列中的第二消息数据，得到目标数据和数据库操作事件。
94.在操作s411，确定与数据库操作事件对应的数据变更操作。
95.在操作s412，基于目标数据，对搜索引擎中存储的数据执行数据变更操作。
96.根据本公开的实施例，搜索引擎中可以具有接收和处理数据库操作事件的功能模块。例如，在elasticsearch中可以使用springboot的handler功能接收通过消费消息得到的数据库操作事件，并将其转换为数据变更操作，注入到与elasticsearch关联的容器中。
97.根据本公开的实施例，数据变更操作与数据库操作事件一一对应，例如，数据库操作事件为删除目标数据，则相应的数据变更操作为从搜索引擎存储的数据中删除目标数据。
98.图4d示意性示出了根据本公开另一实施例的数据检索过程的流程图。
99.如图4d所示，数据检索过程包括操作s413～s416。
100.在操作s413，接收用户输入的第二搜索数据。
101.在操作s414，提取第二搜索数据中的关键字。
102.在操作s415，通过关键字检索，从搜索引擎存储的数据中确定相应的数据结构体。
103.在操作s416，展示数据结构体中的搜索元数据。
104.根据本公开的实施例，搜索引擎中存储的数据可以表征为按预设数据结构存储的多个数据结构体。
105.根据本公开的实施例，数据结构体可以包括搜索内容和搜索元数据两个部分，其中，搜索内容部分可以包括该数据结构体的名称和该数据结构体的属性，搜索元数据部分可以包括该数据结构体的创建及更新时间等信息。以商品为例，搜索内容部分可以包括该商品的名称，例如手机、羽绒服等，搜索元数据部分可以包括该商品的商家、出品方、该结构体的创建时间、更新时间、创建人等。通过已经定义好的数据结构体，用户可以在最短时间内搜索到比较关心商品的热数据，提高用户对关心商品热数据的检索效率，提高了用户的购物感。
106.根据本公开的实施例，搜索元数据的展示方式可以由开发人员进行设置。例如，可以设置为多个选择项，每一个选择项对应一个搜索元数据；或者，可以设置为多行包含关键词和一个或多个搜索元数据的推荐搜索项。
107.图5示意性示出了根据本公开的实施例的数据处理装置的框图。
108.如图5所示，数据处理装置500包括消费模块510、监听模块520和第一处理模块530。
109.消费模块510，用于依次消费第一消息队列中的第一消息数据，将第一消息数据中携带的目标数据存入数据库中。
110.监听模块520，用于监听数据库的日志，以确定与目标数据对应的数据库操作事件。
111.第一处理模块530，用于在数据库操作事件为预设事件的情况下，基于目标数据对搜索引擎中存储的数据执行与数据库操作事件对应的数据变更操作。
112.根据本公开的实施例，通过消费消息队列中的第一消息数据，将得到的目标数据存入数据库中，再通过监听该数据库的日志，可以确定相应的数据库操作事件，之后可以对搜索引擎中存储的数据执行相应的数据变更操作，以实现对搜索引擎中存储的数据的更新操作。通过数据库和搜索引擎的结合使用，至少部分地克服了相关技术中存在的在热数据的数据量较大的情况下，难以同时保证业务系统的稳定性以及热数据的刷新效率和检索效率的技术问题，从而使得用户可以在短时间内多维度地获取目标数据，有效提升了目标数据的刷新效率和检索效率。
113.根据本公开的实施例，该装置500还包括数据采集模块，其中，数据采集模块包括第一数据采集单元、第二数据采集单元和第三数据采集单元。
114.第一数据采集单元，用于响应于用户的第一数据搜索操作，将第一数据搜索操作中携带的第一搜索数据存储在缓存服务器中。
115.第二数据采集单元，用于对预设时间段内缓存服务器中存储的多个第一搜索数据进行统计分析，以确定目标数据。
116.第三数据采集单元，用于将基于目标数据生成的第一消息数据发送到第一消息队列中。
117.根据本公开的实施例，第一搜索数据具有多个字段。
118.根据本公开的实施例，第二数据采集单元包括第一数据采集子单元、第二数据采集子单元、第三数据采集子单元和第四数据采集子单元。
119.第一数据采集子单元，用于对于预设时间段内缓存服务器中存储的每一个第一搜索数据，将第一搜索数据的多个字段中与预设字段种类匹配的字段进行截取，得到目标搜
索数据。
120.第二数据采集子单元，用于将目标搜索数据记录在数据报表中。
121.第三数据采集子单元，用于统计数据报表中相同的目标搜索数据的出现频次。
122.第四数据采集子单元，用于确定出现频次大于预设阈值的目标搜索数据为目标数据。
123.根据本公开的实施例，该装置500还包括第二处理模块，其中，第二处理模块包括第一处理单元和第二处理单元。
124.第一处理单元，用于在数据库操作事件为预设事件的情况下，基于数据库操作事件和目标数据生成第二消息数据。
125.第二处理单元，用于将第二消息数据发送到第二消息队列中。
126.根据本公开的实施例，第一处理模块包括第三处理单元和第四处理单元。
127.第三处理单元，用于依次消费第二消息队列中的第二消息数据，确定与第二消息数据中携带的数据库操作事件对应的数据变更操作。
128.第四处理单元，用于基于第二消息数据中携带的目标数据和数据变更操作，更新搜索引擎中存储的数据。
129.根据本公开的实施例，搜索引擎中存储的数据表征为按预设数据结构存储的多个数据结构体，预设数据结构包括搜索内容和搜索元数据。
130.根据本公开的实施例，该装置500还包括展示模块，其中，展示模块包括第一展示单元、第二展示单元和第三展示单元。
131.第一展示单元，用于响应于用户的第二数据搜索操作，获取第二数据搜索操作中携带的第二搜索数据。
132.第二展示单元，用于通过关键字检索，将第二搜索数据与每一个数据结构体的搜索内容进行匹配，以确定与第二搜索数据匹配的目标数据结构体。
133.第三展示单元，用于展示目标数据结构体中的搜索元数据。
134.根据本公开的实施例，预设事件包括数据新增事件、数据删除事件和数据更新事件中的一种或多种。
135.根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
136.例如，消费模块510、监听模块520和第一处理模块530中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单
元中实现。根据本公开的实施例，消费模块510、监听模块520和第一处理模块530中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，消费模块510、监听模块520和第一处理模块530中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
137.需要说明的是，本公开的实施例中数据处理装置部分与本公开的实施例中数据处理方法部分是相对应的，数据处理装置部分的描述具体参考数据处理方法部分，在此不再赘述。
138.图6示意性示出了根据本公开实施例的适于实现数据处理方法的电子设备的框图。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
139.如图6所示，根据本公开实施例的计算机电子设备600包括处理器601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
140.在ram 603中，存储有电子设备600操作所需的各种程序和数据。处理器601、rom 602以及ram 603通过总线604彼此相连。处理器601通过执行rom 602和/或ram 603中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 602和ram 603以外的一个或多个存储器中。处理器601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
141.根据本公开的实施例，电子设备600还可以包括输入/输出(i/o)接口605，输入/输出(i/o)接口605也连接至总线604。电子设备600还可以包括连接至i/o接口605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
142.根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
143.本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
144.根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
145.例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 602和/或ram 603和/或rom 602和ram 603以外的一个或多个存储器。
146.本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本公开实施例所提供的数据处理方法。
147.在该计算机程序被处理器601执行时，执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
148.在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分609被下载和安装，和/或从可拆卸介质611被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
149.根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c ，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意维度的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
150.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组
合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
151.以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。