一种数据并发处理方法、装置、电子设备及存储介质与流程

1.本发明涉及数据处理领域，尤其涉及一种数据并发处理方法、装置、电子设备及存储介质。


背景技术：

2.在现有的技术中，对于一个人像搜索系统而言，查询性能至关重要。但作为一个实时系统，会对大量的数据执行不同的操作，在数据过多时还需要及时清理。当遇到查询请求与数据删除操作并发时，会增加查询时延，影响查询性能。目前的处理方式是对底层数据块进行加锁处理，实现对不同的请求进行先后串行处理；或者对不同的请求限制操作处理时间。可见，现有技术中，针对不同的数据请求存在低并发、查询效率低的问题。


技术实现要素：

3.本发明实施例提供一种数据并发处理方法，能够降低时延、实现更高效的并发，提供良好的查询性能。
4.第一方面，本发明实施例提供一种数据并发处理方法，所述方法包括以下步骤：
5.接收数据请求，提取所述数据请求中待处理数据的唯一标识，根据所述唯一标识查找与所述待处理数据对应的第一数据块，所述数据请求包括读取请求与写入请求；
6.若所述读取请求与所述写入请求同时访问相同的所述第一数据块，则通过共同访问的所述第一数据块对所述读取请求进行响应的同时，根据共同访问的所述第一数据块的大小创建第二数据块，并将所述第一数据块中的数据备份到第二数据块中；
7.通过所述第二数据块对所述写入请求进行响应，并将响应后的所述第二数据块替换共同访问的所述第一数据块，执行共同访问的所述第一数据块的数据更新。
8.第二方面，本发明实施例还提供一种数据并发处理装置，包括：
9.查找模块，用于接收数据请求，提取所述数据请求中待处理数据的唯一标识，根据所述唯一标识查找与所述待处理数据对应的第一数据块，所述数据请求包括读取请求与写入请求；
10.第一创建模块，用于若所述读取请求与所述写入请求同时访问相同的所述第一数据块，则通过共同访问的所述第一数据块对所述读取请求进行响应的同时，根据共同访问的所述第一数据块的大小创建第二数据块，并将所述第一数据块中的数据备份到第二数据块中；
11.替换模块，用于通过所述第二数据块对所述写入请求进行响应，并将响应后的所述第二数据块替换共同访问的所述第一数据块，执行共同访问的所述第一数据块的数据更新。
12.第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述实施例提供的数据并发处理方法中的步骤。
13.第四方面，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述实施例提供的数据并发处理方法中的步骤。
14.本发明实施例中，根据待处理数据的唯一标识定位与待处理数据对应的第一数据块，当同时接收到读取请求与写入请求，且共同访问相同的第一数据块时，让受共同访问的第一数据块对读取请求进行响应，并同时获取共同访问的第一数据块的大小创建第二数据块，将第一数据块中的数据备份到第二数据块中，基于第二数据块对写入请求进行响应。共同访问的第一数据块与创建的第二数据块形成了两个大小以及数据相同的数据块，针对数据处理过程中读操作与写操作无法真正实现并发的情况，当同时接收到读取请求与写入请求时，可以通过第一数据块与第二数据块基于不同线程分别实现，且将当前的第一数据块中的数据备份到第二数据块属于读操作，从而实现了读操作与写操作的隔离，将原本串行的处理转换为并发处理，加快了数据处理的速度，降低延时，以有利于实现数据处理高并发；当写入请求通过第二数据块进行响应的同时，不会对第一数据块响应读取请求造成干扰，保证了数据查询的良好查询性能。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1是本发明实施例提供的一种数据并发处理方法的流程图；
17.图2是本发明实施例提供的另一种数据并发处理方法的流程图；
18.图3是本发明实施例提供的另一种数据并发处理方法的流程图；
19.图4是本发明实施例提供的一种数据并发处理装置的结构示意图；
20.图5是本发明实施例提供的另一种数据并发处理装置的结构示意图；
21.图6是本发明实施例提供的另一种数据并发处理装置的结构示意图；
22.图7是本发明实施例提供的另一种数据并发处理装置的结构示意图；
23.图8是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
24.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.本技术的说明书和权利要求书及附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本技术的说明书和权利要求书或附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥
的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
26.如图1所示，图1是本发明实施例提供的一种数据并发处理方法的流程图，该数据并发处理方法包括以下步骤：
27.s101、接收数据请求，提取数据请求中待处理数据的唯一标识，根据唯一标识查找与待处理数据对应的第一数据块，数据请求包括读取请求与写入请求。
28.在本实施例中，数据并发处理方法运用的场景包括但不限于人像数据搜索系统，且上述数据并发处理方法运行于其上的电子设备可以通过有线连接方式或者无线连接方式获取数据请求，且用户可以通过电子设备发出数据请求，在数据并发处理方法运行的系统接收到数据请求后，可以对数据请求进行解析，提取数据请求中包含的数据、数据的数据类型、数据量、以及数据对应的唯一标识等信息。上述无线连接方式可以包括但不限于3g/4g连接、wifi(wireless-fidelity)连接、蓝牙连接、wimax(worldwide interoperability for microwave access)连接、zigbee(低功耗局域网协议，又称紫峰协议)连接、uwb(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
29.需要说明的是，上述电子设备可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
30.其中，数据请求可以包括多种数据类型，例如：读取请求、写入请求等。在本发明实施例中，读取请求可以是删除请求，删除请求可以表示需要对系统中部分目标底库数据进行清理，以实现数据的更新以及存储空间的调整，便于录入更多新的数据。写入请求可以是查询请求，还可以是添加请求、替换请求等。其中，需要删除的部分目标底库数据可以是存储期限达到期限阈值的数据、访问率低于访问阈值的数据等等。
31.上述待处理数据针对不同的数据类型可以包括需要查询的数据、需要删除的数据以及添加的数据等中的一种或多种。系统可以同一时间接收到多个数据请求，且同时接收到的数据请求中可以包括写入请求与读取请求，当数据请求为写入请求时，待处理数据可以为用户输入的待查询数据，例如：用户输入查询请求，需要在目标底库数据中查询与@￥#￥相似的数据。当数据请求为读取请求时，待处理数据可以为用户选取的待删除数据，例如：用户数据删除请求，根据删除请求对目标底库数据中数据块a中的数据进行整体删除。并且每一种数据类型的待处理数据可以是一批数据，例如：待处理数据为待删除数据，其数据量为100万个。每个待处理数据都有匹配的唯一标识，唯一标识可以是一串字符串或者数字，例如：sdc@##a。唯一标识可以包括数据id、卡号、身份证号等。
32.上述的第一数据块可以有多个，可以是预先根据数据类型分块完成的数据块，不同的第一数据块中可以存放有不同数据类型的目标底库数据，例如：数据块的数据类型包括人脸、人体、服饰，第一数据块a存储有人脸数据，第一数据块b存储有服饰数据，第一数据块c存储有人体数据。当然，若一个数据块无法完全存储同一数据类型的数据，可以分别存储在多个具有相同数据类型的数据块中，可以对具有相同数据类型的数据块进行编号，便于对数据块进行定位，且所有的数据块大小可以不要求都相同。
33.当数据请求为读取请求，对应的待处理数据为待查询数据时，第一数据块中存储的数据可以包括与待查询数据相似的数据。当数据请求为写入请求，对应的待处理数据为待删除数据时，第一数据块中存储的数据可以包括待删除数据。第一数据块中存储的数据
并未改变，只是针对不同的数据请求其性质不同。
34.第一数据块与待处理数据的唯一标识之间存在映射关系。
35.待处理数据中可以包括多种数据类型的数据，根据不同的数据类型可以锁定待处理数据对应的第一数据块，例如：待处理数据中存在多个人脸数据及人体数据，则会根据每个人脸数据及人体数据的数据id去锁定各自所在的第一数据块，同一第一数据块中可以存储有一部分待处理数据，例如：待处理数据为待删除数据d、f、g、s、a，其中，d、f、g为人脸数据，存储在第一数据块a中，s、a为人体数据，存储在第一数据块b中。
36.s102、若读取请求与写入请求同时访问相同的第一数据块，则通过共同访问的第一数据块对读取请求进行响应的同时，根据共同访问的第一数据块的大小创建第二数据块，并将第一数据块中的数据备份到第二数据块中。
37.其中，读取请求与写入请求同时访问相同的第一数据块可以表示读取请求与写入请求需要同时对同一第一数据块上的数据进行访问，例如：读取请求需要将待查询数据与第一数据块上的数据进行比对，写入请求需要将待删除数据与目标底库数据进行比对，找到待删除数据所在的第一数据块。当同时接收到查询请求与删除请求时，会基于共同访问的第一数据块对查询请求进行响应，执行读操作。然后根据共同访问的第一数据块的大小创建第二数据块，将共同访问的第一数据块的数据备份到第二数据块中，同样执行读操作，读操作与读操作实现并行处理，无优先级差异，后续通过第二数据块对删除请求完成删除处理即可。将删除请求与查询请求进行隔离，通过两个具有相同数据及大小的数据块分别进行响应，实现了对删除请求与查询请求的高并发处理，降低删除请求对查询请求性能的影响。避免读写操作不能实现并发，并且写操作优先级高于读操作，导致出现先响应查询请求，后响应删除请求的问题。
38.其中，第二数据块与共同访问的第一数据块大小相同及数据完全相同。数据请求为删除请求时，因删除请求中的待删除数据可能在共同访问的第一数据块中只占有部分，所以被共同访问的第一数据块与第二数据块中，除包括有待处理数据之外，还可以包括有应保留的数据。名称不同而内容相同的两个数据块同时接收到不同数据类型的访问时可以同时分别响应，互不干扰，实现高并发并降低时延，例如：根据当前的待处理数据的唯一标识查找到第一数据块为block_1，通过容器的大小可得知该block_1大小为block1_size，则创建同样block1_size大小的第二数据块block_1_del，并且将block_1块中的待处理数据拷贝到第二数据块block_1_del中，保证第二数据块block_1_del与第一数据块block_1包含有相同的待处理数据，对于具有相同待处理数据的两个数据块block_1和block_1_del，第一数据块block_1可以用来响应查询请求以及数据插入请求，block_1_del数据块用来响应删除请求以及数据插入请求。上述使用第一数据块来响应查询请求(读操作)与插入请求(写操作)时，虽是不同类型的操作，但在两者并发时，有读写锁互斥，插入请求对查询请求的影响较小，在可接受范围之内。
39.需要说明的是，第一数据块与第二数据块不表示对大小、先后做限定，只为区分不同的数据块。第一数据块可以包括有多个，当删除请求需要访问多个第一数据块时，就会对应创建多个第二数据块，因访问第一数据块存在时间顺序，因此创建第二数据块同样存在时间顺序，例如：删除请求访问第一数据块a，对应创建第二数据块a
′
，删除请求访问第一数据块c，对应创建第二数据块c
′
。
40.s103、通过第二数据块对写入请求进行响应，并将响应后的第二数据块替换共同访问的第一数据块，执行共同访问的第一数据块的数据更新。
41.其中，当写入请求为删除请求时，对应的待处理数据即为待删除数据。完成第二数据块的创建以及数据备份后，可以在第二数据块上响应删除请求，即执行删除操作。删除操作过程中，可以通过待删除数据的唯一标识锁定需要删除的数据，并将查找到的待删除数据进行删除，实现第二数据块的数据更新。更新后的第二数据块中依然保留有无要删除的数据，可用于后续的查询等操作。当然，待删除数据也可以包括第二数据块上的所有数据，执行全部删除操作，这样可以得到一个空数据块，同样实现第二数据块的数据更新。
42.其中，将第二数据块中的待删除数据进行删除之后，可以将已更新的第二数据块与被共同访问的第一数据块进行替换，并释放该第一数据块所占用的空间，例如：当第二数据块block_1_del中待删除数据删除完成后，用已处理的第二数据块block_1_del替代原来的第一数据块block_1，并把第一数据块block_1所占有的内存/显存空间释放。这样，便完成了对删除请求的响应全过程，且将删除请求与查询请求进行隔离，降低对同一时间并发的查询请求性能造成的影响。上述将已处理的第二数据块与被共同访问的第一数据块进行替换属于写操作，可用指针来实现数据块地址的交换，其时间消耗的影响可忽略不计。
43.本发明实施例中，根据待处理数据的唯一标识定位与待处理数据对应的第一数据块，当同时接收到读取请求与写入请求，且共同访问相同的第一数据块时，让受共同访问的第一数据块对读取请求进行响应，并同时获取共同访问的第一数据块的大小创建第二数据块，将第一数据块中的数据备份到第二数据块中，基于第二数据块对写入请求进行响应。共同访问的第一数据块与创建的第二数据块形成了两个大小以及数据相同的数据块，针对数据处理过程中读操作与写操作无法真正实现并发的情况，当同时接收到读取请求与写入请求时，可以通过第一数据块与第二数据块基于不同线程分别实现，且将当前的第一数据块中的数据备份到第二数据块属于读操作，从而实现了读操作与写操作的隔离，将原本串行的处理转换为并发处理，加快了数据处理的速度，降低延时，以有利于实现数据处理高并发。当写入请求通过第二数据块进行响应的同时，不会对第一数据块响应读取请求造成干扰，保证了数据查询的良好查询性能。
44.如图2所示，图2是本发明实施例提供的另一种方法流程图，具体包括以下步骤：
45.s201、将目标底库数据加载到预设存储空间，根据目标底库数据的数据类型进行数据分块，以得到多个数据块，多个数据块包括第一数据块。
46.本发明实施例实现的前提是在热搜索与数据分块的前提下进行的，热搜索可以表示在cpu内存/gpu显存中进行搜索。上述目标底库数据可以表示需要用于响应数据请求的数据库数据(一般是基于原始特征值提取的短特征值)，在目标底库数据中可以存储有上千万个数据，且目标底库数据中包括与删除请求对应的待删除数据，或是与查询请求的待查询数据进行相似度比对的数据。上述的预设存储空间可以是服务器的cpu内存/gpu显存。
47.对于热搜索系统，在启动预热时，需要将目标底库数据从硬盘空间加载到cpu内存/gpu显存中，在加载的过程中，可以按照目标底库数据的数据类型进行数据分块，例如：数据类型为人脸数据的在人脸数据块，数据类型为行为数据的在行为数据块，数据类型为搜索范围数据的在范围数据块，每种数据类型的数据可以占有一个或者多个数据块。数据分块的大小次数可以根据具体情况进行划分，例如：根据数据类型进行分块存储，当底库数
据量为1000万，按50万的数据量分块，相当于需要20个数据块，则可以由20个线程进行访问，相当于每个线程的查询底库数据量只有50万，可以加快访问速度。进行数据分块之后可以得到多个数据块，在这多个数据块中，便包括有实施例中的多个第一数据块。
48.为了优化第一数据块中数据备份到第二数据块的时间长度，可以在数据分块时尽可能的让数据块小。如果数据块过大，可能会导致数据块备份耗时过长，或cpu内存/gpu显存消耗过大，因此，让数据块尽可能小能够保证系统的查询性能。经过实测验证，第一数据块大小block1_size＝500000条数据，且每条数据大小2k，则在内存中备份第一数据块耗时仅为数十毫秒级别，占用内存/显存不到1g，这样的时延对于删除请求来讲几乎不受影响，cpu内存/gpu显存消耗也在可接受范围内。
49.s202、创建目标底库数据中每个数据的唯一标识与目标底库数据中每个数据所在数据块之间的数据映射表。
50.其中，可以有多张数据映射表，创建的数据映射表中存储有已加载到cpu内存/gpu显存中的所有目标底库数据的唯一标识(数据id)与目标底库数据所在数据块之间的映射关系，例如：有一张数据映射表mapidstoblockidx，保存有featureid(数据id)与blockidx(数据块)之间的映射关系。待处理数据为待删除数据，在已知待删除数据中每个数据的唯一标识情况下，可以直接通过查找数据映射表索引出与唯一标识对应的待删除数据所在的第一数据块。此外，在有新的数据录入时，同样可以建立新录入数据的唯一标识与录入后所在数据块之间的数据映射表，以便后续查询等。
51.s203、接收数据请求，提取数据请求中待处理数据以及待处理数据的唯一标识。
52.对数据请求进行解析后可以得到待处理数据，并且可以提取每个待处理数据的唯一标识。
53.s204、对数据映射表进行访问，将待处理数据的唯一标识与目标底库数据中每个数据的唯一标识进行匹配，以查找与待处理数据对应的第一数据块。
54.具体的，数据请求为删除请求，提取出删除请求中待删除数据的每个数据对应的唯一标识后，可以访问数据映射表，查找与待删除数据的每个数据对应的唯一标识相同的目标底库数据的唯一标识所在的第一数据块，例如：待删除数据b的唯一标识为sdhwi2323@！#$e3，从数据映射表中查找到对应的第一数据块为a1，待删除数据c的唯一标识为sdhwi2323@！#$e3，从数据映射表中查找到对应的第一数据块为a2。待删除数据中可以包括有多种数据类型的数据，例如：人脸数据、人体数据等。因此可以根据待删除数据中多个数据的唯一标识查找到多个第一数据块。当然，待删除数据的数据类型也可以只包括一种，这样查找到的第一数据块就会是同一数据类型的一个数据块或者多个数据块。当数据请求为查询请求时，同样可以根据待查询数据中每个数据的唯一标识去访问数据映射表，通过与数据映射表中目标底库数据对应的多个唯一标识进行比对，可以锁定达到相似度阈值等条件的目标底库数据所在的第一数据块。
55.s205、若读取请求与写入请求同时访问相同的第一数据块，则通过共同访问的第一数据块对读取请求进行响应的同时，根据共同访问的第一数据块的大小创建第二数据块，并将第一数据块中的数据备份到第二数据块中。
56.s206、通过第二数据块对写入请求进行响应，并将响应后的第二数据块替换共同访问的第一数据块，执行共同访问的第一数据块的数据更新。
57.其中，当数据请求为写入请求时，待处理数据可以为待删除数据。因对待删除数据所在的第一数据块进行复制得到第二数据块，因此，待删除数据同样存在于第二数据块。根据第二数据块进行分批，将同属于一个第二数据块的待删除数据归为一批，若存在多个第二数据块，最后会得到若干批，然后可以分批对待删除数据进行删除。系统可以随时检测第一数据块是否有数据请求访问，当检测到没有数据请求访问时，可以将完成待删除数据的删除操作后的第二数据块与用于复制的被共同访问的第一数据块进行替换，从而实现被读取请求与写入请求共同访问的第一数据块的数据更新处理。
58.在本发明实施例中，通过将选中的目标底库数据加载到预设存储空间进行分块存储，便于数据管理，且将目标底库数据中每个数据的位移标识与分块后所在的数据块进行映射，创建数据映射表，便于接收到写入请求时，可以根据写入请求中待删除数据的每个数据的位移标识访问数据映射表，定位待删除数据所在的第一数据块，根据第一数据块的大小及数据创建得到第二数据块，用于响应写入请求，在同时接收到读取请求的同时，可以通过共同访问的第一数据块响应待查询数据，用第二数据块响应待删除数据，查询请求属于读操作，创建第二数据块也属于读操作，两者可以并发，避免通过共同访问的第一数据块同时对写入请求与读取请求进行访问存在的先后串行问题，有利于实现高并发，低延时。当写入请求通过第二数据块进行响应的同时，不会对第一数据块响应读取请求造成干扰，保证了数据查询的良好查询性能。
59.如图3所示，图3是本发明实施例提供的另一种方法流程图，包括以下步骤：
60.s301、接收数据请求，提取所述数据请求中待处理数据的唯一标识，根据所述唯一标识查找与所述待处理数据对应的第一数据块，所述数据请求包括读取请求与写入请求。
61.s302、若检测到读取请求与写入请求同时访问相同的第一数据块时，则通过共同访问的第一数据块对读取请求进行响应，同时获取共同访问的第一数据块的大小。
62.其中，在对读取请求进行响应的同时，可以获取当前的第一数据块的大小block1_size，具体可以根据容器的大小获取第一数据块的大小。
63.s303、创建与共同访问的第一数据块的大小相同的第二数据块。
64.其中，当获取到第一数据块的大小后，可以根据其大小创建一个相同大小的第二数据块，例如：底库数据总量为1000万时，数据分块大小设为50万，即每个数据块的大小为50万(包括第一数据块)，则创建的第二数据块的大小也为50万。
65.s304、将共同访问的第一数据块中的数据备份到第二数据块中。
66.创建好第二数据块后，可以将第一数据块中的所有数据备份到第二数据块中。这样，可以得到两个相同大小不同名称的数据块，并且这两个相同大小的数据块可以分别用于不同的线程执行不同的请求(读取请求与写入请求)。当然，这两个数据块也可以用于执行相同的数据请求，例如：都可以用于响应数据插入处理。
67.系统会实时接收请求信息，并且允许同时接收多种不同数据类型的请求信息。第一数据块备份数据到第二数据块时，其数据备份操作相对于第一数据块而言属于读操作，因此在备份的过程中可以实现备份与查询并发，备份过程对查询处理无影响。当数据请求包含有删除请求时，在备份完成后，可以根据待处理数据的唯一标识在第二数据块中查找需要删除的数据。删除的过程中，可以是以块为单位进行逐一删除，然后再将已处理的第二数据块对第一数据块进行替换。替换之后，将当前的第一数据块在cpu内存/gpu显存所占用
的空间进行释放，以实现第一数据块中数据的更新。通过把删除和查询处理进行隔离，实现了删除与查询的并发处理，加快了数据处理的速度，降低了延时延。
68.s305、通过第二数据块对写入请求进行响应，并将响应后的第二数据块替换共同访问的第一数据块，执行共同访问的第一数据块的数据更新。
69.在本发明实施例中，在接收到读取请求与写入请求时，通过查找待处理数据所在的第一数据块，并根据待处理数据所在的第一数据块的大小创建第二数据块，同时将第一数据块中的所有数据备份到第二数据块中，而备份与查询相对于同一数据块而言均属于读操作，可以并发响应，以加快读取速度；且通过第一数据块响应查询请求，备份出的第二数据块响应删除请求，分别以不同的线程执行。实现对响应删除请求与响应查询请求进行隔离，可以避免两种请求对同一数据块进行访问时存在先后串行、延时长的问题。
70.如图4所示，图4是本发明实施例提供的一种数据并发处理装置的结构示意图，数据并发处理装置400包括：
71.查找模块401，用于接收数据请求，提取数据请求中待处理数据的唯一标识，根据唯一标识查找与待处理数据对应的第一数据块，数据请求包括读取请求与写入请求；
72.第一创建模块402，用于若读取请求与写入请求同时访问相同的第一数据块，则通过共同访问的第一数据块对读取请求进行响应的同时，根据共同访问的第一数据块的大小创建第二数据块，并将第一数据块中的数据备份到第二数据块中；
73.替换模块403，用于通过第二数据块对写入请求进行响应，并将响应后的第二数据块替换共同访问的第一数据块，执行共同访问的第一数据块的数据更新。
74.替换模块403还用于将当前的第一数据块在预设存储空间所占用的空间进行释放。
75.可选的，如图5所示，图5是本发明实施例提供的另一种数据并发处理装置的结构示意图，数据并发处理装置400还包括：
76.分块模块404，用于将目标底库数据加载到预设存储空间，根据目标底库数据的数据类型进行数据分块，以得到多个数据块，多个数据块包括第一数据块；
77.第二创建模块405，用于创建目标底库数据中每个数据的唯一标识与目标底库数据中每个数据所在数据块之间的数据映射表。
78.可选的，如图6所示，图6是本发明实施例提供的另一种数据并发处理装置的结构示意图，查找模块401包括：
79.提取单元4011，用于接收数据请求，提取数据请求中待处理数据以及待处理数据的唯一标识；
80.匹配单元4012，用于对数据映射表进行访问，将待处理数据的唯一标识与目标底库数据中每个数据的唯一标识进行匹配，以查找与待处理数据对应的第一数据块。
81.可选的，如图7所示，图7是本发明实施例提供的另一种数据并发处理装置的结构示意图，第一创建模块402包括：
82.响应单元4021，用于若检测到读取请求与写入请求同时访问相同的第一数据块时，则通过共同访问的第一数据块对读取请求进行响应，同时获取共同访问的第一数据块的大小；
83.创建单元4022，用于创建与共同访问的第一数据块的大小相同的第二数据块；
integrated circuit，asic)、可编程门阵列(field－programmable gatearray，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
104.电子设备800可以是桌上型计算机、笔记本及掌上电脑等计算设备。电子设备800可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
105.存储器802至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器802可以是电子设备800的内部存储单元，例如该电子设备800的硬盘或内存。在另一些实施例中，存储器802也可以是电子设备800的外部存储设备，例如该电子设备800上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，存储器802还可以既包括电子设备800的内部存储单元也包括其外部存储设备。本实施例中，存储器802通常用于存储安装于电子设备800的操作系统和各类应用软件，例如数据并发处理方法的程序代码等。此外，存储器802还可以用于暂时地存储已经输出或者将要输出的各类数据。
106.处理器801在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器801通常用于控制电子设备800的总体操作。本实施例中，处理器801用于运行存储器802中存储的程序代码或者处理数据，例如运行数据并发处理方法的程序代码。
107.网络接口803可包括无线网络接口或有线网络接口，该网络接口803通常用于在电子设备800与其他电子设备之间建立通信连接。
108.本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器801执行时实现实施例提供的数据并发处理方法中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
109.本领域普通技术人员可以理解实现实施例数据并发处理方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存取存储器1002(random access memory，简称ram)等。
110.在本发明实施例中提到的第一、第二等并不表示大小，只是为了便于表述。以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。