一种基于两次写的数据导入方法、装置、设备及介质与流程

1.本发明涉及计算机技术领域，特别涉及一种基于两次写的数据导入方法、装置、设备和介质。


背景技术：

2.当前，excel数据上传是一个比较常见的技术实现，但是常规的数据导入数据量较小，数据较简单。导入的结果只有成功或者失败，没有与操作者有一个好的交互，用户的体验度不好，并且当导入数据量较大并且校验逻辑复杂时，直接在内存中校验全量数据容易造成大量内存占用；大量数据直接批量导入线上数据库表，容易造成数据库直接加表锁的操作，严重造成数据库宕机，影响线上的相关操作。
3.因此，如何提升大量数据导入线上数据库的效率和性能，保证线上数据库的稳定性，并提升用户体验度是当前亟待解决的问题。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种基于两次写的数据导入方法、装置、设备及介质，能够提升大量数据导入线上数据库的效率以及保证线上数据库的性能，并提升用户体验度。其具体方案如下：
5.第一方面，本技术公开了一种基于两次写的数据导入方法，包括：
6.获取前端发送的针对若干批次目标数据生成的若干数据导入请求，并基于多线程处理方式将若干批次所述目标数据导入至临时数据库；同一批次所述目标数据包含预设数量个待导入数据；
7.基于多线程处理方式从所述临时数据库中分批查询若干批次所述目标数据，并在线程池中分批对若干批次所述目标数据对应的所述待导入数据进行校验以得到所有所述待导入数据的校验结果；
8.基于所述校验结果将若干批次所述目标数据对应的待导入数据从所述线程池导入至线上数据库或传输至前端。
9.可选的，所述基于多线程处理方式从所述临时数据库中分批查询若干批次所述目标数据，并在线程池中分批对若干批次所述目标数据对应的所述待导入数据进行校验以得到校验结果，包括：
10.根据异步机制，并基于多线程处理方式从所述临时数据库中分批查询若干批次的所述目标数据，然后在线程池中基于校验模型分批对若干批次所述目标数据对应的所述待导入数据进行校验，以便得到校验结果。
11.可选的，所述基于所述校验结果将若干批次所述目标数据对应的待导入数据从所述线程池导入至线上数据库或传输至前端，包括：
12.若所述校验结果为若干批次所述目标数据对应的所述待导入数据属于异常数据，则将所述待导入数据从所述线程池传输至前端；
13.若所述校验结果为若干批次所述目标数据对应的所述待导入数据不属于异常数据，则分批将若干批次所述目标数据对应的所述待导入数据从所述线程池导入至线上数据库。
14.可选的，其特征在于，所述若所述校验结果为若干批次所述目标数据对应的所述待导入数据属于异常数据，则将所述待导入数据从所述线程池传输至前端，包括：
15.若所述校验结果为若干批次所述目标数据对应的所述待导入数据属于异常数据，则基于异步机制将所述待导入数据从所述线程池导入至预设异常表格；
16.当所有属于异常数据的所述待导入数据导入至所述异常表格，则将所述预设异常表格传输至前端。
17.可选的，所述得到所有所述待导入数据的校验结果之后，还包括：
18.根据目标批次编号删除所述临时数据库中的若干批次所述目标数据。
19.可选的，所述获取前端发送的针对若干批次目标数据生成的若干数据导入请求之后，还包括：
20.根据预设全局递增规则为若干批次所述目标数据设置所述目标批次编号；其中，同一批次的所述目标数据对应的目标批次编号相同。
21.可选的，所述基于两次写的数据导入方法还包括：
22.为所述临时数据库设置与所述线上数据库相同的字段设计，以便将若干批次所述目标数据导入至所述临时数据库时不进行校验过程。
23.第二方面，本技术公开了一种基于两次写的数据导入装置，包括：
24.第一导入模块，用于获取前端发送的针对若干批次目标数据生成的若干数据导入请求，并基于多线程处理方式将若干批次所述目标数据导入至临时数据库；同一批次所述目标数据包含预设数量个待导入数据；
25.校验模块，用于基于多线程处理方式从所述临时数据库中分批查询若干批次所述目标数据，并在线程池中分批对若干批次所述目标数据对应的所述待导入数据进行校验以得到所有所述待导入数据的校验结果；
26.第二导入模块，用于基于所述校验结果将若干批次所述目标数据对应的待导入数据从所述线程池导入至线上数据库或传输至前端。
27.第三方面，本技术公开了一种电子设备，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现前述公开的基于两次写的数据导入方法。
28.第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的基于两次写的数据导入方法。
29.可见，本技术获取前端发送的针对若干批次目标数据生成的若干数据导入请求，并基于多线程处理方式将若干批次所述目标数据导入至临时数据库；同一批次所述目标数据包含预设数量个待导入数据；基于多线程处理方式从所述临时数据库中分批查询若干批次所述目标数据，并在线程池中分批对若干批次所述目标数据对应的所述待导入数据进行校验以得到所有所述待导入数据的校验结果；基于所述校验结果将若干批次所述目标数据对应的待导入数据从所述线程池导入至线上数据库或传输至前端。由此可见，本技术加入临时数据库，首先将待导入数据导入临时数据库，然后导入至线上数据库，对线上数据库起到了保护缓冲的作用，另外利用多线程处理方式分批导入数据，提高了数据导入的效率和
性能，保证了线上数据库的稳定性，最后将待导入数据传输至前端实现与用户之间的交互，提升了用户体验度。
附图说明
30.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
31.图1为本技术提供的一种基于两次写的数据导入方法流程图；
32.图2为本技术提供的一种具体的基于两次写的数据导入方法流程图；
33.图3为一种现有的两次写策略示意图；
34.图4为本技术提供的一种两次写框架示意图；
35.图5为本技术提供的一种数据流向框架示意图；
36.图6为本技术提供的一种基于两次写的数据导入逻辑流程示意图；
37.图7为本技术提供的一种交互时序示意图；
38.图8为本技术提供的一种具体的数据流向框架示意图；
39.图9为本技术提供的一种基于两次写的数据导入装置结构图；
40.图10为本技术提供的一种电子设备结构图。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.当前数据导入时，导入的结果只有成功或者失败，没有与操作者有一个好的交互，用户的体验度不好，并且当导入数据量较大并且校验逻辑复杂时，直接在内存中校验全量数据容易造成大量内存占用；大量数据直接批量导入线上数据库表，容易造成数据库直接加表锁的操作，严重造成数据库宕机，影响线上的相关操作。为了克服上述问题，本技术提供了一种数据导入方案，能够提升大量数据导入线上数据库的效率和性能，保证线上数据库的稳定性，并提升用户体验度。
43.参见图1所示，本技术实施例公开了一种基于两次写的数据导入方法，该方法包括：
44.步骤s11：获取前端发送的针对若干批次目标数据生成的若干数据导入请求，并基于多线程处理方式将若干批次所述目标数据导入至临时数据库；同一批次所述目标数据包含预设数量个待导入数据。
45.本技术实施例中，将所述若干批次的所述目标数据导入至临时数据库时，不便进行校验，因为校验比较耗费内存，将所述若干批次的所述目标数据导入至临时数据库时，不进行校验的效率更高，因此需要为所述临时数据库设置与所述线上数据库相同的字段设计，以便将若干批次所述目标数据导入至所述临时数据库时不进行校验过程。需要指出的
是，字段设计中主键值设置为integer(整数)类型，除主键值之外的其它字段设置为字符串类型。
46.本技术实施例中，所述预设数量可以为100；另外，基于多线程处理方式将若干批次所述目标数据导入至临时数据库，此时使用的线程数是动态变化的，数据量大，工作的线程就多，数据量小，工作的线程就少。
47.本技术实施例中，一个数据导入请求对应一个批次的所述目标数据。为了处理并发的情况，可以为每一个批次的所述目标数据设置目标批次编号，此时所述批次的所述目标数据对应的数据导入请求以及对应的待导入数据与所述批次的所述目标数据具有相同的目标批次编号。需要指出的是，所述并发指前端有多个数据导入请求在导入数据，生成的是不同数据导入请求的目标批次编号，并且每一个数据打入请求对应的目标批次编号是唯一的；另外，目标批次编号是通过redis原子自增特性生成的。需要指出的是，需要根据预设全局递增规则为若干批次所述目标数据设置所述目标批次编号。
48.步骤s12：基于多线程处理方式从所述临时数据库中分批查询若干批次所述目标数据，并在线程池中分批对若干批次所述目标数据对应的所述待导入数据进行校验以得到所有所述待导入数据的校验结果。
49.本技术实施例中，将数据导入至真实表后，根据异步机制，并基于多线程处理方式从所述临时数据库中分批查询若干批次的所述目标数据，然后在线程池中基于校验模型分批对若干批次所述目标数据对应的所述待导入数据进行校验，以便得到校验结果。需要指出的是，多个批次的所述目标数据可以同时校验，不同批次的所述目标数据的校验互不影响；此处异步表示不用等待校验过程完成就可以继续从临时数据库中进行查询数据，具体的，有专负责校验的线程池，把临时数据库查询到的数据发送给线程池，线程池中的线程会执行数据的校验，此时主线程不用等待校验结果，继续执行后续的查询；当线程池校验完成之后，会把校验结果返回给主线程，由主线程汇总校验结果。需要指出的是，在临时数据库中查询数据也是分批进行查询的。
50.本技术实施例中，获取到所有所述目标数据对应的所述待导入数据的所述校验结果之后，需要根据目标批次编号删除所述临时数据库中的若干批次所述目标数据。
51.步骤s13：基于所述校验结果将若干批次所述目标数据对应的待导入数据从所述线程池导入至线上数据库或传输至前端。
52.可见，本技术获取前端发送的针对若干批次目标数据生成的若干数据导入请求，并基于多线程处理方式将若干批次所述目标数据导入至临时数据库；同一批次所述目标数据包含预设数量个待导入数据；基于多线程处理方式从所述临时数据库中分批查询若干批次所述目标数据，并在线程池中分批对若干批次所述目标数据对应的所述待导入数据进行校验以得到所有所述待导入数据的校验结果；基于所述校验结果将若干批次所述目标数据对应的待导入数据从所述线程池导入至线上数据库或传输至前端。由此可见，本技术加入临时数据库，首先将待导入数据导入临时数据库，然后导入至线上数据库，对线上数据库起到了保护缓冲的作用，另外利用多线程处理方式分批导入数据，提高了数据导入的效率和性能，保证了线上数据库的稳定性，最后将待导入数据传输至前端实现与用户之间的交互，提升了用户体验度。
53.参见图2所示，本技术实施例公开了一种具体的基于两次写的数据导入方法，该方
法包括：
54.步骤s21：获取前端发送的针对若干批次目标数据生成的若干数据导入请求，并基于多线程处理方式将若干批次所述目标数据导入至临时数据库；同一批次所述目标数据包含预设数量个待导入数据。
55.其中，关于步骤s21的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
56.步骤s22：基于多线程处理方式从所述临时数据库中分批查询若干批次所述目标数据，并在线程池中分批对若干批次所述目标数据对应的所述待导入数据进行校验以得到所有所述待导入数据的校验结果。
57.其中，关于步骤s22的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
58.步骤s23：若所述校验结果为若干批次所述目标数据对应的所述待导入数据属于异常数据，则将所述待导入数据从所述线程池传输至前端。
59.本技术实施例中，若所述校验结果为若干批次所述目标数据对应的所述待导入数据属于异常数据，则需要将所述待导入数据从所述线程池传输至前端，以保证所述异常数据不会进入线上数据库，并且保证与用户有足够的交互以提升用户体验度；需要指出的是，若所述校验结果为若干批次所述目标数据对应的所述待导入数据属于异常数据，则基于异步机制将所述待导入数据从所述线程池导入至预设异常表格；当所有属于异常数据的所述待导入数据导入至所述异常表格，则将所述预设异常表格传输至前端；具体的，若所述校验结果为若干批次所述目标数据对应的所述待导入数据属于异常数据，则将所述待导入数据异步写入excel中，在校验完所有数据并将包含所有属于异常数据的待导入数据的excel下载链接返回到web(world wide web)端，与web端有一个很好的交互。
60.步骤s24：若所述校验结果为若干批次所述目标数据对应的所述待导入数据不属于异常数据，则分批将若干批次所述目标数据对应的所述待导入数据从所述线程池导入至线上数据库。
61.本技术实施例中，如果将所述待导入数据库直接导入至线上数据库容易导致线上数据库不稳定，因此将所述待导入数据导入至所述线上数据库时也是分批导入的，这样造成的波动较小。
62.本技术实施例中，若所述校验结果为若干批次所述目标数据对应的所述待导入数据不属于异常数据，则使用“insert into real_data values select temp_data”的方法将临时数据库中的待导入数据分批导入至线上数据库中，real_data表示线上数据库；由于临时数据库为中间流转，没有与web端的交互过程，因此不存在其它事务处理失败的情况。
63.可见，本技术获取前端发送的针对若干批次目标数据生成的若干数据导入请求，并基于多线程处理方式将若干批次所述目标数据导入至临时数据库；同一批次所述目标数据包含预设数量个待导入数据；基于多线程处理方式从所述临时数据库中分批查询若干批次所述目标数据，并在线程池中分批对若干批次所述目标数据对应的所述待导入数据进行校验以得到校验结果；当获取到所有所述目标数据对应的所述待导入数据的所述校验结果，则基于所述校验结果将若干批次所述目标数据对应的待导入数据从所述线程池导入至线上数据库或传输至前端。由此可见，本技术加入临时数据库，首先将待导入数据导入临时
数据库，然后导入至线上数据库，对线上数据库起到了保护缓冲的作用，另外利用多线程处理方式分批导入数据，提高了数据导入的效率和性能，保证了线上数据库的稳定性，最后将属于异常数据的待导入数据传输至前端实现与用户之间的交互，提升了用户体验度。
64.参见图3所示，展示了一种现有的两次写架构，两次写策略是出自mysql数据库innodb引擎防止数据页在宕机时丢失部分数据时采取的经典策略，主要带给innodb引擎的是数据页的可靠性。innodb引擎的两次写架构主要包括两个部分，doublewrite buffer和物理磁盘上的连续128个页；同步更新脏页时，doublewrite buffer会分两次写，连续以1m的数据写入共享表空间，在完成doublewrite页的写入后，再将doublewrite buffer中的数据写入表空间文件，也即数据库文件中。采用现有两次写架构的两次写策略，在web应用中导入大量excel数据到线上数据库中，由此，加入了临时数据库，并利用多线程处理方式分批导入数据，如图4所示，图4为本技术中两次写架构的框架示意图，图中，第一次写是将待导入数据写入临时数据库，第二次写是将临时数据库中的待导入数据导入至线上数据库，这样设计的原因是数据存在大量的验证规则，一是验证时比较耗费内存，临时数据库的存入不加验证规则效率较高；二是直接将数据大批量的直接导入线上数据库容易导致出现线上数据库不稳定，所以再二次写入线上数据库时是小批量的进行校验并写入线上数据库的，这样造成的波动较小，图4中first write是一次写，batch search是批次查询，second write是二次写，executor表示线程，用于进行多线程分批处理数据，temp database表示临时数据库，real database表示线上数据库，data表示待导入数据，request是待导入数据对应的数据导入请求。具体的，图5为详细的细节数据在架构中的流向，首先web端发送请求(request)至控制器(controller)，然后控制器将数据(data)通过线程模型(executor module)分批导入临时数据库中，然后从临时数据库中查询数据通过线程模型基于校验模型(check moudule)在线程池进行校验，并将校验结果为不属于异常数据的数据导入至线上数据库(real database)。
65.参见图6所示，为本技术中一种具体的数据导入逻辑流程示意图，首先获取excel数据，将excel数据拆分成日数据、周数据、月数据，并分批批量导入至临时数据库中，从临时数据库中分批批量查询并解析数据，然后根据校验规则对数据进行校验，之后，判断校验结果是否合格，如果合格则将合格数据分批导入线上数据库中，如果不合格则将不合格的异常数据写入预设异常表格，然后将预设异常表格传输至前端。图6中的过程，实现了web端，也即前端，与后端的交互，同时也展示后端处理两次写策略的具体逻辑，正常交互与校验异常的处理情况。另外，在将数据导入临时数据库时可生成全局唯一的批次编号(batchnum)来进行标记，在成功通过校验的时候根据这个批次编号来将临时数据库中的数据删除，不影响其它数据的导入。具体的，如图7所示，为图6中数据导入逻辑流程示意图对应的交互时序示意图。图7中，web表示前端，controller表示控制器，ececutor表示两次写框架，service表示服务器，temp database表示临时数据库，real database表示线上数据库，file center表示文件中心，将数据划分为日数据(day data)、周数据(week data)和月数据(month data)并导入至temp database中，从temp database中按批次查询(batch search and check)，若数据属于异常数据，则将异常数据对应的异常信息写入exceptionexcel中，若数据不属于异常数据，则将数据按批次输入(batch insert)real database中；图7中，temp database作为中间流转，避免大量数据放入内存中进行处理，并
保证了异常数据，也即脏数据不会进入real database中，同时不会对real database存在集中式的大量操作，保证了real database的稳定性。进一步的，图8为图6和图7对应的数据流向框架示意图，具体的，在实际的项目实践中，需求是线上导入大量的店铺数据。数据导入的维度分别是日数据(day data)，周数据(week data)，月数据(month data)，一个店铺可以产生的数据量是巨大的，所以在考虑到这点影响之后，需要设计一个满足大量数据的导入方法设计，既要考虑到兼顾大量数据导入也要考虑系统的设计并发性与稳定性。数据的形式以日数据(day data)，周数据(week data)，月数据(month data)的excel文件的形式传到后端进行处理；并且数据需要做大量的验证，因此不能直接把全部数据放入内存中进行处理，所以才设计出两次写的策略设计出本发明的架构模式，在实践中，分别以日数据(day data)，周数据(week data)，月数据(month data)的形式建立数据库的模型，分别建立temp database和real database，也即临时数据库和线上数据库，图8中，数据从temp database导入至real database的过程中也应用了executor，另外，temp database起到保护和缓冲的机制，让real database更加安全，executor表示线程，用于进行多线程分批处理，主要作用是提升整体系统，尤其是real database的性能，另外，多线程充分利用计算机资源，支持处理大量数据的导入过程。
66.本发明已经实际应用在企业的项目中，并且能够平稳运行，经过一系列的测试达到了预期的效率与性能的要求，并且在大量数据下的交互性较好。因为线上使用导入数据量不是很大，针对大数据量以及并发导入做了测试，以阶梯的增大导入数据量对此发明进行测试，分别是导入6000，30000，200000数据行数的测试。在此测试过程中能够得到以下结果：一是在数据存在问题时，保证了与使用者的良好的交互性；二是在处理大量数据的导入时表现为优良的效率与性能；三是在并发环境下导入数据平均耗时较低，具有较好的并发性，保证了极端情况下系统的稳定性，不会发生数据库mysql的锁表情况，造成系统出错。另外，本发明的测试实验属于极端的情况，用于测试系统的导入效率和稳定性，在实际的使用中不会使用这么大的数据量进行导入，在实际使用中最多使用6000行数据进行导入，其效率是实际使用中是可以接受的，因为要对每一行数据的每一个字段都需要进行校验，所以相比于常规的导入时间稍微耗时一点，测试具体结果如下表一所示：
67.表一
68.试验导入数据量耗时(ms)实验160004122实验23000018400实验320000081520
69.参见图9所示，本技术实施例公开了一种基于两次写的数据导入装置，包括：
70.第一导入模块11，用于获取前端发送的针对若干批次目标数据生成的若干数据导入请求，并基于多线程处理方式将若干批次所述目标数据导入至临时数据库；同一批次所述目标数据包含预设数量个待导入数据；
71.校验模块12，用于基于多线程处理方式从所述临时数据库中分批查询若干批次所述目标数据，并在线程池中分批对若干批次所述目标数据对应的所述待导入数据进行校验以得到校验结果；
72.第二导入模块13，用于当获取到所有所述目标数据对应的所述待导入数据的所述
校验结果，则基于所述校验结果将若干批次所述目标数据对应的待导入数据从所述线程池导入至线上数据库或传输至前端。
73.其中，关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
74.可见，本技术获取前端发送的针对若干批次目标数据生成的若干数据导入请求，并基于多线程处理方式将若干批次所述目标数据导入至临时数据库；同一批次所述目标数据包含预设数量个待导入数据；基于多线程处理方式从所述临时数据库中分批查询若干批次所述目标数据，并在线程池中分批对若干批次所述目标数据对应的所述待导入数据进行校验以得到校验结果；当获取到所有所述目标数据对应的所述待导入数据的所述校验结果，则基于所述校验结果将若干批次所述目标数据对应的待导入数据从所述线程池导入至线上数据库或传输至前端。由此可见，本技术加入临时数据库，首先将待导入数据导入临时数据库，然后导入至线上数据库，对线上数据库起到了保护缓冲的作用，另外利用多线程处理方式分批导入数据，提高了数据导入的效率和性能，保证了线上数据库的稳定性，最后将待导入数据传输至前端实现与用户之间的交互，提升了用户体验度。
75.进一步的，本技术实施例还提供了一种电子设备，图10是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本技术的使用范围的任何限制。
76.图10为本技术实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、输入输出接口24、通信接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任意实施例公开的基于两次写的数据导入方法的相关步骤。
77.本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口25能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口24，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
78.另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，存储器22作为可以包括作为运行内存的随机存取存储器和用于外部内存的存储用途的非易失性存储器，其上的存储资源包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
79.其中，操作系统221用于管理与控制源主机上电子设备20上的各硬件设备以及计算机程序222，操作系统221可以是windows、unix、linux等。计算机程222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的基于两次写的数据导入方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
80.本实施例中，所述输入输出接口24具体可以包括但不限于usb接口、硬盘读取接口、串行接口、语音输入接口、指纹输入接口等。
81.进一步的，本技术实施例还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的基于两次写的数据导入方法。
82.关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
83.这里所说的计算机可读存储介质包括随机存取存储器(random access memory，ram)、内存、只读存储器(read-only memory，rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、磁碟或者光盘或技术领域内所公知的任意其他形式的存储介质。其中，所述计算机程序被处理器执行时实现前述基于两次写的数据导入方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
84.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的基于两次写的数据导入方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
85.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
86.结合本文中所公开的实施例描述算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
87.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
88.以上对本发明所提供的一种基于两次写的数据导入方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。