数据导出方法及装置、计算机可读存储介质及电子设备与流程

技术特征：
1.一种数据导出方法，其特征在于，包括：响应于客户端的数据导出请求，获取导出参数信息，并生成待导出数据的导出文件标识，所述导出参数信息包括所述待导出数据的查询条件；通过异步线程获取所述待导出数据的导出路径，并根据所述导出路径和所述导出文件标识创建导出文件；所述异步线程根据所述待导出数据的查询条件分页查询所述待导出数据，按照所述分页查询的顺序将查询到的所述待导出数据写入到所述导出文件中，以生成目标导出文件。2.根据权利要求1所述的数据导出方法，其特征在于，所述异步线程根据所述待导出数据的查询条件分页查询所述待导出数据包括：获取待导出数据量和预设的异步线程的数量；根据所述待导出数据量和所述预设的异步线程的数量，为各所述异步线程分配子待导出数据量；各所述异步线程并行的根据所述待导出数据的查询条件和所述子待导出数据量，分页查询子待导出数据；所述按照所述分页查询的顺序将查询到的所述待导出数据写入到所述导出文件中，以生成目标导出文件，包括：各所述异步线程按照所述分页查询的顺序，将查询到的子待导出数据分别写入到各所述异步线程所对应的子导出文件中；合并所述各子导出文件，以生成目标导出文件。3.根据权利要求2所述的数据导出方法，其特征在于，在将查询到的子待导出数据写入到各所述异步线程所对应的子导出文件中之前，所述方法还包括：根据所述导出文件标识和各所述异步线程的线程标识，生成各所述异步线程所对应的子导出文件标识；获取所述导出路径和所述子导出文件标识，以创建各所述异步线程所对应的子导出文件。4.根据权利要求3所述的数据导出方法，其特征在于，所述合并所述各子导出文件，以生成目标导出文件，包括：根据所述导出路径和各所述子导出文件标识读取各子导出文件；将读取到的各子导出文件写入到所述导出文件中，以生成目标导出文件。5.根据权利要求1所述的数据导出方法，其特征在于，所述导出参数信息还包括导出用户标识、导出时间中的至少一种；所述生成待导出数据的导出文件标识，包括：根据所述导出参数信息生成待导出数据的导出文件标识。6.根据权利要求1所述的数据导出方法，其特征在于，生成待导出数据的导出文件标识后，所述方法还包括：根据所述导出文件标识和所述导出参数信息生成目标导出任务；将所述目标导出任务写入导出任务信息表，并将所述目标导出任务的状态配置为导出中状态。7.根据权利要求1至6中任一项所述的数据导出方法，其特征在于，生成目标导出文件
后，所述方法还包括：上传所述目标导出文件至存储平台；接收所述存储平台发送的所述目标导出文件的统一资源定位符；将所述统一资源定位符写入所述导出任务信息表，以关联所述统一资源定位符和所述导出文件标识。8.根据权利要求7所述的数据导出方法，其特征在于，所述方法还包括：当所述目标导出文件上传成功时，将所述导出文件标识所对应的目标导出任务的状态从导出中状态更新为成功状态；当所述目标导出文件上传失败时，将所述导出文件标识所对应的目标导出任务的状态从导出中状态更新为失败状态，并记录所述失败状态的失败标识，其中，所述失败标识包括导出异常或上传异常。9.根据权利要求7所述的数据导出方法，其特征在于，所述方法还包括：向所述客户端返回所述导出文件标识，所述导出文件标识用于指示所述客户端确定所述目标导出文件的统一资源定位符；响应于所述客户端对所述统一资源定位符的触发操作，根据所述统一资源定位符在所述客户端下载所述目标导出文件。10.根据权利要求1所述的数据导出方法，其特征在于，获取导出参数信息后，所述方法还包括：查询导出任务信息表，以确定所述导出任务信息表中是否存在查询条件与所述导出参数信息中的查询条件相同的导出任务；如果存在，则向所述客户端发送提示信息，所述提示信息用于指示所述客户端确定所述导出任务的目标导出文件所对应的统一资源定位符；响应于所述客户端对所述统一资源定位符的触发操作，根据所述统一资源定位符在所述客户端下载所述目标导出文件。11.一种数据导出装置，其特征在于，包括：导出请求响应模块，被配置为响应于客户端的数据导出请求，获取导出参数信息，并生成待导出数据的导出文件标识，所述导出参数信息包括所述待导出数据的查询条件；导出文件创建模块，被配置为通过异步线程获取所述待导出数据的导出路径，并根据所述导出路径和所述导出文件标识创建导出文件；目标导出文件生成模块，被配置为所述异步线程根据所述待导出数据的查询条件分页查询所述待导出数据，按照所述分页查询的顺序将查询到的所述待导出数据写入到所述导出文件中，以生成目标导出文件。12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至10中任一项所述的数据导出方法。13.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至10中任一项所述的数据导出方法。

技术总结
本公开涉及数据处理技术领域，提供了一种数据导出方法及装置、计算机可读存储介质和电子设备。其中，上述方法包括：响应于客户端的数据导出请求，获取导出参数信息，并生成待导出数据的导出文件标识，导出参数信息包括待导出数据的查询条件；通过异步线程获取待导出数据的导出路径，并根据导出路径和导出文件标识创建导出文件；异步线程根据待导出数据的查询条件分页查询待导出数据，按照分页查询的顺序将查询到的待导出数据写入到导出文件中，以生成目标导出文件。本方案基于异步线程和分页查询执行数据导出操作，可以避免一次性导出大数据量数据存在的内存溢出的问题，同时，可以提高数据导出的效率。数据导出的效率。数据导出的效率。


技术研发人员：袁建棚
受保护的技术使用者：北京京东世纪贸易有限公司
技术研发日：2020.09.30
技术公布日：2021/12/16