数据导出方法、装置、设备及计算机可读存储介质与流程

技术特征：
1.一种数据导出方法，其特征在于，包括：配置与多维数据库的数据导出操作相关的参数，所述参数包括目标关系数据库的类型；根据所述目标关系数据库的类型确定与所述类型匹配的专有客户端开发库，并通过所述专有客户端开发库建立所述多维数据库和所述目标关系数据库的连接关系；根据所述多维数据库的多维数据立方体的维度结构创建所述目标关系数据库的事实数据表，以及根据构成所述多维数据立方体的维度的成员属性结构创建所述目标关系数据库的维度表；基于所述连接关系，执行预设的数据导出操作，将所述多维数据立方体的各个维度成员的属性数据导出至目标关系库中的所述维度表；基于所述连接关系，执行预设的数据导出操作，将所述多维数据立方体的业务数据导出至目标关系库中的所述事实数据表。2.根据权利要求1所述的数据导出方法，其特征在于，与多维数据库的数据导出操作相关的参数，包括：所述多维数据库的多维数据立方体的名称，所述目标关系数据库的ip地址，所述目标关系数据库的监听端口，所述目标关系数据库的用户名，所述目标关系数据库的密码，所述多维数据库的数据量阈值参数和所述数据导出操作的默认批量值，数据量阈值参数适用于单个维度成员属性的数据量和多维立方体的业务数据量。3.根据权利要求1所述的数据导出方法，其特征在于，根据所述多维数据库的多维数据立方体的维度结构创建所述目标关系数据库的事实数据表，以及根据构成所述多维数据立方体的维度的成员属性结构创建所述目标关系数据库的维度表，包括：自动分析所述多维数据库的多维数据立方体的维度结构，以得到分析结果；基于预设的数据量阈值参数，判断所述多维数据立方体的数据量是否为大数据量，或者单个维度的成员属性数据量是否是大数据量；若是，则根据所述分析结果自动创建测试最佳批量大小的临时关系数据库表，临时关系库表有多张表，其中，测试单个维度的成员属性数据导出的最佳批量大小的临时关系数据库表的结构与所述维度表的结构相同；测试业务数据导出的最佳批量大小的临时关系数据库表的结构与所述事实数据表的结构相同；根据所述分析结果自动创建所述目标关系数据库的事实数据表；判断所述多维数据立方体的所有维度是否分析完毕；若否，则分析所述多维数据立方体的单个维度的成员属性结构；根据所述成员属性结构的分析结果，自动创建所述目标关系数据库的单个维度的维度表。4.根据权利要求1所述的数据导出方法，其特征在于，基于所述连接关系，执行预设的数据导出操作，将所述多维数据立方体的各个维度成员的属性数据和业务数据分别导出至所述维度表和所述事实数据表，包括：根据所述多维数据立方体的单元格值的数量或者单个维度的成员个数，和预先配置的数据量阈值参数做对比，判断待导出的多维立方体总业务数据量或者单个维度的属性数据量是否超过预设阈值；若是，则针对部分数据执行不同批量大小的多批次数据导出操作，将所述部分数据导
入预先创建的临时关系数据库表，比较所述不同批量大小的导出时间，以得到最佳的批量大小，并将所述最佳的批量大小作为所述数据导出操作的第一批量大小；若否，则根据预先配置的默认批量值设置第二批量大小；即第一批量大小是大数据量时的最佳导出性能的批量大小，而第二批量大小是小数据量导出时默认配置的批量大小；基于所述连接关系，根据所述第一批量大小或所述第二批量大小执行数据导出操作，将所述维度成员的属性数据和多维数据立方体的业务数据分别导出至所述维度表和所述事实数据表。5.根据权利要求4所述的数据导出方法，其特征在于，所述方法还包括：删除预先创建的临时关系数据库表。6.根据权利要求4所述的数据导出方法，其特征在于，比较所述不同批量大小的导出时间，以得到最佳的批量大小，包括：确定初始批量大小和最大批量值；判断当前测试的第一测试批量值是否小于等于所述最大批量值；若是，则根据预设的测试数据量和所述第一测试批量值计算本次测试的批次数，并执行导出，得到导出结果；根据所述导出结果，确定在所述第一测试批量值下导出所述预设的测试数据量所耗费的总时间；按照所述初始批量大小递增，得到第二测试批量值，并判断所述第二测试批量值是否小于等于所述最大批量值，直至测试完所有有效批量值；记录各所述有效批量值对应的导出时间，并进行比较以得出最短导出时间；根据所述最短导出时间，确定第一批量大小的值。7.根据权利要求4所述的数据导出方法，其特征在于，所述方法还包括：判断所述维度成员的属性数据或多维数据立方体的业务数据是否全部导出；若否，则根据所述第一批量大小或所述第二批量大小继续执行数据导出操作，直至所述业务数据和所述成员属性数据全部导出。8.一种数据导出装置，其特征在于，包括：配置模块，用于配置与多维数据库的数据导出操作相关的参数，所述参数包括目标关系数据库的类型；连接模块，用于根据所述目标关系数据库的类型确定与所述类型匹配的专有客户端开发库，并通过所述专有客户端开发库建立所述多维数据库和所述目标关系数据库的连接关系；创建模块，用于根据所述多维数据库的多维数据立方体的维度结构创建所述目标关系数据库的事实数据表，以及根据构成所述多维数据立方体的维度的成员属性结构创建所述目标关系数据库的维度表；导出模块，用于基于所述连接关系，执行预设的数据导出操作，将所述多维数据立方体的各个维度成员的属性数据导出至目标关系库中的所述维度表；基于所述连接关系，执行预设的数据导出操作，将所述多维数据立方体的业务数据导出至目标关系库中的所述事实数据表。9.一种数据导出设备，其特征在于，所述数据导出设备包括：处理器以及存储有计算机
程序指令的存储器；所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的数据导出方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的数据导出方法。

技术总结
本申请提供了一种数据导出方法、装置、设备及计算机可读存储介质。该方法包括：配置与多维数据库的数据导出操作相关的参数，包括目标关系数据库的类型，根据该类型确定匹配的专有客户端开发库，并通过该开发库建立多维数据库和目标关系数据库的连接关系；根据多维数据库的多维数据立方体的维度结构创建目标关系数据库的事实数据表，以及根据构成多维立方体的维度的成员属性结构创建目标关系数据库的维度表；基于连接关系，将多维立方体的各个维度成员的属性数据导出至目标关系库中的维度表，并且将多维立方体的业务数据导出至目标关系库中的事实数据表。根据本申请实施例，提高多维数据库的数据导出效率，以及避免数据导出过程中人工操作出错。过程中人工操作出错。过程中人工操作出错。


技术研发人员：屈恩
受保护的技术使用者：北京元年科技股份有限公司
技术研发日：2022.03.03
技术公布日：2022/7/12