一种面向OLAP分析引擎的数据导入方法和系统与流程

技术特征：
1.一种面向olap分析引擎的数据导入方法，其特征在于，所述数据导入方法包括：利用目标表建立文件对应数据存储临时表；通过plugin:local-file关联本地数据文件把文件数据分批读入到临时表；通过联邦查询方式，用insert into select语法把临时表数据写入到目标表中；对所述临时表数据写入到目标表中总的全过程进行异常数据监测。2.根据权利要求1所述数据导入方法，其特征在于，所述临时表的结构和目标表的结构完全一致。3.根据权利要求1所述数据导入方法，其特征在于，当文件数据的数据量在1g以下时，采用单线程导入；当文件数据的数据量大于1g时，采用多线程并行导入。4.根据权利要求1所述数据导入方法，其特征在于，利用目标表建立文件对应数据存储临时表，包括：启动olap引擎，对本地文件connecter进行加载；用户执行导入本地文件数据sql；通过insert into的目标表建立文件对应数据存储临时表。5.根据权利要求1所述数据导入方法，其特征在于，所述对所述临时表数据写入到目标表中总的全过程进行异常数据监测，包括：实时监测临时表数据写入过程中是否出现异常数据；当出现异常数据时，停止临时表数据写入动作，并将出现所述异常数据的实际情况记录到日志中；在排除异常数据之后，按照最大尝试次数，重新尝试向所述目标表中写入监测临时表数据。6.一种面向olap分析引擎的数据导入系统，其特征在于，所述数据导入系统包括：临时表建立模块，用于利用目标表建立文件对应数据存储临时表；读入模块，用于通过plugin:local-file关联本地数据文件把文件数据分批读入到临时表；写入模块，用于通过联邦查询方式，用insert into select语法把临时表数据写入到目标表中；监测模块，用于对所述临时表数据写入到目标表中总的全过程进行异常数据监测。7.根据权利要求6所述数据导入系统，其特征在于，所述临时表的结构和目标表的结构完全一致。8.根据权利要求6所述数据导入系统，其特征在于，当文件数据的数据量在1g以下时，采用单线程导入；当文件数据的数据量大于1g时，采用多线程并行导入。9.根据权利要求6所述数据导入系统，其特征在于，所述临时表建立模块包括：启动模块，用于启动olap引擎，对本地文件connecter进行加载；执行模块，用于用户执行导入本地文件数据sql；存储临时表建立模块，用于通过insert into的目标表建立文件对应数据存储临时表。10.根据权利要求6所述数据导入系统，其特征在于，所述监测模块包括：实时监测模块，用于实时监测临时表数据写入过程中是否出现异常数据；写入停止模块，用于当出现异常数据时，停止临时表数据写入动作，并将出现所述异常
数据的实际情况记录到日志中；重新尝试模块，用于在排除异常数据之后，按照最大尝试次数，重新尝试向所述目标表中写入监测临时表数据。

技术总结
本发明提出了一种面向OLAP分析引擎的数据导入方法和系统。所述数据导入方法包括：利用目标表建立文件对应数据存储临时表；通过plugin:local-file关联本地数据文件把文件数据分批读入到临时表；通过联邦查询方式，用insert into select语法把临时表数据写入到目标表中；对所述临时表数据写入到目标表中总的全过程进行异常数据监测。所述系统包括与所述方法步骤对应的模块。述方法步骤对应的模块。述方法步骤对应的模块。


技术研发人员：王跃
受保护的技术使用者：北京滴普科技有限公司
技术研发日：2022.12.05
技术公布日：2022/12/30