一种批量数据入库方法及系统与流程

技术特征：
1.一种批量数据入库方法及系统，其特征在于：该批量数据入库系统包括检测模块、数据接收模块、数据处理模块、数据引擎、数据库和数据清理模块，该批量数据入库方法包括离线数据入库和实时数据入库两种方式，具体操作步骤如下：s1：离线数据入库：s11：通过数据引擎对数据进行提取；s12：通过数据接收模块把数据进行汇集并通过数据清理模块对数据进行清理；s13：根据数据处理模块对清理后的数据配置sql脚本，并把脚本信息储存在数据处理模块的内存中；s14：通过检测模块对服务器性能进行检测并设定适合的上传数据大小；s15：以s14中适合的上传数据大小为标准，把所有数据按照标准进行批量转化，归类分批；s16：把转化后的数据上传到数据库并通过s13中配置的sql脚本对数据进行拼接整合。s2：实时数据入库：s21：通过检测模块对服务器性能进行检测并设定适合的上传数据大小；s22：以设定的合适的上传数据大小为标准，并通过数据引擎进行实时抽取数据；s23：通过数据接收模块接收数据并通过数据清理模块对抽取的数据进行清理，通过数据处理模块对清理后的数据配置sql脚本，把脚本储存在数据处理模块的内存中，s24：对清理后的数据进行上传，并且备份在服务器中作为数据样本；s25：上传后的数据经过s23中配置好的sql脚本进行拼接整合；s26：继续提取符合标准大小的数据，并以之前备份保存在服务器中的数据样本作为主数据，对新提取的数据进行数据清理，数据清理后同样上传并备份保存在服务器中；s27：重复上述s22——s26中的操作直至数据全部上传。2.根据权利要求1所述的一种批量数据入库方法及系统，其特征在于：所述s12与s23中通过数据清理模块清理后的数据需要转化为预设格式，并通过预设格式对sql脚本进行配置，所述预设格式为数据仓库中数据储存结构格式，以目标数据的名称和时间信息确定所述目标数据的主键或联合主键。3.根据权利要求1所述的一种批量数据入库方法及系统，其特征在于：针对已经入库的数据建立索引与内部表格，并把内部表格转化为外部表格。4.根据权利要求1所述的一种批量数据入库方法及系统，其特征在于：所述s26中对新提取的数据进行数据清理时，作为主数据的数据样本不进行清理，仅对新提取的数据样本进行数据清理，新提取的数据经过清理后备份保存时并入之前的数据样本。5.根据权利要求1所述的一种批量数据入库方法及系统，其特征在于：所述sql脚本的解析通过异步线程进行。6.根据权利要求1所述的一种批量数据入库方法及系统，其特征在于：所述s23中经过数据清理后的数据大小小于或等于标准数据的大小。7.根据权利要求1所述的一种批量数据入库方法及系统，其特征在于：所述s12和s23中的数据清理分为三个步骤，第一步骤为偏差检验，第二步为数据变换，第三步骤为人为抽查，且前两个步骤迭代进行，清理时首先对冲突的拼写规则和冲突的数据等人为误差进行重新拼写，并对数据中一些对分析结果造成较大影响的特殊数值进行排除，接着对数据的
逻辑一致性进行检查，排除逻辑错误，最后通过人工对数据质量进行抽查，判定错误数据对数据整体结果的影响，了解数据质量。8.根据权利要求1所述的一种批量数据入库方法及系统，其特征在于：所述s14与s21中的检测模块对服务器的检测包括硬盘储存空间、内存、cpu以及宽带，服务器的硬盘储存是数据库大小的限制因素，存储还可以采用网络储存的形式，服务器内存的大小会影响服务器处理指令的速度，处理复杂与更多的指令时，需求更高的内存，cpu是影响sql脚本解析的主要影响因素，cpu和内核的数量会影响可执行多少个并发指令，也影响执行指令的速度，宽带对数据传输具有很大限制，越高的宽带并发到服务器的数据量越大。

技术总结
本发明公开了一种批量数据入库方法及系统，该批量数据入库系统包括检测模块、数据接收模块、数据处理模块、数据引擎、数据库和数据清理模块，该批量数据入库方法包括离线数据入库和实时数据入库两种方式，具体操作步骤如下：S1：离线数据入库：S11：通过数据引擎对数据进行提取；S12：通过数据接收模块把数据进行汇集并通过数据清理模块对数据进行清理；S13：根据数据处理模块对清理后的数据配置SQL脚本。本申请通过在离线数据入库时对数据进行清理，清理后的数据用来配置SQL脚本，通过检测模块对服务器性能进行检测，并对数据进行分批转化上传处理，大大减轻了服务器的压力，提高了服务器的使用寿命，提高了数据的上传效率。提高了数据的上传效率。提高了数据的上传效率。


技术研发人员：唐良运 邹文景 甘莹 孙刚
受保护的技术使用者：南方电网数字电网研究院有限公司
技术研发日：2022.02.23
技术公布日：2022/6/14