数据划分处理方法、装置、电子设备及存储介质与流程

技术特征：
1.一种数据划分处理方法，其特征在于，包括：按照预设维度在hive中剥离待处理数据，并对所述待处理数据进行格式转换以形成特定格式文件；通过所述hive的临时目录将所述特定格式文件置于预设的文件服务器中；通过预设的前置业务系统从所述文件服务器中获取所述特定格式文件，并将所述特定格式文件保存至预设的业务服务器中以形成业务文件数据；其中，所述预设的前置业务系统与所述文件服务器预连接；在所述业务服务器中对所述业务文件数据进行进行拆分处理以形成文件组，并对所述文件组进行另存储以完成数据划分处理。2.如权利要求1所述的数据划分处理方法，其特征在于，所述按照预设维度在hive中剥离待处理数据，并对所述待处理数据进行格式转换以形成特定格式文件，包括：按照预设维度在所述hive中捞取待处理数据，并对所述待处理数据进行标记；根据所述标记，通过预设的导出语句将所述待处理数据从所述hive中剥离导出；对从所述hive中剥离导出的所述待处理数据进行特定格式的格式设置；基于所述特定格式对所述待处理数据进行格式转换以形成特定格式文件。3.如权利要求1所述的数据划分处理方法，其特征在于，所述通过所述hive的临时目录将所述特定格式文件置于预设的文件服务器中，包括：将所述特定格式文件分割为预设数量个子文件；将所述子文件汇总为子文件集；将所述子文件集置于所述hive的临时目录下以形成hive临时文件；通过发送指令将所述hive临时文件发送至与所述临时目录预连接的文件服务器中。4.如权利要求3所述的数据划分处理方法，其特征在于，所述将所述子文件汇总为子文件集，包括：获取所述子文件所属的特定格式文件；为所述特定格式文件命名一级署名，并获取所述特定格式文件所分割子文件的顺序；根据所述分割子文件的顺序为所述子文件命名序号，并在所述序号前添加所属特定格式文件的一级署名以形成各个子文件的标注名称；按照所述标注名称对所述子文件进行排列以形成子文件列表，并将所述子文件列表移至空白文件夹中以形成子文件集。5.如权利要求4所述的数据划分处理方法，其特征在于，所述通过预设的前置业务系统在所述文件服务器中获取所述特定格式文件，并将所述特定格式文件保存至预设的业务服务器中以形成业务文件数据，包括：将提前预设的前置业务系统与所述文件服务器相连接；其中，所述前置业务系统为单独的系统，用于读取所述文件服务器中的文件；通过所述前置业务系统在所述文件服务器中获取所述子文件集；对所述子文件集进行重整处理以还原为特定格式文件；将所述特定格式文件传输至与所述文件服务器相连接的业务服务器中。6.如权利要求5所述的数据划分处理方法，其特征在于，还包括对所述特定格式文件进行存储处理以形成业务文件；其中，所述对所述特定格式文件进行存储处理以形成业务文
件，包括：使所述业务服务器外接业务数据库；通过转存插件将所述特定格式文件分批次存储至所述外接业务数据库中以形成业务文件。7.如权利要求1所述的数据划分处理方法，其特征在于，所述在所述业务服务器中对所述业务文件数据进行进行拆分处理以形成文件组，并对所述文件组进行另存储以完成数据划分处理，包括：对所述业务文件进行遍历读取以形成业务数据；根据在所述业务数据库中预设置的时间字段为每条业务数据添加时间标识；通过预设的数据捞取程序根据所述时间标识对所述业务数据进行分类别汇总，并将每一类别的业务数据对应至与所述类别相对应的数据捞取命令中；为与所述数据捞取命令相对应的业务数据生成处理文件；按照预先配置的数量对所述处理文件进行拆分以形成文件组；对所述文件组进行另存储以完成数据划分处理。8.一种数据划分处理装置，其特征在于，所述装置包括：格式特定单元，用于按照预设维度在hive中剥离待处理数据，并对所述待处理数据进行格式转换以形成特定格式文件；文件外置单元，用于通过所述hive的临时目录将所述特定格式文件置于预设的文件服务器中；业务文件单元，用于通过预设的前置业务系统从所述文件服务器中获取所述特定格式文件，并将所述特定格式文件保存至预设的业务服务器中以形成业务文件数据；其中，所述预设的前置业务系统与所述文件服务器预连接；数据划分单元，用于在所述业务服务器中对所述业务文件数据进行进行拆分处理以形成文件组，并对所述文件组进行另存储以完成数据划分处理。9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的数据划分处理方法中的步骤。10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一所述的数据划分处理方法。

技术总结
本发明涉及人工智能技术，提供一种数据划分处理方法，首先按照预设维度在hive中剥离待处理数据，再通过hive的临时目录将预转成的特定格式文件置于预设的文件服务器中，而后通过预设的前置业务系统从文件服务器中获取特定格式文件，并将特定格式文件保存至预设的业务服务器中以形成业务文件数据；其中，该预设的前置业务系统与文件服务器预连接，再在业务服务器中对业务文件数据进行进行拆分处理以形成文件组，并对文件组进行另存储以完成数据划分处理，在本实施例中，通过前置业务系统与文件服务器去处理小批量的数据可以为hive减轻压力，从而让hive能够更专注的处理真正意义上的“大数据，大大提高数据处理效率，进而节省人力和时间。力和时间。力和时间。


技术研发人员：邢雨濛
受保护的技术使用者：平安普惠企业管理有限公司
技术研发日：2021.09.17
技术公布日：2021/12/16