压缩文件处理方法及装置与流程

1.本发明涉及大数据技术领域，尤其涉及一种压缩文件处理方法及装置。


背景技术：

2.在开发中，数据需求方为了更好的分析数据需要对接多个数据提供方，但是部分数据提供方仅以数据压缩文件形式提供，压缩文件中含带着多目录文件层级并且上传来的数据压缩文件与要处理的系统不在同一台服务器，由于数据提供方的系统都有各自特点，导致各数据提供方提供的数据文件没有统一的标准，造成数据需求方需要花费大量的人力对各家数据提供方所提供的数据压缩文件路径按照本系统能够识别的形式进行标准化处理，如图1所示，这样不仅造成人力资源的浪费且数据处理的时效性、准确性大打折扣。因此，目前缺乏一种压缩文件处理方法，将数据提供方的压缩文件处理为标准化形式。


技术实现要素：

3.本发明实施例提出一种压缩文件处理方法，用以对各数据提供方所提供的压缩文件路径按照数据需求方能够识别的形式进行标准化处理，效率高，准确性高，安全性高，该方法包括：
4.获取数据提供方的压缩文件，并放入所述数据提供方对应的工作目录下；
5.分析获得压缩文件中数据文件的路径；
6.根据压缩文件中数据文件的路径，在所述数据提供方对应的工作目录下配置路径转换条件集合，所述路径转换条件集合包括源文件解析条件和目标文件生成条件；
7.解压压缩文件，获得多个数据文件；
8.轮询路径转换条件集合中每条源文件解析条件，对每个数据文件，在确定当前源文件解析条件适用该数据文件时，基于源文件解析条件，获得该数据文件的各个转换参数的值；基于目标文件生成条件，根据该数据文件的各个转换参数的值，获得该数据文件对应的目标文件。
9.本发明实施例提出一种压缩文件处理装置，用以对各数据提供方所提供的压缩文件路径按照数据需求方能够识别的形式进行标准化处理，效率高，准确性高，安全性高，该装置包括：
10.压缩文件获取模块，用于获取数据提供方的压缩文件，并放入所述数据提供方对应的工作目录下；
11.路径分析模块，用于分析获得压缩文件中数据文件的路径；
12.路径转换条件集合配置模块，用于根据压缩文件中数据文件的路径，在所述数据提供方对应的工作目录下配置路径转换条件集合，所述路径转换条件集合包括源文件解析条件和目标文件生成条件；
13.解压模块，用于解压压缩文件，获得多个数据文件；
14.路径转换模块，用于轮询路径转换条件集合中每条源文件解析条件，对每个数据
文件，在确定当前源文件解析条件适用该数据文件时，基于源文件解析条件，获得该数据文件的各个转换参数的值；基于目标文件生成条件，根据该数据文件的各个转换参数的值，获得该数据文件对应的目标文件。
15.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述压缩文件处理方法。
16.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述压缩文件处理方法。
17.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述压缩文件处理方法。
18.在本发明实施例中，获取数据提供方的压缩文件，并放入所述数据提供方对应的工作目录下；分析获得压缩文件中数据文件的路径；根据压缩文件中数据文件的路径，在所述数据提供方对应的工作目录下配置路径转换条件集合，所述路径转换条件集合包括源文件解析条件和目标文件生成条件；解压压缩文件，获得多个数据文件；轮询路径转换条件集合中每条源文件解析条件，对每个数据文件，在确定当前源文件解析条件适用该数据文件时，基于源文件解析条件，获得该数据文件的各个转换参数的值；基于目标文件生成条件，根据该数据文件的各个转换参数的值，获得该数据文件对应的目标文件。与现有技术需要人为进行标准化处理的方法相比，通过工作目录，将每个数据提供方的压缩文件隔离开，保证了数据文件的安全性；通过轮询路径转换条件集合中每条源文件解析条件，对每个数据文件，在确定当前源文件解析条件适用该数据文件时，基于源文件解析条件，获得该数据文件的各个转换参数的值；基于目标文件生成条件，根据该数据文件的各个转换参数的值，获得该数据文件对应的目标文件，实现了自动化处理，很大程度降低了人为干预程度，效率高，准确性高。
附图说明
19.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
20.图1为现有技术中通过人力进行压缩文件处理的思路图；
21.图2为本发明实施例中压缩文件处理方法的流程图；
22.图3为本发明实施例中压缩文件的路径示例；
23.图4为本发明实施例中工作目录的示意图；
24.图5为本发明实施例中压缩文件中数据文件的路径的示例；
25.图6为本发明实施例中第一类转换条件数据文件进行解析的原理图；
26.图7为本发明实施例中转换出来的目标文件的路径的示例；
27.图8为本发明实施例中压缩文件处理装置的示意图一；
28.图9为本发明实施例中压缩文件处理装置的示意图二；
29.图10为本发明实施例中计算机设备的示意图。
具体实施方式
30.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
31.在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本技术的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
32.图2为本发明实施例中压缩文件处理方法的流程图，如图2所示，包括：
33.步骤201，获取数据提供方的压缩文件，并放入所述数据提供方对应的工作目录下；
34.步骤202，分析获得压缩文件中数据文件的路径；
35.步骤203，根据压缩文件中数据文件的路径，在所述数据提供方对应的工作目录下配置路径转换条件集合，所述路径转换条件集合包括源文件解析条件和目标文件生成条件；
36.步骤204，解压压缩文件，获得多个数据文件；
37.步骤205，轮询路径转换条件集合中每条源文件解析条件，对每个数据文件，在确定当前源文件解析条件适用该数据文件时，基于源文件解析条件，获得该数据文件的各个转换参数的值；基于目标文件生成条件，根据该数据文件的各个转换参数的值，获得该数据文件对应的目标文件。
38.在本发明实施例中，压缩文件是有一个路径的，指的是压缩文件所在文件路径，比如说现有一个目录层级为：/path1/path2/data.zip，那么data.zip数据压缩文件路径为：/path1/path2，图3为本发明实施例中压缩文件的路径示例。
39.在步骤201中，获取数据提供方的压缩文件，并放入所述数据提供方对应的工作目录下。图4为本发明实施例中工作目录的示意图。其中，工作空间为数据提供方上传压缩文件所访问的根目录，工作目录为不同数据提供方提供的压缩文件定义的一个访问工作目录。在图4中，“数据提供方-系统1”提供给数据需求方的filename文件信息为：“/filefolder1/filefolder2/filefolder3/filename”，数据需求方给数据提供方分配的工作空间为：“fileupload”，工作目录为：“system1”，为“数据提供方-系统1”对应的工作目录，所有以后“数据提供方-系统1”所提供的数据文件均在“/fileupload/system1/”目录下。“数据提供方-系统1”上传filename文件到数据需求方后的完整路径为：
[0040]“/fileupload/system1/filefolder1/filefolder2/filefolder3/filename”。
[0041]
在步骤202中，分析获得压缩文件中数据文件的路径。
[0042]
压缩文件中数据文件的路径属于压缩文件内部文件信息，指的是压缩文件内的目录层级及目录层级下的文件。例如：现有一个data.zip，该压缩包中压缩了file.excel文件，且file.excel文件在该压缩包的层级目录为：/zippath1/zippath2/(该层级下不一定
只有file.excel一个文件可能会是多个数据文件)，则压缩文件内部文件信息指的是/zippath1/zippath2/file.excel。图5为本发明实施例中压缩文件中数据文件的路径的示例，虚线框内为压缩文件中数据文件的路径。
[0043]
在步骤203中，根据压缩文件中数据文件的路径，在所述数据提供方对应的工作目录下配置路径转换条件集合，所述路径转换条件集合包括源文件解析条件和目标文件生成条件。
[0044]
在一实施例中，根据压缩文件中数据文件的路径，在所述数据提供方对应的工作目录下配置路径转换条件集合，包括：
[0045]
判断所述数据提供方对应的工作目录下是否存在路径转换条件集合；
[0046]
若否，配置适用于压缩文件中数据文件的路径的源文件解析条件和目标文件生成条件，并添加至路径转换条件集合；
[0047]
若是，判断所述路径转换条件集合是否适用于所有的压缩文件中数据文件的路径；
[0048]
若否，为无对应源文件解析条件或目标文件生成条件的压缩文件中数据文件的路径，配置源文件解析条件或目标文件生成条件。
[0049]
也就是，如果数据提供方每次上传来的压缩文件需要的路径转换条件都是不变的，路径转换条件只需要配置一次。当有变更、新增的路径转换条件时才重新配置。另外，配置适用于压缩文件中数据文件的路径的源文件解析条件和目标文件生成条件时，可以从其他数据提供方的工作目录中找到路径转换条件并复制过来。
[0050]
在步骤204中，解压压缩文件，获得多个数据文件。
[0051]
需要说明的是，在压缩文件解析时，还需要解析压缩文件的类型，这样在解压压缩文件时，需要按照压缩文件的类型进行解压。在解压时，如果当压缩文件中还存在有压缩文件时，会再次对嵌套的压缩文件使用递归的形式处理。
[0052]
当然，在解压前，需要从工作目录下载，下载时，通过ftp方式，获得数据提供方对应的工作目录所在文件服务器的ip、端口号、字符集等信息配置ftp相关信息，该服务器称为源数据文件服务器。
[0053]
在一实施例中，在解压压缩文件，获得多个数据文件之前，还包括：
[0054]
将压缩文件放入临时文件夹；
[0055]
在获得所有数据文件对应的目标文件之后，还包括：
[0056]
清空临时文件夹，将所有的目标文件上传至目标文件服务器。上传时，也通过ftp方式，获得目标文件服务器的ip、端口号、字符集等信息配置ftp相关信息。
[0057]
在步骤205中，轮询路径转换条件集合中每条源文件解析条件，对每个数据文件，在确定当前源文件解析条件适用该数据文件时，基于源文件解析条件，获得该数据文件的各个转换参数的值；基于目标文件生成条件，根据该数据文件的各个转换参数的值，获得该数据文件对应的目标文件。
[0058]
在一实施例中，所述源文件解析条件和目标文件生成条件包括第一类转换条件；
[0059]
其中，
[0060]
源文件解析条件的第一类转换条件包括过滤器；
[0061]
目标文件生成条件的第一类转换条件包括内置函数和常量。
[0062]
每个第一类转换条件用${
…
}表示。
[0063]
使用${变量}的形式对数据文件进行解析，必须确保源数据文件的路径与源文件解析条件的层级一致，举例说明如下：“某某企业数据20210103-a类型.txt”、“某某行业数据20210103-a类型.excel”、“某某公司数据20210103-b类型.mdb”源数据文件的路径，图6为本发明实施例中第一类转换条件数据文件进行解析的原理图。
[0064]
源文件解析条件的第一类转换条件的示例如下：
[0065]
/${workspace}/${workpath}/${path1}/${path2}/${data}/${zippath1}/${zippath2}/${filename}.${fileexttype}
[0066]
基于源文件解析条件，获得该数据文件的各个转换参数的值时，以“某某企业数据20210103-a类型.txt”为例workspace＝fileupload、workpath＝system1、path1＝pathfolder1、path2＝pathfolder2、data＝datafolder、zippath1＝zippathfolder1、zippath2＝zippathfolder2、filename＝某某企业数据20210103-a类型、fileexttype＝txt。
[0067]
目标文件生成条件的第一类转换条件的示例如下：
[0068]
/源系统1数据文件/${path1}/${data}/${zippath1}/#{current_time_stamp(
‘
yyyy年mm月dd日hh24时mm分ss秒’)}/${filename}.${fileexttype}
[0069]
图7为本发明实施例中转换出来的目标文件的路径的示例。
[0070]
需要说明的是，源文件解析条件的第一类转换条件包括过滤器，如图6所示，若目标文件要求如下：如果是企业数据则必须是a类型，或者是行业类型所有数据文件，此时需要过滤器，就可以把非“a类型”文件过滤掉，则此时的源文件解析条件为：
[0071]
/${workspace}/${workpath}/${path1}/${path2}/${data}/${zippath1}/${zippath2}/${filename？filter＝(contain(
‘
企业)and contain(
‘
a类型))or contain(
‘
行业’)}.${fileexttype}。
[0072]
上述${filename？filter＝(contain(
‘
企业)and contain(
‘
a类型))or contain(
‘
行业’)}的含义是：
[0073]
把如下路径下的数据文件的名字中含有“企业”和“a类型”或者“行业”的文件通过过滤器过滤出来：
[0074]“/${workspace}/${workpath}/${path1}/${path2}/${data}/${zippath1}/${zippath2}”[0075]
contain是过滤器的内置方法，该方法是用于字符串中包含哪些内容，返回值是boolean类型。过滤器中能调用的函数还有match，如果现有的方法contain、match得不到满足，可以实现filepathfilterinterface实现其过滤器的方法即可对外进行过滤方法扩展。
[0076]
需要说明的是，目标文件生成条件的第一类转换条件包括内置函数和常量。
[0077]
常量：是目标文件生成条件中自己指定的字符串，上述例子中的“源系统1数据文件”就为一个常量。
[0078]
内置函数：如上述例子中的current_time_stamp(yyyy年mm月dd日hh24时mm分ss秒)，调用了current_time_stamp函数，并且该内置函数中传入了
‘
yyyy年mm月dd日hh24时mm分ss秒’日期表达式。目前内置函数还有randomseq(int length)，方法传参length为生成随机数长度，比如randomseq(6)生成一个随机长度为6的数字序列。目前内置函数有
[0095]
综上所述，在本发明实施例提出的方法中，获取数据提供方的压缩文件，并放入所述数据提供方对应的工作目录下；分析获得压缩文件中数据文件的路径；根据压缩文件中数据文件的路径，在所述数据提供方对应的工作目录下配置路径转换条件集合，所述路径转换条件集合包括源文件解析条件和目标文件生成条件；解压压缩文件，获得多个数据文件；轮询路径转换条件集合中每条源文件解析条件，对每个数据文件，在确定当前源文件解析条件适用该数据文件时，基于源文件解析条件，获得该数据文件的各个转换参数的值；基于目标文件生成条件，根据该数据文件的各个转换参数的值，获得该数据文件对应的目标文件。与现有技术需要人为进行标准化处理的方法相比，通过工作目录，将每个数据提供方的压缩文件隔离开，保证了数据文件的安全性；通过轮询路径转换条件集合中每条源文件解析条件，对每个数据文件，在确定当前源文件解析条件适用该数据文件时，基于源文件解析条件，获得该数据文件的各个转换参数的值；基于目标文件生成条件，根据该数据文件的各个转换参数的值，获得该数据文件对应的目标文件，实现了自动化处理，很大程度降低了人为干预程度，效率高，准确性高。
[0096]
本发明实施例还提出一种压缩文件处理装置，其原理与压缩文件处理方法类似，这里不再赘述。
[0097]
图8为本发明实施例中压缩文件处理装置的示意图一，包括：
[0098]
压缩文件获取模块801，用于获取数据提供方的压缩文件，并放入所述数据提供方对应的工作目录下；
[0099]
路径分析模块802，用于分析获得压缩文件中数据文件的路径；
[0100]
路径转换条件集合配置模块803，用于根据压缩文件中数据文件的路径，在所述数据提供方对应的工作目录下配置路径转换条件集合，所述路径转换条件集合包括源文件解析条件和目标文件生成条件；
[0101]
解压模块804，用于解压压缩文件，获得多个数据文件；
[0102]
路径转换模块805，用于轮询路径转换条件集合中每条源文件解析条件，对每个数据文件，在确定当前源文件解析条件适用该数据文件时，基于源文件解析条件，获得该数据文件的各个转换参数的值；基于目标文件生成条件，根据该数据文件的各个转换参数的值，获得该数据文件对应的目标文件。
[0103]
在一实施例中，路径转换条件集合配置模块具体用于：
[0104]
判断所述数据提供方对应的工作目录下是否存在路径转换条件集合；
[0105]
若否，配置适用于压缩文件中数据文件的路径的源文件解析条件和目标文件生成条件，并添加至路径转换条件集合；
[0106]
若是，判断所述路径转换条件集合是否适用于所有的压缩文件中数据文件的路径；
[0107]
若否，为无对应源文件解析条件或目标文件生成条件的压缩文件中数据文件的路径，配置源文件解析条件或目标文件生成条件。
[0108]
在一实施例中，所述源文件解析条件和目标文件生成条件包括第一类转换条件；
[0109]
其中，
[0110]
源文件解析条件的第一类转换条件包括过滤器；
[0111]
目标文件生成条件的第一类转换条件包括内置函数和常量。
[0112]
在一实施例中，所述源文件解析条件和目标文件生成条件包括第二类转换条件，所述第二类转换条件采用正则表达式。
[0113]
图9为本发明实施例中压缩文件处理装置的示意图二，在一实施例中，所述装置还包括标记模块901，用于：
[0114]
对所述数据提供方对应的工作目录下的压缩文件中已处理的数据文件进行标记；
[0115]
路径转换模块具体用于，包括：
[0116]
轮询路径转换条件集合中每条源文件解析条件，对每个未标记的数据文件，在确定当前源文件解析条件适用该数据文件时，基于源文件解析条件，获得该数据文件的各个转换参数的值。
[0117]
在一实施例中，解压模块还用于：
[0118]
在解压压缩文件，获得多个数据文件之前，将压缩文件放入临时文件夹；
[0119]
路径转换模块还用于：在获得所有数据文件对应的目标文件之后，清空临时文件夹，将所有的目标文件上传至目标文件服务器。
[0120]
综上所述，在本发明实施例提出的装置中，获取数据提供方的压缩文件，并放入所述数据提供方对应的工作目录下；分析获得压缩文件中数据文件的路径；根据压缩文件中数据文件的路径，在所述数据提供方对应的工作目录下配置路径转换条件集合，所述路径转换条件集合包括源文件解析条件和目标文件生成条件；解压压缩文件，获得多个数据文件；轮询路径转换条件集合中每条源文件解析条件，对每个数据文件，在确定当前源文件解析条件适用该数据文件时，基于源文件解析条件，获得该数据文件的各个转换参数的值；基于目标文件生成条件，根据该数据文件的各个转换参数的值，获得该数据文件对应的目标文件。与现有技术需要人为进行标准化处理的方法相比，通过工作目录，将每个数据提供方的压缩文件隔离开，保证了数据文件的安全性；通过轮询路径转换条件集合中每条源文件解析条件，对每个数据文件，在确定当前源文件解析条件适用该数据文件时，基于源文件解析条件，获得该数据文件的各个转换参数的值；基于目标文件生成条件，根据该数据文件的各个转换参数的值，获得该数据文件对应的目标文件，实现了自动化处理，很大程度降低了人为干预程度，效率高，准确性高。
[0121]
本发明实施例还提供一种计算机设备，图10为本发明实施例中计算机设备的示意图，所述计算机设备1000包括存储器1010、处理器1020及存储在存储器1010上并可在处理器1020上运行的计算机程序1030，所述处理器1020执行所述计算机程序1030时实现上述压缩文件处理方法。
[0122]
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述压缩文件处理方法。
[0123]
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述压缩文件处理方法。
[0124]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序业务系统。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序业务系统的形式。
[0125]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序业务系统的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0126]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0127]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0128]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。