一种用于数据读取的数据格式适配方法及装置与流程

1.本发明涉及计算机领域，更具体的涉及一种用于数据读取的数据格式适配方法及装置。


背景技术：

2.现有技术中，不同类型文件的数据格式不同，需要针对不同数据格式的文件开发对应的功能模块，将文件数据格式适配为设定格式，来读取数据；因此，开发人员需要开发多个功能模块，即每一个格式类型的文件都有一个读取接口与功能模块对应连接，来对不同数据格式的文件分别进行读取。此外，由于系统中各个功能模块之间存在着很强的耦合性，若功能模块中的某一个字段出现问题，就需要重新修改代码；因此，需要开发人员对整个软件的功能模块都比较了解，因此若在小组成员共同开发中稍有不慎，就会给后期制造出很多bug，极其不利于软件的后期管理和维护。
3.综上所述，现有的数据格式适配方法效率不高；且不利于软件的后期管理和维护。


技术实现要素：

4.本发明实施例提供一种用于数据读取的数据格式适配方法及装置，用以解决现有的数据格式适配方法效率不高，且不利于软件的后期管理和维护这一技术问题。
5.本发明实施例提供一种用于数据读取的数据格式适配方法，包括：
6.接收适配需求信息，所述适配需求信息包括待读取文件的数据格式信息；根据所述数据格式信息和适配关系配置，将待读取文件的数据格式转化为map格式；
7.读取并存储map格式数据。
8.优选地，所述适配关系配置为关系列表，所述关系列表包括至少一个类，用于存储非map格式数据转换成map格式数据的处理方式。
9.优选地，所述适配需求信息还包括：数据项信息；根据所述数据格式信息和适配关系配置，将待读取文件的数据格式转化为map格式，包括：根据上述数据格式信息、适配关系配置，以及所述数据项信息，查找待读取文件中所述数据项信息对应的字段，并将所述字段格式转化为map格式。
10.优选地，根据所述数据格式信息和适配关系配置，将待读取文件的数据格式转化为map格式之后，还包括：
11.对map格式数据进行格式检验，对于加密的map格式数据进行解码处理。
12.优选地，还包括：记录读取数据的时间。
13.本发明实施例还提供一种用于数据读取的数据格式适配装置，包括：
14.接收单元，用于接收适配需求信息，所述适配需求信息包括待读取文件的数据格式信息；
15.适配单元，用于根据所述数据格式信息和适配关系配置，将待读取文件的数据格式转化为map格式；
16.读取单元，用于读取并存储map格式数据。
17.优选地，所述适配关系配置为关系列表，所述关系列表包括至少一个类，用于存储非map格式数据转换成map格式数据的处理方式。
18.优选地，所述适配需求信息还包括：数据项信息；所述适配单元具体用于：根据所述数据格式信息、适配关系配置，以及所述数据项信息，查找待读取文件中所述数据项信息对应的字段，并将该字段格式转化为map格式。
19.优选地，还包括：检验单元，用于对map格式数据进行格式检验，对于加密的map格式数据进行解码处理。
20.优选地，还包括：记录读取数据的时间。
21.本发明实施例提供一种用于数据读取的数据格式适配方法，包括：接收适配需求信息，适配需求信息包括待读取文件的数据格式信息；根据上述数据格式信息和适配关系配置，将待读取文件的数据格式转化为map格式；适配关系配置包括将待读取文件的数据格式转化为map格式的处理方式；读取并存储map格式数据。该方法通过适配关系配置将不同文件格式类型转化为map格式，这样，开发人员不需要针对不同类型的文件分别设置对应的功能模块，来分别读取数据，仅仅通过适配关系配置实现格式转化，解决了现有的数据格式适配方法效率不高，且不利于软件的后期管理和维护这一技术问题。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明实施例提供的一种用于数据读取的数据格式适配方法流程示意图；
24.图2为本发明实施例提供的配置文件的配置项结构示意图；
25.图3为本发明实施例提供的另一种用于数据读取的数据格式适配流程示意图；
26.图4为本发明实施例提供的一种用于数据读取的数据格式适配方法流程示意图；
27.图5为本发明实施例提供的一种用于数据读取的数据格式适配方法流程示意图；
28.图6为本发明实施例提供的一种用于数据读取的数据格式适配装置结构示意图。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.图1示例性的示出了本发明实施例提供的一种用于数据读取的数据格式适配方法流程示意图，该方法至少可以应用于数据库、记事本等数据集合中的数据读取场景。
31.如图1所示，该方法主要包括以下步骤：
32.步骤s101，接收适配需求信息；适配需求信息包括待读取文件的数据格式信息。
33.步骤s102，根据数据格式信息和适配关系配置，将待读取文件的数据格式转化为
map格式适配关系配置。
34.步骤s103，读取并存储map(英文：map file，中文为：映射文件)格式数据。
35.进一步地，适配关系配置为关系列表，该关系列表包括至少一个类，用于存储非map格式数据转换成map格式数据的处理方式。
36.需要说明的是，在实际应用中，该方法的执行主体为系统控制端，该控制端用于接收适配需求信息，通过一系列处理过程，将待读取文件的数据格式转换为map格式数据，然后读取并存储map格式数据。
37.在步骤s101中，控制端通过获取适配需求信息，确定需要读取的数据类型和该数据类型的所有文件存储位置，即待读取文件地址。其中，文件的存储位置，可以是由开发人员编辑并存储在地址数据库中。
38.其中，控制端通过配置文件获取接收用户输入的信息；配置文件包括适配需求配置项，用户可以通过适配需求配置项输入待读取文件的数据格式信息。
39.基于此，在具体应用中，控制端根据待读取文件的数据格式信息，在地址数据库中查找数据格式信息对应的文件地址，即待读取文件地址。此外，本发明实施例提供的配置文件还包括读取地址配置项，用于接收用户输入的地址信息。这样，用户可以通过在读取地址配置项中输入的地址信息，来限定待读取文件。这样，控制端可以根据用户在读取地址配置项中输入的地址信息，确定待读取文件地址。
40.本发明实施例提供的方法对于数据格式类型和个数不进行限定；示例的，数据格式类型为csv格式、电子表格、json格式和pb格式中的一种或多种。需要说明的是，在实际应用中，地址数据库可以是设置在控制端内的一个器件，也可以是独立使用的一个器件，但是该独立使用的器件与控制端之间通过网络进行连接，并且控制端可以对该地址数据库的工作情况进行控制。
41.在步骤s102中，控制端确定待读取文件地址后，若待读取文件数据格式为非map格式，则根据适配关系配置中存储的不同数据格式类型转化成map格式的处理方式，将待读取文件数据格式转换成map格式，然后加载格式转换后的map格式数据。若待读取文件数据格式为map格式，则不需要进行格式转换，直接加载map格式数据。
42.进一步地，适配关系配置为关系列表，该关系列表至少包括至少一个类，用于存储不同数据格式类型，即非map格式转化成map格式的处理方式；该处理方式包括字段值格式转换、编码转换、多字段组合、字段数据提取、字段编码翻译等针对字段内容的处理。其中，编码转换的实现方式包括：控制端将待读取文件中的字段进行url解码。示例的，待读取文件中用户名字段为："％e5％bc％a0％e4％b8％89"，对其进行url解码，得到用户名“张三”。
43.示例的，待读取文件包括以下四个坐标位置字段：mcc字段、mnc字段、lac字段、ci字段，通过组合拼接，得到“mcc-mnc-lac-ci”字段。
44.示例的，待读取文件的身份证信息字段为“61112319831203215x”，通过字段提取，得到出生日期信息“1983-12-03”。
45.示例的，待读取文件的手机漫游字段的取值是0、1、2、3，经过翻译可知“0”代表“无漫游”，“1”代表“省内漫游”，“2”代表“省外漫游”，“3”代表“国际漫游”。
46.在实际应用中，控制端通过以下步骤来进行数据格式转换：1)控制端通过正则字符串获取待读取文件中用户名信息的前缀或后缀，来确定待读取文件的数据格式类型；2)
根据数据格式类型查找关系列表中对应的类；3)根据处理方式对待读取文件的数据字段值做格式转换，将待读取文件的数据类型转换成map格式。
47.以下为本发明实施例实现1)的部分代码示例：
48.《item dataregex＝"\.csv$"parsername＝"csvparser"/》
49.其中，"\.csv$"为正则字符串，"csvparser"为识别数据类型的功能模块。
50.示例的，以下为一种csv格式文件：
51.通话时长日期时间类型用户号码本方归属地62019-07-14 16:09:01cm请求13318092222西安132019-07-14 16:09:14位置更新13438093878上海
52.转换成的map格式的文件为{”通话时长”；”6”,”日期时间”:”2019-07-1416:09:01”,”类型”:”cm请求”,”用户号码”:”13318092222”,”本方归属地”:”西安”},{”通话时长”；”13”,”日期时间”:”2019-07-14 16:09:14”,”类型”:”位置更新”,”用户号码”:”13438093878”,”本方归属地”:”上海”}。
53.示例的，以下为示例的一种电子表格格式文件：
54.标识码类型本端号码本端姓名短信内容标志123456msisdn8618512345040张三任务已完成接收654321msisdn8618543218530王五收到信息接收
55.转换成的map格式的文件为{”标识码”；”123456”,”类型”:”msisdn”,”本端号码”:”'8618512345040”,”本端姓名”:”张三”,”短信内容”:”任务已完成”,”标志”:”接收”},{”标识码”；”654321”,”类型”:”msisdn”,”本端号码”:”'8618543218530”,”本端姓名”:”王五”,”短信内容”:”收到信息”,”标志”:”接收”}。
56.适配关系配置通过将多个不同类型的数据格式转换成map格式的具体步骤分别存储在类中，通过查找关系列表的类分别对不同类型的数据进行格式转换，实现了通过一个读取接口将不同的数据格式分别转化为map格式，不需要针对不同格式的文件分别设置不同的读取接口和对应的功能模块，来分别读取不同数据格式的文件。解决了现有的数据格式适配方法效率不高，且不利于软件的后期管理和维护这一技术问题。
57.以下为实现适配关系配置中实现部分功能的代码示例：
[0058]-《field key＝"timebegin"convert＝"ms2stimeadapter"》
[0059]
《item key＝"08a0015"rmk＝""eng＝"start_time"/》
[0060]
《/field》
[0061]
其中，“timebegin”为输入的字段名称，“ms2stimeadapter”为功能函数，“08a0015”输出的字段名称。
[0062]
进一步地，还包括记录读取数据的时间。在实际应用中，控制端在加载map格式转换后的数据的同时，记录查找待读取文件的日期。
[0063]
在步骤s103中，控制端读取map格式数据，并将读取的数据存储在本地。进一步地，控制端将读取的数据存储在指定的数据库中。另外，在实际应用中，配置文件还包括转发配置项；用户可以通过在转发配置项中输入读取数据的指定存储位置。
[0064]
进一步地，适配需求信息还包括数据项信息；步骤s102包括：根据数据格式信息、适配关系配置，以及数据项信息，查找待读取文件中数据项信息对应的字段，并将字段格式
转化为map格式。
[0065]
在实际应用中，配置文件还包括数据配置项，用户可以通过在数据配置项中输入数据项信息，来限定待读取文件的数据字段。如图2所示，为本发明实施例提供的一种配置文件的结构示意图。
[0066]
这样，控制端在接收数据项信息后，提取待读取文件中需要读取的数据字段，然后结合适配关系配置，将该数据字段的数据格式转化为map格式，进而读取并加载该数据字段。若该数据字段的数据格式为map格式，则不需要进行格式转换，直接加载该数据字段。
[0067]
需要说明的是，本发明实施例提供的方法对于数据项信息不进行限定。示例的，数据项信息可以是文件的用户名。
[0068]
进一步地，步骤s103之后，还包括：对map格式数据进行格式检验，对于加密的map格式数据进行解码处理。具体的，控制端对map格式的数据进行格式检验，判断待读取文件数据是否加密；若待读取文件数据格式没有加密，则直接存储数据；若待读取文件数据格式加密，则对加密的待读取文件数据进行解码翻译，然后读取并存储解码翻译后的文件数据。
[0069]
为了更清楚的介绍本发明实施例提供的一种用于数据处理的数据格式适配方法，以下结合图3，一一介绍该方法内所涉及到的具体内容。
[0070]
图3为本发明实施例提供的另一种用于数据处理的数据格式适配方法流程示意图；如图3所示，该用于数据处理的数据格式适配方法的流程主要包括以下步骤：
[0071]
步骤s201，接收数据格式信息；
[0072]
步骤s202，根据数据格式信息，确定待读取文件；
[0073]
步骤s203，判断待读取文件的数据格式类型是否为map格式；若不是，则执行步骤s204；若是，则执行步骤s205。
[0074]
步骤s204，根据数据格式信息和适配关系配置，将待读取文件的数据格式转化为map格式；
[0075]
步骤s205，判断待读取文件数据是否加密；若待读取文件数据是加密数据，则执行步骤s206；若不是加密数据，则执行步骤s207；
[0076]
步骤s206，对加密的待读取文件数据进行解码翻译；
[0077]
步骤s207，读取并存储文件数据；
[0078]
步骤s208，结束。
[0079]
以下分别介绍上述步骤的处理过程：
[0080]
s101的实现过程对应步骤s201至s202；s102的实现过程对应步骤s203至s204；s103的的实现过程对应步骤s207。
[0081]
在步骤s201中，控制端接收用户在适配需求配置项中输入的数据格式信息。在步骤s202中，控制端根据接收的数据格式信息，调用地址数据库，来确定待读取文件地址，进而查找待读取文件。
[0082]
在步骤s203中，控制端通过正向字符串确定待读读文件的数据格式类型，然后判断待读取文件的数据格式类型是否为map格式，即确认是否需要对带读取文件进行map格式转换；若不是，则执行步骤s204；若是，则执行步骤s208。
[0083]
在步骤s204中，控制端通过适配关系配置的关系列表，来确定对应的类，并根据类中存储的处理方式，将待读取文件数据格式转换为map格式。在步骤s205中，控制端判断待
读取文件数据是否加密，若待读取文件数据是加密数据，则执行步骤s206，对加密的待读取文件数据进行解密；若不是加密数据，则执行步骤s207，读取并存储文件数据。
[0084]
图4为本发明实施例以数据格式是“csv格式”为例，提供的另一种用于数据处理的数据格式适配方法流程示意图。如图4所示，该用于数据处理的数据格式适配方法的流程主要包括以下步骤：
[0085]
步骤s301，接收“csv格式”信息；
[0086]
步骤s302，根据“csv格式”信息，确定所有csv格式的文件；
[0087]
步骤s303，判断所有csv格式的文件是否为map格式，若不是map格式，则执行步骤s304；若是，则执行步骤s305；
[0088]
步骤s304，根据“csv格式”信息和适配关系配置，将csv格式的文件转化为map格式的文件；
[0089]
步骤s305，判断csv格式的文件是否加密；若“csv格式的文件是加密数据，则执行步骤s306；若不是加密数据，则执行步骤s307；
[0090]
步骤s306，对加密的csv格式的文件进行翻译解码；
[0091]
步骤s307，读取并存储csv格式的文件；
[0092]
步骤s308，结束。
[0093]
以下分别介绍上述步骤的处理过程：
[0094]
在步骤s301中，控制端接收用户在适配需求配置项中输入的“csv格式”信息。
[0095]
在步骤s302中，控制端根据“csv格式”信息，调用地址数据库，来确定“csv格式”的待读取文件地址，进而查找所有“csv格式”的待读取文件。
[0096]
在步骤s303中，控制端通过正向字符串确定所有待读读文件的数据格式类型，判断待读取文件的数据格式类型是否为map格式，即确认是否需要进行map格式转换；若不是，则执行步骤s304；若是，则执行步骤s308。
[0097]
在步骤s304中，控制端通过适配关系配置的关系列表，来确定“csv格式”对应的类，并根据类中存储的处理方式，将所有“csv格式”的待读取文件数据格式转换为map格式。
[0098]
在步骤s305中，控制端判断待读取文件数据是否加密，若待读取文件数据是加密数据，则执行步骤s306，对加密的待读取文件数据进行解码翻译；若不是加密数据，则执行步骤s307，读取并存储文件数据。
[0099]
图5为以数据项是“用户名”，数据格式是“csv格式”为例，本发明实施例提供的另一种用于数据处理的数据格式适配方法流程示意图。如图4所示，该用于数据处理的数据格式适配方法的流程主要包括以下步骤：
[0100]
步骤s401，接收“csv格式”信息和“用户名”信息；
[0101]
步骤s402，根据“csv格式”信息和“用户名”信息，查找所有csv格式的文件中的“用户名”信息；
[0102]
步骤s403，判断“用户名”信息是否为map格式，若“不是，则执行步骤s404；若是，则执行步骤s405；
[0103]
步骤s404，根据“csv格式”信息和适配关系配置，将csv格式的“用户名”信息格式转化为map格式；
[0104]
步骤s405，判断“用户名”信息是否加密；若“用户名”信息是加密数据，则执行步骤
s406；若不是加密数据，则执行步骤s407；
[0105]
步骤s406，对加密的“用户名”信息进行解码翻译；
[0106]
步骤s407，读取并存储“用户名”信息；
[0107]
步骤s408，结束。
[0108]
以下分别介绍上述步骤的处理过程：
[0109]
在步骤s401中，控制端接收用户在适配需求配置项中输入的“csv格式”信息和数据配置项中输入的“用户名”。
[0110]
在步骤s402中，控制端根据接收的“csv格式”信息，调用地址数据库，来确定所有“csv格式”的待读取文件地址，进而查找所有“csv格式”的待读取文件中“用户名”信息。
[0111]
在步骤s403中，控制端通过正向字符串确定所有待读读文件的数据格式类型，判断待读取文件的数据格式类型是否为map格式，即确认是否需要进行map格式转换；若不是，则执行步骤s404；若是，则执行步骤s405。
[0112]
在步骤s404中，控制端通过适配关系配置的关系列表，来确定csv格式转换为map格式对应的类，进而根据csv格式信息和该类中存储的处理方式，将“用户名”信息数据格式转换为map格式；若是，则执行步骤s405。
[0113]
在步骤s405中，控制端判断“用户名”信息是否加密，若“用户名”信息是加密数据，则执行步骤s406，即对加密的“用户名”信息进行解码翻译；若“用户名”信息不是加密数据，则执行步骤s407。
[0114]
基于同一发明构思，本发明实施例提供了一种用于数据读取的数据格式适配装置，由于该装置解决技术问题的原理与一种用于数据读取的数据格式适配相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
[0115]
图6为本发明实施例提供的一种用于数据读取的数据格式适配装置结构示意图，如图5所示，该装置主要包括：接收单元501，适配单元502，读取单元503。
[0116]
接收单元501，用于接收适配需求信息，适配需求信息包括待读取文件的数据格式信息.
[0117]
适配单元502，用于根据数据格式信息和适配关系配置，将待读取文件的数据格式转化为map格式；
[0118]
读取单元503，用于读取并存储map格式数据。
[0119]
优选地，适配关系配置为关系列表，关系列表包括至少一个类，用于存储非map格式数据转换成map格式数据的处理方式。
[0120]
优选地，适配需求信息还包括：数据项信息；适配单元502具体用于：根据数据格式信息、适配关系配置，以及数据项信息，查找带读取文件中所述数据项信息对应的字段，并将该字段格式转化为map格式。
[0121]
优选地，还包括：检验单元504，用于对map格式数据进行格式检验，对于加密的map格式数据进行解码处理。
[0122]
优选地，还包括：记录读取数据的时间。
[0123]
应当理解，以上一种语音编辑装置包括的单元仅为根据该设备装置实现的功能进行的逻辑划分，实际应用中，可以进行上述单元的叠加或拆分。并且该实施例提供的一种语音编辑装置所实现的功能与上述实施例提供的一种语音编辑方法一一对应，对于该装置所
实现的更为详细的处理流程，在上述方法实施例一中已做详细描述，此处不再详细描述。
[0124]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0125]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0126]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0127]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0128]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0129]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。