文件配置方法、装置及服务器与流程

1.本发明涉及自动化配置的技术领域，尤其是涉及一种文件配置方法、装置及服务器。


背景技术：

2.系统业务表中包括品牌活动经营过程中的活动数据。目前，相关技术提出，可以通过人工解析系统业务表中的字段并编写脚本，实现在数据仓库落表，从而评估运营策略、查看运营效果，当活动涉及到的数据表较多时，配置较为繁琐，人工操作会增加操作时间，配置效率较低，并提升错误率。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种文件配置方法、装置及服务器，通过文件配置平台对系统业务表进行自动化配置，可以显著提升配置效率，并降低错误率。
4.第一方面，本发明实施例提供了一种文件配置方法，方法应用于文件配置平台，方法包括：如果从目标系统数据库中读取到待配置系统业务表，对待配置系统业务表进行重配置得到平台业务表；其中，平台业务表与文件配置平台适配；根据平台业务表的数据量，确定平台业务表对应的目标操作脚本；对平台业务表执行目标操作脚本对应的目标操作，生成目标业务表。
5.在一种实施方式中，在从目标系统数据库中读取到待配置系统业务表的步骤之前，包括：从预先设置的配置文件集合中选取目标配置文件；利用目标配置文件中的连接数据，与目标配置文件对应的目标系统建立通讯连接；从目标系统的目标系统数据库中，获取待配置系统业务表。
6.在一种实施方式中，从目标系统数据库中读取到待配置系统业务表的步骤，包括：在目标系统数据库中，查询待配置系统业务表的身份信息对应的业务表；若查询结果为未存储存身份信息对应的业务表，则重新选择建立通讯连接的目标系统；若查询结果为存储有身份信息对应的业务表，则将业务表确定为待配置系统业务表。
7.在一种实施方式中，对待配置系统业务表进行重配置得到平台业务表的步骤，包括：根据预先设置的筛选策略对待配置系统业务表的数据进行筛选，得到目标建表数据，其中，目标建表数据包括：待配置系统业务表的表名、列名、数据类型和筛选文本数据；利用目标建表数据生成平台业务表。
8.在一种实施方式中，根据平台业务表的数据量，确定平台业务表对应的目标操作脚本的步骤，包括：当检测到平台业务表的数据量大于预设数据量阈值时，确定平台业务表对应的目标操作脚本为增量执行脚本；当检测到平台业务表的数据量不大于预设数据量阈值时，确定平台业务表对应的目标操作脚本为全量执行脚本。
9.在一种实施方式中，对平台业务表执行目标操作脚本对应的目标操作，生成目标业务表的步骤，包括：当目标操作脚本为增量执行脚本时，将平台业务表与历史全量数据进
行合并，得到目标业务表。
10.在一种实施方式中，对平台业务表执行目标操作脚本对应的目标操作，生成目标业务表的步骤，还包括：当目标操作脚本为全量执行脚本时，将在预先设定的调度时间内生成的平台业务表的集合确定为目标业务表。
11.第二方面，本发明实施例还提供一种文件配置装置，装置应用于文件配置平台，装置包括：平台业务表生成模块，如果从目标系统数据库中读取到待配置系统业务表，对待配置系统业务表进行重配置得到平台业务表；其中，平台业务表与文件配置平台适配；目标操作脚本生成模块，根据平台业务表的数据量，确定平台业务表对应的目标操作脚本；目标业务表生成模块，对平台业务表执行目标操作脚本对应的目标操作，生成目标业务表。
12.第三方面，本发明实施例还提供一种服务器，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现第一方面提供的任一项的方法。
13.第四方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的任一项的方法。
14.本发明实施例带来了以下有益效果：
15.本发明实施例提供的一种文件配置方法、装置及服务器，上述方法在进行文件配置时，如果从目标系统数据库中读取到待配置系统业务表，对待配置系统业务表进行重配置得到平台业务表并根据平台业务表的数据量，确定平台业务表对应的目标操作脚本，对平台业务表执行目标操作脚本对应的目标操作，生成目标业务表，本发明实施例可以通过文件配置平台对系统业务表进行自动化配置，可以显著提升配置效率，并降低错误率。
16.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
17.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
18.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明实施例提供的一种文件配置方法的流程示意图；
20.图2为本发明实施例提供的一种文件配置流程的示意图；
21.图3为本发明实施例提供的另一种文件配置方法的流程示意图；
22.图4为本发明实施例提供的一种文件配置装置的结构示意图；
23.图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
24.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.目前，平台经常需要通过活动运营来达到促进品牌推广、提升用户规模、提高业绩指标的目的，活动的时效性非常高，通常需要迅速将业务库表中的活动数据接入到数据平台进行分析，用以评估运营策略，查看运营效果，数据平台与业务系统的联动通常是拿到当期活动测试库的业务表，解析表中的业务字段，根据活动数据量的量级选择相应的数据抽取策略，并编写建表脚本和执行脚本，最终实现在数据仓库落表，但是当活动涉及到的数据表较多时，配置较为繁琐，接入等操作会消耗较多的时间，不能以最快的实效将活动数据加工上线，此外，当业务表和业务字段很多的时候，容易出现人为的错误，排查起来也比较麻烦，因此自动接入对应业务库中的数据表到数据仓库，实现etl(抽取，转换，加载)的全流程自动化配置，极大的提升了数据平台贴源层数据的准确性，一致性，时效性，从最底层降低加工数据出错的风险，助力业务平稳增速，基于此，本发明实施提供的文件配置方法，可以支持接入业务系统主流数据库，通过解析业务系统数据库的元数据，实现自助建表，支持指定抽取策略，自动生成相对应策略的执行脚本，实现数据的自动抽取，并通过配置化的方式，实现业务系统与数仓之间数据的快速接入与同步，解决了手工多表操作可能带来的错误风险，保证了业务数据进入数仓的准确性，时效性。
26.参见图1所示的一种文件配置方法的流程示意图，该方法主要包括以下步骤s102至步骤s106：
27.步骤s102，如果从目标系统数据库中读取到待配置系统业务表，对待配置系统业务表进行重配置得到平台业务表；其中，平台业务表与文件配置平台适配，在一种实施方式中，待配置系统业务表需要满足对应系统的响应要求，平台业务表与文件配置平台适配，主要用于数据分析，因此，平台业务表与待配置系统业务表的底层实现不同，平台业务表中包括的字段内容小于等于待配置系统业务表，诸如，待配置系统业务表中包含100个字段，从待配置系统业务表中抽取10个字段构建平台业务表，其中，字段的抽取规则由建表脚本决定，建表脚本可以自动解析字段进行填充脚本，成为可以执行的变成语句，并根据抽取策略进行抽取。
28.步骤s104，根据平台业务表的数据量，确定平台业务表对应的目标操作脚本，其中，目标操作脚本包括增量执行脚本和全量执行脚本，在一种实施方式中，如图2所示，可以选择相对应的抽取策略创建从业务系统抽数到数仓的执行脚本，根据每日数据量的大小，确定选择全量抽取或者增量抽取。
29.步骤s106，对平台业务表执行目标操作脚本对应的目标操作，生成目标业务表，在一种实施方式中，增量抽取的数据合并历史全量落表到t 1表，全量数据直接落表。
30.本发明实施例提供的上述文件配置方法，通过文件配置平台对系统业务表进行自动化配置，可以显著提升配置效率，并降低错误率。
31.本发明实施例还提供了一种获取待配置系统业务表的实施方式，具体的步骤参见如下(1)至(2)：
32.(1)从预先设置的配置文件集合中选取目标配置文件，并利用目标配置文件中的连接数据，与目标配置文件对应的目标系统建立通讯连接，在一种实施方式中，配置目标系统数据库的连接信息，将目标系统数据库的连接信息，按照不同的数据库类型归类存放于配置文件，接表时通过填入需要抽取数据库的域名和库名直接读取配置文件，并获取账号密码等信息，连接账号密码对应的目标系统数据库。
33.(2)从目标系统的目标系统数据库中，获取待配置系统业务表。在一种实施方式中，在目标系统数据库中，查询待配置系统业务表的身份信息对应的业务表，若查询结果为未存储存身份信息对应的业务表，则重新选择建立通讯连接的目标系统；若查询结果为存储有身份信息对应的业务表，则将业务表确定为待配置系统业务表。
34.本发明实施例还提供了一种获取待配置系统业务表的实施方式，具体的步骤参见如下(a)至(c)：
35.(a)根据预先设置的筛选策略对待配置系统业务表的数据进行筛选，得到目标建表数据，并利用目标建表数据生成平台业务表，其中，目标建表数据包括：待配置系统业务表的表名、列名、数据类型和筛选文本数据，在一种实施方式中，读取待配置系统业务表的元数据创建数仓建表脚本，通过填入需要抽取的待配置系统业务表的表名，自动读取元数据信息获取建表脚本所需要的表名，列名，和数据类型，通过拆分表名并根据数仓的分层规范和建表规范，将业务表表名转化为相对应的数仓表表名，将列名、数据类型和中文注释拼接成为一个在数仓中可执行的建表脚本，并根据建表脚本得到平台业务表。
36.(b)当检测到平台业务表的数据量大于预设数据量阈值时，确定平台业务表对应的目标操作脚本为增量执行脚本，当检测到平台业务表的数据量不大于预设数据量阈值时，确定平台业务表对应的目标操作脚本为全量执行脚本，在一种实施方式中，将业务表的名称等信息输入文件配置平台，可以通过文件配置平台自动生成抽取策略(生成增量执行脚本/生成全量执行脚本)。
37.(c)当目标操作脚本为增量执行脚本时，将平台业务表与历史全量数据进行合并，得到目标业务表；当目标操作脚本为全量执行脚本时，将在预先设定的调度时间内生成的平台业务表的集合确定为目标业务表。在一种实施方式中，当目标操作脚本为增量执行脚本时，诸如，平台业务表中包含挂单时间、背书时间、签收时间和完成时间，若从业务表中抽取的数据仅挂单时，只存在挂单时间，而在进行数据抽取时需要将四个时间对应的前一天的数据全部抽取过来，叫做增量数据，但增量数据会跟历史数据有重复，重复的数据多了背书时间、签收时间和完成时间，因为大数据更新数据的开销较大，因此需要与历史全量数据进行合并，即，将之前抽取的数据丢掉，直接更新版本。
38.为便于对上述实施例提供的文件配置方法进行理解，本发明实施例提供了一种文件配置方法的应用示例，参见图3所示的另一种文件配置方法的流程示意图，该方法主要包括以下步骤s302至步骤s308：
39.步骤s302，建立文件配置平台与系统数据库的连接，在一种实施方式中，配置目标系统数据库的连接信息，将目标系统数据库的连接信息，按照不同的数据库类型归类存放于配置文件，接表时通过填入需要抽取数据库的域名和库名直接读取配置文件，并获取账号密码等信息，连接账号密码对应的目标系统数据库。
40.步骤s304，利用从数据库中获取的待配置系统业务表，建立平台业务表，在一种实
施方式中，读取待配置系统业务表的元数据创建数仓建表脚本，通过填入需要抽取的待配置系统业务表的表名，自动读取元数据信息获取建表脚本所需要的表名，列名，和数据类型，通过拆分表名并根据数仓的分层规范和建表规范，将业务表表名转化为相对应的数仓表表名，将列名、数据类型和中文注释拼接成为一个在数仓中可执行的建表脚本，并根据建表脚本得到平台业务表。
41.步骤s306，根据平台业务表和目标操作脚本对应的抽取策略，生成目标业务表，在一种实施方式中，可以选择相对应的抽取策略创建从业务系统抽数到数仓的执行脚本，根据每日数据量的大小，确定选择全量抽取或者增量抽取，增量抽取的数据合并历史全量落表到t 1表，全量数据直接落表。
42.综上所述，本发明通过文件配置平台对系统业务表进行自动化配置，可以显著提升配置效率，并降低错误率。
43.对于前述实施例提供的文件配置方法，本发明实施例提供了一种文件配置装置，该装置应用于文件配置平台，参见图4所示的一种文件配置装置的结构示意图，该装置包括以下部分：
44.平台业务表生成模块402，如果从目标系统数据库中读取到待配置系统业务表，对待配置系统业务表进行重配置得到平台业务表；其中，平台业务表与文件配置平台适配；
45.目标操作脚本生成模块404，根据平台业务表的数据量，确定平台业务表对应的目标操作脚本；
46.目标业务表生成模块406，对平台业务表执行目标操作脚本对应的目标操作，生成目标业务表。
47.本技术实施例提供的上述数据处理装置可以对系统业务表进行自动化配置，将开发人员从繁琐的配置、接入等操作中解放出来，显著提升开发速度，且能有效避免贴源层数据异常的风险，保证了数据的准确性，时效性。
48.一种实施方式中，在进行从目标系统数据库中读取到待配置系统业务表的步骤之前，上述平台业务表生成模块402还用于：从预先设置的配置文件集合中选取目标配置文件；利用目标配置文件中的连接数据，与目标配置文件对应的目标系统建立通讯连接；从目标系统的目标系统数据库中，获取待配置系统业务表。
49.一种实施方式中，在进行从目标系统数据库中读取到待配置系统业务表的步骤时，上述平台业务表生成模块402还用于：在目标系统数据库中，查询待配置系统业务表的身份信息对应的业务表；若查询结果为未存储存身份信息对应的业务表，则重新选择建立通讯连接的目标系统；若查询结果为存储有身份信息对应的业务表，则将业务表确定为待配置系统业务表。
50.一种实施方式中，在进行对待配置系统业务表进行重配置得到平台业务表的步骤时，上述平台业务表生成模块402还用于：根据预先设置的筛选策略对待配置系统业务表的数据进行筛选，得到目标建表数据，其中，目标建表数据包括：待配置系统业务表的表名、列名、数据类型和筛选文本数据；利用目标建表数据生成平台业务表。
51.一种实施方式中，在进行根据平台业务表的数据量，确定平台业务表对应的目标操作脚本的步骤时，上述目标操作脚本生成模块404还用于：当检测到平台业务表的数据量大于预设数据量阈值时，确定平台业务表对应的目标操作脚本为增量执行脚本；当检测到
平台业务表的数据量不大于预设数据量阈值时，确定平台业务表对应的目标操作脚本为全量执行脚本。
52.一种实施方式中，在进行对平台业务表执行目标操作脚本对应的目标操作，生成目标业务表的步骤时，上述目标业务表生成模块406还用于：当目标操作脚本为增量执行脚本时，将平台业务表与历史全量数据进行合并，得到目标业务表。
53.一种实施方式中，在进行对平台业务表执行目标操作脚本对应的目标操作，生成目标业务表的步骤时，上述目标业务表生成模块406还用于：当目标操作脚本为全量执行脚本时，将在预先设定的调度时间内生成的平台业务表的集合确定为目标业务表。
54.本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
55.本发明实施例提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
56.图5为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器50，存储器51，总线52和通信接口53，所述处理器50、通信接口53和存储器51通过总线52连接；处理器50用于执行存储器51中存储的可执行模块，例如计算机程序。
57.其中，存储器51可能包含高速随机存取存储器(ram，random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
58.总线52可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
59.其中，存储器51用于存储程序，所述处理器50在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中，或者由处理器50实现。
60.处理器50可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51，处理器50读取存储器51中的信息，结合其硬件完成上述方法的步骤。
61.本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。
62.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
63.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。