基于DataX的民航数据同步方法及装置与流程

基于datax的民航数据同步方法及装置
技术领域
1.本发明涉及计算机数据处理技术领域，具体涉及一种基于datax的民航数据同步方法及装置。


背景技术：

2.目前，在数字信息时代，拥有庞大数据的民航业，就是一座巨大的金矿，而对这座金矿的挖掘，大数据技术是挖掘数据价值的重要手段，通过大数据技术，发掘数据价值，推动智慧民航的快速发展。数据的采集与治理是大数据工作的第一步也是重要的一步，随着5g时代的到来，在民航企业内部，各种系统都在产生越来越多的数据，且每个系统使用的数据库以及产生的数据形式各异，而当需要将这些不同系统的数据进行统一治理，打破系统间的数据孤岛时，将会是令人头疼的过程。


技术实现要素：

3.针对所述缺陷，本发明实施例公开了一种基于datax的民航数据同步方法、装置、设备及存储介质，其可以统一平台权限管理，在保证数据安全性的前提下兼容不同数据源，提高数据管理能力。
4.本发明实施例第一方面公开了基于datax的民航数据同步方法，其特征在于，包括：
5.获取用户信息，基于用户信息配置用户权限；
6.获取目标数据源类型，配置数据库参数以构建用户数据源列表，并形成用户数据源列表对应的数据源的连接界面；
7.基于所述用户数据源列表选择数据源，并按照datax的脚本规则构建所述数据源的同步任务脚本；
8.配置统一的接口接收所述同步任务脚本，并保存至对应的执行任务列表。
9.作为一种可选的实施方式，在本发明实施例第一方面中，所述获取用户信息，基于用户信息配置用户权限，包括：
10.获取任意一个用户所对应的身份信息、岗位信息；
11.基于所述身份信息和所述岗位信息配置该用户权限，所述用户权限包括用户同步数据权限，所述用户同步数据权限包括操作数据权限、维护下级用户的数据权限、关联下级用户的数据权限
12.作为一种可选的实施方式，在本发明实施例第一方面中，所述获取目标数据源类型，配置数据库参数以构建用户数据源列表，并形成用户数据源列表对应的数据源的连接界面，包括：
13.根据民航数据库类型获得民航数据源类型，结合所述民航数据源类型和datax支持的数据源类型选取对应的目标数据源类型，配置所述目标数据源类型对应的数据库参数；
14.根据用户权限结合所述目标数据源类型构建用户数据源列表；
15.配置所述用户数据源列表中每个目标数据源类型分别所对应的目标数据源的连接界面。
16.作为一种可选的实施方式，在本发明实施例第一方面中，所述基于所述用户数据源列表选择数据源，并按照datax的脚本规则构建所述数据源的同步任务脚本，包括：
17.根据所述用户数据源列表调用所述数据源以及数据源字段信息，配置所述数据源字段信息与所述数据源的映射关系；
18.根据所述映射关系并按照datax的脚本规则构建所述数据源的同步任务脚本。
19.作为一种可选的实施方式，在本发明实施例第一方面中，所述配置统一的接口接收所述同步任务脚本，并保存至对应的执行任务列表，包括：
20.将所述同步任务脚本保存为待执行任务；
21.配置统一的接口接收所述同步任务脚本，并保存至对应的执行任务列表。
22.作为一种可选的实施方式，在本发明实施例第一方面中，还包括：
23.配置执行器的执行定时参数，以生成执行计划；
24.基于所述执行计划执行所述执行任务列表中的同步任务脚本。
25.本发明实施例第二方面公开一种基于datax的民航数据同步装置，包括：
26.用户信息获取模块：用于获取用户信息，基于用户信息配置用户权限；
27.数据源构建模块：用于获取目标数据源类型，配置数据库参数以构建用户数据源列表，并形成用户数据源列表对应的数据源的连接界面；
28.任务脚本构建模块：用于基于所述用户数据源列表选择数据源，并按照datax的脚本规则构建所述数据源的同步任务脚本；
29.任务脚本接收模块：用于配置统一的接口接收所述同步任务脚本，并保存至对应的执行任务列表。
30.作为一种可选的实施方式，在本发明实施例第二方面中，用户信息获取模块中，包括：
31.获取任意一个用户所对应的身份信息、岗位信息；
32.基于所述身份信息和所述岗位信息配置该用户权限，所述用户权限包括用户同步数据权限，所述用户同步数据权限包括操作数据权限、维护下级用户的数据权限、关联下级用户的数据权限。
33.作为一种可选的实施方式，在本发明实施例第二方面中，所述获取目标数据源类型，配置数据库参数以构建用户数据源列表，并形成用户数据源列表对应的数据源的连接界面，包括：
34.根据民航数据库类型获得民航数据源类型，结合所述民航数据源类型和datax支持的数据源类型选取对应的目标数据源类型，配置所述目标数据源类型对应的数据库参数；
35.根据用户权限结合所述目标数据源类型构建用户数据源列表；
36.配置所述用户数据源列表中每个目标数据源类型分别所对应的目标数据源的连接界面。
37.作为一种可选的实施方式，在本发明实施例第二方面中，所述基于所述用户数据
和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，示例性地，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
56.本发明实施例公开了基于datax的民航数据同步方法、装置、电子设备及存储介质，通过针对不同的用户采集用户信息，从而配置对应的用户权限，并形成数据源对应的数据源列表的连接界面，构建数据源的同步任务脚本，当用户登录时，可以调用用户权限范围内的数据源列表，基于该数据源列表选择数据源，加入数据同步的执行任务列表，进而可以进行数据同步任务。
57.实施例一
58.请参阅图1，图1是本发明实施例公开的基于datax的民航数据同步方法的流程示意图。其中，本发明实施例所描述的方法的执行主体为由软件或/和硬件组成的执行主体，该执行主体可以通过有线或/和无线方式接收相关信息，并可以发送一定的指令。当然，其还可以具有一定的处理功能和存储功能。该执行主体可以控制多个设备，例如远程的物理服务器或云服务器以及相关软件，也可以是对某处安置的设备进行相关操作的本地主机或服务器以及相关软件等。在一些场景中，还可以控制多个存储设备，存储设备可以与设备放置于同一地方或不同地方。如图1所示，该基于基于datax的民航数据同步方法包括以下步骤：
59.步骤101：获取用户信息，基于用户信息配置用户权限。
60.实施例中，民航的数据管理涉及多个不同的系统，而民航员工众多，不是每个员工做具备管理数据的权限，也不是每个员工都具备相同数据管理的权限。因此需要对用户进行分级管理，也即是对用户的权限进行限定，不同岗位的用户可以操作不同的数据。
61.实施例中，用户信息包括用户的身份信息，也即是证明用户身份的信息，包括用户的姓名、用户的头像、用户数据管理的账号、用户的身份证信息等等。另一方面，还可以包括用户的岗位信息，通常不同的岗位对应不同的职位等级，以及对应不同的工作内容，因此根据每个人不同的岗位，可以限定其所对应的数据管理的权限。
62.具体的，实施例中获取用户信息，基于用户信息配置用户权限，包括：获取任意一个用户所对应的身份信息、岗位信息。基于所述身份信息和所述岗位信息配置该用户权限，所述用户权限包括用户同步数据权限，所述用户同步数据权限包括操作数据权限、维护下级用户的数据权限、关联下级用户的数据权限。实施例先获取用户信息，也即是获取身份信息和岗位信息。需要说明的是，此处如果只获取用户的身份信息或者岗位信息的其中一种是不够的，对于民航众多员工来说，可能存在重名等情况，当用户身份信息选择为用户姓名时，可能一个姓名对应两个甚至多个人，此时可能分配用户权限时配置错误，因此实施例同时根据用户的身份信息和岗位信息来配置用户权限。用户权限中操作数据权限也即是用户处理数据的等级，例如员工薪资数据，可能对应于高层以及人力资源管理人员才能有权限，又如研发技术资料，可能对应于技术部门才能有权限。维护下级用户的数据权限，也即是根据用户的岗位信息，针对用户所在岗位的级别分为上级和下级，例如主管是普通职员的上级，部门经理是主管的上级，则普通职员是主管的下级，主管是部门经理的下级。关联下级用户的数据权限例如是下级用户同步的数据作为上一级可以直接同步，或者是上级可以直接安排下级可以同步的数据源，等等。
63.步骤102：获取目标数据源类型，配置数据库参数以构建用户数据源列表，并形成用户数据源列表对应的数据源的连接界面。
64.实施例的数据源也即是原系统的数据，实施例是将不同系统的数据同步到同一个平台进行统一的管理，因此需要获取到各个系统的数据，也即是数据源。具体的，根据民航数据库类型获得民航数据源类型，结合所述民航数据源类型和datax支持的数据源类型选取对应的目标数据源类型，配置所述目标数据源类型对应的数据库参数；根据用户权限结合所述目标数据源类型构建用户数据源列表；配置所述用户数据源列表中每个目标数据源类型分别所对应的目标数据源的连接界面。实施例中，根据民航常用数据库类型与datax支持的数据源类型，将二者重合的数据库类型添加至界面可选数据库类型列表，每种数据库类型均有对应的参数配置与连接测试界面；用户根据自己使用的数据库选择对应的数据库类型选项，配置自己数据库的参数，测试连接成功后将该数据库信息保存至用户的数据源列表，供构建同步任务脚本时用于源端数据源或者目标数据源。民航数据库类型也即是之前各个不同的系统所管理的数据对应的数据库类型，不同的系统可能对应不同的数据库类型，也可能对应相同的数据库类型。由于实施例是基于datax特性，因此需要结合datax所支持的数据实现最终的平台统一管理。根据实际民航数据源的数据库类型，结合datax支持的数据源范围，将datax支持且实际使用的民航数据源纳入平台支持管理的数据源列表；根据平台支持的数据源列表，开发每个数据源的配置连接管理页面，每个数据源管理页都可在页面上对该数据源进行必要参数的配置及连接测试，维护数据源信息。
65.步骤103：基于所述用户数据源列表选择数据源，并按照datax的脚本规则构建所述数据源的同步任务脚本。
66.具体的，对应于用户的用户权限，调用所述用户的用户权限范围内的全部数据源以及数据源类型，从数据源列表中获取所述数据源对应的用户数据源列表；根据所述用户数据源列表调用所述数据源以及数据源字段信息，配置所述数据源字段信息与所述数据源的映射关系；根据所述映射关系并按照datax的脚本规则构建所述数据源的同步任务脚本。根据datax特性，从配置好的数据源列表选择将同步的源端数据源并选择字段等信息，再选择目标数据源及字段信息，配置源端字段与目标字段的映射关系；根据选取的源端数据源和目标数据源，按datax的json脚本规则，构建所选取数据源的同步任务json文本；所构建的从源端到目标的数据同步json，可配置执行器的参数后，保存为平台待执行任务。
67.步骤104：配置统一的接口接收所述同步任务脚本，并保存至对应的执行任务列表。具体的，将所述同步任务脚本保存为待执行任务；配置统一的接口接收所述同步任务脚本，并保存至对应的执行任务列表。
68.实施例对外提供统一的接口，接收已编辑配置好的datax同步json文件，接收的外部json可使用平台执行器执行同步任务。
69.更优选的，还可以包括配置执行器的执行定时参数，以生成执行计划；基于所述执行计划执行所述执行任务列表中的同步任务脚本。也即是为任务配置执行器时可自定义定时参数，配置执行策略信息；执行器根据执行策略信息，使用该任务的json脚本调用datax执行任务。执行器执行任务时监控datax的日志输出，反馈任务的执行状态，并记录任务执行日志及状态，用于统计任务执行报表，实现数据统一监管，也即是用户可以执行权限范围内的同步任务，并进行统计、记录同步日志。
70.实施例通根据用户角色分配适当的权限，在可视化页面上管理民航数据的数据源，使用数据源构建datax同步任务的json脚本，将脚本保存至执行列表，同时提供接收已编辑完成的datax同步json脚本，分类保存至执行列表，任务执行列表的任务配置执行环境后，由执行器按配置执行datax同步任务，将执行的日志及状态进行监控管理，以此方式，可以同步不同民航系统的应用数据；统一平台权限管理，保证数据安全性，使用datax可以兼容不同的民航数据源，通过可视化界面管理，提供内外部的json脚本输入，减少应用时间成本，提高数据管理能力及生产效率。
71.实施例二
72.请参阅图2，图2是本发明实施例公开的基于datax的民航数据同步装置的结构示意图。如图2所示，该基于datax的民航数据同步装置可以包括：用户信息获取模块201、数据源构建模块202、任务脚本构建模块203和任务脚本接收模块204，其中，用户信息获取模块201：用于获取用户信息，基于用户信息配置用户权限；数据源构建模块202：用于获取目标数据源类型，配置数据库参数以构建用户数据源列表，并形成用户数据源列表对应的数据源的连接界面；任务脚本构建模块203：用于基于所述用户数据源列表选择数据源，并按照datax的脚本规则构建所述数据源的同步任务脚本；任务脚本接收模块204：用于配置统一的接口接收所述同步任务脚本，并保存至对应的执行任务列表。
73.在上述用户信息获取模块201中，具体的，包括：获取任意一个用户所对应的身份信息、岗位信息；基于所述身份信息和所述岗位信息配置该用户权限，所述用户权限包括用户同步数据权限，所述用户同步数据权限包括操作数据权限、维护下级用户的数据权限、关联下级用户的数据权限。
74.上述数据源构建模块202中，获取任意一个用户所对应的身份信息、岗位信息；基于所述身份信息和所述岗位信息配置该用户权限，所述用户权限包括用户同步数据权限，所述用户同步数据权限包括操作数据权限、维护下级用户的数据权限、关联下级用户的数据权限。
75.进一步的，上述任务脚本构建模块203中，包括：根据所述用户数据源列表调用所述数据源以及数据源字段信息，配置所述数据源字段信息与所述数据源的映射关系；根据所述映射关系并按照datax的脚本规则构建所述数据源的同步任务脚本。
76.而任务脚本接收模块204具体可以包括将所述同步任务脚本保存为待执行任务；配置统一的接口接收所述同步任务脚本，并保存至对应的执行任务列表。还可以包括配置执行器的执行定时参数，以生成执行计划；基于所述执行计划执行所述执行任务列表中的同步任务脚本。
77.本实施例与本技术中提供的基于datax的民航数据同步方法的原理和技术效果均相同，在此不再赘述。
78.实施例三
79.请参阅图3，图3是本发明实施例公开的一种电子设备的结构示意图。电子设备可以是计算机以及服务器等，当然，在一定情况下，还可以是手机、平板电脑以及监控终端等智能设备，以及具有处理功能的图像采集装置。如图..所示，该电子设备可以包括：
80.存储有可执行程序代码的存储器301；
81.与存储器301耦合的处理器302；
82.其中，处理器302调用存储器301中存储的可执行程序代码，执行实施例一中的基于datax的民航数据同步方法中的部分或全部步骤。
83.本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行实施例一中的xx方法中的部分或全部步骤。
84.本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的基于datax的民航数据同步方法中的部分或全部步骤。
85.本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的基于datax的民航数据同步方法中的部分或全部步骤。
86.在本发明的各种实施例中，应理解，所述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
87.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
88.另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
89.所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例所述方法的部分或全部步骤。
90.在本发明所提供的实施例中，应理解，“与a对应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。
91.本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(read-only memory，rom)、随机存储器(randomaccess memory，ram)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、一次可编程只读存储器(one-time programmable read-only memory，otprom)、电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
92.以上对本发明实施例公开的基于datax的民航数据同步方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，
以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。