一种跨网数据穿透交互的方法、装置、设备及存储介质与流程

1.本技术涉及信息交互技术领域，特别地，涉及一种跨网数据穿透交互的方法、装置、设备及存储介质。


背景技术：

2.在通信领域，域代表一个物理独立的局域网络，域分安全级别，安全级别高的域可以访问安全级别低的域。跨域穿透是指将两个物理隔离的局域网络数据进行交互，例如：银行、公安等行业背景会设置多个域的网络，这些领域需要跨域数据交互的需求，保障数据的安全。但由于网络不通，导致存储的数据无法关联，目前没有一套成熟的方案支撑跨域交互的成熟方案，传统方案都是基于导入导出的功能，每次跨域交互需要多个部门层层审批才能进行数据交互，效率低下，造成资源浪费，不足之处包括：
3.1、数据源的适配问题
4.不同域存储的数据多元性，包括传统数据库、大数据平台、图库等等，不同的数据源需要定制不同的适配器进行适配。
5.2、网络不通的问题
6.需要使用跨网的跳转机作为代理，需要多层依托都稳定才能正常数据交一网两域数据穿透现状。
7.因此实时的将最新数据，快速的进行跨域交互显得非常有必要。


技术实现要素：

8.本技术一方面提供了一种跨网数据穿透交互的方法，以解决现有跨域交互时效率低下、成本高、造成信息孤岛的技术问题。
9.本技术采用的技术方案如下：
10.一种跨网数据穿透交互的方法，包括步骤：
11.调度中心接收客户端发送的跨网数据穿透交互任务后，将所述跨网数据穿透交互任务分别发送到部署在本域中的适配器和转发中心，其中，所述适配器用于适配本域中作为数据目标地或数据来源地的大数据中心的服务，将大数据中心的数据进行读取，压缩成压缩文件进行数据传输；
12.所述转发中心将跨网数据穿透交互任务发送给部署在待交互的异域中的适配器，该适配器用于适配异域中作为数据目标地或数据来源地的大数据中心的服务，将大数据中心的数据进行读取，压缩成压缩文件进行数据传输；
13.数据目标地的适配器根据跨网数据穿透交互任务从数据目标地的大数据中心获取相应数据，并将所获取的相应数据和状态信息发送至转发中心，同时，数据来源地的适配器根据跨网数据穿透交互任务从数据来源地的大数据中心获取相应数据，并将相应的状态信息发送至转发中心；
14.所述转发中心将从数据目标地获取的相应数据传输至数据来源地的适配器，数据
来源地的适配器将获取的相应数据和从数据目标地获取的相应数据进行基于内存的mapreduce计算，并将计算结果推送给转发中心；
15.转发中心将所述计算结果推送至数据目标地的适配器，由数据目标地的适配器将所述计算结果写入数据目标地的大数据中心，使数据目标地得到想要的交互结果。
16.进一步地，所述大数据中心指域中存储数据的数据源，所述数据源采用大数据集群，所述大数据集群包括华为大数据、cdh、hdp。
17.进一步地，所述大数据中心指域中存储数据的数据源，所述数据源采用传统数据库所述传统数据库包括oracle、mysql、mpp。
18.进一步地，所述调度中心接收客户端通过rest接口发送的跨网数据穿透交互任务，所述rest接口用于规范应用如何在http层与api提供方进行数据交互。
19.进一步地，所述跨网数据穿透交互任务的内容包括数据源sql和计算结果sql。
20.进一步地，所述调度中心接收客户端发送的跨网数据穿透交互任务后，将所述跨网数据穿透交互任务分别发送到部署在本域中的适配器和转发中心时，先将所述跨网数据穿透交互任务发送到消息队列，所述转发中心通过消息队列拿到任务。
21.本技术另一方面还提供了一种跨网数据穿透交互的装置，包括：
22.本域任务发送模块，用于调度中心接收客户端通过rest接口发送的跨网数据穿透交互任务后，将所述跨网数据穿透交互任务分别发送到部署在本域中的适配器和转发中心，其中，所述跨网数据穿透交互任务的内容包括数据源sql和计算结果sql，所述适配器用于适配本域中作为数据目标地或数据来源地的大数据中心的服务，将大数据中心的数据通过sql进行读取，压缩成压缩文件进行数据传输；
23.异域任务发送模块，用于所述转发中心将跨网数据穿透交互任务发送给部署在待交互的异域中的适配器，该适配器用于适配异域中作为数据目标地或数据来源地的大数据中心的服务，将大数据中心的数据通过sql进行读取，压缩成压缩文件进行数据传输；
24.数据获取模块，用于数据目标地的适配器根据跨网数据穿透交互任务从数据目标地的大数据中心获取相应数据，并将所获取的相应数据和状态信息发送至转发中心，同时，数据来源地的适配器根据跨网数据穿透交互任务从数据来源地的大数据中心获取相应数据，并将相应的状态信息发送至转发中心；
25.数据计算模块，用于所述转发中心将从数据目标地获取的相应数据传输至数据来源地的适配器，数据来源地的适配器将获取的相应数据和从数据目标地获取的相应数据进行基于内存的mapreduce计算，并将计算结果推送给转发中心；
26.数据写入模块，用于转发中心将所述计算结果推送至数据目标地的适配器，由数据目标地的适配器将所述计算结果写入数据目标地的大数据中心，使数据目标地得到想要的交互结果。
27.本技术另一方面还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述跨网数据穿透交互的方法的步骤。
28.本技术另一方面还提供了一种存储介质，所述存储介质包括存储的程序，在所述程序运行时控制所述存储介质所在的设备执行所述的跨网数据穿透交互的方法的步骤。
29.相比现有技术，本技术具有以下有益效果：
30.1.本技术从模型的结构出发，过程中将复杂的任务接口化，需求方将参数传给接口，便可以快速拿到想要的数据结果集。
31.2.本技术将复杂的场景流程化，提出了适配器的实用性，适配器可适配各种复杂的拥有共性的多类数据源，可以有效的并行化开发；
32.3.本技术设置了转发中心，所述转发中心的作用可以将数据穿透策略简单化，避免因点对点的增加而增加穿透策略复杂度的问题，只将有效端口固定打开，固化了更少的ip，减少了变更安全策略，提高数据交互的安全性，使数据流通更加安全。
33.4.能够实时的将最新数据快速的进行跨域交互，解决数据孤岛的问题。
34.除了上面所描述的目的、特征和优点之外，本技术还有其它的目的、特征和优点。下面将参照附图，对本技术作进一步详细的说明。
附图说明
35.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
36.图1是本技术优选实施例的跨网数据穿透交互的方法的流程示意图。
37.图2是本技术优选实施例的跨网数据穿透交互的方法的数据交互示意图。
38.图3是本技术另一优选实施例的跨网数据穿透交互的方法的流程示意图。
39.图4是本技术另一优选实施例的跨网数据穿透交互的方法的数据交互示意图。
40.图5是本技术优选实施例中转发中心的数据交互示意图。
41.图6是未设置转发中心时的数据交互示意图。
42.图7是本技术优选实施例的跨网数据穿透交互的装置的模块示意图。
43.图8是本技术优选实施例的电子设备实体示意框图。
44.图9是本技术优选实施例的计算机设备的内部结构图。
具体实施方式
45.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
46.跨网数据穿透交互：
47.模型归属于两个所有者，按模型推理的所涉及的数据分为本地和异地，根据甲方要求，本地数据必须穿透到异地交互，将结果穿透回本地，共有两种场景情况：
48.假设共有两个域，域a和域b
49.1、域a发送请求，穿透到域b，域b将结果穿透给域a
50.2、域b发送请求，穿透到域a，域a将结果穿透给域b
51.相关技术术语解释定义：
52.rest接口：用来规范应用如何在http层与api提供方进行数据交互。
53.适配器：用于适配数据源的服务，可以将数据源的数据通过sql进行读取，压缩成压缩文件进行数据传输。
54.转发中心：用于与适配器交互数据，包括：
55.1、本域数据发送给转发中心，转发中心将本域数据发送给异域适配器。
56.2、异域数据发送给转发中心，转发中心将异域数据发送给本域适配器。
57.调度中心：用于给适配器发送调度指令，包括发送任务，记录任务状态。
58.参照图1和图2，本技术的优选实施例提供了一种跨网数据穿透交互的方法，该方法用于实现域a从域b中拿到交互结果，包括步骤：
59.s1、调度中心接收客户端通过rest接口发送的跨网数据穿透交互任务后，将所述跨网数据穿透交互任务分别发送到部署在域a中的适配器a和转发中心，其中，所述适配器a用于适配域a中数据目标地城市a的大数据中心a的服务，将大数据中心a的数据通过sql进行读取，压缩成压缩文件进行数据传输；
60.s2、所述转发中心将跨网数据穿透交互任务发送给部署在待交互的域b中的适配器b，该适配器b用于适配域b中作为数据来源地城市b的大数据中心b的服务，将大数据中心b的数据通过sql进行读取，压缩成压缩文件进行数据传输；
61.s3、数据目标地城市a的适配器a根据跨网数据穿透交互任务从数据目标地城市a的大数据中心a获取相应数据a，并将所获取的相应数据a和状态信息发送至转发中心，同时，数据来源地城市b的适配器b根据跨网数据穿透交互任务从数据来源地城市b的大数据中心b获取相应数据b，并将相应的状态信息发送至转发中心；
62.s4、所述转发中心将从数据目标地城市a获取的相应数据a传输至数据来源地城市b的适配器b；
63.s5、数据来源地城市b的适配器b将获取的相应数据b和从数据目标地城市a获取的相应数据a进行基于内存的mapreduce计算(mapreduce是一个基于集群的高性能并行计算框架)，并将计算结果推送给转发中心；
64.s6、转发中心将所述计算结果推送至数据目标地城市a的适配器a；
65.s7、由数据目标地城市a的适配器a将所述计算结果写入数据目标地城市a的大数据中心a，使数据目标地城市a得到想要的交互结果。
66.具体地，所述大数据中心a和大数据中心b指域中存储数据的数据源，所述数据源采用大数据集群，所述大数据集群包括华为大数据、cdh、hdp。或者，所述数据源采用传统数据库所述传统数据库包括oracle、mysql、mpp。
67.具体地，所述调度中心接收客户端通过rest接口发送的跨网数据穿透交互任务，所述rest接口用于规范应用如何在http层与api提供方进行数据交互。具体地，所述跨网数据穿透交互任务的内容包括数据源sql和计算结果sql，其中，sql为标准sql99，数据源sql用于查询和抽取所需数据，计算结果sql用于对查询和抽取的数据进行计算，如交联、合并等，结构化数据sql可以增加适配性，降低使用者门槛。
68.参照图3和图4，本技术的另一优选实施例提供了一种跨网数据穿透交互的方法，该方法用于实现域b从域a中拿到交互结果，包括步骤：包括步骤：
69.s1、调度中心接收客户端通过rest接口发送的跨网数据穿透交互任务后，将所述跨网数据穿透交互任务分别发送到部署在域a中的适配器a和转发中心，其中，所述适配器a用于适配域a中数据来源地城市a的大数据中心a的服务，将大数据中心a的数据通过sql进行读取，压缩成压缩文件进行数据传输；
70.s2、所述转发中心将跨网数据穿透交互任务发送给部署在待交互的域b中的适配器b，该适配器b用于适配域b中作为数据目标地城市b的大数据中心b的服务，将大数据中心
b的数据通过sql进行读取，压缩成压缩文件进行数据传输；
71.s3、数据目标地城市b的适配器b根据跨网数据穿透交互任务从数据目标地城市b的大数据中心b获取相应数据b，并将数据b和状态信息发送至转发中心；同时，数据来源地城市a的适配器a根据跨网数据穿透交互任务从数据来源地城市a的大数据中心a获取相应数据a，并将相应的状态信息发送至转发中心；
72.s4、所述转发中心将从数据目标地城市b获取的相应数据b传输至数据来源地城市a的适配器a；
73.s5、数据来源地城市a的适配器a将获取的相应数据a和从数据目标地城市b获取的相应数据b进行基于内存的mapreduce计算，并将计算结果推送给转发中心；
74.s6、转发中心将所述计算结果推送至数据目标地城市b的适配器b；
75.s7、由数据目标地城市b的适配器b将所述计算结果写入数据目标地城市b的大数据中心b，使数据目标地城市b得到想要的交互结果。
76.上述实施例的跨网数据穿透交互的方法包括如下优点：
77.1.从模型的结构出发，过程中将复杂的任务接口化，需求方将参数传给接口，便可以快速拿到想要的数据结果集。
78.2.将复杂的场景流程化，适配器适配各种复杂的数据源，可以有效的并行化开发。
79.3.转发中心的作用可以将数据穿透策略简单化，只将有效端口固定打开，提高安全性。
80.如图5所示，当设置有转发中心时，转发中心与城市b端口包括：
81.20667：数据传输端口，ip校验；
82.20668：报文通讯端口，ip校验；
83.转发中心只需要与域b中的城市b打开几个固定的端口，即可与域a多个同域城市交互数据。
84.如图6所示，如果没有转发中心，域a每增加一个城市需要增加端口或者增加ip校验，有转发中心后，穿透策略只需要做一次即可。
85.本技术上述实施例提出了适配器，用以适配不同的拥有共性的多类数据源，例如：
86.数据源共性与适配器开发：
87.oracle：oracle适配器
88.mysql：mysql适配器
89.…
90.华为大数据：华为大数据适配器
91.cdh：cdh适配器
92.…
93.每个城市的数据源是多样性的，但是数据源一般都是由一个特定的数据库或者大数据平台存储，适配了所有市场通用的数据源，就可以将各个数据孤岛的数据实时拿到，解决数据交互计算的第一步。
94.另外，本技术设置了转发中心，将穿透策略简化，避免因点对点的增加，而增加穿透策略的问题，主要解决数据流通的问题，固化了更少的ip，减少了变更安全策略，使数据流通更加安全。
95.如图7所示，本技术另一实施例还提供了一种跨网数据穿透交互的装置，包括：
96.本域任务发送模块，用于调度中心接收客户端通过rest接口发送的跨网数据穿透交互任务后，将所述跨网数据穿透交互任务分别发送到部署在本域中的适配器和转发中心，其中，所述跨网数据穿透交互任务的内容包括数据源sql和计算结果sql，所述适配器用于适配本域中作为数据目标地或数据来源地的大数据中心的服务，将大数据中心的数据通过sql进行读取，压缩成压缩文件进行数据传输；
97.异域任务发送模块，用于所述转发中心将跨网数据穿透交互任务发送给部署在待交互的异域中的适配器，该适配器用于适配异域中作为数据目标地或数据来源地的大数据中心的服务，将大数据中心的数据通过sql进行读取，压缩成压缩文件进行数据传输；
98.数据获取模块，用于数据目标地的适配器根据跨网数据穿透交互任务从数据目标地的大数据中心获取相应数据，并将所获取的相应数据和状态信息发送至转发中心，同时，数据来源地的适配器根据跨网数据穿透交互任务从数据来源地的大数据中心获取相应数据，并将相应的状态信息发送至转发中心；
99.数据计算模块，用于所述转发中心将从数据目标地获取的相应数据传输至数据来源地的适配器，数据来源地的适配器将获取的相应数据和从数据目标地获取的相应数据进行基于内存的mapreduce计算，并将计算结果推送给转发中心；
100.数据写入模块，用于转发中心将所述计算结果推送至数据目标地的适配器，由数据目标地的适配器将所述计算结果写入数据目标地的大数据中心，使数据目标地得到想要的交互结果。
101.上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
102.如图8所示，本技术的优选实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例中的跨网数据穿透交互的方法。
103.如图9所示，本技术的优选实施例还提供了一种计算机设备，该计算机设备可以是终端或活体检测服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的其他计算机设备通过网络连接通信。该计算机程序被处理器执行时以实现上述跨网数据穿透交互的方法。
104.本领域技术人员可以理解，图9中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
105.本技术的优选实施例还提供了一种存储介质，所述存储介质包括存储的程序，在所述程序运行时控制所述存储介质所在的设备执行上述实施例中的跨网数据穿透交互的方法。
106.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的
计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
107.本实施例方法所述功能若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个或者多个计算设备可读取存储介质中。基于这样的理解，本技术实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)，磁碟或者光盘等各种可以存储程序代码的介质。
108.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。